코딩 오페라

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS' 논문입니다. Abstract 자연어처리 task에서 pretraining시 모델의 크기를 늘리면 downstream task에서 성능이 향상되는 경우가 많음 그러나 모델의 크기가 늘어날수록 GPU 등의 메모리 제한과 ..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'REFORMER: THE EFFICIENT TRANSFORMER' 논문입니다. Introduction 원래의 NN 모델에서 연산의 중간 결과물(b1, b2)들을 연전파(back propagation) 전까지 따로 저장해야 함 따라서 위와 같이 모델의 배치 사이즈, 싶이, 넓이, 문장 길이 등이 커지면 중간 결과물들의 크기가 증가하여 메모리도 증가함 위의 ..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'Big Bird: Transformers for Longer Sequences' 논문입니다. Abstract Transformer 구조는 현재 NLP에서 가장 혁신적인 구조로 가장 성능이 좋음 그럼에도 불구하고 연산량이 문장의 길이의 제곱(quadratic) 하게 된다는 단점을 가지고 있음 이 논문에서는 이러한 이차원 적인 연산량을 선형적(일차원)으로 줄..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터 '초등학생도 이해하는 수학'이라는 주제로 포스팅하도록 하겠습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 딥러닝에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘 알아볼 내용은 '딥러닝 기초 확률론'입니다. 확률변수와 확률 분포 확률변수(random variable) : 표본공간(sample space, 어떤 시행에서 나타날 수 있는 모든 결과의 모임)에서 상태공간(state space, 해당 확률변수가 취할 수 있는 모든 실수 집합)으로 보내는 함수로 다양한 값을 랜덤하게 가질 수 있음 예시) 동전던지기 표본공간 : 동전의 [앞면, 뒷면] 만약 확률변수 'X'가 "동전을 2번 반복해서..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅하도록 하겠습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘 알아볼 내용은 '단어 수준 임베딩'입니다. https://codingopera.tistory.com/58?category=1094804 2. 자연어처리 임베딩 종류 (BOW, TF-IDF, n-gram, PMI) [초등학생도 이해하는 자연어처리] 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅하도록 하겠습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘 알아볼 내용은 '자연어처리 임베딩 종류'입니다. https://codingopera.tistory.com/57 1. 자연어처리 임베딩 [초등학생도 이해하는 자연어처리] 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅하도록 하겠습니다. 제목처럼 coding..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅하도록 하겠습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘 알아볼 내용은 '임베딩'입니다. 임베딩 (embedding) 임베딩 : 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 기본적으로 컴퓨터는 숫자를 이용하여 계산 하는 '계산기'입니다. 이러한 계산기가 사람의 언어인 자연어를 처리하게 하려면 자연어를 숫자로 바꿔 입력을 해주어햐 합니다. 이 과정을 '임베딩'이라고 합니다. 표1 가..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 요즘 ChatGPT의 인기가 대단해졌습니다. 그 이유는 바로 놀라운 성능 덕분인데요. 이번 시간에는 이러한 성능좋은 모델을 더욱 실생활에 잘 이용할 수 있게하는 '크롬 ChatGPT 확장프로그램'을 여러분들께 알려드리고자 합니다. ChatGPT 우선 확장프로그램을 설명하기 전에 'ChatGPT'에 대해 간단히 설명하도록 하겠습니다. 'ChatGPT'란 미국의 AI기업 'OpenAI'에서 만든 범용적 인공지능 챗봇입니다. 'GPT'는 'Generative Pre-Trained Transformer'의 약자로 해석하자면 '생성모델로 학습된 트랜스포머' 이겠습니다. 'GPT'와 'Transformer'에 대해 좀더 자세히 알고 싶..

안녕하십니까 코딩오페라의 Master.M입니다. 오늘은 코딩할 때 많이 사용되는 vim편집기를 이용한 bash 명령어 사용법에 대해 알아보도록 하겠습니다. vim VScode, atom, sunline 등과 같은 편집기중 하나 위의 편집기들은 gui기반 편집기들로 사용하기 편리하지만 vim은 그렇지 않음 그럼에도 불구하고 개잘 단계에세 많이 사용되어 필수적으로 알아야함 Bash Bash는 Bourne Again Shell의 약자 Shell이란 사용자와 커널을 연결하는 매개체로 사용자가 커널에 직접 명령을 내를 수 있게 하는 프로그램 그럼 이제 vim 편집기를 이용해 Bash를 실행하는 연습을 해봅시다. 1. 커널에 vim (만들고 싶은 bash이름).sh 를 입력 위 코드를 실행하면 다음과 같은 창이 나..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'Rethinking Positional Encoding In Language Pre-training' 논문입니다. Abstract absolute positional encoding에서 추가작업을 통해 다른 종류의 정보를 상관관계있이 혼합이 가능 downstream 작업에서 [CLS] token(문장의 정보들을 가지고 있는 특별한 token)을 다른 일반..