코딩 오페라

안녕하세요 '코딩 오페라'입니다.현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘은 저번에 알아본 'Transformer'를 하버드에서 구현한 python code를 리뷰해드리고자 합니다. 만약 아직 Transformer의 개념에 대해 모르시는 분들을 아래글들을 먼저 읽고 오시기 바랍니다.(안 그러시면 이해가 1도 안되실 겁니다 TT.) https://codingopera.tistory.com/41 3. Attention [초등학생도 이해하는 자연어처리]안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 지금부터 알아볼 내용은 'Transformer'입니다. Transformer 개념은 너무 방대하기 때문에 이번 시간에는 "Self Attention"을 집중적으로 다루겠습니다. 이후 내용들은 다음 글에서 다루도록 하겠습니다.  Transformer 란?  본론 부터 말씀드리면 Transformer 모델은 Attention만으로 이루어진 encoder-decoder 구조의 seqenc..