코딩 오페라

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'Big Bird: Transformers for Longer Sequences' 논문입니다. Abstract Transformer 구조는 현재 NLP에서 가장 혁신적인 구조로 가장 성능이 좋음 그럼에도 불구하고 연산량이 문장의 길이의 제곱(quadratic) 하게 된다는 단점을 가지고 있음 이 논문에서는 이러한 이차원 적인 연산량을 선형적(일차원)으로 줄..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'BERTSUM: Text Summarization with Pretrained Encoders'논문 입니다. 등장 배경 기존의 pretrained language model의 문장과 문장수준의 이해를 넘어 광범위한 이해를 통해 text summarization을 구현하고자 함. Text Summarization의 종류 - Extractive Summari..

안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'BERT(Bidirectional Encoder Representations from Transformers)' 입니다. BERT - 구글에서 공개한 사전 훈련된 모델로 Transformer로 구성. Transformer(encoder-decoder)와 다르게 encoder으로만 구성. - Transformer encoder는 문장을 양방향(Bidirec..