본문 바로가기

반응형

전체 글

(67)
vim편집기를 이용한 bash 명령어 사용법 안녕하십니까 코딩오페라의 Master.M입니다. 오늘은 코딩할 때 많이 사용되는 vim편집기를 이용한 bash 명령어 사용법에 대해 알아보도록 하겠습니다. vim VScode, atom, sunline 등과 같은 편집기중 하나 위의 편집기들은 gui기반 편집기들로 사용하기 편리하지만 vim은 그렇지 않음 그럼에도 불구하고 개잘 단계에세 많이 사용되어 필수적으로 알아야함 Bash Bash는 Bourne Again Shell의 약자 Shell이란 사용자와 커널을 연결하는 매개체로 사용자가 커널에 직접 명령을 내를 수 있게 하는 프로그램 그럼 이제 vim 편집기를 이용해 Bash를 실행하는 연습을 해봅시다. 1. 커널에 vim (만들고 싶은 bash이름).sh 를 입력 위 코드를 실행하면 다음과 같은 창이 나..
Rethinking Positional Encoding In Language Pre-training 논문 리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'Rethinking Positional Encoding In Language Pre-training' 논문입니다. Abstract absolute positional encoding에서 추가작업을 통해 다른 종류의 정보를 상관관계있이 혼합이 가능 downstream 작업에서 [CLS] token(문장의 정보들을 가지고 있는 특별한 token)을 다른 일반..
Self-Attention with Relative Position Representations 논문 리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'Self-Attention with Relative Position Representations' 논문입니다. Abstract Transformer가 현재 기계 번역 분야에서 SOTA(state of the art)를 달성했지만 기존의 RNN, CNN과 달리 문서들의 상대적(relative) 또는 절대적(absolute) 위치 정보(positional i..
GPT: Improving Language Understanding by Generative Pre-Training 논문 리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'GPT: Improving Language Understanding by Generative Pre-Training'논문입니다. Abstract Supervised Learning(지도 학습)은 데이터를 labeling 하는데 많은 시간과 돈이 들어가고, 심지어 데이터 양도 적음 Unsupervised Learning(비지도 학습)은 반면 데이터 양도 풍..
BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension 논문리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension'논문입니다. Abstract GPT는 decoder(left-to-right decoder)로만 이루어져 있는 생성모델 BERT는 encoder(bidir..
PEGASUS: Pre-training with Extracted Gap-sentences forAbstractive Summarization 논문 리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization'논문입니다. Abstract 최근 self-supervised objectives(pre-training and fine-tuning)을 이용한 대형 언어 모델들이 좋은 성능을 보임 그러나 이러한 모델들 중 ab..
T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 논문리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer'논문입니다. 등장배경 최근 unsupervised learning을 통해 pretrain을 하고(upstream task), 그 다음 supervised learning을 통해 finetuning 하는 ..
BERTSUM: Text Summarization with Pretrained Encoders 논문 리뷰 안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 이번 시간에 알아볼 내용은 'BERTSUM: Text Summarization with Pretrained Encoders'논문 입니다. 등장 배경 기존의 pretrained language model의 문장과 문장수준의 이해를 넘어 광범위한 이해를 통해 text summarization을 구현하고자 함. Text Summarization의 종류 - Extractive Summari..

반응형