안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 오늘부터는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅하도록 하겠습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 오늘 알아볼 내용은 '토큰화'입니다. 토큰화란? 우선 토큰화가 무엇이지 알아야겠죠? 토큰화란 문장을 분석하기 위해 더 이상 쪼개 지지 않을 때까지 잘게 분해는 작업을 의미합니다. 여러분들이 레고 모형을 더 이상 쪼개 지지 않는 레고 블록 단위로 분해하는 것과 유사하다고 생각하면 됩니다. 여기서 '토큰(token)'은 우리나라 말로는 '형태소(morpheme)'로 가장 작은 말의 단위..
