AI가 글을 읽는 법 — 토큰화
컴퓨터는 긴 글을 통째로 이해하지 못해요. 작은 조각(토큰)으로 쪼개는 원리를 눈으로 봐요.
- 토큰화(글을 조각으로 나누기)의 개념을 안다
- 내 문장이 토큰으로 쪼개지는 것을 직접 본다
왜 글을 쪼갤까요?
인공지능은 긴 글을 한 번에 이해하지 못해요. 그래서 먼저 작은 조각인 "토큰"으로 쪼갠답니다. 보통 단어 단위예요.
실습실의 개념 모드에서 내 문장을 넣으면 토큰으로 쪼개지는 과정을 직접 볼 수 있어요.