학습·추론·검색
학습에서 바뀌는 것과 추론에서 사용하는 것을 설명해요.
- 학습에서 바뀌는 것과 추론에서 사용하는 것을 설명해요.
바이그램 모형은 바로 앞 단어 다음에 무엇이 나왔는지 세어요. sky 다음에 red가 세 번, blue가 한 번이면 확률은 3/4와 1/4예요. 현대 신경망 언어모델은 예측 손실을 줄이도록 많은 가중치를 최적화해요. 추론에서는 그 가중치와 주어진 문맥으로 다음 토큰의 점수를 계산해요. 이 실습은 조건부 예측을 보여주며 Transformer 전체 알고리즘은 아니에요.
조금 더 알아보기
파인튜닝은 모델 가중치를 바꿔요. LoRA는 기본 가중치를 고정하고 작은 어댑터 행렬을 학습할 수 있어요. RAG는 가중치 변경 없이도 자료를 찾아 문맥으로 제공해요. BM25는 단어 일치·빈도 포화·문서 길이 보정을, 임베딩 검색은 학습된 벡터 비교를 사용해요. 어느 방법도 증거 누락이나 잘못된 자료 검색을 완전히 막지 못해요. 채팅 한 번이 자동으로 모델 학습이 되는 것은 아니에요.
내 말로 설명해 보기
새 설명서를 찾아 프롬프트에 넣으면 반드시 파인튜닝일까요?
설명과 비교하기
아니요. 검색은 문맥을 더해요. 파인튜닝은 가중치를 갱신하는 학습 과정이 필요해요.
스스로 표시하는 칸이에요. 여기서 채점하지는 않아요.