인공지능 만들기

직접 개발로 이어지는 계획

처음에는 장난감처럼 작게 만들고, 원리를 이해한 뒤 점점 키웁니다.

1

내가 배우고 싶은 주제의 문장을 모읍니다. 처음에는 10문장만 있어도 됩니다.

훈련 문장 시작 문장

선택 방식 샘플링 온도 1

표는 온도 1의 관찰 빈도를 보여줘요. 온도는 추첨 확률을 바꾸며 학습 횟수나 사실 정확성을 바꾸는 장치는 아니에요.

생성된 문장 방식을 고르고 다시 생성을 누르세요.

확률은 이렇게 계산해요

앞 단어 새는 다음 단어 노래해요 2 이어진 횟수 3 뒤에 온 전체 횟수 = 67% 확률

다음 단어 후보

백분율은 반올림하므로 표시 합계가 100%와 조금 다를 수 있어요.

관찰한 단어 토큰 10개

어떤 단어 뒤에 무엇이 몇 번 왔을까요?
앞 단어 다음 단어	날아요	노래해요	헤엄쳐요	문장 끝
새는	1	2	0	0
날아요	0	0	0	1
노래해요	0	0	0	2
물고기는	0	0	2	0
헤엄쳐요	0	0	0	2

핵심 개념

문장 끝을 포함해 이어지는 횟수를 세어요. 후보의 확률은 그 후보 횟수를 선택한 단어 뒤의 전체 횟수로 나눈 값이에요. 신경망 언어모델은 이 작은 표를 저장하는 데 그치지 않고 가중치를 학습해요.

신경망 언어모델은 학습 예제에서 숫자 가중치를 배워요. 생성할 때는 가중치와 주어진 문맥으로 후보 토큰 점수를 계산해요. 인터넷 문장을 그대로 찾아 꺼내거나 바로 앞 단어의 횟수만 세는 방식은 아니에요.

라리아챗봇에게 이 요청을 보내 교육용 바이그램을 코드로 구현하는 방법을 함께 살펴보세요. 작은 수업용 모형이며 완전한 현대 언어모델은 아니에요.

이 교육용 바이그램을 이해하도록 도와줘. 학습 문장: 새는 날아요. 새는 노래해요. 새는 노래해요. 물고기는 헤엄쳐요. 물고기는 헤엄쳐요.. 시작: . 계산을 보여주기 전에 다음 단어 확률을 내가 예상하도록 질문해 줘. 신경망 언어모델과 어떻게 다른지도 설명해 줘.