人工知能を作る

実際の開発につながる計画

最初はおもちゃのように小さく作り、原理を理解してから少しずつ大きくしていきます。

1

学びたいテーマの文章を集めます。最初は10文だけでも大丈夫です。

訓練文開始文

選択方法サンプリング温度 1

表は温度1の観測頻度です。温度は抽選確率を変えますが、学習回数や事実の正確さを変える道具ではありません。

生成された文 方法を選び「もう一度生成」を押します。

確率はこう計算します

前の単語鳥次の単語は 3 続いた回数 3 後に来た総回数 = 100% 確率

次の単語の候補

百分率は丸めているため、表示の合計が100%から少しずれる場合があります。

観測した単語トークン23個

どの単語の後に、何が何回来たでしょう？
前の単語次の単語	は	飛	び	ます	歌	い	文末
鳥	3	0	0	0	0	0	0
は	0	1	0	0	2	0	0
飛	0	0	1	0	0	0	0
び	0	0	0	1	0	0	0
ます	0	0	0	0	0	0	5
歌	0	0	0	0	0	2	0
い	0	0	0	2	0	0	0
魚	2	0	0	0	0	0	0

単語が多いため、最初の8個だけ表示します

核心となる概念

文末も含めてつながりを数えます。候補の確率は、その回数を選んだ単語の後の総回数で割った値です。ニューラル言語モデルはこの小さな表を保存するだけでなく、重みを学習します。

ニューラル言語モデルは学習例から数値の重みを学びます。生成時には重みと文脈から候補トークンのスコアを計算します。保存されたネットの文を取り出すだけでも、直前の単語だけを数える方法でもありません。

ラリアに送り、教材用バイグラムをコードにする方法を話し合いましょう。小さな学習模型で、完全な現代の言語モデルではありません。

この学習用バイグラムを理解するのを手伝って。学習文：鳥は飛びます。鳥は歌います。鳥は歌います。魚は泳ぎます。魚は泳ぎます。。開始：。計算を見せる前に次の単語の確率を予想させて。ニューラル言語モデルとの違いも説明して。