登録すると、どこまで学んだかを覚えておきます。
人工知能はどうやって作られるのでしょう？
コードを知らなくても大丈夫。データを入れると、人工知能がトークン化 → ベクトル化 → 学習 → 生成という流れで作られる過程を目で見ることができます。望めば本物のPythonコードで作ることもできます。
直前の単語だけを見る学習用バイグラム模型です。埋め込み・attention・事実を学習しません。単語分割も本番LLMのトークナイザーではなく教材です。
- 準備 データ準備
- 1 ① トークン化
- 2 ② IDとワンホットベクトル
- 3 ③ トレーニング（学習）
- 4 ④ 生成
短い例文を集めましょう。繰り返すと回数は変わりますが、目的に合う資料が必要です。各文は別々に終わります。
文章 準備完了 · 単語 23個