ベクトルと埋め込み
ID・ワンホットベクトル・学習済み埋め込みを区別します。
- ID・ワンホットベクトル・学習済み埋め込みを区別します。
IDは名札、ベクトルは数値の並びです。ワンホットは語彙の一か所だけを1、残りを0にし、意味の近さを表しません。埋め込みは学習したベクトルです。データと学習目標に応じて、関連する用法が近くに配置されることがあります。
もう少し詳しく
現代のTransformerはattentionで文脈中の位置ごとの情報を組み合わせるため、同じトークンでも文によって表現が変わります。類似度は真実や同義を保証しません。有名な王 − 男性 + 女性の例は一部の単語埋め込みでの結果で、普遍的な等式ではありません。検索では互換性のある埋め込み空間で質問と文書を比較します。
自分の言葉で説明
埋め込みが近ければ、二つの文が同じ真実を述べている証拠になりますか。
説明と比べる
いいえ。同じ話題でも反対の主張かもしれません。実際の内容を読んで確認します。
自分で記録する欄です。ここで採点はしません。