文本、词元与 ID
区分文本片段和对应的数字标识符。
- 区分文本片段和对应的数字标识符。
分词器把文本分为词元，并映射到词表中的 ID。词元可能是词、子词、字符或字节，空格和标点也有作用。同一段文本使用不同分词器时，词元数可能不同。
深入一点
实验室使用简单的词级分割，不是生产级 LLM 分词器。ID 只是标签：ID 8 的含义不是 ID 4 的两倍。上下文窗口限制模型可处理的词元数，应用可能选择、摘要或舍弃材料。
用自己的话解释
两个词元的 ID 相邻，含义就一定相近吗？
对照解释
不一定。ID 只用于识别词表项目，数字距离不表示语义距离。
这一栏由你自己标记，这里不打分。