Dongxi 东锡 NLP· @dongxi_nlp · X·· 3 小时前AI 评分32
AI 导读
一颗 token 的诞生。 在这篇里，会把 LLM 的基本概念过一遍，包括： chat, template logits, detokenize tokenize KV, cache prefill, decode
正文
一颗 token 的诞生。
在这篇里，会把 LLM 的基本概念过一遍，包括：
chat, template
logits, detokenize
tokenize
KV, cache
prefill, decode
https://x.com/i/article/2115777748404760576在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com