Dongxi 东锡 NLP· @dongxi_nlp · X·· 4 小时前AI 评分52
AI 导读
文章以 Qwen3-0.6B 为例,拆解聊天模型从提问到回答的完整流程:chat template、tokenize、prefill、挑选 token、decode 循环和 detokenize 六个步骤。作者用真实词表编号演示,这句 9 个 token 的回答需要模型运行 9 次,每次给 151,936 个词表条目打分。文中还解释了回答逐字出现、同一问题答案不同、首字等待与生成速度差异等现象。
正文
来源:Dongxi 东锡 NLP · x.com