Hugging Face Blog·· 2023-10-03精选AI 评分62
Hugging Face 为 tokenizer 引入 chat_template 属性
Chat Templates: An End to the Silent Performance Killer
AI 导读
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转成正确格式的字符串。
推荐理由
Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的模板，读者可据此理解格式错配为何会静默拖垮模型表现。
来源：Hugging Face Blog · huggingface.co