跳到正文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 2 小时前AI 评分55
AI 导读

作者在 post training 系列第二篇中解释指令微调(SFT)的原理与流程。文章以 2023 年 3 月斯坦福团队用 52,000 条 text-davinci-003 生成数据微调 LLaMA 7B 得到 Alpaca 为例,说明指令微调沿用预训练的下一个 token 预测损失,改变的是模型行为方式而非知识。

正文

来源:Dongxi 东锡 NLP · x.com