Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF
Hugging Face 博客梳理了让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
推荐理由：梳理 IFT、SFT、CoT 与 RLHF 在对话智能体中的作用，并对比多家早期聊天机器人的训练与评测差异。
技术方向
推理能力 最新动态
模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
245 条精选近 30 天 62 条共收录 693 条
更新
精选归档 · 第 13 页
Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6262 图解基于人类反馈的强化学习 RLHF
Hugging Face 发布图解 RLHF 的教程文章，把训练流程拆成预训练语言模型、收集偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文章指出奖励模型输出标量奖励，训练时用 KL 散度惩罚约束策略偏离初始模型，并介绍了 TRL、TRLX、RL4LMs 等开源 RLHF 工具。文中还提到人类标注成本高、标注者意见不一致等局限，以及离线 RL、ILQL 等尚未充分探索的方向。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并梳理了开源实现与已知局限，适合作为入门框架参考。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的正确率为 55%，而 9-12 岁儿童小样本的正确率为 60%，即解题量约为这些孩子的 90%。
推荐理由：OpenAI 用自建小学数学数据集对比微调 GPT-3，给出模型与 9-12 岁儿童在同一批题目上的准确率差距。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。
推荐理由：Hugging Face 官方梳理贪心、beam search 与采样等解码策略，并给出 transformers 可直接运行的代码示例。
OpenAI News精选AI 评分6262 OpenAI 用单次演示让智能体在《蒙特祖玛的复仇》中取得 74500 分
OpenAI 训练出一个智能体，仅凭单次人类演示就在《蒙特祖玛的复仇》中取得 74500 分的高分，超过此前所有已公布结果。其算法从演示中挑选特定状态作为起点，让智能体依次游玩并优化游戏得分，所用强化学习算法 PPO 也是 OpenAI Five 的基础。
推荐理由：OpenAI 用单次人类演示加 PPO 在《蒙特祖玛的复仇》上取得 74500 分，可了解演示驱动强化学习的早期思路。