用 DPO 微调 Llama 2：TRL 库实践指南
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并演示如何用它在 stack-exchange 偏好数据上微调 Llama v2 7B 模型。
推荐理由：Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码，读者可据此在自有偏好数据上复现对齐训练。
公司与模型
Meta / Llama 最新动态
Meta 的 AI 动态：Llama 与 Muse 系列模型、超级智能实验室与 Meta AI 产品。
23 条精选近 30 天 7 条共收录 100 条
更新
精选归档 · 第 2 页
Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 全面接入
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可。Hugging Face 同步完成集成，提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署，并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由：Meta 开源 Llama 2 并同步接入 Hugging Face 生态，读者可了解其许可、规模与推理微调路径。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程，用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习，训练管线已集成到 TRL 库。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现或迁移到自己的模型对齐任务。