Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持

Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并发布使用教程。示例基于 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。