TRL 为视觉语言模型加入 MPO、GRPO、GSPO 对齐支持

Hugging Face 的 TRL 新增面向视觉语言模型的对齐能力，包括混合偏好优化 MPO、多模态 GRPO 以及 Qwen 提出的 GSPO，并扩展 RLOO 与 Online DPO 支持 VLM。