解锁 GPT-OSS 的智能体 RL 训练：一次实践复盘

Hugging Face 团队用 verl 框架对 GPT-OSS-20B 做智能体强化学习训练，发现 KL 散度和熵爆炸、奖励不升，根因是 MoE 架构下双次前向传播导致新旧 log-prob 不匹配，使 PPO 的 on-policy 重要性采样比值偏离 1。