Apple 提出在线稠密强化学习框架，在真实 iOS 应用上训练 UI 导航智能体

作者Peitong Duan*、Seyed Khashaiar Gatmiry*、Jeff Nichols、Emmanuel Abbe、Samy Bengio

前沿视觉语言模型在用户界面（UI）导航方面展现出强大能力，但其高昂的推理成本使其难以日常使用。相反，通过监督微调（SFT）或离线强化学习训练的小型模型往往记忆静态轨迹，导致执行脆弱且无法从错误中恢复。为解决这些局限，我们提出一种新颖的在线强化学习框架，直接在实时 iOS 应用上训练 UI 导航智能体。我们的框架将智能体解耦为两个专门组件：规划智能体和 UI 定位模型。我们依赖 LLM-as-a-Judge 提供全面的奖励信号，结合密集的步级反馈来评估中间进展，以及用于整体任务完成的终端奖励。为有效利用这种双重奖励结构，我们使用带有步级优势估计的近端策略优化（PPO）来优化智能体。此外，我们引入了 GiGPPO，一种新颖的邻居条件价值估计方法，通过利用并发轨迹中视觉相似状态的奖励信号来提高评论家稳定性。为大规模支持这种在线训练范式，我们引入了一种高效的基础设施，可编排数百个并发虚拟 iOS 设备。在严格基准（包括 UINavBench、iOSWorld 和 AndroidWorld）上的评估表明，我们在线 RL 训练的智能体大幅优于 SFT 和仅终端 RL 基线，同时加速了训练收敛。值得注意的是，我们的 8B RL 智能体在向 Android 环境的分布外泛化方面比 SFT 基线提升了近七倍，同时在真实 iOS 应用上优于 Gemini-3.5-Flash 并与 Gemini-3.1-Pro 持平。

• * 同等贡献

相关阅读和更新。

多模态视觉语言模型（VLM）凭借对图像和语言的融合理解实现了强大的应用，但许多模型由于缺乏 UI 训练数据而在 UI 任务上表现不佳。在本文中，我们将一种为 VLM 生成配对文本-图像训练数据的方案适配到 UI 领域，方法是将现有的基于像素的方法与大型语言模型（LLM）相结合。与先前工作不同，我们的方法不需要人工提供的标注，…

阅读更多

随着生成式 AI 的进步，越来越多的研究致力于创建能够通过操作用户界面（UI）来管理日常任务的自主智能体。虽然先前研究已经探讨了 AI 智能体如何导航 UI 和理解 UI 结构的机制，但智能体及其自主行动的影响——尤其是那些可能具有风险或不可逆的行动——仍未得到充分探索。在这项工作中，我们研究了现实世界的影响以及…

阅读更多