Ai2 发布开源具身模型 MolmoAct 2

“当我看到它真的起作用时，我真的喊了出来，‘哇，这真的能行！’”

MolmoAct 2 公开发布仅十天后，South Park Commons 的具身 AI 黑客松于 5 月 15 日在旧金山拉开帷幕。到周末结束时，获胜作品是由 LiveKit 的机器人软件工程师 Binh Pham 打造的一台由 MolmoAct 2 驱动、语音控制的机器人。

“有一件事真的让我眼前一亮，就是大家都说这东西开箱即用——他们直接部署到自己的机器人上，就能正常工作，”Pham 说。

在 Pham 的机器人上，MolmoAct 2 做到了他需要它做的事——他将模型接入了一个语音控制系统，并给机器人布置了它并未经过专门训练的任务。让 Pham 印象深刻的不仅是模型能够识别它面前的物体，还在于它能利用这些观察来指导行动。

“这个模型实际上有非常好的空间感知能力，”Pham 说。“MolmoAct 2 能很好地识别物体。”在机器人学习中，最困难的部分往往是将指令与机器人面前的场景联系起来，推理物体所在的位置，并生成对硬件有意义的动作。“这是我第一次真正看到一个并未在我所给任务上训练过的模型，却能实际完成这些任务，”Pham 补充道。

Pham 的结论是，MolmoAct 2 展现了机器人研究者几十年来一直试图解锁的那种通用行为。用他的话说，MolmoAct 2 之所以“令人惊叹”，是因为社区现在能够获得这样一个模型。

“我们真的在[开放模型]中寻找这种泛化能力，”他说。“我真的认为这就像是机器人领域的 GPT-2 时刻。”

MolmoAct 2 随附了研究人员和开发者检查、适配和定制它所需的工件：模型权重、数据、训练代码和微调脚本。对于一个强大的机器人学习系统难以复现或在此基础上构建的领域而言，这让此次发布比单个模型检查点更有用。

观看上方我们对 Pham 的采访。要自己基于 MolmoAct 2 进行构建，从 Hugging Face 下载模型权重，阅读发布博客，并在 GitHub 上找到训练代码和微调脚本。

订阅以接收有关最新 Ai2 新闻的每月更新。