美团 LongCat 发布 MineExplorer:首个开放世界长程任务评测基准,18 款顶级多模态模型集体考砸
美团 LongCat 团队构建了 MineExplorer,一个在《我的世界》动态开放世界中评测多模态大模型的基准,包含 813 个人工验证实例(1-hop 到 4-hop)和规则化里程碑自动评测框架。
美团 LongCat 团队构建了 MineExplorer,一个在《我的世界》动态开放世界中评测多模态大模型的基准,包含 813 个人工验证实例(1-hop 到 4-hop)和规则化里程碑自动评测框架。
美团智播是面向本地生活场景的AI数字人直播解决方案,支持真人1:1复刻与门店实景定制,30秒生成直播素材、3分钟完成开播配置,7×24小时稳定上播。过去一年其月日均GTV同比增长82.12%,月日均观看人次同比增长163.44%,开播场次提升11倍。
AWS 官方博客给出在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线的完整教程,三个智能体分别负责作曲、交付与合规审查,通过同一 runtimeSessionId 共置在一台 GPU 实例上共享文件系统协作。
Condé Nast 与 AWS 生成式 AI 创新中心合作,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,并选用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的世界模型,以及连接模型、科学工具、文献与研究者的交互式 harness 组成。
推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,把长视频生成建模为全局优化与世界状态追踪问题,缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多镜头一致性与角色保持的评测结果,便于了解多智能体编排在视频生成中的具体分工。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。
推荐理由:官方给出 Live Avatar 的多模态对话、异步工具调用与 97 语言同步细节,可据此判断企业级实时数字人落地的能力边界。
Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,解码最高提速 3.13x(端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。
推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在创作与规模化场景中的分工。
Google Research 发布研究实验,让教师借助生成式 UI(GenUI)为课程目标动态生成可交互的学习模拟,并同步开放 30 多个面向中学 STEM 的英文示例库。
推荐理由:Google Research 用生成式 UI 让教师按课程目标生成互动模拟,并给出教师评分与试点入口。
H Company 发布 NeoMME,一个 260M 和 800M 的多语言多模态编码器家族,用单个双向 Transformer 同时处理文本 token 和 32×32 图像 patch,从零以掩码离散扩散目标预训练,不依赖预训练视觉塔或因果语言模型。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由:官方给出 token 与成本降幅及准确率变化,并说明 API 开启方式,便于开发者评估长视频分析方案。
Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频能力。
推荐理由:官方给出场景延展、首尾帧插值与 4K 放大等具体能力与 API 入口,可据此判断生成视频工作流的可控性变化。
Google DeepMind 发布语音转文字模型 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可直接把原始音频转为准确、格式化文本。
推荐理由:官方给出 WER、延迟与多语言数据,并说明实时与录音两条 API 的接入方式,便于开发者评估语音链路选型。
Google 在 CHI 2026 发布研究原型 AgentHands,可将 LLM 的高层推理映射为 XR 头显中与语音同步的手势,让 AI 智能体在 3D 空间里指点、演示物体。系统包含环境感知、手势事件库与手势嵌入推理三步,支持指示、象形、表达三类手势。在 N=12 的用户研究中,AgentHands 相比纯语音基线在空间指代效果上有显著提升。
Google Research 提出 PhotoScan,一个可从标准 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比(A/G)和内脏与皮下脂肪面积比(V/S)的深度学习框架。
Hugging Face 的 OlmoEarth Studio 现已支持计算并导出嵌入向量,用户可通过 UI 或 API 选择区域、时段、编码器变体和影像源,输出 Cloud-Optimized GeoTIFF。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列仍不可靠。
Google DeepMind 发布多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。
推荐理由:官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可据此判断手语 AI 从实验室走向消费级产品的技术取舍。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 构建,可在实时视频问诊中感知非语言线索、引导虚拟体格检查并同步进行诊断推理。
推荐理由:Google 把 AMIE 从文本诊断扩展到实时视频问诊,并给出随机对照的评测设计,可了解多模态临床 AI 的当前边界。
Microsoft Research 发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,可同时完成报告生成、结构化预测与病灶定位,并用强化学习 DAPO 在多任务中奖励临床正确性。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。
推荐理由:原文给出 364M 开源权重模型的多语言覆盖与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。
Meta 发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体场景,可用于编码、文档分析和个人助手等隐私敏感应用。
推荐理由:Meta 开源 30B 多模态模型,主打本地智能体场景,并给出与同级模型的基准对比和部署路径。
Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可发布,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略并输出校准后的安全分数,无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。
推荐理由:3B 开源安全分类器把审核策略放进推理时的自然语言问题里,可据此判断小模型在内容审核上的替代空间。
Google DeepMind 发布 Gemini Robotics ER 2,这是其面向机器人的具身推理模型,可理解视频、编排多步任务并把动作执行交给底层 VLA 模型,还能原生调用 Google Search 等工具。
推荐理由:官方给出 ER 2 在进度分类、时刻定位与多机协作上的具体指标和开放入口,可据此判断机器人大脑的能力边界。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升,包括更复杂自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表现力和发音更准确的人声,以及更易控制输出节奏与时长。
Google DeepMind 发布 Gemini Robotics 2,包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2。
推荐理由:Google DeepMind 发布三款机器人模型,首次实现人形机器人全身控制,并给出开放入口与适配成本。
Google Research 发布 SymptomAI,一个基于 Gemini Flash 2.0 的对话式症状评估智能体,在 n=13,917 的随机全国研究中让参与者与五种不同提问策略的智能体对话并给出鉴别诊断(DDx)。
推荐理由:Google 用 13917 人随机对照研究比较五种提问策略,并首次把 AI 诊断与 Fitbit 生理信号做交叉验证。
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和面向网络安全的 3.5 Flash Cyber 三款新模型。
推荐理由:官方给出三款新模型的定价、token 效率与多项基准对比,可据此判断智能体工作流的成本与选型。
Thinking Machines 在 Hugging Face 发布 Inkling 系列开源多模态模型,Inkling 为 975B 总参数、41B 激活参数的 MoE 架构,原生接受图像、文本和音频输入,支持 1M 上下文,训练数据达 45 万亿 token。
推荐理由:原文给出 Inkling 的架构细节、部署配置与基准对比,读者可据此判断这一开源多模态模型的落地门槛。
Google DeepMind 在印度启动 ATL Saathi 试点,这是一款由 Gemini 驱动的 Web 应用,为 Tinkering Lab 教育者提供 24/7 备课与培训助手。该工具基于 NotebookLM 整理 12 个核心模块内容,支持 10 个模块的项目生成,初期支持 8 种语言,由 Gemini 3.5 Flash 提供底层能力。首批覆盖 100 所试点学校。
PRX 系列第 4 篇披露其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,并将文本编码器从 T5Gemma 换成 Qwen3-VL,改为训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练多约 1 天)。图像统一以 JPEG quality 92 编码。
Google DeepMind 与 A24 宣布达成首个此类研究合作,将顶尖研究实验室与电影制作公司配对,帮助艺术家开发新工作流与技术。合作将跨越多个项目,让 A24 及其电影人直接参与塑造新技术,同时为 Google DeepMind 提供艺术家反馈。Google 还对 A24 进行了投资。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音的开源流水线,用 Cerebras 加速 Gemma 4 31B 的推理。该架构为模块化设计,依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 语音合成,各层均可替换。
推荐理由:原文给出了一套可替换的实时语音到语音开源架构,读者可据此了解各层组件如何组合与复用。
Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可单容器自托管部署。
推荐理由:官方给出 OCR 4 的边界框、块分类与置信度输出,以及自托管和按页计价方案,便于评估文档解析管线。
PaddleOCR 发布 PP-OCRv6 通用 OCR 模型家族并上线 Hugging Face,提供 tiny、small、medium 三档,参数从 1.5M 到 34.5M,其中 small 和 medium 支持 50 种语言。
推荐理由:原文给出三档模型参数、检测与识别精度及多后端接入方式,便于按部署场景选型。
Google Research 公布两项关于 AI 辅助皮肤问题理解的研究,其中发表于 JAMA Dermatology 的大规模调查显示,2345 名参与者使用 AI 工具后尝试命名皮肤状况的比例超 62%,准确率 23%,约为对照组 8% 的近三倍。但 AI 组在判断下一步就医建议上未取得统计显著改善,且比对照组更易给出不够紧急的建议。
Google DeepMind 发布 Gemini 3.5 Live Translate,这是一款支持 70+ 语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Google 发布支持 70+ 语言的实时语音翻译模型,并给出开发者、企业、消费端三条落地路径。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,介于边缘端 E4B 与 26B MoE 之间,是首个支持原生音频输入的中等规模 Gemma 模型。
推荐理由:Gemma 4 12B 用无编码器架构把视觉与音频直接接入 LLM 主干,读者可据此判断本地多模态智能体的硬件门槛。
Google Research 在 Nature 发表 PHRM 研究系统,利用手机前摄在面部解锁后拍摄视频,在后台被动估算心率和静息心率。该系统与 ECG 对比的 MAPE 低于 10%,每日 RHR 与 Fitbit Charge 6 对比的 MAE 为 4.39 bpm,并在浅、中、深三种肤色分组中均达到预设的非劣效标准。
推荐理由:Google 用手机前摄在解锁后被动测心率,论文给出跨肤色误差与可申请的数据和模型资源。