跳到正文
只看一手#多模态
  1. Microsoft Research62

    微软研究院发布 Quine：面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine，一个面向生物学复杂性的 AI 研究系统，由跨序列、结构、功能、细胞状态和成像等多模态数据训练的世界模型，以及连接模型、科学工具、文献与研究者的交互式 harness 组成。

    推荐理由：微软研究院公开 Quine 的多模态生物世界模型与实验闭环，并给出胰腺癌化合物筛选的湿实验验证结果。

  1. Google Research66

    Google Research 发布 AI 视频联合导演框架，实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架，作为 Gemini 和 Veo 之上的编排层，把长视频生成建模为全局优化与世界状态追踪问题，缓解语义漂移和级联失败。

    推荐理由：Google 把长视频生成拆成四个可组合框架，并给出多镜头一致性与角色保持的评测结果，便于了解多智能体编排在视频生成中的具体分工。

  2. Google DeepMind74

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象，可同时处理视觉与音频输入并输出带表情和口型同步的音视频。

    推荐理由：官方给出 Live Avatar 的多模态对话、异步工具调用与 97 语言同步细节，可据此判断企业级实时数字人落地的能力边界。

  1. Google DeepMind72

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与逐行表演指导，后者面向高并发配音与语音智能体。

    推荐理由：官方给出两款 TTS 的定位差异、可用入口与基准排名，便于判断语音生成在创作与规模化场景中的分工。

  1. Google Research60

    Google Research 用生成式 UI 让教师创建互动学习模拟

    Google Research 发布研究实验，让教师借助生成式 UI（GenUI）为课程目标动态生成可交互的学习模拟，并同步开放 30 多个面向中学 STEM 的英文示例库。

    推荐理由：Google Research 用生成式 UI 让教师按课程目标生成互动模拟，并给出教师评分与试点入口。

  1. Google DeepMind74

    Google DeepMind 为 Gemini 推出智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。

    推荐理由：官方给出 token 与成本降幅及准确率变化，并说明 API 开启方式，便于开发者评估长视频分析方案。

  1. Google DeepMind72

    Google DeepMind 发布 Gemini Omni 1.1 Flash

    Google DeepMind 发布 Gemini Omni 1.1 Flash，通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频能力。

    推荐理由：官方给出场景延展、首尾帧插值与 4K 放大等具体能力与 API 入口，可据此判断生成视频工作流的可控性变化。

  1. Google DeepMind71

    Google DeepMind 发布语音转文字模型 Gemini 3.5 Transcribe

    Google DeepMind 发布语音转文字模型 Gemini 3.5 Transcribe，称其为目前最精确的语音转文字模型，可直接把原始音频转为准确、格式化文本。

    推荐理由：官方给出 WER、延迟与多语言数据，并说明实时与录音两条 API 的接入方式，便于开发者评估语音链路选型。

  1. Google DeepMind78

    Google DeepMind 发布手语转文本模型 SL2T，率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T，并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能，首批支持美国手语（ASL）转英文。

    推荐理由：官方披露了 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式，可据此判断手语 AI 从实验室走向消费级产品的技术取舍。

  2. Google Research72

    Google 推出 AMIE (Video)，实现实时视频临床问诊

    Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可在实时视频问诊中感知非语言线索、引导虚拟体格检查并同步进行诊断推理。

    推荐理由：Google 把 AMIE 从文本诊断扩展到实时视频问诊，并给出随机对照的评测设计，可了解多模态临床 AI 的当前边界。

  1. Hugging Face Blog60

    NVIDIA 发布 Magpie TTS 多语言语音模型，新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持 12 种语言，本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并通过更新训练数据提升了多种既有语言的质量。

    推荐理由：原文给出 364M 开源权重模型的多语言覆盖与各 GPU 上的 TTFA 实测数据，可据此评估自建语音链路的延迟预算。

  1. Hugging Face Blog78

    Meta 发布开源多模态模型 Muse Glimmer，30B 参数面向本地智能体

    Meta 发布 Muse Glimmer，一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型，面向本地智能体场景，可用于编码、文档分析和个人助手等隐私敏感应用。

    推荐理由：Meta 开源 30B 多模态模型，主打本地智能体场景，并给出与同级模型的基准对比和部署路径。

  1. Mistral AI65

    Mistral AI 发布 Shieldstral 3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可发布，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写入策略并输出校准后的安全分数，无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹配最多 7 倍参数量的模型，并在多模态审核上取得新的 SOTA。

    推荐理由：3B 开源安全分类器把审核策略放进推理时的自然语言问题里，可据此判断小模型在内容审核上的替代空间。

  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2，这是其面向机器人的具身推理模型，可理解视频、编排多步任务并把动作执行交给底层 VLA 模型，还能原生调用 Google Search 等工具。

    推荐理由：官方给出 ER 2 在进度分类、时刻定位与多机协作上的具体指标和开放入口，可据此判断机器人大脑的能力边界。

  1. Google DeepMind78

    Google DeepMind 发布 Gemini Robotics 2，为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2，包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2。

    推荐理由：Google DeepMind 发布三款机器人模型，首次实现人形机器人全身控制，并给出开放入口与适配成本。

  1. Google Research62

    Google 发布 SymptomAI：面向日常症状评估的对话式 AI 智能体

    Google Research 发布 SymptomAI，一个基于 Gemini Flash 2.0 的对话式症状评估智能体，在 n=13,917 的随机全国研究中让参与者与五种不同提问策略的智能体对话并给出鉴别诊断（DDx）。

    推荐理由：Google 用 13917 人随机对照研究比较五种提问策略，并首次把 AI 诊断与 Fitbit 生理信号做交叉验证。

  1. Hugging Face Blog87

    Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型

    Thinking Machines 在 Hugging Face 发布 Inkling 系列开源多模态模型，Inkling 为 975B 总参数、41B 激活参数的 MoE 架构，原生接受图像、文本和音频输入，支持 1M 上下文，训练数据达 45 万亿 token。

    推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断这一开源多模态模型的落地门槛。

  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音的开源流水线，用 Cerebras 加速 Gemma 4 31B 的推理。该架构为模块化设计，依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 语音合成，各层均可替换。

    推荐理由：原文给出了一套可替换的实时语音到语音开源架构，读者可据此了解各层组件如何组合与复用。

  1. Mistral AI67

    Mistral 发布 OCR 4 文档解析模型

    Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数，支持 170 种语言、10 个语系，可单容器自托管部署。

    推荐理由：官方给出 OCR 4 的边界框、块分类与置信度输出，以及自托管和按页计价方案，便于评估文档解析管线。