技术方向
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
130 条精选近 30 天 9 条共收录 231 条
阿布扎比 TII 的 Falcon Vision 团队发布 Falcon Perception，一个 0.6B 参数的早期融合 Transformer，用自然语言提示做开放词汇定位与分割，在 SA-Co 上达到 68.0 Macro-F1，高于 SAM 3 的 62.3，但在存在性校准上落后（MCC 0.64 对 0.82）。
推荐理由：原文给出 0.6B 早期融合模型在 SA-Co 与 PBench 上的分项对比，可据此判断单骨干架构在开放词汇感知上的取舍。
IBM 发布 Granite 4.0 3B Vision，一个面向企业文档理解的紧凑视觉语言模型，以 LoRA 适配器形式搭载在 Granite 4.0 Micro 之上，采用 Apache 2.0 许可在 Hugging Face 开放。
推荐理由：IBM 发布面向企业文档的紧凑视觉语言模型，给出表格、图表与 KVP 抽取的基准对比，可据此判断小模型在文档流水线中的位置。
Google DeepMind 公布 AI 指针的实验性方案，由 Gemini 驱动，让指针理解用户指向的内容及其对用户的意义，并给出四条交互原则：保持工作流不中断、展示与说明、用「这个」和「那个」的简略表达、把像素变成可操作实体。
推荐理由：Google DeepMind 公开 AI 指针的四条交互原则，并说明其已进入 Chrome 与 Googlebook，读者可据此判断 AI 交互从提示词转向指向与语音的路径。
Google DeepMind 发布 Gemini 3.1 Flash Live，称其为目前质量最高的音频与语音模型，具备更高精度和更低延迟。该模型在 ComplexFuncBench Audio 上取得 90.8%，在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%，并支持多语言。
推荐理由：官方给出语音模型在函数调用与长程推理基准上的分数，并说明开发者、企业与普通用户三类入口的可用范围。
Google DeepMind 发布音乐生成模型 Lyria 3 Pro，可生成最长 3 分钟的曲目，并能按前奏、主歌、副歌、桥段等结构元素进行提示控制。该模型已在 Vertex AI 公开预览，并接入 Google AI Studio、Gemini API、Google Vids、Gemini 应用和 ProducerAI。
推荐理由：Lyria 3 Pro 把单曲生成时长拉到 3 分钟并支持段落级提示，读者可据此判断音乐生成在创作流程中的可用边界。
Google 发布 Vibe Coding XR 工作流，将 Gemini 与基于 WebXR 的 XR Blocks 框架结合，把自然语言提示直接转成可运行的 Android XR 应用，官方称耗时在 60 秒以内。
推荐理由：Google 把 Gemini 与 XR Blocks 组合成自然语言生成 XR 应用的流程，并给出 VCXR60 初步评测数据，可据此判断 XR 原型开发门槛的变化。
Mistral AI 发布首款文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言，可做情感表达与零样本跨语言音色适配。
推荐理由：Mistral 首款 TTS 模型给出 4B 参数、9 语言与 70ms 延迟等具体指标，并附与 ElevenLabs 的人工对比结果。
Google Research 在 The Check Up 活动上公布医疗 AI 的多项进展，覆盖个性化健康、临床协作、开发者生态与公共卫生等方向。
推荐理由：Google Research 集中披露医疗 AI 从研究走向临床的多条进展，可了解其落地路径与合作方式。
H Company 发布 Holotron-12B，一个基于 NVIDIA Nemotron-Nano-2 VL 后训练的多模态计算机操作模型，现已上线 Hugging Face，采用 NVIDIA Open Model License。
推荐理由：原文给出模型来源、混合 SSM 架构与吞吐对比数据，读者可据此判断其在长上下文智能体场景的部署取舍。
OpenAI 发布 GPT-5.4 mini 和 nano，是 GPT-5.4 的更小、更快版本。两款模型针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。
推荐理由：OpenAI 在 GPT-5.4 之下补出 mini 与 nano 两档小模型，读者可据此判断高并发与子智能体场景的选型空间。
Mistral AI 发布 Mistral Small 4，首次将 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型，采用 Apache 2.0 许可。
推荐理由：Mistral Small 4 把推理、多模态与编码智能体能力合并进单一开源模型，并给出可配置推理强度与部署门槛。
Google DeepMind 发布 Gemini 3.1 Flash-Lite，称其为 Gemini 3 系列中速度最快、成本最低的模型，定价为每百万输入 token 0.25 美元、每百万输出 token 1.50 美元。
推荐理由：官方给出定价、速度与基准数据，可据此判断高并发场景下是否值得替换 2.5 Flash。
Google DeepMind 发布图像生成模型 Nano Banana 2（Gemini 3.1 Flash Image），把 Nano Banana Pro 的世界知识、推理与画质带到 Flash 速度。
推荐理由：官方给出 Nano Banana 2 的能力清单与上线渠道，读者可据此判断 Pro 级图像能力下放到 Flash 速度后的可用范围。
Google DeepMind 的 Lyria 3 音乐生成模型以 beta 形式在 Gemini 应用上线，用户用文本或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目，并附由 Nano Banana 生成的封面图。
推荐理由：官方披露 Lyria 3 在 Gemini 应用中的生成方式、时长与 SynthID 音频验证能力，可据此判断音乐生成的使用边界。
Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie，这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型，支持创建、探索和混编交互式世界。
推荐理由：Google DeepMind 把 Genie 3 世界模型做成可交互原型，读者可据此了解世界模型从研究走向订阅制产品的路径。
Google DeepMind 发布 D4RT（Dynamic 4D Reconstruction and Tracking），用统一的编码器-解码器 Transformer 架构完成动态场景的 4D 重建与追踪。
推荐理由：D4RT 把动态场景重建统一进单一框架，并给出 18x 至 300x 的加速数据，可据此判断 4D 重建的实时化路径。
Google 通过 HAI-DEF 项目发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并保留 2D 图像与文本能力。
推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口，可据此判断医疗多模态模型的可用边界。
Google DeepMind 更新 Veo 3.1 Ingredients to Video，让基于参考图生成的视频在短提示词下更富表现力，并提升角色身份、背景与物体的一致性。
推荐理由：官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体变化，可据此判断移动端短视频工作流是否值得迁移。
NVIDIA 发布 Cosmos Reason 2，一款面向物理 AI 的开源推理视觉语言模型，在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。
推荐理由：NVIDIA 开源视觉语言推理模型 Cosmos Reason 2 的发布细节，含 256K 上下文与 2B/8B 规格，可对照上一代判断物理 AI 推理能力进展。
Mistral 发布文档解析模型 Mistral OCR 3，在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%，官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。
推荐理由：官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与定价，可据此判断文档解析成本与适用场景。