技术方向
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
130 条精选近 30 天 9 条共收录 231 条
Google DeepMind 发布 Gemini 3 Flash，定位为兼顾前沿智能与速度、成本更低的模型，已在 Gemini API、Google AI Studio、Gemini CLI、Google Antigravity、Vertex AI 和 Gemini Enterprise 上线，并开始向 Gemini 应用和搜索 AI Mode 全量推送。
推荐理由：官方给出 Gemini 3 Flash 的基准分数、定价与上线渠道，可据此判断速度与成本权衡是否适合自身工作流。
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，提升了复杂工作流处理、指令遵循和自然对话能力。
推荐理由：官方给出 Gemini 2.5 Flash Native Audio 在函数调用、指令遵循和多轮对话上的具体提升数据，可据此判断语音智能体的可用性变化。
OpenAI 发布 GPT-5.2，称其为面向日常专业工作最先进的前沿模型，具备领先的推理、长上下文理解、编码和视觉能力。该模型已在 ChatGPT 和 OpenAI API 中提供，用于支撑更快、更可靠的智能体工作流。
推荐理由：OpenAI 官方发布 GPT-5.2，读者可据此了解新模型在推理、长上下文、编码与视觉上的定位及可用入口。
Mistral 发布 Mistral 3 系列，包括 14B、8B、3B 三个稠密小模型和迄今最强的 Mistral Large 3，后者为稀疏 MoE，41B 激活参数、675B 总参数，全部以 Apache 2.0 许可开源。
推荐理由：Mistral 3 全系以 Apache 2.0 开源并给出 NVFP4 量化与多平台部署路径，可据此判断开源前沿模型的落地成本。
Google 在 Gemini 应用中上线图像验证功能，用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印。
推荐理由：原文说明了 Gemini 应用内图像验证的入口与 SynthID 水印机制，读者可据此了解 AI 生成内容的溯源方式。
Google DeepMind 发布 Nano Banana Pro（Gemini 3 Pro Image），基于 Gemini 3 Pro 构建，主打高保真图像生成与编辑，已在 Google AI Studio 和 Vertex AI 以付费预览形式逐步开放。
推荐理由：官方给出新图像模型的分辨率、文本渲染与搜索接地能力，可据此判断多模态应用的选型与成本取舍。
Google DeepMind 发布 Nano Banana Pro（Gemini 3 Pro Image），这是基于 Gemini 3 Pro 的新一代图像生成与编辑模型，可生成更准确、文本更清晰的多语言图像，并支持最多 14 张图像合成、保持最多 5 人一致性，提供 2K 和 4K 分辨率及局部编辑、光照调整等控制。
推荐理由：Google DeepMind 发布基于 Gemini 3 Pro 的图像生成编辑模型，读者可了解其文本渲染、多图合成与产品接入范围。
Google DeepMind 发布 Gemini 3，其中 Gemini 3 Pro 在各项主要 AI 基准上超过此前版本，编码能力也强于 2.5 Pro。
推荐理由：官方给出 Gemini 3 Pro 的基准成绩、API 定价与配套开发平台，便于开发者判断迁移成本。
Google DeepMind 发布 Gemini 3，首发 Gemini 3 Pro 预览版，并同步接入 Gemini 应用、搜索 AI Mode、AI Studio、Vertex AI、Gemini CLI 及新智能体开发平台 Google Antigravity。
推荐理由：Gemini 3 Pro 在多项基准上刷新成绩并同步接入搜索、Gemini 应用与开发者平台，可据此判断多模态与智能体能力的当前水位。
Google 发布生成式 UI 实现，由模型直接生成网页、游戏、工具等完整交互界面，而非只生成内容。该能力以 dynamic view 和 visual layout 两个实验在 Gemini 应用中推出，并集成到 Google Search 的 AI Mode，基于 Gemini 3 Pro 配合工具调用、系统指令与后处理实现。
推荐理由：Google 把生成式 UI 从论文推进到 Gemini 与搜索的实测入口，读者可据此判断界面生成这一方向的产品化程度。
Google DeepMind 发布 SIMA 2，将 Gemini 模型作为智能体核心，使 SIMA 从指令执行者升级为能思考目标、与用户对话并自我改进的交互式游戏伙伴。SIMA 2 在未训练过的新游戏（如 ASKA、MineDojo）中泛化能力显著提升，并能通过 Gemini 反馈和试错进行自我改进，无需额外人类演示数据。该研究以有限研究预览形式向少量学者和游戏开发者开放早期访问。
推荐理由：SIMA 2 把 Gemini 的推理能力接入 3D 游戏智能体，并展示了跨游戏泛化与自我改进的训练路径。
OpenAI 发布视频生成模型 Sora 2，可在生成视频中同步对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由：OpenAI 发布视频生成模型 Sora 2，首次在生成视频中同步对话与音效，可据此了解视频生成的能力边界变化。
OpenAI 发布新一代视频与音频生成模型 Sora 2，并同步公开系统卡。相比 Sora，新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由：官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化，可据此了解视频生成模型的新边界。
OpenAI 发布 GPT-5，称其为迄今最强的 AI 系统，在智能水平上较此前所有模型有显著跃升。官方称 GPT-5 在编码、数学、写作、健康、视觉感知等方面达到 SOTA 表现。
推荐理由：OpenAI 官方发布 GPT-5，给出其在编码、数学、写作、健康与视觉感知上的能力定位。
Hugging Face 的 TRL 新增面向视觉语言模型的对齐能力，包括混合偏好优化 MPO、多模态 GRPO 以及 Qwen 提出的 GSPO，并扩展 RLOO 与 Online DPO 支持 VLM。
推荐理由：TRL 把 MPO、GRPO、GSPO 等对齐方法扩展到视觉语言模型，并给出可直接运行的训练脚本与 notebook。
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：Mistral 官方一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑能力，可据此判断其产品线的功能覆盖方向。
Mistral 发布 Voxtral 语音理解模型，提供 24B 生产版和 3B 本地与端侧版，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟转写或 40 分钟理解，具备音频问答、摘要、多语言自动检测和语音直接触发函数调用能力，并保留 Mistral Small 3.1 的文本能力。
推荐理由：Mistral 开源两款语音理解模型，给出 32k 上下文、多语言与函数调用能力及低于同类 API 一半的价格，可据此判断开源语音方案的可用边界。
Hugging Face 发布 SmolLM3，一个完全开源的 3B 模型，在 11T token 上训练，支持 6 种语言和最长 128k 上下文，并提供 think / no_think 双模式推理。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可据此复现或改进同规模模型。
Gemma 3n 从 Google I/O 的预览版转为正式发布，已在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库上线。
推荐理由：Gemma 3n 正式开源并接入主流推理库，读者可据此了解端侧多模态模型的硬件门槛与部署路径。
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。