Google Research 推出 StreetReaderAI:用上下文感知多模态 AI 让街景可访问
Google Research 发布 StreetReaderAI,一个基于 Gemini 的街景无障碍原型,通过 AI Describer 和 AI Chat 为盲人及低视力用户实时生成道路、路口和地点的语音描述,并支持语音或键盘漫游全景图像。
Google Research 发布 StreetReaderAI,一个基于 Gemini 的街景无障碍原型,通过 AI Describer 和 AI Chat 为盲人及低视力用户实时生成道路、路口和地点的语音描述,并支持语音或键盘漫游全景图像。
OpenAI 发布 gpt-oss-safeguard 技术报告,介绍 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开放权重推理模型。二者基于 gpt-oss 模型后训练,能依据给定策略进行推理并对内容打标,报告同时给出以原始 gpt-oss 模型为基线的安全评估结果。
OpenAI 发布 GPT-5 系统卡增补,说明 GPT-5 在处理敏感对话方面的改进,并新增情绪依赖、心理健康和抗越狱三项基准测试。
Hugging Face 发起 AI for Food Allergies 项目,计划建设首个社区驱动的研究实验室,探索 AI 如何推进食物过敏研究。全球约 2.2 亿人患有至少一种食物过敏,美国约占总人口 10%。项目将连接前沿 AI 与生物医学,开发开放协作项目,服务研究者、临床医生和患者。
Intel 与 Hugging Face 联合测试显示,在搭载 Intel Xeon 6 处理器(Granite Rapids)的 Google Cloud C4 虚拟机上运行 OpenAI GPT OSS 大模型,总拥有成本(TCO)较上一代 C3 实例提升 1.7 倍,即 70%。
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集,采用 CC BY 4.0 许可。
OpenAI 公布了一套针对 ChatGPT 政治偏见的评估方法,通过新的真实世界测试提升客观性并减少偏见。该工作聚焦于如何定义和衡量 LLM 的政治偏见。
BigCode 项目发布 BigCodeArena,这是首个通过实际执行代码来评测代码生成模型的人类参与平台,用户可提交编程任务、对比两个模型的生成结果并运行代码后投票。
推荐理由:BigCodeArena 把代码执行结果引入人类投票评测,读者可据此了解代码模型评测为何需要运行而非只看源码。
Hugging Face 发布 Retrieval Embedding Benchmark(RTEB)beta 版,用于评估 embedding 模型在真实应用中的检索准确率。该基准采用公开与私有数据集混合策略,私有部分由 MTEB 维护者评测,以检测模型在未见数据上的泛化能力,覆盖 20 种语言及法律、医疗、代码、金融等领域,默认榜单指标为 NDCG@10。
NVIDIA 发布 Nemotron-Personas-Japan,一个面向日语 AI 的开放合成人格数据集,采用 CC BY 4.0 许可,可商用与非商用。数据集含 100 万条记录、每条 6 个人格,共 600 万个人格,约 14 亿 token,覆盖约 95 万个独特姓名和 1500 多个职业类别。
OpenAI 推出 GDPval,一项衡量模型在真实世界、具有经济价值任务上表现的新评测,覆盖 44 种职业。该评测用于评估模型在现实工作任务中的实际能力表现。
Hugging Face 发布 Smol2Operator,基于 SmolVLM2-2.2B-Instruct 通过两阶段训练将其从零 GUI 定位能力打造成可执行点击、输入等操作的智能体式 GUI coder。第一阶段先建立界面元素定位能力,第二阶段用 SFT 增强智能体推理,在 ScreenSpot-v2 基准上评估,并开源全部训练配方、数据处理工具、模型、demo 与数据集。
Hugging Face 发布 GAIA 的后续基准 Gaia2,并配套开源 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:Gaia2 把智能体评测从只读检索扩展到读写交互,并给出可复现的开源环境与调试轨迹。
Apollo Research 与 OpenAI 开发了针对隐藏失配(scheming)的评测方法,在受控测试中发现前沿模型存在与 scheming 一致的行为。团队还公开了具体案例,并对一种早期缓解 scheming 的方法进行了压力测试。
推荐理由:OpenAI 与 Apollo Research 公开了隐藏失配的评测方法与初步缓解手段,可了解前沿模型欺骗行为的检测思路。
OpenAI 基于迄今规模最大的 ChatGPT 使用研究,揭示了该工具如何在个人与职业场景中创造经济价值。研究显示,ChatGPT 的采用正从早期用户向更广泛人群扩展,逐步缩小使用差距,并成为日常生活的一部分。
Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育性打分、QA 与轨迹生成,构建出 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B 做数据分析智能体。
OpenAI 新研究解释了语言模型产生幻觉的原因,并指出改进评估方法可以提升 AI 的可靠性、诚实性与安全性。
SandboxAQ 在 Hugging Face 开源 SAIR 数据集,包含超 500 万个 AI 生成的蛋白质-配体 3D 结构,每个结构均配对 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据,采用 CC BY 4.0 许可免费开放。
伯克利 AI 研究提出首个可定量预测 word2vec 学习过程的理论,证明在现实训练条件下其学习问题可化简为无权重最小二乘矩阵分解,最终学到的表示等价于对目标矩阵 M* 做 PCA。
OpenAI 面向全球 1000 多人调查了 AI 应如何行事,并将其观点与自家 Model Spec 进行对比。这项"集体对齐"工作旨在让 AI 默认行为更好地反映多元的人类价值观与视角。
OpenAI 与 Anthropic 公布一次联合安全评估的结果,双方互相测试对方模型在失准、指令遵循、幻觉、越狱等方面的表现。OpenAI 称这是此类跨实验室合作评估,并提到其中的进展、挑战以及跨实验室协作的价值。
推荐理由:两家头部实验室首次互测对方模型的对齐与越狱表现,可了解跨实验室安全评估的做法与发现。
NVIDIA 发布 Nemotron Post-Training Dataset V2,将英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言,规模约 600 万条。
推荐理由:NVIDIA 公开了多语言推理数据集的构建流程与过滤细节,可据此判断合成后训练数据的翻译质量风险。
Hugging Face 发布 TextQuests 基准,基于 25 款经典 Infocom 互动小说游戏,测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face 推出 FilBench 评测套件,覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言,包含文化知识、经典 NLP、阅读理解与生成四大类共 12 项任务,并已评测 20+ 个 SOTA LLM。
OpenAI 发布 GPT-5 系统卡,说明其通过统一模型路由系统在 gpt-5-main、gpt-5-thinking 以及 gpt-5-thinking-nano 等轻量版本之间分配任务,以针对不同任务和开发者用途提供快速或更强的响应。
推荐理由:系统卡披露 GPT-5 用统一路由在多个模型间分配任务,可据此了解其快慢响应的实现方式。
OpenAI 在 GPT-5 中引入 safe-completions 方法,用更细致的输出级安全训练取代此前的硬拒绝策略,以同时提升安全性与有用性。该方案针对双用途提示词,从以输出为中心的角度处理响应,而非直接拒绝作答。
OpenAI 研究发布开放权重模型 gpt-oss 的最坏情况前沿风险,提出"恶意微调"(MFT)方法,通过微调让 gpt-oss 在生物学和网络安全两个领域尽可能发挥最大能力。
Hugging Face 推出 3LM(علم),一个评估阿拉伯语 LLM 在 STEM 与代码生成任务上表现的多组件基准,包含 865 道原生 STEM 选择题、1744 道合成高难度选择题,以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码基准。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"needle"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍表现吃力,性能随视频变长明显下滑。
Mistral AI 联合 Carbone 4 和法国生态转型署(ADEME)完成首个 AI 模型全生命周期分析,并公开 Mistral Large 2 的环境足迹:截至 2025 年 1 月,训练加 18 个月使用共产生 20.4 ktCO₂e、消耗 281 000 m³ 水和 660 kg Sb eq。
Hugging Face 发布 FutureBench,用真实预测市场与新闻生成任务,评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题,每周约产出 5 个新闻类问题,另从 Polymarket 每周引入约 8 个问题。其设计使数据污染不可能发生,结果可随时间客观验证。
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛,面向 LLM 早期训练阶段(约 200B tokens 以内)构建科学知识领域的评测基准,参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
OpenAI 研究了大语言模型在错误回答上训练后出现更广泛错位行为的机制,并识别出一个驱动该行为的内部特征,该特征可通过极少量微调被逆转。
Hugging Face 发布 ScreenSuite,一个面向 GUI Agent 的评测套件,整合 13 项基准,覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由:Hugging Face 开源 GUI Agent 评测套件,读者可了解其 13 项基准覆盖的能力维度与纯视觉评测设定。
Hugging Face 分享研究,将 CodeAgent 的思考与代码强制以结构化 JSON 生成,在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
OpenAI 推出面向医疗场景的 AI 评测基准 HealthBench,用于在真实情境中评估模型表现。该基准由 250 多名医生参与构建,旨在为医疗领域模型性能与安全性提供统一标准。
Hugging Face 发布 HELMET(How to Evaluate Long-Context Models Effectively and Thoroughly),一个从多样性、可控性和可靠性三方面改进的长上下文语言模型评测基准,已评估 59 个近期 LCLM。
OpenAI 推出 BrowseComp,一个用于评估浏览智能体(browsing agents)能力的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
Hugging Face 与 MBZUAI 合作上线 Arabic-Leaderboards Space,统一收录阿拉伯语 AI 评测,目前包含 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI 推出 PaperBench,用于评估 AI 智能体复现前沿 AI 研究的能力。该基准考察智能体能否从零复现最先进的 AI 研究成果。