美团图灵团队公开 Agent 评测实践:从评测体系到长程 Agent 演进
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式,主张评测需覆盖结果、过程、效率、风险四层,并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。
推荐理由:美团图灵团队公开两年 Agent 评测实践,给出从指标下钻到人机对齐的可迁移方法论与落地路径。
美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式,主张评测需覆盖结果、过程、效率、风险四层,并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。
推荐理由:美团图灵团队公开两年 Agent 评测实践,给出从指标下钻到人机对齐的可迁移方法论与落地路径。
美团搜索团队将 LLM 语义表征引入服务零售精排,用 Query、POI、Deal 的语义向量 cosine 相似度分桶后注入排序模型,三期实践均已完成全量上线。
美团智播是面向本地生活场景的AI数字人直播解决方案,支持真人1:1复刻与门店实景定制,30秒生成直播素材、3分钟完成开播配置,7×24小时稳定上播。过去一年其月日均GTV同比增长82.12%,月日均观看人次同比增长163.44%,开播场次提升11倍。
美团技术团队发布《Agent 评测白皮书》系列第一篇《评测全览》,提出完备的 Agent 评测体系可概括为四个模块、三种能力、两条 Loop、一套资产。两条 Loop 分别为评测体系迭代 Loop 与 Agent 迭代 Loop,二者共享线上真实样本,通过 Case 挖掘与归因相互咬合。四个模块中离线评测作为变更门控,依赖固定评测集与贴近生产的执行环境。
哈佛物理学家 Matthew Schwartz 在 Anthropic 客座文章中介绍开源 harness BootLoops,用于让 Claude 完成精确科学计算,源码已在 GitHub 公开。
Karpathy 分享了一组让大模型输出更易读的技巧,核心是把 40 年前欧洲航空业的受控英语规范 ASD-STE100 交给 LLM,其最新 Issue 9 含 53 条写作规则、约 900 个批准基础词和约 1200 个建议避免的词,要求一句指令控制在 20 词以内、一句话只安排一个操作、多用主动语态、同一概念只用同一个名字。
钟毓英语衡水体字帖生成器从 PyQt6 v1.1.1 重构为 Electron v2.0.x,实现 Windows / macOS / Linux 跨平台。项目采用 electron-vite、Canvas 2D、tesseract.js OCR 与 electron-builder,并处理 pickle 兼容与 Bottles 交叉打包等迁移问题。
OpenAI 发布 GPT-6 系列模型指南,面向初创公司讲解如何选择 GPT-6 模型、调节推理强度、优化提示词与技能、协调工具调用,并为生产环境准备相应工作流。
AWS 提出 Adjudicated Query 设计模式,让业务用户在 Amazon Quick 聊天界面提出合规问题,实际判定交由确定性规则引擎完成,模型只负责把自然语言问题翻译为固定类型操作并叙述结果。
Amazon Bedrock AgentCore Gateway 可将 Claude Desktop 接入 Web Search,突破模型训练知识截止限制,查询流量全程留在 AWS 基础设施内,无需外部 API key。
AWS 团队在 Amazon SageMaker AI 上用多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,仅调整 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数,其余走默认值。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它、不轻信 AI 的首次答案、用 AI 节省的时间去解决更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行批判性审查,以发现首个模型遗漏的问题。
清华唐杰团队在「Memory For LLM」工作中,从信息保存形式、更新方式、持续时长三个维度系统梳理了 LLM 模型层面的记忆机制。此前 TTT Layers、Titans、MemoryLLM 分别尝试用快速权重、可更新神经记忆模块和固定大小记忆池将历史信息写入模型内部,但信息写入权重后仍可能被新任务覆盖。
AWS Professional Services 用四个智能体组成的模式,把每应用 3 到 4 周的 IaC 开发时间缩短到几分钟,该模式基于 Strands Agents SDK 构建、运行在 Amazon Bedrock AgentCore 上,通过 AgentCore Gateway 暴露的 MCP 工具连接源与目标。
NVIDIA NeMo Agent Toolkit(NAT)可将 Amazon S3 Vectors 作为自定义持久记忆后端,实现语义检索、强写一致性和单索引最高 20 亿向量的弹性扩展。
Amazon Payments 在 Amazon SageMaker AI 上用多目标上下文多臂老虎机(LinUCB)做获客漏斗个性化,七周线上 A/B 测试中,一个人群最终漏斗转化率取得高个位数相对提升,另一人群则未见改善。
Amazon Bedrock AgentCore 支持构建"环境智能体"(ambient agent):它监听 Amazon S3 事件通知、EventBridge 规则、Lambda 触发器等事件流并自动执行任务,需要时通过单个 ask_human 工具暂停等待人工审批,再从中断处恢复。
GitHub Copilot app 的 canvases 是一种可自定义界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述工作流,agent 即可生成看板、清单或仪表盘等界面。
GitHub Copilot 提出 canvas 概念:一种运行在 GitHub Copilot app 内、无浏览器外壳的全栈应用,可与 agent 双向通信,也能调用第三方 API 并在本地执行代码。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超百万行改动和 400 多条行内评论的开源 PR 做压力测试。它把文档高度拆成确定性的代码几何与动态评论块两套体系,评论高度按需测量并锚定到文件、行和侧,避免滚动跳变。
GitHub 用 Copilot 应用和 CLI 把 Copilot 智能体运行时从 TypeScript 完全重写为超过 80 万行生产级 Rust,代码主要由 AI 智能体编写,分布在 128 个 PR 中增量合并,而非一次性切换。
推荐理由:一位工程师复盘用 Copilot 智能体把运行时从 TypeScript 迁到 Rust 的全过程,含并发会话协作与提示缓存数据。
GitHub 日韩市场负责人用 GitHub Copilot 把活动营销流程自动化:以 GitHub Issue 为工作单元,Issue forms 收集结构化字段,标签触发 GitHub Actions 工作流,自动完成落地页复制、UTM 链接生成、报名名单清洗与 CRM 导出。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。团队先搭建数值对齐测试框架,用自定义解析器生成调用树并派出上百个智能体补文档,再以规划、编码、测试、审查加人工检查点的结构化流程逐模块迁移。Mistral 总结出三条经验:先建对齐测试再写迁移代码、先整理文档再交给智能体、结构化工作流加人工审查优于完全自主。