跳到正文
  1. 美团技术团队62

    美团图灵团队公开 Agent 评测实践:从评测体系到长程 Agent 演进

    美团图灵 Agent 评测团队将内部博客公开,由浅入深讲解 Agent 评测,涵盖评测是什么、如何建立评测体系,以及长程 Agent 框架带来的变化。文章提出观测加评测等于持续迭代的研发公式,主张评测需覆盖结果、过程、效率、风险四层,并给出把模糊指标下钻为二元化 Rubric、追求人人一致与人机一致的实践方法。

    推荐理由:美团图灵团队公开两年 Agent 评测实践,给出从指标下钻到人机对齐的可迁移方法论与落地路径。

  1. Hugging Face Blog60

    Hugging Face 发布 agent-eval:在自有工具上评测开放模型的智能体能力

    Hugging Face 发布 agent-eval 评测工具,以 transformers 为案例,按 bare、clone、skill 三种层级在模型 × 版本 × 任务上并行运行,衡量智能体完成任务所需的轮次、token 与错误率,而非只看最终答案。

    推荐理由:原文给出了一套可复用的智能体工具评测方法,并展示同一改动对不同规模模型效果相反的具体证据。

  1. Hugging Face Blog71

    Hugging Face 开源 Open DeepResearch,GAIA 验证集达 55.15%

    Hugging Face 开源了复现 OpenAI Deep Research 的 Open DeepResearch 框架,在 GAIA 验证集上达到 55.15%,高于此前开源框架 Magentic-One 的约 46%。

    推荐理由:Hugging Face 用 24 小时复现 OpenAI Deep Research 并开源框架,给出了 GAIA 上的对比数字与代码智能体的取舍依据。

  1. Hugging Face Blog62

    开源 LLM 作为 LangChain 智能体:Mixtral 在基准上超过 GPT-3.5

    Hugging Face 发布博客,介绍如何用 LangChain 新集成的 ChatHuggingFace 封装把开源模型搭建成 ReAct 智能体,并给出完整代码示例。

    推荐理由:原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准,可据此判断哪些模型适合驱动智能体工作流。

已经到底了