Idiap与Logitech发布DialFork基准

2026年11月5日，Idiap研究院与Logitech合作发布DialFork基准，用于评测对话智能体的程序性幻觉，即工具调用正确、每句话也通顺，但智能体偏离了给定流程。该基准通过模拟24个任务、12个领域的对话并在指定轮次注入偏移，构建了超过36k条对话，由30名人工标注者和经其校准的LLM judge核验。据发布方称，提交方法只需一个CSV预测文件，数据、代码、论文中的全部预测及人工判断均已公开。目前该基准及配套排行榜已上线。

AI 根据报道生成 · 10 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。