Dongxi 东锡 NLP· @dongxi_nlp · X·· 3 小时前AI 评分48
AI 导读
HamelHusain 发布新博客，介绍如何用决策模型做 Evals：如何为任务选择决策模型、调整阈值（不要假设 0.5 默认值合适）以及解读其分数，文中配有大量交互式图表。
正文
好文！
近段时间涌现出“决策模型”，如：
TypeSafe 的 Jev
Perplexity 的 Decider
Cloudflare 的 Clef
OpenAI 的 Decisions API
输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
如何用这些决策模型做 Evals，推荐读这篇！
New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://x.com/i/article/2112552453422104576在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com