Hugging Face Blog·· 2024-12-05AI 评分31
LLM 修复自身错误的能力有多强?基于 Keras 和 TPU 的 chatbot arena 实验
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs
AI 导读
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena,测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 7 个模型(5 个约 8B 参数、3 个约 2B 参数),场景是把自然语言日历请求翻译成 Python API 调用。
来源:Hugging Face Blog · huggingface.co