Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜

Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件在 16 项任务上评估日语大语言模型，涵盖自然语言推理、机器翻译、摘要、问答、代码生成、数学推理和考试题等，任务以 4-shot 方式运行。数据集由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，部分任务需要长上下文推理。