Hugging Face Blog·· 2022-10-24AI 评分34
Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标
Evaluating Language Model Bias with 🤗 Evaluate
AI 导读
Hugging Face 为 🤗 Evaluate 库新增偏见评估指标,可对 GPT-2、BLOOM 等因果语言模型进行基于提示词的偏见检测。工作流分两步:用 🤗 Datasets 上的预设提示词生成文本,再用 🤗 Evaluate 的指标打分,覆盖 Toxicity、Polarity、Hurtfulness 三类任务。
来源:Hugging Face Blog · huggingface.co