Hugging Face Blog·· 2024-10-16AI 评分38
Hugging Face 修复 Transformers 梯度累积损失计算错误
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积后损失与全批量训练不一致,正确做法应是累积步内总损失除以全部非 padding token 数,而非各批次损失的平均值。
来源:Hugging Face Blog · huggingface.co