跳到正文
Hugging Face Blog·· 2024-10-16AI 评分57

Hugging Face Transformers 修复梯度累积损失计算问题

Fixing Gradient Accumulation

AI 导读

Hugging Face 官方博客说明 transformers Trainer 中梯度累积导致损失不匹配的问题及其修复方案。问题源于默认损失函数按批次平均而非按累积步内非 padding token 总数计算,官方将自动处理默认损失的梯度累积逻辑,并新增 loss_function 属性和 API 允许用户传入自定义损失函数。

来源:Hugging Face Blog · huggingface.co