跳到正文
机器之心·· 9 小时前AI 评分52

京东与南大提出 Road MOPD,缓解多教师蒸馏中的风格与跨领域干扰

老师各有所长,合版却起冲突?京东×南大提出Road MOPD缓解风格与跨领域学习干扰

AI 导读

京东零售视觉多模态与 AIGC 团队联合南京大学提出 Road MOPD,通过跨教师反馈协调多教师在线策略蒸馏中的更新冲突。方法先用教师共识调节逐 token 监督强度,再在参数更新前做预防性梯度投影并保留范数下限。

来源:机器之心 · mp.weixin.qq.com