ZeRO-3下EMA教师自蒸馏LoRA仓库发布
热点事件持续更新
ZeRO-3下EMA教师自蒸馏LoRA仓库发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月28日，有作者在r/MachineLearning发布sdft_zero3仓库，针对EMA教师自蒸馏在大模型上的显存与通信开销问题，提出用LoRA微调适配的方案：骨干网络共享并冻结，只维护学生和教师两个轻量适配器。仓库支持在ZeRO-3下运行SDFT、在教师/学生前向时切换适配器、保存与恢复EMA教师checkpoint，并附带用于修复显存尖峰的deepspeed配置。作者称已在Qwen3.5和ToolAlpaca上测试，并表示在TRL和ZeRO-3下跑通需要若干修复，因此打包为即插即用仓库。该报道为目前唯一来源，未提及适用模型规模、硬件门槛或收费与额度限制。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 02:16
用 EMA 教师做大规模自蒸馏：ZeRO-3 与 PEFT 的 LoRA 适配器方案报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- r/MachineLearning用 EMA 教师做大规模自蒸馏：ZeRO-3 与 PEFT 的 LoRA 适配器方案
作者发布 sdft_zero3 仓库，用 LoRA 微调解决 EMA 教师自蒸馏在大模型上的显存与通信开销问题：骨干网络共享并冻结，只维护学生和教师两个轻量适配器。仓库支持在 ZeRO-3 下运行 SDFT、教师/学生前向时切换适配器、保存与恢复 EMA 教师 checkpoint，并附带修复显存尖峰的 deepspeed 配置，已在 Qwen3.5 和 ToolAlpaca 上测试。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月28日 03:00
- 近 24 小时变化
- –
02.557.510
03:0004:0005:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。