机器之心·· 4 小时前AI 评分68
KTransformers-FineTune 让 CPU 直接参与 MoE 微调计算
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
AI 导读
清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),联合 LlamaFactory 打造开源微调方案,让 CPU 用主存中的权重直接完成 MoE 专家计算,GPU 只负责注意力模块。
来源:机器之心 · mp.weixin.qq.com