跳到正文
机器之心·· 4 小时前AI 评分68

KTransformers-FineTune 让 CPU 直接参与 MoE 微调计算

别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算

AI 导读

清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),联合 LlamaFactory 打造开源微调方案,让 CPU 用主存中的权重直接完成 MoE 专家计算,GPU 只负责注意力模块。

来源:机器之心 · mp.weixin.qq.com