KTransformers-FineTune 提出 CPU/GPU 协同微调方案

2026年10月16日，机器之心报道，清华大学 MADSys 实验室与趋境科技提出并开源 KTransformers-FineTune（KT-FT）微调方案，并联合开源项目 LlamaFactory 团队打造相关开源生态。该方案让 CPU 用主存中的权重直接完成 MoE 专家计算，GPU 只负责注意力模块，通过 CPU 与 GPU 协作，吞吐达到传统卸载范式的 2.5～21.2 倍。报道称，KT-FT 实现 LoRA 微调和推理可在同等硬件条件下一键执行，并已作为执行后端接入 LlamaFactory；开发者可沿用熟悉的微调流程，并通过官方指南完成硬件检查、配置选择和微调。目前该方案处于开源发布阶段，尚无后续进展报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。