跨平台LLM压缩工具Taco发布

2026年10月20日，用户 /u/phoenix10701 在 r/MachineLearning 发布跨平台 LLM 压缩工具 Taco。该项目的目标是让压缩器在解码时算出与编码器完全相同的概率。作者指出，浮点数在不同硬件上存在差异，例如在 Mac 上编码的 float GPT-2 到 x86 上解码时会出现不一致。据该报道，Taco 采用的方法包括：仅整数推理（int8 权重、固定舍入、查找表）、精确的 float32 到整数转换器（尾数 × 2^exp）以及一致性向量。目前进展仅限于发布与上述方法说明，报道未提及后续测试结果或更广泛的采用情况。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。