bonsai2 三值量化模型与 Qwen3.6、Ornith 的前端能力对比测试

对普通笔电即可带动的mini多模态模型（默认前提为量化版本）前端能力的斗蛐蛐测试

AI 导读

有网友在 12GB 显存笔电上对比测试了 bonsai 基于 Qwen3.8 27B 的三值极端量化模型 bonsai2，与 Qwen3.6-35B-A3B Q4_K_M、Ornith-1.5-35B-A3B IQ4_XS、Ornith-1.5-9B Q6_K 三款模型的前端生成能力。

正文

2026 年10 月 6 日 14:02 1

本人电脑配置如下

偶然听得网上说有bonsai做的新的27b（基于qwen3.8 27b）三值极端量化模型可本地部署，速度也很快，即便只有12GB显存也可爽玩，于是拉来和我以往玩过的几个模型做了两轮的前端图一乐测试，本来没抱有多大希望（感觉实在是量化的太狠了），不过最终结果反而有点意外
我挑了三个选手来和bonsai2做对比，分别是Qwen3.6-35B-A3B Q4_K_M，Ornith-1.5-35B-A3B IQ4_XS，Ornith-1.5-9B Q6_K，运行配置统一为 131K 上下文（除了bonsai是nvfp4的QV量化，其余都是Q8Q4混合QV量化），温度 0.4，复读惩罚系数1.08，最大思考程度，交给了Antigravity里的Gemini帮我做自动化测试和分析，一共就两个测试题目，一个是经典的鹈鹕骑车测试，另外是一个3d的小房子配一个樱花树。稍后补下鹈鹕的斗蛐蛐结果

来源：LinuxDo · linux.do