零训练PCA注入提升EmbeddingGemma-2音频基准排名
热点事件持续更新
零训练PCA注入提升EmbeddingGemma-2音频基准排名
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日，r/MachineLearning用户/u/JeanMichelRanu发布一项零训练实验：将google/embeddinggemma-2（577M）的第2层与第6层中间Conformer层用PCA压缩到256维，再注入模型最终投影矩阵中未被文本使用的256维零空间。PCA在来自4个外部音频数据集的1400段音频上拟合，未使用MAEB/MSEB数据。据该帖，MAEB音频基准宏平均分从49.3%升至54.4%（+5.1分），音频单项排名从第26升至第1，完整MAEB从第16升至第1，领先8B-9B多模态模型。作者同时说明代价：因无重训练，需保留全部768维以维持正交性，失去512/256/128截断选项；固定声学特征在归一化后略微缩小512维语义分量，损害应忽略说话人音色的音频到音频任务，SIBFLEURS口语主题分类从57.2%降至21.3%，MInDS14口语意图从97.6%降至88.3%。上述数字均来自作者自述，尚未见独立复现。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 21:34
用 PCA 填充 256d 零空间，EmbeddingGemma-2 在 MAEB 音频基准从第 26 名升至第 1报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- r/MachineLearning用 PCA 填充 256d 零空间，EmbeddingGemma-2 在 MAEB 音频基准从第 26 名升至第 1
作者将 google/embeddinggemma-2（577M）的中间 Conformer 层用 PCA 压缩到 256 维，注入模型最终投影矩阵未被文本使用的 256d 零空间，在零训练条件下把 MAEB 音频基准宏平均分从 49.3% 提升到 54.4%（+5.1 分），音频单项排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。