机器之心· 机器之心·· 8 小时前AI 评分60
Q Labs 提出 Dust：不用反向传播预训练 Transformer
不用反向传播，也能预训练Transformer，Jeff Dean投的这家公司出成果了
AI 导读
Q Labs 提出零阶优化方法 Dust，通过在每层激活值上按 token 独立加高斯噪声构建虚拟种群，用损失变化估计梯度，从而在不执行反向传播的情况下预训练 Transformer。
来源：机器之心 · mp.weixin.qq.com
Q Labs 提出 Dust：不用反向传播预训练 Transformer