凡人小北· @frxiaobei · X·· 29 分钟前AI 评分33
AI 导读
ECHO 让原本参与生成的最后一层网络再执行一次预测,直接承担更后面一步内容的预测任务,省去独立的预测网络层。该设计对数学推导和代码生成尤其有价值,因为当前步骤需接上后续展开。生成阶段同一层网络可先起草后续内容,再交给完整模型核对以加速生成。
正文
模型训练时,会拿真实文本练习接写:根据前文,预测紧接着的下一个文字小块,再和原文对比,用偏差来调整网络。
在这个基础上,还可以多加一道题:预测更后面一个位置的内容。这样训练时就多了一个要求,眼前学到的信息,还得能帮着接上后面的展开。
常见的做法,是在原有网络之外另加一个专门的预测模块来做这道题。
ECHO不一样,它让原本就参与生成的最后一层网络再用一次,直接承担更后面一步的预测。
这样,这个预测目标训练的就是原有的生成网络本身,也省掉了独立的预测网络层。
在我看来,这一步对数学推导和代码生成尤其有价值。推导时,当前这一步要接得上后面的步骤;写代码时,前面的定义也要接得上后面的使用。
生成阶段,同一层网络还可以先起草后续内容,再交给完整模型核对,用来给生成加速。
来源:凡人小北 · x.com