跳到正文
机器之心·· 2 小时前AI 评分55

斯坦福博士博客从记忆视角推导 Transformer 各层

你本可以发明Transformer?9年前论文就有线索?斯坦福博士这篇博客火了

AI 导读

斯坦福大学计算机科学博士 Alex Wang 于 10 月 15 日发表博客《You could have invented transformers from memory》,把线性层、MLP 和自注意力统一看作联想记忆存储器,以干扰信号比衡量容量。

来源:机器之心 · mp.weixin.qq.com