循环Transformer的HBM权重读取分析

2026年11月5日，有作者在r/MachineLearning发布文章，在B200上剖析循环Transformer架构Huginn的权重复用情况，测量每次迭代从内存读取的数据量与耗时，并解释共享权重为何通常无法留存在片上直到下一次迭代。结果显示，8个matmul共享一份72 MiB权重时，比使用8份相同副本快24%，且几乎不从HBM读取数据；当权重增至288 MiB、超过L2容量后，这一差异消失。该文为目前唯一报道，尚无后续跟进或矛盾说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。