弗吉尼亚理工发布混合潜在注意力论文
热点事件持续更新
弗吉尼亚理工发布混合潜在注意力论文
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月，弗吉尼亚理工发布论文提出 Hybrid Latent Attention，面向循环语言模型（looped LLM）。据 X 用户 Rohan Paul 转述，该方法将较早的 token 缓存为紧凑向量供注意力直接读取，最近 128 个 token 保持精确，较早的则压缩为小向量，使每次循环无需重建即可读取。在单张 GPU 上，循环 LLM 可承载的请求数提升 4.0 至 8.8 倍，精度损失很小；在 Ouro 模型上，16K token 时吞吐最高提升 7.4 倍，数学、知识与推理任务准确率保持在原模型的 97% 以上。此外，可通过只训练新增部分对已有循环检查点进行改造。上述数字与条件均出自该转述，论文原文细节尚待进一步核实。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- Rohan Paul弗吉尼亚理工论文提出 Hybrid Latent Attention，循环 LLM 单 GPU 吞吐提升 4.0 至 8.8 倍
弗吉尼亚理工的新论文提出 Hybrid Latent Attention，把较早的 token 缓存为紧凑向量供注意力直接读取，使循环 LLM 在单张 GPU 上可承载的请求数提升 4.0 至 8.8 倍，精度损失很小。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月7日 20:00
- 近 24 小时变化
- –
02.557.510
20:0021:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。