热点事件持续更新

H-Nets新版本提升字节级语言建模效率

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月29日，X用户Lisan al Gaib（@scaling01）发帖称赞并引介“上下文内分词”（in-context tokenization）与分层网络（H-Nets）新版本。该帖引用@_albertgu的说法：智能应来自简单通用的构建模块，直接从原始数据学习抽象，即“苦涩的教训”；在原始字节上做语言建模是这一理念的缩影，也是AI的核心问题。@_albertgu称，去年他们提出H-Nets作为第一步，新版本在受控缩放定律实验中实现最高3-5倍效率提升，在更大规模下用约10倍更少的数据和算力，匹配了在11T token上训练的开源模型。上述效率数字与对比结论均来自@_albertgu的表述，经@scaling01引用转述，尚待独立验证。

AI 根据报道生成 · 3 小时前更新

最新进展10月29日 02:24

字节级语言建模新进展

报道时间线

沿着报道，了解事件的不同侧面。

10月29日

02:24
Lisan al Gaib
字节级语言建模新进展
“上下文内分词” 我很喜欢（引用推文要点：@_albertgu 表示，智能应来自简单通用的构建模块，直接从原始数据学习抽象，即“苦涩的教训”。在原始字节上做语言建模是这一理念的缩影，也是 AI 的核心问题。去年他们提出分层网络（H-Nets）作为第一步，新版本在受控缩放定律实验中实现最高 3-5 倍效率提升，在更大规模下用约 10 倍更少的数据和算力匹配了在 11T token 上训练的开源模型。）

本事件热度走势

可比范围当前: 9
可比范围峰值: 1010月29日 03:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。