GPT-4o分词器处理strawberry的讲解视频
热点事件持续更新
GPT-4o分词器处理strawberry的讲解视频
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年11月2日，Reddit 用户 /u/Rajucg 在 r/MachineLearning 发布一段约6分钟的讲解视频，演示 GPT-4o / GPT-5 使用的 o200k_base 分词器如何处理 "How many r's are in strawberry?" 这一问题。视频称整句被切分为8个 token，而 " strawberry" 是单个 token、id 为101830，三个字母 r 被包含在同一个 token id 内。发布者表示这是为其小型频道制作的讲解，希望学习者反馈，尤其是指出其中可能的错误。目前该视频处于征求意见阶段，尚无后续跟进报道。
AI 根据报道生成 · 53 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- r/MachineLearningGPT-4o 的 tokenizer 如何处理 "strawberry"：真实 token id 与一次微型 BPE 演示
一段 6 分钟视频用 "How many r's are in strawberry?" 演示 GPT-4o / GPT-5 的 o200k_base tokenizer 如何切词：整句为 8 个 token，而 " strawberry" 是单个 token、id 101830，三个 r 被藏进同一个 id。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。