Transformers v5 重构 Tokenization：更简单、更清晰、更模块化

Hugging Face 发布 Transformers v5，将 tokenizer 架构与训练词表分离，类似 PyTorch 分离网络结构与权重，使 tokenizer 可检查、可定制、可从零训练。v5 提供清晰的类层级和单一快速后端，支持 BPE、Unigram、WordPiece 等算法，并可通过 AutoTokenizer 自动选择正确的 tokenizer 类。