Hugging Face Blog·· 2025-12-18AI 评分56
Hugging Face Transformers v5 重构分词器架构
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
AI 导读
Hugging Face 官方博客介绍 Transformers v5 对分词器的重新设计，将分词器架构与训练好的词表分离，类似 PyTorch 把网络结构与权重分开。
来源：Hugging Face Blog · huggingface.co