Hugging Face Blog·· 9 天前精选AI 评分62
Hugging Face 发布 tokenizers v1：编码提速 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版本，在 Apple M4 Max 单线程下编码速度比 v0.23 快 3 至 30 倍，八线程扩展效率为线性的 76%，且输出 token ID 与 v0.23 完全一致。
推荐理由
原文给出 v1 与 v0.23 的逐项基准对比和实现改动，可据此判断分词器在训练与推理管线中的实际提速空间。
来源：Hugging Face Blog · huggingface.co