Hugging Face Blog·· 7 小时前AI 评分55
VocabX 论文预告:按 token 成本特化 SLM 词表可将推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 预告即将发表的 VocabX 论文,提出按每个 token 的服务成本而非出现频次来重建词表,在不改动基座模型和训练配方的前提下,将生产环境葡萄牙语作文评分器(基于 Qwen3-4B)的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token,bench score 从 0.703 升至 0.810。
来源:Hugging Face Blog · huggingface.co