Hugging Face Blog·· 2023-10-03AI 评分55
Hugging Face 为 tokenizers 引入 chat_template 属性
Chat Templates: An End to the Silent Performance Killer
AI 导读
Hugging Face 为 tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时所用的对话格式,避免推理或微调时因格式不匹配导致难以察觉的性能下降。
来源:Hugging Face Blog · huggingface.co