跳到正文
Hugging Face Blog·· 2023-10-03AI 评分55

Hugging Face 为 tokenizers 引入 chat_template 属性

Chat Templates: An End to the Silent Performance Killer

AI 导读

Hugging Face 为 tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时所用的对话格式,避免推理或微调时因格式不匹配导致难以察觉的性能下降。

来源:Hugging Face Blog · huggingface.co