Hugging Face Blog·· 8 天前精选AI 评分62
Transformers 新增 llama.cpp GGUF 量化模型支持
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 在 transformers 中加入 GGUF 支持，用户可通过 from_pretrained 传入 gguf_file 直接加载 Hub 上的量化检查点并在本地生成。
推荐理由
Hugging Face 官方说明 transformers 如何直接加载 GGUF 量化权重，并给出与 llama.cpp 的对比数据与当前限制。
来源：Hugging Face Blog · huggingface.co