Hugging Face 将 Llama3 8B 微调至 1.58bit 并开源模型

Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit（每参数仅 -1/0/1 三值），模型已发布在 HF1BitLLM 组织下，其中两个用 10B tokens 微调、一个用 100B tokens 微调，MMLU 成绩超过 Llama 1 7B。