教程实践 最新动态

Hugging Face 图文讲解 8-bit 矩阵乘法与 LLM.int8() 集成

Hugging Face 官方博客介绍 LLM.int8() 8-bit 矩阵乘法技术及其在 transformers 和 accelerate 库中的集成，可将大模型显存占用降至约 1/4 而不损失性能。