Hugging Face Blog·· 2024-03-20AI 评分55
Hugging Face 介绍 GaLore 如何在消费级 GPU 上训练大模型
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face 官方博客介绍 GaLore 如何利用梯度的低秩结构和投影技术，把优化器状态显存降低超过 82.5%，从而在 NVIDIA RTX 4090 这类消费级 GPU 上训练最多 70 亿参数的 Llama 架构模型。
来源：Hugging Face Blog · huggingface.co