Hugging Face Blog·· 2024-08-13AI 评分44
ggml 入门指南
Introduction to ggml
AI 导读
Hugging Face 发布 ggml 入门教程,介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件,编译后体积小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量,被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
来源:Hugging Face Blog · huggingface.co