跳到正文
Hugging Face Blog·· 2024-08-13AI 评分44

ggml 入门指南

Introduction to ggml

AI 导读

Hugging Face 发布 ggml 入门教程,介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件,编译后体积小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量,被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。

来源:Hugging Face Blog · huggingface.co