Hugging Face Blog·· 2024-03-15AI 评分54
用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG
AI 导读
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large（45M/110M/355M 参数）做 int8 静态量化。
来源：Hugging Face Blog · huggingface.co