跳到正文
Hugging Face Blog·· 2025-01-23AI 评分45

用 KVPress 掌控 LLM 长上下文:KV Cache 压缩工具包解析

Mastering Long Contexts in LLMs with KVPress

AI 导读

NVIDIA 推出 Python 工具包 KVPress,通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法(presses)剪枝 KV Cache 中不重要的 KV 对,实现长上下文 LLM 的内存高效推理。

来源:Hugging Face Blog · huggingface.co