Hugging Face 在 nanoVLM 中从零实现 KV Cache，生成提速 38%

Hugging Face 在 nanoVLM 仓库中从零实现了 KV Cache，使生成速度提升 38%。文章先解释自回归生成中每步都重算全部 K、V 的冗余，再说明缓存各层 K、V 后只需为新 token 计算增量的原理。