PagedAttention：
KV 缓存的连续预分配会造成大量显存碎片，压低并发。vLLM 借用操作系统分页：KV 切成固定大小的块、用块表映射逻辑到物理，浪费压到一个块以内，相同前缀还能写时复制共享。
Inference optimisation4 min · 1.8K characters
Topic index
1 post
KV 缓存的连续预分配会造成大量显存碎片，压低并发。vLLM 借用操作系统分页：KV 切成固定大小的块、用块表映射逻辑到物理，浪费压到一个块以内，相同前缀还能写时复制共享。