大语言模型推理优化：从 KV Cache 到量化

引言

大语言模型（LLM）的推理效率是部署落地的核心瓶颈。本文系统梳理推理阶段的关键优化技术。

KV Cache

KV Cache 是自回归解码中最基础的优化。在生成每个 token 时，模型需要访问之前所有 token 的 Key 和 Value 向量。

class KVCache:
    def __init__(self):
        self.keys = []
        self.values = []

    def update(self, k, v):
        self.keys.append(k)
        self.values.append(v)

量化

量化是将模型权重从 FP16 降低到 INT8 甚至 INT4 的技术，能显著减少显存占用。

总结

推理优化是一个系统工程，需要结合具体场景选择合适的策略。