推理优化

KV Cache：推理慢的真正原因

自回归解码每一步都要重算全部历史，KV Cache 把这部分重复计算砍掉，但也带来了显存与并发的新问题。