分类

大模型

共 2 篇相关笔记

大模型2026.11.025 分钟

自回归解码每一步都要重算全部历史，KV Cache 把这部分重复计算砍掉，但也带来了显存与并发的新问题。

#大模型#推理优化#LLM

大模型2026.10.145 分钟

RAG 的效果瓶颈往往不在生成模型，而在检索环节。切分策略、重排序和上下文预算三个决策决定了答案质量。

#大模型#RAG#NLP#向量检索