大模型2026.11.025 分钟
KV Cache：推理慢的真正原因
自回归解码每一步都要重算全部历史，KV Cache 把这部分重复计算砍掉，但也带来了显存与并发的新问题。
#大模型#推理优化#LLM
阅读文章全部文章
按分类或标签缩小范围，也可以直接搜索关键词。
分类
标签
共 6 篇文章
Serverless2026.10.284 分钟
Serverless 冷启动的三个层次
冷启动不只是「启动慢」，它至少包含调度分配、运行时初始化和函数代码加载三层，每层的优化手段完全不同。
#Serverless#云原生#性能工程
阅读文章性能工程2026.10.214 分钟
系统级性能剖析：从火焰图到 P99
平均延迟会把所有问题藏起来。这篇笔记整理了一套可复用的性能剖析流程：先定义指标，再定位热点，最后做对照实验。
#性能工程#可观测性#后端
阅读文章大模型2026.10.145 分钟
RAG 检索的工程取舍：切分、重排与上下文预算
RAG 的效果瓶颈往往不在生成模型，而在检索环节。切分策略、重排序和上下文预算三个决策决定了答案质量。
#大模型#RAG#NLP#向量检索
阅读文章工程实践2026.10.065 分钟
用 Next.js + Serverless 搭一个带 AI 助手的博客
把博客做成静态站，再加一个 Serverless 接口承接 AI 对话——全程零服务器、几乎零成本，这篇记录整个实现与踩坑过程。
#工程实践#Next.js#Serverless#TypeScript
阅读文章工程实践2026.09.293 分钟
笔记怎么写才有用：三个反模式与一个模板
笔记的价值不在于记了多少，而在于多久之后还能不能用。这篇整理我踩过的三个坑和一个一直在用的写作模板。
#学习方法#工程实践#笔记方法
阅读文章