ai Roadmap
AI / LLM 本地部署排障专题
AI / LLM 本地部署排障专题：聚合 Ollama 显存不足、模型加载失败、推理速度慢、CPU offload 导致体验劣化和 GPU 驱动兼容性等本地大模型部署问题的完整排障路径。
本地 LLM 排障先把模型参数量、量化位宽、上下文长度、KV Cache 和并发请求一起计算显存预算，而不是只看显卡标称显存，显存不够时 CPU offload 会让推理速度下降 10 倍以上。
排障 / 命令1
精选入口1
工具 / 速查1
最近更新2026-07-12
Troubleshooting Path
推荐排障路线图
- 01
先确认显存和模型规模
用 nvidia-smi 看显存占用，把模型参数量、量化版本和上下文长度一起算，不要只看模型参数量低估长上下文成本。
- 02
再判断是否 CPU offload
观察 GPU 和 CPU 利用率，如果 GPU 利用率低而 CPU 高，说明部分层落到 CPU，推理速度会明显下降。
- 03
继续检查运行时和驱动
Ollama 版本、CUDA 驱动、环境变量和后台残留模型都会影响加载，用 ollama ps 看驻留模型，用 ollama list 确认可用模型。
- 04
最后调整模型和并发策略
降低上下文长度、换 Q4/Q5 量化或更小模型、关闭其他 GPU 任务，为重要服务设置并发上限和模型卸载策略。
Common Issues
高频问题入口
Before You Change
执行前检查
- 启动前用 nvidia-smi 确认显存可用，避免加载失败后再排查
- 不要指望 swap 彻底解决显存不足，CPU offload 速度可能下降 10 倍
- 多人共用机器时先确认 GPU 进程归属，不要直接 kill
- 切换更大模型前先评估显存和响应时间要求
Start Here
优先阅读
Latest Updates
最近更新
All Runbooks