ai Troubleshooting
Ollama 显存不足怎么处理
Ollama 运行大模型报 CUDA out of memory 或 not enough VRAM 时，用 nvidia-smi 与 ollama ps 查显存占用，优先换更小参数模型或更低量化（Q4/Q5），再通过 OLLAMA_CONTEXT_LENGTH 降低上下文长度，CPU offload 可救急但推理速度会显著下降。
优先换更低量化或更小参数模型，再降低上下文长度。显存不足不是简单加 swap 就能解决。
Scenario
这篇文章解决什么问题
适用于 Ollama 加载模型时报显存不足、推理过程中突然变慢、模型能启动但首 token 很慢的场景。排查时要把模型权重、量化位宽、上下文长度、KV Cache 和并发请求一起计算，而不是只看显卡标称显存。
Symptoms
典型现象
- ollama run 直接报 out of memory 或模型加载后很快退出。
- nvidia-smi 显示显存接近打满，同时系统内存或 CPU 使用率升高。
- 换小模型后正常，换长上下文或更大量化版本后失败。
- ollama ps 中残留模型占用显存，新请求加载时失败。
Before Debugging
排查前先确认
- 先确认模型参数量、量化版本、上下文长度、显存/内存和并发数。
- 区分加载失败、推理中 OOM、速度慢和被 CPU offload。
- 记录 nvidia-smi、模型名、上下文和同时运行的其他 GPU 进程。
Root Causes
常见根因分层
模型规模超过显存预算
参数量、量化位宽、KV Cache 和上下文长度共同决定显存占用。只看模型参数量会低估长上下文成本。
- 降低上下文长度
- 换 Q4/Q5 或小模型
- 关闭其他 GPU 任务
CPU offload 导致体验劣化
显存不够时部分层落到 CPU，可能能跑但速度明显下降。表现为首 token 慢、吞吐低和系统内存压力上升。
- 观察 GPU/CPU 利用率
- 减少并发
- 选择适合本机的模型
运行时配置和驱动问题
驱动、CUDA、Ollama 版本、环境变量和后台模型残留都会影响加载。
- ollama ps 看驻留模型
- nvidia-smi 看显存
- 升级前记录可用版本
Diagnosis Path
分步诊断流程
1. 固定现场，避免追着变化状态跑
先记录故障时间、影响入口、完整错误和最近一次变更。Ollama 显存不足怎么处理 这类问题经常在重启、重试或缓存刷新后短暂消失，没有现场信息会很难复盘。
- 截图或保存完整错误文本
- 记录请求域名/IP/端口/namespace/服务名
- 标出最近发布、配置、证书、镜像或依赖变更
nvidia-smi
ollama ps2. 在故障发生的同一位置复现
很多误判来自测试位置不同：本机通不代表服务器通，容器内通不代表宿主机通，集群外通也不代表 Pod 内通。复现命令要尽量贴近真实流量路径。
- 从报错服务所在机器执行测试
- 必要时加 Host、SNI、namespace 或代理参数
- 把成功路径和失败路径的输出并排比较
ollama ps
ollama run qwen3:8b
OLLAMA_CONTEXT_LENGTH=4096 ollama run <model>3. 读取服务端证据，而不是只看客户端提示
客户端报错通常是结果摘要。真正能区分根因的是服务端日志、内核日志、事件、进程状态或数据库状态。
- 查看当前显存占用。
- 确认模型参数量和量化版本。
- 降低上下文长度。
ollama run qwen3:8b
OLLAMA_CONTEXT_LENGTH=4096 ollama run <model>4. 做最小修复并立即回归验证
每次只改一个变量，修复后用同一条复现命令回测，并观察日志是否停止增长。这样可以避免多个临时改动互相掩盖。
- 降低上下文长度。
- 关闭其他占用 GPU 的进程。
- 换 Q4/Q5 或更小模型。
ollama run qwen3:8b
OLLAMA_CONTEXT_LENGTH=4096 ollama run <model>Commands
排查命令与使用意图
命令 1
用于补充“Ollama 显存不足怎么处理”的排查证据链。nvidia-smi 的输出需要结合上下文其他命令交叉验证，不要单独依赖某一条结果下结论。
nvidia-smi命令 2
用于补充“Ollama 显存不足怎么处理”的排查证据链。ollama 的输出需要结合上下文其他命令交叉验证，不要单独依赖某一条结果下结论。
ollama ps命令 3
用于补充“Ollama 显存不足怎么处理”的排查证据链。ollama 的输出需要结合上下文其他命令交叉验证，不要单独依赖某一条结果下结论。
ollama run qwen3:8b命令 4
用于补充“Ollama 显存不足怎么处理”的排查证据链。OLLAMA_CONTEXT_LENGTH=4096 的输出需要结合上下文其他命令交叉验证，不要单独依赖某一条结果下结论。
OLLAMA_CONTEXT_LENGTH=4096 ollama run <model>Risk Notes
容易踩坑的地方
- 不要把显存不足简单理解成“加 swap 就好”，CPU offload 会显著降低交互速度和稳定性。
- 不要在多人共用机器上直接 kill GPU 进程，先确认进程归属和任务影响。
- 不要把上下文长度拉到最大后再判断模型是否可用，应按实际业务窗口测试。
Verification
修复后怎么确认
- 原始故障现象已经消失，且使用同一入口重新测试 Ollama 显存不足 能稳定成功。
- 服务端日志不再出现同类错误，监控中的错误率、重启次数、连接数或延迟回到正常区间。
- 如果做过临时绕过，已经记录恢复计划，例如还原宽松策略、补监控、补限制或提交正式配置。
Prevention
后续预防
- 为每台机器维护一张“模型参数量 / 量化 / 上下文长度 / 可接受并发”的容量表，并标注能流畅交互和只能临时离线跑的边界。
- 把默认模型和默认上下文设置成稳定可用的组合，另给大模型准备手动开关。
- 监控 GPU 显存、CPU offload 迹象和模型驻留时间，避免多个大模型同时常驻。
常见问题
显存不够能靠内存补吗？
可以部分 CPU offload，但速度会明显下降，交互体验通常不好。
Long-tail SEO
你可能正在搜索这些报错
下面这些错误原文、场景词和中英文搜索词，都是排查同类问题时常见的入口。
- ollama 显存不足
- ollama cuda out of memory
- ollama not enough vram
- ollama 模型跑不起来 显存
- llm q4 q5 q8 显存需求
- ollama context length 显存
- ollama GPU memory full
- 大模型本地部署显存不够
Need More Help
这个问题还没完全解决？
把你的报错、环境和已经尝试过的步骤发给我，后续会优先补充到排障手册。