LocalAI 命令速查表 - local-ai 自托管推理服务 CLI 全参数
很多团队想在不把代码送出内网的前提下继续用 OpenAI SDK，LocalAI 提供的正是这条替换路径：把 base_url 指向本机，模型、嵌入与语音都留在自己的机器上。这张表按服务启动、模型管理、API 与微调分组，讲清 local-ai 这个统一入口下 run 与 serve 的区别、models 子命令如何安装与列出模型、以及微调接口的调用形态。判断依据是硬件与模型规模的匹配：没有 GPU 时能不能跑，取决于模型量级与量化档位，而不是 LocalAI 本身——所以先用几百 MB 的量化模型把链路验证通，再考虑换大的。什么时候翻它：合规要求数据不出内网、开发环境要离线复现某个模型行为、或者想在本地小模型与云上大模型之间做统一路由。与 vLLM 这类纯 GPU 推理框架相比，它更像一个自带模型管理与多模态能力的本地 AI 网关。
服务启动 6
local-ai run以默认配置启动服务
local-ai serve启动 API 服务（同 run）
docker run -p 8080:8080 localai/localai用 Docker 启动
local-ai start从资源文件启动资源
local-ai --help列出全部命令
local-ai serve --models-path ./models指定模型目录启动
模型管理 7
local-ai models list列出已安装模型
local-ai models install gpt4all安装官方画廊模型
local-ai models pull gpt4all从仓库拉取模型
local-ai models install llama-3-instruct安装指定模型
local-ai models apply应用模型配置
local-ai models list --help查看 models 子命令帮助
local-ai models install --help查看安装参数
API 与微调 7
local-ai api启动 API 服务
curl http://localhost:8080/v1/chat/completions -d '{"model":"gpt4all","messages":[{"role":"user","content":"hi"}]}'调用聊天补全
curl http://localhost:8080/v1/models列出可用模型
local-ai finetune启动微调任务
local-ai api --help查看 api 帮助
curl http://localhost:8080/v1/embeddings -d '{"input":"text"}'调用嵌入接口
local-ai models apply --help查看 apply 帮助
提示
- LocalAI 兼容 OpenAI 协议，现有项目把 base_url 指向本机 8080 即可私有化。
- 无 GPU 也能跑：在 CPU 机器上用较小量化模型即可提供基础补全能力。
models install从官方画廊拉取，自定义模型放--models-path目录更易管理。- 先跑一个极小的量化模型验证 /v1/chat/completions 链路通不通，再换大模型，避免把显存问题误判成配置问题。
- 模型文件统一放 --models-path 指定的目录，重装依赖或换机器时只需搬运这一个目录。
- 更换 base_url 后仍要确认鉴权头是否被本地网关强制要求，部分客户端默认会带上不兼容的 key 校验。
常见问题
LocalAI 和 Ollama 怎么选？
LocalAI 强调 OpenAI 协议兼容与自托管（含嵌入/语音），配置更全；Ollama 更轻量、上手快。两者都能本地跑模型。
没有 GPU 能跑吗？
能。LocalAI 支持纯 CPU 推理，只是速度较慢，建议用小量化模型。
由 巧匠 维护
公开更新于 2026年9月10日，内容持续校对官方文档。