inference
inference 相关命令速查表合集,收录 5 份常用命令速查表,涵盖高频命令、参数选择与实战用法说明,按使用场景分组编排,支持即查即拷,帮助开发者与运维人员快速定位与套用所需命令。
llamacpp 命令速查表(llama.cpp)- llama-cli 参数大全
llamacpp(llama.cpp)官方 llama-cli 命令行参数大全:模型加载 -m、交互模式 -i、GPU 卸载 -ngl、上下文 -c、线程 -t、采样温度 --temp 与对话 -cnv,全部按官方文档编写,即查即拷。
LocalAI 命令速查表 - local-ai 自托管推理服务 CLI 全参数
LocalAI 官方 local-ai CLI 完整命令手册:run / serve 启动服务、models list/install/pull 模型管理、api 与微调命令,全部按官方文档编写。
LM Studio CLI 命令速查表 - lms 本地模型管理全参数
LM Studio 官方 lms CLI 完整命令手册:status 状态、ls/ps 模型列表、get 下载、load/unload 加载卸载、server start 启动服务与 chat 终端对话,全部按官方文档编写。
SGLang 命令速查表 - sglang.launch_server 推理服务 CLI 全参数
SGLang 官方 launch_server 完整参数手册:--model-path 模型、--host/--port 服务、--tp/--dp 并行、--mem-fraction-static 显存、--quantization 量化与 --trust-remote-code,全部按官方文档编写。
vLLM 命令速查表 - 高性能 LLM 推理与服务部署
高性能 LLM 推理与服务引擎 vLLM 的命令手册:安装、OpenAI 兼容服务启动、主机/端口/API Key 配置与量化,覆盖 pip install vllm、vllm serve 与 --host/--port/--api-key。