SGLang 命令速查表 - sglang.launch_server 推理服务 CLI 全参数
自建大模型 API 的难点不是把服务跑起来，而是让它跑满。SGLang 的卖点是 RadixAttention：把 prompt 前缀组织成基数树，多轮对话与共享系统提示的 KV cache 天然复用，长前缀下首 token 延迟大降。这张表按基础启动、量化与精度、性能三组给出 launch_server 的参数取舍——tp 按卡拆模型、tp-size 调解码批次、quantization 换显存占用、mem-fraction-static 划 KV cache。判断顺序：先看模型能否单卡装下，装不下就上 tp 而非先降精度；仍不行再量化，最后才动 KV cache 比例，它直接压吞吐。什么时候翻它：本地要 OpenAI 兼容端点接自研客户端、评测要批量压测、或线上首 token 慢却看不出 GPU 瓶颈。与 vLLM 的差别主要落在前缀缓存效率上。
基础启动 5
python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct最简启动
python -m sglang.launch_server --model-path model --host 0.0.0.0 --port 30000指定地址与端口
python -m sglang.launch_server --model-path model --tp 22 卡张量并行
python -m sglang.launch_server --model-path model --dp 2 --tp 2数据+张量并行
python -m sglang.launch_server --model-path model --mem-fraction-static 0.7降低 KV 缓存显存占比
量化与精度 5
python -m sglang.launch_server --model-path model --quantization fp8权重 fp8 量化
python -m sglang.launch_server --model-path model --kv-cache-dtype fp8_e4m3KV 缓存 fp8 量化
python -m sglang.launch_server --model-path model --dtype bfloat16设置计算精度
python -m sglang.launch_server --model-path model --context-length 32768扩展上下文长度
python -m sglang.launch_server --model-path model --trust-remote-code允许自定义模型代码
性能与高级 10
python -m sglang.launch_server --model-path model --chunked-prefill-size 4096长提示分块预填充
python -m sglang.launch_server --model-path model --enable-torch-compile开启 torch.compile 加速
python -m sglang.launch_server --model-path model --max-running-requests 64提高并发请求数
python -m sglang.launch_server --model-path model --schedule-policy lpm最长前缀匹配调度
python -m sglang.launch_server --model-path model --config config.yaml从配置文件启动
python -m sglang_router.launch_server --model-path model --dp 2 --tp 2用 Router 做数据并行
python -m sglang.launch_server --help列出全部参数
python -m sglang.launch_server --model-path model --nnodes 2多节点张量并行
python -m sglang.launch_server --model-path model --enable-deterministic-inference确定性推理
python -m sglang.launch_server --model-path model --disable-cuda-graph关闭 CUDA Graph（调试用）
提示
- --tp 按卡数拆分，单卡放不下就加卡或降
--mem-fraction-static/ 量化。 - RadixAttention 默认开启，重复前缀（系统提示、RAG 上下文）会被自动复用，无需额外配置。
- 显存不足时优先试
--quantization fp8或--mem-fraction-static 0.8。 - 多轮对话或共享系统提示的场景收益最大：前缀越长，RadixAttention 复用 KV cache 省下的首 token 时间越多。
- --tp-size 偏小会拖慢解码速度，先在单机单卡验证吞吐再加卡，否则容易把并行损失误判成模型问题。
- 压测时固定 --tp 与量化档位再对比结果，同时记录 mem-fraction-static，不同配置的数字不能横向比较。
常见问题
SGLang 和 vLLM 有什么不同？
两者都是高吞吐推理框架；SGLang 以 RadixAttention 前缀复用与结构化生成见长，vLLM 以 PagedAttention 显存管理著称。都能起 OpenAI 兼容服务。
服务暴露什么协议？
OpenAI 兼容的 /v1/chat/completions 与 /generate，客户端切换 base_url 即可。
由 巧匠 维护
公开更新于 2026年9月10日，内容持续校对官方文档。