Qwen3.8-Flash-Next开源首发：SGLang与vLLM实战部署全攻略

发布日期：2026-08-27

Qwen3.8-Flash-Next 是通义千问团队于 2026 年 8 月 26 日开放权重的多模态 MoE 模型，也是 Qwen4 预览版。它由 125B 模型和 51B N-gram Embedding 组成，单 token 激活约 6B，原生上下文 262,144 token。部署重点是匹配 FP8/BF16 权重、GPU 拓扑和 day-0 引擎。

1. 规格与硬件

总参数为 176B（125B + 51B），但每 token 只激活约 6B；N-gram 表可异步放到主机内存。Qwen 报告 QSA 注意力内核最高约 10.2 倍 prefill、6.6 倍 decode 加速。

权重选择：BF16 使用 Qwen/Qwen3.8-Flash-Next，FP8 使用 Qwen/Qwen3.8-Flash-Next-FP8；NVFP4 是面向 B200/B300/GB300 的 Blackwell 社区量化。

vLLM recipe 估算 FP8 约 172.78 GiB、建议至少 265 GB GPU 显存；BF16 约 335.28 GiB、建议至少 423 GB，另需为 KV cache 留余量。

2. SGLang

SGLang 官方 cookbook 将它列为 day-0 模型，稳定 PyPI 版可能尚未包含架构。NVIDIA 先拉专用镜像，再在容器内启动：

docker pull lmsysorg/sglang:qwen38flashnext
sglang serve --model-path Qwen/Qwen3.8-Flash-Next-FP8 \
  --port 8000 --tp-size 4 --context-length 262144 \
  --reasoning-parser qwen3 --tool-call-parser qwen3_coder

AMD MI350X/MI355X 使用 lmsysorg/sglang-rocm:qwen38flashnext，不要与 CUDA 镜像混用。

3. vLLM

vLLM recipe 指定专用镜像 vllm/vllm-openai:qwen38-flash-next。4 张 GB300 的 FP8 + TP4 可用：

vllm serve Qwen/Qwen3.8-Flash-Next-FP8 \
  --tensor-parallel-size 4 --gpu-memory-utilization 0.90 \
  --max-num-seqs 256 --enable-prefix-caching \
  --no-enable-flashinfer-autotune \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3

8 张 H200 的 FP8 应使用 TEP8（TP8 + Expert Parallel），不能照搬普通 TP8。低延迟可追加 MTP 参数。加载 OOM 时增加 TP、降低 --max-model-len，或设置 VLLM_PLE_CPU_OFFLOAD=1 将 N-gram 表放入主机内存。

4. 长上下文与验证

原生上下文是 262,144；扩展到 1,000,000 要显式启用 YaRN，并先做质量回归：

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve Qwen/Qwen3.8-Flash-Next-FP8 \
  --tensor-parallel-size 4 \
  --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":262144}' \
  --max-model-len 1000000

模型始终开启思考；--reasoning-parser qwen3 会把思考拆到 reasoning_content。服务启动后检查 OpenAI 兼容接口：

curl http://localhost:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3.8-Flash-Next-FP8","messages":[{"role":"user","content":"解释 GDN 和 QSA 的分工"}]}'

显存不足可先把上下文降到 32768 或 65536。