
这篇能帮你做什么
DeepInfer 是 DeepSeek 推出的高性能推理框架,用于在专用硬件上高效承载 DeepSeek-V4.1-Flash 模型的离线批量推理任务。与通过公网调用在线 API 相比,采用 DeepInfer 本地离线推理适用于内部安全合规、网络物理隔离环境,或需要在自动化评估中严格保障批次一致性与确定性采样的研发场景。
准备工作
- 操作系统与编译工具链:准备 Linux 运行环境,并安装 GCC 13.0 或更高版本。
- Python 运行环境:配置并激活纯净的 Python 3.12 虚拟环境。
- 计算平台驱动与加速套件:若使用 NVIDIA 平台,需配置支持 NVIDIA SM100 架构的 GPU 并安装 CUDA 13;若使用华为平台,需配置华为昇腾 Ascend 950 NPU 并安装 CANN 9.2 开发套件。
操作步骤
- 指定权重路径:若已将
deepseek-ai/DeepSeek-V4.1-Flash-1017权重存放在本地,导出环境变量export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017,避免脚本在离线环境下触发自动下载。 - 配置投机验证加速:设置环境变量
export DEEPINFER_ENABLE_MTP_VARLEN=1启用草稿 Token 加速解码;如有需要,可通过环境变量DEEPINFER_USE_NEXTN_DECODE调整最大草稿长度(系统默认值为 5)。 - 配置注意力重放参数:在 DeepSeek-V4.1 默认设置下,导出环境变量
export DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact与export DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140,利用 Decoder SWA Bounded Replay 仅重放受限后缀,缩减预填充阶段的计算开销。 - 设置批次无关与确定性采样(仅限 NVIDIA):若需完全消除批次调度引起的输出抖动,导出
export DEEPINFER_BATCH_INVARIANT=1。在需要可复现的评测任务中,进一步设置DEEPINFER_ENABLE_MTP_VARLEN=0,并在调用时向SamplingParams传递固定的seq_seed。 - 配置结构化输出约束:在推理调用逻辑中,向
SamplingParams传入字典参数so_args={"schema_type": ..., "schema": ...},按需通过正则表达式、JSON Schema 或 EBNF 语法约束输出文本格式。 - 执行离线推理:在终端运行启动脚本
python examples/offline_inference.py,框架将加载指定配置完成推理生成。
验证结果
- 离线隔离运行测试:在切断外部网络的计算节点中,验证本地加载流程。确认执行
python examples/offline_inference.py时未发出外部网络请求,且脚本能正确读取本地目录权重并输出预期文本。 - 确定性一致性验证:在 NVIDIA 平台上设置
DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0,并固定seq_seed。分别使用单样本输入与多样本组合的 Batch 输入相同 Prompt,比对两次推理输出,验证输出内容完全一致。
常见误区
- 批次无关推理的启用权衡:开启
DEEPINFER_BATCH_INVARIANT=1能确保相同输入在不同并发和组合的 Batch 间产生严格一致的结果,但会牺牲一部分动态调度带来的吞吐优化,通常仅推荐在基准回归测试或确定性校验时开启。 - 确定性采样的适用边界:确定性采样要求同时指定固定种子、开启批次无关模式并禁用投机加速(
DEEPINFER_ENABLE_MTP_VARLEN=0),且该机制当前仅在 NVIDIA 硬件平台提供支持。若在追求极致生成吞吐的批量生产场景中盲目开启,会因关闭草稿加速而降低整体解码速度。
参考资料
(1 条)
- https://github.com/deepseek-ai/DeepInfergithub.com · 查阅于 2026-10-21
本文由 AI 辅助生成,经编辑审核后发布。
本文相关产品
AI Large Model Inference七牛云 AI 大模型平台,提供大模型推理 API 与模型广场查看产品Qiniu AI Agent面向开发者与企业的智能体开发与编排能力查看产品