DeepSeek 开源生产推理框架 DeepInfer（10 月 23 日）

DeepSeek 开源 DeepInfer：支撑其生产服务的推理框架。

v0.2.1-rc.2 在 10 月 17 日新增了对 DeepSeek-V4.1-Flash-1017 的支持。就在前一天——按仓库 API，2026-10-16 07:47 UTC——DeepSeek 把服务这个模型的框架公开了：deepseek-ai/DeepInfer，Apache-2.0 协议，其 README 的描述是「支撑 DeepSeek 大规模生产服务的高性能推理框架」。

DeepInfer 是什么

按 README 自己的措辞，本次开源发布提供离线推理，附带规模化 serving 所需的核心特性。致谢部分交代了血统：最初主要基于 vLLM 构建，并借鉴了 SGLang 与 TensorRT-LLM。受支持模型列表只有一项——DeepSeek-V4.1-Flash，其默认 checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017 会在首次运行时下载到 Hugging Face 缓存。受支持硬件列表有两项：NVIDIA SM100 GPU 与华为昇腾 950 NPU。

技术细节见 DeepInfer 指南

特性清单——它构建于其上的内核、环境变量、构建步骤，以及 README 自己列为本次发布未包含的 serving 缺口——在本站 DeepInfer 指南里逐项展开，包括这些属性（batch-invariant 推理、确定性采样、结构化输出）对 agent 会话意味着什么。本文只记录事件本身：时间线、一周反响与 DSH 视角。

DSH 用户为什么要关心

第一个原因是 checkpoint。DeepSeek Harness 通过 DeepSeek API、目录提供方或自定义 OpenAI 兼容网关接模型——配置模型指南走了这三条路——而 rc.2 那一行新功能正是适配 DeepSeek-V4.1-Flash-1017，与 DeepInfer 默认下载的 checkpoint 完全相同。DSH 刚学会对话的那个模型，服务它的框架现在公开了。

第二个原因是那个诚实的缺口：本次发布里没有任何东西暴露出一个可供 DSH 自定义提供方指向的端点。「用 DeepInfer 自托管 V4.1-Flash 给 DSH 用」是路线图上的一项，不是本次发布今天就能让你做的事。你能做的是在受支持硬件上运行 examples/offline_inference.py，以及阅读生产服务所运行的那套引擎——怎么做见 DeepInfer 指南。

公开后的一周

截至本文 2026-10-23 09:03 UTC 抓取仓库 API，DeepInfer 创建七天后为 20,442 stars、2,208 forks。同日的 GitHub 名称搜索已经返回了一层社区内容：名为 deepinfer-unpacked 的社区深度解读、名为 Deepinfer-SM80 的 Ampere 移植、面向 Apple Silicon 的移植 deepinfer-mac、learn-deepinfer 的双语可视化导读，以及若干中文源码解读项目。它们都没有被收录到本站的插件目录——地图追踪的是 DeepSeek Harness 生态，而非推理基础设施；本文把它们记录为关注度的信号，而非背书。

同系列其它条目

• dsh-TUI 0.18.0：验证线升至 rc.5（11 月 1 日）——11 月 1 日
• DeepSeek Harness 突破 20 万 Star（9 月 2 日）——9 月 2 日
• dsh-web-ui 仓库更名 dsh-web（8 月 28 日）——8 月 28 日