DeepSeek 开源"印钞机"：155 万亿 Token/天、每卡每小时赚 38 美元

导语：一个集群一天吞吐 155 万亿 Token，96% 的输入命中缓存不用重新计算，每卡每小时收入 38 美元——这是 DeepSeek 自家 V4.1 Flash 跑推理用的那套框架。10 月 20 日，DeepSeek 把它全面开源了。

10 月 20 日，DeepSeek 宣布全面开源内部推理框架 DeepInfer，并同步开源生产级 Token 编解码组件 deepseek-recipe。

这不是一次普通的技术开源。因为 DeepSeek 开源的不是"模型"，而是支撑自家 V4.1 Flash 大规模推理的那套"印钞机"。

为什么要强调"印钞机"？看三组数字：

• 单个集群每天处理 155 万亿 Token；
• 每次请求平均输入 77K Token，其中约 96% 的输入命中缓存、不用重新计算；
• 折算下来，每卡每小时收入 38 美元。

把这三个数字放在一起，你就知道 DeepSeek 的推理成本为什么能压得这么低——而它现在把这套逻辑全公开了。

这篇文章不讲热闹，只拆三层：DeepSeek 这次开源了什么、96% 的缓存命中是怎么做到的、以及为什么说这次开源是一次"层层开源"策略的收口。

01 先搞清楚：DeepSeek 这次开源了什么

这次开源是两个东西一起放出来的，很多人混为一谈，其实分工完全不同。

DeepInfer 是"推理引擎"。它是 DeepSeek V4.1 Flash 当前正在用的那套推理框架，负责在 GPU 上把模型跑起来。官方披露的能力包括：

• 高性能算子与推理引擎：把注意力、前馈等核心计算写成高效内核；
• 分布式推理：把模型切到多卡/多机并行跑；
• 推测解码（Speculative Decoding）：用一个小模型先"猜"几个 token，大模型批量验证，减少串行等待；
• 结构化输出：让模型输出严格符合 JSON 等格式。

而且它同时兼容英伟达和华为昇腾——这是国产算力适配里很关键的一步。

deepseek-recipe 是"翻译层"。它是一套 Rust 库 + Python 绑定（pip install deepseek-recipe），干的是模型 API 的"前端"活儿，官方仓库讲得很清楚，逻辑分三步：

1. 把不同格式的 API 请求（Messages、Chat Completions、Responses 等）统一转成 Conversation 格式；
2. 再把对话编码成 DeepSeek 模型的 prompts（渲染成文本或直接编码成 token id，连带 thinking 模式、推理强度、temperature、top_p、token 上限一起传过去）；
3. 把模型输出转回对应的 API 响应格式，流式返回给开发者。

一句话：DeepInfer 管"怎么把模型跑得快"，deepseek-recipe 管"怎么让请求和响应接得顺"。 一个向下，一个向上，一起构成了 DeepSeek 在线推理服务的"内核"。

02 核心秘密：96% 的输入不用重新计算，靠什么

这是整个开源里最值得拆的一点。

大模型推理慢、贵，本质是因为：同一个请求进来，模型要把前文的每一个 token 从头算一遍注意力。如果你的请求和别人的请求开头一样（比如都带同一段系统提示、同一份文档、同一批历史对话），这些重复的部分就白白算了无数遍。

DeepSeek 的思路是把"算过的"缓存起来，下次直接读缓存，跳过重复计算。这就是 96% 命中率的来源。而它的缓存不是一种，是分级的：

• 长期 Block KV：放在约 100 PiB 的 SSD 存储上。Agent 流量的缓存可以留 3 天，Chatbot 留 7 天。这部分对应 DeepSeek 更早发布的"上下文硬盘缓存"（context caching on disk）——把预计会重复用的内容缓存到分布式硬盘阵列，命中部分只收 0.1 元/百万 token。
• SWA KV（短期 KV）：不落 SSD，留在产出机器的内存里，线上 TTL 大约 3 分钟，命中率能超过 98%。

这套分级的关键在于：热数据进内存、温数据进硬盘、各放各的层次。内存快但贵，硬盘慢但便宜，用"时间换空间"的差异化缓存，把"重复计算"压到最低。

配合的还有两个通用机制，DeepSeek 官方在开源的边界说明里也提到了：

• Prefill / Decode 拆分（PD 分离）：Preill 阶段（算整段输入）和 Decode 阶段（逐字出 token）是两种完全不同的计算特征——前者吃算力、后者吃显存带宽。拆开各自优化，能大幅提高利用率；
• 推测解码：小模型先猜、大模型批量验证，把"一个字一个字出"改成"一批一批出"，摊薄每 token 的固定开销。

这三者叠加，才是"96% 输入不用重算 + 155 万亿 Token/天"能同时成立的原因。缓存解决了"重复算"的问题，PD 分离和推测解码解决了"算得慢"的问题，一个省钱、一个提效，最后反映在每卡每小时 38 美元的收入上。

03 开源边界：哪些给你，哪些要自己搭

这一点必须说清楚，否则容易高估这次开源。

DeepSeek 开源的是推理框架"内核"这一格，但官方仓库和代码分析都明确指出：完整跑起一个在线推理服务，还有几块要你自己搭：

• KV Cache 系统（缓存的管理、落盘、回收）；
• Prefill / Decode 拆分与副本负载均衡；
• 模型推理本身、工具执行、HTTP 传输——deepseek-recipe 的仓库明确写了"model inference, tool execution, and HTTP transport must be provided externally"。

说白了：DeepSeek 把"发动机"给你了，但"整车"（缓存系统、负载均衡、前后端接入）得你自己装。 这既是对开源范围的老实交代，也说明这套系统真正的竞争力不只在单点内核，而在算子、通信、调度、缓存管理的整体协同——官方自己都说，这几个因素相互影响，共同决定端到端性能。

04 兼容昇腾：这一手不止是"适配"

这次开源特别值得注意的一点，是同时兼容英伟达和华为昇腾。

英伟达 SM10x（Blackwell 一代）和昇腾是两套完全不同的底层架构，算子、通信库、编程模型都不一样。推理框架要做到"一套代码两边跑"，是要实打实做移植和优化的。

意义分两层：

1. 对国产算力：昇腾生态最缺的不是芯片本身，而是"能把它跑满、跑便宜"的推理软件栈。DeepSeek 把自家压成本的核心框架开放到昇腾上，等于给国产推理补了一块关键拼图；
2. 对 DeepSeek 自身：它没有绑定单一硬件商，多架构支持意味着部署方可以根据成本和供给自由选硬件——这本身就是一种"不把命脉押给任何一家"的策略。

05 它到底动了谁的蛋糕：与 vLLM / SGLang 的对比

既然开源了推理框架，就绕不开和现有主流开源框架的对比。

vLLM（伯克利）和 SGLang（UC Berkeley/LMSYS）是目前应用最广的两条路线，主打高吞吐、PagedAttention、Radix Attention 这类缓存与调度优化。而 DeepInfer 的核心差异化在于：它是从"一家每天跑 155 万亿 Token 的超大规模在线服务"里长出来的，算子、调度、缓存、PD 拆分是被真实流量打磨过的整体方案，而不是实验室里的通用框架。

更关键的是开源策略的纵深：vLLM 开源的是框架本身，而 DeepSeek 已经连续开源了模型权重 → TileLang 编译器 → DeepInfer 推理框架 → deepseek-recipe 编解码组件一整条链。

模型是钥匙，编译器是扳手，推理框架是发动机，编解码是传动轴——它不是开源一个点，而是把整条"推理流水线"层层交出来。这让它的开源含金量高于"单一框架开源"，也让后续要复刻它整套低成本推理的团队，能拿到一份完整的图纸。

06 一句话判断框架

以后判断一次"推理框架开源"值不值得关注，可以看三件事：

1. 它解决的是哪个环节的问题：算子（跑得快）、调度缓存（省算力）、还是前端接入（接得顺）？DeepInfer 三个都占了，所以含金量高；
2. 它有没有被真实大规模流量验证：实验室数据再好，也不如"单集群日吞吐 155 万亿 Token"这种生产数据有说服力；
3. 它是单点开源还是整条链开源：只给一个框架，和把模型/编译器/推理框架/编解码一起交出来，是完全不同的分量。

按这个框架看，DeepSeek 这次属于 "真实流量验证 + 整条链收口" 的顶配级别开源。

结尾

AI 竞争的战场，正在从"谁能训出更强的模型"，下沉到"谁能把模型跑得更便宜、更高效"。

DeepSeek 把自家印钞机公开，表面看是"让利"，本质是：当一家公司愿意把发动机图纸摊开给你看，说明它的护城河已经不在这里了——而是那些无法开源的部分：被真实流量打磨了无数遍的系统协同、工程直觉，和持续迭代的能力。

对我们这些做应用、做部署的人来说，这是一份难得的"免费用教材"——看懂它怎么把 155 万亿 Token/天跑下来，比看懂任何一句"推理成本降低"的新闻通稿，都要值钱得多。

---