我先核实这篇论文的方法、实测口径和开源状态,再按你的模板成稿。
这次的关键不是 “又提速了多少倍”,而是它换了个地方补因果依赖 —— 不在骨干网络算完之后用一个小模块 “事后修补”,而是从草稿网络第 1 层起,就把前一个位置 “正在形成中的预测特征” 逐层注入给后一个位置。方法名 DSpine(Draft in Parallel, Condition Through Depth,同时起草、逐层接力),来自腾讯优图实验室、上海交通大学和厦门大学,论文 2026 年 9 月 28 日挂在 arXiv(2609.36173),通讯作者为上海交大蒋波(Bo Jiang)。它要解决的是并行推测解码的老毛病:一次前向同时吐出整块候选 token,但每个位置在选词时并不知道前一个位置最终会选谁,于是 “一只猫” 和 “一辆车” 可能被拼成 “一辆猫”,中间一个位置被目标模型拒掉,后面算好的草稿全部作废。DSpine 的做法是把这条因果链沿网络深度展开:同一层内所有位置仍然完全并行,前驱在第 l 层传出的线索参与后继第 l+1 层的计算,最终选词时再用已经确定的真实 token 做一次条件修正,并用转移缓存把所有相邻候选组合的分数一次性并行算好。实测口径要说清楚:在 Qwen3-4B 和 Qwen3-8B 上,28 组接受长度评测全部第一;SGLang 端到端服务测试 40 组全部第一,相对原生自回归解码最高 4.01 倍加速(8B),相对最强基线 DFlash2 平均提升 11.1%;“4 倍” 是相对自回归的峰值,不是相对其他推测解码方法的平均值。代码(github.com/tencent/dspine)、草稿权重(Hugging Face tencent/dspine)和 SGLang 插件均已开放,并已落地腾讯 WorkBuddy 线上推理业务。
一、先把 “SOTA” 和 “4 倍” 的口径钉住
技术稿最容易被误读的就是这类数字,先做一张口径表。
| 标题里的说法 | 准确口径 | 容易误读成 |
|---|---|---|
| 并行推测解码 SOTA | 在作者选定的基线(DFlash、Domino、DSpark、DFlash2)× 两个模型 × 七基准 × 两个温度上全胜 | 全行业所有加速方案的绝对第一 |
| SGLang 吞吐最高 4 倍 | 相对原生自回归解码的最高值(Qwen3-8B 4.01×,Qwen3-4B 3.80×) | 相对其他推测解码方法提升 4 倍 |
| 平均提升 19%—20% | 相对 DSpark 的平均吞吐提升(8B +19.0%,4B +20.1%) | 所有场景固定提升 20% |
| 已开源 | 推理代码 + 草稿权重 + SGLang 插件 + Agent 专用 27B 草稿权重 | 主模型也开源、任意框架开箱即用 |
| 无损加速 | SGLang 的 lossless verification,输出分布与目标模型一致 | 近似 / 降质加速 |
再补一句:论文明确写的是 “surpasses baselines trained on the same data”,即与同数据训练的基线对比,这保证了比较公平,但也意味着它是 “同等训练预算下的最优”,不是 “任意条件下都最优”。
二、它到底在修什么问题
并行起草的核心矛盾,可以一句话说完:后一个位置在计算时,不知道前一个位置最终会选哪个词。
举个论文里的直观例子。上文是 “门口有一……”,位置 1 的候选有 “只”“辆”,位置 2 的候选有 “猫”“车”。“一只猫” 和 “一辆车” 都通顺,但两个位置如果各自独立选词,就可能拼出 “门口有一辆猫”。目标模型按从左到右的前缀顺序验证,一旦中间接不上被拒,后面所有草稿 token 全部作废,这就是 “后缀衰减(Suffix Decay)”。
现有方案分两类,都不完美:
| 方案类型 | 代表工作 | 做法 | 局限 |
|---|---|---|---|
| 骨干后置修正 | Domino、DSpark | 骨干算完后用轻量串行头补条件 | 后继在特征形成阶段感知不到前驱倾向 |
| 骨干内混隐状态 | DFlash2 | 局部卷积混合相邻隐状态 | 上下文信息与预测信号混在一起 |
| 完全不补 | DFlash | 每个位置独立预测 | 组合不一致,接受长度受限 |
DSpine 选的是第三条路:在骨干内部、逐层、只传 “选词倾向”。
三、四个设计,把因果链折进深度
| 设计 | 做什么 | 为什么这样做 |
|---|---|---|
| 统一传递空间 | 用目标模型冻结的 LM Head 输出嵌入矩阵,做归一化 + PCA 白化,得到紧凑词元表 | 直接把 Transformer 隐状态传过去,后继很难从中剥离 “前驱想选哪个词”;中间层直接做全词表解码又太贵 |
| 逐层门控相邻注入 | 每层 Transformer 后,位置 t 接收紧邻前驱 t-1 的预测特征,用门控决定吸收多少并写回残差流 | 同层内所有位置读的都是本层更新前的特征,因此全块并行;线索跨层向后传,不增加串行骨干步数 |
| 逐层输出嵌入监督 | 每层注入后与真实目标 token 的紧凑嵌入算余弦方向对齐损失 | 消融显示:中间层直接上全词表交叉熵反而会跌破无监督 DFlash 基线,因为挤占了上下文表征 |
| 末层条件解码 + 转移缓存 | 先并行预计算所有相邻候选组合(K=16)的条件得分矩阵,选词时查表 | 把 “串行选词” 变成 “并行打分 + 查表”,消除逐位置串行矩阵乘 |
还有一个容易忽略的细节:DSpine 在所有 L 层用的是 block-causal attention,而不是 DFlash 那种双向块注意力。这样注意力和注入共享同一个 “前驱→后继” 方向,训练时注入的正确信息不会回流到更早位置。
四、两个实验洞察,直接决定了设计
这两个数字是整个方法的立论基础,也是这篇论文最有信息量的部分。
洞察一:靠前位置的预测信号在浅层就已经能读出来。
逐层探针实验显示,同样网络深度下,块内靠前位置的 token 预测准确率明显高于靠后位置。也就是说,不必等 5 层骨干全部算完、等位置 1 吐出最终 token,浅层就已经有可读出的线索。
洞察二:紧邻前驱不准,后果比想象严重;注入越早,收益越大。
| 干预实验 | 结果 |
|---|---|
| 保持更早历史完全正确,只把紧邻前驱换成草稿预测 | 后继预测准确率平均下降 31.8 个百分点 |
| 在相同注入层数、相同末层前驱 K/V 条件下,把注入提前到浅层 | 准确率比延后注入平均高出 14.8 个百分点 |
翻译成人话:再好的全局上下文,也替代不了紧邻前词那一格;而同一份可靠信息,早给比晚给更值钱。所以门控注入从第 1 层就开始。
五、实测:28 组接受长度 + 40 组吞吐全胜
接受长度(Qwen3-8B,温度 0)
| 方法 | 七基准平均接受长度 |
|---|---|
| DFlash | 3.77 |
| DSpark | 4.32 |
| DFlash2 | 4.39 |
| DSpine | 4.82 |
温度 1(采样)下,DSpine 为 4.42,相对 DSpark 的 3.92 提升 12.8%。相对 DFlash 的 3.77 → 4.82,提升 27.8%(论文摘要口径)。Qwen3-4B 上温度 0/1 分别为 4.75 和 4.38,对最强基线 DFlash2 分别领先 5.4% 和 10.1%。两个模型、两个温度、七个基准,共 28 组,全部第一,采样模式优势更大。
SGLang 端到端吞吐
| 对比对象 | Qwen3-8B | Qwen3-4B |
|---|---|---|
| vs DSpark | 平均 +19.0%(最高 +22.1%) | 平均 +20.1%(最高 +22.5%) |
| vs DFlash | 平均 +23.3% | — |
| vs DFlash2(最强基线) | 平均 +11.1% | 平均 +6.5% |
| vs 原生自回归 AR | 最高 4.01× | 最高 3.80× |
测试覆盖 GSM8K、MATH-500、HumanEval、MBPP 四个任务和 2/4/8/16/32 五档并发,单卡、TP=1、BF16、FlashAttention-3、CUDA Graphs,温度 0,输出上限 2048 token,所有方法统一每轮 15 个草稿 token 预算。
为什么加了注入反而更快:延迟拆解
| 模块 | 数据 |
|---|---|
| 5 层注入模块合计每轮开销 | ≤0.15 ms(算子融合 + CUDA Graph) |
| 末层条件解码耗时 | 不到 DSpark / Domino 后置串行头的一半 |
| 单轮总耗时 | DSpine 7.14 ms vs DFlash2 7.19 ms |
| 每生成一个有效 token 的解码耗时 | 比 DFlash2 低 10.9% |
这组数字解释了一个反直觉现象:单轮时间几乎没变,吞吐却明显上涨 —— 因为每轮能连续通过更多 token,摊到每个 token 上的时间就少了。
六、Agent 场景:Qwen3.8-27B 专项草稿权重
长程 Agent 的推理负担比单轮对话重得多,团队专门训练了面向 Agent 的草稿模型。
| 项目 | 结果 |
|---|---|
| 评测集 | SWE-bench Pro、τ²-bench、WorkBuddy Bench(Code/Web/Office),各含 low/xhigh 两档思考强度 |
| 平均接受长度 | 5.13;WorkBuddy Office(low)最高 5.63 |
| 解码吞吐 | 相对开源 DFlash2 平均最高 +21.2%;相对原生 AR 最高 3.84× |
| 真实办公六组 | 平均接受长度提升 26.1% |
七、开源与落地:现在能拿到什么
| 交付物 | 状态 | 位置 |
|---|---|---|
| 论文 | 已公开 | arXiv 2609.36173(2026-09-28) |
| 推理代码 | 已开源 | github.com/tencent/dspine |
| 草稿权重 | 已开放 | Hugging Face:tencent/dspine(含 Qwen3-8B、Qwen3.8-27B 等) |
| SGLang 接入 | 轻量插件,几行命令挂载 | 需在 SGLang 环境中启用 |
| 线上落地 | 已服务腾讯 WorkBuddy 推理业务 | 生产环境验证 |
| 主模型 | 仍是 Qwen3 系列目标模型 | 开源的是 “草稿”,不是新基座 |
这里要分清:所谓 “已开源”,开的是 DSpine 的推理实现与草稿权重,目标大模型仍是你自己选的那一个。它也不是 “换个框架就能用” 的通用方案 —— 当前封装围绕 SGLang,其他推理引擎需要自己移植。
八、适合谁用,不适合谁
适合:
- 已经在用 SGLang 做在线推理、且目标模型是 Qwen3 系列的团队 —— 挂载成本最低,收益最直接。
- 高并发、长输出场景(Agent、批量代码生成、数学推理),接受长度收益能直接转成吞吐。
- 对输出分布一致性有硬要求、不能接受近似加速的业务 —— 推测解码本身是无损验证。
不适合 / 需谨慎:
- 目标模型不在已开放草稿权重覆盖范围内,需要自己训练草稿模型,成本另算。
- 低并发、短输出、以首 token 延迟为唯一指标的交互场景,吞吐收益不一定能体现。
- 对显存极敏感的部署:草稿网络 5 层 + 转移缓存 K=16 会占用额外开销,需按实际显存核算。
【相关 FAQ】
问题 1:DSpine 说的 “并行推测解码 SOTA”,是和哪些方法比的?
回答 1:对比对象是同数据训练的 DFlash、Domino、DSpark 和 DFlash2,测试模型是 Qwen3-4B 与 Qwen3-8B,覆盖数学、代码、对话七项基准,两种温度。共 28 组接受长度、40 组 SGLang 服务吞吐,DSpine 全部第一。这是 “指定基线与模型范围内的 SOTA”,不是全行业所有加速方案的绝对第一。
问题 2:SGLang 吞吐最高 4 倍,是相对谁的最高 4 倍?
回答 2:是相对原生自回归解码的峰值:Qwen3-8B 最高 4.01 倍、Qwen3-4B 最高 3.80 倍。相对其他推测解码方法要低得多 —— 对最强基线 DFlash2 平均提升 11.1%(8B)和 6.5%(4B),对 DSpark 平均提升约 19%—20%。把 “4 倍” 理解成 “比其他推测解码快 4 倍” 是错的。
问题 3:把因果依赖刻进草稿网络深度,具体是怎么做到的?
回答 3:草稿网络每一层 Transformer 之后,位置 t 会接收紧邻前驱 t-1 “当前预测中的特征”,通过门控决定吸收多少写回残差流。同一层内所有位置读的都是本层更新前的特征,所以全块并行;前驱在第 l 层的线索参与后继第 l+1 层计算,因果链就沿深度向后展开,而不增加任何串行骨干步数。最后选词时,用已确定的真实前驱 token 再做一次条件修正。
问题 4:DSpine 已开源,开的是代码还是模型权重?
回答 4:都开了,但要说清楚层次:推理代码在 github.com/tencent/dspine,草稿权重在 Hugging Face 的 tencent/dspine 集合(含 Qwen3-8B 与面向 Agent 的 Qwen3.8-27B),接入方式是 SGLang 轻量插件。开的是 “草稿模型 + 推理实现”,不是新的目标大模型;离开 SGLang 需要自行移植。
问题 5:为什么 DSpine 单轮解码时间几乎没变,吞吐却能涨两成?
回答 5:因为吞吐取决于 “每轮通过多少 token”,不是 “每轮多快”。实测单轮 7.14ms,与 DFlash2 的 7.19ms 基本持平;5 层注入合计只增加 ≤0.15ms,条件解码靠转移缓存比后置串行头快一倍以上。但接受长度从 4.39 提到 4.82,每轮多过 token,摊到每个有效 token 的解码耗时反而比 DFlash2 低 10.9%。
问题 6:这套方法会改变模型输出质量吗?
回答 6:不会。它属于推测解码,草稿只负责 “提候选”,最终由目标模型验证,走的是 SGLang 的 lossless verification,温度 0 为贪心验证、温度 1 为拒绝采样,输出分布与直接用目标模型解码一致。加速来自 “少跑几次目标模型前向”,不是 “降精度换速度”。
【参考资料】
[2026-11-09](并行推测解码 SOTA!因果依赖刻进草稿网络深度,SGLang 吞吐最高达 4 倍,已开源)机器之心
[2026-11-03](DFlash: Block Diffusion for Flash Speculative Decoding)arXiv 2602.06036
[2026-11-01](Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding)arXiv 2609.36173
[2026-10-24](More Than DeepInfer: What SGLang Delivers)LMSYS Org
免责声明: 本文数据取自论文原文(arXiv 2609.36173)及机器之心公开报道,接受长度、吞吐、延迟均为作者在指定硬件与配置下的自测结果,未经第三方独立复现。文中 “SOTA” 限定于论文所选基线与模型范围,“最高 4 倍” 为相对原生自回归解码的峰值而非平均值,不同任务、温度、并发下收益会有差异。开源范围以 GitHub 与 Hugging Face 仓库实际内容为准,主模型不在开源范围内。本文仅作技术解读,不构成部署或采购建议。
本文来自作者[Opal55]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/293.html
评论列表(4条)
我是诚邦网的签约作者“Opal55”!
希望本篇文章《并行推测解码新 SOTA腾讯优图 DSpine 把因果依赖折进草稿网络深度,SGLang 吞吐最高 4.01 倍、代码与权重已开源》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:我先核实这篇论文的方法、实测口径和开源状态,再按你的模板成稿。