并行推测解码新 SOTA腾讯优图 DSpine 把因果依赖折进草稿网络深度,SGLang 吞吐最高 4.01 倍、代码与权重已开源

我先核实这篇论文的方法、实测口径和开源状态,再按你的模板成稿。

这次的关键不是 “又提速了多少倍”,而是它换了个地方补因果依赖 —— 不在骨干网络算完之后用一个小模块 “事后修补”,而是从草稿网络第 1 层起,就把前一个位置 “正在形成中的预测特征” 逐层注入给后一个位置。方法名 DSpine(Draft in Parallel, Condition Through Depth,同时起草、逐层接力),来自腾讯优图实验室、上海交通大学和厦门大学,论文 2026 年 9 月 28 日挂在 arXiv(2609.36173),通讯作者为上海交大蒋波(Bo Jiang)。它要解决的是并行推测解码的老毛病:一次前向同时吐出整块候选 token,但每个位置在选词时并不知道前一个位置最终会选谁,于是 “一只猫” 和 “一辆车” 可能被拼成 “一辆猫”,中间一个位置被目标模型拒掉,后面算好的草稿全部作废。DSpine 的做法是把这条因果链沿网络深度展开:同一层内所有位置仍然完全并行,前驱在第 l 层传出的线索参与后继第 l+1 层的计算,最终选词时再用已经确定的真实 token 做一次条件修正,并用转移缓存把所有相邻候选组合的分数一次性并行算好。实测口径要说清楚:在 Qwen3-4B 和 Qwen3-8B 上,28 组接受长度评测全部第一;SGLang 端到端服务测试 40 组全部第一,相对原生自回归解码最高 4.01 倍加速(8B),相对最强基线 DFlash2 平均提升 11.1%;“4 倍” 是相对自回归的峰值,不是相对其他推测解码方法的平均值。代码(github.com/tencent/dspine)、草稿权重(Hugging Face tencent/dspine)和 SGLang 插件均已开放,并已落地腾讯 WorkBuddy 线上推理业务。

一、先把 “SOTA” 和 “4 倍” 的口径钉住

技术稿最容易被误读的就是这类数字,先做一张口径表。

标题里的说法准确口径容易误读成
并行推测解码 SOTA在作者选定的基线(DFlash、Domino、DSpark、DFlash2)× 两个模型 × 七基准 × 两个温度上全胜全行业所有加速方案的绝对第一
SGLang 吞吐最高 4 倍相对原生自回归解码的最高值(Qwen3-8B 4.01×,Qwen3-4B 3.80×)相对其他推测解码方法提升 4 倍
平均提升 19%—20%相对 DSpark 的平均吞吐提升(8B +19.0%,4B +20.1%)所有场景固定提升 20%
已开源推理代码 + 草稿权重 + SGLang 插件 + Agent 专用 27B 草稿权重主模型也开源、任意框架开箱即用
无损加速SGLang 的 lossless verification,输出分布与目标模型一致近似 / 降质加速

再补一句:论文明确写的是 “surpasses baselines trained on the same data”,即与同数据训练的基线对比,这保证了比较公平,但也意味着它是 “同等训练预算下的最优”,不是 “任意条件下都最优”。

二、它到底在修什么问题

并行起草的核心矛盾,可以一句话说完:后一个位置在计算时,不知道前一个位置最终会选哪个词。

举个论文里的直观例子。上文是 “门口有一……”,位置 1 的候选有 “只”“辆”,位置 2 的候选有 “猫”“车”。“一只猫” 和 “一辆车” 都通顺,但两个位置如果各自独立选词,就可能拼出 “门口有一辆猫”。目标模型按从左到右的前缀顺序验证,一旦中间接不上被拒,后面所有草稿 token 全部作废,这就是 “后缀衰减(Suffix Decay)”。

现有方案分两类,都不完美:

方案类型代表工作做法局限
骨干后置修正Domino、DSpark骨干算完后用轻量串行头补条件后继在特征形成阶段感知不到前驱倾向
骨干内混隐状态DFlash2局部卷积混合相邻隐状态上下文信息与预测信号混在一起
完全不补DFlash每个位置独立预测组合不一致,接受长度受限

DSpine 选的是第三条路:在骨干内部、逐层、只传 “选词倾向”。

三、四个设计,把因果链折进深度

设计做什么为什么这样做
统一传递空间用目标模型冻结的 LM Head 输出嵌入矩阵,做归一化 + PCA 白化,得到紧凑词元表直接把 Transformer 隐状态传过去,后继很难从中剥离 “前驱想选哪个词”;中间层直接做全词表解码又太贵
逐层门控相邻注入每层 Transformer 后,位置 t 接收紧邻前驱 t-1 的预测特征,用门控决定吸收多少并写回残差流同层内所有位置读的都是本层更新前的特征,因此全块并行;线索跨层向后传,不增加串行骨干步数
逐层输出嵌入监督每层注入后与真实目标 token 的紧凑嵌入算余弦方向对齐损失消融显示:中间层直接上全词表交叉熵反而会跌破无监督 DFlash 基线,因为挤占了上下文表征
末层条件解码 + 转移缓存先并行预计算所有相邻候选组合(K=16)的条件得分矩阵,选词时查表把 “串行选词” 变成 “并行打分 + 查表”,消除逐位置串行矩阵乘

还有一个容易忽略的细节:DSpine 在所有 L 层用的是 block-causal attention,而不是 DFlash 那种双向块注意力。这样注意力和注入共享同一个 “前驱→后继” 方向,训练时注入的正确信息不会回流到更早位置。

四、两个实验洞察,直接决定了设计

这两个数字是整个方法的立论基础,也是这篇论文最有信息量的部分。

洞察一:靠前位置的预测信号在浅层就已经能读出来。

逐层探针实验显示,同样网络深度下,块内靠前位置的 token 预测准确率明显高于靠后位置。也就是说,不必等 5 层骨干全部算完、等位置 1 吐出最终 token,浅层就已经有可读出的线索。

洞察二:紧邻前驱不准,后果比想象严重;注入越早,收益越大。

干预实验结果
保持更早历史完全正确,只把紧邻前驱换成草稿预测后继预测准确率平均下降 31.8 个百分点
在相同注入层数、相同末层前驱 K/V 条件下,把注入提前到浅层准确率比延后注入平均高出 14.8 个百分点

翻译成人话:再好的全局上下文,也替代不了紧邻前词那一格;而同一份可靠信息,早给比晚给更值钱。所以门控注入从第 1 层就开始。

五、实测:28 组接受长度 + 40 组吞吐全胜

接受长度(Qwen3-8B,温度 0)

方法七基准平均接受长度
DFlash3.77
DSpark4.32
DFlash24.39
DSpine4.82

温度 1(采样)下,DSpine 为 4.42,相对 DSpark 的 3.92 提升 12.8%。相对 DFlash 的 3.77 → 4.82,提升 27.8%(论文摘要口径)。Qwen3-4B 上温度 0/1 分别为 4.75 和 4.38,对最强基线 DFlash2 分别领先 5.4% 和 10.1%。两个模型、两个温度、七个基准,共 28 组,全部第一,采样模式优势更大。

SGLang 端到端吞吐

对比对象Qwen3-8BQwen3-4B
vs DSpark平均 +19.0%(最高 +22.1%)平均 +20.1%(最高 +22.5%)
vs DFlash平均 +23.3%—
vs DFlash2(最强基线)平均 +11.1%平均 +6.5%
vs 原生自回归 AR最高 4.01×最高 3.80×

测试覆盖 GSM8K、MATH-500、HumanEval、MBPP 四个任务和 2/4/8/16/32 五档并发,单卡、TP=1、BF16、FlashAttention-3、CUDA Graphs,温度 0,输出上限 2048 token,所有方法统一每轮 15 个草稿 token 预算。

为什么加了注入反而更快:延迟拆解

模块数据
5 层注入模块合计每轮开销≤0.15 ms(算子融合 + CUDA Graph)
末层条件解码耗时不到 DSpark / Domino 后置串行头的一半
单轮总耗时DSpine 7.14 ms vs DFlash2 7.19 ms
每生成一个有效 token 的解码耗时比 DFlash2 低 10.9%

这组数字解释了一个反直觉现象:单轮时间几乎没变,吞吐却明显上涨 —— 因为每轮能连续通过更多 token,摊到每个 token 上的时间就少了。

六、Agent 场景:Qwen3.8-27B 专项草稿权重

长程 Agent 的推理负担比单轮对话重得多,团队专门训练了面向 Agent 的草稿模型。

项目结果
评测集SWE-bench Pro、τ²-bench、WorkBuddy Bench(Code/Web/Office),各含 low/xhigh 两档思考强度
平均接受长度5.13;WorkBuddy Office(low)最高 5.63
解码吞吐相对开源 DFlash2 平均最高 +21.2%;相对原生 AR 最高 3.84×
真实办公六组平均接受长度提升 26.1%

七、开源与落地:现在能拿到什么

交付物状态位置
论文已公开arXiv 2609.36173(2026-09-28)
推理代码已开源github.com/tencent/dspine
草稿权重已开放Hugging Face:tencent/dspine(含 Qwen3-8B、Qwen3.8-27B 等)
SGLang 接入轻量插件,几行命令挂载需在 SGLang 环境中启用
线上落地已服务腾讯 WorkBuddy 推理业务生产环境验证
主模型仍是 Qwen3 系列目标模型开源的是 “草稿”,不是新基座

这里要分清:所谓 “已开源”,开的是 DSpine 的推理实现与草稿权重,目标大模型仍是你自己选的那一个。它也不是 “换个框架就能用” 的通用方案 —— 当前封装围绕 SGLang,其他推理引擎需要自己移植。

八、适合谁用,不适合谁

适合:

  1. 已经在用 SGLang 做在线推理、且目标模型是 Qwen3 系列的团队 —— 挂载成本最低,收益最直接。
  2. 高并发、长输出场景(Agent、批量代码生成、数学推理),接受长度收益能直接转成吞吐。
  3. 对输出分布一致性有硬要求、不能接受近似加速的业务 —— 推测解码本身是无损验证。

不适合 / 需谨慎:

  1. 目标模型不在已开放草稿权重覆盖范围内,需要自己训练草稿模型,成本另算。
  2. 低并发、短输出、以首 token 延迟为唯一指标的交互场景,吞吐收益不一定能体现。
  3. 对显存极敏感的部署:草稿网络 5 层 + 转移缓存 K=16 会占用额外开销,需按实际显存核算。

【相关 FAQ】

问题 1:DSpine 说的 “并行推测解码 SOTA”,是和哪些方法比的?

回答 1:对比对象是同数据训练的 DFlash、Domino、DSpark 和 DFlash2,测试模型是 Qwen3-4B 与 Qwen3-8B,覆盖数学、代码、对话七项基准,两种温度。共 28 组接受长度、40 组 SGLang 服务吞吐,DSpine 全部第一。这是 “指定基线与模型范围内的 SOTA”,不是全行业所有加速方案的绝对第一。

问题 2:SGLang 吞吐最高 4 倍,是相对谁的最高 4 倍?

回答 2:是相对原生自回归解码的峰值:Qwen3-8B 最高 4.01 倍、Qwen3-4B 最高 3.80 倍。相对其他推测解码方法要低得多 —— 对最强基线 DFlash2 平均提升 11.1%(8B)和 6.5%(4B),对 DSpark 平均提升约 19%—20%。把 “4 倍” 理解成 “比其他推测解码快 4 倍” 是错的。

问题 3:把因果依赖刻进草稿网络深度,具体是怎么做到的?

回答 3:草稿网络每一层 Transformer 之后,位置 t 会接收紧邻前驱 t-1 “当前预测中的特征”,通过门控决定吸收多少写回残差流。同一层内所有位置读的都是本层更新前的特征,所以全块并行;前驱在第 l 层的线索参与后继第 l+1 层计算,因果链就沿深度向后展开,而不增加任何串行骨干步数。最后选词时,用已确定的真实前驱 token 再做一次条件修正。

问题 4:DSpine 已开源,开的是代码还是模型权重?

回答 4:都开了,但要说清楚层次:推理代码在 github.com/tencent/dspine,草稿权重在 Hugging Face 的 tencent/dspine 集合(含 Qwen3-8B 与面向 Agent 的 Qwen3.8-27B),接入方式是 SGLang 轻量插件。开的是 “草稿模型 + 推理实现”,不是新的目标大模型;离开 SGLang 需要自行移植。

问题 5:为什么 DSpine 单轮解码时间几乎没变,吞吐却能涨两成?

回答 5:因为吞吐取决于 “每轮通过多少 token”,不是 “每轮多快”。实测单轮 7.14ms,与 DFlash2 的 7.19ms 基本持平;5 层注入合计只增加 ≤0.15ms,条件解码靠转移缓存比后置串行头快一倍以上。但接受长度从 4.39 提到 4.82,每轮多过 token,摊到每个有效 token 的解码耗时反而比 DFlash2 低 10.9%。

问题 6:这套方法会改变模型输出质量吗?

回答 6:不会。它属于推测解码,草稿只负责 “提候选”,最终由目标模型验证,走的是 SGLang 的 lossless verification,温度 0 为贪心验证、温度 1 为拒绝采样,输出分布与直接用目标模型解码一致。加速来自 “少跑几次目标模型前向”,不是 “降精度换速度”。

【参考资料】

[2026-11-09](并行推测解码 SOTA!因果依赖刻进草稿网络深度,SGLang 吞吐最高达 4 倍,已开源)机器之心

[2026-11-03](DFlash: Block Diffusion for Flash Speculative Decoding)arXiv 2602.06036

[2026-11-01](Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding)arXiv 2609.36173

[2026-10-24](More Than DeepInfer: What SGLang Delivers)LMSYS Org

免责声明: 本文数据取自论文原文(arXiv 2609.36173)及机器之心公开报道,接受长度、吞吐、延迟均为作者在指定硬件与配置下的自测结果,未经第三方独立复现。文中 “SOTA” 限定于论文所选基线与模型范围,“最高 4 倍” 为相对原生自回归解码的峰值而非平均值,不同任务、温度、并发下收益会有差异。开源范围以 GitHub 与 Hugging Face 仓库实际内容为准,主模型不在开源范围内。本文仅作技术解读,不构成部署或采购建议。

本文来自作者[Opal55]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/293.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Opal55
    Opal55 2026年11月11日

    我是诚邦网的签约作者“Opal55”!

  • Opal55
    Opal55 2026年11月11日

    希望本篇文章《并行推测解码新 SOTA腾讯优图 DSpine 把因果依赖折进草稿网络深度,SGLang 吞吐最高 4.01 倍、代码与权重已开源》能对你有所帮助!

  • Opal55
    Opal55 2026年11月11日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • Opal55
    Opal55 2026年11月11日

    本文概览:我先核实这篇论文的方法、实测口径和开源状态,再按你的模板成稿。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们