标题曾妍 Cola2 论文对应字节 10 万亿参数大模型路线,扩散 + 连续隐空间成为核心技术方案

曾妍带队发布的 Cola2 论文,被行业视作字节 10 万亿参数超大模型的技术路线图,核心思路是把视频生成领域成熟的扩散模型、连续隐空间方法迁移到语言建模,用这套新范式支撑超大参数模型的训练,同时降低同等规模下的算力消耗,对齐张一鸣定下的长期主义、追求智能上限的目标。字节 Seed 团队之前多线赛马的模式已经调整,算力资源紧张,不再并行试多条技术路线,选择集中押注曾妍这条以扩散模型为根基、相信规模效应的路径,先在一个模态验证跑通,再把这套方案扩展到多模态。这篇论文《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重已经在 Hugging Face 开放,它不是直接放出 10 万亿模型,而是给出底层建模框架,解决传统自回归大模型扩参之后算力成本暴涨、生成质量瓶颈的痛点,也是曾妍接手 Seedance 方向之后,核心技术主张的公开落地。

Cola2 论文基础信息

项目详情
论文名称Cola2: Applying Diffusion Models and Continuous Latent Space Methods from the Video Generation Field to Language Modeling
负责人曾妍(Seedance 核心负责人)
发布时间2026 年 11 月上旬
开源情况模型权重上传 Hugging Face
核心创新扩散模型 + 连续隐空间,迁移至语言建模,文字任务采用视频生成式建模思路
定位字节 10 万亿超大模型的底层技术路线验证

这条路线和传统自回归大模型的区别

  • 传统自回归 LLM:逐 token 顺序生成,参数量往上堆,算力开销线性上涨,长文本、复杂推理成本很高
  • Cola2 扩散隐空间路线:借鉴视频扩散生成逻辑,在连续隐空间做建模,并行生成,同等规模下算力更省,生成效果上限更高
  • 路线选择逻辑:曾妍更看重规模效应,支持直接往超大参数去扩;对比之前周畅偏向从语言模型出发的路线,两条技术方向差异明显

字节 10 万亿模型项目背景

  1. 外媒消息显示字节计划训练最高 10 万亿参数超大模型,张一鸣亲自关注,内部明确拒绝靠蒸馏走捷径,宁愿短期榜单落后,优先追求原生智能上限
  2. 张一鸣内部判断,字节追上 OpenAI、Anthropic 第一梯队,最早要到 2029-2030 年,核心短板是预训练数据体量差距
  3. 组织层面:曾妍职级快速提升,接手原 Seed 核心负责人周畅的相关工作,Seed 团队从多线赛马转向集中资源押注这条扩散隐空间路线
  4. 落地节奏:Cola2 是前置验证,先把范式跑通,再逐步往万亿、10 万亿参数规模扩容

路线优势与风险

✅ 优势:扩散隐空间方案有机会缓解超大模型扩参的算力压力,统一语言、视频多模态底层范式,方便后续多模态融合

⚠️ 风险:扩散语言模型在推理、对齐、奖励优化上的成熟度不如自回归;10 万亿参数对算力集群、供电、数据储备要求极高,项目周期很长,存在落地延期可能

对 Seedance 业务的价值

Seedance 已经实现不错的商业化,海外收入增速很快,这条路线可以把 Seedance 在视频扩散上积累的工程能力复用到大语言基座,技术资产打通,而不是语言、视频两套完全独立的技术栈。

【相关 FAQ】

问题 1:曾妍的新论文就是字节 10 万亿路线图,这篇论文叫什么?

回答 1:曾妍的新论文名为 Cola2,全称是把视频生成领域的扩散模型与连续隐空间方法用于语言建模,这篇论文被行业看作字节 10 万亿参数大模型的技术路线图。

问题 2:曾妍 Cola2 论文作为字节 10 万亿路线图,核心技术思路是什么?

回答 2:曾妍 Cola2 论文作为字节 10 万亿路线图,核心是将视频扩散模型、连续隐空间方法迁移到语言建模,替代传统逐 token 自回归,在扩参的同时控制算力成本,支撑超大模型规模效应。

问题 3:曾妍的 Cola2 论文放出,是不是字节 10 万亿参数模型已经训练完成?

回答 3:不是,曾妍 Cola2 论文是字节 10 万亿路线图的底层范式验证,只是开放验证模型权重,10 万亿参数超大模型还处于规划和长期研发阶段,尚未正式推出。

问题 4:字节为什么选择曾妍这条扩散路线,作为 10 万亿模型的路线?

回答 4:字节算力资源不足以支撑多线并行,曾妍的路线贴合张一鸣长期主义、追求原生智能上限的思路,同时能复用 Seedance 视频扩散的工程积累,适合往 10 万亿超大参数规模做扩展。

【参考资料】

[2026-11-18](曾妍的新论文,就是字节 “10 万亿” 路线图)36 氪

[2026-11-19](曾妍的新论文,就是字节 “10 万亿” 路线图)钛媒体

[2026-11-12](张一鸣再谈字节 AI:最早 2029 年追平 OpenAI)澎湃新闻

[2026-08-07](消息称字节跳动正讨论训练超 5 万亿参数模型)DoNews

【免责声明】

本文信息来自行业媒体报道、论文公开信息,字节 10 万亿参数大模型属于长期研发规划,项目参数、落地时间、最终技术方案均存在调整可能,Cola2 仅为技术验证论文,内容仅作为 AI 行业资讯参考,不构成算力投资、大模型赛道投资建议。

本文来自作者[竹谷蜜柑]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/1816.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 竹谷蜜柑
    竹谷蜜柑 2026年11月19日

    我是诚邦网的签约作者“竹谷蜜柑”!

  • 竹谷蜜柑
    竹谷蜜柑 2026年11月19日

    希望本篇文章《标题曾妍 Cola2 论文对应字节 10 万亿参数大模型路线,扩散 + 连续隐空间成为核心技术方案》能对你有所帮助!

  • 竹谷蜜柑
    竹谷蜜柑 2026年11月19日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • 竹谷蜜柑
    竹谷蜜柑 2026年11月19日

    本文概览:曾妍带队发布的 Cola2 论文,被行业视作字节 10 万亿参数超大模型的技术路线图,核心思路是把视频生成领域成熟的扩散模型、连续隐空间方法迁移到语言建模,用这套新范式支撑超大参数模型的训练,同时降低同等规模下的算力消耗,对齐张一鸣定下的长期主义、追求智能上限的目标。字节 Seed 团队之前多线赛马的模式已经调整,算力资源紧张,不再并行试多条技术路线,选择集中押注曾妍这条以扩散模型为根基、相信规模效应的路径,先在一个模态验证跑通,再把这套方案扩展到多模态。这篇论文《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重已经在 Hugging Face 开放,它不是直接放出 10 万亿模型,而是给出底层建模框架,解决传统自回归大模型扩参之后算力成本暴涨、生成质量瓶颈的痛点,也是曾妍接手 Seedance 方向之后,核心技术主张的公开落地。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们