曾妍带队发布的 Cola2 论文,被行业视作字节 10 万亿参数超大模型的技术路线图,核心思路是把视频生成领域成熟的扩散模型、连续隐空间方法迁移到语言建模,用这套新范式支撑超大参数模型的训练,同时降低同等规模下的算力消耗,对齐张一鸣定下的长期主义、追求智能上限的目标。字节 Seed 团队之前多线赛马的模式已经调整,算力资源紧张,不再并行试多条技术路线,选择集中押注曾妍这条以扩散模型为根基、相信规模效应的路径,先在一个模态验证跑通,再把这套方案扩展到多模态。这篇论文《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重已经在 Hugging Face 开放,它不是直接放出 10 万亿模型,而是给出底层建模框架,解决传统自回归大模型扩参之后算力成本暴涨、生成质量瓶颈的痛点,也是曾妍接手 Seedance 方向之后,核心技术主张的公开落地。
Cola2 论文基础信息
| 项目 | 详情 |
|---|---|
| 论文名称 | Cola2: Applying Diffusion Models and Continuous Latent Space Methods from the Video Generation Field to Language Modeling |
| 负责人 | 曾妍(Seedance 核心负责人) |
| 发布时间 | 2026 年 11 月上旬 |
| 开源情况 | 模型权重上传 Hugging Face |
| 核心创新 | 扩散模型 + 连续隐空间,迁移至语言建模,文字任务采用视频生成式建模思路 |
| 定位 | 字节 10 万亿超大模型的底层技术路线验证 |
这条路线和传统自回归大模型的区别
- 传统自回归 LLM:逐 token 顺序生成,参数量往上堆,算力开销线性上涨,长文本、复杂推理成本很高
- Cola2 扩散隐空间路线:借鉴视频扩散生成逻辑,在连续隐空间做建模,并行生成,同等规模下算力更省,生成效果上限更高
- 路线选择逻辑:曾妍更看重规模效应,支持直接往超大参数去扩;对比之前周畅偏向从语言模型出发的路线,两条技术方向差异明显
字节 10 万亿模型项目背景
- 外媒消息显示字节计划训练最高 10 万亿参数超大模型,张一鸣亲自关注,内部明确拒绝靠蒸馏走捷径,宁愿短期榜单落后,优先追求原生智能上限
- 张一鸣内部判断,字节追上 OpenAI、Anthropic 第一梯队,最早要到 2029-2030 年,核心短板是预训练数据体量差距
- 组织层面:曾妍职级快速提升,接手原 Seed 核心负责人周畅的相关工作,Seed 团队从多线赛马转向集中资源押注这条扩散隐空间路线
- 落地节奏:Cola2 是前置验证,先把范式跑通,再逐步往万亿、10 万亿参数规模扩容
路线优势与风险
✅ 优势:扩散隐空间方案有机会缓解超大模型扩参的算力压力,统一语言、视频多模态底层范式,方便后续多模态融合
⚠️ 风险:扩散语言模型在推理、对齐、奖励优化上的成熟度不如自回归;10 万亿参数对算力集群、供电、数据储备要求极高,项目周期很长,存在落地延期可能
对 Seedance 业务的价值
Seedance 已经实现不错的商业化,海外收入增速很快,这条路线可以把 Seedance 在视频扩散上积累的工程能力复用到大语言基座,技术资产打通,而不是语言、视频两套完全独立的技术栈。
【相关 FAQ】
问题 1:曾妍的新论文就是字节 10 万亿路线图,这篇论文叫什么?
回答 1:曾妍的新论文名为 Cola2,全称是把视频生成领域的扩散模型与连续隐空间方法用于语言建模,这篇论文被行业看作字节 10 万亿参数大模型的技术路线图。
问题 2:曾妍 Cola2 论文作为字节 10 万亿路线图,核心技术思路是什么?
回答 2:曾妍 Cola2 论文作为字节 10 万亿路线图,核心是将视频扩散模型、连续隐空间方法迁移到语言建模,替代传统逐 token 自回归,在扩参的同时控制算力成本,支撑超大模型规模效应。
问题 3:曾妍的 Cola2 论文放出,是不是字节 10 万亿参数模型已经训练完成?
回答 3:不是,曾妍 Cola2 论文是字节 10 万亿路线图的底层范式验证,只是开放验证模型权重,10 万亿参数超大模型还处于规划和长期研发阶段,尚未正式推出。
问题 4:字节为什么选择曾妍这条扩散路线,作为 10 万亿模型的路线?
回答 4:字节算力资源不足以支撑多线并行,曾妍的路线贴合张一鸣长期主义、追求原生智能上限的思路,同时能复用 Seedance 视频扩散的工程积累,适合往 10 万亿超大参数规模做扩展。
【参考资料】
[2026-11-18](曾妍的新论文,就是字节 “10 万亿” 路线图)36 氪
[2026-11-19](曾妍的新论文,就是字节 “10 万亿” 路线图)钛媒体
[2026-11-12](张一鸣再谈字节 AI:最早 2029 年追平 OpenAI)澎湃新闻
[2026-08-07](消息称字节跳动正讨论训练超 5 万亿参数模型)DoNews
【免责声明】
本文信息来自行业媒体报道、论文公开信息,字节 10 万亿参数大模型属于长期研发规划,项目参数、落地时间、最终技术方案均存在调整可能,Cola2 仅为技术验证论文,内容仅作为 AI 行业资讯参考,不构成算力投资、大模型赛道投资建议。
本文来自作者[竹谷蜜柑]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/1816.html
评论列表(4条)
我是诚邦网的签约作者“竹谷蜜柑”!
希望本篇文章《标题曾妍 Cola2 论文对应字节 10 万亿参数大模型路线,扩散 + 连续隐空间成为核心技术方案》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:曾妍带队发布的 Cola2 论文,被行业视作字节 10 万亿参数超大模型的技术路线图,核心思路是把视频生成领域成熟的扩散模型、连续隐空间方法迁移到语言建模,用这套新范式支撑超大参数模型的训练,同时降低同等规模下的算力消耗,对齐张一鸣定下的长期主义、追求智能上限的目标。字节 Seed 团队之前多线赛马的模式已经调整,算力资源紧张,不再并行试多条技术路线,选择集中押注曾妍这条以扩散模型为根基、相信规模效应的路径,先在一个模态验证跑通,再把这套方案扩展到多模态。这篇论文《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重已经在 Hugging Face 开放,它不是直接放出 10 万亿模型,而是给出底层建模框架,解决传统自回归大模型扩参之后算力成本暴涨、生成质量瓶颈的痛点,也是曾妍接手 Seedance 方向之后,核心技术主张的公开落地。