大模型下沉撞上内存墙,国产迈特芯 3D-TPU 用 3D 近存加分级卸载尝试破局

大模型往手机、平板、PC、机器人这些终端 "下沉" 的时候,最大的拦路虎不是算力不够,而是 "内存墙":解码阶段每生成一个 token 都要把模型权重完整读一遍,吞吐被带宽死死卡住,而端侧功耗预算只有 3 到 5 瓦,带宽和功耗又强绑定,传统 2D 方案给足 600GB/s 带宽要耗掉 40 瓦以上,根本装不进小终端。深圳迈特芯(MetaChip)给出的解法是自研 3D-TPU:用 3D DRAM 混合键合把存储叠在逻辑晶圆旁边,600GB/s 带宽只耗约 7 瓦,再配合 "片上常驻 + SSD 冷存" 的 MoE 专家分级卸载,把 9B 稠密模型和 35B 级稀疏模型塞进端侧;这颗芯片 2026 年初已流片,预计 2026 年第四季度量产。

一、问题是什么:大模型下沉为什么撞上内存墙

端侧推理的物理约束清单

  • 解码(Decode)阶段占大模型推理绝大部分时间,每个 token 都要全量读取权重,属于典型 memory-bound(带宽受限)工况。
  • 手机 / 平板功耗预算约 3–5W,机器人 / 小盒子也只有个位数瓦,功率上不去,带宽就上不去。
  • 传统 2D 方案靠 LPDDR5X 统一总线供数:同等 600GB/s 带宽,功耗 33.6–45.6W,互连延迟 20–40ns(含 PHY 延迟),封装面积大。
  • MoE 大模型 "大总参、小激活",传统 GPU/CPU 要求把全部参数装进显存,端侧根本装不下。

以 3B 模型 4bit 量化(权重约 2GB)为基准:峰值带宽 200GB/s、80% 利用率时有效带宽 160GB/s,吞吐 80 tokens/s、功耗 8W;能效恒定约 10 tokens/s/W—— 带宽、算力、功耗三者线性缩放,这就是内存墙的数学本质。

二、解法一:3D DRAM-TPU 近存堆叠,把带宽搬到计算旁边

结构做法

  • 采用混合键合(Hybrid Bonding)把 4 个 DRAM 堆栈(16×1024bit 通道)垂直堆叠在 PIM / 逻辑 Die 之上,直连互连,延迟 < 5ns。
  • 对比 2D LPDDR5X 基准:600GB/s 带宽下功耗从 33.6–45.6W 降到 3.8–7.2W,封装面积极小。
  • 自研分布式张量脉动 TPU 阵列,处理单元通过 3D IO 与内存直接互联,形成网格化分布式访存拓扑,把带宽利用率做到 80%。

对比表(600GB/s 带宽目标)

维度2D-LPDDR5X3D-PIM(迈特芯 3D-TPU)
实现方式32 通道 LPDDR5X,16bit / 片4 堆栈,16×1024bit 直连通道
能效比7.0–9.5 pJ/bit0.8–1.5 pJ/bit
总功耗33.6–45.6W3.8–7.2W
封装面积大(需 512bit 总线 + 32 通道)极小(垂直叠在 SoC 上)
互连延迟20–40ns<5ns

三、解法二:MoE 专家分级卸载,片上常驻 + SSD 冷存

针对 30B 以上总参、每词元激活 3B 以上的稀疏 MoE 模型:

  1. 高频权重常驻:把高频访问的专家集合加载到 TPU 侧 3D DRAM。
  2. 大专家冷存:大规模路由专家量化后存到上位机 NVMe SSD 并建立索引。
  3. 异步换入:推理时通过 PCIe 异步 DMA 把所需专家换入 TPU 弹性专家缓存,循环利用有限高带宽空间。
  4. 预取调度:专家预测机制提前生成候选专家、确定预取顺序,把 SSD 读取挪出词元生成关键路径。

实测:Qwen 35B-A3B 类稀疏 MoE 模型推理 20–40 tokens/s,大幅降低端侧本地大模型硬件成本。

四、产品矩阵:三档芯片对应三类终端

型号面向场景支持模型带宽DRAM功耗能效比
MC-Mega-188移动端(AI 平板 / 学习机)2B200GB/s2.5GB2.0W1.64 TOPS/W
MC-Mega-288机器人端(机械臂)4B400GB/s5GB4.7W1.40 TOPS/W
MC-Mega-488小 B 端(AI-NAS / 一体机)9B600GB/s10GB7.2W1.37 TOPS/W

配套 2D-TPU(22nm,2026 年 6 月点亮)面向手表、眼镜等小终端:RISC-V + 张量脉动架构,TPU 峰值能效 137.61 TOPS/W,全电压段功耗 < 1W,支持 0.6B 模型,兼容 ViT、DiT、ASR、TTS 全谱系 Transformer。

性能实测清单

  • EdgeLLM:Qwen 7B 峰值 75 tokens/s,对比英伟达先进 GPU 吞吐 1.67 倍、能效 7.4 倍。
  • Edge-MLA/MoE:Qwen 35B-A3B 达 20–40 tokens/s;Qwen 30B 解码阶段 1.42–2.94 倍加速。
  • EdgeVLA 具身:机器人控制频率 100Hz 以上。
  • 目标能力:10GB 内存、600GB/s 带宽、5W 功耗跑 9B/27B 稠密模型(GDN+KV 压缩)。

五、落地节奏与已验证场景

  • 2024 年:多款张量脉动 TPU 原型芯片流片。
  • 2026 年 2 月:2D-TPU 成功点亮;6 月 22nm 2D-TPU 完成流片。
  • 2026 年初:3D-TPU 正式流片,年内出样片;预计 2026 Q4 量产。
  • 已验证场景:机器狗 AR 巡检、安卓平板离线大模型、信创电脑 AI 助手、MetaClaw 端侧智能体(NAS / 教育 / 医疗 / 具身),全部本地部署、数据不出端。
  • 四级技术路线:EdgeLLM 语言推理→Edge-MLA/MoE 稀疏部署→EdgeVLM 多模态→EdgeVLA 具身动作生成,模型规模 3B 扩至 35B,模态从文本到视觉再到机器人闭环。

六、一句话总结

内存墙的本质是 "带宽受功耗锁死",迈特芯 3D-TPU 用 3D 混合键合把 600GB/s 带宽压进 7 瓦、用专家分级卸载把超大 MoE 搬进 SSD,让大模型下沉到端侧不再必须连云端;2026 Q4 量产后能否兑现实测指标,是接下来的观察点。

【相关 FAQ】

问题 1:大模型下沉到端侧为什么会撞上内存墙,3D TPU 针对的到底是什么问题?

回答 1:大模型下沉到手机、平板、机器人后,解码阶段每个 token 都要全量读权重,吞吐被带宽锁死而端侧功耗只有 3–5W,这就是内存墙;迈特芯 3D-TPU 用 3D DRAM 混合键合把 600GB/s 带宽压到 7W 左右,正是针对带宽与功耗强耦合这堵墙。

问题 2:迈特芯这颗国产 3D TPU 靠什么突破内存墙,和传统 2D 方案差在哪?

回答 2:这颗国产 3D TPU 靠两招突破内存墙:一是 3D-PIM 近存堆叠直连,600GB/s 带宽功耗从 2D 方案的 40W 以上降到约 7W、延迟从 20–40ns 降到 5ns 内;二是 "片上常驻 + SSD 冷存" 专家分级卸载,让 35B 级 MoE 也能在端侧跑 20–40 tokens/s。

问题 3:3D TPU 量产后能在端侧跑多大的模型,性能实测如何?

回答 3:迈特芯 3D TPU 产品分三档,MC-Mega-488 以 600GB/s、7.2W 支持 9B 稠密模型;实测 Qwen 7B 达 75 tokens/s(对比英伟达先进 GPU 吞吐 1.67 倍、能效 7.4 倍),Qwen 35B-A3B 稀疏 MoE 达 20–40 tokens/s,目标用 5W 级功耗跑 9B/27B 稠密模型。

问题 4:3D TPU 解决内存墙后,大模型下沉到终端还需要连云端吗?

回答 4:迈特芯 3D TPU 的目标就是本地部署,机器狗巡检、离线平板、信创助手等已验证场景全部数据不出端;配合 MetaClaw 端侧智能体,大模型下沉后在端侧完成推理,只在需要时云端生产 token,形成 "云端生产、终端消费" 的词元循环。

【参考资料】

  • [2026-10-14](深圳迈特芯亮相,端侧大模型芯片即将量产|直击湾芯展)南方 +
  • [2026-09-03](3D-TPU 即将量产!迈特芯端侧大模型芯片技术路线拆解)智猩猩(迈特芯官网转载)
  • [2026-07-20](WAIC 2026|迈特芯端侧 LPU:赋能人人文明级 AI 实现数字服务平权)迈特芯官网
  • [2026-11-10](深圳市迈特芯科技有限公司官方网站)迈特芯官网

【免责声明】 本文基于厂商官方披露与公开报道整理,仅供技术资讯参考,不构成投资建议或采购推荐。芯片参数、tokens/s、功耗与能效比均为厂商实测 / 目标值,量产后实际表现以最终产品规格为准;模型名称(Qwen 等)版权归原方所有,市场预测不代表承诺。

本文来自作者[Jude49]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/1895.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Jude49
    Jude49 2026年11月19日

    我是诚邦网的签约作者“Jude49”!

  • Jude49
    Jude49 2026年11月19日

    希望本篇文章《大模型下沉撞上内存墙,国产迈特芯 3D-TPU 用 3D 近存加分级卸载尝试破局》能对你有所帮助!

  • Jude49
    Jude49 2026年11月19日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • Jude49
    Jude49 2026年11月19日

    本文概览:大模型往手机、平板、PC、机器人这些终端 "下沉 " 的时候,最大的拦路虎不是算力不够,而是 "内存墙 ":解码阶段每生成一个 token 都要把模型权重完整读一遍,吞吐被带宽死死卡住,而端侧功耗预算只有 3 到 5 瓦,带宽和功耗又强绑定,传统 2D 方案给足 600GB s 带宽要耗掉 40 瓦以上,根本装不进小终端。深圳迈特芯(MetaChip)给出的解法是自研 3D-TPU:用 3D DRAM 混合键合把存储叠在逻辑晶圆旁边,600GB s 带宽只耗约 7 瓦,再配合 "片上常驻 + SSD 冷存 " 的 MoE 专家分级卸载,把 9B 稠密模型和 35B 级稀疏模型塞进端侧;这颗芯片 2026 年初已流片,预计 2026 年第四季度量产。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们