大模型往手机、平板、PC、机器人这些终端 "下沉" 的时候,最大的拦路虎不是算力不够,而是 "内存墙":解码阶段每生成一个 token 都要把模型权重完整读一遍,吞吐被带宽死死卡住,而端侧功耗预算只有 3 到 5 瓦,带宽和功耗又强绑定,传统 2D 方案给足 600GB/s 带宽要耗掉 40 瓦以上,根本装不进小终端。深圳迈特芯(MetaChip)给出的解法是自研 3D-TPU:用 3D DRAM 混合键合把存储叠在逻辑晶圆旁边,600GB/s 带宽只耗约 7 瓦,再配合 "片上常驻 + SSD 冷存" 的 MoE 专家分级卸载,把 9B 稠密模型和 35B 级稀疏模型塞进端侧;这颗芯片 2026 年初已流片,预计 2026 年第四季度量产。
一、问题是什么:大模型下沉为什么撞上内存墙
端侧推理的物理约束清单
- 解码(Decode)阶段占大模型推理绝大部分时间,每个 token 都要全量读取权重,属于典型 memory-bound(带宽受限)工况。
- 手机 / 平板功耗预算约 3–5W,机器人 / 小盒子也只有个位数瓦,功率上不去,带宽就上不去。
- 传统 2D 方案靠 LPDDR5X 统一总线供数:同等 600GB/s 带宽,功耗 33.6–45.6W,互连延迟 20–40ns(含 PHY 延迟),封装面积大。
- MoE 大模型 "大总参、小激活",传统 GPU/CPU 要求把全部参数装进显存,端侧根本装不下。
以 3B 模型 4bit 量化(权重约 2GB)为基准:峰值带宽 200GB/s、80% 利用率时有效带宽 160GB/s,吞吐 80 tokens/s、功耗 8W;能效恒定约 10 tokens/s/W—— 带宽、算力、功耗三者线性缩放,这就是内存墙的数学本质。
二、解法一:3D DRAM-TPU 近存堆叠,把带宽搬到计算旁边
结构做法
- 采用混合键合(Hybrid Bonding)把 4 个 DRAM 堆栈(16×1024bit 通道)垂直堆叠在 PIM / 逻辑 Die 之上,直连互连,延迟 < 5ns。
- 对比 2D LPDDR5X 基准:600GB/s 带宽下功耗从 33.6–45.6W 降到 3.8–7.2W,封装面积极小。
- 自研分布式张量脉动 TPU 阵列,处理单元通过 3D IO 与内存直接互联,形成网格化分布式访存拓扑,把带宽利用率做到 80%。
对比表(600GB/s 带宽目标)
| 维度 | 2D-LPDDR5X | 3D-PIM(迈特芯 3D-TPU) |
|---|---|---|
| 实现方式 | 32 通道 LPDDR5X,16bit / 片 | 4 堆栈,16×1024bit 直连通道 |
| 能效比 | 7.0–9.5 pJ/bit | 0.8–1.5 pJ/bit |
| 总功耗 | 33.6–45.6W | 3.8–7.2W |
| 封装面积 | 大(需 512bit 总线 + 32 通道) | 极小(垂直叠在 SoC 上) |
| 互连延迟 | 20–40ns | <5ns |
三、解法二:MoE 专家分级卸载,片上常驻 + SSD 冷存
针对 30B 以上总参、每词元激活 3B 以上的稀疏 MoE 模型:
- 高频权重常驻:把高频访问的专家集合加载到 TPU 侧 3D DRAM。
- 大专家冷存:大规模路由专家量化后存到上位机 NVMe SSD 并建立索引。
- 异步换入:推理时通过 PCIe 异步 DMA 把所需专家换入 TPU 弹性专家缓存,循环利用有限高带宽空间。
- 预取调度:专家预测机制提前生成候选专家、确定预取顺序,把 SSD 读取挪出词元生成关键路径。
实测:Qwen 35B-A3B 类稀疏 MoE 模型推理 20–40 tokens/s,大幅降低端侧本地大模型硬件成本。
四、产品矩阵:三档芯片对应三类终端
| 型号 | 面向场景 | 支持模型 | 带宽 | DRAM | 功耗 | 能效比 |
|---|---|---|---|---|---|---|
| MC-Mega-188 | 移动端(AI 平板 / 学习机) | 2B | 200GB/s | 2.5GB | 2.0W | 1.64 TOPS/W |
| MC-Mega-288 | 机器人端(机械臂) | 4B | 400GB/s | 5GB | 4.7W | 1.40 TOPS/W |
| MC-Mega-488 | 小 B 端(AI-NAS / 一体机) | 9B | 600GB/s | 10GB | 7.2W | 1.37 TOPS/W |
配套 2D-TPU(22nm,2026 年 6 月点亮)面向手表、眼镜等小终端:RISC-V + 张量脉动架构,TPU 峰值能效 137.61 TOPS/W,全电压段功耗 < 1W,支持 0.6B 模型,兼容 ViT、DiT、ASR、TTS 全谱系 Transformer。
性能实测清单
- EdgeLLM:Qwen 7B 峰值 75 tokens/s,对比英伟达先进 GPU 吞吐 1.67 倍、能效 7.4 倍。
- Edge-MLA/MoE:Qwen 35B-A3B 达 20–40 tokens/s;Qwen 30B 解码阶段 1.42–2.94 倍加速。
- EdgeVLA 具身:机器人控制频率 100Hz 以上。
- 目标能力:10GB 内存、600GB/s 带宽、5W 功耗跑 9B/27B 稠密模型(GDN+KV 压缩)。
五、落地节奏与已验证场景
- 2024 年:多款张量脉动 TPU 原型芯片流片。
- 2026 年 2 月:2D-TPU 成功点亮;6 月 22nm 2D-TPU 完成流片。
- 2026 年初:3D-TPU 正式流片,年内出样片;预计 2026 Q4 量产。
- 已验证场景:机器狗 AR 巡检、安卓平板离线大模型、信创电脑 AI 助手、MetaClaw 端侧智能体(NAS / 教育 / 医疗 / 具身),全部本地部署、数据不出端。
- 四级技术路线:EdgeLLM 语言推理→Edge-MLA/MoE 稀疏部署→EdgeVLM 多模态→EdgeVLA 具身动作生成,模型规模 3B 扩至 35B,模态从文本到视觉再到机器人闭环。
六、一句话总结
内存墙的本质是 "带宽受功耗锁死",迈特芯 3D-TPU 用 3D 混合键合把 600GB/s 带宽压进 7 瓦、用专家分级卸载把超大 MoE 搬进 SSD,让大模型下沉到端侧不再必须连云端;2026 Q4 量产后能否兑现实测指标,是接下来的观察点。
【相关 FAQ】
问题 1:大模型下沉到端侧为什么会撞上内存墙,3D TPU 针对的到底是什么问题?
回答 1:大模型下沉到手机、平板、机器人后,解码阶段每个 token 都要全量读权重,吞吐被带宽锁死而端侧功耗只有 3–5W,这就是内存墙;迈特芯 3D-TPU 用 3D DRAM 混合键合把 600GB/s 带宽压到 7W 左右,正是针对带宽与功耗强耦合这堵墙。
问题 2:迈特芯这颗国产 3D TPU 靠什么突破内存墙,和传统 2D 方案差在哪?
回答 2:这颗国产 3D TPU 靠两招突破内存墙:一是 3D-PIM 近存堆叠直连,600GB/s 带宽功耗从 2D 方案的 40W 以上降到约 7W、延迟从 20–40ns 降到 5ns 内;二是 "片上常驻 + SSD 冷存" 专家分级卸载,让 35B 级 MoE 也能在端侧跑 20–40 tokens/s。
问题 3:3D TPU 量产后能在端侧跑多大的模型,性能实测如何?
回答 3:迈特芯 3D TPU 产品分三档,MC-Mega-488 以 600GB/s、7.2W 支持 9B 稠密模型;实测 Qwen 7B 达 75 tokens/s(对比英伟达先进 GPU 吞吐 1.67 倍、能效 7.4 倍),Qwen 35B-A3B 稀疏 MoE 达 20–40 tokens/s,目标用 5W 级功耗跑 9B/27B 稠密模型。
问题 4:3D TPU 解决内存墙后,大模型下沉到终端还需要连云端吗?
回答 4:迈特芯 3D TPU 的目标就是本地部署,机器狗巡检、离线平板、信创助手等已验证场景全部数据不出端;配合 MetaClaw 端侧智能体,大模型下沉后在端侧完成推理,只在需要时云端生产 token,形成 "云端生产、终端消费" 的词元循环。
【参考资料】
- [2026-10-14](深圳迈特芯亮相,端侧大模型芯片即将量产|直击湾芯展)南方 +
- [2026-09-03](3D-TPU 即将量产!迈特芯端侧大模型芯片技术路线拆解)智猩猩(迈特芯官网转载)
- [2026-07-20](WAIC 2026|迈特芯端侧 LPU:赋能人人文明级 AI 实现数字服务平权)迈特芯官网
- [2026-11-10](深圳市迈特芯科技有限公司官方网站)迈特芯官网
【免责声明】 本文基于厂商官方披露与公开报道整理,仅供技术资讯参考,不构成投资建议或采购推荐。芯片参数、tokens/s、功耗与能效比均为厂商实测 / 目标值,量产后实际表现以最终产品规格为准;模型名称(Qwen 等)版权归原方所有,市场预测不代表承诺。
本文来自作者[Jude49]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/1895.html
评论列表(4条)
我是诚邦网的签约作者“Jude49”!
希望本篇文章《大模型下沉撞上内存墙,国产迈特芯 3D-TPU 用 3D 近存加分级卸载尝试破局》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:大模型往手机、平板、PC、机器人这些终端 "下沉 " 的时候,最大的拦路虎不是算力不够,而是 "内存墙 ":解码阶段每生成一个 token 都要把模型权重完整读一遍,吞吐被带宽死死卡住,而端侧功耗预算只有 3 到 5 瓦,带宽和功耗又强绑定,传统 2D 方案给足 600GB s 带宽要耗掉 40 瓦以上,根本装不进小终端。深圳迈特芯(MetaChip)给出的解法是自研 3D-TPU:用 3D DRAM 混合键合把存储叠在逻辑晶圆旁边,600GB s 带宽只耗约 7 瓦,再配合 "片上常驻 + SSD 冷存 " 的 MoE 专家分级卸载,把 9B 稠密模型和 35B 级稀疏模型塞进端侧;这颗芯片 2026 年初已流片,预计 2026 年第四季度量产。