海外一位 DIY 爱好者在 Reddit 分享实验,不靠高端 GPU 集群,只用第三代至强 CPU + 二手第二代傲腾 PMem 200 持久内存,在纯 CPU 环境下成功运行 2.8 万亿参数 Kimi K3 大模型,这套方案核心是用傲腾补齐超大容量内存缺口,大幅降低大容量内存的硬件成本,但推理速度很慢,属于技术向验证,不适合商用服务。Kimi K3 是 MoE 稀疏大模型,原生 MXFP4 权重就要 1.4TB 左右,就算做 1-bit 深度量化,也至少需要 610GB 以上内存空间;如果用普通 DDR4/DDR5 DRAM 堆这么大容量,采购成本极高,而停产的二手傲腾 PMem 单条最高 512GB,单位容量成本远低于普通内存,刚好适配这类超大模型的存储需求。整套实验硬件是 40 核第三代至强可扩展处理器,搭配傲腾 PMem 200,傲腾设置为 App Direct 模式,直接作为持久内存给模型加载权重;实验里 1-bit 量化下跑出约 0.85 token/s,3-bit 量化下降到 0.75 token/s,同时傲腾模组发热非常严重,高温还会影响周边 DRAM,需要额外加装风扇散热,存在过热风险。想要复刻这个实验,首先要确认主板 CPU 支持傲腾 PMem,选择对应量化版本权重,配置 App Direct 模式,做好散热和 NUMA 调度;同时要分清,能跑通不等于好用,傲腾带宽远低于 GPU 显存,速度瓶颈非常明显。总的来看,这个案例是极客向硬件玩法,证明傲腾可以作为低成本大容量内存介质承载超大 MoE 模型,但是受限于带宽、延迟、发热,无法替代 GPU 推理集群。
实验硬件配置简表
| 项目 | 参数说明 |
|---|---|
| CPU | 40 核第三代英特尔至强可扩展处理器 |
| 内存介质 | 二手傲腾 PMem 200(第二代傲腾持久内存) |
| 运行模式 | App Direct 模式,持久内存模式 |
| 模型 | Kimi K3,2.8 万亿参数 MoE 大模型 |
| 量化规格 | 1-bit / 3-bit 量化 |
| 实测速度 | 1-bit:约 0.85 token/s;3-bit:约 0.75 token/s |
| 主要风险 | 傲腾模组高发热,高温可能损伤相邻 DRAM |
傲腾 PMem 对比普通 DRAM、SSD 的差异
| 对比项 | 傲腾 PMem 持久内存 | 普通 DDR DRAM | NVMe SSD |
|---|---|---|---|
| 寻址方式 | 字节寻址 | 字节寻址 | 块寻址 |
| 容量上限 | 单条最高 512GB | 单条一般 64GB/128GB | 单盘几十 TB |
| 带宽 | 低,远低于 DRAM | 高 | 最低 |
| 断电特性 | 数据不掉 | 断电丢失 | 数据不掉 |
| 二手成本 | 同容量远低于 DRAM | 价格高 | 最低 |
| 适合场景 | 超大模型权重存储、内存池 | 低延迟推理、高速计算 | 交换、缓存 |
本次实验的核心约束清单
- 仅为纯 CPU 推理,没有 GPU 加速,token 生成速度极慢,只适合技术验证,无法日常对话使用
- 傲腾带宽短板明显,带宽是制约 token 速度的核心瓶颈,不是容量问题
- 平台限制:傲腾 PMem 200 仅支持第三代至强平台,新平台原生不再支持
- 散热压力大:长时间满载运行温度很高,必须额外强化散热,有硬件损坏风险
- 量化损耗:1-bit 深度量化会损失模型效果,不是满血原版 Kimi K3 能力
- 傲腾已经停产,货源只有二手,稳定性、质保没有保障
商用 GPU 方案和傲腾纯 CPU 方案对比
| 对比项 | 商用 GPU 集群方案跑 Kimi K3 | 二手傲腾纯 CPU 方案 |
|---|---|---|
| 推理速度 | 几百~上千 token/s,满足服务 | 0.75~0.85 token/s,极慢 |
| 硬件成本 | 极高,多卡 HBM 服务器 | 二手硬件成本低 |
| 部署难度 | 高,集群、RDMA、调度复杂 | 单台服务器,适合极客 DIY |
| 稳定性 | 工业级,长期服务 | 二手硬件,发热高,风险大 |
| 定位 | 对外服务、业务落地 | 技术验证、硬件玩法 |
【相关 FAQ】
问题 1:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,这次跑的是什么模型?
回答 1:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,运行的是月之暗面 Kimi K3,2.8 万亿参数 MoE 稀疏大模型,玩家做了深度量化后部署在傲腾内存上。
问题 2:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,为什么傲腾适合跑这个超大模型?
回答 2:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,核心原因是 Kimi K3 量化后依然需要数百 GB 内存,二手傲腾 PMem 单条容量大、单位容量成本比 DDR 内存低很多,支持字节寻址,可以直接当作内存加载权重。
问题 3:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,0.85 token/s 是什么概念?
回答 3:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,0.85 token/s 意味着每秒只能输出不到 1 个词,回复一句几十字的内容要等待很久,只能用来验证能不能跑,没法正常聊天使用。
问题 4:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,傲腾这个方案能不能拿来做商用 AI 服务?
回答 4:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,不适合商用,推理速度太慢、发热严重、货源是二手停产硬件,稳定性不足,商用场景依然需要 GPU 集群。
【参考资料】
[2026-11-09](显存不够傲腾凑!纯 CPU 跑 2.8 万亿参数 Kimi K3:差点把主板烧了)太平洋科技
[2026-11-09](纯 CPU + 二手傲腾内存成功运行 2.8 万亿参数 Kimi K3 大模型)中关村在线
[2026-11-08](Homelabber runs 2.8-trillion-parameter AI model on CPU using second-gen Optane memory sticks)Tom's Hardware
[2026-11-08](Hobbyist draait Kimi K3 op Xeon met Optane-geheugen)TechSpeeltuin
【免责声明】
本文仅为海外极客实验信息整理,傲腾 PMem 硬件已经停产,二手硬件存在不稳定、过热烧毁风险;该方案仅为技术验证,不代表实用部署方案,模型量化会带来效果损失,不构成硬件采购、本地部署的参考建议。
本文来自作者[竹岭甜荔]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/105.html
评论列表(4条)
我是诚邦网的签约作者“竹岭甜荔”!
希望本篇文章《玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:海外一位 DIY 爱好者在 Reddit 分享实验,不靠高端 GPU 集群,只用第三代至强 CPU + 二手第二代傲腾 PMem 200 持久内存,在纯 CPU 环境下成功运行 2.8 万亿参数 Kimi K3 大模型,这套方案核心是用傲腾补齐超大容量内存缺口,大幅降低大容量内存的硬件成本,但推理速度很慢,属于技术向验证,不适合商用服务。Kimi K3 是 MoE 稀疏大模型,原生 MXFP4 权重就要 1.4TB 左右,就算做 1-bit 深度量化,也至少需要 610GB 以上内存空间;如果用普通 DDR4 DDR5 DRAM 堆这么大容量,采购成本极高,而停产的二手傲腾 PMem 单条最高 512GB,单位容量成本远低于普通内存,刚好适配这类超大模型的存储需求。整套实验硬件是 40 核第三代至强可扩展处理器,搭配傲腾 PMem 200,傲腾设置为 App Direct 模式,直接作为持久内存给模型加载权重;实验里 1-bit 量化下跑出约 0.85 token s,3-bit 量化下降到 0.75 token s,同时傲腾模组发热非常严重,高温还会影响周边 DRAM,需要额外加装风扇散热,存在过热风险。想要复刻这个实验,首先要确认主板 CPU 支持傲腾 PMem,选择对应量化版本权重,配置 App Direct 模式,做好散热和 NUMA 调度;同时要分清,能跑通不等于好用,傲腾带宽远低于 GPU 显存,速度瓶颈非常明显。总的来看,这个案例是极客向硬件玩法,证明傲腾可以作为低成本大容量内存介质承载超大 MoE 模型,但是受限于带宽、延迟、发热,无法替代 GPU 推理集群。