玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型

海外一位 DIY 爱好者在 Reddit 分享实验,不靠高端 GPU 集群,只用第三代至强 CPU + 二手第二代傲腾 PMem 200 持久内存,在纯 CPU 环境下成功运行 2.8 万亿参数 Kimi K3 大模型,这套方案核心是用傲腾补齐超大容量内存缺口,大幅降低大容量内存的硬件成本,但推理速度很慢,属于技术向验证,不适合商用服务。Kimi K3 是 MoE 稀疏大模型,原生 MXFP4 权重就要 1.4TB 左右,就算做 1-bit 深度量化,也至少需要 610GB 以上内存空间;如果用普通 DDR4/DDR5 DRAM 堆这么大容量,采购成本极高,而停产的二手傲腾 PMem 单条最高 512GB,单位容量成本远低于普通内存,刚好适配这类超大模型的存储需求。整套实验硬件是 40 核第三代至强可扩展处理器,搭配傲腾 PMem 200,傲腾设置为 App Direct 模式,直接作为持久内存给模型加载权重;实验里 1-bit 量化下跑出约 0.85 token/s,3-bit 量化下降到 0.75 token/s,同时傲腾模组发热非常严重,高温还会影响周边 DRAM,需要额外加装风扇散热,存在过热风险。想要复刻这个实验,首先要确认主板 CPU 支持傲腾 PMem,选择对应量化版本权重,配置 App Direct 模式,做好散热和 NUMA 调度;同时要分清,能跑通不等于好用,傲腾带宽远低于 GPU 显存,速度瓶颈非常明显。总的来看,这个案例是极客向硬件玩法,证明傲腾可以作为低成本大容量内存介质承载超大 MoE 模型,但是受限于带宽、延迟、发热,无法替代 GPU 推理集群。

实验硬件配置简表

项目参数说明
CPU40 核第三代英特尔至强可扩展处理器
内存介质二手傲腾 PMem 200(第二代傲腾持久内存)
运行模式App Direct 模式,持久内存模式
模型Kimi K3,2.8 万亿参数 MoE 大模型
量化规格1-bit / 3-bit 量化
实测速度1-bit:约 0.85 token/s;3-bit:约 0.75 token/s
主要风险傲腾模组高发热,高温可能损伤相邻 DRAM

傲腾 PMem 对比普通 DRAM、SSD 的差异

对比项傲腾 PMem 持久内存普通 DDR DRAMNVMe SSD
寻址方式字节寻址字节寻址块寻址
容量上限单条最高 512GB单条一般 64GB/128GB单盘几十 TB
带宽低,远低于 DRAM高最低
断电特性数据不掉断电丢失数据不掉
二手成本同容量远低于 DRAM价格高最低
适合场景超大模型权重存储、内存池低延迟推理、高速计算交换、缓存

本次实验的核心约束清单

  1. 仅为纯 CPU 推理,没有 GPU 加速,token 生成速度极慢,只适合技术验证,无法日常对话使用
  2. 傲腾带宽短板明显,带宽是制约 token 速度的核心瓶颈,不是容量问题
  3. 平台限制:傲腾 PMem 200 仅支持第三代至强平台,新平台原生不再支持
  4. 散热压力大:长时间满载运行温度很高,必须额外强化散热,有硬件损坏风险
  5. 量化损耗:1-bit 深度量化会损失模型效果,不是满血原版 Kimi K3 能力
  6. 傲腾已经停产,货源只有二手,稳定性、质保没有保障

商用 GPU 方案和傲腾纯 CPU 方案对比

对比项商用 GPU 集群方案跑 Kimi K3二手傲腾纯 CPU 方案
推理速度几百~上千 token/s,满足服务0.75~0.85 token/s,极慢
硬件成本极高,多卡 HBM 服务器二手硬件成本低
部署难度高,集群、RDMA、调度复杂单台服务器,适合极客 DIY
稳定性工业级,长期服务二手硬件,发热高,风险大
定位对外服务、业务落地技术验证、硬件玩法

【相关 FAQ】

问题 1:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,这次跑的是什么模型?

回答 1:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,运行的是月之暗面 Kimi K3,2.8 万亿参数 MoE 稀疏大模型,玩家做了深度量化后部署在傲腾内存上。

问题 2:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,为什么傲腾适合跑这个超大模型?

回答 2:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,核心原因是 Kimi K3 量化后依然需要数百 GB 内存,二手傲腾 PMem 单条容量大、单位容量成本比 DDR 内存低很多,支持字节寻址,可以直接当作内存加载权重。

问题 3:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,0.85 token/s 是什么概念?

回答 3:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,0.85 token/s 意味着每秒只能输出不到 1 个词,回复一句几十字的内容要等待很久,只能用来验证能不能跑,没法正常聊天使用。

问题 4:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,傲腾这个方案能不能拿来做商用 AI 服务?

回答 4:玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型,不适合商用,推理速度太慢、发热严重、货源是二手停产硬件,稳定性不足,商用场景依然需要 GPU 集群。

【参考资料】

[2026-11-09](显存不够傲腾凑!纯 CPU 跑 2.8 万亿参数 Kimi K3:差点把主板烧了)太平洋科技

[2026-11-09](纯 CPU + 二手傲腾内存成功运行 2.8 万亿参数 Kimi K3 大模型)中关村在线

[2026-11-08](Homelabber runs 2.8-trillion-parameter AI model on CPU using second-gen Optane memory sticks)Tom's Hardware

[2026-11-08](Hobbyist draait Kimi K3 op Xeon met Optane-geheugen)TechSpeeltuin

【免责声明】

本文仅为海外极客实验信息整理,傲腾 PMem 硬件已经停产,二手硬件存在不稳定、过热烧毁风险;该方案仅为技术验证,不代表实用部署方案,模型量化会带来效果损失,不构成硬件采购、本地部署的参考建议。

本文来自作者[竹岭甜荔]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/105.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 竹岭甜荔
    竹岭甜荔 2026年11月10日

    我是诚邦网的签约作者“竹岭甜荔”!

  • 竹岭甜荔
    竹岭甜荔 2026年11月10日

    希望本篇文章《玩家使用二手傲腾持久内存,纯 CPU 本地跑通 2.8 万亿参数 Kimi K3 大模型》能对你有所帮助!

  • 竹岭甜荔
    竹岭甜荔 2026年11月10日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • 竹岭甜荔
    竹岭甜荔 2026年11月10日

    本文概览:海外一位 DIY 爱好者在 Reddit 分享实验,不靠高端 GPU 集群,只用第三代至强 CPU + 二手第二代傲腾 PMem 200 持久内存,在纯 CPU 环境下成功运行 2.8 万亿参数 Kimi K3 大模型,这套方案核心是用傲腾补齐超大容量内存缺口,大幅降低大容量内存的硬件成本,但推理速度很慢,属于技术向验证,不适合商用服务。Kimi K3 是 MoE 稀疏大模型,原生 MXFP4 权重就要 1.4TB 左右,就算做 1-bit 深度量化,也至少需要 610GB 以上内存空间;如果用普通 DDR4 DDR5 DRAM 堆这么大容量,采购成本极高,而停产的二手傲腾 PMem 单条最高 512GB,单位容量成本远低于普通内存,刚好适配这类超大模型的存储需求。整套实验硬件是 40 核第三代至强可扩展处理器,搭配傲腾 PMem 200,傲腾设置为 App Direct 模式,直接作为持久内存给模型加载权重;实验里 1-bit 量化下跑出约 0.85 token s,3-bit 量化下降到 0.75 token s,同时傲腾模组发热非常严重,高温还会影响周边 DRAM,需要额外加装风扇散热,存在过热风险。想要复刻这个实验,首先要确认主板 CPU 支持傲腾 PMem,选择对应量化版本权重,配置 App Direct 模式,做好散热和 NUMA 调度;同时要分清,能跑通不等于好用,傲腾带宽远低于 GPU 显存,速度瓶颈非常明显。总的来看,这个案例是极客向硬件玩法,证明傲腾可以作为低成本大容量内存介质承载超大 MoE 模型,但是受限于带宽、延迟、发热,无法替代 GPU 推理集群。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们