傲腾持久内存

一名 Reddit 网友在无显卡的家庭实验室环境中，借助已停产的英特尔傲腾持久内存 200 系列与 llama.cpp，成功加载并推理 2.8 万亿参数的月之暗面 Kimi K3 模型。在 1 比特量化下，关闭 DAX 并让热数据走 DRAM 缓存后，输出速度从每秒 0.85 词元提升至 1.5 词元，3 比特量化则仅 0.75 词元，生成 5 万词元需约 18.5 小时。该实验证明超大模型可完全依赖内存层级而非 GPU 显存运行，但速度远不具备实用价值。