Techyon
无需显卡284B 模型用 64 GB 内存 · Synchopate 称

第 14 期11 月 9 日

CPU 工具让 DeepSeek 无显卡运行

llama-modchip 可让 DeepSeek-V4-Flash 完全在 CPU 上运行。Synchopate 报告只需 64 GB 内存,无需显卡。工具已发布,包含 llama.cpp 补丁、模型压缩工具和运行程序,代码采用 Apache-2.0 许可。

来源

代码synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.

由 AI 依据原文撰写