
無需顯卡284B 模型僅需 64 GB 記憶體 · Synchopate 表示
DeepSeek 大型模型無需 GPU 即可執行
Synchopate 表示,llama-modchip 可讓參數量為 284B 的 DeepSeek-V4-Flash 完全在 CPU 上執行,只需 64 GB 記憶體。已釋出的工具套件包含 llama.cpp 修補程式、模型壓縮工具與執行階段工具,程式碼採用 Apache-2.0 授權。
來源
程式碼synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.由 AI 依據原文撰寫