Techyon
無需顯卡284B 模型僅需 64 GB 記憶體 · Synchopate 表示

第 14 期11 月 9 日

DeepSeek 大型模型無需 GPU 即可執行

Synchopate 表示,llama-modchip 可讓參數量為 284B 的 DeepSeek-V4-Flash 完全在 CPU 上執行,只需 64 GB 記憶體。已釋出的工具套件包含 llama.cpp 修補程式、模型壓縮工具與執行階段工具,程式碼採用 Apache-2.0 授權。

來源

程式碼synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.

由 AI 依據原文撰寫