Techyon
GPU不要284Bモデルを64GBのRAMで実行 · Synchopateによる報告

第14号11月9日

DeepSeek大型モデルをGPUなしで実行

Synchopate は、llama-modchip を使うと、パラメーター数 284B の DeepSeek-V4-Flash を 64 GB の RAM と CPU だけで実行できると報告した。公開済みのツールキットには llama.cpp のパッチ、モデル圧縮ツール、実行時ユーティリティが含まれる。コードのライセンスは Apache-2.0 だ。

出典

コードsynchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.

出典をもとにAIが作成