
GPU 없이284B 모델을 64GB RAM으로 실행 · Synchopate 발표
DeepSeek 대형 모델, GPU 없이 실행
Synchopate는 llama-modchip을 이용하면 매개변수 수가 284B인 DeepSeek-V4-Flash를 64 GB RAM과 CPU만으로 실행할 수 있다고 보고했다. 공개된 툴킷에는 llama.cpp 패치, 모델 압축 도구, 런타임 유틸리티가 포함된다. 코드 라이선스는 Apache-2.0이다.
출처
코드synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.출처를 바탕으로 AI가 작성