
6.1倍未編集モデルと比べた数学の正答率 · MIT CSAIL の著者らによる報告
Astra、重み編集でQwenの反復出力を抑制
MIT CSAIL のチームは、大規模言語モデルに別のネットワークの重みを直接読み書きさせる「Weight-Space Programming」を実験した。研究者らの報告では、Qwen の数学テスト MATH-500 の正答率が 7.9% から 48.1% に上がった。研究ブログを公開し、実験ログ、最終的なネットワーク、重みの具体的な編集内容を GitHub で公開した。
出典
コードRikiyaT/lm_understand-logs: Complete logs of the experiments in the blog post 'LLMs can understand and write neural network weights'公式発表Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights出典をもとにAIが作成