
6.1배수정 전 모델 대비 수학 정답률 · MIT CSAIL 저자진 보고
Astra, Qwen 가중치 편집해 반복 억제
MIT CSAIL 연구팀은 대규모 언어 모델이 다른 네트워크의 가중치를 직접 읽고 쓰는 ‘Weight-Space Programming’을 실험했다. 연구진은 Qwen의 수학 시험 MATH-500 정답률이 7.9%에서 48.1%로 높아졌다고 보고했다. 연구 블로그 글을 게시하고, 실험 로그와 최종 네트워크, 정확한 가중치 수정 내역을 GitHub에 공개했다.
출처
코드RikiyaT/lm_understand-logs: Complete logs of the experiments in the blog post 'LLMs can understand and write neural network weights'공식 발표Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights출처를 바탕으로 AI가 작성