
訓練手順公開重み、データ、訓練各段階のチェックポイント
K2-Horizon、訓練手順を全面公開
K2-Horizonは、K2 Teamが公開した6つの言語モデルからなるシリーズだ。著者らは、完成した重みだけでなく、開発の全履歴を公開したとしている。付属するarXivプレプリントには、入手可能な訓練データ、訓練途中のモデルのチェックポイント、訓練ログ、開発から評価、デプロイまでを網羅するコードが記載されている。
出典
論文K2-Horizon: A Frontier Fleet of Open Source Language Models出典をもとにAIが作成