Techyon
費用1.8〜5倍タスク費用の最高・最低比 · RUNTA調べ

第40号11月18日

FrontierHarness、ツールで費用差

RUNTAが拡充したコーディングエージェントのベンチマーク「FrontierHarness Eval v1.1」は、同じモデルを使うツール間でもタスク当たりの平均費用に1.8〜5倍の差があると報告した。公開ランキングは5モデルを対象に、エージェントソフトウェアの22構成を比較している。このソフトウェアは、モデルの呼び出しやツールの利用を制御する層に当たる。

出典

公式発表Introducing FrontierHarness Eval v1.1 — RUNTA

出典をもとにAIが作成