
費用1.8〜5倍タスク費用の最高・最低比 · RUNTA調べ
FrontierHarness、ツールで費用差
RUNTAが拡充したコーディングエージェントのベンチマーク「FrontierHarness Eval v1.1」は、同じモデルを使うツール間でもタスク当たりの平均費用に1.8〜5倍の差があると報告した。公開ランキングは5モデルを対象に、エージェントソフトウェアの22構成を比較している。このソフトウェアは、モデルの呼び出しやツールの利用を制御する層に当たる。
出典
公式発表Introducing FrontierHarness Eval v1.1 — RUNTA出典をもとにAIが作成