Techyon
1.8–5× 成本任务成本最高比最低 · RUNTA 自测

第 40 期11 月 18 日

FrontierHarness 测出智能体成本差

FrontierHarness Eval v1.1 是 RUNTA 扩展后的编程智能体评测,比较同一模型搭配不同工具的成本。论文式评测报告给出的最高与最低平均任务成本相差 1.8–5 倍,涵盖负责调用模型和工具的智能体软件。

来源

官方发布Introducing FrontierHarness Eval v1.1 — RUNTA

由 AI 依据原文撰写