术语slug: agent-initiative-benchmark

智能体主动性基准

Agent Initiative Benchmark

在模拟企业 Slack 中评测智能体主动介入决策能力的公开基准

收录情报动态

共 2 篇 · 第 1/1 页
新智元 (微信公众号)T2·智能体与协同
72 分
12 个 AI 进群当同事,OpenAI 包揽前二且成本低 17 倍

数据协作平台 Deepnote 创始人 Jakub Jurovych 发布 Agent Initiative Benchmark,将 12 个前沿模型放入同一企业 Slack 群中充当 AI 同事,考察其自主判断何时介入、何时沉默的能力。结果显示 OpenAI 的 GPT-6 Astra 与 GPT-6.1 Sol 包揽前二,其中 Sol 单任务成本仅 0.11 美元,而排名第三的 Anthropic Fable 5.2 单任务成本 1.87 美元、得分反而更低,折算 70 人公司月度账单相差约 16 倍。评测还揭示极端性价比落差:Fable 5.1 每单 3.02 美元与 GPT-6 Luna 每单 0.007 美元相差 430 倍,得分仅差 1.1 分。

Rohan Paul (@rohanpaul_ai)T2·智能体与协同
72 分
Deepnote 发布主动式智能体基准 12 款前沿模型同台竞技

Deepnote 推出 Agent Initiative Benchmark,将主动式智能体放入模拟企业 Slack 环境,考察其是否知道何时介入、该说什么以及何时保持沉默。GPT-6 Astra 以 8.97 分领先,GPT-6.1 Sol 以 8.65 分紧随其后且单任务成本仅 0.11 美元,而第三名 Claude Fable 5.2 单任务成本高达 1.87 美元。该基准同时开源数据集与评测代码,为主动式智能体的选型提供了可复现的量化依据。