谷歌 DeepMind 发布 MKA 多模态知识智能体基准
谷歌 DeepMind 联合 Artificial Analysis 推出 MKA 基准，用于评测智能体在复杂视觉文件上的知识工作能力。该基准包含覆盖 10 个行业的 200 个私有真实任务，要求智能体从建筑图纸、工程示意图和临床扫描等密集视觉输入中产出幻灯片、表格、报告等交付物，强调输入的真实视觉复杂度与领域特异性。
报道正文
多模态知识智能体（MKA）基准测试：用复杂视觉文件检验知识工作能力
我们与 Google DeepMind 合作，推出了其多模态知识智能体（MKA）评估——一个面向复杂视觉文件上智能体式知识工作的全新基准测试
Google DeepMind 的 MKA 是一项全新基准测试，要求智能体审阅视觉上复杂的项目文件（如原理图和扫描件），并产出幻灯片、电子表格、报告和标注图像等交付物
➤ 覆盖 10 个行业的 200 项私有真实世界视觉任务： 智能体需基于密集的视觉项目文件（包括建筑图纸、工程原理图和临床扫描件）开展工作，产出幻灯片、电子表格、PDF、Word 文档和标注图像等交付物。与许多智能体评估不同，这些输入强调真实的视觉复杂性和领域特异性，并且是完成任务所真正必需的，而不仅仅是提供额外上下文
➤ Climb 与 Regression 评分标准： 每项任务均依据专家评分标准进行评分，平均每项任务约 70 条加权标准。标准分为“Regression”（模型应通过的基础检查）和“Climb”（旨在区分强模型的更难检查）。核心分数为 Climb WSR（加权满足率）——即成功完成的 Climb 评分标准所占的加权比例
➤ 在 Stirrup 中由智能体评判器评估： 我们在开源智能体运行框架 Stirrup 中运行每项任务，配备代码执行、网页搜索、网页抓取和图像查看工具（最多 250 轮），并使用 GPT-6 Luna（medium）作为智能体评判器对提交的交付物进行评分
MKA 主要结果：
➤ Claude Fable 5.2 在多模态知识工作上领先： Anthropic 近期发布的 Claude Fable 5.2（max）以 57% 的 Climb WSR 领跑 MKA 排行榜，Gemini 4 Carbon（high）以 54% 位居其后，Claude Opus 5.5（max）以 53% 排名第三
➤ 在距最高分 10 分以内的范围内，单任务成本相差近 30 倍： Claude Fable 5.2 平均每任务 $31.97，是 Gemini 4 Carbon（$6.29）的 5 倍多，却只换来约 2 分的提升；是 GPT-6.1 Sol（$1.11）的约 29 倍。在 Carbon 之下，测试的四款 OpenAI 模型全部位于成本-性能帕累托前沿（GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-6 Luna），Claude Haiku 5.5 和 MiMo-V2.6-Pro 构成了前沿的其余部分
➤ 没有任何单一模型在全部 10 个行业垂直领域中领先： Claude Fable 5.2 在五个垂直领域领先（软件与数据、工程、物流与测绘、商业，以及与 Claude Sonnet 5.5 并列的金融），Claude Opus 5.5 (max) 领先教育与建筑，Gemini 4 Argon (high) 领先科学，Gemini 4 Carbon (high) 领先医疗健康，Claude Sonnet 5.5 (max) 以微弱优势领先法律与政府
➤ MKA 交付物包含六种输出文件类型，各类型之间的性能存在一定差异，但小于各垂直领域之间的差异： 在 Climb WSR 上，Claude Fable 5.2 在四种文件类型上领先（PDF、Word 文档、以微弱优势领先的电子表格，以及与 Claude Opus 5.5 (max) 并列的演示文稿），而 Gemini 4 Argon (high) 和 Carbon (high) 领先图像，DeepSeek V4.1 Flash 1017 领先文本文件。Word 文档和文本文件输出任务是最难的输出类型：没有任何模型在两者上通过 52%
感谢 Google DeepMind 团队构建此基准测试，并与我们合作将其独家引入 Artificial Analysis！