Artificial Analysis 发布 v5 智能指数强化抗污染评估

Artificial Analysis 正式推出其智能指数的重大升级版本 v5，核心变革在于将 60% 的评估权重转移至私有测试集或保留答案的数据集。这一举措旨在应对公开基准饱和及数据泄露导致的分数虚高问题，通过引入 Cognition 的 FrontierCode 2.0 和 Terminal-Bench-Science 等高难度代理基准，显著增强了评估体系的抗污染能力与真实世界适用性。

多方信源交叉验证显示，v5 版本整合了包括 AA-Briefcase、GDP.pdf 在内的九项特定评估数据集，覆盖推理、知识、数学及编程领域，但明确排除图像与多语言测试。同步发布的 Progress Index v1 提供了单一连续尺度，用于长期追踪模型能力的演进趋势。新标准下，部分开源模型如 Kimi K3.1 Pro 排名大幅下滑，开源与顶级闭源模型的得分差距从 3 分扩大至 12 分，揭示了旧基准对开源泛化能力的潜在高估。

此次更新对 AI 行业格局产生深远影响，它遏制了针对公开榜单的过度优化行为（Benchmaxxing），迫使开发者关注模型的真实泛化能力而非刷榜技巧。同时，开源与闭源模型在严格评估下的差距拉大，挑战了此前关于开源即将追平闭源的乐观预期，为行业提供了更客观、严谨的能力对比标尺。