Artificial Analysis 推出端点准确率指数 v1.1,收紧长上下文基准 AA-LCR-25 的置信区间并降低评分误差,同时新增 GLM-5.3 Flash 与 Muse Spark Open 的覆盖。在 103 个无服务器端点中,24 个准确率显著低于自托管参考,凸显厂商在量化、内核与推理栈上的精度取舍。
Artificial Analysis
独立 AI 模型与推理服务基准评测机构,发布模型智能指数与端点准确率指数等第三方榜单
收录情报动态
谷歌联合评测机构 Artificial Analysis 推出 MKA 基准,用 200 项跨 10 个行业的多模态知识工作任务评估 AI 智能体,任务耗时对标人类专家 3 至 8 小时。Gemini 4 Carbon 取得第二名,平均任务成本约为第一名的六分之一,基准已通过 Artificial Analysis 对外开放。
谷歌 DeepMind 联合 Artificial Analysis 推出 MKA 基准,用于评测智能体在复杂视觉文件上的知识工作能力。该基准包含覆盖 10 个行业的 200 个私有真实任务,要求智能体从建筑图纸、工程示意图和临床扫描等密集视觉输入中产出幻灯片、表格、报告等交付物,强调输入的真实视觉复杂度与领域特异性。
Google 于 11 月 5 日发布视频模型 Gemini Omni Flash 1.2,在 Artificial Analysis 的 AA-Video-Editing v1.1 榜单中位列第二,文生视频排名从第 12 升至第 6,图生视频从第 17 升至第 14。该模型支持文生视频、图生视频与视频编辑,具备原生音频,单段最长 15 秒,1080p 每分钟调用成本 6.26 美元,较上一代降低 31%,并将于 12 月 3 日在 Gemini API 上替换 1.1 版本。
AI 评测机构 Artificial Analysis 在旧金山举办发布会,正式推出 Intelligence Index v5,并探讨 AI 评测的未来方向。该基准是业界衡量模型综合智能水平的重要参考之一,但本次公开信息仅为活动预告与现场照片,尚未披露具体评测维度与结果。
Google DeepMind 与 Artificial Analysis 合作推出 MKA(Multimodal Knowledge Agent)基准,专门评估智能体在视觉复杂任务上的表现,填补现有评测对蓝图交叉比对、科学图表阅读等专业场景的空白。Gemini 4 Carbon 在该基准上排名第二,单任务平均成本比榜首模型低 6 倍。
Google DeepMind 联合 Artificial Analysis 推出 Multimodal Knowledge Agent (MKA) 评测,包含 200 个来自 10 个行业的私有真实视觉任务,要求智能体阅读建筑图纸、工程示意图、临床扫描等复杂视觉文件并产出幻灯片、表格、报告等交付物。评测采用 Climb 与 Regression 双轨专家评分标准,每题平均约 70 条加权准则,Claude Sonnet 5.5 在部分领域领先。
Keenable Search 1.0 在 Artificial Analysis 搜索指数中,pro 模式以 83 分登顶、realtime 模式以 82 分位列第二,双双超过 Exa 与 Perplexity 的 80 分。其每千次搜索定价 4 美元、单任务成本约 0.040 美元,比榜单中位数低三分之一以上,单任务耗时 15 秒左右,速度排名第二、第三。相比 8 月首次测评的 67 分,两个模式均提升约 15 分。
Artificial Analysis 基于 Handshake AI 的 VIALS 基准构建 VIALS-AA,评测凝胶印迹、质粒图谱、系统发育树等生命科学图像的视觉推理能力。Claude Fable 5.2 以 67% 居首,领先 Gemini 4 Carbon 的 64% 与 GPT-6 Astra 的 63%。更值得关注的是其工具调用策略:Fable 平均每任务约 37 次调用并大量批处理,而 Astra 仅约 8 次,显示推理型模型正走向多步工具编排而非单次作答。
Artificial Analysis 的 AA-3D 基准显示,Claude Fable 5.2 (Max) 以 1271 Elo 登顶,领先 Claude Sonnet 5.5 与 Opus 5.5 达 67 分,且置信区间与所有其他模型不重叠,领先幅度超出误差范围。它比前代 Fable 5.1 高出 132 分,并超过 OpenAI GPT-6 Astra(1168)与 Google Gemini 4 Argon(1147)。