Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩

Artificial Analysis 重构 Intelligence Index v5 基准,60% 评测权重采用私有测试集减少跑分注水。DeepSeek V4.1 Flash 在 FrontierCode 2.0 单项得分 28%,为已发布开源模型最高。#DeepSeek#AI 基准测试

Written by
问舟
Published by
IT之家
Published
Length
646 words · 3 min
Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩

IT之家 10 月 29 日消息,Artificial Analysis 昨日发布了 Intelligence Index v5,这是该机构自 2026 年 1 月 v4 上线以来幅度最大的一次基准重构。

最直接的变化是,60% 的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据“污染”的空间,减少了各厂商为了跑分而跑分的“注水”测试项目。

该指数仍由九项评测构成,包括知识工作、编码、科学、通用能力各占 25%。其中编码 25% 的权重里,Cognition 于同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。

其中最值得关注的 FrontierCode 2.0 完全换了一套评分逻辑。132 项任务全部来自真实开源仓库,模型提交的代码改动不再只由单元测试是否通过来判定,而是由该仓库的维护者按“是否愿意合并这个 PR”来打分,任何一项阻塞性检查失败即记零分。

Cognition 在 6 月推出 FrontierCode 初版时就强调,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试无法完全覆盖的维度。v5 将这一基准升级到 2.0 并纳入主指数,等于把“可合并性”而非“可运行性”推到了编码能力评价的中心。

在这一口径下,DeepSeek V4.1-Flash 1017(max)在 FrontierCode 2.0 上录得 28%,是所有已发布权重模型中得分最高的一个。

Kimi K3.1 Pro 以 25.5% 紧随其后,但其完整权重按月之暗面官方博客的表述,要到 11 月 4 日前才发布,AA 在 v5 报告中将其标注为“weights not yet released”。

谷歌 Gemini 4 Argon(high)为 25.7%,GPT-6 Luna 为 25.2%,均低于 DeepSeek V4.1 Flash。需要说明的是,这一成绩位于 FrontierCode 2.0 单项之内;在 Intelligence Index v5 的综合得分上,DeepSeek V4.1 Flash 与 GLM-5.3 同为 32 分,仍落后榜首 Claude Opus 5.5(58 分)26 分,且低于 Claude Haiku 5.5 的 36 分。

Artificial Analysis 指出,v5 真正加剧的是开源与闭源前沿之间的整体距离。v4.3 时,最强开源模型与榜首的差距是 3 分;v5 把大部分公开题换成私有题、并大幅加重智能体实战任务的比重之后,这一差距扩大到 12 分。Kimi K3.1 Pro 以 46 分成为名义上最强的开源权重模型,但它尚未发布权重;已发布权重的模型中,32 分是当前的天花板。

差距在 HLE-Diamond 和 Terminal-Bench-Science 两项上最为刺眼:Kimi K3.1 Pro 分别为 37% 和 34%,而 Claude Opus 5.5 在 HLE-Diamond 上为 68%,GPT-6 Astra 在 Terminal-Bench-Science 上为 63%。

v5 并没有让开源模型“一夜变差”,它改变的是测量的东西 —— 当题目不再公开、评分不再只看通过率,那些依靠公开题库优化出来的分数被系统性地挤掉了水分。

另一个被 v5 放大的变量是“努力值”(思考等级)的成本优势。Claude Opus 5.5 从低努力档到 max 档跨越 23 分,单任务成本从 0.98 美元升至 10.04 美元,相差约 10 倍。

Claude Sonnet 5.5 在不同努力档之间的分差从 v4.3 的 20 分扩大到 29 分,GPT-6.1 Sol 的跨度翻倍至 20 分。这意味着同一模型在“省钱模式”和“全力模式”下的表现差距,已经大到不像一个模型。

在得分最高的十款模型中,GPT-6.1 Terra 的每任务成本最低,为 0.96 美元,Claude Fable 5.1 最高,为 13.04 美元,相差超过 13 倍。

与 v5 同步推出的 Progress Index v1 则处理另一个问题:当基准本身每隔几个月就换一次,不同年代的模型如何放在同一把尺子上比较。Progress Index 将 2022 年 11 月以来发布的主要语言模型映射到一个连续的能力尺度上,其设计参考了 Epoch AI 的 Epoch Capabilities Index 的方法。Intelligence Index 继续作为衡量“当下前沿”的主指标,Progress Index 则用于观察“能力随时间如何演进”,两者回答的是不同问题。

实际上,v5 的九项评测中没有任何一个模型全部领先:Claude Opus 5.5 拿下 FrontierCode 2.0、HLE-Diamond 和 AA-Omniscience 三项,GPT-6 Astra 在 Terminal-Bench-Science 和 CritPt v2 困难子集上居首,Kimi K3.1 Pro 在 Terminal-Bench 4.0 上以 67% 领先,单项优势的分散程度比总分排名更值得注意。

相关阅读:

Where this came from

This story was reported by 问舟 and first published by IT之家 on 28 Oct 2026. HUE Legacy Ventures did not write it.

Rights reserved by the publisher. Carried with attribution and a link back, removal on request, on the same footing as the other commercial publishers on the wire.

Read it at ithome.com →