AA v5 改版：私有测试集拉大开源闭源差距，Gemini 4 Carbon 登顶
先了解这件事
Artificial Analysis 发布 Intelligence Index v5，首次让 60% 的指数权重建立在私有测试集或保留答案上，并新增 FrontierCode 2.0、Terminal-Bench-Science 两项基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2。该机构称，这样做是为了防止针对已知测试题训练模型的“benchmaxxing”。v5 将指数均分为知识工作、编码、科学、通用四类，各占 25%。 改版后排名明显变动：据 The Decoder 报道，Kimi K3.1 Pro 从第 4 降至第 9，开源模型与榜首差距从 3 分扩大到 12 分，Grok 4.7 也下跌 12 分；Nathan Lambert 称，榜单上 8 个闭源模型超过最强的待发布开源权重模型 Kimi K3.1 Pro。The Decoder 同时指出，私有测试集的代价是外部人员无法再检查题目中的错误。 Google 的 Gemini 4 Carbon 以 59 分登顶 v5，比 Gemini 4 Argon 高 9 分，编码智能体指数仅次于 Claude Opus 5.5。该模型目前仅向部分网络安全防御者开放，尚未公开可用；Google 称其入门价为每百万输入 token 2 美元、输出 10 美元，优惠期后恢复为 4 美元和 20 美元。Artificial Analysis 还发布 Progress Index，用项目反应理论为 2022 年以来所有语言模型估计统一能力分数，专用于跨时间比较。
AI 根据报道生成 · 3 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Artificial AnalysisArtificial Analysis 发布 AA-Omniscience v1.1 基准
Artificial Analysis 发布 AA-Omniscience v1.1，题库从 6000 题缩减至 3000 题，移除已公开和饱和题目并修正歧义，同时新增 300 题公开集，其与私有集 Net Score 的 Pearson 相关系数达 0.99。
- ArenaArena 周报：Gemini 4 Carbon 登顶 Text Arena，GPT-6.1 Terra 和 MAI-Image-2.7-Preview 新上榜
Arena 发布本周榜单：Google DeepMind 的 Gemini 4 Carbon (High) 获 Text Arena 第 1、Agent Arena 第 2、Code Arena: WebDev 第 4，重塑三项 Pareto 前沿。
- Artificial AnalysisArtificial Analysis 推出 HLE-Diamond 榜单，Gemini 4 Carbon (high) 以 69% 居首
Artificial Analysis 推出 HLE-Diamond 榜单，对 CAIS 和 Scale AI 清理精炼后的 1000 题 Humanity's Last Exam 版本做独立评测，纳入 Artificial Analysis Intelligence Index v5。
- Rohan PaulGemini 4 Carbon 以 59 分登顶 Artificial Analysis 智能指数
Rohan Paul 转述 Google 的 Gemini 4 Carbon 以 59 分登上 Artificial Analysis Intelligence Index 第一名，比 Claude Opus 5.5（58）高 1 分，比 GPT-6 Astra（57）高 2 分。Artificial Analysis 发现 Carbon 在 9 项评测中赢了 4 项（HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA），但在编码和知识工作上不领先。标准定价下每 index 任务成本 7.76 美元，比 Opus 5.5（10.04 美元）低约 23%，但高于 GPT-6 Astra（6.25 美元）。
- Artificial AnalysisArtificial Analysis 发布 Intelligence Index v5 与 Progress Index
Artificial Analysis 在旧金山发布 Intelligence Index v5，新增两项基准、三项升级，并首次让指数大部分基于私有测试集或留出答案，同时加大智能体编程与科学的权重。
- Artificial AnalysisArtificial Analysis 发布 Progress Index，衡量 2022 年以来所有语言模型能力变化
Artificial Analysis 推出 Artificial Analysis Progress Index，与 Intelligence Index v5 一同发布，用项目反应理论为 2022 年以来所有语言模型估计统一能力分数，专用于跨时间比较。
- Latent SpaceAINews：Gemini 4 Carbon 登顶独立榜单，面向网络防御者开放
Latent Space 发布 10/27-10/28 期 AINews，头条是 Google DeepMind 发布 Gemini 4 Carbon，主打网络安全与长程任务，在 SEC-bench Pro 得 88.2%，并以 Artificial Analysis Intelligence Index v5 59 分登顶。
- GoogleGoogle 发布 Gemini 4 Carbon 预览，登顶 Artificial Analysis Intelligence Index v5
Google 发布 Gemini 4 Carbon 的早期预览，该模型以 59 分位列 Artificial Analysis Intelligence Index v5 第一，比 Gemini 4 Argon 高 9 分，在复杂推理、知识和科学任务上领先。引用的 Artificial Analysis 评测称其编码智能体仅次于 Claude Opus 5.5，定价 $4/$20 per 1M tokens 与 Argon 标准价一致，目前仅向部分用户开放，尚未公开可用。
- indigoGoogle 发布 Gemini 4 Carbon，财报后股价盘后跌 10%
Google 发布 Gemini 4 Carbon，距上一代 Argon 不到一个月，作者认为发版速度反映模型自我改进能力大幅强化。同日财报后股价盘后下跌 10%，主因搜索业务增长连续两个季度放缓；1,275.77 亿美元总营收中广告占 64.28%，Google Cloud 占 24.07%，纯搜索占比首次跌破 50%。
- ArenaGemini 4 Carbon 登顶 Arena 文本榜，Agent 榜第二且成本低于 Claude Opus 5.5
Arena 宣布 Gemini 4 Carbon (High) 首次上榜：Text Arena 第一（1528 分），Agent Arena 第二（+16.2% 净提升），Code Arena: WebDev 第四（1768 分）。
- IT之家·人工智能谷歌发布 Gemini 4 Carbon，登顶 Artificial Analysis Intelligence Index v5.0 榜首
谷歌正式发布新一代前沿大模型 Gemini 4 Carbon，主打网络安全与长程任务能力，在 Artificial Analysis Intelligence Index v5.0 中以综合得分 59 排名第一。
- The Verge：AIGoogle 发布 Gemini 4 Carbon，主打网络安全能力提升
Google 发布最新前沿模型 Gemini 4 Carbon，称其在编码、智能体任务和网络安全方面有显著提升，目前在 Artificial Analysis Intelligence Index (v5.0) 上排名第一，超过 Claude Opus 5.5 和 GPT-6 Astra。
- The Decoder：AI NewsGoogle DeepMind 发布 Gemini 4 Carbon，登顶 Artificial Analysis Intelligence Index
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon，以 59 分登顶 Artificial Analysis Intelligence Index v5.0，前代 Argon 为 50 分。
- ArenaGemini 4 Carbon (High) 登上 Agent Arena 等三个榜单的帕累托前沿
Arena 宣布 Google DeepMind 的 Gemini 4 Carbon (High) 登上 Agent Arena、Code Arena: WebDev 和 Text Arena 的帕累托前沿。在 Agent Arena 中它排名第 2，净提升 +16.2%，每任务中位成本 $1.80，比排名第 1 的 Claude Opus 5.5 (Max) 低 72%。详情见 https://arena.ai/leaderboard/agent/pareto
- Ars Technica：AIGoogle 发布 Gemini 4 Carbon，将在 Fairwinds 网络防御计划中分阶段开放
Google 在发布 Gemini 4 Argon 两周后宣布新一代前沿模型 Gemini 4 Carbon，称其在编码、智能体任务和网络安全方面有提升，但暂不向公众开放。
- MarkTechPostGoogle DeepMind 发布 Gemini 4 Carbon，面向网络防御与智能体编程
Google DeepMind 发布 Gemini 4 Carbon，为其迄今最强模型，主打长时程智能体编程与网络安全防御，在 Artificial Analysis Intelligence Index v5.0 以 59 分排名第一。
- Rohan PaulGoogle 发布 Gemini 4 Carbon，在 Artificial Analysis 多项基准上超过 GPT-6 Astra 与 Claude Opus 5.5
Google DeepMind 发布新前沿模型 Gemini 4 Carbon，在 Artificial Analysis 上超过 GPT-6 Astra 和 Claude Opus 5.5。
- Josh WoodwardGoogle 发布 Gemini 4 Carbon，Argon 两周后再推前沿模型
Google 发布 Gemini 4 Carbon，距 Gemini 4 Argon 发布仅两周。Carbon 在 Artificial Analysis Index v5.0 以 59 分排名第一，网络安全评测 SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71.0%，长程任务较 Argon 明显提升并加强了前沿安全防护。模型将先向部分可信网络防御者开放，通过 Fairwind Program 扩展到更多合作伙伴，随后更广泛可用。
- ArenaGemini 4 Carbon (High) 登顶 Arena 文本榜第一，Agent 榜第二
Arena 宣布 Google DeepMind 的 Gemini 4 Carbon (High) 上榜，拿下 Text Arena 第一（1528 分）、Agent Arena 第二（+21.9K 真实智能体会话中净提升 +16.2%）、Code Arena: WebDev 第四（1768 分）。
- Artificial AnalysisArtificial Analysis：Gemini 4 Carbon 登顶 Intelligence Index v5，编码智能体仅次于 Claude Opus 5.5
Artificial Analysis 评测显示，Google 的 Gemini 4 Carbon 以 59 分登上 Intelligence Index v5 第一。
- Ammaar ReshiGemini 4 Carbon 登顶 Artificial Analysis v5
Gemini 4 Carbon！🚀 在 Artificial Analysis v5 上排名第一 作为日常主力使用体验非常棒，等它正式上线后，我很期待看到你们用它做出什么。
- IT之家·人工智能Artificial Analysis 发布 Intelligence Index v5 基准，DeepSeek V4.1 Flash 1017 取 FrontierCode 2.0 开源最高分
Artificial Analysis 昨日发布 Intelligence Index v5，60% 评测权重首次建立在私有测试集或隐藏答案之上，并把 Cognition 的 FrontierCode 2.0 纳入编码评测，按仓库维护者是否愿意合并 PR 打分。
- Philipp SchmidGemini 4 Carbon 前沿模型即将发布
Gemini 4 Carbon，我们前沿模型的下一代即将到来。 在 Argon 基础上构建，编码和网络安全能力更强。价格不变，输入 $2 / 输出 $10*。在 AA v5 上得分 59。 正与可信合作伙伴测试中。将尽快开放开发者访问。期待与大家分享！https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
- Google AIGoogle 发布 Gemini 4 Carbon，主打网络安全与长程能力
Google AI 宣布发布 Gemini 4 Carbon，称其为最强的旗舰模型，具备最先进的网络安全和长程能力。Carbon 在多数基准上有所提升，在自主编码和网络防御方面表现强劲。模型先向 Fairwind 计划中的部分可信网络防御者开放，之后将尽快扩大访问范围。
- The Decoder：AI NewsArtificial Analysis 新版 Intelligence Index 扩大开源与闭源模型差距
Artificial Analysis 改版其 Intelligence Index 至版本 5，Kimi K3.1 Pro 从第 4 降至第 9，开源模型与榜首差距从 3 分扩大到 12 分，Grok 4.7 也下跌 12 分。
- Nathan LambertNathan Lambert 谈 Artificial Analysis v5 指数与基准评测行业
Nathan Lambert 发表对基准评测行业的 meta-review，认为开放模型被夸大了衰落，但此前 Artificial Analysis 的指数确实高估了它们。他提出行业需要更具体的智能指数，因为 LLM 被用于差异极大的任务，并附上 Interconnects 长文链接。
- Nathan Lambert：InterconnectsArtificial Analysis v5 与基准测试者的困境
Artificial Analysis v5 发布，文章讨论基准测试者面临的困境：提升分数虽昂贵但有清晰打法，而在当前 AI 前沿打造有意义的基准却难得多。作者认为，语言模型的独立评估难度被严重低估。
- Testing CatalogArtificial Analysis 发布 Intelligence Index v5，Claude Opus 5.5 以 58 分居首
Artificial Analysis 上线 Intelligence Index v5，新增 2 个基准（Cognition 的 FrontierCode 2.0 和 Terminal-Bench-Science）并升级 3 项，60% 的指数基于私有测试集。
- Ethan MollickEthan Mollick 转评 Artificial Analysis v5 指数：开源权重模型与闭源差距扩大至 12 分
Ethan Mollick 转发 Artificial Analysis v5 智能指数，该版本改用封闭基准（告别 GDPval-AA）后测得开源权重模型差距进一步拉大。领先的 Kimi K3.1 Pro（权重未发布）得 46 分，落后榜首 12 分，而 v4.3 时差距为 3 分；已发布权重中 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）最高 32 分。HLE-Diamond 与 Terminal-Bench-Science 差距最大，Kimi K3.1 Pro 分别为 37% 和 34%，Claude Opus 5.5（max）和 GPT-6 Astra（max）分别为 68% 和 63%。作者提醒对此结果需有所保留，但认为这与“尚未出现 Fable 级开源模型”的整体感受相符。
- Artificial AnalysisArtificial Analysis 发布 Intelligence Index v5 并首次推出 Progress Index v1
Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的指数基于私有测试集。
- Testing CatalogArtificial Analysis 预告 Intelligence Index v5
Artificial Analysis 一直在预热其即将推出的 Intelligence Index v5！ 这是最值得关注的 AI 模型评分之一，而且看起来它还会变得更好。你觉得排行榜会有很大变化吗？ * 该指数尚未上线
- Artificial Analysis 完整文章Artificial Analysis 发布 Intelligence Index v5 评测基准
Artificial Analysis 发布 Intelligence Index v5，引入 FrontierCode 2.0 和 Terminal-Bench-Science 两个新基准，并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的指数基于私有测试集或保留答案。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 15210月29日 07:00
- 近 24 小时变化
- -79%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。