Anthropic 量化智能体编码评测中的基础设施噪声

Anthropic 研究发现基础设施资源配置会显著影响 SWE-bench 和 Terminal-Bench 等智能体编码评测的得分。在 Terminal-Bench 2.0 上，从严格按任务规格执行到完全不设上限，成功率提升 6 个百分点（p < 0.01），基础设施错误率从 5.8% 降至 0.5%；在 3x 资源上限时错误率降至 2.1% 而分数变化在噪声范围内。