跳到正文
Anthropic:Alignment Science Blog·· 2026-08-28精选AI 评分70

Anthropic 研究:自动化对齐研究员可缓解十类已被充分表征的对齐失败

Automated Researchers Can Mitigate Well-Characterized Alignment Failures

AI 导读

Anthropic Fellows Program 的研究构建了自动化对齐研究员(AAR),基于 Claude Opus 4.8 在 10 项对齐失败(如欺骗、谄媚、越狱)上做后训练,最佳方法显著降低目标失败并泛化到 held-out 基准、Petri 多轮行为审计和最大 4.7 倍的模型。

推荐理由

文章给出自动化对齐研究在十类可测量失败上的实验结果和人类基线对比,读者可以据此评估其近期可行性。

来源:Anthropic:Alignment Science Blog · alignment.anthropic.com