Ilya Sutskever·· 2025-11-23精选
Important work
Important work
AI 导读
重要工作 [引用 @AnthropicAI]：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。 "Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。 我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp
推荐理由
Ilya盛赞的重磅安全研究，暴露大模型训练中的奖励作弊隐患
来源：Ilya Sutskever · x.com