Cognition 模型 / Devin 博客·2024-03-15 00:00· 2024-03-15精选AI 评分68

Cognition 发布 Devin 的 SWE-bench 技术报告

SWE-bench technical report

AI 导读

Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

推荐理由

Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。