OpenAI 发布 Sora 系统卡，说明视频生成模型的能力与输入输出设计
OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型，可接收文本、图像和视频输入并生成新视频，基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的叙事和创作表达工具。
全部 AI 动态
OpenAI：官网动态精选AI 评分7171
ARC Prize：官方博客精选AI 评分6464 ARC Prize 2024 获奖名单与技术报告发布
ARC Prize 官方公布 2024 年获奖者并发布技术报告，共 1,430 支队伍提交 17,789 个方案，ARC-AGI-1 SOTA 从 33% 升至 55.5%，但 100 万美元大奖无人认领。
推荐理由：官方技术报告给出完整获奖方案与三类新方法总结，读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。
OpenAI：官网动态精选AI 评分6868 OpenAI 发布 o1 系统卡披露发布前安全评估工作
OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：报告披露 o1 系列发布前的外部红队测试和 Preparedness Framework 前沿风险评估流程，读者可了解官方安全评估的实际做法。
英国 AI Security Institute：Blog精选AI 评分6161 英国 AI Safety Institute 提出 Long-Form Task 方法评估 LLM 科学助手能力
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
METR：Research精选AI 评分6262 METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力
METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
推荐理由：原文在同一环境公平对比人类专家与前沿模型智能体，并给出长短时间预算下得分反转的关键数据和完整开源转录。
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
Sierra：Blog精选AI 评分6363 Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
OpenAI：官网动态精选AI 评分6767 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。
推荐理由：原文说明用可扩展稀疏自编码器自动从 GPT-4 中提取概念，读者可借此了解模型可解释性研究的进展方向。
英国 AI Security Institute：Blog精选AI 评分6666 英国 AISI 发布五款公开 LLM 先进能力评测结果
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute：Blog精选AI 评分6363 高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
OpenAI：官网动态精选AI 评分7373 OpenAI 用过程监督提升数学推理，取得新 SOTA
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现
LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。
推荐理由：作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量，并给出 tree_summarize 优于 create-and-refine 的可复用结论。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布 GPTs are GPTs 论文，初步分析大语言模型的劳动力市场影响潜力
OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models，对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败，仅标题可用，论文具体方法与结论暂无法核验。
推荐理由：OpenAI 论文标题直指大语言模型对劳动力市场影响的早期评估，适合关注 AI 就业议题的读者。
Hugging Face 社区博客精选AI 评分6565 Hugging Face 发布 MTEB 大规模文本嵌入基准与排行榜
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。
推荐理由：原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组，可用于按任务挑合适的嵌入模型。
Hugging Face 社区博客精选AI 评分6969 Hugging Face 联合 Intel Labs 与 UKP Lab 发布少样本文本分类框架 SetFit
Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。
推荐理由：原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本，读者可以据此评估小样本场景下是否用它替代大模型微调。
Anthropic：Transformer Circuits精选AI 评分6565 Anthropic 发表 Toy Models of Superposition 论文，演示神经网络的特征叠加现象
Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
推荐理由：论文用小型 ReLU 网络直接演示了特征叠加现象，并给出相变和几何结构的理论解释，为理解神经元多义性提供了可参考的框架。
OpenAI：官网动态精选AI 评分6262 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft 并合成钻石工具
OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。
推荐理由：原文说明 VPT 用少量标注数据配合海量无标注视频训练模型，读者可了解这种半监督路线对训练通用智能体的参考价值。
OpenAI：官网动态精选AI 评分6666 OpenAI 发表针对代码训练大语言模型的评估研究
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）
OpenAI：官网动态精选AI 评分8383 OpenAI 发布论文 Language models are few-shot learners
OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI：官网动态精选AI 评分6161 OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI：官网动态精选AI 评分6060 OpenAI 发现深度学习中的深度双下降现象
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。
推荐理由：原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。
OpenAI：官网动态精选AI 评分6161 OpenAI 用机器手训练神经网络还原魔方
OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。
推荐理由：原文说明了 ADR 方法与全仿真训练思路，可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。
OpenAI：官网动态精选AI 评分6565 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。
推荐理由：原文给出人类偏好微调 GPT-2 的任务结果与标注成本，并暴露标注偏好与作者意图不一致的问题。
OpenAI：官网动态精选AI 评分6262 OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用
OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。
推荐理由：原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略，可帮助读者理解多智能体协同如何催生复杂行为。
OpenAI：官网动态精选AI 评分6666 OpenAI 用单条人类演示训练智能体在 Montezuma's Revenge 上达到 74500 分
OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：原文说明从单条人类演示中选取起始状态再用 PPO 优化得分的算法思路，读者可以理解这一强化学习方法的可迁移做法。
OpenAI：官网动态精选AI 评分7676 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布分析，显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长，远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍，而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成，若趋势延续，需为远超当今系统能力的影响做好准备。
推荐理由：OpenAI 用自己的分析给出 2012 年以来最大 AI 训练算力 3.4 个月翻倍、增长超 30 万倍的数据，读者可据此对照摩尔定律理解算力趋势。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态精选AI 评分6363 OpenAI 提出进化策略（ES）可作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当，同时克服了 RL 的许多不便之处。
推荐理由：原文指出进化策略在 Atari/MuJoCo 基准上可媲美标准 RL，并克服 RL 的诸多不便，读者可借此了解另一种可扩展的优化路线。