跳到正文
2月26日周一
  1. Mistral AI:News74

    Mistral 发布旗舰模型 Mistral Large,并通过 Azure 提供服务

    Mistral 发布最新旗舰模型 Mistral Large,称其在常用基准上仅次于 GPT-4,是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言,具备 32K token 上下文窗口、function calling 和 JSON 输出模式,可在 la Plateforme 与 Azure 使用。

    推荐理由:官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式,读者可据此评估两个新模型在性能与成本间的取舍。

2月15日周四
  1. OpenAI:官网动态83

    OpenAI 发布 Sora 视频生成模型,提出视频模型可作为世界模拟器

    OpenAI 发布视频生成模型 Sora,可生成一分钟高保真视频。模型基于 Transformer 架构处理视频和图像潜在编码的时空 patch,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型。OpenAI 认为扩展视频生成模型是构建物理世界通用模拟器的一条有前景的路径。

    推荐理由:原文给出 Sora 的技术路线与能力边界,读者可以据此理解视频生成模型作为物理世界模拟器的思路。

12月11日周一
  1. Mistral AI:News84

    Mistral AI 发布开源稀疏专家模型 Mixtral 8x7B

    Mistral AI 发布开源权重的稀疏专家模型 Mixtral 8x7B,采用 Apache 2.0 许可证,在多数基准上超过 Llama 2 70B 并以 6 倍推理速度匹配或超过 GPT3.5。

    推荐理由:官方发布给出基准对比、参数与成本结构和开源部署方案,读者可以据此评估它在开放权重模型中的位置。

9月27日周三
  1. Mistral AI:News82

    Mistral AI 发布首个开源模型 Mistral 7B

    Mistral AI 发布公司宣言并开源首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 协议,在标准英文和代码基准上超越所有现有 13B 以下开源模型。官方称三个月内组建团队并从零搭建 MLOps 栈与数据处理管线,同时开设 GitHub 仓库和 Discord 频道,未来将陆续发布更大模型。

    推荐理由:Mistral AI 阐明开源路线并发布首个模型,读者可了解其定位与 Mistral 7B 的实际性能表现。

  2. Mistral AI:News87

    Mistral AI 发布开源模型 Mistral 7B,性能超越 Llama 2 13B

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B,采用 Apache 2.0 许可证。官方重跑评测显示其在所有基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码性能接近 CodeLlama 7B。

    推荐理由:官方发布给出了与 Llama 2 全面的对比评测数据和 GQA、SWA 技术细节,模型以 Apache 2.0 开源可商用。

7月18日周二
3月14日周二
  1. OpenAI:官网动态91

    OpenAI 发布 GPT-4 多模态模型

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。

    推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。

  2. OpenAI:官网动态83

    OpenAI 发布 GPT-4,支持创意与技术写作的生成、编辑与迭代

    OpenAI 发布 GPT-4。官方介绍其可生成、编辑并与用户迭代创意和技术写作任务,如创作歌曲、编写剧本或学习用户的写作风格。

    推荐理由:OpenAI 官方介绍 GPT-4 在创意与技术写作上可与用户迭代协作,适合关注其文本能力边界的读者。

11月30日周三
  1. OpenAI:官网动态95

    OpenAI 发布对话式模型 ChatGPT

    OpenAI 训练了名为 ChatGPT 的模型,能以对话方式交互。对话格式让 ChatGPT 可以回答追问、承认错误、质疑错误前提并拒绝不当请求。

    推荐理由:OpenAI 官方首次介绍 ChatGPT,说明对话式交互在追问、纠错和拒答上的设计意图,可作为理解该产品起点的一手材料。

9月21日周三
  1. OpenAI:官网动态74

    OpenAI 开源语音识别模型 Whisper

    OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。

    推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。

7月12日周二
  1. Hugging Face 社区博客78

    Hugging Face 发布 1760 亿参数开源多语言大模型 BLOOM

    Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。

    推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。

1月27日周四
  1. OpenAI:官网动态84

    OpenAI 发布 InstructGPT 并设为 API 默认语言模型

    OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练,现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:原文说明了对齐训练带来的意图遵循与真实性改进,以及 InstructGPT 成为 API 默认模型这一关键落地变化。

1月5日周二
  1. OpenAI:官网动态81

    OpenAI 发布 DALL·E:从文本描述生成图像

    OpenAI 宣布训练出神经网络 DALL·E,可根据自然语言文本描述生成图像,覆盖广泛可用自然语言表达的概念。

    推荐理由:OpenAI 官方宣布文本生成图像模型 DALL·E,读者可据此了解文生图方向的早期源头。

  2. OpenAI:官网动态81

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 推出神经网络 CLIP,能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称,CLIP 即可应用于任何视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准,读者可了解其与 GPT 系列零样本思路的关联。

4月30日周四
  1. OpenAI:官网动态66

    OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码

    OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。

    推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。

11月5日周二
  1. OpenAI:官网动态80

    OpenAI 发布 GPT-2 最大版本 1.5B 参数模型及代码与权重

    OpenAI 发布 GPT-2 分阶段发布的最终版本,即 1.5B 参数的最大版本,同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布,但坚持按原计划完成分阶段发布,为社区提供一个完整的分阶段发布流程案例,并继续与 AI 社区探讨负责任发布。

    推荐理由:OpenAI 以完整分阶段发布作为案例放出 1.5B 版本,读者可借此了解负责任发布的实际过程。

8月20日周二
  1. OpenAI:官网动态70

    OpenAI 发布 774M 参数版 GPT-2 并分享分阶段发布经验

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版,并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作,并发布关于与 AI 研究社区协调发布规范经验的技术报告。

    推荐理由:原文交代了 GPT-2 分阶段发布策略的推进节奏,并附带模型共享法律协议与发布规范报告,可了解负责任发布实践。

4月15日周一
  1. OpenAI:官网动态82

    OpenAI Five 击败 Dota 2 世界冠军战队 OG

    OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG,成为首个战胜电竞世界冠军的 AI,也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜优秀职业选手,但在公开职业比赛中落败。

    推荐理由:原文记录了 AI 首次在公开直播比赛中击败电竞世界冠军的节点,并交代了与此前私下对局结果的对比背景。

8月23日周四
  1. OpenAI:官网动态66

    OpenAI Five 在 The International 2018 惜败顶级 Dota 2 选手

    OpenAI Five 本周在温哥华 The International 2018 上与顶级 Dota 2 选手对战两场皆负,但两局前 20-35 分钟都保持较大获胜机会。

    推荐理由:OpenAI 官方复盘 OpenAI Five 在 The International 的两场失利,指出前期 20-35 分钟保持优势这一具体表现。

8月6日周一
  1. OpenAI:官网动态74

    OpenAI Five 在表演赛中战胜 99.95 百分位 Dota 玩家队伍

    OpenAI Five 在三局两胜的比赛中战胜由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的队伍,其中四人曾打过职业 Dota。比赛面向现场观众并有 10 万人同时在线观看直播。

    推荐理由:原文记录了 OpenAI Five 击败高分段 Dota 战队的比赛结果,可作为 AI 在复杂即时对战场景进展的早期事件参考。

6月11日周一
  1. OpenAI:官网动态75

    OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果

    OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究。

    推荐理由:原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果。

8月11日周五
  1. OpenAI:官网动态71

    OpenAI 打造 Dota 2 bot 在 1v1 比赛中战胜世界顶尖职业选手

    OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系统的一步。

    推荐理由:原文说明 bot 从零自学习、不用模仿学习和树搜索,读者可据此理解其在复杂真实环境中的方法论意义。

7月20日周四
  1. OpenAI:官网动态73

    OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)

    OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。因易用且表现良好,PPO 已成为 OpenAI 内部默认的强化学习算法。

    推荐理由:OpenAI 官方宣布 PPO 算法开源,并说明其成为内部默认强化学习算法的原因,可帮助读者了解该方法的定位。