跳到正文
3月17日周五
  1. METR:Research70

    ARC 发布 Claude 与 GPT-4 危险能力评测进展

    ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作,在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划,执行中易出错、有幻觉、难以在多副本间分派任务,但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。

    推荐理由:ARC 公布了危险能力评测的动机、方法与结论,读者可以了解模型自主复制能力的评估方式。

3月13日周一
  1. LangChain:Blog60

    LangChain 发布 LLM 与 SQL 结合的实践指南

    LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。

    推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。

3月9日周四
1月2日周一
  1. Hugging Face 社区博客65

    Hugging Face 教程:用 AI 在 5 天内开发农场游戏(第一篇,美术风格)

    Hugging Face 发布系列教程第一篇,讲解如何用 Stable Diffusion 为 Unity 农场游戏确定美术风格。文章涵盖用 Automatic1111 WebUI 本地部署或在线运行的方法、借助 lexica.art 优化提示词的技巧,以及用概念图指导 Unity 场景搭建、材质、灯光和后期处理的完整流程。

    推荐理由:系列第一篇给出用 Stable Diffusion 生成美术概念图并落地到 Unity 场景的完整步骤,方法可直接迁移到游戏开发流程。

12月21日周三
12月9日周五
  1. Hugging Face 社区博客69

    Hugging Face 图解 RLHF:用人类反馈强化学习微调语言模型的完整流程

    Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤,并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具,指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。

    推荐理由:原文系统拆解 RLHF 三阶段流程与 KL 惩罚等细节,并盘点开源工具与局限,适合作为理解该技术的入门框架。

12月1日周四
  1. Hugging Face 社区博客60

    Hugging Face 教程:用 Time Series Transformer 做概率时间序列预测

    Hugging Face 发布教程,讲解如何用其 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,涵盖 GluonTS 数据转换、DataLoader 构建、40 个 epoch 的训练及 generate() 自回归推理。

    推荐理由:教程展示了完整的代码训练流程,并在 Monash 基准上给出可对照的 MASE 结果,便于读者迁移到自己的时间序列数据。

  2. Hugging Face 社区博客76

    如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    Hugging Face 与 Apple 合作,将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。

    推荐理由:Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法,读者可按机型选变体并迁移到自定义模型。

11月21日周一
  1. Hugging Face 社区博客66

    Hugging Face 发布 Document AI 实践指南:六大用例与开源模型选型

    Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。

    推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。

11月7日周一
11月3日周四
  1. Hugging Face 社区博客68

    Hugging Face 发布 Whisper 多语言 ASR 微调教程

    Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别(ASR)微调的分步教程。

    推荐理由:完整给出从数据准备到训练和 Gradio 演示的代码流程,仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%,方法可直接迁移到其他语言。

10月21日周五
  1. Hugging Face 社区博客60

    Hugging Face 教程:从 PyTorch DDP 到 Accelerate 再到 Trainer 掌握分布式训练

    Hugging Face 发布教程,以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练:PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。

    推荐理由:教程用同一个 MNIST 示例逐级展示三种分布式训练写法,读者可以按抽象层级选择适合自己项目的方案。

10月13日周四
  1. Hugging Face 社区博客60

    Hugging Face Diffusers 教程:用 JAX/Flax 在 TPU 上运行 Stable Diffusion

    Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。

    推荐理由:Hugging Face 官方教程,演示在 TPU 上用 JAX/Flax 跑 Stable Diffusion,8 卡并行约 7 秒生成 8 张图,可直接复现。

9月27日周二
  1. Hugging Face 社区博客71

    Hugging Face 讲解 Accelerate 如何借助 PyTorch 加载和运行超大模型

    Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每次前向传播前后搬运权重。

    推荐理由:原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。

8月22日周一
8月17日周三
  1. Hugging Face 社区博客79

    Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用

    Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。

    推荐理由:文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

7月27日周三
  1. Hugging Face 社区博客61

    Hugging Face 用 TensorFlow 与 XLA 加速文本生成,部分场景提速超 100 倍

    Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速,某些场景提速超过 100 倍,在多数基准中比 PyTorch 更快,最高快达 9 倍。

    推荐理由:Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。

7月7日周四
6月7日周二
  1. Hugging Face 社区博客73

    Hugging Face 详解扩散模型:逐行实现 The Annotated Diffusion Model

    Hugging Face 发布教程,基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现,用 PyTorch 逐步拆解并实现去噪扩散概率模型。

    推荐理由:原文从数学推导到完整 PyTorch 代码逐段拆解 DDPM,读者可以照此动手实现一个可训练的扩散模型。

5月20日周五
  1. Hugging Face 社区博客60

    Hugging Face 深度强化学习课程 Unit 2 第二部分:Q-Learning 原理与从零实现

    Hugging Face 深度强化学习课程发布 Unit 2 第二部分,讲解 Q-Learning 算法、Q-Function 与 Q-Table,以及 Epsilon Greedy 策略和 TD 更新,并区分 off-policy 与 on-policy。

    推荐理由:课程官方教程用迷宫示例逐步拆解 Q-Learning 算法和 Q 表更新,读者可跟着 Colab 从零实现第一个 RL 智能体。

2月20日周日
  1. Lilian Weng:Lil'Log57

    数据不足情况下的学习第二部分:主动学习

    监督学习任务的性能依赖于高质量标注数据,但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下,应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注,以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时,如何通过策略性采样来高效利用标注资源的问题。

    推荐理由:这是 Lilian Weng 数据不足系列的第二篇,把主动学习的核心采样策略和实际权衡讲得很清楚,做数据标注和 ML 工程的同学值得复习一遍。

3月1日周日
  1. Hugging Face 社区博客65

    如何用 Transformers 的不同解码方法生成文本

    Hugging Face 发布教程,讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式,原文正文未能抓取,仅标题可用。

    推荐理由:原文系统讲解 Transformers 中不同文本解码方法的用法与差异,读者可按需选择生成策略。

9月5日周四
  1. Lilian Weng:Lil'Log57

    进化策略

    进化策略是一种在目标函数解析形式未知或无法直接计算梯度时,用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案,适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略,并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息,进化策略为复杂优化问题提供了有效路径。

    推荐理由:这篇五年前的进化策略入门,至今仍是理解黑箱优化的最佳起点,Lilian Weng的笔法清晰,做RL的朋友可以当字典翻。

11月8日周四
  1. OpenAI:官网动态68

    OpenAI 发布深度强化学习教育资源 Spinning Up in Deep RL

    OpenAI 发布 Spinning Up in Deep RL,一套旨在让任何人学会成为深度强化学习熟练从业者的教育材料。资源包含清晰的 RL 代码示例、教育性练习、文档和教程。

    推荐理由:OpenAI 自家发布的深度强化学习教育资源,代码示例、练习和教程齐全,适合想系统入门深度 RL 的开发者按图索骥。

4月8日周日
  1. Lilian Weng:Lil'Log55

    策略梯度算法

    该文章系统梳理了策略梯度算法的发展脉络,深入解析其工作原理,并详细介绍了从基础到前沿的多种算法,包括PPO、SAC、TD3、IMPALA等主流方法。文章自2018年起持续更新,陆续新增了D4PG、SVPG、PPG等新算法,并补充了关于PPO的最新讨论。文中还提供了韩语及中文等多个语言版本的翻译,便于不同读者参考。

    推荐理由:这篇是当年策略梯度方法的“圣经”级综述,现在看虽然有些过时,但想理解PPO、SAC的来龙去脉还得从这儿啃起。