跳到正文
5月21日周三
  1. Hugging Face 社区博客60

    Hugging Face Diffusers 量化后端对比:Flux-dev 内存与速度实测

    Hugging Face 发布 Diffusers 量化后端指南,对比 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 在 FLUX.1-dev 上把 BF16 加载内存约 31.447 GB 压缩到约 10.6 至 23.7 GB 的表现。

    推荐理由:原文实测了 Diffusers 各量化后端在 Flux 上的内存和推理速度数据,读者可以按需求选后端并直接复用配置代码。

5月15日周四
  1. Hugging Face 社区博客60

    Hugging Face 宣布将 Transformers 定位为跨框架的模型定义标准库

    Hugging Face 官方宣布,未来 Transformers 将作为跨框架的模型定义标准,凡支持的 300+ 模型架构可望在 vLLM、SGLang 等推理引擎及 Axolotl、Unsloth 等训练框架中获得支持。团队还将简化模型贡献流程,目标是让新模型不再需要 6000 行代码、20 个文件的改动,并与 llama.cpp、MLX 加强 GGUF 等格式互转。

    推荐理由:官方阐明 Transformers 定位为模型定义标准,读者可据此理解训练与推理框架间互操作的工作流变化。

5月13日周二
  1. LlamaIndex:产品、工程与评测60

    LlamaIndex 为 Agent 推出改进的长短期 Memory 组件

    LlamaIndex 发布改进的 Memory 组件,为 Agent 提供短长期记忆能力。基础形式将聊天记录按 token 上限存入 SQL 数据库(默认内存 SQLite)。

    推荐理由:官方介绍了新版 Memory 组件的设计与用法,开发者可以对照三类长期记忆块判断是否迁移自己的 Agent 工作流。

4月22日周二
  1. ARC Prize:官方博客70

    ARC Prize 实测 o3 与 o4-mini 在 ARC-AGI 上的表现

    ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%,o3-medium 达 53%,两者在 ARC-AGI-2 上均未超过 3%;o4-mini-low 在 ARC-AGI-1 得 21%。

    推荐理由:ARC Prize 公布了自家基准上 o3 与 o4-mini 的完整实测数据和高推理档的失真问题,读者可借此校准对推理档位选择的预期。

4月18日周五
  1. Anthropic:Engineering77

    Claude Code:智能体编码最佳实践指南

    Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流,并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查,以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用,并提供了避免常见失败模式的实用建议。

    推荐理由:Anthropic 官方出的 Claude Code 最佳实践,不是泛泛而谈的入门指南,而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册,用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。

  2. Anthropic:Newsroom81

    Anthropic 发布 Claude Code 智能体编码最佳实践指南

    Anthropic 发布 Claude Code 最佳实践指南,介绍这款命令行智能体编码工具的使用模式。内容涵盖 CLAUDE.md 配置、工具白名单与自定义斜杠命令,以及探索规划编码提交、TDD、git worktrees 多实例并行等常见工作流,并给出 headless 模式自动化等进阶用法。

3月26日周三
  1. OpenAI Developers79

    OpenAI 演示如何使用 4o 模型生成图像

    OpenAI 发布介绍视频,演示如何使用 4o 模型创建图像。视频展示了 4o 的图像生成功能的基本用法。

    推荐理由:官方演示如何用 4o 模型生成图像,想上手该功能的开发者可以直接参照操作。

3月20日周四
  1. Anthropic:Engineering71

    “思考”工具:让Claude在复杂工具使用场景中停下来思考

    Anthropic为Claude引入了“思考”工具,允许其在生成最终响应前插入一个专门的思考步骤,以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同,更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中,该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它,并提供了标准的工具实现格式。

    推荐理由:Anthropic 官方给出的 think tool 实操指南,附带 τ-Bench 和 SWE-bench 的真实数据,做 Agent 或 tool use 的开发者可以直接抄 prompt 模板,比自己瞎试强太多。

3月16日周日
  1. LangChain:Blog60

    LangChain 官方教程:AI Agent 提速的实用方法

    LangChain 博客介绍开发者加速 AI Agent 的常见做法:先用 LangSmith 诊断延迟来源,再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数(如用 LangGraph 精确控制智能体通信)、换更快模型、削减输入上下文以及并行执行 LLM 调用。

    推荐理由:原文把 Agent 提速拆成诊断瓶颈、减少与并行 LLM 调用、优化感知延迟等具体路径,方法可直接迁移到自己的项目。

1月31日周五
1月6日周一
  1. Anthropic:Engineering72

    Claude 3.5 Sonnet 在 SWE-bench Verified 基准测试中刷新纪录

    升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

    推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

12月20日周五
  1. ARC Prize:官方博客83

    ARC Prize 实测 OpenAI o3 在 ARC-AGI-Pub 取得突破性高分

    ARC Prize 官方测试报告显示,OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%,高算力(172 倍)配置达 87.5%,Public Eval 高算力为 82.8%、低算力为 91.5%。

    推荐理由:ARC Prize 官方第一手测试数据,给出 o3 在 ARC-AGI 各算力档位的得分、成本和机制解读。

12月19日周四
  1. Anthropic:Engineering80

    构建高效智能体:从简单模式开始

    Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。

    推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。

9月19日周四
  1. Anthropic:Engineering72

    引入上下文检索:大幅提升RAG系统准确性的新方法

    传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。

    推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。

9月13日周五
  1. ARC Prize:官方博客71

    ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩

    ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。

    推荐理由:ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

6月11日周二
  1. LlamaIndex:产品、工程与评测60

    LlamaIndex 教程:自定义属性图谱索引以提升 GraphRAG 准确率

    Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引,用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重,并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储,最后用自定义检索器完成问答回流,代码托管在 GitHub。

    推荐理由:原文给出图谱构建、实体去重和自定义检索的完整可复现代码,读者可以迁移到自己的 GraphRAG 项目。

5月14日周二
  1. LlamaIndex:产品、工程与评测62

    用 LlamaIndex 和 llamafile 搭建本地私有研究助手

    LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。

    推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。

5月12日周日
  1. Eugene Yan:Writing82

    Applied LLMs:一年 LLM 应用开发的经验总结

    Eugene Yan 等六位作者发布长文 Applied LLMs,总结一年 LLM 应用开发经验,分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护;战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。

    推荐理由:多位从业者基于一年真实开发经验总结提示词、RAG、评测到团队与战略的实践清单,读者可对照自己的 LLM 项目逐条借鉴。

4月26日周五
1月30日周二
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 讲解 Agentic RAG:用多文档 Agent 构建可扩展的 RAG 架构

    LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。

    推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。

1月25日周四
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 教程:用 LlamaIndex、Qdrant 和 Render 构建可学习的 Slack 机器人

    LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。

    推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。

12月21日周四
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 教程:用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用

    LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。

    推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。

12月7日周四
  1. LangChain:Blog60

    LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案

    LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

    推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。

11月18日周六
  1. LangChain:Blog68

    LangChain 解析 OpenAI 的 RAG 实验策略并给出实现方法

    LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验,将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。

    推荐理由:原文将 OpenAI 分享的 RAG 实验逐项拆解,并给出 LangChain 中可直接复用的对应实现入口。

11月9日周四
11月6日周一
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 集成 LongLLMLingua:用提示词压缩缓解 RAG 的 Lost in the Middle 并降本

    LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

    推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。

11月3日周五
  1. LlamaIndex:产品、工程与评测64

    LlamaIndex 评测:如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合

    LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。

    推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。

10月18日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格

    LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。

    推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。

10月16日周一
  1. LangChain:Blog64

    Rubric Labs 团队详解如何用 LangChain 设计生产级 Agent Cal.ai

    Rubric Labs 团队在 LangChain 博客发布指南,讲解为 Cal.com 构建的 AI 邮件调度助手 Cal.ai 的生产架构。

    推荐理由:原文拆解了一个已在生产环境运行的邮件调度 Agent 架构,读者可以借鉴其工具设计与提示词构造方法。

10月5日周四
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 实测 RAG 系统的最佳 chunk size

    LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。

    推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。

8月31日周四
  1. OpenAI:官网动态60

    OpenAI 发布教师课堂使用 ChatGPT 指南

    OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性,以及偏见问题。

    推荐理由:官方指南汇总了课堂提示词、模型局限与 AI 检测器效果等要点,教师可据此了解 ChatGPT 在教学中的实际用法。

8月25日周五
  1. LlamaIndex:产品、工程与评测74

    LlamaIndex 教程:用合成数据微调嵌入模型提升 RAG 检索性能

    LlamaIndex 发布端到端指南,教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。

    推荐理由:原文提供了完整的无标注数据微调嵌入模型方法和评测结果,读者可以直接复用笔记本改进自己的 RAG 检索。

8月23日周三
  1. LangChain:Blog60

    LangChain 实战教程:用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo

    LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。

    推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。

8月17日周四
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 教程:如何微调 Llama 2 用于 Text-to-SQL 应用

    LlamaIndex 发布教程,展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。

    推荐理由:原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例,可帮助读者评估微调对结构化分析场景的实际收益。

7月17日周一
  1. LlamaIndex:产品、工程与评测61

    LlamaIndex 工程师分享构建 LLM Agent 工具的实用技巧

    LlamaIndex 工程师在发布 LlamaHub Tools(含 Gmail、Google Calendar、Wolfram Alpha 等 15 个工具)后,总结编写 LLM Agent 工具的技巧。

    推荐理由:作者结合 LlamaHub Tools 的开发实践,总结出输入容错、错误自恢复、日期函数等可直接套用的 Agent 工具编写方法。

5月28日周日
  1. LlamaIndex:产品、工程与评测61

    LlamaIndex 推出 SQLAutoVectorQueryEngine,结合 Text-to-SQL 与语义搜索完成 RAG 查询

    LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。

    推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。

4月19日周三
  1. LangChain:Blog64

    LangChain 解析 AutoGPT、BabyAGI、CAMEL、Generative Agents 四个 Agent 项目

    LangChain 发布技术博客,对比近两周流行的 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 四个 Agent 项目,将其分为自主智能体与智能体模拟两类。

    推荐理由:原文对比 AutoGPT、BabyAGI、CAMEL 等项目的新颖点,并说明 LangChain 已复刻哪些部分,读者可据此了解各框架差异与可复用实现。

4月5日周三
  1. Hugging Face 社区博客64

    StackLLaMA:用 RLHF 训练 LLaMA 的实战指南

    Hugging Face 发布 StackLLaMA 教程,手把手讲解如何用 RLHF 方法训练 LLaMA 模型,覆盖完整训练流程。

    推荐理由:这是一份手把手教程,讲解如何用 RLHF 训练 LLaMA,读者可跟随步骤复现完整训练流程。