Thinking Machines Lab：官方博客·2025-09-10 15:01· 2025-09-10精选AI 评分68

Thinking Machines Lab 解析 LLM 推理不确定性成因并开源 batch-invariant 内核

Defeating Nondeterminism in LLM Inference

AI 导读

Thinking Machines Lab 发布博客，指出 LLM 推理不确定性的真正原因不是并发加浮点数，而是内核缺乏 batch invariance，服务器负载导致的 batch size 变化会改变单个请求的输出。

推荐理由

作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题，并给出可复现内核方案。