Thinking Machines Lab 发布 LoRA Without Regret 研究

Thinking Machines Lab 发表研究，系统刻画 LoRA 与全量微调（FullFT）表现相当的“低后悔区间”，覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时，监督微调与 LoRA 样本效率和最终性能与 FullFT 相当；RL 场景即使 rank=1 也能完全匹配。