arXiv cs.AI· Hans Gundlach, Alex Fogelson, Jayson Lynch, Ana Trisovic, Jonathan Rosenfeld, Anmol Sandhu, Neil Thompson·· 7 天前精选AI 评分71
预印本:语言模型预训练算法效率增益与算力规模相关,低算力下不足 100 倍
On the Origin of Algorithmic Progress in AI: Evidence from Language Model Pre-Training

AI 导读
一项被 NeurIPS 2026 接收的预印本通过消融实验与扩展实验指出,2012 至 2023 年 AI 预训练算法效率约 22,000 倍的提升并不能在低算力区间复现,关键创新的贡献合计不足 100 倍。
- 背景
- 有估计认为,2012 至 2023 年间算法使 AI 预训练的 FLOP 效率提升了 22,000 倍(Ho 等,2024)。但这一数字究竟由哪些创新贡献、是否随计算规模变化,此前没有拆解。研究对小算力尺度上的关键创新做消融,试图核对这一总量。
- 做法
- 作者对这一时期的关键创新逐一做消融实验,在小计算规模下测量各自的效率贡献;同时梳理更广的文献,估计未纳入消融的创新还能贡献多少。由于消融加文献仍远不足以解释总量,作者转而做缩放实验,重点比较 LSTM 与 Transformer 在计算最优缩放律上的表现,并对其他多项创新做同样的缩放对比,再用实验外推与文献估计相加,对照同一时间段的效率增益总量。
- 结论
- 消融实验只能解释不到 10 倍的效率提升;文献中未纳入消融的额外创新同样不到 10 倍,因此在低算力区间合计不足 100 倍。缩放实验显示,LSTM 与 Transformer 的计算最优缩放律存在指数差异,而许多其他创新在缩放上没有明显差别。作者据此认为算法的效率增益与计算规模绑定;把缩放外推和文献估计合并后,可以解释同一时期的大部分效率增益。
- 意义
- 结果说明,在小训练算力水平上算法进步远慢于此前假设,算法效率的度量强烈依赖参考点。对用单一总倍数衡量算法进步的做法,这是一个需要重新校准的提醒;效率数字须连同所处算力区间一起报告。
- 局限
- 正文指出,结论建立在给定时期创新的消融和外推之上,作者未把全部创新逐个纳入实验,部分贡献来自文献估计而非直接测量;效率度量本身具有参考依赖性,这意味着换一个算力参考点会得到不同倍数。
- 下一步
- 论文已被 NeurIPS 2026 接收为 camera-ready 版本。正文未明确列出后续研究计划,开放点在于把更多创新纳入缩放实验,以及在不同算力区间重复这类度量。
本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文
推荐理由
不同算力规模下算法效率增益并不同步,评估 AI 算法进展时需说明参考的算力区间。
来源:arXiv cs.AI · arxiv.org