研究：2019年から2025年にかけての事前学習効率の向上は主にデータに起因

2026年9月8日に発表された研究によると、2019年から2025年までのAIモデル事前学習の進歩において、データ改善による計算効率の向上はモデル自体の改善の約3.24倍に達した。1e19 FLOPsの計算予算下で、データ改善は12.0倍、モデル改善は3.7倍の効率向上をもたらした。データ側はOpenWebTextからUltraFineWebへと進化し、モデル側はGPT-2からOLMo-2へと最適化が進んだ。