研究：2019 至 2025 年预训练效率提升主要来自数据

Dwarkesh Patel 与 Jerry Han 的研究显示，在 1e19 FLOPs 计算预算下，2019 年至 2025 年预训练效率的提升中，数据改进带来的增益为 12.0 倍，模型改进为 3.7 倍，数据侧贡献约为模型侧的 3.24 倍。研究指出数据与模型改进的效应基本独立，数据质量从早期的 OpenWebText 演进至更精细的 UltraFineWeb，模型侧则涵盖了优化器与激活函数等架构优化。