数据剪枝与神经缩放定律：基于评分的算法的根本局限性
Data pruning and neural scaling laws: fundamental limitations of score-based algorithms
AI总结：
本研究聚焦高压缩场景下基于评分的数据剪枝算法失效问题，证明数据剪枝的“没有免费午餐”定理，并提出结合随机化的校准协议以提升现有剪枝算法在该场景下的性能，为改进神经缩放定律相关的数据剪枝提供了理论与方法支撑。
摘要：
数据剪枝算法通常用于降低优化过程的内存和计算成本。近期的实证结果表明，随机数据剪枝仍是一个强劲的基线，在高压缩 regime（即仅保留30%或更少比例数据的场景）下，其表现优于大多数现有的数据剪枝方法。由于数据剪枝在改进所谓的神经缩放定律方面的作用，该场景近期引发了大量关注；在[Sorscher等人]的研究中，作者指出，为了突破样本幂律，需要高质量的数据剪枝算法。在本研究中，我们聚焦于基于评分的数据剪枝算法，从理论和实证两方面揭示了此类算法在高压缩场景下失效的原因。我们证明了数据剪枝的“没有免费午餐”定理，并提出了校准协议，通过随机化提升现有剪枝算法在该高压缩场景下的性能。
英文摘要：
Data pruning algorithms are commonly used to reduce the memory and computational cost of the optimization process. Recent empirical results reveal that random data pruning remains a strong baseline and outperforms most existing data pruning methods in the high compression regime, i.e., where a fraction of $30\%$ or less of the data is kept. This regime has recently attracted a lot of interest as a result of the role of data pruning in improving the so-called neural scaling laws; in [Sorscher et al.], the authors showed the need for high-quality data pruning algorithms in order to beat the sample power law. In this work, we focus on score-based data pruning algorithms and show theoretically and empirically why such algorithms fail in the high compression regime. We demonstrate ``No Free Lunch" theorems for data pruning and present calibration protocols that enhance the performance of existing pruning algorithms in this high compression regime using randomization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
