揭秘真实世界数据上的谱偏置

高维过参数ReLU网学习的全局收敛性问题

Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions

这篇理论论文致力于开发一个严格的理论，以在一个具有挑战性的场景中揭开全局收敛现象的神秘面纱：在非常温和的假设下，为非常高维的数据集学习过参数化的整流线性单元（ReLU）网络。我们分析的一个主要组成部分是随机激活矩阵的细粒度分析。分解激活矩阵的基本优点是它在高维数据空间中的优化和角分布的动态之间架起了桥梁。这种基于角度的详细分析导致在每次梯度下降迭代中目标函数的梯度范数和方向曲率的渐近特征，揭示了经验损失函数在过参数化设置中具有良好的几何性质。在此过程中，我们显着提高了现有的理论界的过参数化条件和学习率非常温和的假设学习非常高维的数据。此外，我们发现的输入数据的几何和光谱特性的作用，在确定所需的过参数化的大小和全局收敛速度。所有这些线索使我们能够发现深度学习中非凸优化的一个新的几何图像：高维数据空间中的角分布$\mapsto$过参数化激活矩阵的谱$\mapsto$经验损失景观的有利几何性质$\mapsto$全局收敛现象。此外，我们的理论研究结果表明，基于梯度的非凸优化算法有更强的统计保证和更温和的过度参数化的条件下，学习非常高维的数据，这是很少探索到目前为止，比重复的理论状态。

2022-06-05cs.LGstat.ML

扩散模型学习动力学中频谱偏置的分析理论

An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models

Kempner Institute, Harvard University（哈佛大学肯普纳研究所）；SEAS, Harvard University（哈佛大学工程与应用科学学院）

本文提出分析框架，揭示生成分布在扩散模型训练中的演变规律，发现频谱定律揭示高方差结构学习速度快于低方差细节，且局部卷积改变学习动态。

2026-04-05cs.CVcs.LGmath.ST

平衡数据，不平衡谱：通过谱不平衡揭示类别差异

Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance

Georgia Institute of Technology（佐治亚理工学院）；Samsung Research（三星研究院）；Stanford University（斯坦福大学）

本文提出特征中的谱不平衡概念作为类别差异的潜在来源，构建理论框架推导高维混合模型中每类误差的精确表达式，并在11个预训练编码器上验证其可用于比较编码器质量及评估数据增强策略，揭示了预训练特征中可通过谱诊断的未知偏差。

2024-06-03cs.LGstat.ML

深度图像先验的谱偏差

The Spectral Bias of the Deep Image Prior

Amazon（亚马逊）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）

Ulyanov等人提出的“深度图像先验”是神经网络的一个有趣特性：卷积编码器-解码器网络可以用作自然图像的先验。网络架构隐含地引入了偏差;如果我们训练模型将白噪声映射到受损图像，则该偏差会引导模型在拟合受损区域之前拟合真实图像。本文探讨了为什么深度图像先验有助于对自然图像进行去噪。我们提出了一种新的方法来分析深度图像先验优化生成的轨迹，并证明：（i）编码器-解码器的卷积层将图像的频率分量解耦，以不同的速率学习每个分量（ii）模型首先拟合较低的频率，使早期停止表现为低通滤波器。实验研究了Cheng等人的扩展，该扩展表明在初始化时，深度图像先验等价于平稳高斯过程。

2019-12-18cs.CVcs.LG

卷积神经正切核和高斯过程核的谱偏差

On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）

我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。

2022-03-17cs.AIcs.LG

学习关键要素：通过频谱各向异性前向噪声引导扩散

Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise

Mila - Quebec AI Institute and Université de Montréal（蒙特利尔大学）

本研究提出频谱各向异性高斯扩散（SAGD），通过调整前向噪声的频谱特性，提升扩散模型对目标分布的适应能力，并在多个视觉数据集上验证了其有效性。

2025-12-10cs.AIcs.CVcs.LG

两层神经网络的谱偏置与鲁棒性比较：SGD 对比自适应随机傅里叶特征

Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features

KAUST（阿卜杜拉国王科技大学）；RWTH Aachen（亚琛工业大学）

该研究通过实验对比了两层神经网络中 SGD 与 ARFF 两种训练算法，发现 ARFF 的谱偏置更接近零，并在相同准确率下评估了二者对抗对抗性噪声攻击的鲁棒性差异。

2024-02-01cs.LGstat.ML

理解深度学习的谱偏差

Towards Understanding the Spectral Bias of Deep Learning

Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）

在训练神经网络的过程中观察到的一个有趣的现象是频谱偏差，这表明神经网络偏向于学习不太复杂的函数。低复杂度的学习函数的优先性可能是解释神经网络泛化能力的核心，并且已经做出了一定的努力来为谱偏差提供理论解释。然而，目前还没有令人满意的理论结果证明光谱偏差的潜在机制。本文对谱偏性给出了全面而严格的解释，并将其与最近工作中提出的神经切线核函数联系起来。证明了神经网络的训练过程可以沿神经切线核的特征函数定义的不同方向分解，每个方向都有自己的收敛速度，且收敛速度由相应的特征值决定.然后，我们提供了一个案例研究时，输入数据是均匀分布在单位球，并表明，较低的度球谐函数更容易被过参数化神经网络学习。最后，我们提供了数值实验来证明我们的理论的正确性。我们的实验结果还表明，我们的理论可以容忍一定的模型误指定的输入数据分布。

2020-10-05cs.LGstat.ML

克服神经值逼近的谱偏差

Overcoming the Spectral Bias of Neural Value Approximation

NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)（NSF人工智能与基本相互作用研究所（IAIFI））；Computer Science and Artificial Intelligence Laboratory (CSAIL)（计算机科学与人工智能实验室（CSAIL））；Improbable AI Lab（Improbable人工智能实验室）；Massachusetts Institute Technology（麻省理工学院）

使用深度神经网络的值近似是离线深度强化学习的核心，通常是向算法的其余部分提供学习信号的主要模块。虽然多层感知器网络是通用函数逼近器，但最近的神经核回归研究表明存在谱偏差，其中拟合价值函数的高频分量需要比低频分量更多的梯度更新步骤。在这项工作中，我们通过核回归的镜头重新审视了政策外强化学习，并提出通过复合神经切线核来克服这种偏差。只需一个单一的线变化，我们的方法，傅立叶特征网络（FFN）产生最先进的性能上具有挑战性的连续控制域，只有一小部分的计算。更快的收敛和更好的偏离策略稳定性也使得可以在不遭受灾难性发散的情况下移除目标网络，这进一步降低了TD（0）对一些任务的估计偏差。

2022-06-09cs.LGstat.ML

重新思考DNN的泛化、泛化和谱偏差之间的关系

Rethink the Connections among Generalization, Memorization and the Spectral Bias of DNNs

Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）

具有足够记忆随机噪声能力的过参数化深度神经网络（DNN）可以实现出色的泛化性能，挑战经典学习理论中的偏差-方差权衡。最近的研究表明，DNN首先学习简单的模式，然后记住噪声;其他一些工作表明，DNN在训练过程中从低频到高频学习目标函数时存在频谱偏差。然而，我们发现学习偏差的单调性并不总是成立：在深度双下降的实验设置下，DNN的高频分量在训练的后期减少，导致测试误差的第二次下降。此外，我们发现DNN的谱可以用来指示测试误差的第二次下降，即使它是仅从训练集计算的。

2021-06-05cs.AIcs.LGstat.ML

谱正则化：序列建模的一种归纳偏差

Spectral Regularization: an Inductive Bias for Sequence Modeling

Tsinghua University（清华大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能讲席）

学习任务中各种形式的正则化都追求不同的简单性概念。本文提出了一种谱正则化技术，它附加了一个独特的归纳偏见的序列建模的基础上定义的乔姆斯基层次结构中的直观概念的简单性。从Hankel矩阵和正则文法之间的基本联系出发，我们提出使用Hankel矩阵的迹范数，其秩的最紧凸松弛，作为谱正则化子。针对Hankel矩阵是双无穷大矩阵的情况，提出了其迹范数的无偏随机估计。最后，我们展示了实验结果富田文法，表现出潜在的好处谱正则化和验证所提出的随机估计。

2022-11-04cs.AIcs.CLcs.LG

数据科学的谱方法：统计观点

Spectral Methods for Data Science: A Statistical Perspective

Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）

光谱方法已经成为一种简单但令人惊讶的有效方法，用于从大量，嘈杂和不完整的数据中提取信息。简而言之，谱方法指的是建立在特征值（分别为）上的算法集合。奇异值）和特征向量（分别奇异向量）的一些适当设计的矩阵构造的数据。在机器学习、数据科学和信号处理中发现了各种各样的应用。由于其简单和有效性，谱方法不仅用作独立的估计器，而且经常用于初始化其他更复杂的算法以提高性能。虽然谱方法的研究可以追溯到经典的矩阵摄动理论和矩量法，但在过去的十年里，在非渐近随机矩阵理论的帮助下，通过统计建模的镜头，在揭开其功效的神秘面纱方面取得了巨大的理论进展。这本专著的目的是提出一个系统的，全面的，但从现代统计学的角度介绍光谱方法，突出其算法在不同的大规模应用的影响。特别是，我们的论述围绕着几个中心问题，跨越各种应用：如何表征样本效率的光谱方法达到目标水平的统计精度，以及如何评估他们的稳定性，面对随机噪声，缺失数据，和对抗腐败？除了传统的$\ell_2$扰动分析，我们提出了一个系统的$\ell_{\infty}$和$\ell_{2,\infty}$扰动理论的特征空间和奇异子空间，这是最近才成为可用的，由于一个强大的“留一”的分析框架。

2021-09-18cs.ITcs.LGeess.SP

关于神经网络的谱偏差

On the Spectral Bias of Neural Networks

Mila（米拉研究所）；Ruprecht-Karls-Universität Heidelberg（海德堡大学）

已知神经网络是一类能够以$100\%$精度拟合甚至随机输入-输出映射的高度表达的函数。在这项工作中，我们提出的神经网络，补充这方面的表现力的属性。通过使用傅立叶分析的工具，我们证明了深度ReLU网络偏向于低频函数，这意味着它们不可能在不影响全局行为的情况下出现局部波动。直观地说，这个属性与过度参数化网络发现简单模式的观察结果是一致的，这些模式可以在数据样本中泛化。我们还研究了数据流形的形状如何影响表现力的证据表明，学习高频率得到\emph{easier}与日益增加的流形复杂性，并提出了一个理论理解这种行为。最后，我们研究的频率分量的参数扰动的鲁棒性，发展的直觉，参数必须微调，以表达高频功能。

2019-05-31cs.LGstat.ML

核机制下深度网络训练集外的谱偏差

Spectral Bias Outside the Training Set for Deep Networks in the Kernel Regime

UCLA（加州大学洛杉矶分校）；MPI MIS（马克斯·普朗克数学科学研究所）

我们提供了定量界限测量函数空间中的$L^2$差异之间的轨迹的有限宽度的网络训练的许多样本从理想化的内核动态的无限宽度和无限的数据。边界的含义是，网络不仅在训练集上，而且在整个输入空间上都偏向于学习神经切线核的顶部特征函数。这种偏差仅取决于模型架构和输入分布，因此不依赖于不需要在内核的RKHS中的目标函数。结果对于具有全连接层、卷积层和残差层的深度架构有效。此外，宽度不需要随着样本的数量多项式地增长，以便获得直到停止时间的高概率边界。该证明利用了初始化时费舍尔信息矩阵的低有效秩属性，这意味着模型的有效维度较低（远小于参数的数量）。我们的结论是，从费舍尔信息矩阵的低有效秩的本地容量控制仍然是理论上探索不足。

2022-10-14cs.LGstat.ML

对称和反对称成对核的谱分析

Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels

University of Turku（图尔库大学）；Ghent University（根特大学）

我们考虑的问题，学习回归函数从成对数据时，存在的先验知识，要学习的关系是对称的或反对称的。这种先验知识通常通过对称化或反对称化成对核函数来加强。通过谱分析，我们表明，这些变换降低了内核的有效维数。此外，我们提供了一个分析所得到的内核的近似特性，并绑定的正则化偏置的内核中的原始内核的相应的偏置。

2015-06-19cs.LGstat.ML

谱梯度下降的过拟合：矩阵几何如何塑造泛化与隐式偏差

Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias

RIKEN AIP（理化学研究所先进智能项目中心）；University of Toronto（多伦多大学）；University of Tokyo（东京大学）；Kyoto University（京都大学）

本文研究谱梯度下降在过参数化矩阵分类中的泛化，发现捷径几何（聚集或分散）可逆转其与GD的相对优势，并揭示单步SpecGD即可良好泛化而持续训练反而恶化。

2026-09-29cs.LGstat.ML

通过稀疏傅里叶域学习实现连续核的扩展

Scaling Continuous Kernels with Sparse Fourier Domain Learning

Southern Methodist University（南卫理公会大学）；University of California San Diego（加州大学圣迭戈分校）

针对连续核学习中计算与内存需求高、存在谱偏差的问题，提出傅里叶域稀疏学习方法，可高效扩展连续核、降低资源需求并缓解谱偏差。

2024-09-15cs.LGstat.ML

通过谱分析理解深度神经网络中的分层贡献

Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis

IIT Kanpur（印度理工学院坎普尔分校）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）

谱分析是一个强大的工具，它可以将任何函数分解成更简单的部分。在机器学习中，默瑟定理推广了这一思想，为任何核和输入分布提供了频率递增函数的自然基础。最近，一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中，我们分析了深层神经网络的逐层谱偏置，并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明，初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。

2022-01-07cs.LGstat.ML

具有不变子空间的多层网络的偏差校正联合谱嵌入：逐元素特征向量扰动与推断

Bias-Corrected Joint Spectral Embedding for Multilayer Networks with Invariant Subspace: Entrywise Eigenvector Perturbation and Inference

提出偏差校正联合谱嵌入算法估计异构多层网络的不变子空间，建立逐元素扰动界与特征向量中心极限定理，并用于精确社区检测和隶属轮廓假设检验。

2024-06-12math.STstat.MLstat.TH

光谱解耦允许在医学成像中训练可转移的神经网络

Spectral decoupling allows training transferable neural networks in medical imaging

University of Helsinki（赫尔辛基大学）；Helsinki University Hospital（赫尔辛基大学医院）；Institute for Molecular Medicine Finland (FIMM)（芬兰分子医学研究所）

目前许多用于医学成像的神经网络对训练过程中看不到的数据的泛化能力很差。这种行为可能是由网络过度拟合容易学习或统计上占主导地位的特征而忽视其他潜在的信息特征造成的。例如，来自两个不同扫描仪的图像清晰度的不可区分的差异可能会显著降低网络的性能。所有用于临床实践的神经网络都需要对成像设备、样本制备和患者人群差异引起的数据变化具有鲁棒性。为了解决这些挑战，我们评估了频谱解耦作为一种隐式偏差缓解方法的实用性。谱解耦鼓励神经网络通过简单地用L2惩罚规则化网络的非归一化预测分数来学习更多特征，因此没有增加计算成本。我们表明，谱解耦允许在具有强虚假相关性的数据集上训练神经网络，并提高网络对数据分布变化的鲁棒性。为了验证我们的发现，我们训练了具有和不具有光谱解耦的网络，以检测胸部X光照片中的前列腺癌组织切片和COVID-19。使用光谱解耦训练的网络在外部数据集上的性能提高了9.5%。我们的研究结果表明，光谱解耦有助于与神经网络相关的泛化问题，并可用于补充或取代计算昂贵的显式偏差缓解方法，如染色归一化组织学图像。我们建议在任何用于临床的神经网络中使用谱解耦作为隐式偏差缓解方法。

2021-12-17cs.AIcs.CVcs.LG