Orthogonal Gradient Constraints Shape Noisy-Label Memorization Dynamics
研究噪声标签学习中记忆驱动过拟合问题,核心方法是用OrthoGrad去除权重梯度中与当前权重向量平行的分量,在MNIST小数据及CIFAR-10 ResNet-18实验中验证其能改变记忆轨迹,但依赖数据情况,可作学习动态诊断。
2026-07-21 cs.LG
Classes of ODE solutions: smoothness, covering numbers, implications for noisy function fitting, and the curse of smoothness phenomenon
UC San Diego(加州大学圣迭戈分校)
许多从数据中恢复常微分方程解的数值方法依赖于在最小二乘准则下使用基函数或核函数来近似解。这种方法的准确性取决于解决方案的平滑性。本文通过建立关于ODE解类的光滑性和覆盖数(作为其“大小”的度量)的新结果,为这些方法提供了理论基础。我们的结果提供了答案,“如何做的光滑程度和”的大小“一类常微分方程的影响”的大小相关联的类的解决方案?“我们证明:(1)对于$y^{'}=f\left(y\right)$和$y^{'}=f\left(x,\,y\right)$,如果所有$k$的绝对值若$f$的($k\leqβ+1$)阶导数被$1$限制,则解最终得到$(k+1)$阶导数,其幅值在$k$中快速增长--“光滑的诅咒”;(2)一元函数的$(β+2)-$度光滑解类的覆盖数的上界大于“标准”$(β+2)-$度光滑解类的上界;(3)当$n=Ω\left(\left(β\sqrt{\log\left(β\vee1\right)}\right)^{4β+10}\right)$时,最小二乘拟合的均方误差收敛速度不大于$\left(\frac{1}{n}\right)^{\frac{2\left(β+2\right)}{2\left(β+2\right)+1}}$,在此条件下,当$y^{'}=f\left(x,\,y\right)$时,收敛速度$\left(\frac{1}{n}\right)^{\frac{2…
2021-03-17 cs.LG math.ST stat.TH
Fitting Elephants
Cold Spring Harbor Laboratory(冷泉港实验室);Center for Computational Brain Research, IIT Madras(印度理工学院马德拉斯分校计算脑研究中心)
教科书上的智慧主张平滑的函数拟合,并暗示噪声数据的插值应该导致较差的泛化。一个相关的启发是拟合参数应该少于测量值(奥卡姆剃刀)。令人惊讶的是,当代机器学习(ML)方法,参见深度网络(DNN),尽管插值噪声数据,但泛化良好。这可以通过统计一致插值(SCI)来理解,即最佳地概括大数据的数据插值技术。在这篇文章中,我们阐明SCI使用加权插值最近邻(wiNN)算法,它增加了奇异权函数的kNN(k-最近邻)。这表明数据插值可以成为大数据的有效ML策略。SCI阐明了建模自然现象的两种方法之间的关系:理论物理的理性主义方法(强先验),参数很少,现代ML的非理性主义方法(弱先验),参数多于数据。SCI表明,纯粹的经验方法可以成功地预测。然而,数据插值不提供理论见解,并且训练数据要求可能是禁止的。复杂的动物大脑介于这两个极端之间,具有许多参数,但训练数据有限,并且具有编码在物种特异性中尺度电路中的先前结构。因此,现代ML提供了一种不同于物理理论和动物大脑的独特认识论方法。
2021-03-31 cs.AI cs.LG q-bio.NC
Weighted Spectral Filters for Kernel Interpolation on Spheres: Estimates of Prediction Accuracy for Noisy Data
Xi’an Jiaotong University(西安交通大学)
本文针对球面核插值在含噪数据下条件数大、不稳定的问题,提出加权谱滤波器方法以降低条件数并稳定插值,理论证明其突破瓶颈且不损害预测精度,并通过模拟与真实数据实验验证有效性。
2024-01-16 cs.LG
Probabilistic Physics-Informed Neural Networks for Estimating Heterogeneous Elastic Properties from Low-Resolution and Noisy Displacement Data
Texas A&M University(德克萨斯A&M大学)
针对从低分辨率和噪声位移数据估计非均匀弹性特性的不适定问题,提出PIE - PINN框架,结合B样条引导位移网络与分层半柯西模型,用交替最大似然训练策略,能稳健估计杨氏模量和泊松比,案例研究验证了其稳健性。
2026-07-17 cs.LG stat.ML
Adopting Robustness and Optimality in Fitting and Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一种推广的修正指数化估计器,通过将鲁棒最优指数推至负无穷优化准-Minimin函数以实现对异常值的自适应鲁棒性,并利用Hessian矩阵扩展凸性区域避免局部最优以保证最优性,在拟合任务和MNIST数据集实验中验证了其有效性。
2023-10-18 cs.LG cs.NE math.OC
Ellipsoid fitting with the Cayley transform
Duke University(杜克大学)
本文提出Cayley变换椭球拟合算法CTEF,利用Cayley变换在任意维度拟合任意椭球并始终返回椭圆解,在非均匀分布数据上表现优异,可有效提取全局曲率非线性特征,在聚类等任务中优于多种流行方法。
2023-09-27 cs.LG stat.AP stat.ML
Hierarchical model reduction driven by machine learning for parametric advection-diffusion-reaction problems in the presence of noisy data
Oak Ridge National Laboratory(橡树岭国家实验室);Politecnico di Milano(米兰理工大学)
我们提出了一种新的方法来产生一个可靠的降阶模型的参数椭圆问题,在存在噪声的数据。参考模型降阶过程是定向HiPOD方法,该方法根据离线/在线范例将分层模型降阶与标准本征正交分解相结合。在本文中,我们表明,定向HiPOD损失的准确性时,问题数据受到噪声的影响。这是由于插值驱动在线阶段,因为它复制了噪声趋势。为了克服这一限制,我们用机器学习拟合模型代替插值,更好地区分数据中的相关物理特征和不相关的非结构化噪声。数值评估虽然是初步的,但证实了新方法的潜力。
2022-04-01 cs.LG cs.NA math.NA
Integral Operator Approaches for Scattered Data Fitting on Spheres
本文提出积分算子框架分析球面上含无界噪声的散乱数据拟合,证明加权谱滤波算法的最优 Sobolev 误差界,并用分治方案降低计算成本。
2024-10-23 cs.LG cs.NA math.NA
Adaptive spline fitting with particle swarm optimization
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校);The University of Rochester(罗切斯特大学)
在用样条曲线拟合数据时,找到节点的最佳位置可以显著提高拟合质量。然而,具有挑战性的高维和非凸优化问题与完全自由的节点放置一直是一个主要的障碍,在使用这种方法。我们提出了一种使用粒子群优化(PSO)与模型选择相结合的方法来解决这一挑战。该方法通过显式正则化减轻了由于节点聚类伴随自由节点放置而导致的过拟合问题,从而显著提高了对高噪声数据的性能。主要的设计选择,在该方法中划定和统计上严格的研究,它们对性能的影响进行了模拟数据和各种各样的基准功能。我们的研究结果表明,基于PSO的自由节点放置导致一个可行的和灵活的自适应样条拟合方法,允许平滑和非平滑函数的拟合。
2020-07-26 cs.LG cs.NE stat.CO
Robustness and Reliability When Training With Noisy Labels
Linköping University(林雪平大学)
为监督学习标记数据可能是昂贵和耗时的,并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时,这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此,虽然深度神经网络已被证明能够拟合随机标签,但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而,此类观察结果涉及准确性的鲁棒性,如果可靠的不确定性量化至关重要,则这是不够的。我们证明了这一点,通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外,我们评估了一组鲁棒的损失函数,其特征在于噪声不敏感,渐近风险最小化。我们发现,严格适当的和强大的损失函数都提供渐近鲁棒性的准确性,但都不能保证最终的模型是校准。此外,即使使用鲁棒损失函数,过拟合在实践中也是一个问题。有了这些结果,我们的目标是解释观察到的鲁棒性常见的训练实践,如早期停止,标签噪声。此外,我们的目标是鼓励开发新的噪声鲁棒算法,不仅保持准确性,但也确保可靠性。
2022-05-12 cs.LG stat.ML
Distributed filtered hyperinterpolation for noisy data on the sphere
Xi’an Jiaotong University(西安交通大学);University of New South Wales(新南威尔士大学);City University of Hong Kong(香港城市大学)
天体物理学、空间天气研究和天体物理学中的问题通常需要在球体上分析有噪声的大数据。本文针对球面上的噪声数据提出了分布式滤波超插值方法,将数据拟合任务分配给多个服务器,以找到输入输出数据映射的良好近似。对于每个服务器,近似是由一小部分正交节点在球体上的过滤超插值。分布式策略允许并行计算的数据处理和模型选择,从而降低了计算成本的每个服务器,同时保留了近似能力相比,过滤超插值。证明了分布式滤波超插值的逼近能力与输入数据和服务器数目之间的定量关系。数值算例表明了该方法的有效性和准确性。
2019-10-06 cs.DC cs.LG cs.NA
AI-Assisted Tumor-Growth Law Discovery from Sparse Data: Refitting and LLM-Based Ranking
University of Oklahoma(俄克拉荷马大学)
本研究提出含符号回归、系数重拟合及LLM排序的AI辅助工作流,用合成Gompertz数据验证,发现经典非线性最小二乘重拟合可减小生长规律误差,LLM排序无一致改进且存数学推理错误,强调需结合数学有效性与预测性能评估生长规律。
2026-10-14 cs.LG
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data
UC Berkeley(伯克利大学);Stanford University(斯坦福大学)
本文证明两层神经网络在含噪标签和良好分离的类条件对数凹分布下,通过梯度下降训练可实现零训练误差并达到极小极大最优测试误差,首次在完全非线性模型与学习动态下建立了良性过拟合理论。
2025-07-02 cs.LG math.ST stat.ML
Learning with Noisy Labels via Sparse Regularization
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
带噪声标签的学习对于训练准确的深度神经网络来说是一项重要且具有挑战性的任务。一些常用的损失函数,如交叉熵(CE),遭受严重的过拟合噪声标签。满足对称条件的鲁棒损失函数被定制以解决这个问题,然而,这遇到了欠拟合效应。在本文中,我们从理论上证明了\textbf{any loss can be made robust to noisy labels}通过限制网络输出的一组排列在一个固定的向量。当固定向量是one-hot时,我们只需要将输出约束为one-hot,但这几乎在所有地方都产生零梯度,从而使基于梯度的优化变得困难。在这项工作中,我们引入了稀疏正则化策略来近似one-hot约束,该策略由网络输出锐化操作和$\ell_p$ -norm($p\le 1$)正则化组成,该锐化操作使网络的输出分布变得尖锐,该正则化使网络的输出变得稀疏。这种简单的方法保证了任意损失函数的鲁棒性,同时不妨碍拟合能力。实验结果表明,该方法在噪声标签和类别不平衡的情况下,能够显著提高常用损失函数的性能,优于现有的方法.该代码可在https://github.com/hitcszx/lnl_sr上获得。
2021-07-31 cs.CV cs.LG stat.ML
A Weak Penalty Neural ODE for Learning Chaotic Dynamics from Noisy Time Series
School of Construction, University North Carolina at Charlotte(北卡罗来纳大学夏洛特分校建筑学院);College of Information Sciences and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Mathematics, Institute for Computational and Data Sciences, The Pennsylvania State University(宾夕法尼亚州立大学数学系与计算和数据科学研究所);School of Mechanical Engineering, Purdue University(普渡大学机械工程学院)
本文提出弱惩罚神经ODE,通过弱形式损失函数有效过滤噪声,提升混沌系统建模的准确性和鲁棒性。
2026-08-19 cs.LG math.DS
Deep Learning is Provably Robust to Symmetric Label Noise
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
深度神经网络(DNN)能够完美地拟合训练数据,包括记忆噪声数据。人们普遍认为,死记硬背不利于概括。因此,许多最近的作品提出缓解策略,以避免嘈杂的数据或正确的记忆。在这项工作中,我们退一步问一个问题:深度学习是否可以在没有任何缓解的情况下对大量标签噪声保持鲁棒性?我们为对称标签噪声的情况提供了肯定的答案:我们发现某些DNN,包括欠参数化和过参数化模型,可以容忍高达信息论阈值的大规模对称标签噪声。通过诉诸经典统计理论和DNN的普遍一致性,我们证明了对于多类分类,如果标签噪声概率小于$\frac{K-1}{K}$,其中$K \ge 2$是类的数量,则在对称标签噪声下训练的$L_1$一致DNN分类器可以渐近地实现贝叶斯最优性。我们的研究结果表明,对称标签噪声,没有缓解是必要的$L_1$ -相合估计量。我们推测,对于一般的标签噪声,利用噪声数据的缓解策略将优于那些忽略噪声数据的策略。
2022-10-26 cs.LG stat.ML
DN-CL: Deep Symbolic Regression against Noise via Contrastive Learning
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对传统符号回归方法忽略真实数据噪声导致拟合精度下降的问题,提出基于对比学习的DN-CL模型,通过双参数共享编码器及正负例对比学习实现抗噪,在含噪与干净数据上均表现优异。
2024-06-21 cs.AI cs.LG
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University(Niigata大学)
本研究通过分析噪声数据中的深度双下降现象,揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Semi-crowdsourced Clustering with Deep Generative Models
Tsinghua University(清华大学)
我们考虑半监督聚类问题,其中众包提供关于数据的小子集上的成对比较的噪声信息,即,样本对是否在同一个聚类中。我们提出了一种新的方法,包括一个深度生成模型(DGM)来表征数据的低级特征,以及一个统计关系模型,用于在其子集上进行噪声成对注释。这两部分共享潜在变量。为了使模型在其复杂性和拟合数据之间自动权衡,我们还开发了其完全贝叶斯变体。推理的挑战是解决快速(自然梯度)随机变分推断算法,在那里我们有效地结合了变分消息传递的关系部分和摊销学习的DGM在一个统一的框架下。在合成数据集和真实数据集上的实证结果表明,我们的模型优于以前的众包聚类方法。
2018-10-29 cs.LG stat.ML
Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors
University of Sydney(悉尼大学)
会话分析系统使用有噪声的人类标签进行训练,并且在多模态特征提取期间通常需要大量的预处理。在单任务学习中使用噪声标签会增加过度拟合的风险。辅助任务可以在相同的训练过程中提高主任务学习的性能-这种方法位于迁移学习和多任务学习(MTL)的交叉点。在本文中,我们探讨了如何预处理的数据用于特征工程可以重复使用作为辅助任务,从而促进数据的生产性使用。我们的主要贡献是:(1)识别出16个有益的辅助任务;(2)研究了主任务和辅助任务之间的学习能力分配方法;(3)研究了主任务和辅助任务之间的相对监督层次。IEMOCAP和SEMAINE数据上的大量实验验证了单任务方法的改进,并表明它可以推广到多个主要任务。
2021-12-02 cs.CL cs.LG
Confidence-based Reliable Learning under Dual Noises
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);RealAI
深度神经网络(DNN)在各种计算机视觉任务中取得了显著的成功,其中大量标记图像通常需要用于模型优化。然而,从开放世界收集的数据不可避免地受到噪声的污染,这可能会严重破坏学习模型的有效性。已经进行了各种尝试来在数据噪声下可靠地训练DNN,但是它们分别考虑标签中存在的噪声或图像中存在的噪声。单纯地将两条线的作品结合在一起,会受到两方面的限制,失去同时处理两种噪音的机会。这项工作提供了一个第一个,统一的框架下的联合(图像,标签)噪声可靠的学习。在技术上,我们开发了一个基于置信度的样本过滤器,逐步过滤掉噪声数据,而不需要预先指定的噪声比。然后,我们惩罚检测到的噪声数据的模型不确定性,而不是让模型继续过度拟合其中的误导信息。在各种具有挑战性的合成和真实世界的噪声数据集上的实验结果验证了所提出的方法可以在分类性能方面优于竞争基线。
2023-02-10 cs.CV cs.LG
Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data
Beijing Institute of Technology(北京理工大学);Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China(光电成像技术与系统教育部重点实验室);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在实际收集的训练数据中,经常会遇到标签损坏和类别不平衡的问题,这很容易导致深度神经网络(DNN)的过拟合。现有的方法通过采用样本重加权策略来缓解这些问题,该策略通过设计加权函数来重新加权样本。然而,它仅适用于仅包含一种类型的数据偏差的训练数据。然而,在实践中,带有损坏的标签和尾类的有偏样本通常共存于训练数据中。如何同时处理它们是一个关键但未充分探索的问题。在本文中,我们发现,这两种类型的有偏样本,虽然有类似的瞬态损失,有区别的趋势和特征的损失曲线,这可以提供有价值的先验样本的权重分配。基于此,我们深入研究了损失曲线,并提出了一种新的探测-分配训练策略:在探测阶段,我们在没有干预的情况下,对整个有偏的训练数据进行训练,并记录每个样本的损失曲线作为一个附加属性;在分配阶段,我们将得到的属性馈送到一个新设计的曲线感知网络,名为CurveNet,学习识别每个样本的偏差类型,并通过元学习自适应地分配适当的权重。元学习的训练速度也阻碍了它的应用。为了解决这个问题,我们提出了一种名为跳跃层Meta优化(SLMO)的方法,通过跳过底层来加快训练速度。大量的合成和真实实验很好地验证了所提出的方法,它实现了国家的最先进的性能在多个具有挑战性的基准。
2021-12-30 cs.AI cs.CV cs.LG