Domain Generalization using Causal Matching
Microsoft Research(微软研究院)
在领域泛化文献中,一个共同的目标是在类标签的条件下学习独立于领域的表示。我们表明,这个目标是不够的:存在反例,即使在满足类条件域不变性后,模型也无法推广到看不见的域。我们通过一个结构因果模型来正式说明这一观察结果,并展示了建模类内变化对泛化的重要性。具体来说,类包含表征特定因果特征的对象,域可以被解释为对这些对象的干预,改变非因果特征。我们强调一个替代条件:如果域之间的输入来自同一对象,则它们应该具有相同的表示。基于这一目标,我们提出了基于匹配的算法时,观察到的基础对象(例如,通过数据增强),并在未观察到对象时近似目标(MatchDG)。我们简单的基于匹配的算法是有竞争力的旋转MNIST,时尚MNIST,PACS和胸部X射线数据集的域外精度的先前工作。我们的方法MatchDG还恢复了地面实况对象匹配:在MNIST和Fashion-MNIST上,来自MatchDG的前10个匹配与地面实况匹配有超过50%的重叠。
2021-06-29 cs.AI cs.LG stat.ML
Towards Understanding Generalization in Gradient-Based Meta-Learning
Mila;Université de Montréal(蒙特利尔大学);Aalto University(阿尔托大学);École Polytechnique de Montréal(蒙特利尔高等理工学院);ElementAI
在这项工作中,我们研究了基于梯度的元学习的神经网络的泛化通过分析各种属性的客观景观。我们通过实验证明,随着元训练的进行,通过几步基于梯度的微调,在调整模型的元训练解决方案后获得的元测试解决方案变得更平坦,损失更低,并且远离元训练解决方案。我们还表明,这些元测试的解决方案变得平坦,即使泛化开始退化,从而提供了一个实验证据,对泛化和平坦的最小值之间的相关性,在基于梯度的元学习的范式。此外,我们提供的经验证据表明,新任务的泛化与参数空间中的适应轨迹之间的一致性相关,通过从相同的元训练解决方案开始的任务特定轨迹方向之间的平均余弦相似性来衡量。我们还表明,元测试梯度的一致性,由元训练解决方案中评估的特定于任务的梯度向量之间的平均内积来衡量,也与泛化相关。基于这些观察,我们提出了一种新的正则化MAML,并提供实验证据证明其有效性。
2019-07-16 cs.CV cs.LG stat.ML
Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset
Trinity College Dublin(都柏林信任学院)
针对异构联邦持续学习中生成重放易遗忘、客户端任务差异导致过拟合的问题,提出STAMP方法,通过模型无关原型筛选、时空梯度匹配及原型近似梯度提升性能,优于现有基线。
2025-05-22 cs.AI cs.LG
Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models
Hyperconnect;Seoul National University(首尔国立大学);Sogang University(西江大学)
提出一种利用大规模预训练模型估计不可观测梯度以缓解源域梯度偏差的领域泛化新方法,在 DomainBed 基准上优于基线,兼顾了任务特定知识学习与泛化能力保持。
2023-09-09 cs.LG
Consistency Regularization for Domain Generalization with Logit Attribution Matching
Huawei(华为);The Hong Kong University of Science and Technology(香港科技大学)
本文针对领域泛化中语义共享对的一致性正则化问题,提出Logit归因匹配方法,通过理论证明一致性正则化有助于领域泛化,并在多个基准和预训练模型上验证其优于现有单源/多源DG及各类CR方法。
2024-06-12 cs.LG
ITSA: An Information-Theoretic Approach to Automatic Shortcut Avoidance and Domain Generalization in Stereo Matching Networks
RMIT University(皇家墨尔本理工大学);Edith Cowan University(埃迪斯科文大学)
仅在合成数据上训练的最先进的立体匹配网络通常无法推广到更具挑战性的真实数据域。在本文中,我们试图揭示阻碍网络跨领域推广的一个重要因素:通过捷径学习的镜头。我们证明了立体匹配网络中特征表示的学习受到合成数据伪像(快捷属性)的严重影响。为了缓解这个问题,我们提出了一个信息理论的避免~(ITSA)的方法来自动限制捷径相关的信息被编码到特征表示。因此,我们提出的方法通过最小化潜在特征对输入变化的敏感性来学习鲁棒和捷径不变的特征。为了避免直接输入灵敏度优化的计算成本过高,我们提出了一个有效而可行的算法来实现鲁棒性。我们表明,使用这种方法,纯粹在合成数据上训练的最先进的立体匹配网络可以有效地推广到具有挑战性的和以前看不见的真实数据场景。重要的是,所提出的方法增强了合成训练网络的鲁棒性,使得它们在挑战域外立体数据集时优于其微调的对应网络(在真实数据上)。
2022-03-03 cs.CV cs.LG
Domain Generalization via Gradient Surgery
CONICET(国家科学技术研究委员会);UNL(国立滨海大学)
在实际应用中,机器学习模型经常面临训练域和测试域之间的数据分布发生变化的场景。当目标是对不同于训练时看到的分布进行预测时,我们会遇到领域泛化问题。解决此问题的方法使用来自多个源域的数据学习模型,然后将此模型应用于看不见的目标域。我们的假设是,当使用多个域进行训练时,每个小批中的冲突梯度包含特定于各个域的信息,这些信息与其他域(包括测试域)无关。如果保持不变,这种分歧可能会降低泛化性能。在这项工作中,我们的特点是出现在域转移的情况下,并设计新的梯度协议的基础上梯度手术,以减轻其影响的战略冲突的梯度。我们在三个多域数据集的图像分类任务中验证了我们的方法,显示了所提出的一致性策略在增强域转移场景中深度学习模型的泛化能力方面的价值。
2021-11-03 cs.CV cs.LG eess.IV
Balancing Multimodal Domain Generalization via Gradient Modulation and Projection
本文提出GMP方法,通过解耦分类与领域不变目标的梯度,调节模态梯度基于语义和领域置信度,并动态调整梯度投影以平衡多模态领域泛化中的优化不均衡问题。
2026-03-15 cs.CV cs.LG
Simple, Safe, and Overlooked: Reclaiming Sustainable Domain Generalization with Statistical Color Matching
University of Bamberg(班贝格大学);xAILab
该研究提出高效可解释的Colorist策略,通过RGB空间统计色彩匹配提升医学图像分类器的领域泛化能力,在多类医学数据集上显著优于现有方法,且安全低耗。
2026-09-10 cs.CV cs.LG eess.IV
Federated Unsupervised Domain Generalization using Global and Local Alignment of Gradients
本文首次研究无监督联邦域泛化,提出FedGaLA方法,通过在客户端和服务器端分别进行局部与全局梯度对齐来学习域不变特征并提升模型泛化能力,在多个多域数据集上验证了其优于基线方法的性能。
2025-01-02 cs.AI cs.LG
Federated Domain Generalization with Data-free On-server Matching Gradient
Pusan National University(釜山国立大学);Trinity College Dublin(都柏林三一学院)
提出FedOMG方法,通过服务器端梯度内积最大化利用分布式域信息,实现联邦域泛化,无需额外通信成本,在多个基准数据集上超越现有SOTA。
2025-05-26 cs.AI cs.DC cs.LG
Interpretation and Generalization of Score Matching
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
分数匹配是近年来发展起来的一种参数学习方法,它对具有复杂划分函数的高维密度模型特别有效。在本文中,我们研究了两个问题,尚未完全解决的分数匹配。首先,我们提供了一个正式的最大似然和得分匹配之间的联系。我们的分析表明,分数匹配发现模型参数,更强大的噪声训练数据。其次,我们开发了一个泛化的分数匹配。基于这种推广,我们进一步证明了扩展的分数匹配模型的离散数据。
2012-05-09 cs.LG stat.ML
Generalization Bounds for Set-to-Set Matching with Negative Sampling
ZOZO Research(ZOZO研究院)
匹配两组多个元素的问题,即集合到集合匹配,近年来受到了极大的关注。特别地,已经报道了通过准备神经网络作为匹配函数可以获得良好的实验结果,特别是在例如集合的每个元素是图像的复杂情况下。然而,理论分析集到集匹配与这样的黑盒功能是缺乏的。本文旨在执行一个泛化错误分析集到集匹配,以揭示该任务中的模型的行为。
2023-02-25 cs.LG stat.ML
Learning Stochastic Differential Equations With Gaussian Processes Without Gradient Matching
Aalto University(阿尔托大学)
介绍了一种新的学习随机微分方程非参数漂移和扩散函数的范例。所提出的模型学习模拟路径分布,匹配具有非均匀时间增量和任意稀疏性的观测值,这与不优化模拟响应的梯度匹配相反。我们制定的灵敏度方程的学习和证明,我们的一般随机分布优化导致鲁棒性和有效的学习的可编程系统。
2018-07-31 cs.LG stat.ML
Gradient Flow Matching for Learning Update Dynamics in Neural Network Training
Department of Computer Science Baylor University(计算机科学系 伯莱尔大学);Department of Computer Science RPI(计算机科学系 哈佛理工学院)
提出梯度流匹配(GFM)框架,将神经网络训练建模为优化器感知的连续动态系统,利用条件流匹配捕捉更新规则,实现从部分训练序列准确预测最终权重,性能媲美Transformer并优于LSTM等基线,且跨架构泛化。
2025-05-26 cs.LG stat.ML
Path Gradients after Flow Matching
Freie Universität Berlin(柏林自由大学)
针对已知目标能量的分子平衡采样,本文提出用路径梯度微调经Flow Matching初始化的CNF,在不增加模型、预算和采样的情况下将采样效率最高提升三倍并保留流结构。
2025-10-20 cs.LG stat.ML
Learning nonparametric differential equations with operator-valued kernels and gradient matching
IRSN(法国辐射防护与核安全研究所);Institut Mines-Télécom(矿业电信学院);Télécom ParisTech(巴黎高等电信学校)
用常微分方程对动态系统建模意味着对动态过程的机械论观点。然而,在许多情况下,这些知识是不可用的。为了克服这个问题,我们引入了一个一般的框架,非参数常微分方程模型,使用惩罚回归再生核希尔伯特空间(RKHS)的基础上操作值的内核。此外,我们将梯度匹配方法的范围扩展到非参数常微分方程。建立了一个光滑的估计的解决方案ODE提供一个近似的导数的ODE解决方案,这反过来又被用来学习非参数ODE模型。这种方法受益于RKHS中惩罚回归的灵活性,允许岭或(结构化)稀疏回归。在3个不同的ODE系统上显示了非常好的结果。
2014-11-19 cs.LG stat.ML
Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH CLS(马克斯·普朗克-苏黎世联邦理工计算与系统神经科学中心);MPI-IS Tübingen(图宾根马克斯·普朗克智能系统研究所)
动态系统的参数辨识与比较在许多领域都是一个具有挑战性的课题。基于时间序列数据的高斯过程回归的贝叶斯方法已经成功地应用于推断动态系统的参数,而无需显式求解它。我们提供了一个新的解释,导致更好地理解和改进的最先进的性能方面的非线性动力系统的准确性。
2019-03-01 cs.LG stat.ML
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Stein变分梯度下降(SVGD)是一种非参数推理算法,它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD,存在一组功能,我们称之为Stein匹配集,其期望值是完全估计的任何一组粒子,满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架,分析不同的内核的SVGD的性能,脱落洞察到最佳的内核选择。特别是,我们表明,SVGD与线性内核产生精确估计的均值和方差的高斯分布,而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点,经典的推理问题,拟合斯坦的身份或解决斯坦方程,这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
From Optimization Dynamics to Generalization Bounds via Łojasiewicz Gradient Inequality
National University of Singapore(新加坡国立大学)
优化和泛化是统计机器学习的两个基本方面。本文通过分析梯度流算法下基于优化轨迹的泛化误差,提出了一个将优化与泛化相结合的框架。该框架的关键成分是Uniform-LGI,这是在训练机器学习模型时通常满足的属性。利用Uniform-LGI,我们首先推导了梯度流算法的收敛速度,然后给出了一大类机器学习模型的泛化界。我们进一步将我们的框架应用于三种不同的机器学习模型:线性回归,核回归和两层神经网络。通过我们的方法,我们得到的泛化估计匹配或扩展以前的结果。
2022-10-12 cs.LG stat.ML
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge(剑桥大学)
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标,通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量,证明只有梯度分量影响Fokker-Planck动力学,并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Efficient Learning of Generative Models via Finite-Difference Score Matching
Tsinghua University(清华大学);Stanford University(斯坦福大学)
若干机器学习应用涉及高阶导数的优化(例如,梯度的梯度),即使在自动微分的情况下,这在存储器和计算方面也是昂贵的。作为生成式建模中的一个典型例子,分数匹配(SM)涉及到Hessian轨迹的优化。为了提高计算效率,我们重写SM目标及其变种的方向导数,并提出了一个通用的策略,有效地近似任意阶方向导数有限差分(FD)。我们的近似只涉及函数求值,可以并行执行,没有梯度计算。因此,它降低了总的计算成本,同时也提高了数值稳定性。我们提供了两个实例,通过重新制定到FD形式的SM目标的变体。从经验上讲,我们证明了我们的方法产生的结果与基于梯度的同行相比,同时计算效率更高。
2020-11-25 cs.LG stat.ML
On the Closed-Form of Flow Matching: Generalization Does Not Arise from Target Stochasticity
Université Jean Monnet Saint-Étienne, CNRS, Institut d’Optique Graduate School, Inria, Laboratoire Hubert Curien UMR 5516;ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, Inria, LIP UMR 5668;Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668;Institut Universitaire de France
本文通过实验证明,流匹配中闭式形式的损失在高维情况下与随机形式效果相近,且可能提升性能,反驳了目标随机性驱动泛化的观点。
2025-12-01 cs.LG stat.ML
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习(RL)代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而,在实践中,算法往往需要大量的训练经验来学习和推广。此外,经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面,基于模型的强化学习试图从经验中学习环境模型,并且具有更高的样本效率,但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中,我们提出了一种梯度匹配算法,以提高样本效率,利用目标斜率信息的动态预测器,以帮助无模型学习。我们证明了这一点,提出了一种技术,用于匹配的梯度信息,从基于模型的学习与无模型的组件在一个抽象的低维空间,并验证所提出的技术,通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra(庞培法布拉大学);Element AI(Element AI公司);Mila(米拉实验室);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
我们研究了流行的随机优化方法称为随机梯度下降(SGD)优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差,依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差(相对于数据分布)和目标函数沿SGD路径的局部平滑度,以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation
Lomonosov MSU(罗蒙诺索夫莫斯科国立大学)
使用庞大的训练数据集可能成本高昂且不方便。本文探讨了各种数据提取技术,这些技术可以减少成功训练深度网络所需的数据量。受最近想法的启发,我们提出了基于生成教学网络,梯度匹配和隐函数定理的新数据蒸馏技术。MNIST图像分类问题的实验表明,新方法比以前的方法在计算上更有效,并允许提高在蒸馏数据上训练的模型的性能。
2022-03-16 cs.AI cs.LG cs.NE
Analysing Training-Data Leakage from Gradients through Linear Systems and Gradient Matching
最近的工作表明,它是可能的重建训练图像和它们的标签从梯度的图像分类模型时,其架构是已知的。不幸的是,对这些梯度泄漏攻击的有效性和失败的理论理解仍然不完整。在本文中,我们提出了一个新的框架来分析梯度的训练数据泄漏,从分析和基于优化的梯度泄漏攻击中获得见解。我们制定的重建问题,从每一层迭代求解线性系统,伴随着使用梯度匹配的校正。在这个框架下,我们声称,重建问题的溶解度主要是由在每一层的线性系统。因此,我们能够将深度网络中训练数据的泄漏部分归因于其架构。我们还提出了一个度量标准来衡量深度学习模型对训练数据的基于梯度的攻击的安全级别。
2022-10-20 cs.LG
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia(微软亚洲研究院)
随机梯度下降(SGD)在训练深度神经网络方面取得了巨大成功,其中梯度是通过反向传播计算的。然而,不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播,它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题,这需要很高的计算成本。然后,我们减少了近似的后匹配传播,并提出了一种算法,变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络,并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent
University of Kaiserslautern(凯泽斯劳滕大学)
近年来,关于随机梯度下降算法的稳定性和推广性的研究已成为一个热点。然而,现有的稳定性分析需要对梯度的有界性、损失函数的强光滑性和凸性等条件进行限制性假设。在本文中,我们提供了一个细粒度的分析稳定性和推广的SGD大幅放宽这些假设。首先,我们建立稳定性和推广SGD通过删除现有的有界梯度假设。关键的想法是引入一个新的稳定性措施,称为平均模型稳定性,我们开发新的边界控制的风险SGD迭代。这产生的泛化边界取决于最佳模型的行为,并导致有史以来第一次已知的快速边界在低噪声设置使用稳定性方法。其次,光滑性假设放宽考虑损失函数与持有人连续(子)梯度,我们表明,最佳的界限仍然是通过平衡计算和稳定性。据我们所知,这给出了第一个已知的稳定性和推广范围的SGD甚至不可微的损失函数。最后,我们研究了具有(强)凸目标但非凸损失函数的学习问题。
2020-06-15 cs.LG stat.ML
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
交叉验证是现代应用统计学和机器学习的主力,因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中,我们证明了交叉验证风险对于许多常见的机器学习算法,包括逻辑斯谛回归,弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性,我们提出了一种用于超参数优化的交叉验证梯度方法(CVGM)。我们的方法可以在高维超参数空间中有效地优化交叉验证风险,这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Global Optimization By Gradient From Hierarchical Score-Matching Spaces
本文提出一种基于分数匹配的梯度优化方法,统一处理各种复杂约束的优化问题,通过实验验证其有效性,并揭示了全局优化与扩散生成模型之间的深层联系。
2026-03-18 cs.LG
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège(列日大学)
分布式异步SGD已被广泛用于大型系统中的深度学习,但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中,我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述,我们引入能量的概念来描述优化过程,并推导出一个充分条件,确保其稳定性,只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准,我们得到一个稳定的分布式异步优化程序,GEM,估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比,现有的计划,即使扩展到100个异步工人。结果还表明,更好的推广相比,有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks
University of Birmingham(伯明翰大学);Alibaba Group(阿里巴巴集团);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
虽然已经取得了重大的理论进展,但揭开过参数化神经网络的泛化奥秘仍然很难实现。在本文中,我们研究了浅层神经网络(SNNs)的泛化行为,利用算法稳定性的概念。我们考虑梯度下降(GD)和随机梯度下降(SGD)训练SNN,对于这两个我们制定一致的超额风险界限通过平衡的优化和推广通过早期停止。与现有的GD分析相比,我们的新分析需要一个宽松的overparameterization假设,也适用于SGD。改进的关键是通过提供GD和SGD的迭代的精细估计来更好地估计经验风险和损失函数沿GD和SGD轨迹的Hessian矩阵的最小特征值。
2022-09-19 cs.LG stat.ML
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
理解深度学习泛化的一个主要挑战是解释为什么(随机)梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明,即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间,当数据分布具有某种潜在的空间结构时,具有卷积层的网络可以比另一个网络更好地泛化。我们认为,这种差异是由卷积架构、数据分布和梯度下降的组合造成的,所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数,给定的梯度下降的优化算法,然后解释使用具体的例子的结果。实验结果表明,我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
ICLR Reproducibility Challenge Report (Padam : Closing The Generalization Gap Of Adaptive Gradient Methods in Training Deep Neural Networks)
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
这项工作是ICLR ReproductiveChallenge 2019的一部分,我们试图在会议提交的PADAM中重现结果:关闭自适应梯度方法在训练深度神经网络中的泛化差距。过去提出的自适应梯度方法表现出退化的泛化性能比随机梯度下降(SGD)的动量。作者试图通过设计一种新的优化算法来解决这个问题,该算法弥合了自适应梯度算法和带有动量的SGD之间的差距。通过这种方法,引入了一个新的可调超参数,称为部分自适应参数p,其在[0,0.5]之间变化。我们建立建议的优化器,并使用它来反映作者进行的实验。我们回顾和评论作者进行的实证分析。最后,我们还提出了Padam的进一步研究方向。我们的代码可在:https://github.com/yashkant/Padam-Tensorflow
2019-01-28 cs.LG stat.ML
Delving into Effective Gradient Matching for Dataset Condensation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着深度学习模型和数据集的快速扩展,网络训练非常耗时且耗费资源。而不是在整个数据集上进行训练,使用小的合成数据集进行学习成为一种有效的解决方案。在数据集压缩的方向上已经进行了广泛的研究,其中梯度匹配达到了最先进的性能。梯度匹配方法通过在原始数据集和合成数据集上训练时匹配梯度来直接针对训练动态。然而,对这种方法的原理和有效性的深入研究有限。在这项工作中,我们从一个全面的角度深入研究了梯度匹配方法,并回答了匹配什么、如何匹配以及在哪里匹配的关键问题。我们建议匹配多级梯度,以涉及类内和类间梯度信息。我们证明了距离函数应该关注角度,同时考虑幅度以延迟过拟合。提出了一种过拟合自适应学习步长策略,以减少不必要的优化步骤,提高算法效率。消融和比较实验表明,我们提出的方法显示出优越的准确性,效率和泛化相比,以前的工作。
2022-07-30 cs.CV cs.LG
Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models
ETH Zürich(苏黎世联邦理工学院)
一般的微分方程,特别是神经常微分方程是连续时间系统辨识的基本技术。虽然许多确定性学习算法已经通过伴随方法基于数值积分来设计,但是许多下游任务,例如主动学习、强化学习中的探索、鲁棒控制或滤波,需要对预测不确定性进行精确估计。在这项工作中,我们提出了一种新的方法来估计认知不确定的神经常微分方程,避免了数值积分瓶颈。而不是在ODE参数建模的不确定性,我们直接在状态空间中的不确定性建模。我们的算法-分布式梯度匹配(DGM)-联合训练一个平滑器和一个动态模型,并通过最小化Wasserstein损失来匹配它们的梯度。我们的实验表明,与传统的基于数值积分的近似推理方法相比,我们的方法更快地进行训练,更快地预测以前看不见的轨迹,并且在神经ODE的背景下,更准确。
2021-10-15 cs.LG math.DS stat.ML
Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel
University of California San Diego(加州大学圣地亚哥分校);University of California Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);RIKEN AIP(理化学研究所Advanced Institute for Scientific Research);University of Sydney(悉尼大学);University of Tokyo(东京大学)
该研究提出损失路径核(LPK)这一数据依赖核,建立梯度流的泛化界,结合稳定性分析与Rademacher复杂度证明,可恢复现有核回归界且体现神经网络特征学习能力,实验验证该界与真实泛化间隙相关性良好。
2025-06-12 cs.LG stat.ML
Generalization error bound for denoising score matching under relaxed manifold assumption
HSE University(高等经济大学)
本文在放松流形假设下,推导了去噪分数匹配估计的非渐近误差界,揭示了收敛速度与内在维度的关系。
2025-06-17 cs.LG math.ST stat.ML
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University(普渡大学)
本文研究混合线性回归中响应扩散的分数匹配,通过KL散度连接似然与EM算子,证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
SGD Implicitly Regularizes Generalization Error
MIT(麻省理工学院);Salesforce(赛富时)
我们推导出一个简单的和模型无关的公式,由于梯度下降更新的泛化差距的变化。然后,我们比较了测试误差的变化随机梯度下降的变化,从一个相等数量的梯度下降更新的测试误差,并明确表明,随机梯度下降的行为,以规范化泛化误差通过去相关附近的更新。这些计算仅通过梯度分布的均值和协方差取决于模型的细节,对于感兴趣的特定模型,可以容易地测量梯度分布的均值和协方差。我们讨论进一步改进这些计算和评论可能的影响随机优化。
2021-04-10 cs.LG stat.ML
Towards Better Generalization: BP-SVRG in Training Deep Neural Networks
Peking University(北京大学)
随机方差缩减梯度法(SVRG)是一种经典的优化方法。虽然理论上证明了它比随机梯度下降(SGD)具有更好的收敛性能,但SVRG的泛化性能仍然是开放的。本文研究了最小化和学习率衰减等训练技术对SVRG泛化性能的影响,并验证了B-SVRG的泛化性能。就优化和泛化之间的关系而言,我们认为每个训练样本上的平均梯度范数以及平均梯度范数表明景观有多平坦以及模型的泛化能力有多好。基于对这些指标的经验观察,我们对B-SVRG进行了符号切换,并推导出一种实用的算法BatchPlus-SVRG(BP-SVRG),数值显示该算法比B-SVRG具有更好的泛化性能,甚至在深度神经网络的某些场景中具有SGD。
2019-08-18 cs.LG stat.ML
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来,人们一直认为,在深度神经网络中,小批量随机梯度下降比大批量梯度下降更能泛化。然而,最近的论文对这一说法提出了质疑,认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中,我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描,这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练,并且大批量实现较小的训练损失,也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化,我们提供了一个理论帐户,我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学);University of Virginia(弗吉尼亚大学)
自适应梯度方法采用历史梯度信息来自动调整学习率,尽管具有快速收敛的良好特性,但在训练深度神经网络时,已观察到比具有动量的随机梯度下降(SGD)更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中,我们表明,自适应梯度方法,如亚当,Amsgrad,有时是“过适应”。我们设计了一种新的算法,称为部分自适应动量估计方法,它通过引入部分自适应参数$p$,将Adam/Amsgrad和SGD统一起来,以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明,该算法在训练深度神经网络时,在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Texas A&M University(德克萨斯农工大学)
本文在统计学习理论框架下,通过引入组合均匀稳定性概念,首次分析了随机组合梯度下降算法(SCGD和SCSC)的稳定性与泛化性,并推导出维度无关的超额风险界。
2023-11-21 cs.LG stat.ML
CSGO: Constrained-Softassign Gradient Optimization For Large Graph Matching
Beijing Normal University(北京师范大学);BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院)
本文提出 CSGO 框架,通过自适应步长保证约束梯度法收敛,并以可扩展 softassign 提升大图匹配的速度、鲁棒性与抗溢出能力,实验性能优于现有方法,属性图匹配速度提升超10倍。
2024-12-10 cs.LG math.CO
Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference
University of Pennsylvania(宾夕法尼亚大学);North Carolina State University(北卡罗来纳州立大学)
本文证明黑盒变分推断在光滑二次增长对数似然下满足对应 SGD 的 $ABC$ 条件的匹配梯度方差界,并推广至非线性协方差参数化,揭示均值场参数化更优的维度依赖。
2023-06-04 cs.LG math.OC stat.CO
NL-SME: Enhancing Multi-Step Gradient Inversion through Adaptive Two-State Matching
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China(民族语言智能分析与安全治理教育部重点实验室,中央民族大学)
针对联邦学习梯度反演攻击问题,提出NL-SME方法,通过构建可学习非线性替代轨迹近似隐藏局部状态,整合轨迹级信息与校准梯度匹配,提升多步梯度反演性能,揭示隐私泄漏风险。
2026-11-17 cs.CR cs.LG
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
实证研究表明,基于梯度的方法可以学习深度神经网络(DNN),在过参数化机制中具有非常好的泛化性能,其中DNN可以很容易地适应训练数据的随机标记。最近,一系列工作在理论上解释了,通过过度参数化和适当的随机初始化,基于梯度的方法可以找到DNN训练损失的全局最小值。然而,现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的,并且与训练算法无关。在这项工作中,我们推导出深度ReLU网络的算法相关泛化误差界,并表明在对数据分布的某些假设下,具有适当随机初始化的梯度下降(GD)能够训练一个充分过参数化的DNN,以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Partitioned Gradient Matching-based Data Subset Selection for Compute-Efficient Robust ASR Training
IBM Research(IBM研究院);Indian Institute of Technology Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
培训最先进的ASR系统(如RNN-T)通常具有很高的相关财务和环境成本。如果选择的子集可以实现与使用整个数据集进行训练的性能相当,则使用训练数据的子集进行训练可以缓解此问题。虽然有许多数据子集选择(DSS)算法,但直接应用于RNN-T是困难的,特别是自适应和使用梯度等学习动态的DSS算法,因为RNN-T往往具有具有显着更大的内存占用的梯度。在本文中,我们提出了分区梯度匹配(PGM)一种新的分布式DSS算法,适用于大规模数据集,如用于训练RNN-T。通过在Librispeech 100 H和Librispeech 960 H上进行的大量实验,我们表明PGM在只有非常小的准确性下降(绝对WER差异低于1%)的情况下实现了3倍至6倍的加速。此外,即使在训练数据被噪声破坏的情况下,我们也证明了PGM的类似结果。
2022-10-30 cs.LG
Value Gradient Guidance for Flow Matching Alignment
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Tübingen(图宾根大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);Mila – Quebec AI Institute(魁北克AI研究所)
VGG-Flow通过价值梯度指导实现流匹配模型的高效微调与先验保留对齐。
2026-03-03 cs.CV cs.LG
An Invariant Matching Property for Distribution Generalization under Intervened Response
University of Utah(犹他大学)
分布泛化的任务涉及在未知环境中对响应进行可靠的预测。结构因果模型被证明是有用的模型分布的变化,通过干预。受基本不变性原理的启发,通常假设给定其预测因子的响应的条件分布在不同环境中保持相同。然而,在实际环境中,当反应被干预时,这一假设可能会被违反。本文研究了一类具有干预反应的模型.我们确定了一种新的形式的不变性,将某些功能的估计作为额外的预测。有效地,我们证明了这种不变性相当于有一个确定性的线性匹配,使泛化成为可能。我们提供了一个明确的表征的线性匹配,并提出我们的模拟结果在各种干预设置。
2022-06-11 cs.LG stat.ME
Decoupling and Damping: Structurally-Regularized Gradient Matching for Multimodal Graph Condensation
Xiamen University(厦门大学)
本文提出SR-GM框架,通过梯度解耦和结构阻尼正则化解决多模态图压缩中的语义错位和梯度噪声问题,实现高效稳定的图结构压缩。
2026-02-09 cs.LG
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Scientific Computing & Imaging Institute, University of Utah(犹他大学科学计算与成像研究所)
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具,随机梯度下降已经得到了大量的研究。然而,社区很少关注其分散的变体。在本文中,我们提供了一个新的制定分散随机梯度下降。利用这个公式与(非)凸优化理论,我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上,并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML