An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization
CMU（卡内基梅隆大学）
分布外泛化的一个流行假设是，训练数据包括子数据集，每个子数据集都来自不同的分布;目标是“内插”这些分布并“外推”到它们之外-这个目标被广泛称为领域泛化。一个普遍的看法是，机构风险管理可以内插，但不能外推，后者要困难得多，但这些说法是模糊的，缺乏正式的理由。在这项工作中，我们重铸泛化子群之间的玩家最大限度地减少风险和对手提出新的测试分布的在线游戏。根据现有的概念间和外推的基础上重新加权的子组的可能性，我们严格证明，外推是计算上比插值困难得多，虽然他们的统计复杂性是没有显着不同。此外，我们表明，ERM -或嘈杂的变种-是可证明的最小最优的这两项任务。我们的框架提出了一个新的途径，正式分析的领域泛化算法，可能是独立的利益。
2021-11-18 cs.AI cs.GT cs.LG
Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization
PIC4SeR PoliTo Interdepartmental Center for Service Robotics（PIC4SeR 都灵理工大学服务机器人跨部门中心）；Politecnico di Torino（都灵理工大学）
本文系统分析不同骨干网络对域泛化能力的影响，发现骨干性能与DG能力线性相关，采用强骨干加数据增强的朴素ERM即可超越现有DG算法，提出以骨干为中心的新研究范式。
2023-05-09 cs.CV cs.LG
Adaptive Domain Generalization via Online Disagreement Minimization
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本文提出 AdaODM 框架，通过在测试时利用多个领域特定分类器间的预测分歧自适应微调源模型，从而提升现有领域泛化算法的跨域泛化性能，并在多个基准上取得最优结果。
2023-07-09 cs.CV cs.LG
What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization
Boston University（波士顿大学）；Runway
研究模型架构与预训练目标对特征丰富度的影响，提出利用扩散模型特征空间无监督发现伪域结构并增强分类器，在5个数据集上最高提升未见域测试准确率超4%，优于多数使用域标签的算法。
2025-04-28 cs.CV cs.LG
Federated Learning under Covariate Shifts with Generalization Guarantees
University of Oslo（奥斯陆大学）；Visual Intelligence Centre（视觉智能中心）；EPFL（洛桑联邦理工学院）
针对联邦学习中客户端内外协变量偏移影响泛化性能的问题，提出FTW-ERM及通信高效变体FITW-ERM，理论和实验均验证了其在泛化性能上优于现有基线。
2023-06-08 cs.LG
A Controlled Evaluation of Curvature Inspired Scalar Feature Scaling for Domain Generalization
Indian Institute of Technology Bombay（印度孟买理工学院）
本文评估了曲率启发的领域泛化方法HyperDG，在四个数据集上对比实验发现其性能弱于DomainBed ERM，仅在宏观层面与ERM等价，未发现显著性能差异，未涉及双曲表示学习。
2026-10-14 cs.AI cs.CV cs.LG
How Does Independence Help Generalization? Sample Complexity of ERM on Product Distributions
Harvard University（哈佛大学）
虽然许多经典的可学习性概念（例如，PAC可学习性）是与分布无关的，利用输入分布的特定结构可以提高学习性能。例如，多维输入空间上的产品分布具有比相关分布简单得多的结构。最近的一篇论文[GHTZ 21]表明，产品分布上的一般学习问题的样本复杂度在输入维上是多项式的，这比相关分布上的样本复杂度要小。然而，他们使用的学习算法不是标准的经验风险最小化（ERM）算法。在这篇文章中，我们描述了样本复杂性的ERM产品分布的一般学习问题。我们发现，即使产品分布比相关分布简单，ERM仍然需要指数数量的样本来学习产品分布，而不是多项式。这导致了这样的结论，即产品分布本身并不能使学习问题变得更容易-需要专门为产品分布设计的算法。
2022-12-13 cs.DS cs.GT cs.LG
Generalization Error of $f$-Divergence Stabilized Algorithms via Duality
INRIA（法国国家信息与自动化研究所）；Princeton University（普林斯顿大学）；Alan Turing Institute（阿兰·图灵研究所）
本文将 ERM-$f$DR 扩展至约束优化，并借助 Legendre-Fenchel 对偶与隐函数定理刻画一般算法及 ERM-$f$DR 解的泛化误差。
2025-02-20 cs.LG stat.ML
Understanding Transfer Learning via Mean-field Analysis
The Alan Turing Institute（艾伦·图灵研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文利用概率测度空间上的微分学框架，分析了α-ERM和KL正则化微调两种迁移学习场景的泛化误差与收敛速率，并证明平均场机制下单隐层神经网络迁移学习的优势。
2024-10-23 cs.LG math.FA stat.ML
The Price of Implicit Bias in Adversarially Robust Generalization
New York University（纽约大学）；TTI-Chicago（芝加哥TTI学院）；Meta FAIR
本文研究鲁棒ERM中优化隐式偏差对鲁棒泛化的影响，揭示其通过优化算法和架构两种途径显著影响模型鲁棒性，并通过模拟与深度神经网络实验加以验证。
2024-06-07 cs.LG stat.ML
Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm
Massachusetts Institute of Technology（麻省理工学院）；University College London（伦敦大学学院）
我们提供了一个基于吉布斯的迁移学习算法的泛化能力的信息论分析，专注于两个流行的迁移学习方法，$α$加权ERM和两阶段ERM。我们的主要结果是一个精确的泛化行为的特征，使用输出假设和目标训练样本之间的条件对称化KL信息给定的源样本。我们的结果也可以应用于提供新的分布自由的泛化误差上界这两个前面提到的吉布斯算法。我们的方法是多功能的，因为它也表征了这两个吉布斯算法的泛化误差和超额风险的渐近制度，在那里他们收敛到$α$加权的ERM和两阶段的ERM，分别。基于我们的理论结果，我们表明，迁移学习的好处可以被看作是一个偏差-方差权衡，与源分布引起的偏差和目标样本的缺乏引起的方差。我们相信这一观点可以指导实践中迁移学习算法的选择。
2021-11-02 cs.IT cs.LG math.IT
Understanding and Improving Feature Learning for Out-of-Distribution Generalization
The Chinese University of Hong Kong（香港中文大学）；RIKEN AIP（日本理化学研究所先进智能研究中心）；Tencent AI Lab（腾讯AI实验室）；Hong Kong Baptist University（香港浸会大学）
本文从理论上分析了ERM同时学习虚假特征与不变特征但虚假特征学习更快的问题，并提出特征增强训练FeAT，通过迭代保留与增强特征来提升分布外泛化性能。
2023-10-29 cs.LG stat.ML
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney（悉尼大学）
在本文中，我们研究了在过参数化深度ReLU网络上实现经验风险最小化（ERM）的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案，我们严格证明了在温和的条件下，存在完美的全局最小值，对于许多类型的数据，这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降（SGD）算法实现至关重要，因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Generalization of ERM in Stochastic Convex Optimization: The Dimension Strikes Back
IBM Research – Almaden（IBM阿尔马登研究院）
在随机凸优化中，目标是最小化凸集$\cal K \subset {\mathbb R}^d$上的凸函数$F(x) \doteq {\mathbf E}_{{\mathbf f}\sim D}[{\mathbf f}(x)]$，其中$D$是某个未知分布，并且在$D$支持下的每个$f(\cdot)$在$\cal K$上是凸的。优化通常基于i.i.d.~来自$D$的样品$f^1,f^2,\ldots,f^n$。解决此类问题的标准方法是优化$F_S(x) \doteq \frac{1}{n}\sum_{i\leq n} f^i(x)$的经验风险最小化（ERM）。在这里，我们考虑的问题，有多少样本是必要的ERM成功和密切相关的问题的一致收敛$F_S$ $F$ $\cal K$。我们证明，在标准的$\ell_p/\ell_q$设置的Lipschitz有界的功能在$\cal K$的有界半径，ERM需要的样本大小，规模与尺寸$d$线性。这几乎与标准上限匹配，并改善了Shalev-Shwartz等人（2009）证明的$\ell_2/\ell_2$设置的$Ω(\log d)$依赖性。与此形成鲜明对比的是，这些问题可以使用用于$\ell_2/\ell_2$设置的与维度无关的样本数和用于$\ell_1/\ell_\infty$设置的$\log d$依赖性来解决，使用其他方法。我们进一步表明，我们的下界适用…
2016-12-26 cs.LG stat.ML
Acoustic domain shift in spoken language identification from systematic domain generalization evaluation to real-world application
THALES（泰雷兹集团）
本文提出小规模语音数据集和评估协议，系统研究口语语言识别中的声学域偏移，发现域内性能不能预测跨域鲁棒性，且显式域不变算法不优于ERM，并在MMS-LID-126上验证。
2026-09-29 cs.LG cs.SD eess.AS
Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
领域泛化的目标是在看不见的测试环境中使用来自有限数量的训练环境的数据表现良好。尽管这项任务的建议算法激增，但从理论上和经验上评估它们的性能仍然非常具有挑战性。分布式匹配算法，例如（条件）域对抗网络[Ganin等人，2016，Long等人，[2018年]很受欢迎，并享受经验上的成功，但他们缺乏正式的保证。其他方法，例如不变风险最小化（Invariant Risk Minimization，缩写为IMR），需要大量的训练环境--在伪特征空间$d_s$的维度上是线性的--即使是在简单的数据模型上，如Rosenfeld等人，2021年]。根据这个模型的一个变体，我们表明，ERM和ESTA不能概括与$o(d_s)$环境。然后，我们提出了一个迭代的特征匹配算法，保证高概率产生一个预测，概括后，只看到$O(\log d_s)$环境。我们的研究结果提供了第一个理论上的理由，在实践中广泛使用的一个具体的非平凡的数据模型下的分布匹配算法的家庭。
2021-11-22 cs.LG stat.ML
Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization
Carnegie Mellon University（卡内基梅隆大学）
深度网络无法泛化分布外的一个常见解释是，它们无法恢复“正确”的特征。我们用一个简单的实验来挑战这个概念，这个实验表明ERM已经学习了足够的特征，目前的瓶颈不是特征学习，而是鲁棒的回归。我们的研究结果还意味着，给定来自目标分布的少量数据，仅重新训练最后一个线性层将获得出色的性能。因此，我们认为，设计更简单的方法来学习预测现有的功能是未来研究的一个有前途的方向。为此，我们引入域调整回归（DARE），一个凸目标学习的线性预测，可证明是强大的分布偏移的新模型。DARE不是学习一个函数，而是执行特定于域的调整，以统一规范潜在空间中的域，并学习在此空间中进行预测。在一个自然模型下，我们证明了DARE解是一组约束测试分布的极小极大最优预测。此外，我们提供了第一个有限的环境收敛保证极大极小风险，改善现有的分析，只产生极大极小预测后的环境阈值。通过对微调功能的评估，我们发现DARE与先前的方法相比毫不逊色，始终实现相同或更好的性能。
2022-10-28 cs.AI cs.LG
Information-theoretic analysis for transfer learning
University of Melbourne（墨尔本大学）
迁移学习或领域自适应涉及机器学习问题，其中训练和测试数据来自可能不同的分布（分别表示为$μ$和$μ'$）。在这项工作中，我们给出了一个信息理论分析的泛化误差和过度风险的迁移学习算法，以下的工作线由Russo和周。我们的研究结果表明，也许正如预期的那样，Kullback-Leibler（KL）分歧$D(mu||mu')$在表征领域自适应的设置中的泛化误差中起着重要的作用。具体来说，我们提供一般迁移学习算法的泛化误差上限，并将结果扩展到特定的经验风险最小化（ERM）算法，其中来自两个分布的数据在训练阶段都可用。我们进一步应用该方法迭代，噪声梯度下降算法，并获得上界，可以很容易地计算，只使用参数的学习算法。一些说明性的例子来证明结果的有用性。特别是，我们的界限是更严格的特定分类问题比使用Rademacher复杂性得出的界限。
2020-05-19 cs.LG stat.ML
Why Domain Generalization Fail? A View of Necessity and Sufficiency
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Monash University（莫纳什大学）
本文从必要性与充分性条件分析领域泛化失败原因，指出已有方法偏重充分条件正则化而违反必要条件，并提出子空间表示对齐策略以兼顾二者。
2025-02-15 cs.LG stat.ML
Weighted Distributed Differential Privacy ERM: Convex and Non-convex
分布式机器学习是一种允许不同方在所有数据集上学习模型而不公开其自己的数据的方法。在本文中，我们提出了一个加权分布式差分隐私（WD-DP）的经验风险最小化（ERM）方法训练模型在分布式环境中，考虑不同的权重不同的客户端。通过引入高斯噪声和梯度扰动来保证差分隐私，并对分布式环境下的梯度扰动方法进行了研究。通过详细的理论分析，我们表明，在分布式环境中，噪声界和超额经验风险界可以通过考虑不同的权重，由多方。此外，考虑到ERM中凸损失函数的约束条件在某些情况下不容易实现，我们将该方法推广到满足Polyak-Lojasiewicz条件的非凸损失函数。在真实数据集上的实验表明，该方法具有更高的可靠性，提高了分布式差分隐私ERM的性能，特别是在不同客户端的数据规模不均匀的情况下。
2019-11-14 cs.LG stat.ML
Are Domain Generalization Benchmarks with Accuracy on the Line Misspecified?
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
本文指出流行OOD基准因未包含损害泛化的虚假相关性偏移而被错误设定，导致ERM表现优异且“准确性在线性关系上”现象出现；作者推导了揭示虚假依赖的条件，审查数据集并提出设计原则。
2025-08-02 cs.AI cs.LG stat.ML
Cross Domain Generative Augmentation: Domain Generalization with Latent Diffusion Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对域泛化中域间分布偏移问题，提出基于潜在扩散模型的CDGA增强方法，在域对邻域生成合成图像以降低非iid性，并在Domainbed上超越SOTA。
2023-12-08 cs.LG
Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework
Columbia University（哥伦比亚大学）
本文提出参数化分布鲁棒优化框架，通过参数化分布族近似随机扰动，以DRO控制模型误设误差，显著改善高维复杂问题中的泛化界，并在分布偏移和上下文优化中表现优越。
2023-09-24 cs.LG math.OC
Tilted Cross Entropy (TCE): Promoting Fairness in Semantic Segmentation
Shell Global Solutions International B.V.（壳牌全球解决方案国际公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）
传统的经验风险最小化（ERM）的语义分割可以不成比例的优势或劣势，有利于（不公平的，但）改善整体性能的某些目标类。受最近引入的倾斜ERM（TERM）的启发，我们提出了倾斜交叉熵（TCE）损失，并将其适应于语义分割设置，以最大限度地减少目标类之间的性能差异，促进公平性。通过定量和定性的性能分析，我们证明了所提出的用于语义分割的随机TCE可以有效地改善使用多类交叉熵（MCCE）训练的Cityscapes和ADE 20 k数据集的低性能类，并且还可以提高整体公平性。
2021-03-25 cs.AI cs.CV cs.LG
Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Hong Kong Baptist University（香港浸会大学）
最近，人们对使机器学习系统能够很好地推广到分布外（OOD）数据的兴趣越来越大。大部分的努力都致力于推进优化目标，正则化模型，以捕捉潜在的不变性，然而，在这些OOD目标的优化过程中往往有妥协：i）许多OOD目标必须放松作为惩罚项的经验风险最小化（ERM），以便于优化，而放松的形式可能会削弱原目标的鲁棒性; ii）由于企业风险管理和面向对象开发目标之间的内在冲突，惩罚条款还需要仔细调整惩罚权重。因此，这些妥协很容易导致机构风险管理或业务发展目标的业绩欠佳。为了解决这些问题，我们引入了多目标优化（MOO）的角度来理解OOD优化过程，并提出了一种新的优化方案，称为PAreto不变风险最小化（PAIR）。PAIR通过与其他OOD目标的协同优化，提高了OOD目标的鲁棒性，从而弥补了由松弛引起的差距。然后，PAIR接近帕累托最优解，权衡了企业风险管理和OOD目标适当。在具有挑战性的基准测试WILDS上进行的大量实验表明，PAIR能够消除这些妥协，并获得最佳的OOD性能。
2023-03-02 cs.LG stat.ML
Self-Adaptive Training: beyond Empirical Risk Minimization
Peking University（北京大学）；TTIC（丰田工业大学芝加哥分校）
我们提出了自适应训练--一种新的训练算法，通过模型预测动态纠正有问题的训练标签，而不会产生额外的计算成本--以提高深度学习对潜在损坏的训练数据的泛化能力。这个问题对于从被破坏的数据中鲁棒地学习至关重要，例如，标签噪声和分布外样本。然而，这种数据的标准经验风险最小化（ERM）可能很容易过拟合噪声，从而遭受次优性能。在本文中，我们观察到模型预测可以大大有利于训练过程：自适应训练在各种噪声水平下显着提高了ERM的泛化能力，并减轻了自然和对抗训练中的过拟合问题。我们评估了自适应训练的误差容量曲线：测试误差是单调递减的w.r.t.示范能力。这与最近在ERM中发现的双下降现象形成鲜明对比，双下降现象可能是噪声过拟合的结果。在CIFAR和ImageNet数据集上的实验验证了我们的方法在两个应用中的有效性：带有标签噪声的分类和选择性分类。我们在https://github.com/LayneH/self-adaptive-training上发布代码。
2020-09-30 cs.CV cs.LG stat.ML
Generalization Error Bounds for Optimization Algorithms via Stability
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing Jiaotong University（北京交通大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
许多机器学习任务可以被公式化为正则化经验风险最小化（R-ERM），并通过诸如梯度下降（GD）、随机梯度下降（SGD）和随机方差缩减（SVRG）等优化算法来解决。对这些优化算法的传统分析集中在训练过程中的收敛速度，然而，机器学习社区的人们可能更关心学习模型对未知测试数据的泛化性能。本文以稳定性为工具，对这个问题进行了研究。特别是，我们分解的推广误差的R-ERM，并推导出其上界的凸和非凸的情况下。在凸的情况下，我们证明了推广误差可以有界的收敛速度的优化算法和R-ERM过程的稳定性，无论是在期望（在$\mathcal{O}((1/n)+\mathbb{E}ρ(T))$的顺序，其中$ρ(T)$是收敛误差和$T$是迭代次数）和高概率（在$\mathcal{O}\left(\frac{\log{1/δ}}{\sqrt{n}}+ρ(T)\right)$的顺序与概率$1-δ$）。对于非凸情形，我们也可以得到类似的期望推广误差界。我们的定理表明：1）随着训练过程的进行，所有优化算法的泛化误差都在减小; 2）相对而言，SVRG比GD和SGD具有更好的泛化能力。我们对凸问题和非凸问题进行了实验，实验结果验证了我们的理论研究结果。
2016-09-27 cs.LG stat.ML
How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本研究通过高斯混合模型理论分析单隐层神经网络在群体不平衡下的泛化，首次给出ERM的群体层面泛化界，发现中等协方差和近零均值时性能最优，且增加少数群体比例不一定改善其泛化。
2024-03-19 cs.LG stat.ML
Minimax Statistical Learning with Wasserstein Distances
University of Illinois（伊利诺伊大学）
与标准经验风险最小化（ERM）相反，分布鲁棒优化旨在最小化包含训练数据的原始经验分布的较大模糊度集上的最坏情况风险。在这项工作中，我们描述了一个极小极大框架的统计学习与模糊集的球在Wasserstein空间。特别是，我们证明了广义界，涉及到原来的ERM问题的覆盖数属性。作为一个说明性的例子，我们提供了基于运输的领域自适应问题的泛化保证，其中源域和目标域分布之间的Wasserstein距离可以可靠地估计从未标记的样本。
2018-10-26 cs.LG stat.ML
Analysis of the Generalization Error: Empirical Risk Minimization over Deep Artificial Neural Networks Overcomes the Curse of Dimensionality in the Numerical Approximation of Black-Scholes Partial Differential Equations
University of Vienna（维也纳大学）；ETH Zürich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
基于深度神经网络假设类的经验风险最小化（ERM）的新分类和回归算法的开发，创造了深度学习，彻底改变了人工智能，机器学习和数据分析领域。特别是，这些方法已被应用于数值求解高维偏微分方程取得了巨大成功。最近的模拟表明，基于深度学习的算法能够克服Kolmogorov方程数值解的维数灾难，该方程广泛用于工程，金融和自然科学的模型。本文考虑在何种条件下，深度神经网络假设类上的ERM近似于具有仿射漂移和扩散系数的$d$维Kolmogorov方程的解，以及从计算金融问题中产生的典型初始值，直到错误$\varepsilon$。我们建立，具有高概率的训练样本，这样的近似可以实现与假设类的大小和训练样本的数量缩放仅在$d$和$\varepsilon^{-1}$多项式。可以得出结论，在深度神经网络假设类上的ERM克服了具有仿射系数的线性Kolmogorov方程的数值解的维数灾难。
2020-11-11 cs.LG cs.NA math.NA
Sample Efficiency of Data Augmentation Consistency Regularization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）
数据增强在大型神经网络的训练中很流行;然而，目前，在如何使用增强数据的不同算法选择之间没有明确的理论比较。在本文中，我们在这个方向上迈出了一步-我们首先提出了一个简单而新颖的分析线性回归与标签不变的增广，证明了数据增强一致性（DAC）本质上是更有效的经验风险最小化增广数据（DA-ERM）。然后将分析扩展到错误指定的增强（即，这再次证明了DAC优于DA-ERM的优点。此外，我们将我们的分析扩展到非线性模型（例如，神经网络）和目前的泛化界限。最后，我们进行实验，使一个干净的和苹果对苹果的比较（即，没有额外的建模或数据调整）之间的DAC和DA-ERM使用CIFAR-100和WideResNet;这些共同证明了DAC的优越功效。
2022-06-16 cs.LG
Frustratingly Easy Model Generalization by Dummy Risk Minimization
The Hong Kong Polytechnic University（香港理工大学）；Microsoft Research（微软研究院）；City University of Hong Kong（香港城市大学）
该研究提出实现简单的虚拟风险最小化技术DuRM，通过扩大输出logits维度再用标准梯度下降优化，经理论和多任务实验验证其能持续提升模型泛化性能，且兼容现有泛化技术。
2023-10-07 cs.AI cs.LG
Regularized ERM on random subspaces
研究了经典经验风险最小化的一个自然推广，其中假设空间是给定空间的随机子空间。特别是，我们认为可能的数据依赖的子空间跨越的数据的随机子集，恢复作为一个特殊情况下Nystrom方法的核方法。考虑随机子空间自然会节省计算量，但问题是相应的学习精度是否会降低。最近已经探索了最小二乘损失和自协调损失函数（如逻辑损失）的计算-计算权衡。在这里，我们将这些结果扩展到凸Lipschitz损失函数，这可能是不光滑的，例如支持向量机中使用的铰链损失。这种统一的分析需要开发新的证明，使用不同的技术工具，如亚高斯输入，以实现快速。我们的主要结果表明，根据学习问题的难度，存在不同的设置，可以在不损失性能的情况下提高计算效率。
2022-12-08 cs.LG math.ST stat.ML
On Convex Optimization with Semi-Sensitive Features
Google Research（谷歌研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究了半敏感差分隐私设置下的经验风险最小化问题，给出了改进的上下界，并证明误差在敏感域大小上仅以多对数级增长，优于先前的多项式级结果。
2024-06-27 cs.CR cs.DS cs.LG
Cross-Platform and Cross-Domain Abusive Language Detection with Supervised Contrastive Learning
The University of British Columbia（不列颠哥伦比亚大学）
在不同的在线平台上滥用语言的流行一直是一个主要的问题，提出了自动跨平台滥用语言检测的需要。然而，以前的工作集中在连接来自多个平台的数据，固有地采用经验风险最小化（ERM）方法。在这项工作中，我们从领域泛化目标的角度来解决这一挑战。我们设计了SCL-Fish，这是一种有监督的对比学习集成Meta学习算法，可以在看不见的平台上检测滥用语言。我们的实验分析表明，SCL-Fish实现了更好的性能比ERM和现有的国家的最先进的模型。我们还表明，SCL-Fish是数据高效的，并且在对滥用语言检测任务进行微调时，与大规模预训练模型的性能相当。
2022-11-11 cs.CL cs.LG
Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
LIONS lab（LIONS实验室）
本研究针对分布外泛化与少样本域自适应问题，通过引入梯度相似度正则项提升权重平均的模型多样性，并结合锐度感知最小化，在多个数据集上验证了性能提升效果。
2025-01-14 cs.CV cs.LG
A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning
University of Notre Dame（诺特大学）；St. Jude Children’s Research Hospital（圣犹大儿童研究医院）；University of Michigan（密歇根大学）
提出首个差分隐私加权经验风险最小化算法，推导经验与总体超额风险界，并应用于结果加权学习，实验证明在强隐私保护下保持鲁棒性能。
2026-08-11 cs.LG stat.ML
Machine Unlearning for Gibbs Supervised Learning Algorithms
INRIA（法国国家信息与自动化研究所）；Université de la Polynésie française（法属波利尼西亚大学）；University of Sheffield（谢菲尔德大学）；Princeton University（普林斯顿大学）
本文提出一种基于ERM-RER变分公式的精确机器遗忘方法，通过最大化待遗忘数据上的经验风险并施加相对熵正则化，得到新的Gibbs算法，其分布与重训练一致，并由此构建了数据点重加权框架。
2026-09-25 cs.LG stat.ML
Functional Risk Minimization
MIT（麻省理工学院）；National University of Singapore (NUS)（新加坡国立大学）
本文提出函数风险最小化（FRM）框架，用函数间比较替代传统输出间比较，统一并扩展了ERM，在监督、无监督和强化学习任务中均取得更好性能，并为过参数化下的泛化提供了新视角。
2024-12-30 cs.LG
Mitigating Shortcut Learning with InterpoLated Learning
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；Department of Engineering, University of Cambridge（工程系，剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出InterpoLL方法，通过插值多数类与少数类样本表示来削弱捷径影响，提升少数类泛化，且不损害多数类性能，在多种架构上均有效。
2025-07-07 cs.AI cs.LG
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior
元学习算法通过利用以往任务的经验，在遇到新任务时能够实现有效的快速适应能力。然而，尚不清楚泛化属性如何应用于新任务。概率近似正确贝叶斯界理论为元学习的泛化性能分析提供了一个理论框架。基于PAC-Bayes相对熵界，我们推导出了三个新的元学习泛化误差界。此外，使用经验风险最小化（ERM）方法，一个PAC贝叶斯界的元学习与数据相关的先验。实验结果表明，提出的3种元学习PAC-Bayes界具有较好的泛化性能，而基于数据相关先验的扩展PAC-Bayes界具有快速收敛能力.
2021-02-07 cs.LG stat.ML
Learning Causality for Modern Machine Learning
The Chinese University of Hong Kong（香港中文大学）
针对传统经验风险最小化方法难以应对分布偏移、缺乏因果建模的问题，本研究基于独立因果机制的不变性原理，将因果学习应用于图数据任务，提升模型的OOD泛化、可解释性与对抗鲁棒性。
2025-06-13 cs.LG stat.ML
Regularization Penalty Optimization for Addressing Data Quality Variance in OoD Algorithms
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
由于传统的经验风险最小化（ERM）算法在分布偏移情况下泛化性能较差，分布外（OoD）泛化算法受到越来越多的关注。然而，OoD泛化算法忽略了训练数据质量的巨大差异，这大大损害了这些方法的准确性。本文从理论上揭示了训练数据质量与算法性能之间的关系，分析了Lipschitz正则化不变风险最小化的最优正则化方案。在此基础上，提出了一种新的算法，从样本级和域级两个方面来减轻低质量数据的影响。在回归和分类基准上的实验验证了该方法的有效性，具有统计显著性。
2022-06-12 cs.LG
Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
当数据分布与训练域中的数据分布不同时，深度模型通常无法在测试域中很好地泛化。在解决这种分布外（OOD）泛化问题的众多方法中，利用对抗训练（AT）来提高OOD性能的兴趣越来越大。最近的工作表明，通过进行样本的AT获得的鲁棒模型也保留了有偏见的测试域的可转移性。在本文中，我们的经验表明，样本明智的AT有有限的改善OOD性能。具体来说，我们发现，AT只能保持性能在较小规模的扰动，而通用AT（UAT）是更强大的大规模的扰动。这为我们提供了线索，即具有通用（低维）结构的对抗性扰动可以增强对OOD场景中常见的大数据分布偏移的鲁棒性。受此启发，我们提出了两个低秩结构的AT变体来训练OOD鲁棒模型。在DomainBed基准测试上的大量实验表明，我们提出的方法优于经验风险最小化（ERM）和样本AT。我们的代码可在https://github.com/NOVAglow646/NIPS22-MAT-and-LDAT-for-OOD上获得。
2022-10-13 cs.LG
Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test
Institute of Information & communications Technology Planning & Evaluation (IITP)（信息与通信技术规划与评估机构）
本文提出Re-SAT方法，通过评估样本的去偏有效性来减轻语音识别系统在口吃语音上的偏差，提升系统对口吃语音的鲁棒性。
2023-06-27 cs.CL cs.LG cs.SD
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix（奈飞）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
经验风险最小化（ERM）是机器学习的主力，无论是用于分类和回归还是用于离线策略学习，但当我们使用自适应收集的数据时，其模型不可知的保证可能会失败，例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法，使用自适应收集的数据，以最小化损失函数的平均假设类，并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式，仔细利用重要性抽样结构，以获得正确的依赖于数据中的勘探率的利率。对于回归，我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习，我们提供了速率最优的遗憾保证，关闭现有文献中的一个开放的差距，每当勘探衰减到零，是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Wild-Tab: A Benchmark For Out-Of-Distribution Generalization In Tabular Regression
Tinkoff（Tinkoff公司）
本文提出 Wild-Tab 基准，包含 3 个工业表格回归数据集，系统评估 10 种 OOD 泛化方法，发现多数方法在分布外性能明显下降，而简单的 ERM 表现鲁棒且可与最先进方法媲美。
2023-12-04 cs.LG
Multi-Task Classification Hypothesis Space with Improved Generalization Bounds
本文提出了一种RKHS，在一般情况下，向量值函数的目的是作为假设空间的多任务分类。它扩展了以前在文献中考虑过的类似假设空间。假设这个空间，一个改进的经验Rademacher复杂性为基础的推广界。分析本身扩展到MKL设置。建议的假设空间和一个Group-Lasso型正则化之间的连接进行了讨论。最后，实验结果，与一些基于SVM的多任务学习问题，强调的质量所得出的界限，并验证了本文的分析。
2013-12-09 cs.LG
FedDAPL: Toward Client-Private Generalization in Federated Learning
University of Southern California, Los Angeles, US（美国南加州大学）
针对联邦医学影像中的扫描仪域偏移问题，本文提出带近端正则化的联邦DANN方法，以稳定跨客户端对抗训练，并在OpenBHB上证明其跨站点泛化优于FedAvg和ERM。
2025-09-28 cs.LG
GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization for Improved Generalization
Peking University（北京大学）
近年来，最小化算法（SAM）在视觉任务中显示出了最新的泛化能力。它表明，平坦的极小往往意味着更好的推广能力。然而，它有一些困难，暗示SAM的一些自然语言的任务，特别是具有剧烈的梯度变化的模型，如RNN。在这项工作中，我们从一个新颖而直接的理论角度分析了局部极小值的平坦性与其推广能力之间的关系。我们提出，训练和测试分布的移动可以等效地看作是一个虚拟的参数损坏或扰动，这可以解释为什么平坦的最小值，对参数损坏或扰动具有鲁棒性，具有更好的泛化性能。在此基础上，我们提出了一个基于一致性强度的自适应锐度感知最小化（GA-SAM）算法，以帮助学习算法找到平坦的最小值，更好地推广。各种语言测试结果验证了GA-SAM算法在自然语言任务上的有效性。
2022-10-13 cs.LG
Improved OOD Generalization via Adversarial Training and Pre-training
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，学习一个模型，推广良好的分布外（OOD）数据引起了极大的关注，在机器学习社区。在本文中，通过Wasserstein距离定义OOD推广后，我们从理论上证明了对输入扰动鲁棒的模型在OOD数据上推广得很好。受先前发现对抗训练有助于提高输入鲁棒性的启发，我们从理论上证明了对抗训练模型在OOD数据上收敛了超额风险，并在图像分类和自然语言理解任务上进行了实证验证。此外，在第一次预训练，然后微调的范例中，我们从理论上表明，一个预训练的模型，是更强大的输入扰动提供了一个更好的初始化下游OOD数据的泛化。从经验上讲，经过微调后，这个来自对抗性预训练的更好初始化的模型也具有更好的OOD泛化能力。
2021-05-24 cs.LG
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205（里昂大学，里昂第二大学，LIRIS UMR 5205）
本文研究了混合专家变换器的泛化和缩放规律，通过分离输入容量与路由组合学，推导出覆盖数界，并结合标准ERM分析得出泛化界，揭示了在适当考虑活跃参数时，近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
Towards Last-layer Retraining for Group Robustness with Fewer Annotations
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出选择性最后一层微调（SELF）方法，利用误分类或分歧构建重加权数据集，在无组标注和少量类别标注下，通过最后一层重训练显著提升最差组准确率，几乎达到DFR水平。
2023-11-15 cs.LG
SADT: Combining Sharpness-Aware Minimization with Self-Distillation for Improved Model Generalization
University of Vaasa（瓦萨大学）
改善深度神经网络训练时间和模型概括性的方法包括各种数据增强、正则化和优化方法，这些方法往往对超参数设置敏感，并使再现性更具挑战性。这项工作联合考虑了两个最近的训练策略，解决模型的泛化：尖锐意识最小化，和自蒸馏，并提出了新的培训策略的尖锐意识蒸馏教师（SADT）。这项工作的实验部分表明，SADT在模型收敛时间，测试时间性能和模型泛化能力方面始终优于先前发表的训练策略，这些训练策略适用于各种神经架构，数据集和超参数设置。
2022-11-01 cs.LG
