Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University(名古屋大学);RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装公司)
针对部署阶段协变量分布未知且可能偏移的问题,提出DRCS,通过最小化最坏情形测试误差上界估计选择鲁棒核心集,并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
When Are Learning Biases Equivalent? A Unifying Framework for Fairness, Robustness, and Distribution Shift
针对机器学习中公平性、鲁棒性等失效模式被单独研究的问题,提出统一理论框架,通过信息论度量将偏差形式化为条件独立性违反,证明多种偏差的等价条件,实证验证等价性并支持去偏方法跨域迁移。
2025-11-09 cs.AI cs.LG stat.ML
Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance
Houmo AI(后摩智能);Huazhong University of Science & Technology(华中科技大学);Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
后训练量化(PTQ)是一种用于压缩深度神经网络(DNN)而不修改其原始架构或训练过程的流行方法。尽管PTQ方法的有效性和方便性,但在一些极端情况下,如分布偏移和数据噪声的存在下,PTQ方法的可靠性仍有待进一步研究。本文首先研究了这个问题上的各种常用的PTQ方法。我们的目标是回答几个相关的研究问题的影响,校准集分布的变化,校准范式的选择,和数据增强或抽样策略PTQ的可靠性。一个系统的评估过程是在广泛的任务和常用的PTQ范式进行。结果表明,大多数现有的PTQ方法是不够可靠的最坏情况下的组性能,突出需要更强大的方法。我们的研究结果为开发PTQ方法提供了见解,这些方法可以有效地处理分布偏移场景,并在现实世界的应用中部署量化的DNN。
2023-03-23 cs.CV cs.LG
RoCourseNet: Distributionally Robust Training of a Prediction Aware Recourse Model
The Pennsylvania State University(宾夕法尼亚州立大学)
针对 ML 模型更新导致反事实补救失效的问题,本文提出 RoCourseNet,通过三层优化、VDS 对抗训练和分块坐标下降联合学习预测与鲁棒补救,并在三个真实数据集上显著优于基线。
2023-08-18 cs.LG
HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts
Pennsylvania State University(宾夕法尼亚州立大学);The University of Manchester(曼彻斯特大学);Microsoft Research(微软研究院)
本文提出 HyperTime 超参数优化方法,通过按时间顺序验证集上对平均损失与最坏情况损失施加词典序优先级,寻找对时间分布偏移鲁棒的配置,并在多个任务上验证其有效性。
2023-05-28 cs.AI cs.LG
Worst-case generation via minimax optimization in Wasserstein space
Department of Mathematics, Duke University(杜克大学数学系);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
本文提出了一种基于Wasserstein空间的minimax优化框架,通过神经网络参数化传输映射,实现高效的最坏情况生成方法。
2025-12-09 cs.LG math.OC stat.ML
Robust Fairness under Covariate Shift
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);California Institute of Technology(加州理工学院)
对受保护群体的成员资格(种族、性别、年龄等)做出公平的预测已经成为分类算法的重要要求。现有技术从采样标记数据中导出公平模型,依赖于训练数据和测试数据从相同分布中相同且独立地抽取(iid)的假设。在实践中,当与机器学习系统交互的个体的特征改变时,在训练和测试数据集之间可能并且确实发生分布偏移。我们研究了协变量偏移下的公平性,这是对iid假设的放松,其中输入或协变量发生变化,而条件标签分布保持不变。在这些假设下,我们在具有未知标签的目标数据上寻求公平的决策。我们提出了一种方法,获得的预测,是强大的最坏情况下的目标性能,同时满足目标的公平性要求和匹配的统计特性的源数据。我们展示了我们的方法对基准预测任务的好处。
2021-02-06 cs.LG stat.ML
Achievable distributional robustness when the robust risk is only partially identified
ETH Zurich(苏黎世联邦理工学院);Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元);Imperial College London(帝国理工学院)
本文针对鲁棒风险仅被部分识别的场景,提出最坏情况鲁棒风险度量,在线性模型中推导其极小极大最优值,并通过基因表达数据实验证明考虑部分可识别性可显著改善分布偏移下的泛化性能。
2025-02-04 cs.LG stat.ML
Minimax Regret Optimization for Robust Machine Learning under Distribution Shift
Google Research(谷歌研究院);HKUST(香港科技大学)
在本文中,我们考虑的学习场景下,学习的模型进行评估的一个未知的测试分布可能不同于训练分布(即分布偏移)。学习器可以访问一系列权重函数,使得测试分布是这些函数之一下的训练分布的重新加权,通常以分布鲁棒优化(DRO)的名义进行研究。我们考虑在经典学习理论的背景下推导遗憾界的问题,并要求所得的遗憾界对所有潜在的测试分布一致。我们表明,DRO制定不保证一致的小遗憾下分布偏移。相反,我们提出了一种替代方法,称为极小极大遗憾优化(MRO),并表明在适当的条件下,这种方法实现了所有测试分布均匀低遗憾。我们还调整我们的技术,有更强的保证时,测试分布是异构的相似性的训练数据。考虑到目前强大的机器学习方法中最坏情况风险的最佳化,我们认为MRO可以成为解决分布偏移场景的强大替代方案。
2022-02-11 cs.LG stat.ML
Functional worst risk minimization
本文将最坏风险最小化推广到函数型数据,通过要求算子(I-T)⁻¹有界引入无界算子框架,并给出在任意标准正交基下表示的最小化元,避免了估计未知特征函数,同时构造了一致估计量。
2025-04-14 math.PR math.ST stat.TH
Stable Adversarial Learning under Distributional Shifts
Tsinghua University(清华大学);Zhejiang University(浙江大学);Tencent(腾讯)
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。最近,有鲁棒的学习方法,针对这个问题,通过最小化最坏情况下的不确定性集的风险。然而,它们在构建决策集时对所有协变量一视同仁,而不考虑其与目标的相关性的稳定性,导致决策集过于庞大,学习者的置信度较低。本文提出了稳定对抗学习(SAL)算法,该算法利用异构数据源构建更实用的不确定性集,并进行差异化鲁棒性优化,其中根据协变量与目标的相关性的稳定性来区分协变量。我们从理论上表明,我们的方法是易于处理的随机梯度为基础的优化,并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2021-05-11 cs.LG stat.ML
Mixed-feature Logistic Regression Robust to Distribution Shifts
Center for Artificial Intelligence in Society(社会人工智能中心)
针对特征间偏移概率不同的场景,提出基于图求解、可接入现成优化器的 Wasserstein 分布鲁棒混合特征 Logistic 回归,显著提升速度、校准与 AUC。
2025-03-15 cs.LG math.OC stat.ML
Boosting First-Order Methods by Shifting Objective: New Schemes with Faster Worst-Case Rates
The Chinese University of Hong Kong(香港中文大学)
我们提出了一种新的方法来设计一阶方法无约束强凸问题。具体来说,而不是直接处理原始目标,我们构造了一个移动的目标函数,具有相同的最小化作为原始目标和编码的平滑性和强凸性的原始目标的插值条件。然后,我们提出了一个算法模板,用于解决转移的目标,它可以利用这样的条件。根据这个模板,我们得到了几个新的加速计划的问题,配备了各种一阶神谕和插值条件,使我们能够大大简化和收紧衍生方法的分析。特别是,所有派生的方法有更快的最坏情况下的收敛速度比现有的同行。在机器学习任务上进行了实验,以评估新方法。
2020-10-21 cs.LG stat.ML
Examining and Combating Spurious Features under Distribution Shift
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
机器学习的一个中心目标是学习鲁棒的表示,这些表示捕获输入特征和输出标签之间的因果关系。然而,最小化有限或有偏数据集的经验风险通常会导致模型锁定在训练输入/输出对之间的虚假相关性上,而这些相关性对手头的问题并不重要。在本文中,我们定义和分析强大的和虚假的表示使用信息论的概念,最小的充分统计。我们证明了即使只有输入分布的偏差(即协变量偏移),模型仍然可以从其训练数据中提取虚假特征。组分布鲁棒优化(DRO)通过最小化一组预定义组上的最坏情况训练损失,提供了一种有效的工具来减轻协变量偏移。我们的分析的启发,我们表明,组DRO可以失败时,组不直接占各种虚假的相关性,发生在数据中。为了解决这个问题,我们进一步建议在一组更灵活的分布上最小化最坏情况下的损失,这些分布是在组和实例的联合分布上定义的,而不是在优化时将每个组作为一个整体来处理。通过对一个图像和两种语言任务的广泛实验,我们表明,我们的模型在各种分区下比可比基线更鲁棒。我们的代码可在https://github.com/violet-zct/group-conditional-DRO上获得。
2021-06-14 cs.AI cs.LG
Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization
Stanford University(斯坦福大学);Microsoft(微软)
过度参数化的神经网络在i.i.d.上的平均精度可以很高。测试集在非典型数据组上始终失败(例如,通过学习平均保持但在这样的组中不保持的伪相关性)。分布式鲁棒优化(DRO)允许我们学习模型,而不是在一组预定义的组上最小化最坏情况下的训练损失。然而,我们发现,天真地将组DRO应用于过参数化神经网络是失败的:这些模型可以完美地拟合训练数据,并且任何具有消失的平均训练损失的模型也已经具有消失的最坏情况训练损失。相反,较差的最坏情况性能来自于某些组的较差泛化。通过将组DRO模型与增加的正则化(比典型的L2惩罚或早期停止更强)相结合,我们实现了更高的最差组准确率,在自然语言推理任务和两个图像任务上提高了10-40个百分点,同时保持了较高的平均准确率。我们的研究结果表明,正则化是很重要的最坏的群推广的过参数化制度,即使它是不需要的平均推广。最后,我们引入了一个随机优化算法,收敛保证,有效地训练组DRO模型。
2020-04-02 cs.LG stat.ML
Rectifying Group Irregularities in Explanations for Distribution Shift
University of Pennsylvania(宾夕法尼亚大学)
本文提出群体感知偏移解释(GSE)方法,通过最差群体优化修正分布偏移解释中的群体不规则性,在保持群体结构的同时提升解释的可行性与鲁棒性。
2023-05-25 cs.LG
Robust Generalization with Adaptive Optimal Transport Priors for Decision-Focused Learning
Purdue University(普渡大学)
本文提出PG-DRO框架,通过自适应最优传输学习类适应性先验,提升少样本学习的鲁棒泛化能力。
2026-02-16 cs.LG stat.AP stat.ML
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen(哥本哈根大学);MIT(麻省理工学院)
我们给出了一种方法,用于主动识别小的,合理的分布变化,导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的,其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术(例如重要性采样)来估计单个参数偏移下的损失,但所产生的最坏情况优化问题是非凸的,并且估计可能遭受大的方差。然而,对于小的移位,我们可以构造移位下损失的局部二阶近似,并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题,对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位,我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务(从图像中分类性别),揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);University of Utah(犹他大学);Meta AI
通过经验风险最小化(ERM)训练的模型依赖于标签和任务无关输入特征之间的虚假相关性,导致对分布变化的泛化能力差。组分布鲁棒优化(G-DRO)可以通过最小化训练数据上的一组预定义组的最坏情况损失来缓解这个问题。G-DRO成功地提高了相关性不成立的最差组的性能。然而,G-DRO假设虚假相关性和相关的最差组是预先已知的,这使得将其应用于具有潜在的多个未知虚假相关性的新任务具有挑战性。我们提出了AGRO --分布式鲁棒优化的对抗组发现--一种端到端的方法,可以联合识别易出错的组并提高其准确性。AGRO为G-DRO配备了一个对抗切片模型,以找到一个训练样本的组分配,从而最大限度地提高所发现的组的最坏情况损失。在WILDS基准测试中,与G-DRO使用的先前组发现方法相比,AGRO在已知最差组上的平均模型性能高出8%。AGRO还提高了SST 2、QQP和MS-COCO数据集的分布外性能,这些数据集的潜在虚假相关性尚未得到表征。对ARGO组的人类评估表明,它们包含定义明确、但以前未研究过的导致模型误差的虚假相关性。
2022-12-08 cs.AI cs.CL cs.LG
Conformal Prediction under Levy-Prokhorov Distribution Shifts: Robustness to Local and Global Perturbations
Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA(加州大学伯克利分校电子工程与计算机科学系);Laboratory for Information and Decision Systems, MIT, USA(麻省理工学院信息与决策系统实验室)
针对共形预测在分布偏移下鲁棒性不足的问题,提出基于Lévy-Prokhorov模糊集建模分布偏移的方法,通过得分函数传播将高维偏移降为一维以量化最坏情况,构建鲁棒预测区间,实验验证了有效性。
2025-05-19 cs.LG math.ST stat.ME
From Fragile to Certified: Wasserstein Audits of Group Fairness Under Distribution Shift
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);Mila Québec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学)
针对分布偏移下群体公平性指标脆弱、审计不可靠的问题,提出基于Wasserstein分布鲁棒框架的ε-WDF公平性审计方法,推导高效估计器DRUNE并提供理论保证,实验验证其在分布偏移下可稳定评估公平性。
2025-09-30 cs.LG
Omitted Variable Bias in Language Models Under Distribution Shift
Carnegie Mellon University(卡内基梅隆大学)
本文研究了语言模型在分布偏移下的遗漏变量偏差问题,提出框架用于评估和优化模型在分布偏移下的性能。
2026-02-18 cs.CL cs.LG stat.ME
OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Huawei Technologies(华为技术有限公司);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);Beijing International Center for Mathematical Research, Peking University(北京国际数学研究中心)
OptProver通过持续训练实现从竞赛数学到本科优化的高效迁移,结合大规模优化数据筛选与偏好学习目标,提升证明效率与鲁棒性,同时在Lean 4上建立新基准并取得优异成绩。
2026-04-28 cs.AI cs.LG
Improving Out-of-Distribution Robustness via Selective Augmentation
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Renmin University of China(中国人民大学);Rutgers University(罗格斯大学)
机器学习算法通常假设训练和测试示例来自相同的分布。然而,分布偏移在实际应用中是一个常见的问题,并且可能导致模型在测试时表现得非常差。在本文中,我们特别考虑了亚群转移的问题(例如,不平衡数据)和域转移。虽然先前的工作通常寻求明确地将模型的内部表示或预测因子正则化为域不变,但我们的目标是在不限制模型的内部表示或预测因子的情况下学习不变预测因子。这导致了一种简单的基于混合的技术,该技术通过称为LISA的选择性增强来学习不变预测器。LISA选择性地内插具有相同标记但不同结构域或具有相同结构域但不同标记的样品。从经验上讲,我们研究了LISA在9个基准上的有效性,从亚群转移到域转移,我们发现LISA始终优于其他最先进的方法,并导致更多的不变预测。我们进一步分析了线性设置,并从理论上展示了LISA如何导致更小的最坏组误差。
2022-06-19 cs.LG
Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学);Samsung Electronics America(三星电子美国公司)
针对分布偏移下机器学习公平性下降的问题,通过理论分析分布偏移与模型权重扰动的联系,提出鲁棒公平性正则化(RFR)方法,在权重扰动最坏情况下优化模型,实验证明其在公平性与准确性权衡上优于基线方法。
2023-10-21 cs.CY cs.LG
Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data
Manipal Institute of Technology, MAHE(马尼帕尔理工学院,马尼帕尔高等教育学院)
大多数机器学习模型都假设训练、测试和部署数据是独立同分布的。这种假设在自然环境中通常不成立。通常,部署数据受到各种类型的分布偏移的影响。模型性能的大小与数据集分布的这种变化成正比。因此,有必要评估模型的不确定性和对分布变化的鲁棒性,以获得对真实世界数据的预期性能的现实估计。目前的方法来评估不确定性和模型的鲁棒性是缺乏的,往往无法描绘全貌。此外,到目前为止,大多数分析主要集中在分类任务上。在本文中,我们使用Shifts天气预测数据集为一般回归任务提出了更有见地的指标。我们还提出了使用这些指标的基线方法的评估。
2021-12-13 cs.AI cs.LG
Latent Domain Modeling Improves Robustness to Geographic Shifts
Microsoft(微软公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一种基于潜在领域建模的框架,通过整合地理坐标提升对地理偏移的鲁棒性,在多个数据集上取得显著改进。
2026-02-09 cs.CV cs.LG
Sampler-Robust Optimization under Generative Models
Telfer School of Management University of Ottawa(渥太华大学泰弗管理学院)
本文提出Sampler-Robust Optimization方法,通过优化决策以应对最坏情况下的采样器,提高鲁棒性和稳定性,实验显示在分布转移下性能更优。
2026-04-30 cs.AI cs.LG math.OC
Distributionally Robust Survival Models under Subpopulation Shift and Outlier Contamination
Pohang University of Science and Technology(浦项科技大学)
针对异质群体中分布偏移和异常值污染导致的生存模型性能下降问题,提出结合外部最小化与内部最大化的分布鲁棒框架,在模拟和基准实验中稳定训练并显著提升最差组性能。
2026-10-05 cs.AI cs.LG
Gen-DFL: Decision-Focused Generative Learning for Robust Decision Making
Heinz College, Carnegie Mellon University, USA(卡内基梅隆大学海因兹学院);Computer Science, University of Virginia, USA(弗吉尼亚大学计算机科学系)
Gen-DFL通过生成模型适应性建模不确定性,提升决策鲁棒性,在调度和物流问题中表现出色。
2026-03-02 cs.LG
Experimental Site Selection under Directional Distribution Shifts
Center for Data Science, New York University(纽约大学数据科学中心)
本文将实验选址建模为最优传输问题,通过最小化总体与样本协变量分布的Wasserstein距离来降低PATE和CATE估计误差,并利用Wasserstein DRO增强对分布偏移的鲁棒性,模拟与实证分析验证了其优于随机和分层抽样选址。
2026-09-29 econ.EM stat.ME
Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis
Massachusetts Institute of Technology(麻省理工学院)
无论是在过去还是最近,人们都对不同的通用逼近器家族(例如ReLU网络,多项式,有理函数)的能力非常感兴趣。然而,目前的研究几乎完全集中在最坏情况下的理解这个问题,例如将最佳无穷范数近似的误差限制在一个盒子里。在这种设置中,甚至需要一个高次多项式来近似单个ReLU。然而,在高维数据的实际应用中,我们希望在其域的某些相关部分上很好地近似所需函数才是重要的。有了这个动机,我们分析的能力,神经网络和多项式内核的有界程度,以实现良好的统计性能的一个简单的,自然的推理问题,稀疏的潜在结构。对于这个问题,我们给出了神经网络和低次多项式性能的几乎紧界。我们的界限多项式涉及新的技术,可能是独立的利益,并显示出重大的定性差异与已知的最坏情况下的设置。
2018-05-29 cs.DS cs.LG stat.ML
Optimal Recovery Meets Bayesian Learning: Where Worst-Case Bounds Pay Off
本文统一最坏情况最优恢复与贝叶斯学习,证明Morozov校准在可复现性和后端鲁棒性上优于现有方法,并指出协变量偏移下OR的局限,提出按数据机制匹配保证工具的设计原则。
2026-09-25 cs.LG stat.ML
Bulk-Calibrated Credal Ambiguity Sets: Fast, Tractable Decision Making under Out-of-Sample Contamination
University of Bristol(布里斯托大学);University of Cambridge(剑桥大学);University of California, Berkeley(加州大学伯克利分校);University of Oxford(牛津大学)
提出批量校准置信模糊集,通过分离批量内污染和尾部贡献,得到闭式有限风险目标,转化为线性或二阶锥规划,实现高效鲁棒优化。
2026-06-12 cs.LG stat.ML
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University(耶鲁大学);MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
该研究针对在线二分类,提出与捕捉平滑最优性的松弛基准竞争的方法,算法后悔界仅依赖VC维与实例空间复杂度,对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界,连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Assessing External Validity Over Worst-case Subpopulations
Lyft Inc.(Lyft 公司);Columbia Business School(哥伦比亚商学院)
研究人群通常是从有限的空间和时间点抽样,边缘化群体的代表性不足。为了评估随机和观察性研究的外部有效性,我们提出并评价了给定规模的所有亚群的最差处理效应(WTE),这保证了阳性结果在亚群中仍然有效。我们开发了一个半参数有效估计的WTE分析的外部有效性的增广逆倾向加权估计的平均处理效应。我们的交叉拟合过程利用滋扰参数的灵活的非参数和基于机器学习的估计,并且即使当滋扰估计收敛得更慢时,也是常规的根$n$估计器。在外部有效性是核心问题的真实例子中,我们提出的框架可以防止因意外的人口变化而无效的脆弱发现。
2022-02-03 cs.LG econ.EM stat.ML
Self-Tuning Bandits over Unknown Covariate-Shifts
Columbia University(哥伦比亚大学)
有协变量的强盗,也就是。上下文强盗(contextual bandits)解决了在给定时间$t$的最佳动作(或武装)取决于上下文$x_t$的情况,例如,一个新病人的病史一个消费者过去的购买记录虽然可以理解上下文的分布可能随时间而改变,由于季节性,或部署到新的环境中,大量的研究关注的是最不利的这种变化,导致遗憾的界限,往往是最坏的情况下的性质。另一方面,协变量偏移在分类中被认为是一种中间形式,可以捕获分布中的轻微到相对严重的变化。我们认为非参数土匪在这样的中间地带的情况下,并得出新的遗憾的界限,紧紧抓住上下文分布的连续变化。此外,我们表明,这些速率可以自适应地达到没有知识的时间的转变,也没有转移量。
2021-02-21 cs.LG stat.ML
Just Mix Once: Worst-group Generalization by Group Interpolation
DTU(丹麦技术大学);Amazon(亚马逊);UCL(伦敦大学学院)
深度学习理论的进步揭示了平均泛化如何依赖于数据中的表面模式。其结果是脆弱的模型,在测试时组分布的变化,表现不佳。当组注释可用时,我们可以使用强大的优化工具来解决这个问题。然而,识别和注释是耗时的,特别是在大型数据集上。最近的一系列工作利用自我监督和过采样来改善对少数群体的泛化,而无需群体注释。我们建议统一和推广这些方法,使用类条件的变体的mixup量身定制的最坏的组泛化。我们的方法Just Mix Once(JM 1)在学习过程中对样本进行插值,用连续的组混合来增强训练分布。JM 1是领域不可知的,计算效率高,可以与任何级别的组注释一起使用,并且在最差组泛化方面的表现与最先进的技术相当或更好。此外,我们提供了一个简单的解释,为什么JM1的工作。
2022-10-21 cs.LG
Guaranteed Validity for Empirical Approaches to Adaptive Data Analysis
Toyota Technical Institute of Chicago(芝加哥丰田理工学院);University of Pennsylvania(宾夕法尼亚大学);Boston University(波士顿大学)
我们设计了一个用于回答自适应统计查询的通用框架,重点是提供显式置信区间和点估计。在这方面的先前工作集中于为特定分析提供严格的置信区间,或为点估计提供一般的最差情况界限。不幸的是,正如我们所观察到的,这些最坏情况下的界限在许多设置中是松散的-通常甚至没有超过像样本分割这样的简单基线。我们的主要贡献是设计一个框架,提供有效的,特定于实例的置信区间的点估计,可以生成的统计。当与良好的统计学配对时,该方法给出的保证比最佳最坏情况界限好几个数量级。我们提供了一个Python库来实现我们的方法。
2020-03-09 cs.LG math.ST stat.ML
Decision-Focused Federated Learning Under Heterogeneous Objectives and Constraints
Auburn University(亚伯拉罕大学)
本文研究了在异质目标和约束下聚焦决策的联邦学习,通过SPO+替代损失推导出异质性界限,展示了在强凸可行集下联邦学习的鲁棒性,并通过实验验证了其有效性。
2026-05-16 cs.LG math.OC stat.ML
Worst-case low-rank approximations
本文提出wcPCA框架,通过考虑最坏情况性能,改进了低秩近似在异质领域中的应用,提出了新的估计器并证明了其最坏情况最优性。
2026-03-11 cs.AI cs.LG stat.ME
Distributionally Robust Policy Learning under Concept Drifts
New York University(纽约大学);University of Pennsylvania(宾夕法尼亚大学);Hong Kong University of Science and Technology(香港科技大学);Arena Technologies
本文研究概念漂移下的分布鲁棒策略学习,提出双重鲁棒估计器评估最坏平均奖励,并设计算法最大化策略价值,次优差距为κ(Π)n^{-1/2}阶且速率最优,数值实验显示显著优于现有基准。
2025-06-01 cs.LG stat.ML
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在协变量偏移下,训练(源)数据和测试(目标)数据在输入空间分布上不同,但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知(RBA)预测提供了条件标签分布,该条件标签分布对目标分布的最坏情况对数损失是鲁棒的,同时匹配来自源分布的特征期望约束。然而,采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测,同时为目标数据预测留下太多不确定性。为了克服这个问题,我们扩展的代表定理的RBA设置,使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法,我们建立了一致性保证,并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集,以及数据集,有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Learning Deterministic Surrogates for Robust Convex QCQPs
University of Edinburgh(爱丁堡大学)
提出双隐层模型,通过求解确定性代理和评估最坏情况,实现不确定凸QCQP的鲁棒决策聚焦学习,并以松弛处理不确定约束,实验验证其正则化有效性。
2023-12-19 cs.AI cs.LG math.OC
Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院)
该研究从对抗视角提出机器遗忘的新评估框架,通过双层优化定位最坏情况遗忘集,在多数据集与多模型上的实验揭示了现有遗忘策略的优缺点,为更鲁棒的遗忘算法研发提供指引。
2024-07-09 cs.AI cs.CV cs.LG
Improvement-Focused Causal Recourse (ICR)
LMU Munich(慕尼黑大学);University of Vienna(维也纳大学);University of Tübingen(图宾根大学)
针对现有因果追索方法可能导致欺骗预测器而不改善现实状态的问题,提出 ICR 方法,利用因果知识设计追索前后均准确的决策系统,确保改善保证转化为接受保证。
2022-10-27 cs.LG stat.ML
Evaluating Model Robustness and Stability to Dataset Shift
Johns Hopkins University(约翰斯·霍普金斯大学);Bayesian Health(贝叶斯健康)
随着机器学习在高影响力领域的广泛应用,评估安全性的重要性也越来越高。其中一个重要方面是评估模型对环境或人群变化的鲁棒性,这通常需要将模型应用于多个独立的数据集。由于收集这些数据集的成本往往是令人望而却步的,在本文中,我们提出了一个框架,使用现有的数据分析这种类型的稳定性。我们使用原始评估数据来确定算法表现不佳的分布,并估计算法在“最坏情况”分布上的性能。我们考虑用户定义的条件分布中的移位,允许某些分布移位,同时保持数据分布的其他部分固定。例如,在医疗保健方面,这使我们能够考虑临床实践的变化,同时保持患者人群固定。为了解决与复杂的,高维分布的估计相关的挑战,我们推导出一个“去偏”估计保持$\sqrt{N}$一致性,即使当机器学习方法收敛速度较慢,估计的滋扰参数。在一个真正的医疗风险预测任务的实验中,我们表明,该估计可用于分析稳定性和帐户的现实转变,以前不能表示。拟议的框架允许从业者主动评估其模型的安全性,而无需额外的数据汇集。
2021-03-15 cs.LG stat.ML
Decision-Focused Learning via Tangent-Space Projection of Prediction Error
Department of Industrial Engineering, Ulsan National Institute of Science and Technology(乌山国立科学与技术研究院工业工程系)
本文提出了一种基于预测误差切线空间投影的决策聚焦学习方法,通过几何特征简化了后悔梯度的计算,提升了下游决策质量并提高了计算效率。
2026-05-19 cs.LG
Task-Robust Pre-Training for Worst-Case Downstream Adaptation
Peking University(北京大学)
本文提出一种任务鲁棒预训练方法,通过将上游任务分离为代表性任务并应用极小极大损失,保证模型在最坏情况下游任务上的一致良好性能,并在NLP和CV数据集上验证了其有效性。
2023-11-24 cs.CV cs.LG
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University(密西西比州立大学)
针对Wasserstein分布偏移下的安全强化学习双层优化难题,提出基于对偶转换与可微凸规划的单层端到端框架,显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
Distributionally Robust Post-hoc Classifiers under Prior Shifts
UC Santa Cruz(加州大学圣克鲁兹分校);Google Research(谷歌研究院)
针对类别或群体先验分布偏移问题,本文提出一种轻量级事后分类器方法,通过对预训练模型预测进行缩放调整来最小化目标分布周围的分布鲁棒损失,并提供了可证明的保证。
2023-09-16 cs.AI cs.LG