Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder
City University of Hong Kong(香港城市大学)
领域泛化旨在提高机器学习系统对分布外数据的泛化能力。现有的领域泛化技术都是在静态和离散的环境下进行的,以解决面向对象数据所带来的泛化问题。然而,非平稳环境中的许多现实任务(例如自动驾驶汽车系统、传感器测量)涉及更复杂且不断演变的域漂移,这对领域泛化问题提出了新的挑战。在本文中,我们制定了上述设置的问题,不断发展的领域泛化。具体来说,我们建议引入一个称为潜在结构感知顺序自动编码器(LSSAE)的概率框架,通过探索深度神经网络潜在空间中的底层连续结构来解决进化领域泛化的问题,我们的目标是识别两个主要因素,即协变量偏移和概念移位,这两个因素是非平稳环境中分布偏移的原因。在合成数据集和真实数据集上的实验结果表明,LSSAE可以在不断发展的领域泛化设置的基础上获得更好的性能。
2022-06-16 cs.AI cs.LG
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich(慕尼黑大学);Heidelberg University(海德堡大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);MIT(麻省理工学院)
深度度量学习(DML)旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而,常见的评估协议仅测试单个固定的数据分割,其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中,我们系统地构建训练测试分裂的难度越来越大,并提出了ooDML基准,以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准,我们进行了彻底的实证分析国家的最先进的DML方法。我们发现,虽然泛化往往会不断降低难度,但随着分布偏移的增加,一些方法在保持性能方面会更好。最后,我们提出了Few-Shot DML作为一种有效的方法,以不断提高泛化响应未知的测试转移ooDML。代码可在这里:https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models
Stanford University(斯坦福大学)
针对视觉-语言模型在测试时因域偏移效果下降的问题,提出测试时原型移位框架,通过动态调整类别原型弥合域差距,在15个数据集上取得最优效果且资源消耗更低。
2024-12-10 cs.AI cs.CV cs.LG
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University(贝勒大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题,提出基于底层变换模型扩充合成域、学习公平不变分类器的方法,在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Weak-to-Strong Generalization under Distribution Shifts
EPFL(洛桑联邦理工学院);Seoul National University(首尔大学);CRABs
RAVEN 通过动态学习弱模型组合提升强模型在分布偏移下的泛化能力,有效提升分布外任务性能。
2025-11-25 cs.AI cs.LG stat.ML
When Shift Happens - Confounding Is to Blame
CISPA Helmholtz Center for Information Security(CISPA霍普夫研究中心)
研究指出分布偏移下ERM表现优异及全协变量利用提升OOD泛化的现象源于隐藏混杂,证明需学习环境特定关系并可用代理变量缓解挑战,为OOD算法设计提供新指导。
2025-05-27 cs.LG
FOOGD: Federated Collaboration for Both Out-of-distribution Generalization and Detection
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院);National University of Singapore(新加坡国立大学)
针对联邦学习中协变量偏移与语义偏移同时出现的问题,本文提出FOOGD,通过SM3D和SAG实现分布估计、OOD检测与协变量偏移泛化。
2024-10-23 cs.LG
A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
本文从理论上证明了独立性驱动重要性加权算法在协变量偏移泛化中的有效性,将其解释为特征选择过程,并引入最小稳定变量集,在理想条件下可识别该集合,且通过合成实验验证了理论。
2023-10-17 cs.LG stat.ML
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University(北京大学);New York University(纽约大学)
尽管在许多任务中取得了令人印象深刻的成功,但深度学习模型被证明依赖于虚假特征,当推广到分布外(OOD)数据时,这些特征将灾难性地失败。不变风险最小化算法(Invariant Risk Minimization,简称RISK)通过提取面向对象的领域不变特征来解决这一问题。然而,最近的工作表明,双折射仅对特定类型的分布偏移有效(例如,相关偏移)而对于其它情况则失败(例如,多样性转移)。与此同时,另一种方法,对抗训练(AT),表现出更好的域转移性能,这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性,通过探索的相似性之间的竞争和AT目标。受这种联系的启发,我们提出了域对抗训练(DAT),这是一种AT启发的方法,用于减轻特定于域的扰动引起的分布偏移。大量的实验表明,我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University(清华大学);University of Southern California(南加州大学)
挑战传统验证范式,提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差,显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Generalization vs. Specialization under Concept Shift
Princeton University(普林斯顿大学);CUNY Graduate Center(纽约大学研究生中心);University of Sydney(悉尼大学)
本文在热力学极限下推导了概念漂移下岭回归预测风险的精确表达式,揭示了弱/强概念漂移相变与非单调数据依赖,并通过Transformer、MNIST和FashionMNIST实验验证了理论发现。
2025-07-03 cond-mat.dis-nn cond-mat.stat-mech cs.LG
CrossNorm and SelfNorm for Generalization under Distribution Shifts
Amazon Web Services(亚马逊网络服务);Rutgers University(罗格斯大学)
传统的归一化技术(例如,批量归一化和实例归一化)通常且简单地假设训练数据和测试数据遵循相同的分布。由于分布偏移在现实世界的应用中是不可避免的,使用以前的归一化方法训练好的模型在新的环境中可能表现不佳。我们能否开发新的归一化方法来提高分布偏移下的泛化鲁棒性?在本文中,我们回答了这个问题,提出了交叉规范和自规范。CrossNorm在特征图之间交换通道平均值和方差,以扩大训练分布,而SelfNorm使用注意力来重新校准统计数据,以弥合训练分布和测试分布之间的差距。CrossNorm和SelfNorm可以相互补充,尽管在统计使用方面探索了不同的方向。在不同领域(视觉和语言)、任务(分类和分割)、设置(监督和半监督)以及分布偏移类型(合成和自然)上的大量实验表明了该方法的有效性。代码可在https://github.com/amazon-research/crossnorm-selfnorm上获得
2021-08-16 cs.CV cs.LG
Robust Generalization despite Distribution Shift via Minimum Discriminating Information
University of Konstanz(康斯坦茨大学);ETH Zurich(苏黎世联邦理工学院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
在分布偏移下表现良好的训练模型是机器学习的核心挑战。在本文中,我们介绍了一个建模框架,除了训练数据,我们有部分结构知识的移位测试分布。我们采用最小判别信息的原则来嵌入现有的先验知识,并使用分布鲁棒优化来考虑由于有限的样本的不确定性。通过利用大偏差的结果,我们获得了明确的泛化界限,关于未知的移位分布。最后,我们通过在两个不同的应用程序上展示我们的框架的多功能性:(1)在系统偏差数据上训练分类器和(2)马尔可夫决策过程中的离线评估。
2021-10-26 cs.IT cs.LG math.IT
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University(哈佛大学);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
该研究通过两项大规模多站点复制研究的实证分析,提出协变量偏移可预测未知条件偏移强度的新作用,结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果,为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations
Massachusetts Institute of Technology(麻省理工学院)
当机器学习模型部署在与训练分布不同的测试分布上时,它们可能表现不佳,但高估了它们的性能。在这项工作中,我们的目标是更好地估计模型的性能下分布偏移,没有监督。为此,我们使用一组域不变预测器作为未知的真实目标标签的代理。由于所得到的风险估计的误差取决于代理模型的目标风险,我们研究了域不变表示的泛化,并表明潜在表示的复杂性对目标风险有显着影响。从经验上讲,我们的方法(1)能够自调整领域自适应模型,(2)准确地估计给定模型的目标误差下分布偏移。其他应用包括模型选择,决定提前停止和错误检测。
2020-07-06 cs.LG stat.ML
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
University of California, Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们提出了测试时训练,一种通用的方法,用于提高预测模型的性能时,训练和测试数据来自不同的分布。我们将单个未标记的测试样本转化为自监督学习问题,在进行预测之前更新模型参数。这也自然延伸到在线流中的数据。我们简单的方法导致不同的图像分类基准的改进,旨在评估分布偏移的鲁棒性。
2020-07-01 cs.CV cs.LG stat.ML
DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然深度学习展示了其处理独立同分布(IID)数据的强大能力,但它经常遭受分布外(OoD)泛化,其中测试数据来自另一个分布(w.r.t.训练1)。设计一个通用的面向对象的推广框架,以广泛的应用是具有挑战性的,主要是由于在现实世界中可能的相关性和多样性的转变。以往的方法大多只能解决一个特定的分布偏移,如跨域偏移或相关外推。为了解决这个问题,我们提出了DecAug,一种新的分解特征表示和语义增强方法,用于OoD泛化。DecAug解开了类别相关和上下文相关的特征。类别相关特征包含目标对象的因果信息,而上下文相关特征描述属性、风格、背景或场景,导致训练数据和测试数据之间的分布偏移。分解通过正交化两个梯度(w.r.t.中间特征)的损失,用于预测类别和上下文标签。此外,我们执行基于梯度的增强上下文相关的功能,以提高学习表示的鲁棒性。实验结果表明,DecAug在各种OoD数据集上的性能优于其他最先进的方法,这是为数不多的可以处理不同类型的OoD泛化挑战的方法之一。
2020-12-17 cs.LG
Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts
School of Computing and Information Science(计算与信息科学学院);University of Maine(缅因大学);San Diego State University(圣地亚哥州立大学)
提出伴随网络GC-Net,通过监控原始网络连接并结合基于幅度与连接性的修剪方法,有效提升了稀疏深度神经网络在分布偏移下的泛化能力。
2024-11-14 cs.LG
A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation
Northwestern University(西北大学);University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
本综述系统梳理了分布偏移下的深度图学习,涵盖图OOD泛化与适应三类场景,提出模型中心与数据中心的分类法,并总结常用数据集与未来方向。
2025-03-28 cs.LG
OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
深度学习在独立同分布(independent and identical distributed,i.i.d.)数据然而,神经网络的性能通常在遇到分布外(OoD)数据时急剧退化,即,当训练和测试数据从不同的分布中采样时。虽然已经提出了过多的算法用于OoD泛化,但我们对用于训练和评估这些算法的数据的理解仍然停滞不前。在这项工作中,我们首先确定和测量两种不同的分布偏移,是普遍存在于各种数据集。接下来,通过大量的实验,我们比较OoD泛化算法在两组基准测试,每个占主导地位的分布偏移,揭示他们的优势,以及对其他移动的限制。总的来说,我们将来自不同研究领域的现有数据集和算法定位为同一个连贯的图像。它可以作为一个立足点,可以诉诸未来的面向对象的泛化研究。我们的代码可在www.example.com上获得。
2022-03-30 cs.LG
GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts
Stanford University(斯坦福大学);Purdue University(普渡大学)
提出 GraphMETRO 图神经网络,利用门控 MoE 建模多种自然分布偏移,并通过专家表示对齐实现稳定优化,在 GOOD 基准上取得最先进性能。
2024-10-28 cs.LG
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)(弗劳恩霍夫能源经济与能源系统技术研究所);Intelligent Embedded Systems (IES)(智能嵌入式系统)
本文针对鸟类声音分类任务,探究对抗训练对分布偏移下泛化能力的影响,发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性,该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Temp-SCONE: A Novel Out-of-Distribution Detection and Domain Generalization Framework for Wild Data with Temporal Shift
Department of Computer Science, San Diego State University(计算机科学系,圣地亚哥州立大学)
Temp-SCONE通过引入时间一致性正则化损失,提升动态环境下分布外检测和领域泛化的鲁棒性。
2025-12-04 cs.LG
Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization
Department of Computer Science, Purdue University(普渡大学计算机科学系);Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系);Department of Industrial and Systems Engineering, The Ohio State University(俄亥俄州立大学工业与系统工程系)
本文提出RIA方法,通过对抗性标签不变的数据增强提升分布外泛化能力,结合因果生成图数据进行优化,实验表明其在多种分布偏移场景中表现优异。
2026-04-20 cs.LG stat.ML
Out-Of-Distribution Generalization on Graphs: A Survey
Tsinghua University(清华大学)
图机器学习在学术界和工业界都得到了广泛的研究。尽管随着大量新兴方法和技术的出现而蓬勃发展,但大多数文献都建立在分布假设的基础上,即,测试和训练图数据是相同分布的。然而,在许多真实世界的图形场景中,当测试和训练图形数据之间存在分布偏移时,模型性能大大降低时,这种分布内假设很难得到满足。为了解决这一关键问题,图的分布外推广(out-of-distribution generalization,OOD)超越了分布内假设,取得了很大的进展,引起了研究界越来越多的关注。本文对图上的面向对象的推广进行了全面的综述,并对这一领域的最新进展进行了详细的回顾。首先,我们提供了一个正式的问题定义的图上的OOD推广。其次,我们从概念上不同的角度将现有的方法分为三类,即,数据、模型和学习策略,基于它们在图机器学习管道中的位置,然后对每个类别进行详细讨论。我们还回顾了与图上的OOD推广相关的理论,并介绍了常用的图数据集进行全面评估。最后,我们分享了我们对未来研究方向的见解。本文是第一个系统的和全面的审查图上的OOD推广,尽我们所知。
2022-12-29 cs.LG
Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization
Texas A&M University(得克萨斯农工大学)
本文提出一种非欧几里得空间线性外推的数据增强方法,同时外推图结构与特征空间来生成针对特定偏移的OOD样本,在不破坏因果机制的前提下提升图分布外泛化性能。
2024-06-05 cs.LG
A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学)
本文通过最优传输理论分析推理过程,揭示了结构泛化和近似限制的理论机制,发现位置依赖注意力机制和Transformer电路深度对推理性能有显著影响。
2026-10-20 cs.AI cs.CC cs.CL
Out-of-Distribution Generalization via Risk Extrapolation (REx)
Mila(米拉研究所);University of Montreal(蒙特利尔大学);Vector(Vector研究所);University of Toronto(多伦多大学);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
分布偏移是将机器学习预测系统从实验室转移到现实世界的主要障碍之一。为了解决这个问题,我们假设训练域之间的变化代表了我们在测试时可能遇到的变化,但测试时的变化可能在幅度上更极端。特别是,我们表明,减少训练域之间的风险差异可以降低模型对各种极端分布变化的敏感性,包括输入包含因果和反因果元素的挑战性设置。我们激励这种方法,风险外推(REx),作为一种形式的鲁棒优化的扰动集外推域(MM-REx),并提出了惩罚的方差训练风险(V-REx)作为一个更简单的变体。我们证明了REx的变体可以恢复目标的因果机制,同时还对输入分布的变化(“协变量偏移“)提供了一定的鲁棒性。通过适当地权衡因果引起的分布偏移和协变量偏移的稳健性,REx能够在这些类型的偏移同时发生的情况下优于其他方法,例如不变风险最小化。
2021-02-25 cs.AI cs.LG cs.NE
Understanding Generalization through Decision Pattern Shift
Xi’an Jiaotong University(西安交通大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出决策模式偏移(DPS)作为泛化的新视角,通过分析模型内部决策模式的稳定性评估泛化能力,揭示泛化是内部决策机制系统性偏移的过程,并展示DPS在不同泛化退化场景中的统一解释。
2026-05-13 cs.CV cs.LG
Efficient Generalization via Multimodal Co-Training under Data Scarcity and Distribution Shift
Department of Electrical and Computer Engineering(电气与计算机工程系);Florida Institute for National Security (FINS)(佛罗里达国家安全研究所);Applied Artificial Intelligence Group(应用人工智能小组);University of Florida(佛罗里达大学)
本文提出多模态协同训练框架,在数据稀缺和分布偏移下利用未标记数据与分类器一致性提升泛化,并给出收敛性分析与泛化界限,验证其实际效益。
2025-10-08 cs.IT cs.LG math.IT
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich(慕尼黑路德维希·马克西米利安大学);U.S. Food and Drug Administration(美国食品药品监督管理局);Technical University of Munich(慕尼黑工业大学)
提出了一种新的基于变分推理的递归框架,以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示,在该表示上应用变分高斯混合模型,通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络(CNN)架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类,以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具,以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
On Generalization of Graph Autoencoders with Adversarial Training
Eindhoven University of Technology(埃因霍温理工大学)
对抗性训练是一种提高模型对对抗性扰动的弹性的方法。这种方法已经被证明可以产生具有更好概括的特征表示的模型。然而,在图数据上的模型对抗训练方面所做的工作有限。在本文中,我们提出了这样一个问题:对抗性训练是否提高了图表示的泛化能力。我们在两种强大的节点嵌入方法中制定了L2和L1版本的对抗训练:图自动编码器(GAE)和变分图自动编码器(VGAE)。我们在GAE和VGAE的链接预测、节点聚类、图异常检测等三个主要应用上进行了大量的实验,并证明了L2和L1对抗训练都能提高GAE和VGAE的泛化能力。
2021-08-04 cs.LG stat.ML
Diagnosing Generalization Boundaries in AI-Based Vulnerability Detection via Calibrated Embedding Distances
University of Koblenz(科布伦茨大学);Fraunhofer ISST(弗劳恩霍夫ISST研究所)
该研究针对CodeBERT与Qwen2.5-Coder,利用校准嵌入距离揭示AI漏洞检测在分布偏移下的泛化边界,发现跨项目偏移退化最剧烈,误报与几何 proximity 相关,无需辅助模型即可诊断模型退化。
2026-10-14 cs.LG cs.SE
Virtual Nodes Can Help: Tackling Distribution Shifts in Federated Graph Learning
University of Virginia(弗吉尼亚大学)
针对联邦图学习中客户端间图数据分布偏移导致性能下降的问题,提出基于可学习虚拟节点与个性化边生成的FedVN框架,经理论验证和多数据集实验,性能优于9种基线方法。
2025-02-21 cs.DC cs.LG
$Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出ΔEnergy分数,通过重新对齐视觉-语言模态时的能量变化来同时提升分布外检测和分布外泛化性能,并基于此开发了统一微调框架EBM。
2026-05-25 cs.CV cs.LG
Out-of-Distribution Generalization in Kernel Regression
Harvard University(哈佛大学)
在实际应用中,用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里,我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法,我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵,量化了给定内核的分布之间的不匹配,作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式,我们阐明了各种泛化现象,包括可能的改善泛化时,有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序,以找到最好和最坏情况下的转变。我们目前的应用程序,我们的理论,真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较,并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization
UC Berkeley(加州大学伯克利分校);UChicago(芝加哥大学);Google(谷歌)
我们介绍了四个新的真实世界的分布偏移数据集,包括图像风格,图像模糊,地理位置,相机操作等的变化。通过我们的新数据集,我们评估了以前提出的用于提高分布外鲁棒性的方法,并对其进行了测试。我们发现,使用更大的模型和人工数据增强可以提高对现实世界的分布偏移的鲁棒性,与先前工作中的要求相反。我们发现人工鲁棒性基准的改进可以转移到现实世界的分布偏移,与先前工作中的要求相反。由于我们观察到数据增强可以帮助真实世界的分布偏移,我们还引入了一种新的数据增强方法,该方法提高了最新技术水平,并且优于使用1000倍以上标记数据预训练的模型。总的来说,我们发现,一些方法始终有助于纹理和局部图像统计的分布偏移,但这些方法并不有助于其他一些分布偏移,如地理变化。我们的研究结果表明,未来的研究必须同时研究多个分布偏移,因为我们证明,没有评估的方法一致地提高鲁棒性。
2021-07-24 cs.CV cs.LG stat.ML
Towards out of distribution generalization for problems in mechanics
Boston University(波士顿大学)
有一个巨大的增长,研究兴趣对应用数据驱动的方法,在力学问题。虽然传统的机器学习(ML)方法已经实现了许多突破,但它们依赖于训练(观察到的)数据和测试(看不见的)数据是独立同分布(i.i.d)的假设。因此,传统的ML方法在应用于具有未知测试环境和数据分布变化的现实世界力学问题时往往会崩溃。相比之下,分布外(OOD)泛化假设测试数据可能发生偏移(即,违反了身份证。假设)。到目前为止,已经提出了多种方法来改善ML方法的OOD推广。然而,由于缺乏OOD回归问题的基准数据集,这些OOD方法在回归问题上的效率仍然是未知的。为了解决这个问题,我们研究了OOD泛化方法在力学回归问题中的性能。具体来说,我们确定了三个OOD问题:协变量转移,机制转移和抽样偏差。对于每个问题,我们创建了两个基准测试的例子,扩展了机械MNIST数据集,我们调查流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明,在大多数情况下,虽然OOD泛化算法在这些OOD问题上的表现优于传统的ML方法,但迫切需要开发更强大的OOD泛化方法,这些方法在多个OOD场景中都是有效的。总的来说,我们希望这项研究,以及相关的开放获取基准数据集,将使OOD泛化方法的力学特定的回归问题的进一步发展。
2022-08-13 cs.CE cs.LG physics.data-an
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University(普渡大学)
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重,并提供这些估计的置信界。我们部署这些估计器,并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Domain Generalization under Sampling Pattern Shifts in Irregular Time Series
针对不规则采样时间序列中的采样模式偏移,提出首个基准HAR-C和DG框架PRISM,通过互补表示学习与稳健训练提升对未见采样偏移的鲁棒性。
2026-09-29 cs.AI cs.LG
An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
School of Computer Science University of Sheffield, UK(计算机科学学院 谢菲尔德大学)
本研究通过比较不同对齐目标和适应策略,探讨领域转移下偏好微调的泛化性和多样性,发现伪标签法能有效缓解领域转移带来的性能下降。
2026-08-25 cs.AI cs.CL cs.LG
Mitigating Both Covariate and Conditional Shift for Domain Generalization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
领域泛化(DG)的目的是在多个源领域上学习一个模型,希望该模型能够很好地泛化到未知的目标领域。域之间的分布偏移包含协变量偏移和条件偏移,模型必须能够处理这两种偏移以获得更好的泛化能力。提出了一种新的基于视觉对齐和不确定性引导的信念增强(VAUE)的分布式预测方法来处理分布偏移。针对协变量偏移,设计了视觉对齐模块,将图像风格的分布对齐到共同的经验高斯分布,从而消除视觉空间中的协变量偏移。对于条件转移,我们采用了基于主观逻辑和Dempster-Shafer理论的不确定性引导的信念集成策略。给定一个测试样本的条件分布是由源域的条件分布的动态组合来估计的。在四个广泛使用的数据集上进行了全面的实验,以证明所提出的方法的优越性能,即,家庭、VLCS、TerraIncognita和PACS。
2022-09-17 cs.AI cs.CV cs.LG
MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task
Hitachi, Ltd.(日立制作所)
我们提出了一个机器声音数据集的基准领域泛化技术异常声音检测(ASD)。域偏移是数据分布的差异,会降低检测性能,处理它们是ASD系统应用的主要问题。虽然目前可用的ASD任务数据集假设域偏移的发生是已知的,但在实践中,它们可能难以检测。为了处理这样的域转移,应该研究无论域如何都表现良好的领域泛化技术。在本文中,我们提出了第一个ASD数据集的领域泛化技术,称为MIMII DG。该数据集由五种机器类型和每种机器类型的三种域转移场景组成。该数据集专用于领域泛化任务,其特征包括导致领域偏移的参数的多个不同值以及可能难以检测的领域偏移的引入,例如背景噪声中的偏移。使用两个基线系统的实验结果表明,数据集再现域转移的情况下,是有用的基准领域泛化技术。
2022-11-22 cs.AI cs.LG cs.SD
Direct-Effect Risk Minimization for Domain Generalization
Peking University(北京大学);University of Waterloo(滑铁卢大学)
我们研究了分布外(o.o.d.)泛化,其中属性的虚假相关性在训练和测试域中变化。这被称为相关性偏移问题,并对机器学习的可靠性提出了担忧。在这项工作中,我们引入了因果推理的直接和间接影响的概念,领域泛化问题。我们认为,学习直接效应的模型可以最大限度地降低相关性转移域中的最坏情况风险。为了消除间接影响,我们的算法包括两个阶段:在第一阶段,我们通过使用表示和类标签最小化域标签的预测误差来学习间接影响表示;在第二阶段,我们通过将每个数据与另一个类似的间接数据相匹配,效果表示,但在训练和验证阶段使用不同的类标签。我们的方法被证明是兼容现有的方法,并提高他们的相关移位数据集的泛化性能。在5个相关移位数据集和DomainBed基准测试上的实验验证了该方法的有效性。
2023-03-16 cs.AI cs.LG
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo(圣保罗大学);Advanced Institute for Artificial Intelligence (AI2)(高级人工智能研究所);Experian DataLab LatAm(益百利拉丁美洲数据实验室)
在监督学习中,训练和测试数据集通常从不同的分布中采样。因此,需要域自适应技术。协变量移位自适应产生良好的泛化性能时,域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现,根据常识,由于有效样本量(ESS)较小,这可能会失败。以前的研究认为,这种情况在高维环境中更常见。然而,如何有效的样本量,维数和模型的性能/泛化正式相关的监督学习,考虑到协变量转移适应的背景下,在文献中仍然有些模糊。因此,一个主要的挑战是提出一个统一的理论连接这些点。因此,在本文中,我们专注于建立一个统一的视图连接ESS,数据维度,并在协变量转移自适应的背景下推广。此外,我们还展示了如何降维或特征选择可以增加ESS,并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Generalization Across Observation Shifts in Reinforcement Learning
Amazon(亚马逊);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文扩展双模拟框架,通过基于双模拟的新目标学习对上下文相关观测偏移不变的表示,并给出模拟器保真度与策略迁移的理论界,在高维图像控制任务中验证了泛化效果。
2023-06-07 cs.AI cs.LG cs.RO
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
针对无监督持续域偏移学习,提出互补域适应与泛化框架CoDAG,兼顾适应当前域、泛化未见域与防遗忘,模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
A Shift in Perspective on Causality in Domain Generalization
CHAI Hub(CHAI中心);The University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Archimedes, Athena Research Center(阿奇米德与雅典研究所);King's College London(伦敦国王学院);University College London(伦敦大学学院);National and Kapodistrian University of Athens(雅典国家与卡波迪斯蒂亚纳大学)
本文重新审视因果建模在域泛化中的泛化承诺,通过调和现有文献中的矛盾,提出更细致的因果作用理论,并提供交互式演示。
2025-08-18 cs.AI cs.CV cs.LG
Federated Learning under Covariate Shifts with Generalization Guarantees
University of Oslo(奥斯陆大学);Visual Intelligence Centre(视觉智能中心);EPFL(洛桑联邦理工学院)
针对联邦学习中客户端内外协变量偏移影响泛化性能的问题,提出FTW-ERM及通信高效变体FITW-ERM,理论和实验均验证了其在泛化性能上优于现有基线。
2023-06-08 cs.LG
Domain Generalization under Conditional and Label Shifts via Variational Bayesian Inference
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们提出了一个领域泛化(DG)的方法来学习几个标记的源域和知识转移到一个目标域,是在训练中无法访问。考虑到固有的条件性和标签偏移,我们预期$p(x|y)$和$p(y)$的对齐。然而,广泛使用的领域不变特征学习(IFL)方法依赖于对齐的边缘概念移位w.r.t. $p(x)$,它依赖于一个不切实际的假设,即$p(y)$是跨域不变的。因此,我们提出了一种新的变分贝叶斯推理框架,以执行条件分布对齐w.r.t. $p(x|y)$通过在潜在空间中的先验分布匹配,这也采取边际标签偏移w.r. t。$p(y)$与后对线一起考虑。在各种基准上的大量实验表明,我们的框架是强大的标签偏移和跨域的准确性显着提高,从而实现优于传统的IFL同行的性能。
2021-07-22 cs.AI cs.CV cs.LG
Understanding Generalization in Role-Playing Models via Information Theory
School of Computer Science, Wuhan University(武汉大学计算机学院);Tongyi Lab(通义实验室);Zhongguancun Academy(中关村学院)
本文通过信息理论提出R-EMID指标,分析角色扮演模型在分布偏移下的泛化问题,提出协同强化学习框架提升对话生成概率,发现用户偏移对泛化影响最大。
2026-04-13 cs.AI cs.CL cs.LG
Ego4OOD: Rethinking Egocentric Video Domain Generalization via Covariate Shift Scoring
McGill University(麦吉尔大学)
Ego4OOD通过引入协变量偏移评分,改进第一人称视频领域泛化的基准,展示了轻量网络在Argo1M和Ego4OOD上的高性能表现。
2026-01-21 cs.CV cs.LG
Generalization to translation shifts: a study in architectures and augmentations
Microsoft Research(微软研究院)
我们研究如何有效的数据增强是在捕捉精心设计的网络架构的空间平移不变性的感应偏差。我们评估各种图像分类架构(抗锯齿,卷积,视觉Transformer,和完全连接的MLP网络)和数据增强技术,以推广到大的平移。我们注意到:(a)在没有数据增强的情况下,当对转换的测试分布进行评估时,包括具有抗混叠修改的卷积网络在内的所有架构都遭受性能的一些降级。可以理解的是,对于非卷积模型,分布精度和偏移的退化都明显更差。(b)性能的鲁棒性甚至通过跨所有架构的$4$像素随机裁剪的最小增强来改进。在某些情况下,甚至$1-2$像素随机裁剪也足够。这表明存在一种来自增强的Meta泛化形式。对于非卷积架构,虽然这种基本增强的绝对精度仍然很低,但我们看到对平移移位的鲁棒性有了实质性的提高。(c)通过足够先进的增强流水线($4$像素裁剪+RandAugmentation+Erasing+MixUp),所有架构都可以经过训练,在分布精度以及对大平移移位的泛化方面具有竞争力的性能。
2022-11-12 cs.CV cs.LG
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University(亚利桑那州立大学)
针对现有VQA域泛化基准仅关注文本偏移的问题,提出首个多模态分布偏移基准VQA-GEN,揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG