Regularising for invariance to data augmentation improves supervised learning
DeepMind（深度思维）
数据增强用于机器学习中，以使分类器对标签保持变换不变。通常，这种不变性仅通过在训练期间包括单个增强输入来隐含地鼓励。然而，最近有几项工作表明，每个输入使用多个增广可以提高泛化能力，或者可以用来更明确地纳入不变性。在这项工作中，我们首先从经验上比较这些最近提出的目标，这些目标的不同之处在于它们是否依赖于显式或隐式正则化，以及它们在什么水平上编码不变性的预测。我们表明，预测的最佳性能的方法也是最相似的，当比较不同的扩增相同的输入。受此观察的启发，我们提出了一个明确的正则化，鼓励这种不变性的水平上的个别模型的预测。通过在CIFAR-100和ImageNet上的大量实验，我们证明了这种显式正则化器（i）提高了泛化能力，（ii）均衡了所有考虑的目标之间的性能差异。我们的研究结果表明，鼓励神经网络本身水平上的不变性的目标比那些通过平均非不变模型的预测来实现不变性的目标更好地推广。
2022-03-07 cs.LG stat.ML
Augmentation adversarial training for self-supervised speaker recognition
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文的目标是训练不需要说话人标签的鲁棒说话人识别模型。最近的无监督说话人表示的工作是基于对比学习，其中，他们鼓励内话语嵌入是相似的，跨话语嵌入是不同的。然而，由于话语内片段共享相同的声学特性，因此难以将说话者信息与声道信息分离。为此，我们提出了增强对抗训练策略，该策略训练网络对说话人信息具有辨别力，同时对所应用的增强保持不变。由于增强模拟了声学特性，因此训练网络对增强不变也鼓励网络对信道信息保持不变。在VoxCeleb和VOiCES数据集上进行的大量实验表明，与以前使用自我监督的作品相比，我们的自我监督模型的性能有了显着的改进，并且我们的自我监督模型的性能远远超过了人类。
2020-10-30 cs.LG cs.SD eess.AS
On the Benefits of Invariance in Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界的数据分析问题都表现出不变结构，利用这种结构的模型表现出令人印象深刻的经验性能，特别是在深度学习中。虽然文献中包含了各种将不变性纳入模型的方法，但理论上的理解很差，并且没有办法评估何时应该首选一种方法。在这项工作中，我们分析了深度学习中存在不变性的两种广泛使用的方法的优点和局限性：数据增强和特征平均。我们证明了使用数据增强进行训练可以更好地估计风险及其梯度，并且我们为使用数据增强训练的模型提供了PAC-Bayes泛化界。我们还表明，相比数据增强，特征平均减少了泛化误差时，使用凸损失，并收紧PAC贝叶斯界限。我们提供了这些理论结果的实证支持，包括为什么泛化可能无法通过数据增强训练来改善的演示：“学习不变性”在训练分布之外失败。
2020-05-01 cs.LG stat.ML
Learning Invariances in Neural Networks
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
平移不变性赋予了卷积神经网络强大的泛化特性。然而，我们通常不知道数据中存在什么样的不变性，或者模型在多大程度上应该对给定的对称群保持不变。我们展示了如何通过参数化增强分布并同时优化网络参数和增强参数的训练损失来实现\emph{learn}不变性和等变性。通过这个简单的过程，我们可以恢复正确的设置和程度上的不变性图像分类，回归，分割，和分子性质预测从一个大的空间增强，训练数据单独。
2020-12-01 cs.LG stat.ML
Learning Instance-Specific Augmentations by Capturing Local Invariances
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；DeepMind（深度思维）
本文提出InstaAug方法，通过可学习的不变性模块为每个输入生成定制化变换参数以捕捉局部不变性，并在监督与自监督任务上验证了其有效性。
2023-05-30 cs.LG
Post-Training Augmentation Invariance
Department of Mathematics, Dartmouth College（达特茅斯学院数学系）
提出训练后增强不变性框架，通过轻量级MLP适配器网络在预训练模型潜空间上实现近似不变性，无需微调且保持原始特征。
2026-06-08 cs.LG stat.ML
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Efficient Augmentation via Data Subsampling
Carnegie Mellon University（卡内基梅隆大学）
数据增强通常用于对学习方法中的不变性进行编码。然而，这个过程通常以低效的方式执行，因为通过对训练集中的所有点应用许多变换来创建人工示例。由此导致的数据集大小爆炸可能是存储和训练成本方面的问题，以及选择和调整要应用的最佳转换集方面的问题。在这项工作中，我们证明了可以显着减少数据增强中包含的数据点的数量，同时实现与增强整个数据集相同的准确性和不变性优势。我们提出了一组基于模型影响和损失的新型子采样策略，可以实现增强集大小减少90%，同时保持标准数据增强的准确性增益。
2019-03-01 cs.LG stat.ML
Automatic Data Augmentation via Invariance-Constrained Learning
University of Pennsylvania（宾夕法尼亚大学）；University of Stuttgart（斯图加特大学）
本文将数据增强形式化为不变性约束学习问题，并利用MCMC采样自动决定是否、何时及如何施加增强，在CIFAR自动增强基准上取得最先进结果。
2023-09-15 cs.LG
Learning robust visual representations using data augmentation invariance
University of Osnabrück（奥斯纳布吕克大学）；MRC Cognition and Brain Sciences Unit, University of Cambridge（剑桥大学MRC认知与脑科学组）
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而，人工和生物网络仍然表现出重要的差异。在这里，我们调查这样一个属性：增加不变性，以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现，但我们提出的经验证据表明，为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案，我们提出了数据增强不变性，一个无监督学习的目标，提高了鲁棒性的学习表示，通过促进增强图像样本的激活之间的相似性。我们的研究结果表明，这种方法是一种简单而有效的（训练时间增加10%）方法，可以提高模型的不变性，同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Deep invariant networks with differentiable augmentation layers
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
在机器学习中，设计对某些数据变换不变性的学习系统是至关重要的。从业者通常可以通过选择网络架构，例如使用卷积进行翻译，或使用数据增强，在训练模型上强制执行所需的不变性。然而，在网络中实施真正的不变性可能是困难的，并且数据不变性并不总是已知的。用于学习数据增强策略的最新方法需要保留的数据并且基于双层优化问题，该双层优化问题解决起来很复杂并且通常需要计算。在这项工作中，我们研究新的方法学习不变性仅从训练数据。使用直接在网络中构建的可学习增强层，我们证明了我们的方法是非常通用的。它可以包含任何类型的可微增强，并应用于计算机视觉之外的广泛的学习问题。我们提供的经验证据表明，我们的方法是更容易和更快的训练比现代自动数据增强技术的基础上双层优化，同时实现可比的结果。实验表明，虽然通过自动数据增强转移到模型的不变性受到模型表达能力的限制，但我们的方法产生的不变性对它不敏感。
2022-10-25 cs.AI cs.LG
Icospherical Chemical Objects (ICOs) allow for chemical data augmentation and maintain rotational, translation and permutation invariance
本文提出二十面体球形化学对象（ICOs），以旋转不变方式编码三维分子结构并支持数据增强，在分子性质预测、溶解度预测和蛋白质结合任务上验证了其与球形神经网络的有效性。
2023-04-15 cs.LG
DNA: Dynamic Network Augmentation
University of California, San Diego（加州大学圣迭戈分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在许多分类问题中，我们希望分类器对一系列非语义转换具有鲁棒性。例如，人类可以识别图片中的狗，而不管它出现的方向和姿势。大量证据表明，这种不变性可以显著提高机器学习模型的准确性和泛化能力。教导模型几何不变性的常用技术是用变换的输入来增加训练数据。然而，对于给定的分类任务，期望哪些不变性并不总是已知的。确定有效的数据增强策略可能需要领域专业知识或广泛的数据预处理。最近的努力，如AutoAugment优化了数据增强策略的参数化搜索空间，以自动化增强过程。虽然AutoAugment和类似的方法在几个常见的数据集上实现了最先进的分类精度，但它们仅限于学习一种数据增强策略。通常情况下，不同的类或特征要求不同的几何不变性。我们介绍了动态网络增强（DNA），它学习输入条件增强策略。我们模型中的增强参数是神经网络的输出，并且随着网络权重的更新而隐式学习。我们的模型允许动态增强策略，并在输入特征条件下进行几何变换的数据上表现良好。
2021-12-17 cs.LG
Invariances and Data Augmentation for Supervised Music Transcription
University of Washington（华盛顿大学）；Amazon（亚马逊）
本文探讨了基于帧的音乐转录的各种模型，重点是在人类录音上达到最先进水平所需的方法。本文讨论的不变性网络将传统滤波器组与卷积神经网络相结合，是2017年MIREX多基频估计评估中表现最好的模型。这类模型在对数频率域中共享参数，这利用了音乐的频率不变性来减少模型参数的数量并避免对训练数据的过拟合。本文中的所有模型都是通过来自MusicNet数据集的标记数据进行监督训练的，并通过随机标签保持音高转换进行增强。
2017-11-13 cs.LG cs.SD eess.AS
Data Augmentation: A Fourier Analysis Perspective
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Technical University of Munich (CIT, MCML, MDSI) and MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（慕尼黑工业大学（CIT、MCML、MDSI）和麻省理工学院计算机科学与人工智能实验室（CSAIL））
通过傅里叶分析和有限群表示论，研究部分数据增强能否达到与完全增强相同的统计收益，证明在广泛学习问题中部分增强可达到极小极大最优率，并给出精确不变性需要全群平均的不可行性结果。
2026-06-24 cs.LG stat.ML
Automated Data Augmentations for Graph Classification
Texas A&M University（得克萨斯农工大学）；Fujitsu Research of America, INC.（美国富士通研究公司）；Fujitsu Research, Fujitsu Limited（富士通有限公司富士通研究所）
数据增强是提高学习机不变性的有效方法。我们认为，数据增强的核心挑战在于设计保留标签的数据转换。这对于图像来说相对简单，但对于图形来说更具挑战性。在这项工作中，我们提出了GraphAug，一种新的自动数据增强方法，旨在计算标签不变的增强图分类。与现有研究中使用统一变换不同，GraphAug使用自动增强模型来避免损害图的关键标签相关信息，从而在大多数情况下产生标签不变的增强。为了确保标签不变性，我们开发了一种基于强化学习的训练方法，以最大化估计的标签不变性概率。实验表明，GraphAug在各种图分类任务上优于以前的图增强方法。
2023-02-28 cs.AI cs.LG
A Theory of PAC Learnability under Transformation Invariances
Toyota Technological Institute Chicago（芝加哥丰田技术研究院）
变换不变性存在于许多现实问题中。例如，图像分类通常对旋转和颜色变换是不变的：旋转后的不同颜色的汽车仍然被识别为汽车。数据增强将转换后的数据添加到训练集中，并在增强后的数据上训练模型，这是一种将这些不变性构建到学习过程中的常用技术。然而，目前还不清楚如何数据增强执行理论上和最佳算法是在变换不变性的存在。在本文中，我们研究了PAC学习下的转换不变性在三个设置根据不同的可实现性水平：（i）一个假设适合增广的数据;（ii）一个假设只适合原始数据和转换后的数据躺在数据分布的支持;（iii）不可知的情况下。一个有趣的观察是，在设置（ii）和（iii）中，必须区分原始数据和变换数据以实现最佳精度，这意味着任何不区分原始数据和变换数据的算法（包括数据增强）都不是最佳的。此外，这种类型的算法甚至会“损害”准确性。在设置（i）中，尽管不需要区分两个数据集，但数据增强仍然不能最佳地执行。由于这样的差异，我们提出了两个组合的措施，其特征在于设置（i）和（ii）（iii）的最佳样本复杂度，并提供了最佳算法。
2022-11-02 cs.LG
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心（AIP））
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响，揭示遮盖区域降低不变性但提升多样性，而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG
Towards Histopathological Stain Invariance by Unsupervised Domain Augmentation using Generative Adversarial Networks
University of Strasbourg（斯特拉斯堡大学）；University of Belgrade（贝尔格莱德大学）；University of Kragujevac（克拉古耶瓦茨大学）；Hannover Medical School（汉诺威医学院）；University Clinic, Freiburg（弗赖堡大学诊所）
监督式深度学习方法在数字病理学中的应用受到限制，因为它们对域转移敏感。数字病理学是一个容易因许多来源而产生高度变异性的领域，包括评价使用不同染色方案染色的几个连续组织切片的常见做法。获得每个染色剂的标签是非常昂贵和耗时的，因为它需要高水平的领域知识。在这篇文章中，我们提出了一种基于对抗性图像到图像翻译的无监督增强方法，这有助于训练染色不变的监督卷积神经网络。通过在一种常用的染色模式上训练网络，并将其应用于包括相应但不同染色的组织结构的图像，所提出的方法证明了对其他方法的显着改进。这些益处在七种不同染色模式（PAS、Jones H&E、CD 68、天狼星红、CD 34、H&E和CD 3）中的肾小球分割问题中得到说明，并且对所学习的表示的分析证明了它们的染色不变性。
2020-12-22 cs.CV cs.LG eess.IV
An "augmentation-free" rotation invariant classification scheme on point-cloud and its application to neuroimaging
University of California, Berkeley（加州大学伯克利分校）
近年来，随着3D传感器和技术的发展，3D医学成像技术的出现和日益普及。然而，在3D医学图像的处理中实现几何不变性在计算上是昂贵的，但是由于刚性配准技术引起的可能误差的存在而仍然是必要的。分析医学成像的另一种方法是通过理解点云表示的3D形状。虽然在医学成像领域，3D点云处理不是一个“去”的选择，但它是保持旋转不变性的标准方法。遗憾的是，由于离散拓扑的存在，人们不能在点云上使用标准的卷积算子。据我们所知，现有的方法做“卷积”不能保持旋转不变性，没有显式的数据增强。因此，我们提出了一个旋转不变卷积算子，通过诱导拓扑超球。在公开的OASIS数据集上进行了实验验证，验证了患有（不患有）痴呆症的受试者之间的分类准确性，证明了我们所提出的方法在模型复杂性，分类准确性以及最后但最重要的旋转不变性方面的有用性。
2019-11-05 cs.CV cs.LG eess.IV
Invariance encoding in sliced-Wasserstein space for image classification with limited training data
University of Virginia（弗吉尼亚大学）
深度卷积神经网络（CNN）被广泛认为是最先进的通用端到端图像分类系统。然而，当训练数据有限并且因此需要数据增强策略时，已知它们表现不佳，这使得该方法在计算上昂贵并且不总是有效的。而不是使用一个数据增强策略来编码的不变性通常在机器学习，在这里，我们建议在数学上增加最近的子空间分类模型切片Wasserstein空间利用某些数学性质的氡累积分布变换（R-CDT），最近推出的图像变换。我们证明，对于特定类型的学习问题，我们的数学解决方案在分类准确性和计算复杂性方面优于深度CNN的数据增强，并且在有限的训练数据设置下特别有效。该方法简单，有效，计算效率高，非迭代，不需要调整参数。实现我们方法的Python代码可以在https://github.com/rohdelab/mathematical_augmentation上找到。我们的方法被集成为软件包PytransKit的一部分，该软件包可在https://github.com/rohdelab/PyTransKit获得。
2022-07-24 cs.CV cs.LG
Understanding Learning Invariance in Deep Linear Networks
Department of Statistics \& Data Science, University of California, Los Angeles, CA；Department of Mathematics, University of California, Los Angeles, CA
本文针对深度线性网络均方误差回归场景，从理论层面比较数据增强、正则化、硬布线三种不变性实现方法，明确了三类方法优化临界点的差异与正则化路径的收敛特性。
2025-06-16 cs.LG math.ST stat.ML
On Invariance Penalties for Risk Minimization
Mayo Clinic（梅奥诊所）；Oxford University（牛津大学）；King’s College London（伦敦国王学院）
不变风险最小化（Invariant Risk Minimization，简称RST）原则最早由Arjovsky et al. [2019]提出，旨在通过利用不同实验条件下的数据异质性来解决领域泛化问题。具体来说，SVM试图找到一种数据表示，在这种数据表示下，最佳分类器在所有域中都保持不变。尽管概念上的上诉，最初提出的不变性惩罚的有效性最近已被质疑。特别是，存在这样的反例：对于非不变数据表示，不变性惩罚可以任意小。我们提出了另一种不变性惩罚通过重新访问的Gramian矩阵的数据表示。我们讨论了它的特征值之间的关系的风险和不变性惩罚的作用，并证明了它是病态的上述反例。所提出的方法是保证恢复一个不变的表示线性设置下温和的非退化条件。在两个广泛的领域泛化测试平台DomainBed和InvarianceUnitTest上的实验证明了该方法的有效性。
2021-06-17 cs.LG stat.ML
Regularizing Towards Permutation Invariance in Recurrent Models
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
在许多机器学习问题中，输出不应该依赖于输入的顺序。这种“置换不变”函数最近得到了广泛的研究。在这里，我们认为，时间架构，如RNN是高度相关的这些问题，尽管RNN的顺序固有的依赖。我们证明了RNN可以朝着置换不变性进行正则化，与非递归架构相比，这可以产生紧凑的模型。我们通过一种新形式的随机正则化来实现这个想法。现有的解决方案大多建议限制学习问题的假设类，这是排列不变的设计。我们的方法通过正则化强制执行排列不变性，产生了\textit{semi permutation invariant}的模型（例如，对某些排列不变，而对其他排列不变）。我们表明，我们的方法优于其他置换不变的方法在合成和真实世界的数据集。
2020-10-25 cs.LG stat.ML
CGCL: Collaborative Graph Contrastive Learning without Handcrafted Graph Data Augmentations
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Chinese Academy of Sciences（中国科学院）
本文提出协作图对比学习框架CGCL，通过多个互补图编码器观察图并以其特征作为对比视图，避免手工图增强带来的不稳定扰动，从而提升无监督图级表示学习性能。
2024-04-01 cs.AI cs.LG
Spectral Augmentation for Self-Supervised Learning on Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
本文从谱域视角提出谱增强方法，通过最大化谱变化指导拓扑增强，提升图对比学习在自监督表示学习、迁移学习及对抗鲁棒性上的性能。
2023-06-20 cs.AI cs.LG
Does Invariant Risk Minimization Capture Invariance?
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
我们表明，Arjovsky等人（2019）的不变风险最小化（Invariant Risk Minimization，简称VRM）公式可能无法捕获“自然”不变性，至少在其实际的“线性”形式中使用时，甚至在直接遵循VRM激励示例的非常简单的问题上。这可能导致在新环境下更差的泛化，即使与无约束的ERM相比。这个问题源于线性变量（如在他们的具体方法IRMv1中）和完全非线性的非线性模型之间的巨大差距。此外，即使在捕获“正确”的不变性时，我们也表明，由于损失函数在不同环境中不恒定，因此，学习次优预测器是可能的。即使在测量总体分布的不变性时，也会出现问题，但由于抽样非常脆弱，问题更加严重。
2021-02-26 cs.AI cs.LG stat.ML
Manitest: Are classifiers really invariant?
在许多图像识别任务中，对几何变换的不变性是自动分类器非常期望的特性。然而，目前还不清楚在何种程度上最先进的分类器是不变的基本变换，如旋转和平移。这主要是由于缺乏适当测量这种不变性的一般方法。在本文中，我们提出了一个严格的和系统的方法来量化的不变性的几何变换的任何分类。我们的主要思想是把评估分类器的不变性的问题转化为沿着变换图像的流形计算测地线的问题。我们提出了Manitest方法，建立在高效的快速行军算法计算分类器的不变性。我们的新方法特别量化了数据增强对于从数据中学习不变性的重要性，以及卷积神经网络随深度增加的不变性。我们可以预见，所提出的通用工具，用于测量不变性的一大类的几何变换和任意分类器将有许多应用程序的基础上，他们的不变性的分类器进行评估和比较，并帮助提高现有的分类器的不变性。
2015-07-23 cs.CV cs.LG stat.ML
Accelerating Augmentation Invariance Pretraining
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对视觉Transformer对比学习预训练计算成本高的问题，提出结合随机token丢弃、灵活patch缩放的混合序列压缩加速框架及最优加速调度方法，在ImageNet上实现显著加速且不牺牲下游性能。
2024-10-31 cs.CV cs.LG
Learning with Algebraic Invariances, and the Invariant Kernel Trick
University College London（伦敦大学学院）；Technische Universität Berlin（柏林工业大学）
在解决数据分析问题时，整合先验知识和/或结构不变性非常重要。本文提出了一个新的框架，将代数不变结构的内核。特别是，我们表明，代数属性，如符号对称性的数据，相位独立，缩放等，可以很容易地包括基本上执行内核技巧两次。我们证明了我们的理论在模拟选定的应用程序，如符号不变的谱聚类和欠定ICA的有用性。
2014-11-28 cs.LG math.ST stat.ML
Rotating spiders and reflecting dogs: a class conditional approach to learning data augmentation distributions
University of California, San Diego（加州大学圣地亚哥分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
构建对无意义转换的不变性对于构建高效且可推广的机器学习模型至关重要。在实践中，学习不变性的最常见方法是通过数据增强。最近有兴趣的方法，学习分布的增广变换从训练数据本身的发展。虽然这种方法是有益的，因为它们响应于数据，但它们忽略了这样一个事实，即在许多情况下，模型需要不变的转换范围取决于特定的输入类。例如，如果一个模型需要能够预测图像中是海星还是狗，我们可能希望在训练过程中对海星图像应用随机旋转（因为它们没有首选方向），但我们不希望对狗的图像这样做。在这项工作中，我们介绍了一种方法，通过这种方法，我们可以学习类条件分布的增广变换。我们给出了一些例子，其中我们的方法根据类学习不同的无意义的变换，并进一步展示了我们的方法如何用作工具来探测潜在复杂数据集的固有对称性。
2021-06-07 cs.LG
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University（布兰迪斯大学）
近年来，基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮，旋转、裁剪、翻转等操作与专用算法相结合，极大地提高了模型的泛化能力和鲁棒性。在这种趋势下，一些开创性的尝试将类似的想法用于图形数据。然而，与图像不同，在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋，但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测，图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此，我们提出了一个标签不变的增强图结构的数据，以解决这一挑战。与节点/边修改和子图提取不同，我们在表示空间中进行增强，并在最困难的方向生成增强样本，同时保持增强数据的标签与原始样本相同。在半监督的情况下，我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据，其次是几个深入的实验，以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
Distilling Invariant Representations with Dual Augmentation
本研究针对知识蒸馏中的不变表示学习问题，提出双重增强策略，在蒸馏时对师生模型施加不同增强以促进鲁棒可迁移特征学习，在CIFAR-100同架构KD任务中取得了有竞争力的结果。
2025-07-16 cs.AI cs.CV cs.LG
RoCoDA: Counterfactual Data Augmentation for Data-Efficient Robot Learning from Demonstrations
Georgia Institute of Technology（佐治亚理工学院）；Apptronik, Inc.（Apptronik公司）
针对机器人模仿学习泛化难、数据成本高的问题，提出融合因果不变性与SE(3)等变性的RoCoDA反事实数据增强框架，在五项操作任务上实现了优于现有方法的策略性能、泛化性与样本效率。
2025-05-20 cs.AI cs.CV cs.LG
The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization
Département d’informatique et génie logiciel Université Laval（计算机与软件工程系拉瓦尔大学）；Institut intelligence et données Université Laval（智能与数据研究所拉瓦尔大学）
本文提出信息论框架分析数据增强对泛化和不变学习的影响，通过群直径概念揭示增强过程中的权衡，提供新的泛化界并验证其有效性。
2026-02-16 cs.AI cs.LG stat.ML
Augmentation Invariant Manifold Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对现有自监督表示学习方法在非线性设定下缺乏理论支撑的问题，提出增广不变流形学习方法，结合流形几何结构与增广不变性，具备理论保证，且经实验验证性能更优。
2025-01-14 cs.LG math.ST stat.ME
Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；Meta AI；University of Cambridge（剑桥大学）
针对自监督学习中丢弃风格特征导致下游任务性能下降的问题，提出通过多个风格嵌入空间解缠而非丢弃风格特征，并证明其可辨识性，在合成和真实数据上验证了有效性。
2024-08-20 cs.AI cs.CV cs.LG
Detecting cities in aerial night-time images by learning structural invariants using single reference augmentation
University of Potsdam（波茨坦大学）
本文探讨，如果它是可能的，学习结构不变的城市图像时，只使用一个单一的参考图片沿数据集中的变量产生的转换。以前的工作探讨了仅从几个示例学习的问题，并表明数据增强技术有利于机器学习方法的性能和泛化。首先，使用城市图像在单个参考增强训练数据集上训练结合傅立叶变换的主成分分析。其次，在具有更多样本的类似数据集上训练卷积神经网络。研究结果是，卷积神经网络是能够找到同一类别的图像，而应用的主成分分析结合傅立叶变换未能解决这个任务。
2018-10-19 cs.CV cs.LG
EquiMod: An Equivariance Module to Improve Self-Supervised Learning
Univ Lyon（里昂大学）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）；LIRIS（里昂信息与图像系统实验室）
本文提出通用等变模块 EquiMod，通过预测增强导致的嵌入空间位移来结构化潜在表示，提升 SimCLR、BYOL 在 CIFAR10 和 ImageNet 上的性能。
2023-06-08 cs.CV cs.LG
Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative Representations
Central South University（中南大学）
预任务主要建立在互信息估计的基础上，这需要数据增强来构造具有相似语义的正样本以学习不变信号和具有不相似语义的负样本以增强表示的可辨别性。然而，一个合适的数据增强配置在很大程度上取决于大量的经验试验，如选择数据增强技术的组成和相应的超参数设置。我们提出了一种无增广图对比学习方法，不变判别图对比学习（iGCL），它本质上不需要负样本。iGCL设计了不变判别损失（ID损失）来学习不变和判别表示。一方面，ID损失通过直接最小化表示空间中的目标样本和正样本之间的均方误差来学习不变信号。另一方面，ID损失通过正交约束确保表示是有区别的，该正交约束迫使表示的不同维度彼此独立。这可以防止表示塌陷为点或子空间。我们的理论分析解释了有效的ID损失的角度的冗余减少标准，典型相关分析，和信息瓶颈原则。实验结果表明，iGCL在5节点分类基准数据集上的性能优于所有基线。iGCL在不同的标记率下也表现出了优异的性能，并且能够抵抗图攻击，这表明iGCL具有良好的泛化能力和鲁棒性。源代码可在https://github.com/lehaifeng/T-GCN/tree/master/iGCL上获得。
2023-03-06 cs.AI cs.LG
Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
数据增强已被证明是用于开发机器学习模型的有效技术，所述机器学习模型对已知类别的分布变化（例如，图像的旋转），并且对准正则化是经常与数据增强一起使用的技术，以进一步帮助模型学习对用于增强数据的移位不变的表示。在本文中，出于对齐正则化选项的扩散，我们试图沿着鲁棒性和不变性的维度，我们引入了一个新的测试程序来评估几个流行的设计选择的性能。我们的合成实验结果说明了平方l2范数正则化的好处。此外，我们还正式分析了对齐正则化的行为，以补充我们的实证研究假设下，我们认为现实的。最后，我们测试这个简单的技术，我们确定（最坏情况下的数据增强平方l2范数对齐正则化），并表明这种方法的好处超过那些专门设计的方法。我们还在TensorFlow和PyTorch中发布了一个软件包，供用户在https://github.com/jyanln/AlignReg上使用该方法。
2022-06-04 cs.LG
Revisiting the Critical Factors of Augmentation-Invariant Representation Learning
MEGVII Technology（旷视科技）
我们专注于更好地理解增强不变表示学习的关键因素。我们重新审视MoCo v2和BYOL，并试图证明以下假设的真实性：不同的框架带来了不同的特征，即使有相同的借口任务的表征。我们建立了MoCo v2和BYOL之间公平比较的第一个基准，并观察到：（i）复杂的模型配置能够更好地适应预训练数据集;（ii）预训练和微调的不匹配优化策略阻碍模型实现有竞争力的传输性能。在给定公平基准的情况下，我们进一步研究发现，网络结构的不对称性使得对比框架在线性评估协议下工作得很好，但可能会损害长尾分类任务的传输性能。此外，负样本并没有使模型对数据增强的选择更敏感，非对称网络结构也没有。我们相信我们的研究结果为未来的工作提供了有用的信息。
2022-07-30 cs.CV cs.LG
Analyzing Data-Centric Properties for Graph Contrastive Learning
University of Michigan（密歇根大学）；CBS, Harvard University（哈佛大学CBS）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）
最近对自监督学习（SSL）的分析发现，以下以数据为中心的属性对于学习良好的表示至关重要：对任务无关语义的不变性，某些潜在空间中的类的可分离性，以及从增强样本中恢复标签的可恢复性。然而，鉴于其离散的非欧几里德性质，图数据集和图SSL方法不太可能满足这些属性。这就提出了一个问题：图SSL方法，如对比学习（CL），如何工作得很好？为了系统地探讨这个问题，我们使用通用图增强（GGA）时对CL进行了泛化分析，重点是以数据为中心的属性。我们的分析产生正式的见解GGA的局限性和任务相关的增强的必要性。正如我们的经验所示，GGA不会在常见的基准数据集上引起任务相关的不变性，从而导致相对于天真的、未经训练的基线只有边际收益。我们的理论激发了一个合成数据生成过程，使控制任务相关的信息，并拥有预定义的最佳增强。这个灵活的基准可以帮助我们识别高级增强技术中尚未认识到的限制（例如，自动化方法）。总的来说，我们的工作严格地从经验和理论上分析了以数据为中心的属性对图SSL的增强策略和学习范式的影响。
2023-01-23 cs.LG
How Do Transformers Learn to Represent Symmetries?
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）
本文研究普通Transformer通过有限数据增强学习点云对称性的能力，识别出从非保角到保角再到基础子群的可学习性递增顺序，并揭示诱导不变性的可解释机制，为等变性学习提供基础。
2026-10-08 cs.LG
Sample-efficient Bayesian Optimisation Using Known Invariances
United Kingdom Atomic Energy Authority（英国原子能管理局）；University College London（伦敦大学学院）；MediaTek Research（联发科研究院）
本文提出将已知群不变性融入高斯过程核的贝叶斯优化方法，显著提升样本效率并给出理论界，在合成函数和核聚变电流驱动设计中验证了其优越性。
2024-10-22 cs.LG
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）；Simon Fraser University（西蒙菲莎大学）
图对比学习（GCL）是通过扩充图来学习节点表示的一种学习方法。尽管各种图增强策略的扩散，一些基本的问题仍然不清楚：什么信息本质上是编码到学习表示的GCL？在不同的扩充背后是否有一些通用的图扩充规则？如果是，它们是什么，它们能带来什么样的见解？本文通过建立GCL与图谱之间的联系，回答了这些问题。通过谱域的实验研究，我们首先发现了GCL的广义grAph增强（GAME）规则，即，两个增广图之间的高频部分的差异应该大于低频部分的差异。该规则揭示了重新审视现有图扩充和设计新的有效图扩充的基本原理。然后，我们从理论上证明了GCL能够通过对比不变性定理学习不变性信息，结合我们的GAME规则，我们首次发现GCL学习的表示本质上编码了低频信息，这解释了为什么GCL工作。在此规则的指导下，我们提出了一个谱图对比学习模块（SpCo），这是一个通用的和GCL友好的插件。我们将其与不同的现有GCL模型相结合，大量的实验表明，它可以进一步提高各种不同的GCL方法的性能。
2022-10-05 cs.LG
Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文研究动力学不变数据增强在无模型强化学习中的效用，发现增加状态-动作覆盖比增加奖励密度更有效，且降低增强重放比率能显著提升数据效率。
2024-03-16 cs.LG
Class-Invariant Test-Time Augmentation for Domain Generalization
School of Computing and Artificial Intelligence（计算机与人工智能学院）；ANGEL Lab（ANGEL实验室）；Southwest Jiaotong University（西南交通大学）；Nanyang Technological University（南洋理工大学）
提出轻量级的类不变测试时增强（CI-TTA）方法，通过弹性变形和网格变形生成同类变体并利用置信度过滤聚合预测，在PACS和Office-Home上验证了其有效性与通用性。
2025-10-12 cs.CV cs.LG
Graph Augmentation for Cross Graph Domain Generalization
Tsinghua University（清华大学）
本文提出图结构增强方法，通过低权重边丢弃和聚类边添加，提升跨图节点分类中GNN的域泛化能力，并在分布外数据集上取得最优性能。
2025-02-25 cs.LG
Community-Invariant Graph Contrastive Learning
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
本文针对图对比学习中随机增强破坏图社区结构的问题，提出社区不变的图对比学习框架，通过最大化谱变化统一拓扑与特征增强约束，在21个基准数据集上验证了其鲁棒性和优越性。
2024-05-02 cs.LG cs.SI
Accelerating Natural Gradient with Higher-Order Invariance
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
自然梯度的一个吸引人的性质是它对模型的任意可微重新参数化是不变的。然而，这种不变性需要无限小的步骤，并失去了在实际的实现小，但有限的步长。本文从黎曼几何和数值微分方程求解的角度研究了不变性。我们定义一个数值方法的不变性阶为它收敛到不变解的阶。我们建议使用高阶积分器和测地线修正，以获得更不变的优化轨迹。我们证明了测地线校正更新的数值收敛性质，并表明它们可以作为平原自然梯度的计算效率。在实验中，我们证明了不变性导致更快的优化，我们的技术改进了深度神经网络训练中的传统自然梯度和强化学习的自然策略梯度。
2018-06-07 cs.LG
A Contrastive Objective for Learning Disentangled Representations
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
学习对敏感或不需要的属性不变的图像表示对于许多任务都很重要，包括偏见消除和跨域检索。在这里，我们的目标是学习对提供标签的域（敏感属性）不变的表示，同时对所有其他未标记的图像属性提供信息。我们提出了一种新的方法，提出了一个新的域明智的对比目标，以确保不变的表示。该目标严格限制了从同一域中提取的负像对，这强制了域不变性，而标准对比目标则没有。这个领域明智的目标本身是不够的，因为它遭受捷径解决方案，导致功能抑制。我们通过结合重建约束、图像增强和具有预训练权重的初始化来克服这个问题。我们的分析表明，增广的选择是很重要的，一个错误的增广选择会损害不变性和信息量的目标。在广泛的评估中，我们的方法在表示不变性，表示信息量和训练速度方面令人信服地优于最先进的方法。此外，我们发现，在某些情况下，即使没有重建约束，我们的方法也可以获得出色的结果，从而实现更快和资源有效的训练。
2022-03-21 cs.CV cs.LG
TIACam: Text-Anchored Invariant Feature Learning with Auto-Augmentation for Camera-Robust Zero-Watermarking
Department of Computer Science University of Nebraska Omaha（计算机科学系 内布拉斯加大学奥马哈分校）
TIACam通过文本锚定不变特征学习和自增强技术，实现抗相机重拍的零水印系统，提升特征稳定性和水印提取准确性。
2026-02-21 cs.CV cs.LG cs.MM
Deep Neural Networks with Efficient Guaranteed Invariances
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
我们通过强制和保证对称变换的不变性，而不是从数据中学习，来解决提高深度神经网络的性能，特别是样本复杂度的问题。群等变卷积是获得等变表示的一种流行方法。然后使用池化操作来施加期望的对应不变性。对于旋转，已经表明使用不变积分而不是池化进一步提高了样本复杂度。在这方面的贡献，我们首先扩大不变量积分超越旋转翻转和缩放变换。然后，我们解决的问题，将多个所需的不变性到一个单一的网络。为此，我们提出了一种多流架构，其中每个流对于不同的变换是不变的，使得网络可以同时受益于多个不变性。我们证明了我们的方法与成功的实验缩放MNIST，SVHN，CIFAR-10和STL-10。
2023-03-02 cs.CV cs.LG
