Deliberation in Latent Space via Differentiable Cache Augmentation
Google DeepMind（谷歌DeepMind）
提出一种离线协处理器增强冻结LLM的kv缓存，通过端到端可微方式蒸馏额外计算，在不增加在线延迟的情况下降低困惑度并提升推理密集型任务性能。
2024-12-23 cs.AI cs.CL cs.LG
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Joint Search of Data Augmentation Policies and Network Architectures
The University of Tokyo（东京大学）；Preferred Networks inc.（Preferred Networks公司）
训练深度神经网络的常见管道由几个构建块组成，例如数据增强和网络架构选择。AutoML是一个旨在自动设计这些部分的研究领域，但大多数方法都是独立地探索每个部分，因为同时搜索所有部分更具挑战性。本文提出了一种数据增强策略和网络架构的联合优化方法，为训练管道的设计带来更多的自动化。我们方法的核心思想是使整个部分可微。该方法结合了用于增强策略搜索和网络架构搜索的可区分方法，以端到端的方式联合优化它们。实验结果表明，我们的方法取得了竞争力或独立搜索结果的优越性能。
2021-01-12 cs.CV cs.LG
Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative Representations
Central South University（中南大学）
预任务主要建立在互信息估计的基础上，这需要数据增强来构造具有相似语义的正样本以学习不变信号和具有不相似语义的负样本以增强表示的可辨别性。然而，一个合适的数据增强配置在很大程度上取决于大量的经验试验，如选择数据增强技术的组成和相应的超参数设置。我们提出了一种无增广图对比学习方法，不变判别图对比学习（iGCL），它本质上不需要负样本。iGCL设计了不变判别损失（ID损失）来学习不变和判别表示。一方面，ID损失通过直接最小化表示空间中的目标样本和正样本之间的均方误差来学习不变信号。另一方面，ID损失通过正交约束确保表示是有区别的，该正交约束迫使表示的不同维度彼此独立。这可以防止表示塌陷为点或子空间。我们的理论分析解释了有效的ID损失的角度的冗余减少标准，典型相关分析，和信息瓶颈原则。实验结果表明，iGCL在5节点分类基准数据集上的性能优于所有基线。iGCL在不同的标记率下也表现出了优异的性能，并且能够抵抗图攻击，这表明iGCL具有良好的泛化能力和鲁棒性。源代码可在https://github.com/lehaifeng/T-GCN/tree/master/iGCL上获得。
2023-03-06 cs.AI cs.LG
TADA: Temporal Adversarial Data Augmentation for Time Series Data
Medical AI Co. Ltd.（医疗人工智能有限公司）
针对时间序列数据中传统对抗数据增强无法处理时间特征分布偏移的问题，提出TADA方法，利用频域相移与时域时间移位的对偶性将时间规整引入ADA使其可微，实验证明其优于现有方法并能有效模拟真实分布偏移。
2024-10-15 cs.AI cs.LG eess.SP
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University（布兰迪斯大学）
近年来，基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮，旋转、裁剪、翻转等操作与专用算法相结合，极大地提高了模型的泛化能力和鲁棒性。在这种趋势下，一些开创性的尝试将类似的想法用于图形数据。然而，与图像不同，在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋，但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测，图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此，我们提出了一个标签不变的增强图结构的数据，以解决这一挑战。与节点/边修改和子图提取不同，我们在表示空间中进行增强，并在最困难的方向生成增强样本，同时保持增强数据的标签与原始样本相同。在半监督的情况下，我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据，其次是几个深入的实验，以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
Distilling Invariant Representations with Dual Augmentation
本研究针对知识蒸馏中的不变表示学习问题，提出双重增强策略，在蒸馏时对师生模型施加不同增强以促进鲁棒可迁移特征学习，在CIFAR-100同架构KD任务中取得了有竞争力的结果。
2025-07-16 cs.AI cs.CV cs.LG
Automated Data Augmentations for Graph Classification
Texas A&M University（得克萨斯农工大学）；Fujitsu Research of America, INC.（美国富士通研究公司）；Fujitsu Research, Fujitsu Limited（富士通有限公司富士通研究所）
数据增强是提高学习机不变性的有效方法。我们认为，数据增强的核心挑战在于设计保留标签的数据转换。这对于图像来说相对简单，但对于图形来说更具挑战性。在这项工作中，我们提出了GraphAug，一种新的自动数据增强方法，旨在计算标签不变的增强图分类。与现有研究中使用统一变换不同，GraphAug使用自动增强模型来避免损害图的关键标签相关信息，从而在大多数情况下产生标签不变的增强。为了确保标签不变性，我们开发了一种基于强化学习的训练方法，以最大化估计的标签不变性概率。实验表明，GraphAug在各种图分类任务上优于以前的图增强方法。
2023-02-28 cs.AI cs.LG
Augmenting Differentiable Simulators with Neural Networks to Close the Sim2Real Gap
University of Southern California（南加州大学）；Google（谷歌）
我们提出了一个可微的仿真架构铰接刚体动力学，使增强的分析模型与神经网络在任何一点的计算。通过基于梯度的优化，识别的仿真参数和网络权重进行有效的初步实验，在现实世界的数据集和sim2sim传输应用程序，而穷人的局部最优值通过随机搜索方法克服。
2020-07-12 cs.LG cs.RO cs.SY
Improve Deep Forest with Learnable Layerwise Augmentation Policy Schedule
Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出可学习的逐层数据增强策略调度来改进深度森林，通过 Cut Mix 表格增强和基于群体的搜索算法缓解过拟合，并结合中间层检查点集成，在表格分类任务中取得 SOTA 性能。
2023-09-16 cs.AI cs.LG
Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering
University of California, Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
即使深度神经网络（DNN）在视觉相关任务上取得了显著的成功，它们的性能也很容易受到输入转换的影响。特别令人感兴趣的是语义转换，其对具有物理世界基础的变化进行建模，例如旋转、平移、照明或相机姿势的变化。在本文中，我们展示了如何利用可微渲染来生成信息丰富但逼真的图像，这些图像可用于分析DNN性能并通过数据增强来提高其鲁棒性。给定一个可区分的渲染器和DNN，我们展示了如何使用来自对抗性机器学习的现成攻击来生成语义反例-语义特征被改变以产生错误分类或错误检测的图像。我们在DNN上验证了我们的方法用于图像分类和目标检测。对于分类，我们证明了语义反例，当用于增强数据集时，（i）提高泛化性能（ii）增强对语义转换的鲁棒性，以及（iii）模型之间的转移。此外，与基于采样的语义增强相比，我们的技术以样本高效的方式生成更多信息数据。
2020-07-17 cs.CV cs.LG stat.ML
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境，并学习一个不变的GNN进行泛化。然而，由于图的结构化编辑不可避免地要改变图的标号，所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系，这是有害的泛化。为了解决这个问题，我们提出了\textbf{LiSA}，它产生标签不变的扩增，以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境，而不是诉诸图版本。具体来说，LiSA首先设计了变分子图生成器，以有效地提取局部预测模式并构造多个标签不变子图。然后，收集由不同生成器产生的子图，以构建不同的增强环境。为了促进增强环境之间的多样性，LiSA进一步引入了一种易于处理的基于能量的正则化，以扩大环境分布之间的成对距离。通过这种方式，LiSA生成具有一致预测关系的各种增强环境，并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明，LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology（国防科技创新研究院）
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明，使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而，由于图像变换的不可微性质，必须应用诸如强化学习或演化策略的搜索算法，这对于大规模问题在计算上是不实用的。在这项工作中，我们表明，通过简单地应用随机数据增强的一致性训练，可以获得领域自适应（DA）和泛化（DG）的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性，提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外，所提出的方法显示出良好的鲁棒性腐败，这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University（杜克大学）
在寻求稀疏和有效的神经网络模型，许多以前的工作研究强制执行L1或L0正则化，以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性，并且对参数值的缩放是不变的，但它不能提供有用的梯度，因此需要复杂的优化技术。L1正则化子几乎处处可微，并且可以很容易地用梯度下降进行优化。然而，它不是尺度不变的，导致所有参数的收缩率相同，这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度（L1和L2范数之间的比值）的启发，我们提出了DeepHoyer，这是一组稀疏诱导正则化器，几乎处处可微，并且具有尺度不变性。我们的实验表明，在相同的精度水平下，强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明，DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Rethinking Data Augmentation under Covariate Shift: Invariant-Guided Diffusion and Prototype Reweighting
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；NEC Laboratories America（NEC美国实验室）
针对协变量偏移下数据增强的误导生成与结构不稳定问题，提出IGDPR框架，结合不变性引导扩散与原型重加权，提升数据质量与学习稳健性。
2026-10-02 cs.AI cs.LG
Your Image is My Video: Reshaping the Receptive Field via Image-To-Video Differentiable AutoAugmentation and Fusion
Free University of Bozen-Bolzano（博岑-博尔扎诺自由大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）
提出可微增强搜索方法（DAS），通过图像到视频的自动数据增强重塑空间感受野，在多个数据集和轻量级视频骨干网络上提升了图像分类与语义分割的准确率。
2024-03-22 cs.CV cs.LG
All You Need Is Synthetic Task Augmentation
Osmo Labs（Osmo 实验室）
本文提出用 XGBoost 基于 Osmordred 描述符生成合成辅助任务，并与实验目标联合训练单个 Graph Transformer，从而在 19 个分子性质任务上显著提升性能。
2025-05-15 cs.AI cs.LG
Differentiable Invariant Causal Discovery
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
从观测数据中学习因果结构是机器学习的一个基本挑战。然而，大多数常用的可微因果发现方法是不可识别的，将这个问题转化为一个容易出现数据偏差的连续优化任务。在许多现实生活中，数据是从不同的环境中收集的，其中函数关系在不同环境中保持一致，而加性噪声的分布可能会有所不同。本文提出了可微不变因果发现（DICD），利用基于可微框架的多环境信息，以避免学习虚假的边缘和错误的因果方向。具体而言，DICD的目的是发现环境不变的因果关系，同时消除环境相关性。我们进一步制定的约束，强制执行目标结构方程模型，以保持最佳的跨环境。在足够环境的温和条件下，为所提出的DICD的可辨识性提供了理论保证。在合成数据集和真实数据集上进行的大量实验表明，DICD在SHD中的表现优于最先进的因果发现方法高达36%。我们的代码将是开源的。
2022-09-29 cs.DS cs.LG stat.ME
Detecting cities in aerial night-time images by learning structural invariants using single reference augmentation
University of Potsdam（波茨坦大学）
本文探讨，如果它是可能的，学习结构不变的城市图像时，只使用一个单一的参考图片沿数据集中的变量产生的转换。以前的工作探讨了仅从几个示例学习的问题，并表明数据增强技术有利于机器学习方法的性能和泛化。首先，使用城市图像在单个参考增强训练数据集上训练结合傅立叶变换的主成分分析。其次，在具有更多样本的类似数据集上训练卷积神经网络。研究结果是，卷积神经网络是能够找到同一类别的图像，而应用的主成分分析结合傅立叶变换未能解决这个任务。
2018-10-19 cs.CV cs.LG
Invariant Transform Experience Replay: Data Augmentation for Deep Reinforcement Learning
Guangdong University of Technology（广东工业大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese University of Hong Kong（香港中文大学）
深度强化学习（RL）是一种很有前途的自适应机器人控制方法，但目前其在机器人领域的应用受到高样本要求的阻碍。为了缓解这个问题，我们建议利用机器人任务中存在的对称性。直观地说，来自观察到的轨迹的对称性定义了使可行RL轨迹的空间保持不变的变换，并且可以用于生成新的可行轨迹，这些轨迹可以用于训练。基于这种数据增强的想法，我们制定了一个通用的框架，称为不变变换经验重放，我们提出了两种技术：（i）万花筒经验重放利用反射对称性和（ii）目标增强的经验重放，利用宽松的目标定义。在OpenAI Gym的Fetch任务中，我们的实验结果显示学习率和成功率显著提高。特别是，我们达到了13，3，和5倍的加速分别在推，滑动，和拾取和放置任务中的多目标设置。在有障碍的类似任务中也观察到了性能的提高，我们成功地在一个真正的Baxter机器人上部署了一个经过训练的策略。我们的工作表明，RL轨迹上的不变变换是一种很有前途的方法，可以加速深度RL的学习。
2020-07-05 cs.AI cs.LG cs.RO
Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
数据增强已被证明是用于开发机器学习模型的有效技术，所述机器学习模型对已知类别的分布变化（例如，图像的旋转），并且对准正则化是经常与数据增强一起使用的技术，以进一步帮助模型学习对用于增强数据的移位不变的表示。在本文中，出于对齐正则化选项的扩散，我们试图沿着鲁棒性和不变性的维度，我们引入了一个新的测试程序来评估几个流行的设计选择的性能。我们的合成实验结果说明了平方l2范数正则化的好处。此外，我们还正式分析了对齐正则化的行为，以补充我们的实证研究假设下，我们认为现实的。最后，我们测试这个简单的技术，我们确定（最坏情况下的数据增强平方l2范数对齐正则化），并表明这种方法的好处超过那些专门设计的方法。我们还在TensorFlow和PyTorch中发布了一个软件包，供用户在https://github.com/jyanln/AlignReg上使用该方法。
2022-06-04 cs.LG
RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
这项工作考虑识别参数表征物理系统的动态运动直接从视频的渲染配置是不可访问的。现有的解决方案需要大量的训练数据或缺乏对未知渲染配置的通用性。我们提出了一种新的方法，婚姻域随机化和微分渲染梯度来解决这个问题。我们的核心思想是训练一个渲染不变状态预测（RISP）网络，该网络将图像差异转换为独立于渲染配置的状态差异，例如，照明、阴影或材质反射。为了训练这个预测器，我们制定了一个新的损失渲染方差使用梯度微分渲染。此外，我们提出了一种有效的二阶方法来计算这种损失的梯度，使其能够无缝集成到现代深度学习框架中。我们评估我们的方法在刚体和变形体仿真环境中使用四个任务：状态估计，系统辨识，模仿学习，和可视化控制。我们进一步证明了我们的方法在现实世界中的例子的有效性：推断的状态和动作序列的四旋翼从视频的运动序列。与现有的方法相比，我们的方法实现了显着降低重建错误，并在未知的渲染配置之间具有更好的泛化能力。
2022-05-11 cs.AI cs.CV cs.GR
Revisiting the Critical Factors of Augmentation-Invariant Representation Learning
MEGVII Technology（旷视科技）
我们专注于更好地理解增强不变表示学习的关键因素。我们重新审视MoCo v2和BYOL，并试图证明以下假设的真实性：不同的框架带来了不同的特征，即使有相同的借口任务的表征。我们建立了MoCo v2和BYOL之间公平比较的第一个基准，并观察到：（i）复杂的模型配置能够更好地适应预训练数据集;（ii）预训练和微调的不匹配优化策略阻碍模型实现有竞争力的传输性能。在给定公平基准的情况下，我们进一步研究发现，网络结构的不对称性使得对比框架在线性评估协议下工作得很好，但可能会损害长尾分类任务的传输性能。此外，负样本并没有使模型对数据增强的选择更敏感，非对称网络结构也没有。我们相信我们的研究结果为未来的工作提供了有用的信息。
2022-07-30 cs.CV cs.LG
The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization
Département d’informatique et génie logiciel Université Laval（计算机与软件工程系拉瓦尔大学）；Institut intelligence et données Université Laval（智能与数据研究所拉瓦尔大学）
本文提出信息论框架分析数据增强对泛化和不变学习的影响，通过群直径概念揭示增强过程中的权衡，提供新的泛化界并验证其有效性。
2026-02-16 cs.AI cs.LG stat.ML
Supervised Contrastive Prototype Learning: Augmentation Free Robust Neural Network
University of Southern California（南加州大学）
深度神经网络（DNN）的输入空间中的变换导致特征空间中的意外变化。几乎感知上相同的输入，例如对抗性的例子，可能具有非常遥远的特征表示。相反，分布外（OOD）样本可以具有与训练集样本高度相似的特征表示。我们对使用分类头训练的DNN的理论分析表明，受分类问题大小限制的不灵活的logit空间是缺乏$\textit{robustness}$的根本原因之一。我们的第二个观察结果是DNN过度拟合训练增强技术，并且不学习$\textit{nuance invariant}$表示。受到最近成功的原型和对比学习框架的启发，提高鲁棒性和学习细微差别不变表示，我们提出了一个训练框架，$\textbf{Supervised Contrastive Prototype Learning}$（SCPL）。我们使用N对对比损失与原型的相同和相反的类，并取代一个分类头与$\textbf{Prototype Classification Head}$（PCH）。我们的方法是$\textit{sample efficient}$，不需要$\textit{sample mining}$，可以在任何现有的DNN上实现，而无需修改其架构，并与其他训练增强技术相结合。我们经验性地评估了我们的方法在分布外和对抗性样本上的$\textbf{clean}$鲁棒性。我们的框架优于其他国家的最先进的对比和原型学习方法在$\textit…
2022-11-26 cs.AI cs.LG
MA 3 : Model Agnostic Adversarial Augmentation for Few Shot learning
Carnegie Mellon University（卡内基梅隆大学）
尽管最近在使用深度神经网络的视觉相关问题方面取得了进展，但将这些模型推广到看不见的例子的改进仍然有很大的范围。在本文中，我们探讨了领域的少样本学习与一种新的增强技术。与其他生成增强技术相比，在学习输入图像的分布的情况下，我们建议学习图像变换参数的概率分布，这更容易和更快地学习。我们的技术是完全可微的，这使得它能够扩展到多功能的数据集和基础模型。我们在多个基础网络和2个数据集上评估我们提出的方法，以建立该方法的鲁棒性和效率。通过添加增强模块，我们获得了近4%的改进，而无需对网络架构进行任何更改。我们还将代码随时提供给社区使用。
2020-04-10 cs.CV cs.LG
Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文研究动力学不变数据增强在无模型强化学习中的效用，发现增加状态-动作覆盖比增加奖励密度更有效，且降低增强重放比率能显著提升数据效率。
2024-03-16 cs.LG
Graph Augmentation for Cross Graph Domain Generalization
Tsinghua University（清华大学）
本文提出图结构增强方法，通过低权重边丢弃和聚类边添加，提升跨图节点分类中GNN的域泛化能力，并在分布外数据集上取得最优性能。
2025-02-25 cs.LG
Class-Invariant Test-Time Augmentation for Domain Generalization
School of Computing and Artificial Intelligence（计算机与人工智能学院）；ANGEL Lab（ANGEL实验室）；Southwest Jiaotong University（西南交通大学）；Nanyang Technological University（南洋理工大学）
提出轻量级的类不变测试时增强（CI-TTA）方法，通过弹性变形和网格变形生成同类变体并利用置信度过滤聚合预测，在PACS和Office-Home上验证了其有效性与通用性。
2025-10-12 cs.CV cs.LG
Augmentation-Aware Self-Supervision for Data-Efficient GAN Training
University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
提出增强感知的自监督判别器，通过预测增强参数缓解判别器对增强的不变性，提升数据高效GAN训练性能，在多个数据集上超越SOTA方法。
2023-12-28 cs.AI cs.CV cs.LG
Does Invariant Graph Learning via Environment Augmentation Learn Invariance?
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；Hong Kong Baptist University（香港浸会大学）
本文指出仅靠环境增强无法学习图不变表示，提出最小假设条件并设计GALA框架，通过助手模型识别不变子图，在DrugOOD等数据集上验证了其分布外泛化效果。
2023-10-29 cs.LG stat.ML
Augmentation Invariant Manifold Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对现有自监督表示学习方法在非线性设定下缺乏理论支撑的问题，提出增广不变流形学习方法，结合流形几何结构与增广不变性，具备理论保证，且经实验验证性能更优。
2025-01-14 cs.LG math.ST stat.ME
Community-Invariant Graph Contrastive Learning
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
本文针对图对比学习中随机增强破坏图社区结构的问题，提出社区不变的图对比学习框架，通过最大化谱变化统一拓扑与特征增强约束，在21个基准数据集上验证了其鲁棒性和优越性。
2024-05-02 cs.LG cs.SI
Augmentations: An Insight into their Effectiveness on Convolution Neural Networks
Liverpool John Moores University（利物浦约翰摩尔斯大学）；Salesforce（赛富时）
增强是决定任何神经网络性能的关键因素，因为它们为模型提供了提高其性能的关键优势。它们增强模型鲁棒性的能力取决于两个因素，即模型架构和增强类型。增强对于数据集来说是非常特定的，并且并不是所有类型的增强都一定会对模型的性能产生积极的影响。因此，需要识别在各种数据集上表现一致的增强，并且还保持对架构类型、卷积和所使用的参数数量不变。因此，需要识别在各种数据集上表现一致的增强，并且还保持对架构类型、卷积和所使用的参数数量不变。本文评估了使用3x3和深度可分离卷积的参数对MNIST，FMNIST和CIFAR10数据集上不同增强技术的影响。统计证据表明，诸如Curiminal和Random水平翻转的技术在参数化低和高架构上是一致的。深度可分离卷积在更高参数下的性能优于3x3卷积，因为它们能够创建更深的网络。增强导致弥合了3x3和深度可分离卷积之间的准确性差距，从而确立了它们在模型泛化中的作用。在更高的数量扩增并没有产生显着的变化，在性能。还评价了在较高参数下多重增强的协同效应，以及在较低参数下的拮抗效应。这项工作证明，在任何给定的深度学习任务中，需要在架构至上和增强之间实现微妙的平衡，以增强模型的性能。
2022-05-31 cs.AI cs.CV cs.LG
Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style
Max Planck Institute for Intelligent Systems Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））；University of Cambridge（剑桥大学）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；IMPRS for Intelligent Systems（智能系统国际马克斯·普朗克研究学院）；Amazon（亚马逊）
自监督表示学习在许多领域都取得了显着的成功。一种常见的做法是通过手工制作的转换来执行数据扩充，目的是保持数据的语义不变。我们试图从理论的角度来理解这种方法的经验成功。我们制定的增强过程作为一个潜在的变量模型，通过假设一个分区的潜在表示成一个内容组件，这是假设不变的增强，和一个样式组件，这是允许改变。不像以前的工作，解开和独立成分分析，我们允许在潜在空间的非平凡的统计和因果依赖关系。我们研究的可识别性的潜在表示的基础上对意见的意见，并证明了充分的条件，使我们能够确定不变的内容分区可逆的映射生成和歧视设置。我们发现数值模拟与相关的潜变量与我们的理论是一致的。最后，我们介绍了Cause3DIdent，这是一个具有丰富因果依赖关系的高维视觉复杂图像数据集，我们使用它来研究在实践中进行的数据增强的效果。
2022-01-14 cs.AI cs.CV cs.LG
Improving Out-of-Distribution Robustness via Selective Augmentation
Stanford University（斯坦福大学）；University of California San Diego（加州大学圣地亚哥分校）；Renmin University of China（中国人民大学）；Rutgers University（罗格斯大学）
机器学习算法通常假设训练和测试示例来自相同的分布。然而，分布偏移在实际应用中是一个常见的问题，并且可能导致模型在测试时表现得非常差。在本文中，我们特别考虑了亚群转移的问题（例如，不平衡数据）和域转移。虽然先前的工作通常寻求明确地将模型的内部表示或预测因子正则化为域不变，但我们的目标是在不限制模型的内部表示或预测因子的情况下学习不变预测因子。这导致了一种简单的基于混合的技术，该技术通过称为LISA的选择性增强来学习不变预测器。LISA选择性地内插具有相同标记但不同结构域或具有相同结构域但不同标记的样品。从经验上讲，我们研究了LISA在9个基准上的有效性，从亚群转移到域转移，我们发现LISA始终优于其他最先进的方法，并导致更多的不变预测。我们进一步分析了线性设置，并从理论上展示了LISA如何导致更小的最坏组误差。
2022-06-19 cs.LG
Robustness through Data Augmentation Loss Consistency
University of Southern California（南加州大学）；Georgia Institute of Technology（佐治亚理工学院）；Meta AI；Google Research（谷歌研究院）
虽然通过经验风险最小化（ERM）的深度学习已经成功地在各种复杂任务中实现了人类水平的性能，但ERM对分布偏移或对抗攻击并不鲁棒。合成数据增强后的经验风险最小化（DA-ERM）是一种简单且广泛使用的解决方案，以提高ERM的鲁棒性。此外，可以应用一致性正则化，以进一步提高模型的鲁棒性，通过迫使原始样本和增强样本的表示是相似的。然而，现有的一致性正则化方法不适用于协变数据增强，其中增强样本中的标签依赖于增强函数。例如，当我们用一个新的命名实体来扩充数据时，对话状态会随着命名实体而变化。在本文中，我们提出了数据增强的损失不变正则化（DAIR），一种简单形式的一致性正则化，直接应用于损失水平，而不是中间特征，使其广泛适用于不变和协变数据增强，无论网络架构，问题设置和任务。我们将DAIR应用于涉及协变数据增强的现实学习问题：鲁棒的面向神经任务的对话状态跟踪和鲁棒的视觉问答。我们还将DAIR应用于涉及不变数据增强的任务：鲁棒回归，针对对抗攻击的鲁棒分类，以及分布偏移下的鲁棒ImageNet分类。我们的实验表明，DAIR始终优于ERM和DA-ERM几乎没有边际计算成本，并设置新的国家的最先进的结果在几个基准涉及协变数据增强。我们所有实验的代码可在https://github.com/optimization-for-data-driven-science/DAIR.git上获得
2023-01-24 cs.AI cs.CL cs.CV
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对自监督对比学习可迁移性理论理解不足的问题，构建理论框架分析数据增强的影响，发现对比学习难学域不变特征，据此提出ArCL方法，可提升对比学习的可迁移性。
2023-12-12 cs.AI cs.CV cs.LG
Augmentation adversarial training for self-supervised speaker recognition
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文的目标是训练不需要说话人标签的鲁棒说话人识别模型。最近的无监督说话人表示的工作是基于对比学习，其中，他们鼓励内话语嵌入是相似的，跨话语嵌入是不同的。然而，由于话语内片段共享相同的声学特性，因此难以将说话者信息与声道信息分离。为此，我们提出了增强对抗训练策略，该策略训练网络对说话人信息具有辨别力，同时对所应用的增强保持不变。由于增强模拟了声学特性，因此训练网络对增强不变也鼓励网络对信道信息保持不变。在VoxCeleb和VOiCES数据集上进行的大量实验表明，与以前使用自我监督的作品相比，我们的自我监督模型的性能有了显着的改进，并且我们的自我监督模型的性能远远超过了人类。
2020-10-30 cs.LG cs.SD eess.AS
TIACam: Text-Anchored Invariant Feature Learning with Auto-Augmentation for Camera-Robust Zero-Watermarking
Department of Computer Science University of Nebraska Omaha（计算机科学系 内布拉斯加大学奥马哈分校）
TIACam通过文本锚定不变特征学习和自增强技术，实现抗相机重拍的零水印系统，提升特征稳定性和水印提取准确性。
2026-02-21 cs.CV cs.LG cs.MM
Switchable Lightweight Anti-symmetric Processing (SLAP) with CNN Outspeeds Data Augmentation by Smaller Sample -- Application in Gomoku Reinforcement Learning
City, University of London（伦敦城市大学）
本文提出SLAP方法替代数据增强，通过强化经验加速机器学习并减少样本量，在五子棋CNN实验中收敛速度提升83%，样本量仅需八分之一。
2023-05-16 cs.AI cs.CV cs.LG
Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Ohio State University（俄亥俄州立大学工业与系统工程系）
本文提出RIA方法，通过对抗性标签不变的数据增强提升分布外泛化能力，结合因果生成图数据进行优化，实验表明其在多种分布偏移场景中表现优异。
2026-04-20 cs.LG stat.ML
Style-invariant Cardiac Image Segmentation with Test-time Augmentation
Shenzhen University（深圳大学）
由于真实临床环境中的外观变化，深度模型通常会遭受严重的性能下降。大多数现有的基于学习的方法依赖于来自多个网站/供应商甚至相应标签的图像。然而，收集足够的未知数据，鲁棒的模型分割并不总是成立，因为在日常应用中的成像因素引起的复杂的外观变化。在本文中，我们提出了一种新的风格不变的心脏图像分割方法。基于zero-shot风格转移，以消除外观移位和测试时增强，以探索不同的底层解剖，我们提出的方法是有效的，在打击外观移位。我们的贡献是三方面的。首先，受通用风格转换的启发，我们对内容图像进行了zero-shot风格化处理，生成与风格图像外观相似的风格化图像。其次，我们建立了一个强大的心脏分割模型的基础上的U-Net结构。我们的框架在测试过程中主要由两个网络组成：用于消除外观偏移的ST网络和分割网络。第三，我们研究测试时增强，以探索风格化图像的转换版本进行预测，并将结果合并。值得注意的是，我们提出的框架是完全测试时适应。实验结果表明，我们的方法是有前途的和通用的推广深度分割模型。
2020-09-24 cs.CV cs.LG eess.IV
Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift
Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）
针对图数据协变量分布偏移问题，提出对抗性不变增强（AIA）策略，通过外推生成新环境并保留稳定特征，增强图分类模型的泛化能力，实验验证其优越性。
2023-12-21 cs.LG
An "augmentation-free" rotation invariant classification scheme on point-cloud and its application to neuroimaging
University of California, Berkeley（加州大学伯克利分校）
近年来，随着3D传感器和技术的发展，3D医学成像技术的出现和日益普及。然而，在3D医学图像的处理中实现几何不变性在计算上是昂贵的，但是由于刚性配准技术引起的可能误差的存在而仍然是必要的。分析医学成像的另一种方法是通过理解点云表示的3D形状。虽然在医学成像领域，3D点云处理不是一个“去”的选择，但它是保持旋转不变性的标准方法。遗憾的是，由于离散拓扑的存在，人们不能在点云上使用标准的卷积算子。据我们所知，现有的方法做“卷积”不能保持旋转不变性，没有显式的数据增强。因此，我们提出了一个旋转不变卷积算子，通过诱导拓扑超球。在公开的OASIS数据集上进行了实验验证，验证了患有（不患有）痴呆症的受试者之间的分类准确性，证明了我们所提出的方法在模型复杂性，分类准确性以及最后但最重要的旋转不变性方面的有用性。
2019-11-05 cs.CV cs.LG eess.IV
Promoting Generalization for Exact Solvers via Adversarial Instance Augmentation
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China（GIPAS技术CAS重点实验室，中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对学习型MILP求解器在未见实例上性能下降的问题，提出对抗性实例增强方法AdaSolver，通过将不可微的实例增强建模为上下文赌博机问题并联合对抗训练增强策略与求解器，显著提升基于模仿学习和强化学习的分支定界求解器的泛化能力。
2026-05-28 cs.LG
FreeAugment: Data Augmentation Search Across All Degrees of Freedom
Technion - Israel Institute of Technology（以色列理工学院）
本文提出 FreeAugment，一种完全可微的自动数据增强搜索方法，首次同时全局优化变换数量、类型、顺序和幅度，并在多领域基准上达到最先进性能。
2024-09-07 cs.AI cs.CV cs.LG
Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
利用动力系统中的对称性是提高深度学习泛化能力的有力途径。该模型学习对变换不变性，因此对分布偏移更鲁棒。数据增强和等变网络是将对称性注入学习的两种主要方法。然而，它们在提高泛化能力方面的确切作用还没有得到很好的理解。在这项工作中，我们推导出数据增强和等变网络的泛化界，在一个统一的框架中表征它们对学习的影响。不像大多数先前关于i.i.d.设置，我们专注于非平稳动态预测与复杂的时间依赖性。
2022-06-19 cs.LG
On Data Augmentation for Extreme Multi-label Classification
University of Utah（犹他大学）
在本文中，我们专注于数据增强的极端多标签分类（XMC）问题。XMC最具挑战性的问题之一是长尾标签分布，即使是强大的模型也会受到监管不足的影响。为了减轻这种标签偏见，我们提出了一个简单有效的增强框架和一个新的最先进的分类器。我们的增强框架利用预训练的GPT-2模型来生成输入文本的标签不变扰动，以增强现有的训练数据。因此，它比基线模型有了很大的改进。我们的贡献是两个因素：（1）我们引入了一个新的最先进的分类器，它使用标签注意力与RoberTa，并将其与我们的增强框架相结合，以进一步改进;（2）我们提出了一个广泛的研究，在XMC任务中，不同的增强方法有多有效。
2020-09-22 cs.AI cs.CL cs.IR
Regularising for invariance to data augmentation improves supervised learning
DeepMind（深度思维）
数据增强用于机器学习中，以使分类器对标签保持变换不变。通常，这种不变性仅通过在训练期间包括单个增强输入来隐含地鼓励。然而，最近有几项工作表明，每个输入使用多个增广可以提高泛化能力，或者可以用来更明确地纳入不变性。在这项工作中，我们首先从经验上比较这些最近提出的目标，这些目标的不同之处在于它们是否依赖于显式或隐式正则化，以及它们在什么水平上编码不变性的预测。我们表明，预测的最佳性能的方法也是最相似的，当比较不同的扩增相同的输入。受此观察的启发，我们提出了一个明确的正则化，鼓励这种不变性的水平上的个别模型的预测。通过在CIFAR-100和ImageNet上的大量实验，我们证明了这种显式正则化器（i）提高了泛化能力，（ii）均衡了所有考虑的目标之间的性能差异。我们的研究结果表明，鼓励神经网络本身水平上的不变性的目标比那些通过平均非不变模型的预测来实现不变性的目标更好地推广。
2022-03-07 cs.LG stat.ML
Representation Learning via Invariant Causal Mechanisms
DeepMind（深度思维）
自监督学习是一种通过仅使用未标记数据预训练表示来减少对昂贵的监督信号的依赖的策略。这些方法将启发式代理分类任务与数据增强相结合，并取得了显著的成功，但我们对这种成功的理论理解仍然有限。在本文中，我们分析了自我监督表示学习使用因果框架。我们展示了如何通过对预训练期间使用的代理分类器进行明确的不变性约束来更有效地利用数据增强。在此基础上，我们提出了一种新的自监督目标，表示学习通过不变的因果机制（ReLIC），强制不变的预测代理目标的增强，通过不变的正则化，从而提高泛化保证。此外，使用因果关系，我们概括了对比学习，一种特殊的自我监督的方法，并提供了这些方法的成功的替代理论解释。从经验上看，ReLIC在ImageNet上的鲁棒性和分布外泛化方面明显优于竞争方法，同时在Atari上也明显优于这些方法，在$57$游戏中的$51$上实现了高于人类水平的性能。
2020-10-15 cs.CV cs.LG stat.ML
Cross-View Graph Consistency Learning for Invariant Graph Representations
Northumbria University（诺森比亚大学）
针对现有图表示学习方法难以获取不变图表示的问题，提出跨视图图一致性学习（CGCL）方法，通过耦合图结构增强生成互补视图并结合跨视图训练，在理论分析与实验中证明其有效性，在链路预测任务上取得竞争力结果。
2025-02-19 cs.CV cs.LG
TexTile: A Differentiable Metric for Texture Tileability
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；SEDDI
提出 TexTile，一种基于二分类器的可微度量，通过架构修改与数据增强准确量化纹理可平铺性，可集成至现有合成方法并客观评估其性能。
2024-03-19 cs.AI cs.CV cs.GR
Bias Challenges in Counterfactual Data Augmentation
Purdue University（普渡大学）
深度学习模型往往不是分布外鲁棒的，主要是因为它们依赖虚假特征来解决任务。反事实数据增强提供了一种（近似）实现对虚假特征反事实不变的表示的一般方法，这是对分布外（OOD）鲁棒性的要求。在这项工作中，我们表明，反事实的数据增强可能无法实现所需的反事实不变性，如果增强是由上下文猜测机，一个抽象的机器，猜测一个给定的输入最有可能的上下文。我们从理论上分析了这种反事实数据增强所施加的不变性，并描述了一个示例性的NLP任务，其中由上下文猜测机的反事实数据增强不会导致强大的OOD分类器。
2022-09-13 cs.LG stat.ML
