Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
在计算机视觉中，经常会遇到图像的区域偏移问题：图像类别相同，但采集条件不同。在领域自适应（DA）中，人们希望利用源标记图像对未标记的目标图像进行分类。不幸的是，在源训练集上训练的深度神经网络在不属于训练域的目标图像上表现不佳。提高这些性能的一种策略是使用最优传输（OT）在嵌入式空间中对齐源和目标图像分布。然而，OT可引起负转移，即将样品与不同的标记比对，这导致过拟合，尤其是在结构域之间存在标签偏移的情况下。在这项工作中，我们通过将其解释为对目标图像的噪声标签分配来减轻负对齐。然后，我们通过适当的正则化来减轻其影响。我们建议将MixUp正则化\citep{zhang2018mixup}与对噪声标签具有鲁棒性的损失相结合，以提高领域自适应性能。我们在一项广泛的消融研究中表明，这两种技术的结合是实现性能改善的关键。最后，我们评估我们的方法，称为\textsc{mixunbot}，在几个基准和现实世界的DA问题。
2022-06-22 cs.CV cs.LG stat.ML
Improving Mixup Calibration with Wasserstein Distributionally Robust Optimization
Department of Mathematics & Statistics（数学与统计学系）；Boston University（波士顿大学）；Department of Electrical and Computer Engineering, Division of Systems Engineering（电气与计算机工程系，系统工程 division）；Department of Biomedical Engineering（生物医学工程系）；Faculty of Computing & Data Sciences（计算与数据科学学院）
本文提出DRO-Augment框架，通过协同Wasserstein分布鲁棒优化与数据增强策略，显著提升了深度神经网络在数据损坏和对抗攻击下的鲁棒性，并保持了干净数据集上的准确率，同时提供了理论泛化误差界限。
2026-10-07 cs.CV cs.LG stat.ML
On the benefits of defining vicinal distributions in latent space
IIT Hyderabad（印度理工学院海得拉巴分校）
邻位风险最小化（VRM）原理是经验风险最小化（ERM）的一个变体，它用邻位函数代替狄拉克质量。有强有力的数值和理论证据表明，VRM优于ERM方面的推广，如果适当的邻域功能选择。混合训练（MT）是一种常用的邻域分布方法，它通过在训练样本之间引入全局线性行为来提高模型的泛化性能。除了泛化之外，最近的研究表明，混合训练的模型对输入扰动/损坏相对鲁棒，同时比非混合模型校准得更好。在这项工作中，我们研究了在生成模型的潜在空间中定义这些邻近分布的好处，而不是在输入空间本身。我们提出了一种新的方法- \textit{VarMixup (Variational Mixup)} -通过使用潜在的流形数据，以更好地采样混淆图像。我们对CIFAR-10，CIFAR-100和Tiny-ImageNet的实证研究表明，通过在VAE学习的潜在流形中执行混合来训练的模型本质上对各种输入损坏/扰动更具鲁棒性，校准得更好，并且表现出更多的局部线性损失景观。
2021-10-18 cs.CV cs.LG stat.ML
Adversarially Optimized Mixup for Robust Classification
Mayachitra Inc.（玛雅奇特拉公司）
Mixup是一个数据增强的过程，它训练网络在数据点之间进行平滑插值预测。对抗性训练是一种强大的数据增强形式，它在每个数据点周围的紧凑空间中优化最坏情况的预测，从而使神经网络做出更强大的预测。在本文中，我们通过使用投影梯度下降（PGD）逆向探测数据点之间的空间，将这些想法结合在一起。这项工作的基本方法是在训练过程中通过混合插值来利用反向传播，以优化网络做出不平滑和不一致预测的地方。此外，我们还探讨了一些修改和细微差别，如混合比和几何标签分配的优化，并讨论了它们对增强网络鲁棒性的影响。通过这些想法，我们已经能够训练更好地鲁棒泛化的网络;在CIFAR-10和CIFAR-100上的实验表明，针对强大的对手，包括最近的强大集成攻击AutoAttack，准确性得到了持续的提高。我们的源代码将被释放的可重复性。
2021-03-22 cs.CV cs.LG
Remix: Rebalanced Mixup
National Tsing-Hua University（国立清华大学）；Google Research（谷歌研究院）
当训练数据严重类别不平衡时，深度图像分类器通常表现不佳。在这项工作中，我们提出了一种新的正则化技术，Remix，放松Mixup的配方，使混合因子的功能和标签被解开。具体来说，当混合两个样本时，虽然特征以与Mixup相同的方式混合，但Remix通过向少数类提供不成比例的更高权重来分配有利于少数类的标签。通过这样做，分类器学习将决策边界推向多数类，并平衡多数类和少数类之间的泛化误差。我们已经研究了最先进的正则化技术，如Mixup，Manifold Mixup和CutMix在类不平衡状态下，并表明所提出的Remix在CIFAR-10，CIFAR-100和CINIC-10构建的不平衡数据集上显着优于这些最先进的技术和几种重新加权和重新采样技术。我们还在真实世界的大规模不平衡数据集iNaturalist 2018上评估了Remix。实验结果证实，Remix提供了一致的和显着的改进，比以前的方法。
2020-11-19 cs.CV cs.LG
Linearly Convergent Mixup Learning
Graduate School of Informatics（信息学研究科）；Faculty of Informatics（信息学学部）；Gunma University（群马大学）
针对mixup数据增强难以应用于RKHS学习、对偶优化方法无法直接适配中间类标签的问题，提出两种无需学习率等超参数的二分类算法，迭代次数与单步计算量均随数据集线性增长，收敛更快且mixup能稳定提升多损失函数下的预测性能。
2025-01-14 cs.LG
UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup
Tianjin University（天津大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
子群迁移广泛存在于现实世界的机器学习应用中，指的是训练分布和测试分布包含相同的子群组，但子群频率不同。重要性重新加权是一种处理子群体偏移问题的正常方法，通过对训练数据集中的每个样本施加恒定或自适应的采样权重。然而，最近的一些研究已经认识到，这些方法中的大多数未能提高经验风险最小化的性能，特别是当应用于过度参数化的神经网络。在这项工作中，我们提出了一个简单而实用的框架，称为不确定性感知mixup（UMIX），以减轻过参数化模型中的过拟合问题，根据样本的不确定性重新加权“混合"样本。建议的UMIX为每个样本配备了基于训练轨迹的不确定性估计，以灵活地表征亚群分布。我们还提供了有见地的理论分析，以验证UMIX实现了更好的泛化范围比以前的作品。此外，我们在广泛的任务中进行了广泛的实证研究，以定性和定量地验证我们的方法的有效性。代码可在https://github.com/TencentAILabHealthcare/UMIX上获得。
2023-01-03 cs.LG
Reweighted Mixup for Subpopulation Shift
Tianjin University（天津大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
针对过参数化模型在子群体偏移下的过拟合问题，提出重加权 Mixup (RMIX) 框架，通过对混合样本进行重要性加权并引入基于训练轨迹的不确定性估计，提升了模型鲁棒性与泛化能力。
2023-04-09 cs.LG
Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications
Peking University（北京大学）；Tsinghua University（清华大学）；National Research and Engineering Center of Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
针对现有图数据增强方法忽略图结构与信号联合交互的问题，提出基于融合格罗莫夫-瓦瑟斯坦度量空间的图混合算法FGWMixup，通过加速求解器提升可扩展性，实验证明其能有效增强GNN的泛化性与鲁棒性。
2023-10-04 cs.LG
C-Mixup: Improving Generalization in Regression
Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）；Zhejiang University（浙江大学）
提高深度网络的泛化能力是一个重要的开放性挑战，特别是在没有大量数据的领域。混合算法通过线性内插一对样本及其对应的标签来提高泛化能力。这些内插的示例扩充了原始训练集。混合在各种分类任务中显示出有希望的结果，但在回归中对混合的系统分析仍有待探索。直接在回归标签上使用mixup可能会导致任意错误的标签。在本文中，我们提出了一个简单而强大的算法，C-Mixup，以提高回归任务的泛化能力。vanilla mixup以均匀的概率挑选训练样本进行混合，而C-Mixup则根据标签的相似性调整采样概率。我们的理论分析证实，C-Mixup与标签相似性获得更小的均方误差在监督回归和元回归比香草mixup和使用特征相似性。C-Mixup的另一个好处是它可以提高分布外的鲁棒性，其中测试分布与训练分布不同。通过有选择地内插具有相似标签的示例，它减轻了域相关信息的影响，并产生域不变表示。我们在11个数据集上评估了C-Mixup，从表格数据到视频数据。与最佳先验方法相比，C-Mixup在分布内泛化、任务泛化和分布外鲁棒性方面分别提高了6.56%、4.76%和5.82%。代码发布于https://github.com/huaxiuyao/C-Mixup。
2022-10-11 cs.LG stat.ML
On Calibration of Mixup Training for Deep Neural Networks
PRHLT Research Center, Universitat Politècnica de València（PRHLT研究中心，瓦伦西亚理工大学）；AUDIAS - Audio, Data Intelligence and Speech, Universidad Autónoma de Madrid（AUDIAS - 音频、数据智能与语音，马德里自治大学）
深度神经网络（DNN）代表了许多任务的最新技术水平。然而，由于其overparameterization，他们的泛化能力是值得怀疑的，仍然是一个正在研究的领域。因此，DNN可能会过拟合并分配过度自信的预测--这些效应已被证明会影响分配给不可见数据的置信度的校准。数据增强（DA）策略已被提出来正则化这些模型，Mixup是最流行的策略之一，因为它能够提高DNN的准确性、不确定性量化和校准。然而，在这项工作中，我们认为，并提供经验证据表明，由于其基本原理，Mixup不一定改善校准。根据我们的观察，我们提出了一个新的损失函数，它可以提高用这种DA技术训练的DNN的校准，有时还可以提高精度。我们的损失受到贝叶斯决策理论的启发，并引入了一个新的训练框架来设计概率建模的损失。我们提供最先进的精度，并持续改进校准性能。附录和代码在这里提供：https://github.com/jmaronas/calibration_MixupDNN_ARCLoss.pytorch.git
2021-01-28 cs.LG stat.ML
Mixup Regularization: A Probabilistic Perspective
J.P. Morgan AI Research（摩根大通人工智能研究）
针对mixup正则化在条件密度估计与概率机器学习领域应用不足的问题，提出基于概率融合的新型mixup正则化框架，支持指数族数据似然解析融合与神经网络任意中间层输入融合，经理论分析与实验验证优于现有变体。
2025-06-13 cs.LG stat.ML
Improve Unsupervised Domain Adaptation with Mixup Training
Bosch Research North America（博世北美研究院）
无监督域自适应研究利用具有丰富标签的相关源域为未注释的目标域构建预测模型的问题。最近的工作观察到，流行的学习领域不变特征的对抗方法不足以实现期望的目标领域性能，从而引入额外的训练约束，例如聚类假设。然而，这些方法分别对源域和目标域施加约束，忽略了它们之间重要的相互作用。在这项工作中，我们建议使用mixup公式来执行跨域的训练约束，以直接解决目标数据的泛化性能。为了解决潜在的巨大的域差异，我们进一步提出了一个特征级的一致性正则化，以促进域间的约束。当添加域内混淆和域对抗学习时，我们的通用框架显着提高了图像分类和人类活动识别等几项重要任务的最新性能。
2020-01-03 cs.CV cs.LG stat.ML
Tailoring Mixup to Data for Calibration
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Institut Polytechnique de Paris（巴黎理工学院）
针对Mixup数据增强随意混合易导致流形不匹配、损害校准的问题，提出根据样本相似度动态调整插值系数分布的灵活框架，在分类和回归任务上提升了模型预测性能、校准效果与效率。
2025-03-18 cs.AI cs.LG stat.ML
Regularizing Recurrent Neural Networks via Sequence Mixup
Data Analytics Laboratory (DAL)（数据分析实验室（DAL））；Sharif University of Technology（谢里夫理工大学）
在本文中，我们扩展了一类最初为前馈神经网络提出的著名正则化技术，即输入混合（Zhang et al.，2017）和Manifold Mixup（Verma等人，2018年），到循环神经网络（RNN）的领域。我们提出的方法易于实现，具有较低的计算复杂性，同时利用简单的神经架构在各种任务的性能。我们已经通过对真实世界数据集的几个实验验证了我们的主张，并提供了渐近理论分析，以进一步研究我们提出的技术的特性和潜在影响。将序列混合应用于BiLSTM-CRF模型（Huang等人，2015）到CoNLL-2003数据上的命名实体识别任务（Sang和De Meulder，2003）已经在测试阶段提高了F-1分数并大大减少了损失。
2020-11-27 cs.CL cs.LG stat.ML
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University（宾夕法尼亚州立大学）；Sant’Anna School of Advanced Studies（圣安娜高等研究院）
在本文中，我们提出了$ε$ -一致性混淆（$ε$ μ）。$ε$ mu是一种基于数据的结构正则化技术，它通过在两者之间进行简单的自适应权衡，将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构，并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性，在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究，并提供深入了解$ε$ mu的有效性背后的机制。特别是，发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
MixUp as Locally Linear Out-Of-Manifold Regularization
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
MixUp是最近提出的一种数据增强方案，它线性插值一对随机的训练样本和相应的标签的独热表示。用这样的附加数据训练深度神经网络被示出能够显著提高当前技术的预测准确性。然而，MixUp的力量主要是凭经验建立的，并且其工作和有效性还没有被深入解释。在本文中，我们将MixUp理解为“流形外正则化”的一种形式，它对数据流形之外的模型输入空间施加了某些“局部线性”约束。这种分析使我们能够识别MixUp的限制，我们称之为“流形入侵”。简而言之，MixUp中的流形入侵是一种欠拟合的形式，其原因是混合示例的合成标签与原始训练数据的标签之间的冲突。这种现象通常发生在控制混合策略生成的参数没有在训练数据上充分微调时。为了解决这个问题，我们提出了一种新的自适应版本的MixUp，其中混合策略是使用旨在避免流形入侵的额外网络和目标函数从数据中自动学习的。建议的正则化，AdaMixUp，经验评估几个基准数据集。大量的实验表明，AdaMixUp在应用于当前的深度分类模型时，改进了MixUp。
2018-11-22 cs.AI cs.LG stat.ML
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Towards Understanding Why Data Augmentation Improves Generalization
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
针对数据增强提升泛化的机制缺乏统一解释的问题，本研究提出统一理论框架，阐明其通过部分语义特征移除和特征混合两种效应实现，并经实验验证，为理解数据增强提供统一视角。
2025-02-13 cs.CV cs.LG stat.ML
Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives
Indian Institute of Science（印度科学学院）；Fujitsu Limited（富士通公司）；Fujitsu Research of India（富士通印度研究院）
针对现有方法在优化非可分解目标时表现次优或需从头训练的问题，提出基于选择性mixup的预训练模型廉价微调技术SelMix，通过确定特定类间特征mixup的采样分布来优化目标，显著提升了不平衡分类任务中多种非可分解目标的性能。
2024-03-27 cs.AI cs.CV cs.LG
