MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture
MixUp是一种计算机视觉数据增强技术，它使用输入数据及其标签的凸插值来增强训练期间的模型泛化。然而，MixUp在自然语言理解（NLU）领域的应用受到了限制，因为很难直接在输入空间中插入文本。在这项研究中，我们提出了混合方法在输入，流形，句子嵌入水平的Transformer架构，并应用它们来微调BERT模型的一组不同的NLU任务。我们发现MixUp可以提高模型性能，并将测试损失和模型校准误差降低高达50%。
2021-02-22 cs.CL cs.LG
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania（宾夕法尼亚大学）；Apple Inc.（苹果公司）
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而，这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法，在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林，提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度，但随机森林不能被视为直接优化过程。相反，随机森林是一种自平均，插值算法，它创建了我们所称的“尖峰平滑”分类器，我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中，我们质疑传统的智慧，认为分类的提升算法需要正则化或提前停止，并且应该限于低复杂度的学习者类别，例如决策树。我们的结论是，boosting应该像随机森林一样使用：使用大型决策树，而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
GraphMAD: Graph Mixup for Data Augmentation using Data-Driven Convex Clustering
Rice University（莱斯大学）
我们提出了一种新的数据驱动的非线性混合机制的图数据增强，并提出了不同的混合函数的样本对和他们的标签。Mixup是一种数据增强方法，通过在成对的数据样本及其标签之间进行线性插值来创建新的训练数据。图数据的混淆是具有挑战性的，因为潜在不同大小的图之间的插值是不适定的操作。因此，一个很有前途的方法是图混淆，首先投影到一个共同的潜在的特征空间，然后探索线性和非线性混淆策略在这个潜在的空间。在这种情况下，我们建议（i）将图投影到连续随机图模型（称为图子）的潜在空间上，（ii）利用该潜在空间中的凸聚类来生成非线性数据驱动的混合函数，以及（iii）研究标签和数据样本的不同混合函数的使用。我们在基准数据集上评估了我们的图数据增强性能，并证明了非线性数据驱动的混合函数可以显着提高图分类。
2022-10-27 cs.AI cs.LG
A Generalized Theory of Mixup for Structure-Preserving Synthetic Data
Yonsei University（延世大学）
本文研究了Mixup数据增强技术对合成数据统计结构的扭曲问题，提出了一种结合广义灵活加权方案的新颖mixup方法，在保持原始数据方差和分布特性的同时维持模型性能并缓解模型崩溃。
2025-03-03 cs.LG stat.ML stat.OT
MixupE: Understanding and Improving Mixup from Directional Derivative Perspective
National University of Singapore（新加坡国立大学）；Universite de Montreal（蒙特利尔大学）；Mila（米拉研究所）；Aalto University（阿尔托大学）；Google Brain（谷歌大脑）
本文从方向导数视角分析Mixup，发现其隐式正则化所有阶方向导数，据此提出改进版MixupE，在图像、表格、语音和图等任务上提升泛化性能，如ImageNet top-1准确率提高0.8%。
2023-10-16 cs.CV cs.LG
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
Lehigh University（理海大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Hangzhou Dianzi University（杭州电子科技大学）
Mixup是一种最新的数据增强技术，它对输入示例和相应的标签进行线性插值。它通过在像素级对图像进行插值，在图像分类中显示出很强的有效性。受这条研究路线的启发，在本文中，我们探讨了i）如何将mixup应用于自然语言处理任务，因为文本数据很难以原始格式混合; ii）如果mixup在基于transformer的学习模型中仍然有效，例如，BERT。为了实现这一目标，我们将mixup合并到基于transformer的预训练架构中，名为“mixup-transformer”，用于广泛的NLP任务，同时保持整个端到端的训练系统。我们通过在GLUE基准上进行广泛的实验来评估所提出的框架。此外，我们还通过以一定比例减少训练数据来检查混合变换器在低资源场景中的性能。我们的研究表明，mixup是一种与预训练语言模型无关的领域数据增强技术，可以显著提高基于transformer的模型的性能。
2020-11-10 cs.CL cs.LG
ifMixup: Interpolating Graph Pair to Regularize Graph Classification
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）
我们提出了一种简单而有效的基于插值的正则化技术，旨在提高图神经网络（GNNs）在监督图分类上的泛化能力。我们利用Mixup，一种有效的视觉正则化器，其中随机样本对及其标签被插值以创建用于训练的合成图像。与具有网格状坐标的图像不同，图具有任意的结构和拓扑，这可能对任何改变图的语义含义的修改非常敏感。这为Mixup类正则化方案提出了两个未回答的问题：我们可以直接混合一对图输入吗？如果是这样的话，这种混合策略如何规范GNN的学习？为了回答这两个问题，我们提出了ifMixup，它首先添加虚拟节点，使两个图具有相同的输入大小，然后同时执行对齐的节点特征向量和对齐的边缘表示的两个图之间的线性插值。我们的经验表明，这种简单的混合模式可以有效地规范分类学习，从而获得优于流行的图增强和GNN方法的预测准确性。
2022-11-24 cs.AI cs.LG
GuidedMixup: An Efficient Mixup Strategy Guided by Saliency Maps
Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出一种由显著性图引导的高效数据增强方法GuidedMixup，通过高效配对算法和平滑插值保留显著区域，在低计算开销下提升了模型泛化能力及对噪声和受损数据集的鲁棒性。
2023-06-29 cs.AI cs.CV cs.LG
AGMixup: Adaptive Graph Mixup for Semi-supervised Node Classification
Xidian University（西安电子科技大学）；JD Explore Academy（京东探索研究院）；Yunnan University（云南大学）
针对现有图mixup方法破坏图拓扑、采用统一混合比的问题，提出以子图为中心、可自适应调整混合比的AGMixup框架，在半监督节点分类任务上取得优于SOTA的效果。
2024-12-11 cs.AI cs.LG
Flow-Mixup: Classifying Multi-labeled Medical Images with Corrupted Labels
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
在临床实践中，医学图像判读通常涉及多标记分类，因为患者的受影响部分往往呈现多种症状或合并症。最近，基于深度学习的框架在医学图像判读方面已经达到了专家级的性能，这可以部分归因于大量准确的注释。然而，手动注释大量的医学图像是不切实际的，而自动注释是快速的，但不精确（可能引入损坏的标签）。在这项工作中，我们提出了一种新的正则化方法，称为流混合，多标记的医疗图像分类与损坏的标签。Flow-Mixup引导模型为每个异常捕获鲁棒的特征，从而帮助有效地处理损坏的标签，并使应用自动注释成为可能。具体来说，Flow-Mixup通过向模型的隐藏状态添加约束来对提取的特征进行叠加。理论和实验分析表明，Flow-Mixup正则化方法比其他正则化方法更稳定、更有效。在两个心电图数据集和一个包含损坏标签的胸部X射线数据集上的实验验证了Flow-Mixup算法的有效性和对损坏标签的不敏感性。
2021-02-09 cs.CV cs.LG eess.IV
Lungmix: A Mixup-Based Strategy for Generalization in Respiratory Sound Classification
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）；Shenzhen HealAll Technology Co., Ltd（深圳智康医疗科技有限公司）
本文提出 Lungmix 数据增强方法，通过响度与随机掩码混合波形并基于语义插值标签，解决呼吸音分类模型跨数据集泛化不足的问题，在 ICBHI、SPR 和 HF 数据集上将 4 类分类得分最高提升 3.55%。
2024-12-29 cs.LG cs.SD eess.AS
Supervision Interpolation via LossMix: Generalizing Mixup for Object Detection and Beyond
Mineral（Mineral公司）
针对数据混合增强难以直接用于目标检测的问题，提出监督插值框架与LossMix正则化方法，通过插值损失误差规范混合数据训练，在多个数据集上优于现有最优方法，还能提升跨域目标检测性能。
2023-12-19 cs.AI cs.CV cs.LG
FMix: Enhancing Mixed Sample Data Augmentation
混合样本数据增强（MSDA）近年来受到越来越多的关注，有许多成功的变体，如MixUp和CutMix。通过研究VAE在原始数据和增强数据上学习的函数之间的互信息，我们表明MixUp以CutMix没有的方式扭曲了学习的函数。我们通过展示MixUp作为对抗训练的一种形式来进一步证明这一点，提高了对Deep Fool和Uniform Noise等攻击的鲁棒性，这些攻击产生的示例与MixUp生成的示例类似。我们认为，这种扭曲会阻止模型学习数据中的样本特定特征，从而有助于泛化性能。相比之下，我们认为CutMix更像是一种传统的增强，通过防止记忆而不扭曲数据分布来提高性能。然而，我们认为，建立在CutMix上的MSDA包括任意形状的掩码，而不仅仅是正方形，可以进一步防止记忆，同时以同样的方式保留数据分布。为此，我们提出FMix，MSDA，使用随机二进制掩码通过应用阈值从傅立叶空间采样的低频图像。这些随机掩码可以呈现各种形状，并且可以生成用于一维、二维和三维数据。与MixUp和CutMix相比，FMix在不增加训练时间的情况下，针对一系列数据集和问题设置的多个模型提高了性能，在没有外部数据的情况下，在CIFAR-10上获得了新的单一模型最先进的结果。最后，我们证明了内插MSDA（如MixUp）和掩蔽MSDA（如FMix）之间的差异，这两者可以结合起来进一步提高性能。所有实验的代码在https://…
2021-02-28 cs.CV cs.IT cs.LG
Understanding overfitting peaks in generalization error: Analytical risk curves for $l_2$ and $l_1$ penalized interpolation
Cold Spring Harbor Laboratory（冷泉港实验室）
传统上，在回归中，最小化拟合参数的数量或使用平滑/正则化来权衡训练（TE）和泛化误差（GE）。通过增加拟合自由度（dof）将TE驱动到零预期将增加GE。然而，现代的大数据方法，包括深度网络，似乎过度参数化并将TE发送到零（数据插值），而不会影响GE。过度参数化的好处是经验损失函数的全局最小值激增，变得更容易找到。这些现象引起了理论界的关注。回归和分类算法已被证明，插值数据，但也最佳地推广。人们注意到一个有趣的相关现象：存在非单调风险曲线，随着自由度的增加，GE中出现峰值。有人建议，该峰值将经典制度与现代制度分开，在现代制度中，过度参数化提高了性能。类似的过度拟合峰之前也有报道（统计物理学方法学习），并归因于拟合模型灵活性的增加。我们引入了一个生成和拟合模型对（“错误参数化稀疏回归”或MiSpaR），并表明过拟合峰值可以与拟合函数获得足够自由度以匹配数据生成模型的点分离，从而提供了良好的泛化。这使得过度拟合峰的解释复杂化，因为过度拟合峰将“古典”与“现代”政权分开。数据插值本身并不能保证很好的推广性：我们需要研究具有不同惩罚项的插值。在插值极限$λ\rightarrow 0$下，我们给出了带有$l_2$和$l_1$惩罚的MiSpaR风险曲线的解析公式，这些风险曲线表现出重要的差异，有助于阐明潜在的现象.
2019-06-09 cs.LG physics.data-an stat.ML
Teach me how to Interpolate a Myriad of Embeddings
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））；Athena RC（雅典娜研究中心）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
Mixup是指基于插值的数据增强，最初是为了超越经验风险最小化（ERM）。然而，它的扩展集中在插值的定义和它发生的空间上，而增强本身研究较少：对于大小为$m$的小批量，大多数方法都使用单个标量插值因子$λ$在$m$对之间插值。在这项工作中，我们在这个方向上取得了进展，通过引入MultiMix，它插入任意数量的$n$元组，每个长度为$m$，每个元组有一个矢量$λ$。在序列数据上，我们进一步扩展到所有空间位置上的密集插值和损失计算。总的来说，我们以一个数量级的数量级增加了每个小批处理的元组数量，而几乎没有额外的成本。这可以通过在分类器之前的最后一层进行插值来实现。最后，为了解决由于线性目标插值的不一致性，我们引入了一种自蒸馏方法来生成和插值合成目标。我们的经验表明，我们的贡献导致显着改善国家的最先进的混合方法的四个基准。通过分析嵌入空间，我们观察到类更紧密地聚集在嵌入空间中，并且均匀地分布在嵌入空间中，从而解释了改进的行为。
2022-06-29 cs.CV cs.LG
