Class-aware and Augmentation-free Contrastive Learning from Label Proportion
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent America(腾讯美国公司);Tencent Europe B.V.(腾讯欧洲有限责任公司)
针对表格数据从标签比例学习中存在的增强不可行、类别区分难等问题,提出无增强对比框架TabLLP-BDC,通过两阶段包差异对比学习和多任务预训练实现实例级类别感知监督,取得表格领域LLP任务最优性能。
2024-08-13 cs.LG
Combined Image Data Augmentations diminish the benefits of Adaptive Label Smoothing
Federal Institute for Occupational Safety and Health (BAuA)(联邦职业安全与健康研究所)
本文研究了自适应标签平滑在不同图像增强下的效果,发现其对随机擦除和噪声注入有效,但在多样化增强组合(如TrivialAugment)中收益消失,且过度平滑会损害鲁棒性。
2025-07-22 cs.CV cs.LG
SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation
University of Maryland(马里兰大学)
本文提出SAFLEX方法,通过高效双层优化学习上游增强样本的权重和软标签,以极低计算成本降低噪声和标签错误,在少样本学习与分布外泛化中表现优异,并兼容多种增强策略和框架。
2024-10-03 cs.AI cs.LG
Label Augmentation via Time-based Knowledge Distillation for Financial Anomaly Detection
University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);Columbia University(哥伦比亚大学)
检测异常对金融服务行业变得越来越重要。异常事件通常表示非法活动,例如欺诈、身份盗窃、网络入侵、帐户接管和洗钱。由于底层模式的动态性,金融异常检测用例面临着严峻的挑战,特别是在对抗性环境中,例如不断变化的欺诈策略。虽然使用新模式重新训练模型是绝对必要的;但跟上快速变化会带来其他挑战,因为它会使模型远离旧模式或不断增加训练数据的大小。由此产生的数据增长难以管理,并且降低了模型对最新攻击的响应的敏捷性。由于数据大小的限制和需要跟踪最新的模式,在实践中,旧的时间段往往会被丢弃,这反过来又会导致漏洞。在这项研究中,我们提出了一种标签增强方法,利用旧模型的学习来提升最新模型。实验结果表明,该方法提供了一个显着减少训练时间,同时提供潜在的性能改善。
2021-01-05 cs.LG
Generative Synthetic Augmentation using Label-to-Image Translation for Nuclei Image Segmentation
Yachiyo Engineering, Co., Ltd., RIIPS(八千代工程株式会社,RIIPS)
在医学图像诊断中,使用语义分割的病理图像分析对于作为数字病理学领域的有效筛选变得重要。空间增强通常用于语义分割。恶性肿瘤图像比较少见,对肿瘤细胞核区域的标记进行标注耗时较长。我们需要有效地利用数据集,以最大限度地提高分割精度。可以预期,对广义图像进行变换的一些增强会影响分割性能。我们提出了一个合成增强使用标签到图像的翻译,从一个语义标签的边缘结构映射到一个真正的图像。本文正是对肿瘤细胞核染色切片的研究。实际上,我们展示了几种应用于包含真实图像和标签的初始数据集的分割算法,这些算法使用合成增强来添加它们的广义图像。我们计算和报告,建议的合成增强程序提高其准确性。
2021-03-02 cs.LG eess.IV stat.ML
Semi-supervised learning by selective training with pseudo labels via confidence estimation
Sony Corporation(索尼公司)
我们提出了一种新的半监督学习(SSL)方法,采用选择性训练与伪标签。在我们的方法中,我们生成硬伪标签,并估计它们的置信度,这表示每个伪标签正确的可能性。然后,我们显式地选择应该使用哪些伪标记数据来更新模型。具体地,假设错误伪标记数据的损失相对于数据增强敏感地增加,我们选择与应用数据增强之后的相对小的损失相对应的数据。置信度不仅用于筛选待选择的伪标记数据的候选者,而且用于自动地决定在小批量内应该选择多少伪标记数据。由于准确估计的信心是至关重要的,在我们的方法中,我们还提出了一个新的数据增强方法,称为MixConf,使我们能够获得信心校准模型,即使当训练数据的数量很小。几个基准数据集的实验结果验证了我们的SSL方法以及MixConf的优势。
2021-03-15 cs.LG
For Better or For Worse? Learning Minimum Variance Features With Label Augmentation
Duke University(杜克大学)
本研究分析标签增强(含标签平滑、Mixup)在模型训练中的作用,证明其使模型学习最小方差特征,实验表明该特性既关联图像分类基准的优异性能,也易受训练数据中低方差虚假相关性影响。
2025-02-13 cs.CV cs.LG
On Data Augmentation for Extreme Multi-label Classification
University of Utah(犹他大学)
在本文中,我们专注于数据增强的极端多标签分类(XMC)问题。XMC最具挑战性的问题之一是长尾标签分布,即使是强大的模型也会受到监管不足的影响。为了减轻这种标签偏见,我们提出了一个简单有效的增强框架和一个新的最先进的分类器。我们的增强框架利用预训练的GPT-2模型来生成输入文本的标签不变扰动,以增强现有的训练数据。因此,它比基线模型有了很大的改进。我们的贡献是两个因素:(1)我们引入了一个新的最先进的分类器,它使用标签注意力与RoberTa,并将其与我们的增强框架相结合,以进一步改进;(2)我们提出了一个广泛的研究,在XMC任务中,不同的增强方法有多有效。
2020-09-22 cs.AI cs.CL cs.IR
Toward Robustness in Multi-label Classification: A Data Augmentation Strategy against Imbalance and Noise
KAIST(韩国科学技术院);Amazon(亚马逊公司)
针对多标签分类中训练数据标签不平衡与含噪的问题,提出统一数据增强方法BalanceMix,通过两类采样器生成高多样性少数类增强样本、按标签粒度细化噪声标签分类以实现鲁棒优化,在三个基准数据集上性能超越现有SOTA方法并已开源代码。
2023-12-12 cs.AI cs.LG
Label-Decoupled Style Augmentation for Domain Generalization in Multi-Label Remote Sensing Scene Classification
Faculty of Engineering and Natural Sciences, Sabancı University(工程与自然科学学院,萨班哲大学)
研究多标签遥感场景分类中的域泛化问题,提出标签解耦增强框架,将风格扰动限制在特定标签区域,通过特定方法产生六个变体进行评估,该框架提升了泛化精度,增加参数少且推理不变。
2026-07-21 cs.CV cs.LG
Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
Preferred Networks, Inc.
我们提出了一种新的数据增强标记的句子称为上下文增强。我们假设一个不变性,即句子是自然的,即使句子中的词被替换为其他词与聚合关系。我们在单词位置随机地用由双向语言模型预测的其他单词替换单词。根据上下文预测的单词很多,但适合于增加原始单词。此外,我们改造了一个语言模型的标签条件架构,这使得该模型可以增加句子,而不破坏标签的兼容性。通过对六种不同文本分类任务的实验,我们证明了所提出的方法改进了基于卷积或循环神经网络的分类器。
2018-05-16 cs.CL cs.LG
WADER at SemEval-2023 Task 9: A Weak-labelling framework for Data augmentation in tExt Regression Tasks
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学);Northeastern University(东北大学)
亲密关系是人际关系的重要组成部分,语言是表达亲密关系的重要手段,文本亲密关系分析可以揭示不同语境下的社会规范,并作为测试计算模型理解社会信息能力的基准。在本文中,我们提出了一种新的弱标记策略,用于文本回归任务中的数据增强,称为WADER。WADER使用数据增强来解决数据不平衡和数据稀缺的问题,并提供了一种跨语言、zero-shot任务的数据增强方法。我们使用WADER对最先进的预训练多语言语言模型的性能进行了基准测试,并分析了抽样技术的使用,以减轻数据中的偏差并最佳地选择增强候选者。我们的研究结果表明,WADER优于基线模型,并为减轻文本回归任务中的数据不平衡和稀缺性提供了方向。
2023-03-05 cs.CL cs.LG
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University(布兰迪斯大学)
近年来,基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮,旋转、裁剪、翻转等操作与专用算法相结合,极大地提高了模型的泛化能力和鲁棒性。在这种趋势下,一些开创性的尝试将类似的想法用于图形数据。然而,与图像不同,在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋,但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测,图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此,我们提出了一个标签不变的增强图结构的数据,以解决这一挑战。与节点/边修改和子图提取不同,我们在表示空间中进行增强,并在最困难的方向生成增强样本,同时保持增强数据的标签与原始样本相同。在半监督的情况下,我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据,其次是几个深入的实验,以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
A Novel Neural Network Training Method for Autonomous Driving Using Semi-Pseudo-Labels and 3D Data Augmentations
aiMotive
训练神经网络以执行用于自动驾驶的3D目标检测需要大量不同的注释数据。然而,获得具有足够质量和数量的训练数据是昂贵的,并且有时由于人和传感器的约束而不可能。因此,需要一种新的解决方案来扩展当前的训练方法,以克服这种限制,并实现准确的3D目标检测。我们对上述问题的解决方案结合了半伪标记和新颖的3D增强。为了证明所提出的方法的适用性,我们设计了一个卷积神经网络的三维目标检测,可以显着增加检测范围相比,训练数据分布。
2022-07-20 cs.CV cs.LG
Sample Efficiency of Data Augmentation Consistency Regularization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学)
数据增强在大型神经网络的训练中很流行;然而,目前,在如何使用增强数据的不同算法选择之间没有明确的理论比较。在本文中,我们在这个方向上迈出了一步-我们首先提出了一个简单而新颖的分析线性回归与标签不变的增广,证明了数据增强一致性(DAC)本质上是更有效的经验风险最小化增广数据(DA-ERM)。然后将分析扩展到错误指定的增强(即,这再次证明了DAC优于DA-ERM的优点。此外,我们将我们的分析扩展到非线性模型(例如,神经网络)和目前的泛化界限。最后,我们进行实验,使一个干净的和苹果对苹果的比较(即,没有额外的建模或数据调整)之间的DAC和DA-ERM使用CIFAR-100和WideResNet;这些共同证明了DAC的优越功效。
2022-06-16 cs.LG
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University(麦克马斯特大学)
具有噪声标签的深度学习具有挑战性,因为深度神经网络具有记忆噪声标签的高容量。在本文中,我们提出了一个学习算法称为协同匹配,它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说,我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时,我们强制其对等网络,以同一图像的强增强版本作为输入,生成接近锚定标签的预测。然后,我们通过选择小损失实例来同时更新两个网络,以最小化两个无监督匹配损失(即,测量两个网络的一致性)和监督分类损失(即测量分类性能)。此外,无监督匹配损失使得我们的方法不严重依赖于噪声标签,这防止了噪声标签的记忆。在三个基准数据集上的实验表明,协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
Reducing Labelled Data Requirement for Pneumonia Segmentation using Image Augmentations
Indian Institute of Science Education and Research, Pune(印度科学教育与研究学院浦那分校);DeepTek Inc(DeepTek公司)
深度学习语义分割算法可以定位胸片中的异常或不透明。然而,收集和注释训练数据的任务是昂贵的,需要专业知识,这仍然是算法性能的瓶颈。我们调查的影响,图像增强,以减少标记的数据在语义分割的肺炎检测的胸部X射线的要求。我们在来自总训练数据的不同大小的子集上训练全卷积网络模型。我们在训练每个模型时应用不同的图像增强,并将其与在没有增强的整个数据集上训练的基线进行比较。我们发现,旋转和混合是旋转,混合,平移,伽马和水平翻转中最好的增强,其中它们将标记数据要求降低了70%,同时在我们的实验中在AUC和平均IoU方面执行到基线。
2021-02-25 cs.CV cs.LG eess.IV
What Are Effective Labels for Augmented Data? Improving Calibration and Robustness with AutoLabel
Google Research(谷歌研究院)
广泛的研究已经设计出数据增强方法,可以提高神经网络的准确性和泛化性能。然而,增强数据最终可能与干净的训练数据相差甚远,并且什么是适当的标签不太清楚。尽管如此,大多数现有的工作只是简单地使用one-hot标签来增强数据。在本文中,我们证明了对高度失真的数据重复使用独热标签可能会增加噪声并降低准确性和校准的风险。为了缓解这一问题,我们提出了一种通用的方法AutoLabel来自动学习增强数据标签的置信度,基于干净分布和增强分布之间的转换距离。AutoLabel建立在标签平滑的基础上,并由保持验证集的校准性能指导。我们成功地将AutoLabel应用于三种不同的数据增强技术:最先进的RandAug,AugMix和对抗训练。在CIFAR-10、CIFAR-100和ImageNet上的实验表明,AutoLabel显著提高了现有数据增强技术在模型校准和精度方面的性能,尤其是在分布偏移的情况下。
2023-02-22 cs.LG
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类,提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架,性能优于现有方法。
2025-07-25 cs.AI cs.LG
Single-image driven 3d viewpoint training data augmentation for effective wine label recognition
National Yang Ming Chiao Tung University(阳明交通大学);University of Washington(华盛顿大学)
针对酒标识别训练数据不足的问题,提出单图像驱动的3D视角数据增强方法,结合ViT与批量全三元组度量学习实现高准确率的单样本酒标识别。
2024-04-12 cs.CV cs.LG
CONVERT:Contrastive Graph Clustering with Reliable Augmentation
National University of Defense Technology(国防科技大学);Westlake University(西湖大学)
本文提出CONVERT对比图聚类网络,通过可逆扰动-恢复网络提取可靠语义信息,结合语义损失和标签匹配机制解决增强图语义漂移问题,在七个数据集上验证了有效性。
2023-10-20 cs.LG
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh(爱丁堡大学)
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索,其中每个类的标签是可用的。另一方面,无监督的Few-Shot学习设置,其中不需要任何类型的标签,几乎没有调查。我们提出了一种方法,命名为假设,扩增和学习或AAL,用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充,并重用支持集的标签,得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练,这样的模型可以直接应用于小型实标记数据集,而无需任何更改或微调。在我们的实验中,学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
Implicit Label Augmentation on Partially Annotated Clips via Temporally-Adaptive Features Learning
University of California, San Diego(加州大学圣迭戈分校)
部分注释的剪辑包含丰富的时间上下文,可以补充稀疏的关键帧注释,为模型训练提供监督。我们提出了一种称为时间自适应特征(TAF)学习的新范式,可以利用这些数据来学习更好的单帧模型。通过对模型中的不同因素施加不同的时间变化率约束,TAF能够使用上下文从未标记的帧中学习,以提高模型的准确性。TAF概括了“慢特征”学习,我们提出了比以前的作品更强的经验证据,在各种架构设计和两个流行的数据集上显示出令人信服的收益,用于具有挑战性的语义分割任务。TAF可以被解释为一种隐式标签增强方法,但与现有的显式增强技术相比,它是一种更有原则的公式。因此,我们的工作将两种有前途的方法联系起来,这些方法利用部分注释的剪辑进行单帧模型训练,并可以激发未来在这个方向上的探索。
2019-05-24 cs.CV cs.LG
Pseudo-Label Augmentation for Affect Sensing in Small Collaborative Groups
IT University of Copenhagen(哥本哈根信息技术大学);GN Advanced Science, GN Hearing(GN 先进科学,GN 听力)
本研究利用GroupAffect-4数据集,提出伪标签增强方法以应对协作群体情感感知中的稀疏标签问题,实验表明该方法优于仅标签基线,且人格信息宜作为团队内选择机制。
2026-09-16 cs.AI cs.HC cs.LG
Isotonic Data Augmentation for Knowledge Distillation
Shanghai University of Finance and Economics(上海财经大学)
知识蒸馏使用教师模型预测的真实硬标签和软标签作为监督。直觉上,我们希望软标签和硬标签与w.r.t.一致。概率的顺序。然而,我们发现在增强样本中硬标签和软标签之间存在严重的顺序违反。例如,对于增强样本$x=0.7*panda+0.3*cat$,我们期望有意义的软标签的顺序为$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$。但真正的软标签通常违反顺序,例如$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$。我们将此归因于教师的泛化能力不令人满意,这导致了增强样本的预测误差。从经验上看,我们发现违规行为是常见的,损害了知识转移。本文在知识蒸馏的数据增广中引入序限制,称之为保序数据增强(IDA)。我们使用保序回归(IR)-一个经典的技术,从统计-消除秩序的侵犯。我们表明,IDA可以建模为一个树结构的IR问题。因此,我们适应经典的IRT-BIN算法的最优解与$O(c \log c)$的时间复杂度,其中$c$是标签的数量。为了进一步降低时间复杂度,我们还提出了一个GPU友好的近似线性时间复杂度。我们已经验证了不同的数据集和数据增强技术,我们提出的IDA算法有效地提高了知识蒸馏的准确性,通过消除秩违规。
2021-07-06 cs.AI cs.LG
Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach
University of Science Technology of China(中国科学技术大学);University of Maryland College Park(马里兰大学帕克分校);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
数据增强是深度学习成功的关键因素,但严重依赖于并不总是可用的先验领域知识。关于自动数据增强的最新工作学习形成增强操作序列的策略,其仍然是预定义的并且受限于有限的选项。在本文中,我们表明,一个先验自由的自主数据增强的目标可以来自表示学习原则,旨在保持最低限度的充分信息的标签。给定一个例子,目标旨在创建一个遥远的“硬阳性例子”作为增强,同时仍然保留原始标签。然后,我们提出了一个实际的替代目标,可以有效地优化和无缝集成到现有的方法,为广泛的一类机器学习任务,例如,监督、半监督和噪声标签学习。与以前的工作不同,我们的方法不需要训练额外的生成模型,而是利用最终任务模型的中间层表示来生成数据增强。在实验中,我们表明,我们的方法从效率和最终性能两方面始终如一地为上述三个学习任务带来了非平凡的改进,无论是否与强预定义增强相结合,例如,在医学图像上,当领域知识不可用并且现有的增强技术表现不佳时。代码可在以下网址获得:https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3.
2022-11-02 cs.CV cs.LG
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin(德克萨斯大学奥斯汀分校);Snap Inc.(Snap公司)
概念转移是医学图像分割等自然任务中普遍存在的问题,其中样本通常来自不同的子群体,特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少(如果有的话)分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”(即,在我们的上下文中是标签稀疏的)样本。为了更有效地利用标签稀疏样本的数据特征,我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处,权重将标签密集样本分配给监督损失,将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证,通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明,AdaWAC不仅提高了分割性能和样本效率,但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning
Stanford University(斯坦福大学)
增强在对比学习中扮演什么角色?最近的工作表明,良好的扩增是标签保留相对于一个特定的下游任务。我们通过展示破坏标签的增强在基础模型设置中可能是有用的来使这幅图复杂化,在该设置中,目标是为多个下游任务学习多样化的通用表示。我们对一系列图像和音频数据集进行了对比学习实验,并进行了多个下游任务(例如,叠加在照片上的数字,预测一个与另一个的类别)。我们发现,Viewmaker网络,最近提出的对比学习的学习增强模型,产生标签破坏增强,随机破坏不同的下游任务所需的功能。这些增强是可解释的(例如,改变形状,数字或添加到图像中的字母),并且令人惊讶的是,与专家设计的增强相比,这些增强通常会产生更好的性能,尽管不保留标签信息。为了支持我们的实证结果,我们从理论上分析了一个简单的对比学习设置与线性模型。在这种情况下,标签破坏增强对于防止一组特征抑制对另一个下游任务有用的特征的学习至关重要。我们的研究结果强调,需要分析多个下游任务之间的相互作用时,试图解释基础模型的成功。
2022-12-16 cs.CV cs.LG cs.SD
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学)
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境,并学习一个不变的GNN进行泛化。然而,由于图的结构化编辑不可避免地要改变图的标号,所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系,这是有害的泛化。为了解决这个问题,我们提出了\textbf{LiSA},它产生标签不变的扩增,以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境,而不是诉诸图版本。具体来说,LiSA首先设计了变分子图生成器,以有效地提取局部预测模式并构造多个标签不变子图。然后,收集由不同生成器产生的子图,以构建不同的增强环境。为了促进增强环境之间的多样性,LiSA进一步引入了一种易于处理的基于能量的正则化,以扩大环境分布之间的成对距离。通过这种方式,LiSA生成具有一致预测关系的各种增强环境,并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明,LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Incorporating Multiple Cluster Centers for Multi-Label Learning
Southwest University(西南大学);Southwest Jiaotong University(西南交通大学);Northwestern Polytechnical University(西北工业大学);University of Electronic Science and Technology(电子科技大学)
多标签学习处理每个实例同时与多个标签相关联的问题。大多数现有的方法旨在通过利用标签相关性来提高多标签学习的性能。虽然数据增强技术被广泛应用于许多机器学习任务中,但数据增强是否有助于多标签学习仍不清楚。在本文中,我们提出利用数据增强技术来提高多标签学习的性能。具体而言,我们首先提出了一种新的数据增强方法,执行聚类的真实例子,并把聚类中心作为虚拟的例子,这些虚拟的例子自然体现本地标签的相关性和标签的重要性。然后,基于聚类假设,即同一聚类中的样本应该具有相同的标签,我们提出了一种新的正则化项来弥合真实样本和虚拟样本之间的差距,从而提高学习函数的局部光滑性。在大量真实世界多标签数据集上的广泛实验结果清楚地表明,我们提出的方法优于最先进的同行。
2022-01-16 cs.LG stat.ML
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);BAIR(伯克利人工智能研究中心);Weill Neurosciences Institute(威尔神经科学研究所);UCSF(加州大学旧金山分校)
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后,该监督评估用于指导训练过程的关键方面,例如选择数据增强策略。然而,通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的(例如,在诸如医学成像的隐私敏感领域中可能是这种情况)。因此,在这项工作中,我们表明,评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价(秩相关$> 0.94$)。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性,并提供了一种算法(SelfAugment)来自动有效地选择增强策略,而无需使用监督评估。尽管没有使用任何标记的数据,学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
WHERE to Generate Matters: Budget-Aware Synthetic Augmentation for Label Skewed Federated Learning
Chung-Ang University(中央大学)
研究标签倾斜联邦学习问题,提出FedEAS策略,根据客户端本地标签分布分配熵自适应生成预算,决定生成量与样本流向,在大幅减少生成预算的同时恢复准确性提升,性能优于均匀分配。
2026-07-09 cs.AI cs.CV cs.LG
Hippasus: Accurate and Cost-Efficient Feature Augmentation over Relational Tables
Athena Research Center(阿提卡研究中心)
Hippasus通过结合统计信号和语义推理,高效提升关系数据机器学习任务中的特征增强效果。
2026-11-13 cs.DB cs.LG
ChessMix: Spatial Context Data Augmentation for Remote Sensing Semantic Segmentation
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
与图像分类和目标检测等任务相比,标记语义分割数据集是一个昂贵且费力的过程。对于遥感应用尤其如此,因为这些应用不仅处理极高空间分辨率的数据,而且通常还需要该领域专家的知识来进行人工标记。数据增强技术有助于在标记样本少且不平衡的情况下改进深度学习模型。在这项工作中,我们提出了一种新的数据增强方法,侧重于探索遥感语义分割的空间背景。这种方法ChessMix通过将数据集中变换的小面片混合在棋盘状网格中,从现有训练集中创建新的合成图像。ChessMix优先考虑具有更多最稀有类示例的补丁,以缓解不平衡问题。在三个不同的知名遥感数据集的结果表明,这是一个有前途的方法,有助于提高网络的性能,特别是在数据集的可用数据很少。结果还表明,与广泛使用的最常见的数据增强方法相比,ChessMix能够改善标记像素较少的对象的分割。
2021-08-26 cs.CV cs.LG
Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization
McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所米拉开创)
研究自监督学习标记样本效率缺乏理论解释的问题,通过将留一法稳定性工具用于数据增强图,证明快速转导速率\(O(1/n_L)\),明确增强质量,解释准确率与标签数量曲线,且使用简化损失恢复理想特征。
2026-07-16 cs.LG math.ST stat.ML
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University(弗吉尼亚联邦大学);Nile University(尼罗大学)
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强,实现了多语言语音情感时间动态建模,并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
GERIS: A Game-Theoretic Framework for Filtering Instance-Dependent Label Noise in License Plate Data Augmentation
GERIS提出博弈论框架,通过非合作博弈筛选车牌数据增强中的低质量噪声实例,提升分类准确性和鲁棒性。
2026-09-29 cs.AI cs.CV cs.LG
Intra-Cluster Mixup: An Effective Data Augmentation Technique for Complementary-Label Learning
National Taiwan University(台湾大学)
本文提出簇内混合技术,通过改进数据增强方法提升互补标签学习的性能,实验证明在MNIST和CIFAR数据集上准确率分别提高30%和10%。
2026-01-31 cs.AI cs.CV cs.LG
Diffusion-based Data Augmentation and Knowledge Distillation with Generated Soft Labels Solving Data Scarcity Problems of SAR Oil Spill Segmentation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kyungpook National University(庆北国立大学)
针对SAR溢油分割标注稀缺问题,提出DAKTer扩散增强策略,联合生成SAR图像与对齐软标签并引入SNR平衡因子,显著提升多种分割模型性能。
2025-03-18 cs.CV cs.LG
Dens-PU: PU Learning with Density-Based Positive Labeled Augmentation
Democritus University of Thrace(德谟克利特色雷斯大学);Athena Research Centre(雅典娜研究中心)
本文提出Dens-PU方法,通过线性组合正标记数据的潜在编码来增强正类密度并构建边界,将PU学习转化为二分类问题,在基准图像数据集上取得领先效果。
2023-03-21 cs.AI cs.CV cs.LG
Counterfactual Augmentation for Multimodal Learning Under Presentation Bias
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Microsoft(微软公司)
本文提出反事实增强这一因果方法,通过生成反事实标签纠正用户-模型反馈循环引起的呈现偏差,实验证明其下游性能优于未校正模型和现有偏差校正方法。
2023-10-30 cs.CL cs.LG
Gradient-based Data Augmentation for Semi-Supervised Learning
NS Solutions Corporation(NS解决方案公司)
在半监督学习(SSL)中,一种称为一致性正则化(CR)的技术实现了高性能。实践证明,CR中使用的数据的多样性对于CR获得高鉴别性能的模型是极其重要的。我们提出了一种新的数据增强(基于约束的数据增强(GDA)),它是确定性地计算从图像像素值梯度的后验概率分布,即模型输出。我们的目标是通过利用三种类型的GDA来确保CR的有效数据多样性。另一方面,它已被证明是有效的标记数据和未标记数据的混合方法在SSL。我们提出了一个SSL方法命名为MixGDA的各种mixup方法和GDA相结合。MixGDA实现的区分性能与SSL研究中用作标准的13层CNN进行了评估。因此,对于CIFAR-10(4000个标签),MixGDA实现了与有史以来最佳性能相同的性能水平。对于SVHN(250个标签、500个标签和1000个标签)和CIFAR-100(10000个标签),MixGDA实现了最先进的性能。
2020-04-02 cs.CV cs.LG stat.ML
Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer
Xi’an Jiaotong University(西安交通大学);Northwestern Polytechnical University(西北工业大学)
数据增强已被广泛用于训练深度神经网络以改善泛化,无论是在原始空间(例如,图像空间)或表示空间。虽然是成功的,但在训练中很大程度上忽略了合成数据与原始数据之间的联系,而没有考虑训练中合成样本围绕原始样本的分布信息。因此,网络的行为并没有为此进行优化。然而,这种行为对于泛化至关重要,即使在对抗环境中,对于深度学习系统的安全性也是如此。在这项工作中,我们提出了一个框架,称为随机批量增强(SBA)来解决这些问题。SBA随机决定是否在由批调度器控制的迭代中进行扩增,并且其中通过将邻近分布中的相似性与原始样本相结合来引入“蒸馏"动态软标签正则化。所提出的正则化通过原始数据和虚拟数据的输出软最大值分布之间的KL-发散提供直接监督。我们在CIFAR-10、CIFAR-100和ImageNet上的实验表明,SBA可以提高神经网络的泛化能力,加快网络训练的收敛速度。
2020-06-27 cs.LG stat.ML
Dynamical Label Augmentation and Calibration for Noisy Electronic Health Records
School of Computing and Information Systems, University of Melbourne(计算机与信息系统学院,墨尔本大学)
本文提出ACTLL框架,通过双分量Beta混合模型区分确定与不确定实例,并动态校准或增强标签,在噪声EHR时间序列上取得最优预测性能。
2025-06-03 cs.AI cs.LG
Data Augmentation for Neural NLP
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Text Analysis and Knowledge Engineering Lab(文本分析与知识工程实验室)
数据稀缺是一个问题,发生在语言和任务中,我们没有大量的标记数据,但希望使用最先进的模型。此类模型通常是需要大量数据来进行训练的深度学习模型。获取各种机器学习问题的数据伴随着高标签成本。数据增强是解决数据稀缺问题的一种低成本方法。本文概述了当前用于自然语言处理的最先进的数据增强方法,重点是神经和基于转换器的模型的方法。此外,它还讨论了数据增强的实际挑战,可能的缓解措施和未来研究的方向。
2023-02-22 cs.CL cs.LG
GraphMAD: Graph Mixup for Data Augmentation using Data-Driven Convex Clustering
Rice University(莱斯大学)
我们提出了一种新的数据驱动的非线性混合机制的图数据增强,并提出了不同的混合函数的样本对和他们的标签。Mixup是一种数据增强方法,通过在成对的数据样本及其标签之间进行线性插值来创建新的训练数据。图数据的混淆是具有挑战性的,因为潜在不同大小的图之间的插值是不适定的操作。因此,一个很有前途的方法是图混淆,首先投影到一个共同的潜在的特征空间,然后探索线性和非线性混淆策略在这个潜在的空间。在这种情况下,我们建议(i)将图投影到连续随机图模型(称为图子)的潜在空间上,(ii)利用该潜在空间中的凸聚类来生成非线性数据驱动的混合函数,以及(iii)研究标签和数据样本的不同混合函数的使用。我们在基准数据集上评估了我们的图数据增强性能,并证明了非线性数据驱动的混合函数可以显着提高图分类。
2022-10-27 cs.AI cs.LG
Semi-Supervised Learning with Data Augmentation for End-to-End ASR
Nuance Communications, Inc.(Nuance通讯公司)
在本文中,我们将半监督学习(SSL)与数据增强(DA)一起应用于提高端到端ASR的准确性。我们专注于一致性正则化原则,它已成功地应用于图像分类任务,并提出序列到序列(seq2seq)版本的FixMatch和Noisy Student算法。具体来说,我们生成的伪标签的未标记的数据上的飞行与seq2seq模型后,扰动的输入功能与DA。我们还提出了软标签的变体,这两种算法,以应付伪标签错误,表现出进一步的性能改进。我们进行SSL实验的会话语音数据集与1.9kh手动转录的训练数据,仅使用25%的原始标签(475h标记的数据)。在结果中,具有软标签和一致性正则化的Noisy Student算法在添加475h未标记数据时实现了10.4%的字错误率(WER)降低,对应于92%的恢复率。此外,当迭代添加950h以上的未标记数据时,与使用完整标记训练集相比,我们的最佳SSL性能在5%的WER增加范围内(恢复率:78%)。
2020-07-27 cs.LG cs.SD eess.AS
Data Augmentation using Pre-trained Transformer Models
Alexa AI(Alexa人工智能)
基于语言模型的预训练模型,如BERT,在不同的NLP任务中提供了显着的收益。在本文中,我们研究了不同类型的基于Transformer的预训练模型,如自回归模型(GPT-2),自动编码器模型(BERT)和seq 2seq模型(BART),用于条件数据增强。我们表明,将类标签前置到文本序列提供了一种简单而有效的方法来调节预训练模型以进行数据增强。此外,在三个分类基准上,预训练的Seq 2Seq模型在低资源设置中优于其他数据增强方法。此外,我们探讨了不同的基于预训练模型的数据增强在数据多样性方面的不同之处,以及这些方法如何保留类标签信息。
2021-01-31 cs.CL cs.LG
E-Stitchup: Data Augmentation for Pre-Trained Embeddings
Salesforce Einstein(Salesforce爱因斯坦)
在这项工作中,我们提出了用于预训练的深度学习模型的嵌入的数据增强方法,该方法采用一对输入嵌入的加权组合,受到Mixup的启发,并将这种增强与额外的标签软化相结合。这些方法显着提高了分类精度,减少了训练时间,并提高了用它们训练的下游模型的置信度校准。作为这种改进的置信度校准的结果,可以更直观地解释模型输出,并通过将适当的置信度阈值应用于模型预测来用于准确地识别分布外数据。然后可以对识别出的分布外数据进行优先级标记,从而将标记工作集中在更有可能提高模型性能的数据上。我们相信,这些发现为改进使用预训练嵌入作为输入的模型的分类性能和校准奠定了坚实的基础,并提供了几个在生产级深度学习系统中非常有用的好处。
2020-10-06 cs.LG stat.ML
Hybrid Autoencoders for Tabular Data: Leveraging Model-Based Augmentation in Low-Label Settings
Bar-Ilan University(巴伊兰大学)
本文提出一种混合自编码器,将神经编码器与OSDT编码器结合,通过基于模型的增强在低标签表格数据上实现一致的分类和回归性能提升。
2025-11-10 cs.AI cs.LG
ContriMix: Scalable stain color augmentation for domain generalization without domain labels in digital pathology
PathAI Inc(PathAI公司);Spring Discovery(Spring Discovery公司)
针对数字病理图像染色差异导致深度学习模型泛化差、现有颜色增强方法依赖域标签难以规模化的问题,提出基于DRIT++的无域标签增强方法ContriMix,利用小批次样本染色变化与随机混合提取信息生成合成图像,在Camelyon17-WILDS数据集上性能优于同类方法,且鲁棒性强。
2024-03-08 cs.CV cs.LG eess.IV
Patch augmentation: Towards efficient decision boundaries for neural networks
Graz University of Technology(格拉茨工业大学);Medical University Graz(格拉茨医科大学)
在本文中,我们提出了一种新的增强技术,称为补丁增强,在我们的实验中,提高模型的准确性,使网络更强大的对抗攻击。简而言之,这种数据独立的方法基于图像/标签对创建新的图像数据,其中来自该对中的两个图像之一的补丁被叠加到另一个图像上,从而创建新的增强样本。新图像的标签是图像对相应标签的线性组合。初步实验表明,CIFAR-10的准确性提高了几个百分点,从大约81%的基线提高到89%。CIFAR-100的准确率从52%提高到68%。使用补丁增强训练的网络对对抗攻击也更鲁棒,我们使用快速梯度符号方法进行了演示。
2019-11-25 cs.CV cs.LG stat.ML
Self-supervised Label Augmentation via Input Transformations
KAIST(韩国科学技术院);AITRICS
自监督学习通过仅给定输入信号来构造人工标签来学习,近来对于学习具有未标记数据集的表示获得了相当大的关注,即,在没有任何人类注释监督的情况下学习。在本文中,我们证明了即使在完全标记的数据集下,这种技术也可以显着提高模型的准确性。我们的方案训练模型学习原始任务和自监督任务,但与传统的多任务学习框架不同,传统的多任务学习框架优化了相应损失的总和。我们的主要思想是学习一个关于原始标签和自监督标签的联合分布的统一任务,即,我们通过输入变换的自我监督来增强原始标签。这种简单而有效的方法允许通过在同时学习原始任务和自监督任务期间放松某个不变约束来更容易地训练模型。它还支持聚合推理,该聚合推理结合来自不同增强的预测以提高预测准确性。此外,我们提出了一种新的知识转移技术,我们称之为自蒸馏,具有聚合推理在一个单一的(更快)的推理效果。我们证明了我们的框架在各种全监督设置上的大精度改进和广泛适用性,例如,Few-Shot和不平衡分类场景。
2020-06-29 cs.CV cs.LG stat.ML