Towards Domain-Agnostic Contrastive Learning
Aalto University（阿尔托大学）；Google Research（谷歌研究院）；Harvard University（哈佛大学）
尽管最近取得了成功，但大多数对比自监督学习方法都是特定于领域的，严重依赖于需要特定领域知识的数据增强技术，例如图像裁剪和旋转。为了克服这样的限制，我们提出了一种新的域不可知的方法，对比学习，命名为DACL，适用于域的不变性，因此，数据增强技术，不容易获得。我们的方法的关键是使用Mixup噪声通过在输入或隐藏状态级别上不同地混合数据样本来创建相似和不相似的示例。为了证明DACL的有效性，我们在各个领域进行实验，如表格数据，图像和图形。我们的研究结果表明，DACL不仅优于其他领域不可知的噪声方法，如高斯噪声，而且还结合了特定领域的方法，如Simplified，以改善自我监督的视觉表示学习。最后，我们从理论上分析了我们的方法和基于高斯噪声的对比学习方法的优势。
2021-07-19 cs.AI cs.LG stat.ML
Learning domain-agnostic visual representation for computational pathology using medically-irrelevant style transfer augmentation
Stanford University（斯坦福大学）
机器学习模型在看不见的数据上的次优泛化是一个关键挑战，阻碍了此类模型对医学成像的临床适用性。虽然各种方法，如域自适应和域泛化已经发展到应对这一挑战，学习鲁棒性和可泛化的表示是医学图像理解的核心，并继续是一个问题。在这里，我们提出了STRAP（Style TRansfer Augmentation for histoPathology），这是一种基于非医学风格源（如艺术绘画）的随机风格转移的数据增强形式，用于学习计算病理学中与领域无关的视觉表示。风格转换是指在保留原始图像的高层语义内容的同时，用随机选择的风格源图像中的无信息风格替换图像的底层纹理内容。这提高了对域偏移的鲁棒性，并且可以用作学习域不可知表示的简单而强大的工具。我们证明，STRAP导致国家的最先进的性能，特别是在存在域转移，在计算病理学的两个特定的分类任务。
2021-06-03 cs.CV cs.LG eess.IV
MA 3 : Model Agnostic Adversarial Augmentation for Few Shot learning
Carnegie Mellon University（卡内基梅隆大学）
尽管最近在使用深度神经网络的视觉相关问题方面取得了进展，但将这些模型推广到看不见的例子的改进仍然有很大的范围。在本文中，我们探讨了领域的少样本学习与一种新的增强技术。与其他生成增强技术相比，在学习输入图像的分布的情况下，我们建议学习图像变换参数的概率分布，这更容易和更快地学习。我们的技术是完全可微的，这使得它能够扩展到多功能的数据集和基础模型。我们在多个基础网络和2个数据集上评估我们提出的方法，以建立该方法的鲁棒性和效率。通过添加增强模块，我们获得了近4%的改进，而无需对网络架构进行任何更改。我们还将代码随时提供给社区使用。
2020-04-10 cs.CV cs.LG
Data-Agnostic Augmentations for Unknown Variations: Out-of-Distribution Generalisation in MRI Segmentation
University of Twente（特文特大学）；Siemens Healthineers（西门子医疗）
该研究系统评估 MixUp 与 Auxiliary Fourier Augmentation，证明其可在心脏电影 MRI 和前列腺 MRI 分割中提升分布外泛化、成像变化鲁棒性及特征表示质量，并可便捷集成于 nnU-Net。
2025-05-15 cs.CV cs.LG
Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）
当前用于风格转换的深度学习技术对于设计支持来说不是最佳的，因为它们的“一次性”转换不适合探索性设计过程。为了克服这一差距，我们提出了参数转录，它转录到现有的内容编辑工具中可用的特定转换的参数值的端到端的风格转换效果。通过这种方法，用户可以在他们熟悉的工具中模仿参考样本的风格，从而可以通过操纵参数轻松地继续进一步探索。为了实现这一点，我们引入了一个框架，该框架利用现有的预训练模型进行风格转移来计算与参考样本的感知风格距离，并使用黑盒优化来找到最小化该距离的参数。我们对各种第三方工具（如Instagram和Blender）的实验表明，我们的框架可以有效地利用深度学习技术来支持计算设计。
2021-05-19 cs.CV cs.HC cs.LG
Private, Augmentation-Robust and Task-Agnostic Data Valuation Approach for Data Marketplace
Technische Universität Berlin（柏林工业大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）
针对数据交易市场的数据集估值难题，提出任务无关方法PriArTa，通过分布距离计算、通信高效的预处理机制与增强鲁棒性设计，实现隐私保护下的高效数据估值，经真实图像实验验证有效。
2024-11-01 cs.DC cs.LG
Are Current Continual Learning Methods Truly Agnostic? Introducing OPRE, a Step Toward Agnostic Continual Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Univ. Savoie Mont Blanc（萨瓦大学勃朗峰分校）；CNRS（法国国家科学研究中心）；U. de Bourgogne Europe（勃艮第欧洲大学）
研究持续学习中灾难性遗忘问题，指出多数方法有先验信息非不可知。提出在线补丁冗余消除器OPRE，通过输入空间标准丢弃信息，在CIFAR 10和CIFAR - 100上性能良好，优于GDumb，为持续学习提供新视角。
2026-07-10 cs.CV cs.LG
Latent Policy Steering with Embodiment-Agnostic Pretrained World Models
Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所、计算机科学学院、卡内基梅隆大学）
本文通过预训练世界模型和优化价值函数，提升低数据场景下的视觉运动策略性能，采用光流作为动作表示，实现跨体素的策略优化，实验显示在机器人任务中性能提升显著。
2026-03-22 cs.AI cs.LG cs.RO
Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
Chung-Ang University（中央大学）；Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University（中央大学高级影像科学、多媒体与电影研究生院）；Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系）
针对低资源场景下文本数据增强方法受限及鲁棒性不足的问题，提出基于决策边界感知的数据增强策略，通过移近潜在特征、重构生成软标签模糊样本并结合mid-K采样提升多样性，实验证明其有效性与可扩展性。
2024-03-22 cs.AI cs.CL cs.LG
Boosting Statistic Learning with Synthetic Data from Pretrained Large Models
Shanghai University of Finance and Economics（上海财经大学）；The Hong Kong Polytechnic University（香港理工大学）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）
本文提出一种端到端框架，通过领域特定统计方法筛选预训练大模型生成的合成数据，选择性整合高质量样本，在多种设置下一致提升预测性能，同时揭示生成模型在数据增强中的固有局限。
2025-05-08 cs.LG stat.AP stat.ML
LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors
Zhejiang University（浙江大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Stanford University（斯坦福大学）；Ant Group（蚂蚁集团）
针对提示微调易受任务无关后门攻击的问题，提出LMSanitator方法，通过逆向攻击向量而非触发器来检测和移除后门，在960个模型上实现92.8%检测准确率并大幅降低攻击成功率。
2023-10-14 cs.CL cs.CR cs.LG
Anchor Data Augmentation
ETH Zurich（苏黎世联邦理工学院）；Swiss Data Science Center（瑞士数据科学中心）
本文提出锚点数据增强（ADA），通过扩展锚点回归并利用修改样本的多个副本增加训练数据，以提升神经网络在线性和非线性回归中的鲁棒性，性能可与 C-Mixup 相媲美。
2023-11-27 cs.LG stat.ML
A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals
Department of Applied Mathematics and Computer Science（应用数学和计算机科学系）
针对生物信号通道可变性问题，提出对比随机导联编码（CRLC）方法，通过随机选择输入通道子集创建正对，在EEG和ECG数据上预训练并微调，在通道无关设置下优于现有策略，并达到与最先进参考模型相当的性能。
2026-05-22 cs.LG eess.SP
An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training
Tsinghua University（清华大学）
最近的一类半监督学习（SSL）方法严重依赖于特定领域的数据增强。相比之下，生成式SSL方法涉及基于生成模型的无监督学习，通过联合训练或预训练，并且从领域不可知的角度来看更有吸引力，因为它们本质上不需要数据增强。联合训练估计观测值和标签的联合分布，而预训练仅对观测值进行。最近，基于能量的模型（EBM）已经取得了可喜的成果，为生成式建模。已探索通过EBM进行SSL联合培训，在不同数据模式下取得了令人鼓舞的结果。在本文中，我们做了两个贡献。首先，我们通过EBM探索SSL的预培训，并将其与联合培训进行比较。其次，在图像分类和自然语言标注领域进行了一系列实验，以给出基于EBM的SSL方法性能的真实全貌。结果发现，联合培训EBM略优于培训前EBM，但几乎一致。
2020-10-25 cs.LG
StiefelGen: A Simple, Model Agnostic Approach for Time Series Data Augmentation over Riemannian Manifolds
National Institute of Informatics（情报科学研究所）；SOKENDAI（高级研究大学院大学）
针对时间序列增强中物理模型、噪声假设和大规模数据依赖问题，本文提出基于 Stiefel 流形矩阵微分几何的模型无关方法，将信号置于流形并平滑扰动。
2024-02-29 cs.LG
Learning Invariances for Policy Generalization
Microsoft Research Montreal（微软研究院蒙特利尔分院）
虽然最近的进展催生了非常强大的机器学习系统，但这些代理仍然非常专业，无法将他们获得的知识转移到类似但看不见的任务中。在本文中，我们研究了一个简单的强化学习问题，并专注于学习策略，编码适当的不变性推广到不同的设置。我们评估了三种潜在的策略推广方法：数据增强，元学习和对抗训练。我们发现我们的数据增强方法是有效的，并研究了元学习和对抗学习作为替代任务不可知方法的潜力。
2020-12-12 cs.AI cs.LG stat.ML
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST（韩国科学技术院）
该研究提出概率对称化框架，用小型等变网络参数化对称化分布，结合任意基础模型端到端训练，实现架构无关的群等变性，在多对称群测试中性能媲美定制等变架构，还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
A Probabilistic Framework for Knowledge Graph Data Augmentation
Google AI（谷歌人工智能）；IIT Hyderabad（印度理工学院海得拉巴分校）；Microsoft Research（微软研究院）；IIT Kanpur（印度理工学院坎普尔分校）；University College London（伦敦大学学院）
我们提出了NNMFAug，一个概率框架来执行知识图谱完成任务的数据增强，以应对数据稀缺的问题，这可以增强神经链接预测器的学习过程。我们的方法可以生成潜在的不同的三元组，具有高效和可扩展的优点，以及不可知的链接预测模型和数据集的选择。在流行的模型和基准测试上进行的实验和分析表明，NNMFAug可以在基线上带来显着的改进。
2021-10-25 cs.LG
Pretrained Encoders are All You Need
MIT Media Lab（麻省理工学院媒体实验室）；Birla Institute of Technology（博拉理工学院）；National University of Singapore（新加坡国立大学）；Deepmind（深度思维）
数据效率和泛化是深度学习和深度强化学习的关键挑战，因为许多模型都是在大规模、特定领域和昂贵的标签数据集上训练的。在大规模未经管理的数据集上训练的自监督模型已经成功地转移到不同的环境中。我们研究使用预先训练的图像表示和时空注意力的状态表示学习在雅达利。我们还探索了用自我监督技术微调预训练表示，即，对比预测编码、时空对比学习和增强。我们的研究结果表明，预训练表示与在特定领域数据上训练的最先进的自监督方法不相上下。因此，预先训练的表示产生数据和计算高效的状态表示。https://github.com/PAL-ML/PEARL_v1
2021-06-09 cs.LG
Dataset Augmentation in Feature Space
University of Guelph（圭尔夫大学）
数据集增强是应用广泛的特定领域转换来综合扩展训练集的实践，是监督学习中的标准工具。虽然在视觉识别等任务中很有效，但必须为每个新领域仔细设计、实现和测试转换集，这限制了其重用和通用性。在本文中，我们采用了一种更简单的、与领域无关的方法来增强数据集。我们从现有的数据点开始，并应用简单的转换，例如添加噪声，插值或在它们之间外推。我们的主要见解是不在输入空间中执行转换，而是在学习的特征空间中执行转换。人们对无监督表示学习的兴趣重新燃起，使得这种技术变得及时和有效。这是一个简单的建议，但迄今为止还没有经过经验检验。在序列到序列模型生成的上下文向量空间中工作，我们展示了一种对静态和顺序数据都有效的技术。
2017-02-17 cs.LG stat.ML
Domain-specific augmentations with resolution agnostic self-attention mechanism improves choroid segmentation in optical coherence tomography images
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Institute for Regeneration and Repair, University of Edinburgh（爱丁堡大学再生与修复研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Centre for Medical Informatics, University of Edinburgh（爱丁堡大学医学信息学中心）；Clinical Research Facility and Imaging, University of Edinburgh（爱丁堡大学临床研究与影像中心）；Department of Vision Sciences, Glasgow Caledonian University（格拉斯哥卡利多尼安大学视觉科学系）；British Heart Foundation Centre for Cardiovascular Science, University of Edinburgh（爱丁堡大学英国心脏基金会心血管科学中心）；Centre for Clinical Brain Sciences, University of Edinburgh（爱丁堡大学临床脑科学中心）
提出REACHNet，一种结合多分辨率训练与领域特定增强及分辨率无关自注意力的轻量网络，在EDI-OCT脉络膜分割中超越Choroidalyzer，速度更快且Dice系数更高。
2024-05-23 cs.CV cs.LG eess.IV
i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning
University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云科技）；Google Cloud AI（谷歌云人工智能）；KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
对比表示学习已被证明是有效的学习表示从未标记的数据。然而，在视觉领域已经取得了很大的进展，依赖于使用领域知识精心设计的数据增强。在这项工作中，我们提出了i-Mix，一个简单而有效的域不可知的正则化策略，用于改善对比表示学习。我们将对比学习转换为通过为批处理中的每个数据分配唯一的虚拟类来训练非参数分类器。然后，数据实例在输入和虚拟标签空间中混合，在训练期间提供更多的增强数据。在实验中，我们证明了i-Mix始终提高了跨领域学习表示的质量，包括图像，语音和表格数据。此外，我们通过跨模型和数据集大小的广泛消融研究证实了其正则化效果。该代码可在https://github.com/kibok90/imix上获得。
2021-03-18 cs.LG stat.ML
Text Data Augmentation: Towards better detection of spear-phishing emails
Vade Secure（韦德安全公司）
文本数据增强，即，从现有文本创建新的文本数据是具有挑战性的。实际上，增强变换应当在与目标自然语言处理（NLP）任务（例如，机器翻译、文本分类）。最初的商业电子邮件妥协（BEC）检测的应用程序的动机，我们提出了一个语料库和任务不可知的增强框架，作为一项服务，以增加我们公司内的英语文本。我们的建议结合了不同的方法，利用BERT语言模型，多步回译和语法。我们表明，我们的增强框架使用公开的模型和语料库以及BEC检测任务提高了几个文本分类任务的性能。我们还提供了一个全面的论证我们的增强框架的局限性。
2021-03-25 cs.CL cs.IR cs.LG
Bag of Tricks for In-Distribution Calibration of Pretrained Transformers
VUNO, Inc.（VUNO公司）；Pukyong National University（釜庆国立大学）；Korea University（高丽大学）
虽然预先训练的语言模型（PLM）已经成为提高文本分类任务准确性的事实标准，但最近的研究发现，PLM经常过度自信地预测。虽然已经提出了各种校准方法，如集成学习和数据增强，大多数方法已在计算机视觉基准测试中得到验证，而不是在基于PLM的文本分类任务。在本文中，我们提出了一个实证研究的PLM的信心校准，解决三个类别，包括信心惩罚损失，数据增强，集成方法。我们发现，过度拟合到训练集的集成模型显示出低于标准的校准性能，并且还观察到，用置信惩罚损失训练的PLM在校准和准确性之间存在权衡。基于这些观察，我们提出了校准PLM（CALL），校准技术的组合。CALL补充了单独使用校准方法时可能出现的缺点，并提高了分类和校准精度。在CALL的培训程序的设计选择进行了广泛的研究，我们提供了一个详细的分析校准技术如何影响校准性能的PLM。
2023-02-13 cs.CL cs.LG
Keep Your AI-es on the Road: Tackling Distracted Driver Detection with Convolutional Neural Networks and Targeted Data Augmentation
Stanford University（斯坦福大学）
根据世界卫生组织的数据，分心驾驶是世界上汽车事故和死亡的主要原因之一。在我们的研究中，我们解决了分心驾驶的问题，旨在建立一个强大的多类分类器，使用State Farm Distracted Driving Dataset检测和识别不同形式的驾驶员注意力不集中。我们利用预训练的图像分类模型，经典的数据增强，基于OpenCV的图像预处理和皮肤分割增强方法的组合。我们表现最好的模型结合了几种增强技术，包括皮肤分割，面部模糊和经典的增强技术。该模型实现了F1分数比基线增加约15%，从而显示了这些技术在增强神经网络用于分心驾驶员检测任务的能力方面的前景。
2020-06-24 cs.CV cs.CY cs.LG
Improved Techniques for the Conditional Generative Augmentation of Clinical Audio Data
Technical University Munich（慕尼黑工业大学）；Balgrist University Hospital, University of Zurich（苏黎世大学巴尔格里斯特大学医院）
本文针对临床音频数据稀缺问题，提出基于条件生成对抗网络并引入残差Squeeze and Excitation模块的增强方法，在样本质量和分类性能上均优于现有方法。
2022-11-05 cs.LG
Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model
Tübingen AI Center（蒂宾根人工智能中心）；University of Tübingen（蒂宾根大学）；Google DeepMind（谷歌DeepMind）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
本文研究任意预训练模型间通用知识迁移的可行性，发现标准知识蒸馏存在不足，并提出基于数据划分的通用扩展方法，可在几乎所有模型间实现无监督迁移并避免性能下降。
2024-02-26 cs.CV cs.LG
Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
因果图（CG）是数据分布背后的数据生成过程的知识的紧凑表示。当CG可用时，例如，从领域知识中，我们可以推断出数据分布中应该保持的条件独立（CI）关系。然而，如何将这些知识纳入预测建模并不简单。在这项工作中，我们提出了一个模型无关的数据增强方法，使我们能够利用先验知识的CI编码在CG监督机器学习。我们从理论上证明所提出的方法提供了一个超额的风险界，表明所提出的方法抑制过度拟合，降低了明显的复杂性的预测假设类。使用领域专家提供的CG的真实世界的数据，我们的实验表明，该方法是有效的，特别是在小数据制度，提高预测精度。
2021-08-17 cs.LG stat.ML
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google（谷歌机器人部门）；University of Toronto（多伦多大学）
本文提出DIAL方法，利用预训练视觉语言模型CLIP的语义理解能力，为大规模未标注机器人演示数据自动生成语言标签，使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
Language Agnostic Data-Driven Inverse Text Normalization
Meta Platforms, Inc.（Meta平台公司）
随着自动语音识别（ASR）模型的出现，迫切需要将口语形式的文本（从ASR）转换为书面形式。这种逆文本规范化（ITN）问题吸引了来自各个领域的研究人员的关注。最近，一些工作表明，数据驱动的ITN方法可以输出高质量的书面形式的文本。由于标注的口语-书面语数据集的稀缺性，对非英语数据驱动的ITN的研究非常有限。在这项工作中，我们提出了一个语言无关的数据驱动的ITN框架，以填补这一空白。具体来说，我们将数据增强与神经机器翻译的数据结合起来用于低资源语言。此外，我们设计了一个评估方法，语言无关的ITN模型时，只有英文数据。我们的实证评估表明，这种语言无关的建模方法是有效的低资源的语言，同时保持高资源的语言的性能。
2023-01-24 cs.CL cs.LG
Boosting Brain-to-Image Decoding with TRIBE v2 Data Augmentation
Meta AI
针对脑解码中标记数据稀缺的问题，提出利用预训练的fMRI响应模型TRIBE v2生成合成数据来增强小样本数据集，在两个数据集上实现最高68%的Top-10图像检索准确率提升，并发现纯合成数据训练的解码器在零样本设置中也能达到高于随机水平的性能。
2026-06-04 cs.AI cs.LG q-bio.NC
AASAE: Augmentation-Augmented Stochastic Autoencoders
Grid AI Labs（Grid人工智能实验室）；New York University（纽约大学）
最近的自监督学习方法可以分为两种范式：对比和非对比方法。它们的成功在很大程度上归功于数据增强管道，该管道生成单个输入的多个视图，这些视图保留了底层语义。在这项工作中，我们介绍了增强随机自动编码器（AASAE），另一种替代自监督学习，基于自动编码。我们从传统的变分自编码器（VAE）开始，通过替换KL发散正则化，这是不可知的输入域，数据增强，明确鼓励内部表示编码域特定的不变性和等变性。我们凭经验评估所提出的AASAE对图像分类，类似于最近的对比和非对比学习算法已被评估。我们的实验证实了数据增强作为KL发散正则化的替代的有效性。AASAE在CIFAR-10上的表现优于VAE 30%，在STL-10上为40%，在Imagenet上为45%。在CIFAR-10和STL-10上，AASAE的结果在很大程度上与自监督学习的最新算法相当。
2022-02-07 cs.LG
CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
数据增强是深度学习管道的关键元素，因为它在训练期间通知网络关于保持标签不变的输入数据的变换。然而，手动找到用于给定管道的适当的增强方法和参数是快速繁琐的。特别是，虽然直觉可以指导图像的决策，但对于更复杂类型的数据（如神经科学信号），增强策略的设计和选择仍然不清楚。此外，类相关的增强策略在文献中还没有被探索过，尽管它很直观：改变汽车图像的颜色不会改变要预测的对象类，但对橙色图像做同样的事情。本文研究了基于梯度的自动数据增强算法服从类明智的政策与指数更大的搜索空间。出于监督学习的应用程序，使用脑电信号的良好的增强政策大多是未知的，我们提出了一个新的可微松弛的问题。在类不可知的设置中，结果表明，我们的新放松导致最佳性能，比竞争的基于梯度的方法更快的训练，同时在类设置中也优于无梯度方法。这项工作还提出了新的可微增强操作相关的睡眠阶段分类。
2022-02-07 cs.LG
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA（英伟达）；Arizona State University（亚利桑那州立大学）；California Institute of Technology（加州理工学院）
数据增强是提高深度神经网络（DNN）鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如，AugMix探索了一组不同增强的随机组合，以增强更广泛的覆盖范围，而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机，我们提出了一个数据增强框架，称为AugMax，统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子，然后学习所选算子的对抗混合。作为一种更强大的数据增强形式，AugMax导致显著增强的输入分布，这使得模型训练更具挑战性。为了解决这个问题，我们进一步设计了一个被称为DuBIN（Dual-Batch-and-Instance Normalization）的解纠缠规范化模块，该模块可以解纠缠AugMax产生的实例特征异质性。实验表明，AugMax-DuBIN显著提高了分布外鲁棒性，在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability
University of Birmingham（伯明翰大学）
在本文中，我们实现和比较7个不同的数据增强策略的任务，自动评分的儿童的能力，了解别人的想法，感受和愿望（或“读心术”）。我们招募了领域内的专家来重新注释增强的样本，并确定每个策略在多大程度上保留了原始评级。我们还进行了多个实验，以衡量每种增强策略在多大程度上提高了自动评分系统的性能。为了确定自动系统的能力，以概括看不见的数据，我们创建UK-MIND-20 -一个新的语料库的儿童的表现测试的读心术，由10,320个问题，答案对。我们在MIND-CA语料库上获得了新的最先进的性能，将宏观F1分数提高了6分。结果表明，训练样本的数量和增强策略的质量都会影响系统的性能。任务特定的增强通常优于任务不可知的增强。基于向量的自动增强（GloVe，FastText）表现最差。我们发现，在MIND-CA上训练的系统可以很好地推广到UK-MIND-20。我们证明了数据增强策略也提高了看不见的数据的性能。
2021-06-03 cs.CL cs.LG
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而，密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止，蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力，并可以进一步微调，以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同，我们提供了一个通用的学习框架。我们的方法是模型不可知的，可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的，类似的基于LSTM的方法相比，我们在相同的计算约束下实现了更好的质量。与现有技术相比，我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG
CLIP-Mesh: Generating textured meshes from text using pretrained image-text models
Concordia University（康考迪亚大学）；Mila（米拉研究所）
我们提出了一种技术，zero-shot生成的三维模型，只使用一个目标文本提示。在没有任何3D监督的情况下，我们的方法使极限细分表面的控制形状及其纹理贴图和法线贴图变形，以获得与输入文本提示对应的3D资产，并且可以轻松地部署到游戏或建模应用程序中。我们只依赖于预先训练的CLIP模型，该模型将输入文本提示与我们3D模型的差异化渲染图像进行比较。虽然以前的工作主要集中在风格化或生成模型的训练，但我们直接对网格参数进行优化，以生成形状，纹理或两者兼而有之。为了约束优化以产生合理的网格和纹理，我们引入了一些使用图像增强的技术，并使用预先训练的先验知识，在给定文本嵌入的情况下生成CLIP图像嵌入。
2022-09-02 cs.CV cs.GR cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
STARS: Sensor-agnostic Transformer Architecture for Remote Sensing
PNNL（太平洋西北国家实验室）；Battelle（巴特尔公司）；U.S. Department of Energy（美国能源部）
本文提出传感器无关的光谱Transformer（STARS），通过通用光谱表示和自监督预训练，实现跨传感器光谱特征学习，为光谱基础模型奠定基础。
2024-11-08 cs.CV cs.LG eess.IV
Robustly Learning Monotone Generalized Linear Models via Data Augmentation
UW Madison（威斯康星大学麦迪逊分校）
本文提出首个多项式时间算法，通过递减高斯噪声注入的数据增强技术，实现对任意单调Lipschitz激活函数的广义线性模型稳健学习，达到常数因子近似，解决了该领域的开放问题。
2025-08-04 cs.LG math.OC math.ST
Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出 Deep Augmentation，一种将 dropout 或 PCA 应用于神经网络目标层的模态无关增强方法，发现其在深层结合 stop-gradient 时效果最佳，能有效缓解自监督学习中的层间共适应问题并超越传统输入级增强。
2025-05-30 cs.CL cs.CV cs.LG
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz（约翰·凯pler大学林茨分校）；Linz Institute of Technology（林茨技术研究所）
本文将图像领域的回旋镖采样引入音频领域，基于 Stable Audio Open 实现数据增强与乐器替换，验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
儿童的自动语音识别（ASR）一直是困难的，部分原因是数据稀缺的问题，特别是对于10岁的孩子。当数据稀缺时，模型可能会过拟合训练数据，因此良好的训练起点至关重要。最近，元学习被提出来学习不同语言的ASR任务的模型初始化（MI）。当模型适应于看不见的语言时，这种方法会带来良好的性能。然而，MI容易受到训练任务的过度拟合（学习者过度拟合）。也不知道MI是否推广到其他低资源任务。在本文中，我们验证了MI在儿童ASR中的有效性，并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习（MAML），我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面，我们提出了一种任务级增强方法，通过使用频率弯曲技术模拟新的年龄。详细的实验表明，任务增强对每个年龄段的10岁以上的言语的影响。其结果是，我们的方法实现了相对字错误率（WER）的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
