Scale-aware Automatic Augmentation for Object Detection
The Chinese University of Hong Kong（香港中文大学）；ByteDance AI Lab（字节跳动人工智能实验室）；SmartMore
我们提出了尺度感知AutoAug学习数据增强策略的目标检测。我们定义了一个新的尺度感知的搜索空间，其中图像和框级增强的目的是保持规模不变性。在这个搜索空间上，我们提出了一个新的搜索度量，称为帕累托尺度平衡，以促进高效率的搜索。在实验中，Scale-aware AutoAug对各种对象检测器（例如，RetinaNet，Faster R-CNN，Mask R-CNN和FCOS），甚至与强大的多尺度训练基线相比。我们搜索的增强策略可转移到目标检测之外的其他数据集和框级任务（例如，实例分割和关键点估计）以提高性能。搜索成本远低于以前的自动增强方法的目标检测。值得注意的是，我们搜索的策略具有有意义的模式，这直观地为人类数据增强设计提供了有价值的见解。代码和模型将在https://github.com/Jia-Research-Lab/SA-AutoAug上提供。
2021-03-31 cs.CV
Global Adaptation meets Local Generalization: Unsupervised Domain Adaptation for 3D Human Pose Estimation
University of Washington（华盛顿大学）；Zhejiang University（浙江大学）
针对跨数据集3D人体姿态估计中的域偏移问题，提出PoseDA框架，通过GPA对齐全局姿态位置并以对抗式LPA增强局部姿态多样性，在MPI-INF-3DHP上取得61.3 mm MPJPE。
2023-08-17 cs.CV
Object-Based Augmentation Improves Quality of Remote Sensing Semantic Segmentation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
今天，深度卷积神经网络（CNN）推动了大多数计算机视觉问题的极限，定义了趋势，并设定了最先进的结果。在目标检测和语义分割等遥感任务中，CNN达到了SotA的性能。然而，为了精确的性能，CNN需要高质量的训练数据。稀有天体和环境条件的变化强烈影响预测的稳定性和准确性。为了克服这些数据限制，通常考虑各种方法，包括数据增强技术。本研究的重点是基于对象的增强的开发和测试。所开发的增强技术的实际用途显示在遥感领域，是最需要的无效增强技术之一。我们提出了一种新的管道地理参考图像增强，使训练样本的数量显着增加。所提出的流水线被称为基于对象的增强（OBA），并利用对象的分割掩模，使用目标对象和各种无标签背景来产生新的逼真的训练场景。我们测试了六种不同的CNN架构的建筑物分割数据集上的方法，并表明所提出的方法有利于所有测试模型。我们还表明，进一步的增强策略优化可以改善结果。所提出的方法导致U-Net模型预测从0.78到0.83 F1分数的有意义的改进。
2022-11-16 cs.CV
Image Segmentation-based Unsupervised Multiple Objects Discovery
Université Paris-Saclay（巴黎萨克雷大学）；CEA List（法国原子能和替代能源委员会列表研究所）
无监督对象发现旨在定位图像中的对象，同时消除大多数基于深度学习的方法所需的对注释的依赖。为了解决这个问题，我们提出了一个完全无监督的，自底向上的方法，多个对象的发现。拟议的办法是一个两阶段框架。首先，利用自监督局部特征之间的图像内相似性分割对象部分的实例。第二步合并和过滤对象部分以形成完整的对象实例。后者由两个CNN模型执行，这些模型从整个数据集中捕获对象的语义信息。我们证明，我们的方法产生的伪标签提供了一个更好的精度召回权衡比现有的单一和多个对象的发现方法。特别是，我们提供了国家的最先进的无监督类不可知的目标检测和无监督图像分割的结果。
2022-12-20 cs.CV
Part-Aware Data Augmentation for 3D Object Detection in Point Cloud
Seoul National University（首尔大学）
数据增强对于提高图像识别任务的性能有很大的贡献，并且已经进行了大量的相关研究。然而，对3D点云数据的数据增强还没有太多的探索。3D标签比2D标签具有更复杂和丰富的结构信息，因此它可以实现更多样和有效的数据增强。在本文中，我们提出了部分感知的数据增强（PA-AUG），可以更好地利用丰富的信息的三维标签，以提高性能的三维对象检测器。PA-AUG将对象划分为多个分区，Stochemical对每个局部区域应用五种增强方法。它与现有的点云数据增强方法兼容，并且无论探测器的架构如何都可以通用。PA-AUG提高了最先进的3D对象检测器对所有类别KITTI数据集的性能，并具有将训练数据增加约2.5 $\times$的等效效果。我们还表明，PA-AUG不仅提高了给定数据集的性能，而且对损坏的数据具有鲁棒性。代码可在https://github.com/sky77764/pa-aug.pytorch上获得
2021-07-11 cs.CV
Scene-Aware Location Modeling for Data Augmentation in Automotive Object Detection
Qualcomm AI Research（高通人工智能研究）
针对自动驾驶目标检测的数据增强，提出场景感知位置模型预测物体合理放置位置，结合生成修补，显著提升增强性能，刷新两项检测任务的最优水平。
2025-04-23 cs.CV
Context-Aware Data Augmentation for LIDAR 3D Object Detection
对于三维目标检测而言，激光雷达点云标注是一个难点，因此数据增强是充分利用宝贵标注数据的重要模块。GT样本作为一种广泛使用的数据增强方法，通过在训练过程中向激光雷达帧中插入地面真值，有效地提高了检测性能。然而，这些样本往往被放置在不合理的区域，这会误导模型学习错误的目标和背景之间的上下文信息。为了解决这个问题，在本文中，我们提出了一个上下文感知的数据增强方法（CA-aug），它确保了合理的位置插入的对象，通过计算“有效空间”的激光雷达点云。CA-aug是轻量级的，与其他增强方法兼容。与GT采样和激光雷达中的类似方法相比，该方法具有更高的精度。我们还提出了一个深入的研究增强方法的范围视图为基础的（RV为基础的）模型，并发现CA-aug可以充分利用RV为基础的网络的潜力。对KITTI值分裂的实验表明，CA-aug可以使测试模型的mAP提高8%。
2022-11-20 cs.CV
Unsupervised Multi-object Segmentation Using Attention and Soft-argmax
我们引入了一种新的架构，用于无监督的以对象为中心的表示学习和多目标检测和分割，它使用一个投影等变注意力机制来预测场景中存在的对象的坐标，并将特征向量与每个对象相关联。Transformer编码器处理遮挡和冗余检测，卷积自动编码器负责背景重建。我们表明，这种架构显着优于复杂的合成基准的最先进的。
2022-08-31 cs.CV
Select-Mosaic: Data Augmentation Method for Dense Small Object Scenes
本文提出Select-Mosaic数据增强方法，通过细粒度区域选择策略改进Mosaic拼接，解决航空图像中密集小目标检测难题，显著提升模型准确性与稳定性。
2024-06-08 cs.CV
Bridging between Computer and Robot Vision through Data Augmentation: a Case Study on Object Recognition
尽管深度网络在视觉对象识别方面取得了令人印象深刻的进展，但机器人视觉仍然远未成为一个解决的问题。最成功的卷积架构是从ImageNet开始开发的，ImageNet是从Web下载的对象类别的大规模图像集合。这种图像与部署在不受约束的设置中的机器人的位置和具体的视觉体验非常不同。为了减少这两种视觉体验之间的差距，本文提出了一个简单而有效的数据增强层，缩放感兴趣的对象，并模拟机器人视觉系统的目标检测结果。该层可以与任何卷积深度架构一起使用，在三个不同的基准数据库上进行的实验中，对象识别性能提高了7%。一旦论文被接受，我们的机器人数据增强层将被公开。
2017-05-05 cs.CV
Mask Based Unsupervised Content Transfer
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
我们认为，在一个无监督的方式，两个域之间的翻译，其中一个包含一些额外的信息相比，其他的问题。所提出的方法将这些域的共同部分和单独部分分开，并且通过生成掩码，将底层网络的注意力集中到所需的增强上，而不会浪费地重建整个目标。这使得最先进的质量和内容翻译的多样性，通过广泛的定量和定性评估证明。我们的方法还能够添加不同的指南图像和域的单独内容，以及删除现有的单独内容。此外，我们的方法使弱监督的语义分割的每个域的单独部分，其中只提供类标签。我们的代码可在https://github.com/rmokady/mbu-content-tansfer上公开获取。
2020-01-13 cs.CV
Semi-Supervised 3D Object Detection with Channel Augmentation using Transformation Equivariance
KAIST（韩国科学技术院）；Imperial College London（伦敦帝国学院）；LG Electronics（LG电子）
提出一种基于变换等变检测器（TED）的师生框架，利用多通道增强进行3D半监督目标检测，在KITTI数据集上显著超越SOTA模型。
2024-09-22 cs.CV
Class balanced underwater object detection dataset generated by class-wise style augmentation
University of Leicester（莱斯特大学）；Ocean University of China（中国海洋大学）
水下目标检测技术对于水下各种场景的应用具有重要意义。然而，类不平衡问题仍然是当前水下目标检测算法未解决的瓶颈。这就导致了不同类别间的检测精度差异很大，训练数据较多的优势类别检测精度较高，而训练数据较少的少数类别检测精度较低。在本文中，我们提出了一种新的类风格增强（CWSA）算法，用于从公开竞赛水下数据集URPC 2018中生成类平衡的水下数据集Balance18。CWSA是一种新的数据增强技术，它通过为少数类生成各种颜色、纹理和对比度来增强少数类的训练数据。与以往的数据增强算法如翻转、裁剪、旋转等相比，CWSA算法能够生成具有多种颜色失真和模糊效果的类平衡水下数据集。
2021-01-20 cs.CV
Unsupervised learning of foreground object detection
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University "Politehnica" of Bucharest（布加勒斯特理工大学）
无监督学习是当今计算机视觉中最困难的挑战之一。该任务具有巨大的实用价值，在人工智能和新兴技术中有许多应用，因为可以以相对较低的成本收集大量未标记的视频。在本文中，我们解决了无监督学习问题的背景下，检测的主要前景物体在单一的图像。我们训练一个学生深度网络来预测教师路径的输出，该路径在视频或大型图像集中执行无监督对象发现。我们的方法是不同的无监督对象发现的方法。我们在训练时移动无监督学习阶段，然后在测试时，我们沿着学生路径应用标准的前馈处理。这种策略的好处是在训练过程中增加泛化的可能性，同时在测试中保持快速。我们的无监督学习算法可以运行几代学生-教师培训。因此，在第一代中训练的一组学生网络共同创建了下一代的老师。在实验中，我们的方法在三个当前的视频对象发现，无监督图像分割和显着性检测数据集上取得了最好的结果。在测试时，所提出的系统是快速的，是一个到两个数量级的速度比公布的无监督的方法。
2018-08-14 cs.CV
SemAug: Semantically Meaningful Image Augmentations for Object Detection Through Language Grounding
针对现有图像增强语义性不足的问题，提出SemAug方法，通过语言接地确定语义适配的新增物体及放置位置并嵌入图像，可引入训练集外的物体，在Pascal VOC和COCO上分别实现约2-4%、1-2%的mAP提升且开销极小。
2022-08-15 cs.CV
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snap Inc.（Snap公司）
概念转移是医学图像分割等自然任务中普遍存在的问题，其中样本通常来自不同的子群体，特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少（如果有的话）分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”（即，在我们的上下文中是标签稀疏的）样本。为了更有效地利用标签稀疏样本的数据特征，我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处，权重将标签密集样本分配给监督损失，将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证，通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明，AdaWAC不仅提高了分割性能和样本效率，但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Exploring 2D Data Augmentation for 3D Monocular Object Detection
NIT Tiruchirappalli（国立特里奇拉帕利理工学院）；SASTRA University（萨斯特拉大学）；Navya（Navya公司）；Valeo（法雷奥）
数据增强是基于CNN的图像识别任务（如目标检测）的关键组成部分。然而，对于3D目标检测的研究相对较少。许多标准的2D目标检测数据增强技术没有扩展到3D框。扩展这些数据增强用于3D目标检测需要适应输入场景的3D几何形状和合成新的视点。这需要场景的准确深度信息，而这可能并不总是可用的。在本文中，我们评估现有的二维数据增强，并提出了两个新的增强单目三维检测，而不需要新的视图合成。由于训练时间较短，我们首先在RTM 3D检测模型上评估这些增强。在KITTI汽车检测数据集的基线上，我们在汽车的3D AP（@IoU=0.7）中获得了4%的一致改进，行人和骑自行车的人的3D AP（@IoU=0.25）得分为1.8%。我们还证明了严格的评估的mAP分数重新加权他们考虑到类的不平衡KITTI验证数据集。
2021-04-21 cs.CV cs.RO
Learning Data Augmentation Strategies for Object Detection
Google Research（谷歌研究院）
数据增强是训练深度学习模型的关键组成部分。虽然数据增强已被证明可以显着改善图像分类，但其潜力尚未被彻底研究用于目标检测。考虑到为目标检测注释图像的额外成本，数据增强对于该计算机视觉任务可能甚至更重要。在这项工作中，我们研究了数据增强对目标检测的影响。我们首先证明，从图像分类借用的数据增强操作可能有助于训练检测模型，但改进是有限的。因此，我们研究如何学习，专门的数据增强政策提高检测模型的泛化性能。重要的是，这些增强策略只影响训练，并在评估期间保持训练模型不变。COCO数据集上的实验表明，优化的数据增强策略将检测精度提高了+2.3 mAP以上，并允许单个推理模型达到50.7 mAP的最新精度。重要的是，在COCO上找到的最佳策略可以不加改变地转移到其他检测数据集和模型，以提高预测准确性。例如，COCO确定的最佳增强策略将PASCAL-VOC的强基线提高了+2.7 mAP。我们的研究结果还表明，学习增强策略优于最先进的架构正则化方法的目标检测，即使在考虑强基线。使用所学策略进行培训的代码可在https://github.com/tensorflow/tpu/tree/master/models/official/detection上在线获取
2019-06-26 cs.CV cs.LG
What makes a good data augmentation for few-shot unsupervised image anomaly detection?
SUSTech（南方科技大学）；University of Surrey（萨里大学）；University of Warwick（华威大学）；Bielefeld University（比勒费尔德大学）
本文通过实验系统评估多种数据增强对少样本无监督工业图像异常检测算法的影响，发现具体增强方式影响有限且组合增强未必提升准确率，并据此给出选择指导。
2023-04-21 cs.CV
Adversarial Feature Augmentation for Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia（意大利理工学院）；Stanford University（斯坦福大学）；Università di Verona（维罗纳大学）
最近的工作表明，生成对抗网络（GANs）可以成功地应用于无监督领域自适应，其中，给定标记的源数据集和未标记的目标数据集，目标是为目标样本训练强大的分类器。特别是，它表明，一个GAN目标函数可以用来学习目标功能与源的不可区分的。在这项工作中，我们通过（i）强制学习的特征提取器是域不变的，以及（ii）通过特征空间中的数据增强来训练它，即执行特征增强来扩展这个框架。虽然图像空间中的数据增强是深度学习中一种成熟的技术，但特征增强尚未受到同等程度的关注。我们通过对源特征进行GAN极大极小博弈训练的特征生成器来完成它。结果表明，无论是强制执行域不变性和执行功能增强导致卓越的或可比的性能，以国家的最先进的结果，在几个无监督的领域自适应基准。
2018-05-04 cs.CV
Data Augmentation For Small Object using Fast AutoAugment
AI R&D Center of Lululab Inc.（Lululab Inc.人工智能研发中心）
针对小目标检测性能不足的问题，提出利用 Fast AutoAugment 快速搜索最优数据增强策略，在 DOTA 数据集上实现 20% 的性能提升。
2025-06-10 cs.CV cs.LG
Quantifying Data Augmentation for LiDAR based 3D Object Detection
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在这项工作中，我们揭示了不同的数据增强技术通常用于光探测和测距（LiDAR）的三维目标检测。对于我们的大部分实验，我们利用了众所周知的PointPillars管道和完善的KITTI数据集。我们研究了各种全球和本地增强技术，其中全球增强技术应用于整个点云的场景和本地增强技术只适用于属于场景中的单个对象的点。我们的研究结果表明，这两种类型的数据增强都可以提高性能，但事实也证明，某些增强技术，例如单个对象翻译，可能会适得其反，并可能损害整体性能。我们表明，这些发现转移和推广以及其他国家的最先进的三维目标检测方法和具有挑战性的STF数据集。在KITTI数据集上，我们可以获得高达1.5%的增益，在STF数据集上，在中型汽车类的3D mAP中，我们可以获得高达1.7%的增益。
2022-07-29 cs.CV cs.LG eess.IV
A Unified Mixture-View Framework for Unsupervised Representation Learning
Meituan（美团）；The Chinese University of Hong Kong（香港中文大学）
最近的无监督对比表示学习遵循单实例多视图（SIM）范例，其中通常使用图像内数据增强来构造正对。在本文中，我们提出了一种有效的方法称为超越单实例多视图（BSIM）。具体来说，我们通过测量两个随机采样的实例及其混合物（即假阳性对）之间的联合相似性来实现更准确的实例鉴别能力。我们认为，学习联合相似性有助于提高性能时，编码的功能更均匀地分布在潜在的空间。我们将其应用于无监督对比表示学习的正交改进，包括当前优秀的方法Simplified，MoCo和BYOL。我们在许多下游基准上评估了我们学习的表示，如ImageNet-1 k和PASCAL VOC 2007上的线性分类，MS COCO 2017和VOC上的目标检测等。
2022-10-10 cs.CV cs.LG
Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding
Global Big Data Technologies Centre（全球大数据技术中心）；University of Technology Sydney（悉尼科技大学）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
3D点云上的无监督学习经历了快速的发展，特别是由于基于数据增强的对比方法。然而，数据增强并不理想，因为它需要仔细选择要执行的增强类型，这反过来会影响网络在自训练期间学习的几何和语义信息。为了克服这个问题，我们提出了一种无增广的无监督点云方法，通过软聚类来学习可转移的点级特征，称为SoftClu。SoftClu假设属于聚类的点在几何空间和特征空间中都应该彼此靠近。这与典型的对比学习不同，后者为整个点云及其增强版本构建类似的表示。我们利用点与其集群的联系作为代理，通过伪标签预测任务进行自我训练。在这些伪标签引起点云均分的约束下，我们将SoftClu转换为最优运输问题。我们制定了一个无监督的损失，以最大限度地减少伪标签和预测标签之间的标准交叉熵。下游应用程序的实验，如3D对象分类，部分分割，和语义分割，显示了我们的框架在性能优于国家的最先进的技术的有效性。
2022-10-06 cs.CV
ADA: A Game-Theoretic Perspective on Data Augmentation for Object Detection
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Carnegie Mellon University（卡内基梅隆大学）
使用地面实况数据的随机扰动，例如边界框的随机平移或缩放，是用于数据增强的常见启发式算法，其已被证明可以防止过拟合并提高泛化。由于数据增强的设计在很大程度上以报告的最佳做法为指导，因此很难理解这些设计选择是否最佳。为了提供一个更有原则的观点，我们开发了一个博弈论的解释数据增强的背景下，目标检测。我们的目标是找到地面真实数据的最佳对抗性扰动（即，最坏情况扰动），其迫使对象限界框预测器从扰动示例的最难分布中学习，以获得更好的测试时性能。我们建立了博弈论的解决方案，纳什均衡，提供了一个最佳的预测和最佳的数据增强分布。我们表明，我们训练预测器的对抗方法可以显着提高目标检测任务的测试时间性能。在ImageNet目标检测任务中，与性能最好的数据增强方法相比，我们的对抗方法将性能提高了16\%以上
2017-12-12 cs.AI cs.CV cs.GT
Background Mixup Data Augmentation for Hand and Object-in-Contact Detection
The University of Tokyo（东京大学）
检测每个视频帧中人手和接触物体的位置（手-目标检测）对于从视频中了解人类活动至关重要。为了训练对象检测器，一种称为Mixup的方法，其覆盖两个训练图像以减轻数据偏差，已被经验证明对于数据增强是有效的。然而，在手-目标检测中，混合两个手操作图像产生非预期的偏差，例如，手和物体集中在特定区域中降低了手-物体检测器识别物体边界的能力。我们提出了一种称为背景混淆的数据增强方法，该方法利用数据混合正则化，同时减少手目标检测中的意外影响。我们将目标训练图像与从外部图像源提取的没有手和接触对象的背景图像混合，而不是混合两个图像，其中手和接触对象出现，并使用混合图像来训练检测器。实验结果表明，该方法在监督学习和半监督学习环境下都能有效地减少误报，提高手部目标检测的性能。
2022-03-01 cs.AI cs.CV cs.LG
MOVE: Unsupervised Movable Object Segmentation and Detection
University of Bern（伯尔尼大学）
我们介绍了MOVE，一种新的方法来分割对象，没有任何形式的监督。MOVE利用前景对象可以相对于其初始位置局部移动并产生逼真（未失真）的新图像的事实。这个属性使我们能够在没有注释的图像数据集上训练分割模型，并在几个评估数据集上实现最先进的（SotA）性能，用于无监督的显著目标检测和分割。在无监督的单对象发现中，MOVE比SotA平均提高了7.2%的CorLoc，在无监督的类无关目标检测中，它平均提高了53%的相对AP。我们的方法建立在自监督特征（例如来自DINO或MAE），修复网络（基于掩码自编码器）和对抗训练的基础上。
2022-10-20 cs.AI cs.CV cs.LG
PAC-GAN: An Effective Pose Augmentation Scheme for Unsupervised Cross-View Person Re-identification
Central South University（中南大学）
人物再识别（person Re-Id）的目的是检索由不相交和不重叠的摄像机捕获的同一个人的行人图像。近年来，许多研究者开始关注这一热点问题，并提出了基于深度学习的方法来提高有监督或无监督的识别率。然而，两个不可忽视的局限性：首先，与其他图像检索基准相比，现有的人Re-Id数据集的大小远远不能满足要求，无法为深度模型的训练提供足够的行人样本;其次，现有数据集中的样本没有足够的人体运动或姿势覆盖，无法为学习提供更多的先验知识。在本文中，我们介绍了一种新的无监督的姿态增强跨视图的人Re-ID计划称为PAC-GAN，以克服这些限制。本文首先给出了交叉视角姿态增强的形式化定义，然后提出了基于条件生成对抗网络（CGAN）的PAC-GAN框架，该框架用于提高无监督交叉视角人Re-Id的性能。PAC-GAN中的姿态生成模型CPG-Net是从原始图像和骨架样本中生成足够数量的姿态丰富样本。通过将合成的姿势丰富的样本与原始样本相结合来产生姿势增强数据集，该数据集被馈送到名为Cross-GAN的跨视图人Re-Id模型中。此外，我们在CPG-Net中使用权重共享策略来提高新生成样本的质量。据我们所知，我们是第一次尝试，以提高无监督的跨视图的人Re-Id的姿势增强，广泛的实验结果表明，该计划可以打击国家的最先进的。
2019-06-05 cs.CV
Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation
School of Informatics, The University of Edinburgh（信息学院）；Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）
针对科学观测数据难以标注的问题，提出通过扰动网络权重而非数据生成对比样本，在雷达流星观测上使用SimCLR管道验证性能提升。
2026-06-05 cs.CV
A Closer Look at Data Augmentation Strategies for Finetuning-Based Low/Few-Shot Object Detection
Kingston University（金斯顿大学）；MetaMind Innovations P.C.（MetaMind创新有限公司）；University of Western Macedonia（西马其顿大学）；Sidroco Holdings Ltd.（锡德罗科控股有限公司）
本文实证研究了低/少样本目标检测中数据增强策略的性能与能源效率，发现性能提升常被能耗增加抵消，需开发更节能策略。
2024-08-20 cs.AI cs.CV cs.LG
Disentanglement-based Cross-Domain Feature Augmentation for Effective Unsupervised Domain Adaptive Person Re-identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
无监督域自适应（UDA）人物再识别（ReID）的目的是将已标记的源域的知识转移到未标记的目标域进行人物匹配。一个挑战是如何生成具有可靠标签的目标域样本用于训练。为了解决这个问题，我们提出了一种基于解纠缠的跨域特征增强（DCDFA）策略，其中增强的特征很好地表征了目标和源域数据分布，同时继承了可靠的身份标签。特别地，我们将每个样本特征分解为鲁棒的域不变/共享特征和域特定特征，并执行跨域特征重组以增强训练中使用的样本的多样性，并限制跨域ReID损失和域分类损失。因此，基于域不变特征（其使得能够可靠地继承身份）和来自域特定特征（其使得能够近似真实分布）的增强而获得的每个重组特征是“理想的”增强。大量的实验结果表明，我们的方法的有效性，达到了国家的最先进的性能。
2021-03-25 cs.CV
USegMix: Unsupervised Segment Mix for Efficient Data Augmentation in Pathology Images
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
USegMix是一种无监督分割混合的数据增强方法，利用超像素和SAM构建片段池，并通过扩散模型融合生成多样病理图像，提升结直肠癌和前列腺癌分类性能。
2025-02-22 cs.CV
Diversity Helps: Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
少样本学习是指在只有少量训练样本的情况下学习新的概念，近年来得到了广泛的研究。然而，目前的大多数作品严重依赖于一个大规模的标记辅助集训练他们的模型在一个episodic训练范式。这种监督设置基本上限制了少样本学习算法的广泛使用。相反，在本文中，我们开发了一种新的框架，称为无监督的少样本学习via分布偏移-Based Data Augmentation（ULDA），它在使用数据增强时关注每个构造的借口Few-Shot任务内部的分布多样性。重要的是，我们强调了分布多样性在基于增强的借口Few-Shot任务中的价值和重要性，这可以有效地缓解过拟合问题，使Few-Shot模型学习更鲁棒的特征表示。在ULDA中，我们系统地研究了不同增强技术的效果，并提出在每个Few-Shot任务中，通过增强这两个集合的差异（即，分布偏移）。通过这种方式，即使结合简单的增强技术（例如，随机裁剪、颜色抖动或旋转），我们的ULDA可以产生显著的改进。在实验中，通过ULDA学习的Few-Shot模型可以实现卓越的泛化性能，并在Omniglot和miniImageNet上的各种已建立的少样本学习任务中获得最先进的结果。源代码可以在https://github.com/WonderSeven/ULDA上找到。
2020-09-17 cs.CV
3D Hierarchical Refinement and Augmentation for Unsupervised Learning of Depth and Pose from Monocular Video
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
深度和自我运动估计对于自主机器人和自主驾驶的定位和导航至关重要。最近的研究使得从未标记的单目视频中学习每个像素的深度和自我运动成为可能。提出了一种新的无监督训练框架，使用显式3D几何进行3D分层细化和增强。在这个框架中，深度和姿态估计是分层和相互耦合，以细化估计的姿态逐层。提出中间视图图像，并通过利用估计的深度和粗略姿态扭曲图像中的像素来合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残余姿态变换以细化粗略姿态。本文以可微的方式实现迭代求精，使整个框架得到一致优化。同时，提出了一种新的图像增强方法，通过合成一个新的视图图像来进行姿态估计，该方法创造性地在3D空间中对姿态进行了增强，但得到了一个新的增强的2D图像。KITTI上的实验表明，我们的深度估计达到了最先进的性能，甚至超过了最近的方法，利用其他辅助任务。我们的视觉里程计优于所有最近的无监督单目学习的方法，并实现竞争力的性能，以几何为基础的方法，ORB-SLAM 2与后端优化。
2022-06-08 cs.CV
Learnable Data Augmentation for One-Shot Unsupervised Domain Adaptation
Italian Institute of Technology（意大利理工学院）；University of Verona（维罗纳大学）；University of Genova（热那亚大学）
针对仅单个未标记目标样本的单样本无监督域适应难题，提出LearnAug-UDA方法，通过带感知损失和风格迁移的编解码架构学习增强源数据，在DomainNet和VisDA基准上达SOTA性能。
2023-10-03 cs.CV
Augmentation-Interpolative AutoEncoders for Unsupervised Few-Shot Image Generation
Cornell University（康奈尔大学）
我们的目标是建立图像生成模型，从几个例子推广到新领域。为此，我们首先研究了经典图像生成器的泛化特性，并发现自动编码器可以很好地泛化到新的领域，即使在高度约束的数据上训练也是如此。我们利用这一见解，产生一个强大的，无监督的Few-Shot图像生成算法，并介绍了一种新的训练过程的基础上恢复图像的数据增强。我们的增强插值自动编码器仅从少数参考图像合成新颖物体的逼真图像，并且优于先前的插值模型和监督的Few-Shot图像生成器。我们的程序是简单和轻量级的，广泛的推广，并在培训过程中不需要类别标签或其他监督。
2020-11-25 cs.CV cs.LG
Adversarial Examples can be Effective Data Augmentation for Unsupervised Machine Learning
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
引起回避预测的对抗性示例被广泛用于评估和提高机器学习模型的鲁棒性。然而，目前的研究集中在监督学习任务，依赖于地面实况数据标签，有针对性的目标，或来自训练分类器的监督。在本文中，我们提出了一个为无监督模型生成对抗性示例的框架，并展示了数据增强的新应用。我们的框架利用互信息神经估计器作为信息理论相似性度量，在没有监督的情况下生成对抗性示例。我们提出了一种新的MinMax算法，具有可证明的收敛保证，可有效生成无监督对抗性示例。我们的框架也可以扩展到监督对抗的例子。当使用无监督对抗性示例作为模型再训练的简单插件数据增强工具时，在不同的无监督任务和数据集上都能观察到显著的改进，包括数据重建、表示学习和对比学习。我们的研究结果显示了新的方法和相当大的优势，在研究和改进无监督机器学习通过对抗性的例子。
2021-12-08 cs.CV cs.LG
Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery
University of Michigan（密歇根大学）；Duke University（杜克大学）；University of Montana（蒙大拿大学）
本文提出随机直方图匹配（RHM）作为一种简单高效的无监督训练增强方法，用于缓解俯视影像中的视觉域偏移问题，在建筑物分割任务上以更低复杂度取得与最先进无监督域适应方法相当或更优的性能。
2023-08-11 cs.CV
Learning Invariance from Generated Variance for Unsupervised Person Re-identification
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；European Systems Integration（欧洲系统集成公司）
本文主要研究人的再识别（ReID）中的无监督表示学习。最近的自监督对比学习方法通过最大化同一图像的两个增强视图之间的表示相似性来学习不变性。然而，传统的数据增强可能会带来不希望的身份特征失真，这在身份敏感的ReID任务中并不总是有利的。在本文中，我们提出用生成对抗网络（GAN）取代传统的数据增强，该网络的目标是生成用于对比学习的增强视图。提出了一种三维网格引导的人物图像生成器，将人物图像分解为身份相关和身份无关的特征。与以前基于GAN的ReID方法只在与id无关的空间（姿势和相机风格）中工作不同，我们对与id无关和与id相关的特征进行基于GAN的增强。我们进一步提出了具体的对比损失，以帮助我们的网络学习不变性的身份无关和身份相关的扩增。通过联合训练生成模块和对比模块，我们的方法在主流大规模基准测试中实现了新的最先进的无监督人员ReID性能。
2023-01-02 cs.CV
AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation
Stanford University（斯坦福大学）
迄今为止，人工智能的大部分成就都是通过监督学习完成的，监督学习需要大量带注释的训练数据，因此需要花费大量的人力进行标注。无监督学习是克服这些困难的有效解决方案之一。在我们的工作中，我们提出了AugNet，这是一种新的深度学习训练范式，可以从一组未标记的图片中学习图像特征。我们开发了一种方法来构建图片之间的相似性作为嵌入空间中的距离度量，通过利用样本的增强版本之间的相互关联。实验结果表明，该方法能够在低维空间中表示图像，并在图像分类和图像相似性比较等下游任务中表现出较好的性能。具体来说，我们在STL 10和CIFAR 100数据集上分别实现了超过60%和27%的准确率。此外，与许多基于深度学习的图像检索算法不同，我们的方法不需要访问外部注释数据集来训练特征提取器，但仍然显示出相当甚至更好的特征表示能力和易于使用的特性。在我们的评估中，该方法优于所有国家的最先进的图像检索算法在一些域外图像数据集。模型实现的代码可以在https://github.com/chenmingxiang110/AugNet上获得。
2021-06-11 cs.CV
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Target-driven One-Shot Unsupervised Domain Adaptation
Italian Institute of Technology（意大利理工学院）；University of Genoa（热那亚大学）；University of Verona（维罗纳大学）
针对仅含一个无标签目标样本的OSUDA问题，提出TOS-UDA框架，以目标风格引导可学习增强并联合风格对齐，在Digits和DomainNet上取得领先或可比性能。
2023-07-17 cs.CV
Self-training with progressive augmentation for unsupervised cross-domain person re-identification
Tongji University（同济大学）；The University of Adelaide（阿德莱德大学）
人员再识别（Re-ID）通过深度学习和大量带标签的训练数据取得了很大的进步。然而，将在标记数据的源域中训练的模型适应于仅可用的未标记数据的目标域仍然是一项具有挑战性的任务。在这项工作中，我们开发了一种具有渐进增强框架（PAST）的自训练方法，以逐步提高目标数据集上的模型性能。特别是，我们的PAST框架包括两个阶段，即保守阶段和促进阶段。保守阶段利用基于三元组的损失函数捕获目标域数据点的局部结构，从而改进特征表示。提升阶段通过在模型的最后一层添加一个可变的分类层来不断优化网络，从而能够使用有关数据分布的全局信息。重要的是，我们提出了一种新的自我训练策略，通过交替采用保守和促进阶段来逐步增强模型的能力。此外，为了提高所选三重样本的可靠性，我们在保守阶段引入了基于排序的三重损失，这是一个基于数据对之间的相似性的无标签目标函数。实验表明，该方法在无监督跨域环境下达到了最佳的人物身份识别效果。代码可在：https://tinyurl.com/PASTReID
2019-07-31 cs.CV
Self-Ensembling with GAN-based Data Augmentation for Domain Adaptation in Semantic Segmentation
KAIST（韩国科学技术院）
基于深度学习的语义分割方法具有固有的局限性，即训练模型需要大量具有像素级注释的数据。为了解决这个具有挑战性的问题，许多研究人员给予注意的无监督领域自适应语义分割。无监督的领域自适应旨在使在源领域训练的模型适应目标领域。本文介绍了一种自集成技术，它是分类中领域自适应的成功方法之一。然而，将自集成应用于语义分割是非常困难的，因为在自集成中使用的大量调整的手动数据增强对于减少语义分割中的大的域间隙是无用的。为了克服这一限制，我们提出了一个新的框架，由两个组件，这是互补的。首先，我们提出了一种基于生成对抗网络（GANs）的数据增强方法，该方法计算效率高，有效地促进了域对齐。给定这些增强的图像，我们应用自集成来增强分割网络在目标域上的性能。所提出的方法优于国家的最先进的语义分割方法在无监督的领域自适应基准。
2019-09-02 cs.CV
Shuffle Augmentation of Features from Unlabeled Data for Unsupervised Domain Adaptation
Xpeng motors（小鹏汽车）；Nanyang Technological University（南洋理工大学）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
无监督领域自适应（UDA）是迁移学习的一个分支，在目标样本的标签不可用的情况下，近年来在对抗训练模型的帮助下得到了广泛的研究和发展。虽然现有的UDA算法能够引导神经网络提取可转移的和有区别的特征，但分类器仅仅是在标记的源数据的监督下训练的。由于源域和目标域之间不可避免的差异，分类器很难知道目标分类边界。在本文中，洗牌增强功能（SAF），一种新的UDA框架，提出了解决这个问题，通过提供监督信号的分类器从目标特征表示。SAF从目标样本中学习，自适应地提取类别感知的目标特征，并隐式引导分类器找到全面的类别边界。大量实验表明，SAF模块可以集成到任何现有的对抗UDA模型，以实现性能改进。
2022-01-28 cs.CV cs.LG
UTA-Sign: Unsupervised Thermal Video Augmentation via Event-Assisted Traffic Signage Sketching
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Deparment of Automation, Tsinghua University（清华大学自动化系）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
针对弱光下热成像难以辨识相似材质交通标识的问题，提出无监督融合事件信号的 UTA-Sign 双重增强框架，实现稳定标识表示并提升检测精度。
2025-08-28 cs.CV
Unsupervised Multi-label Dataset Generation from Web Data
Vilynx Inc.（Vilynx公司）
本文提出了一个系统，以无监督的方式从Web数据中生成多标签数据集。为了实现这一目标，这项工作包括两个主要贡献，即：a）从Web数据生成低噪声无监督单标签数据集，以及b）在这样的数据集中增加标签（从单标签到多标签）。单标签数据集的生成使用无监督降噪阶段（使用锚点进行聚类和选择聚类），获得85%的正确标记图像。然后执行无监督标签增强过程，以使用类别激活图和与每个类别相关联的不确定性将新标签分配给数据集中的图像。将该过程应用于本文生成的数据集和公共数据集（Places365），每个数据集中分别实现了9.5%和27%的额外标签，因此证明了所提出的系统可以鲁棒地丰富初始数据集。
2020-05-12 cs.CV
Data Augmentation-Based Unsupervised Domain Adaptation In Medical Imaging
Pioneer Centre for AI（先锋人工智能中心）；University of Copenhagen（哥本哈根大学）
本文提出一种基于MRI特定数据增强的无监督域适应方法，用于提升脑MRI分割在不同数据域下的鲁棒性，并通过多数据集、多模态和多任务实验证明其在多数情况下优于现有最先进方法。
2023-08-08 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
生成真实图像标签的成本很高，并且真实图像和模拟图像之间存在域差距，因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外，用流图增强RGB在简单的语义分割中具有改进的性能，并且跨域保留几何形状。因此，通过用密集光流图增强图像，可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Speed Co-Augmentation for Unsupervised Audio-Visual Pre-training
The Chinese University of Hong Kong（香港中文大学）；University of Birmingham（伯明翰大学）；Fudan University（复旦大学）；Dyson Robot Learning Lab（戴森机器人学习实验室）；Tencent AI Lab（腾讯人工智能实验室）；The University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）
本文提出速度协同增强方法，通过随机改变音视频播放速度并结合SoftInfoNCE损失建模增强对的部分关系，显著提升无监督音视频预训练表示质量。
2023-09-25 cs.CV cs.MM cs.SD
An Analysis of Unsupervised Pre-training in Light of Recent Advances
Beckman Institute for Advanced Science and Technology（贝克曼高等科学技术研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
卷积神经网络在对象识别方面表现良好，这是因为最近的一些进步：校正线性单元（ReLU），数据增强，dropout和大型标记数据集。无监督数据已被提出作为提高性能的另一种方法。不幸的是，最先进的方法并没有使用无监督的预训练，这导致了以下问题：鉴于最近的进步，无监督的预训练仍然有用吗？如果是，何时？我们分三个部分回答这个问题：我们1）开发一种结合ReLU和最近的无监督正则化技术的无监督方法，2）分析无监督预训练与CIFAR-10上的数据增强和辍学相比的好处，同时改变无监督与监督样本的比例，3）在STL-10上验证我们的发现。我们发现，正如预期的那样，无监督预训练在无监督样本与有监督样本的比率较高时会有所帮助，而令人惊讶的是，当比率较低时会受到伤害。我们还使用无监督预训练和额外的颜色增强，以在STL-10上实现接近最先进的性能。
2015-04-10 cs.CV cs.LG cs.NE
Data Augmentation with norm-VAE for Unsupervised Domain Adaptation
Durham University（杜伦大学）；University of Essex（埃塞克斯大学）
从一个新的角度研究了图像分类中的无监督领域自适应问题。与大多数现有的对齐数据分布或学习域不变特征的方法相比，我们直接在高维均匀特征空间内学习统一的分类器，而无需显式的领域自适应。为此，我们采用有效的选择性伪标记（SPL）技术，以利用目标域中的未标记的样品。令人惊讶的是，计算简单的分类器可以很好地处理源域和目标域之间的数据分布差异（例如，浅层多层感知器）在原始特征空间中训练。此外，我们提出了一种新的生成模型norm-VAE生成合成特征的目标域作为一个数据增强策略，以加强分类器的训练。在几个基准数据集上的实验结果表明，伪标签策略本身可以导致与许多最先进的方法相当的性能，而使用norm-VAE进行特征增强可以进一步提高性能在大多数情况下。因此，我们提出的方法（即naive-SPL和norm-VAE-SPL）可以实现新的最先进的性能，在Digits-Caltech和ImageCLEF-DA数据集上的平均准确率分别为93.4%和90.4%，在Digits，Digit 31和Digit-Home数据集上的性能相当，平均准确率分别为97.2%，87.6%和67.9%。
2020-12-01 cs.CV cs.LG
Unsupervised Cross-Modality Domain Adaptation for Segmenting Vestibular Schwannoma and Cochlea with Data Augmentation and Model Ensemble
Vanderbilt University（范德堡大学）
磁共振成像（MRI）被广泛用于量化前庭神经鞘瘤和耳蜗。最近，深度学习方法在分割这些结构方面表现出了最先进的性能。然而，训练分割模型可能需要在目标域中手动标记，这是昂贵且耗时的。为了克服这个问题，域自适应是一种有效的方法，利用信息从源域获得准确的分割，而不需要手动标签在目标域。在本文中，我们提出了一个无监督的学习框架分割VS和耳蜗。我们的框架利用来自对比增强的T1加权（ceT 1-w）MRI及其标签的信息，并在目标域中没有任何标签的情况下为T2加权MRI生成分割。我们首先应用生成器来实现图像到图像的翻译。接下来，我们从不同模型的集合中集成输出，以获得最终的分割。为了应对来自不同站点/扫描仪的MRI，我们在训练期间应用了各种“在线”增强，以更好地捕获几何变化以及图像外观和质量的变化。我们的方法很容易构建，并产生有前途的分割，在验证集中，VS和耳蜗的平均Dice得分分别为0.7930和0.7432。
2022-08-24 cs.CV eess.IV
DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation
Westlake University（西湖大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab, Zhejiang Province（浙江省湖畔实验室）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心人工智能实验室）
本文提出DiffAug，一种利用条件扩散模型生成正样本的无监督对比学习增强方法，无需领域知识，在DNA、视觉和生物特征数据集上优于现有方法。
2024-05-25 cs.CE cs.CV cs.LG
