Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
构建数据高效且能够处理稀有对象类别的实例分割模型是计算机视觉中的一个重要挑战。利用数据增强是应对这一挑战的一个有希望的方向。在这里,我们对实例分割的复制-粘贴增强([13,12])进行了系统的研究,其中我们将对象随机粘贴到图像上。先前关于复制粘贴的研究依赖于对粘贴对象的周围视觉上下文进行建模。然而,我们发现随机粘贴对象的简单机制已经足够好了,并且可以在强大的基线之上提供坚实的收益。此外,我们还展示了复制粘贴与半监督方法的相加性,这些方法通过伪标签(例如自训练)利用额外的数据。在COCO实例分割上,我们实现了49.1个掩码AP和57.3个框AP,比以前的最先进技术提高了+0.6个掩码AP和+1.5个框AP。我们的基线模型在稀有类别上的表现优于LVIS 2020挑战赛获奖作品+3.6面罩AP。
2021-06-23 cs.CV
Synthesizing Diverse Lung Nodules Wherever Massively: 3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection
The University of Tokyo(东京大学);University of Cambridge(剑桥大学);Fujifilm Corporation(富士胶片公司);Jikei University School of Medicine(慈惠会医科大学);Juntendo University School of Medicine(顺天堂大学医学部)
精确的计算机辅助诊断依赖于大规模注释的病理图像,可以减轻忽视诊断的风险。不幸的是,在医学成像中,大多数可用的数据集都很小/碎片化。为了解决这个问题,作为一种数据增强(DA)方法,3D条件生成对抗网络(GANs)可以合成所需的逼真/多样化的3D图像作为额外的训练数据。然而,不存在用于一般的基于限界框的3D目标检测的基于3D条件GAN的DA方法,而与严格的3D分割不同,它可以以医生的最小注释成本定位疾病区域。此外,由于病变的位置/大小/衰减不同,因此进一步基于GAN的DA性能需要多种条件。因此,我们提出了3D多条件GAN(MC GAN)来生成自然放置在肺部计算机断层扫描图像上的逼真/多样化的32 X 32 X 32结节,以提高3D目标检测的灵敏度。我们的MCGAN采用两个判别器进行调节:上下文判别器学习用以噪声框为中心的环境对真实与合成结节/周围配对进行分类;结节判别器尝试用大小/衰减条件对真实与合成结节进行分类。结果表明,基于3D卷积神经网络的结节检测方法在固定的假阳性率下,可以在任何结节大小/衰减下实现更高的灵敏度,并克服了MCGAN生成的真实结节的医学数据不足--即使是专家医生也无法在视觉图灵测试中将其与真实结节区分开来。
2019-08-12 cs.CV eess.IV
Small Bird Detection using YOLOv7 with Test-Time Augmentation
National Institute of Technology Oita College(大分工业高等专门学校)
本文提出结合YOLOv7与测试时增强的小鸟检测方法,通过提高输入分辨率、多尺度推理及加权框融合等技术显著提升检测精度,在2023年挑战赛Development类别中获得最高分。
2023-12-15 cs.CV
Data Augmentation For Small Object using Fast AutoAugment
AI R&D Center of Lululab Inc.(Lululab Inc.人工智能研发中心)
针对小目标检测性能不足的问题,提出利用 Fast AutoAugment 快速搜索最优数据增强策略,在 DOTA 数据集上实现 20% 的性能提升。
2025-06-10 cs.CV cs.LG
Bootstrap Your Object Detector via Mixed Training
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学)
我们引入了MixTraining,这是一种用于目标检测的新训练范式,可以免费提高现有检测器的性能。MixTraining通过利用不同强度的增强来增强数据增强,同时排除可能对训练有害的某些训练样本的强增强。此外,它还通过引入可以补偿这些错误的伪框来解决人类注释中的本地化噪声和缺失标签。这两种MixTraining功能都可以通过检测器上的自举来实现,该检测器可用于预测强增强训练的难度,以及由于神经网络对标记错误的鲁棒性而生成可靠的伪框。发现MixTraining在COCO数据集上的各种检测器之间带来了一致的改进。特别是,具有ResNet-50 \cite{he2016deep}主干的Faster R-CNN \cite{ren2015faster}的性能从41.7 mAP提高到44.0 mAP,具有Swin-Small \cite{liu2021swin}主干的Cascade-RCNN \cite{cai2018cascade}的准确性从50.9 mAP提高到52.8 mAP。代码和模型将在\url{https://github.com/MendelXu/MixTraining}上公开。
2021-11-04 cs.CV
Towards Rotation Invariance in Object Detection
Akasha Imaging(阿卡沙影像);UCLA(加州大学洛杉矶分校)
旋转增强通常提高模型对旋转的不变性/等变性-除了在目标检测中。在目标检测中,形状是未知的,因此旋转会产生标签歧义。我们发现,事实上的方法限界框标签旋转,最大框方法,创建非常大的标签,导致性能差,在许多情况下,更糟糕的性能比不使用旋转。我们提出了一种新的旋转增强方法,可以在几行代码中实现。首先,我们创建一个可微近似的标签精度和轴对齐的限界框周围的椭圆是最佳的。然后,我们引入旋转不确定性(RU)损失,使模型能够适应标签的不确定性。在五个不同的数据集(包括COCO、PascalVOC和Transparent Object Bin Picking)上,当使用AP、AP 50和AP 75进行测量时,这种方法提高了一阶段和两阶段架构的旋转不变性。该代码可在https://github.com/akasha-imaging/ICCV2021上获得。
2021-10-01 cs.CV
Exploring 2D Data Augmentation for 3D Monocular Object Detection
NIT Tiruchirappalli(国立特里奇拉帕利理工学院);SASTRA University(萨斯特拉大学);Navya(Navya公司);Valeo(法雷奥)
数据增强是基于CNN的图像识别任务(如目标检测)的关键组成部分。然而,对于3D目标检测的研究相对较少。许多标准的2D目标检测数据增强技术没有扩展到3D框。扩展这些数据增强用于3D目标检测需要适应输入场景的3D几何形状和合成新的视点。这需要场景的准确深度信息,而这可能并不总是可用的。在本文中,我们评估现有的二维数据增强,并提出了两个新的增强单目三维检测,而不需要新的视图合成。由于训练时间较短,我们首先在RTM 3D检测模型上评估这些增强。在KITTI汽车检测数据集的基线上,我们在汽车的3D AP(@IoU=0.7)中获得了4%的一致改进,行人和骑自行车的人的3D AP(@IoU=0.25)得分为1.8%。我们还证明了严格的评估的mAP分数重新加权他们考虑到类的不平衡KITTI验证数据集。
2021-04-21 cs.CV cs.RO
Pattern-Aware Data Augmentation for LiDAR 3D Object Detection
University of Toronto(多伦多大学)
自动驾驶数据集通常是偏斜的,并且特别地,缺乏针对距自我车辆更远距离处的对象的训练数据。随着检测到的对象的距离增加,数据的不平衡导致性能下降。在本文中,我们提出了模式感知地面实况采样,一种数据增强技术,根据激光雷达的特性对对象的点云进行下采样。具体来说,我们模仿自然发散点模式的变化,发生在物体的深度,以模拟样本在更远的距离。因此,网络具有更多样的训练样本,并且可以更有效地推广到检测更远的对象。我们对现有的数据增强技术,使用点删除或扰动方法进行评估,发现我们的方法优于所有这些方法。此外,我们建议使用相等的元素AP箱来评估整个距离的3D对象检测器的性能。我们将PV-RCNN在汽车类上的性能提高了0.7%以上,在距离大于25米的KITTI验证分割上。
2021-11-30 cs.CV
BoxVIS: Video Instance Segmentation with Box Annotations
The Hong Kong Polytechnic University(香港理工大学)
本文提出BoxVIS框架,通过STPA损失和大规模框标注数据集BVISD,以仅16%的标注成本实现与像素监督VIS相当的性能和更强泛化能力。
2023-07-12 cs.CV eess.IV
Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation
Valeo Egypt AI Research(法雷奥埃及人工智能研究院);Cairo University(开罗大学)
数据稀缺是基于机器学习的感知模块的瓶颈,通常通过使用来自模拟器的合成数据来增强真实数据来解决。车辆感知传感器的现实模型很难以封闭的形式表达,同时,它们需要存在待学习的成对数据。在这项工作中,我们提出了两个无监督的神经传感器模型的基础上不成对的域转换与CycleGAN和神经风格转移技术。我们采用CARLA作为模拟环境来获得模拟的LiDAR点云,以及它们的注释用于数据增强,并且我们使用KITTI数据集作为真实的LiDAR数据集,从中我们学习现实的传感器模型映射。此外,我们提供了一个框架,用于数据增强和评估开发的传感器模型,通过外部对象检测任务评估使用YOLO网络适应于提供定向的边界框激光雷达鸟瞰投影点云。对来自KITTI数据集的看不见的真实LiDAR帧进行评估,使用两种方法进行了不同数量的模拟数据增强,显示出目标检测任务的6%mAP的改进,有利于增强LiDAR点云,该点云与原始模拟LiDAR相比采用了建议的神经传感器模型。
2019-11-24 cs.CV cs.LG eess.IV
Context-Preserving Instance-Level Augmentation and Deformable Convolution Networks for SAR Ship Detection
Yonsei University(延世大学);Korea Aerospace University(韩国航空大学);Hanwha Systems(韩华系统)
SAR图像中的目标由于方位的随机变化和雷达信号的遮挡造成的部分信息丢失而发生形变,是SAR舰船检测中的一个重要挑战。在本文中,我们提出了一种数据增强方法来训练深度网络,该深度网络对目标内的部分信息丢失具有鲁棒性。利用限界框和实例分割掩码的地面实况注释,我们提出了一个简单有效的流水线来模拟实例级目标上的信息丢失,同时保留上下文信息。此外,我们采用可变形卷积网络从几何平移的目标中自适应地提取形状不变的深度特征。该网络通过学习采样点相对于标准卷积网格的偏移量,能够鲁棒地提取形状变化目标的特征,用于SAR舰船检测。在HRSID数据集上的实验,包括与其他深度网络和增强方法的比较,以及消融研究,证明了我们提出的方法的有效性。
2022-02-14 cs.CV
Improving Model Generalization by Agreement of Learned Representations from Data Augmentation
University of the Philippines(菲律宾大学)
数据增强通过强制模型在给定输入图像的不同变换的情况下学习不变表示来减少泛化误差。在计算机视觉中,除了标准图像处理功能之外,基于区域丢弃的数据增强技术(如CutOut、MixUp和CutMix)和基于策略的选择(如AutoAugment)也展示了最先进的(SOTA)结果。随着越来越多的数据增强算法被提出,焦点总是在优化输入-输出映射,而没有意识到在具有相同标签的变换图像中可能存在未利用的值。我们假设,通过强迫两个变换的表示一致,我们可以进一步减少模型的泛化误差。我们称我们提出的方法为协议最大化或简称为AgMax。通过在训练过程中应用这个简单的约束,经验结果表明,数据增强算法可以进一步提高ImageNet上ResNet 50的分类准确率高达1.5%,CIFAR 10上WideResNet 40 -2高达0.7%,CIFAR 100上WideResNet 40 -2高达1.6%,LeNet 5上语音命令数据集高达1.4%。实验结果进一步表明,与其他正则化项(如标签平滑)不同,AgMax可以利用数据增强来显著提高模型泛化能力。在PascalVOC和COCO上的目标检测和分割等下游任务中,AgMax预训练模型的性能优于其他数据增强方法,分别高达1.0mAP(框)和0.5mAP(掩模)。代码可在https://github.com/roatienza/agmax上获得。
2021-10-20 cs.CV
MaskRIS: Semantic Distortion-aware Data Augmentation for Referring Image Segmentation
AI Center, Samsung Electronics(三星电子人工智能中心);NAVER AI Lab(NAVER人工智能实验室);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院)
针对指代图像分割任务现有数据增强方法不足的问题,提出结合图文掩码与失真感知上下文学习的MaskRIS训练框架,可适配多类模型,在全/弱监督设置下于三个主流数据集取得SOTA性能。
2025-11-19 cs.CV
A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation
Harvard Department of Mathematics(哈佛数学系);Harvard Department of Computer Science(哈佛计算机科学系)
本文提出一种概率框架,通过退火数据增强提升水下图像中密集目标检测的鲁棒性,利用DeepFish数据集生成自定义检测数据集,并通过伪模拟退火算法合成逼真鱼群场景,实验表明其优于YOLOv10基线模型。
2026-04-23 cs.CV
PASTA: Proportional Amplitude Spectrum Training Augmentation for Syn-to-Real Domain Generalization
Georgia Tech(佐治亚理工学院)
本文提出 PASTA,通过在傅里叶域对合成图像振幅谱进行高频相对更强的结构化扰动,以简单有效的增强方式提升合成到真实域泛化性能,并在语义分割、目标检测和识别任务上优于现有复杂方法。
2023-09-22 cs.AI cs.CV cs.LG
Multi-Grid Redundant Bounding Box Annotation for Accurate Object Detection
ImViA Laboratory University of Burgundy(ImViA实验室 布鲁塞尔大学)
针对现有单阶段目标检测器单网格分配预测边界框精度不足的问题,提出多网格冗余边界框标注数学方法与离线复制粘贴数据增强策略,在检测精度上显著优于现有主流先进检测器。
2022-01-05 cs.CV
Vision in adverse weather: Augmentation using CycleGANs with various object detectors for robust perception in autonomous racing
Oxford Brookes University(牛津布鲁克斯大学);University of Oxford(牛津大学)
在自动驾驶系统中,感知-从环境中识别特征和物体-至关重要。在自动驾驶赛车中,高速和小幅度要求快速准确的检测系统。在比赛中,天气可能会突然变化,导致感知能力显著下降,从而导致无效的操纵。为了改善恶劣天气下的检测,基于深度学习的模型通常需要在这种条件下捕获大量数据集-收集这些数据集是一个繁琐,费力和昂贵的过程。然而,CycleGAN架构的最新发展允许在多种天气条件下合成高度逼真的场景。为此,我们介绍了一种在自动赛车中使用合成的不利条件数据集(使用CycleGAN生成)的方法,以在夜间条件和液滴的存在下分别将五分之四的最先进检测器的性能提高平均42.7和4.4 mAP百分点。此外,我们提出了一个比较分析的五个对象检测器-确定最佳配对的检测器和训练数据,用于在自主赛车在具有挑战性的条件。
2023-01-02 cs.CV
RandAugment: Practical automated data augmentation with a reduced search space
Google Research(谷歌研究院)
最近的研究表明,数据增强有可能显著提高深度学习模型的泛化能力。最近,自动增强策略已经在图像分类和目标检测中产生了最先进的结果。虽然这些策略被优化以提高验证准确性,但它们也导致了半监督学习的最新结果,并提高了对常见图像损坏的鲁棒性。大规模采用这些方法的一个障碍是单独的搜索阶段,这增加了训练复杂性,并可能大大增加计算成本。此外,由于单独的搜索阶段,这些方法无法根据模型或数据集大小调整正则化强度。自动增强策略通常通过在小数据集上训练小模型来发现,并随后应用于训练更大的模型。在这项工作中,我们消除了这两个障碍。RandAugment具有显著减少的搜索空间,这使得它可以在目标任务上进行训练,而不需要单独的代理任务。此外,由于参数化,正则化强度可以针对不同的模型和数据集大小进行定制。RandAugment可以在不同的任务和数据集上统一使用,并且开箱即用,匹配或超越了CIFAR-10/100,SVHN和ImageNet上所有以前的自动增强方法。在ImageNet数据集上,我们实现了85.0%的准确率,比之前的最先进水平提高了0.6%,比基线增强提高了1.0%。在目标检测方面,RandAugment比基线增强提高了1.0-1.3%,并且在COCO上的AutoAugment的0.3% mAP范围内。最后,由于其可解释的超参数,RandAugment可用于研究具有不同模型和数据集大小的数据增强的作用。…
2019-11-14 cs.CV
Augmenting Anchors by the Detector Itself
Ant Group(蚂蚁集团);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
通常,基于锚点的目标检测方法很难确定锚点的尺度和长宽比。现有的目标检测器要么根据数据集中目标的形状和尺度来确定锚点参数,要么利用无锚点方法来避免这一问题,但前者是特定于目标的,后者的性能并不优于前者。在本文中,我们提出了一种新的锚增强方法AADI,这意味着增加锚由检测器本身。AADI不是一种无锚方法,而是将锚的尺度和长宽比从连续空间转换到离散空间,大大简化了锚的设计问题。此外,AADI是一种基于学习的锚增强方法,但它不添加任何参数或超参数,这有利于研究和下游任务。在COCO数据集上的大量实验证明了AADI的有效性,具体来说,AADI在许多最先进的目标检测器上实现了显着的性能提升(例如,在Faster R-CNN上至少+2.4框AP,在Mask R-CNN上至少+2.2框AP,在Cascade Mask R-CNN上至少+0.9框AP)。我们希望这种简单且成本低廉的方法可以广泛应用于目标检测中。代码和模型可在https://github.com/WanXiaopei/aadi上获得。
2022-04-27 cs.AI cs.CV
Boosting Adversarial Transferability via High-Frequency Augmentation and Hierarchical-Gradient Fusion
Shantou University(汕头大学)
本文提出FSA对抗攻击框架,通过融合频域高频增强与空间域分层梯度技术,显著提升对抗样本在黑盒模型间的可迁移性,平均攻击成功率较BSR提升23.6%。
2025-05-27 cs.CV eess.IV
Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation
Key Laboratory of Design Intelligence and Digital Creativity of Zhejiang Province, Zhejiang University(浙江大学浙江省设计智能与数字创意重点实验室)
在实际的单图像超分辨率(SISR)任务中,低分辨率图像不仅受到未知核函数的下采样,而且受到更复杂的退化。然而,现有的SISR方法一般都是采用双三次插值(BI)等合成低分辨率生成,这极大地限制了它们的性能。最近,一些研究人员从相机和智能手机的角度研究了真实世界的SISR。然而,除了采集设备之外,显示设备还涉及更复杂的劣化。在本文中,我们专注于相机屏幕退化,并建立了一个真实世界的数据集(Cam-ScreenSR),其中HR图像是来自先前DIV 2K数据集的原始地面实况,相应的LR图像是显示在屏幕上的HR的相机捕获版本。我们进行了大量的实验,以证明涉及更多的实际退化是积极的,以提高SISR模型的推广。此外,我们提出了一个联合两阶段模型。首先,训练降采样退化GAN(DD-GAN)来对退化进行建模,并产生更多样的LR图像,该图像被验证为有效的数据增强。然后,双残差通道注意力网络(DuRCAN)学习恢复SR图像。L1损失和提出的拉普拉斯损失的加权组合被应用于锐化高频边缘。在典型的合成和复杂的真实世界退化的大量实验结果验证了所提出的方法优于现有的SOTA模型,具有更少的参数,更快的速度和更好的视觉效果。此外,在实际拍摄的照片,我们的模型也提供了最好的视觉质量与更清晰的边缘,更少的文物,特别是适当的颜色增强,这是没有完成的以前的方法。
2020-09-14 cs.CV eess.IV
Generative Data Augmentation for Vehicle Detection in Aerial Images
Middle East Technical University(中东技术大学)
训练数据的缺乏是需要大量数据的深度网络的突出问题之一。数据增强是一种广泛使用的方法,以增加训练样本的数量及其变化。在本文中,我们专注于提高航空图像中的车辆检测性能,并提出了一种生成增强方法,该方法不需要任何额外的监督,而不是训练数据集中车辆对象的限界框注释。所提出的方法通过允许检测器用更高数量的实例进行训练来提高车辆检测的性能,特别是当训练实例数量有限时。所提出的方法是通用的意义上说,它可以与不同的发电机集成。实验表明,该方法与Pluralistic和DeepFill集成时,平均精度分别提高了25.2%和25.7%。
2020-12-09 cs.CV cs.LG eess.IV
Pairwise Distance Distillation for Unsupervised Real-World Image Super-Resolution
National University of Singapore(新加坡国立大学);Korea University(高丽大学)
针对真实世界超分辨率存在未知退化且缺乏成对训练数据的问题,提出成对距离蒸馏框架,通过蒸馏专用模型与通用模型的内、间距离实现退化适配,在多数据集上保真度与感知质量均优于现有最优方法。
2024-07-10 cs.CV eess.IV
Degradation-Aware Metric Prompting for Hyperspectral Image Restoration
School of Computer Science and Technology, Beijing Institute of Technology, Beijing, China(北京理工大学计算机科学与技术学院);School of Computer Science, Wuhan University, Wuhan, Hubei, China(武汉大学计算机学院);Zhongguancun Academy, Beijing, China(中关村学院)
提出退化感知度量提示(DAMP)框架,通过可解释的空间-光谱度量作为退化提示,结合退化自适应混合专家(DAMoE)模块,实现多维度退化统一恢复,在自然和遥感高光谱数据集上达到最先进性能并展现零样本泛化能力。
2026-06-01 cs.CV eess.IV
BitMix: Data Augmentation for Image Steganalysis
卷积神经网络(CNN)的图像隐写分析表现出更好的性能,采用从高层次的视觉任务的概念。主要采用的概念是使用数据增强,以避免过度拟合,由于有限的数据。为了在不破坏消息嵌入的情况下增加数据,隐写分析中只使用90度的旋转倍数或水平翻转,从一个样本中生成8个固定结果。为了克服这一限制,我们提出了BitMix,一种用于空间图像隐写分析的数据增强方法。BitMix通过交换随机补丁来混合封面和隐写图像对,并生成嵌入自适应标签,其具有交换补丁中修改的像素数与封面-隐写图像对中修改的像素数的比率。我们探索了最佳超参数,在小批量中应用BitMix的比例,以及用于交换补丁的边界框的大小。实验结果表明,使用BitMix提高了空间图像隐写分析的性能,优于其他数据增强方法。
2020-06-30 cs.CR cs.CV cs.LG
Using Out-of-the-Box Frameworks for Contrastive Unpaired Image Translation for Vestibular Schwannoma and Cochlea Segmentation: An approach for the crossMoDA Challenge
College of Medicine, Seoul National University(首尔大学医学院);Department of Radiology, Armed Forces Yangju Hospital(杨州国军医院放射科)
本研究的目的是应用和评估开箱即用的深度学习框架,以应对crossMoDA挑战。我们使用CUT模型,一种基于拼接对比学习和对抗学习的非配对图像到图像翻译模型,用于从对比增强的T1 MR到高分辨率T2 MR的域自适应。作为数据增强,我们生成具有较低信号强度的前庭神经鞘瘤的额外图像。对于分割任务,我们使用nnU-Net框架。我们最终提交的数据在验证阶段的平均Dice评分为0.8299,在测试阶段的平均Dice评分为0.8253。我们的方法在crossMoDA挑战中排名第三。
2021-12-08 cs.CV eess.IV
Dual Degradation-Inspired Deep Unfolding Network for Low-Light Image Enhancement
Xi’an Jiaotong University(西安交通大学);Xi’an Polytechnic University(西安工程大学)
本文提出DASUNet,通过构建双退化模型显式模拟低光图像在亮度与色度空间的退化机制,并将其交替优化求解过程展开为深度网络,结合定制Transformer块和空间聚合模块,在多个数据集上验证了优于现有方法的增强性能。
2024-12-31 cs.CV eess.IV
An Explainable Deep Learning-Based Method For Schizophrenia Diagnosis Using Generative Data-Augmentation
Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本研究提出一种基于生成式数据增强的可解释深度学习方法,利用EEG信号和CNN实现精神分裂症自动诊断,通过VAE增强将准确率提升至99%,并用LIME增强模型可解释性。
2024-07-16 cs.AI cs.LG eess.IV