Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation
Dyson Robot Learning Lab（戴森机器人学习实验室）
针对机器人操作策略难以跨视觉场景泛化的问题，本文提出在绿幕环境采集演示并用GreenAug替换背景，实验证明其优于多种现有增强方法。
2024-09-08 cs.AI cs.CV cs.LG
CutDepth:Edge-aware Data Augmentation in Depth Estimation
Panasonic（松下公司）；Chubu University（中部大学）
在单目深度估计中难以大规模地收集数据，因为该任务需要同时获取RGB图像和深度。因此，数据增强对这项任务很重要。然而，对于诸如单目深度估计之类的任务的数据增强的研究很少，其中变换是逐像素执行的。在本文中，我们提出了一个数据增强方法，称为CutDepth。在CutDepth中，部分深度在训练期间被粘贴到输入图像上。该方法在不破坏边缘特征的情况下扩展了变异数据。客观和主观实验表明，该方法优于传统的数据增强方法。即使在长距离处存在很少的训练数据，使用CutDepth也提高了估计精度。
2021-07-16 cs.AI cs.CV cs.LG
Vision Augmentation Prediction Autoencoder with Attention Design (VAPAAD)
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Columbia University（哥伦比亚大学）
针对现有序列预测模型忽视注意力机制在未来帧预测中作用的问题，本研究提出整合注意力机制的VAPAAD模型，结合数据增强、ConvLSTM2D与定制自注意力，在Moving MNIST数据集上表现优于传统方法，提升了视频预测精度。
2024-04-17 cs.AI cs.CV
Configuring Data Augmentations to Reduce Variance Shift in Positional Embedding of Vision Transformers
POSTECH（浦项科技大学）
针对ViT训练中数据增强导致位置编码方差偏移的问题，提出正确配置数据增强以消除副作用，实验证明该方法提升ViT性能。
2024-05-23 cs.AI cs.CV cs.LG
Improving Robustness for Vision Transformer with a Simple Dynamic Scanning Augmentation
Kyushu University（九州大学）
本文提出动态扫描增强技术，通过动态输入序列自适应关注不同图像块，将ViT对抗鲁棒性从17%提升至92%，同时保持自然图像准确性。
2023-11-01 cs.AI cs.CV cs.LG
Diversify Your Vision Datasets with Automatic Diffusion-Based Augmentation
UC Berkeley（加州大学伯克利分校）
本文提出 ALIA 方法，利用大型视觉和语言模型自动生成领域描述并通过语言引导图像编辑增强训练数据，同时过滤破坏类别信息的编辑，在细粒度分类任务上超越传统增强和文本到图像生成方法。
2023-10-29 cs.AI cs.CV
ARGen: Affect-Reinforced Generative Augmentation towards Vision-based Dynamic Emotion Perception
Fudan University（复旦大学）；East China Normal University（华东师范大学）
本文提出ARGen框架，通过情感语义注入和自适应强化扩散阶段，解决野外动态表情识别中的数据稀缺问题，提升情绪感知的生成质量和识别性能。
2026-08-04 cs.AI cs.CV
TTA-OOD: Test-time Augmentation for Improving Out-of-Distribution Detection in Gastrointestinal Vision
Nepal Applied Mathematics and Informatics Institute for research(NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））；Fogsphere(Redev AI Ltd.)（Fogsphere（Redev AI有限公司））；School of Natural and Computing Sciences, University of Aberdeen（阿伯丁大学自然与计算科学学院）；West Virginia University（西弗吉尼亚大学）
本研究将胃肠道异常检测视为分布外检测问题，提出在检测流程中加入测试时增强以增强ID与OOD的区分，实验证明该方法优于现有最先进的OOD评分方法。
2024-07-19 cs.AI cs.CV
AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation
UCLA（加利福尼亚大学洛杉矶分校）；Yale（耶鲁大学）
提出AugUndo方法，通过撤销几何变换使无监督深度补全与估计能使用广泛增强，提升室内外数据集性能。
2024-07-20 cs.CV
ADAADepth: Adapting Data Augmentation and Attention for Self-Supervised Monocular Depth Estimation
IIT Delhi（印度理工学院德里分校）；Manipal University（马尼帕尔大学）
深度的自监督学习已经成为高度研究的研究主题，因为它阐明了具有用于预测深度的地面实况注释的要求。深度是作为视图合成任务的中间解决方案来学习的，利用扭曲的光度一致性。虽然它在使用立体数据训练时给出了良好的结果，但预测的深度仍然对噪声，照明变化和镜面反射敏感。此外，通过从单个相机学习深度可以更好地解决遮挡问题。我们提出了ADAA，利用深度增强作为深度监督，以学习准确和强大的深度。我们提出了一个关系自我注意模块，学习丰富的上下文特征，并进一步增强深度结果。我们还通过在掩码上强制执行L1正则化来优化所有损失的自动掩码策略。我们新颖的渐进式训练策略首先以较低的分辨率学习深度，然后通过轻微的训练达到原始分辨率。我们利用ResNet18编码器，学习预测深度和姿态的特征。我们在标准KITTI驾驶数据集上评估了我们的预测深度，并实现了单目深度估计的最新结果，同时在我们的深度学习框架中具有显着较少的可训练参数数量。我们还在Make3D数据集上评估了我们的模型，显示出比其他方法更好的泛化能力。
2021-03-01 cs.CV
Augmenting Vision-Based Human Pose Estimation with Rotation Matrix
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Allameh Tabataba’i（阿拉梅·塔巴塔巴伊大学）；Boston University（波士顿大学）
本研究提出结合旋转矩阵数据增强的姿态估计模型，以提升健身房活动识别准确率，SVM+SGD配合该增强方法达到96%准确率，较基线64%显著提升。
2023-10-09 cs.AI cs.CV
Bridging between Computer and Robot Vision through Data Augmentation: a Case Study on Object Recognition
尽管深度网络在视觉对象识别方面取得了令人印象深刻的进展，但机器人视觉仍然远未成为一个解决的问题。最成功的卷积架构是从ImageNet开始开发的，ImageNet是从Web下载的对象类别的大规模图像集合。这种图像与部署在不受约束的设置中的机器人的位置和具体的视觉体验非常不同。为了减少这两种视觉体验之间的差距，本文提出了一个简单而有效的数据增强层，缩放感兴趣的对象，并模拟机器人视觉系统的目标检测结果。该层可以与任何卷积深度架构一起使用，在三个不同的基准数据库上进行的实验中，对象识别性能提高了7%。一旦论文被接受，我们的机器人数据增强层将被公开。
2017-05-05 cs.CV
Exploring Token-Level Augmentation in Vision Transformer for Semi-Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）；China Tobacco Guangdong Industrial Corporation（广东中烟工业有限责任公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出TokenMix令牌级数据增强和双分支框架，解决Vision Transformer在半监督语义分割中的适应性问题，并在多个基准上取得领先精度。
2025-03-10 cs.CV
Data Augmentation in Human-Centric Vision
Beihang University（北京航空航天大学）；Skywork AI（苍穹AI）
该综述首次系统梳理以人为中心视觉任务中的数据增强技术，分为数据生成与数据扰动两类，并探讨了未来方向，旨在提升系统性能。
2024-03-13 cs.CV
Data Augmentation Vision Transformer for Fine-grained Image Classification
最近，视觉Transformer（ViT）在图像识别方面取得了突破。它的自注意力机制（MSA）可以提取不同像素块的区分性标记信息，以提高图像分类精度。然而，在其深层的分类标记往往忽略层之间的局部特征。此外，嵌入层将是固定大小的像素块。输入网络不可避免地会引入额外的图像噪声。为此，研究了一种基于数据增强的数据增强视觉Transformer（DAVT），提出了一种用于注意力裁剪的数据增强方法，该方法以注意力权重作为裁剪图像的指导，提高了网络学习关键特征的能力。其次，我们还提出了一个层次化的注意力选择（HAS）方法，通过过滤和融合水平之间的标签，提高了区分标记的能力的学习水平。在CUB-200-2011和Stanford Dogs两个通用数据集上的实验结果表明，该方法的准确率优于现有主流方法，比原始ViT分别提高了1.4%和1.6%
2022-11-24 cs.CV
Evaluating COPY-BLEND Augmentation for Low Level Vision Tasks
KAIST（韩国科学技术院）；University of Copenhagen（哥本哈根大学）
基于区域修改的数据增强技术已被证明可以提高高级视觉任务（目标检测、语义分割、图像分类等）的性能。通过鼓励底层算法专注于多个区别特征。然而，由于这些技术破坏了与相邻区域的空间关系，因此当使用它们来训练为低水平视觉任务（低光图像增强、图像去雾、去模糊等）设计的算法时，性能可能恶化。其中恢复区域及其相邻区域之间的纹理一致性对于确保有效性能是重要的。在本文中，我们研究了一个简单的复制混合数据增强技术，复制补丁从嘈杂的图像和混合到一个干净的图像，反之亦然，以确保底层算法本地化和恢复受影响的地区，从而提高感知质量的恢复图像的功效。为了评估性能改进，我们与不同的基于区域修改的增强技术一起进行了广泛的实验，并报告了一些观察结果，例如性能提高，对训练数据集的要求降低，以及在不对基线算法进行任何修改的情况下，在低光图像增强，图像去雾和图像去模糊等任务中的早期收敛。
2021-03-10 cs.CV
Image Augmentation for Multitask Few-Shot Learning: Agricultural Domain Use-Case
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
大型数据集的可用性正在催化深度学习的快速扩展，特别是计算机视觉。同时，在许多领域，缺乏足够数量的训练数据，这可能成为计算机视觉技术实际应用的障碍。本文以植物表型组学领域为例，对小型和不平衡的数据集提出了挑战。我们引入了一个图像增强框架，它使我们能够极大地扩大训练样本的数量，同时为目标检测，语义分割，实例分割，对象计数，图像去噪和分类等任务提供数据。我们证明了我们的增强方法在只有少数训练样本时可以提高模型性能。在我们的实验中，我们使用DeepLabV 3模型对拟南芥和烟草图像数据集进行语义分割任务。所得到的结果表明，9%的相对增加模型的性能相比，基本的图像增强技术。
2021-02-24 cs.AI cs.CV
Depth-Copy-Paste: Multimodal and Depth-Aware Compositing for Robust Face Detection
Coffee AI Lab, Great Wall Motor(GWM), China（咖啡AI实验室，长城汽车（GWM），中国）
深度复制-粘贴通过多模态和深度感知的增强方法，生成多样且物理一致的训练数据，提升人脸检测的鲁棒性。
2025-12-12 cs.CV
Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation for Grounding-Based Vision and Language Models
Amazon Prime Video（亚马逊Prime Video）
针对基于定位的视觉语言模型训练数据规模受限、图文配对增强难度大的问题，提出结合文本条件增强与像素级掩码的语义保持型增强方法，在多个数据集上取得SOTA性能。
2023-11-05 cs.CV
Depth Jitter: Seeing through the Depth
Institute for Systems and Robotics（系统与机器人研究所）；Université de Toulon（土伦大学）；Aix Marseille University（阿维尼翁-马赛大学）；CNRS（国家科学研究中心）；LIS Toulon, France（土伦法国实验室）
本文提出基于深度的增强技术Depth-Jitter，通过自适应深度偏移模拟自然深度变化，在FathomNet和UTDAC2020数据集上验证，有效提升了模型在深度敏感环境下的稳定性和泛化能力。
2025-08-08 cs.CV cs.RO
Plug-In Inversion: Model-Agnostic Inversion for Vision with Data Augmentations
University of Maryland（马里兰大学）；New York University Center for Data Science（纽约大学数据科学中心）
用于模型反演的现有技术通常依赖于难以调整的正则化器，例如总变差或特征正则化，其必须针对每个网络单独校准以产生足够的图像。在这项工作中，我们引入插件反转，它依赖于一个简单的增强集，不需要过多的超参数调整。在我们提出的基于增强的方案下，相同的增强超参数集可以用于反转各种各样的图像分类模型，而不管输入维度或架构如何。我们通过反转在ImageNet数据集上训练的视觉Transformer（ViTs）和多层感知器（MLP）来说明我们方法的实用性，据我们所知，这些任务尚未成功完成。
2022-01-31 cs.CV cs.LG
Self-Aug: Query and Entropy Adaptive Decoding for Large Vision-Language Models
Arizona State University（亚利桑那州立大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
本研究提出Self-Aug，一种无需训练的解码策略，通过自增强提示和自适应阈值算法提升大视觉-语言模型的事实一致性。
2026-03-03 cs.AI cs.CV
Zero-Shot Generalization of Vision-Based RL Without Data Augmentation
Department of Computer Science, University of Southern California, Los Angeles, USA（计算机科学系，南加州大学，洛杉矶，美国）
受计算神经科学启发，提出联想潜在解耦（ALDA）模型，通过结合潜在解耦与联想记忆，在无需数据增强的情况下实现了基于视觉的强化学习智能体的零样本泛化。
2025-08-11 cs.AI cs.CV cs.LG
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers
Google Research（谷歌研究院）
视觉Transformer（ViT）在图像分类、目标检测和语义图像分割等广泛的视觉应用中表现出极强的竞争力。与卷积神经网络相比，Vision Transformer较弱的感应偏差通常会导致在较小的训练数据集上训练时对模型正则化或数据增强（简称“AugReg”）的依赖增加。为了更好地理解训练数据量、AugReg、模型大小和计算预算之间的相互作用，我们进行了系统的实证研究。作为本研究的一个结果，我们发现，增加计算和AugReg的组合可以产生与在一个数量级的训练数据上训练的模型具有相同性能的模型：我们在公共ImageNet-21 k数据集上训练了各种大小的ViT模型，这些模型与在更大但不是公开的JFT-300 M数据集上训练的模型相匹配或优于它们。
2022-06-23 cs.AI cs.CV cs.LG
Semi-Supervised Semantic Depth Estimation using Symbiotic Transformer and NearFarMix Augmentation
BUET（孟加拉国工程技术大学）
针对深度估计中语义数据稀缺、卷积方法感受野受限的问题，提出基于共生Transformer的深度语义共生模块与NearFarMix增强策略，半监督框架在室内外数据集上均取得更优效果。
2023-08-28 cs.CV cs.LG
Maximizing Generalization: The Effect of Different Augmentation Techniques on Lightweight Vision Transformer for Bengali Character Classification
Department of Computer Science and Engineering, Islamic University of Technology, Gazipur 1704, Bangladesh（计算机科学与工程系，伊斯兰科技大学，加兹ipur 1704，孟加拉国）
本研究探讨了不同增强技术对轻量视觉变换器在孟加拉字符分类中的影响，发现随机仿射变换与颜色抖动组合效果最佳。
2026-03-03 cs.CV
Decoupling Augmentation Bias in Prompt Learning for Vision-Language Models
Korea Institute of Energy Technology (KENTECH)（韩国能源技术研究所）
本文提出AAPL方法，通过对抗性token嵌入解耦图像增强引入的表面变化与类别语义，使提示学习聚焦于判别性视觉特征，在多个基准上一致优于现有方法。
2025-11-05 cs.AI cs.CV cs.LG
Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对360度图像深度估计标注数据不足、透视方法适配性差的问题，提出基于透视蒸馏与无标注数据增强的框架，通过六面立方体投影生成伪标签结合半监督训练，显著提升基准数据集上的估计精度，可适配各类360单目深度估计器。
2024-10-30 cs.CV
Monocular 3D Object Detection with Sequential Feature Association and Depth Hint Augmentation
Harbin Institute of Technology（哈尔滨工业大学）；Ningbo Institute of Intelligent Equipment Technology Co., Ltd.（宁波智能装备技术有限公司）；Harbin Institute of Technology Robot Innovation Center Co., Ltd.（哈尔滨工业大学机器人创新中心有限公司）；Peng Cheng Laboratory（鹏城实验室）
单目三维目标检测是自动驾驶智能感知系统的一个重要研究方向，其目的是预测道路上目标的几何特性。大多数最先进的方法遵循基于关键点的范例，其中预测对象的关键点并将其用作回归其他几何属性的基础。在这项工作中，一个统一的网络命名为FADNet的单目三维目标检测的任务。与以前的基于关键点的方法相比，我们建议根据对象属性的估计难度将输出模态划分为不同的组。不同的组被不同地对待，并通过卷积门控递归单元顺序关联。这项工作的另一个贡献是深度提示增强的策略。为了提供表征的深度模式作为用于深度估计的提示，专用深度提示模块被设计成生成被称为深度提示的逐行特征，该逐行特征以逐面元方式被显式地监督。通过在KITTI基准上进行实验和烧蚀研究，验证了本文工作的贡献。在不使用深度先验、后优化或其他细化模块的情况下，我们的网络在保持良好运行速度的同时，与最先进的方法相比具有竞争力。
2022-01-23 cs.CV
SKDU at De-Factify 4.0: Vision Transformer with Data Augmentation for AI-Generated Image Detection
Durham University（杜伦大学）；British Car Auctions（英国汽车拍卖公司）
本研究探索结合数据增强的预训练视觉Transformer模型用于AI生成图像检测，在Defactify-4.0数据集上通过微调及多种扰动增强训练，实现了验证集和测试集上的SOTA性能。
2025-03-24 cs.CV
Detection of pulmonary pathologies using convolutional neural networks, Data Augmentation, ResNet50 and Vision Transformers
Universidad Abierta Interamericana（泛美开放大学）；Faculty of Information Technology（信息技术学院）；Center for Advanced Studies in Information Technology（信息技术高级研究中心）；Interamerican Open University（泛美开放大学）
本文提出一种结合CNN、Data Augmentation、ResNet50和Vision Transformers的方法，用于从X射线和CT图像中检测多种肺部病理，实验表明该方法准确率达98%，优于其他现有方法。
2024-09-22 cs.AI cs.CV eess.IV
HandAugment: A Simple Data Augmentation Method for Depth-Based 3D Hand Pose Estimation
Rokid Corportation Ltd.（Rokid Corporation Ltd.）
在计算机视觉领域中，已经使用各种技术广泛地探索了从3D深度图像估计手姿态。虽然最近基于深度学习的方法大大提高了性能，但是由于缺乏像ImageNet这样的大数据集或有效的数据合成方法，这个问题仍然没有解决。在本文中，我们提出了HandAugment，一种合成图像数据的方法来增强神经网络的训练过程。我们的方法有两个主要部分：第一，我们提出了一个两阶段的神经网络的方案。该方案可以使神经网络集中于手部区域，从而提高性能。其次，我们介绍了一种简单而有效的方法来合成数据，结合实际和合成图像在图像空间。最后，我们证明了我们的方法在HANDS 2019挑战赛中基于深度的3D手部姿势估计任务中获得了第一名。
2020-01-23 cs.CV
EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision
School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对现有事件数据增强方法忽视空间完整性和时间连续性的问题，提出渐进式策略EventZoom，通过渐进缩放和移位嵌入变换样本，在监督、半监督和无监督学习中均优于现有方法，提升神经形态视觉性能。
2025-02-13 cs.CV
Instantaneous Stereo Depth Estimation of Real-World Stimuli with a Neuromorphic Stereo-Vision Setup
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
立体匹配问题，即，匹配两个不同视图中的相应特征以重建深度在生物学中是有效解决的。然而，它仍然是经典机器视觉方法的计算瓶颈。最近提出的脉冲神经网络（SNN）结构利用事件摄像机的特性，具有简化立体匹配问题的潜力。已经存在将事件摄像机与基于尖峰的神经形态处理器相结合的几种解决方案。然而，它们要么在数字硬件上模拟，要么在简化的刺激上测试。在这项工作中，我们使用动态视觉传感器3D人体姿势数据集（DHP19）来验证在具有真实数据的混合信号神经形态处理器上实现的基于脑启发事件的立体匹配架构。我们的实验表明，这种SNN架构，由重合检测器和视差敏感神经元，是能够提供一个粗略的估计输入的差距瞬间，从而检测存在的刺激移动的深度实时。
2021-04-06 cs.AI cs.CV
Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
虽然通过强化学习（RL）训练的智能体可以直接从视觉观察中解决越来越具有挑战性的任务，但将学习到的技能推广到新的环境仍然非常具有挑战性。广泛使用数据增强是一种很有前途的提高RL泛化能力的技术，但它通常会降低样本效率，甚至会导致发散。在本文中，我们调查的不稳定性的原因时，使用数据增强在常见的非政策RL算法。我们确定了两个问题，都植根于高方差Q目标。基于我们的研究结果，我们提出了一个简单而有效的技术，稳定这类算法下增强。我们使用ConvNets和视觉Transformer（ViT）对基于DeepMind Control Suite的一系列基准以及机器人操作任务进行了广泛的基于图像的RL的实证评估。我们的方法大大提高了增强条件下ConvNets的稳定性和样本效率，并在具有不可见视觉效果的环境中实现了与基于图像的RL的最先进方法竞争的泛化结果。我们进一步表明，我们的方法可扩展到基于ViT的架构的RL，并且数据增强在这种情况下可能特别重要。
2021-12-09 cs.CV cs.LG cs.RO
Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation
Tsinghua University（清华大学）
本文提出IADA机制，通过输入自适应的跨深度检索提升视觉语言模型的推理能力，实验表明其在参数效率方面优于LoRA微调。
2026-03-27 cs.AI cs.CV
A Simple Background Augmentation Method for Object Detection with Diffusion Model
Sony AI（索尼人工智能）
本文提出利用Stable Diffusion通过inpainting进行背景增强来扩充目标检测训练数据，无需额外标注，并在COCO等基准上验证了其显著提升模型鲁棒性与泛化能力的效果。
2024-08-01 cs.AI cs.CV
Bayesian Data Augmentation for DNN Retraining with Binomial Outcomes in Vision-Based UAV Landing
Tennessee Technological University（田纳西理工大学）
针对GPS拒止环境下视觉无人机着陆，提出贝叶斯数据增强框架集成高保真模拟器，迭代重训练停机坪检测DNN，以最大化着陆性能为目标，实验验证了改进的着陆性能和更紧的置信区间。
2026-10-06 cs.CV cs.RO
Distilling Out-of-Distribution Robustness from Vision-Language Foundation Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lapis Labs（拉皮斯实验室）；Microsoft Research（微软研究院）
提出离散对抗蒸馏（DAD）框架，利用鲁棒教师模型与VQGAN生成离散对抗样本，提升视觉模型分布外鲁棒性，计算开销小且可与其他增强方法结合。
2024-02-05 cs.AI cs.CV cs.LG
UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer
Advanced Micro Devices, Inc.（超威半导体公司）
本文提出统一渐进式深度剪枝器UPDP，通过新颖的块剪枝策略和渐进式训练方法解决高效CNN与视觉Transformer的深度剪枝难题，在ConvNeXtV1和视觉Transformer上均取得优于现有方法的性能。
2024-01-12 cs.AI cs.CV
NeRFmentation: NeRF-based Augmentation for Monocular Depth Estimation
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；University of Alicante（阿利坎特大学）；University of Amsterdam（阿姆斯特丹大学）
针对自动驾驶场景下单目深度估计模型受数据集多样性不足限制的问题，提出基于NeRF的数据增强 pipeline NeRFmentation，通过生成新视角合成RGB-D图像扩充训练集，在KITTI等数据集上验证了性能与鲁棒性提升。
2024-09-16 cs.CV
Raw Data Matters: Enhancing Prompt Tuning by Internal Augmentation on Vision-Language Models
针对基于CLIP的提示调优依赖外部知识导致成本高且忽视图像特征利用的问题，提出自包含的增强驱动提示调优（AugPT）方法，通过内部自监督增强与一致性门控过滤噪声样本，在无外部知识时提升模型性能与泛化能力。
2025-11-12 cs.CV
When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
视觉Transformer（ViTs）和MLP标志着用通用神经架构取代手工布线功能或电感偏置的进一步努力。现有的工作通过大量数据来增强模型，例如大规模预训练和/或重复的强数据增强，并且仍然报告优化相关的问题（例如，对初始化和学习率的敏感性）。因此，本文从损失几何的角度研究了ViTs和MLP混合器，旨在提高模型在训练和推理时的数据效率。可视化和Hessian揭示了收敛模型的非常尖锐的局部极小值。通过使用最近提出的锐度感知优化器来促进平滑度，我们大大提高了ViTs和MLP混合器在各种任务上的准确性和鲁棒性，这些任务包括监督、对抗、对比和迁移学习（例如，ViT-B/16和Mixer-B/16在ImageNet上的top-1准确率分别为+5.3\%和+11.0\%，使用简单的Inception风格预处理）。我们表明，改进的平滑属性稀疏活跃的神经元在前几层。当在ImageNet上从头开始训练时，所得到的ViT优于类似大小和吞吐量的ResNet，而无需大规模的预训练或强大的数据增强。模型检查点位于\url{https://github.com/google-research/vision_transformer}。
2022-03-13 cs.CV cs.LG
Alleviating Hallucination in Large Vision-Language Models with Active Retrieval Augmentation
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）；Xiamen University（厦门大学）；Zhejiang Gongshang University（浙江工商大学）
本文提出主动检索增强框架ARA，通过剖析图像层次化检索目标、筛选可靠检索结果并在低确定性阶段适时检索，有效缓解LVLM幻觉问题。
2024-08-01 cs.AI cs.CL cs.CV
EDADepth: Enhanced Data Augmentation for Monocular Depth Estimation
University of Wyoming（怀俄明大学）
本文提出 EDADepth，通过引入 Swin2SR 超分辨率、BEiT 语义分割和 BLIP-2 分词器增强扩散模型输入，在不增加训练数据的情况下提升单目深度估计性能，并在 NYUv2 和 KITTI 上取得 SOTA 结果。
2024-10-03 cs.CV
MixGen: A New Multi-Modal Data Augmentation
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；Amazon Web Services（亚马逊云科技）
数据增强是提高深度学习中数据效率的必要手段。对于视觉语言预训练，在以前的作品中，数据只针对图像或文本进行了增强。在本文中，我们提出了MixGen：视觉语言表示学习的联合数据增强，以进一步提高数据效率。它生成新的图像-文本对，通过插入图像和连接文本来保留语义关系。它很简单，可以插入现有的管道。我们评估MixGen的四个架构，包括CLIP，ViLT，ALBEF和TCL，在五个下游的视觉语言任务，以显示其通用性和有效性。例如，在ALBEF预训练中添加MixGen会导致下游任务的绝对性能提升：图文检索（COCO微调+6.2%，Flicker 30 K zero-shot +5.3%），视觉接地气（RefCOCO++0.9%）、视觉推理（NLVR 2 +0.9%）、视觉问答（VQA 2.0 +0.3%）和视觉蕴涵（SNLI-VE +0.4%）。
2023-01-09 cs.AI cs.CV cs.LG
MangoLeafViT: Leveraging Lightweight Vision Transformer with Runtime Augmentation for Efficient Mango Leaf Disease Classification
Department of Computer Science and Engineering, Islamic University of Technology, Gazipur 1704, Bangladesh（计算机科学与工程系，伊斯兰科技大学，加兹ipur 1704，孟加拉国）
本文提出MangoLeafViT，一种结合自注意力机制与运行时数据增强的轻量级Vision Transformer流水线，在MangoLeafBD数据集上以99.43%的准确率实现高效的芒果叶片病害分类，且在模型大小、参数量和FLOPs上优于现有方法。
2025-05-29 cs.CV
TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本文提出TokenMix数据增强方法，通过在token级别分区混合图像并利用教师模型激活图生成更准确的学习目标，有效提升视觉Transformer的ImageNet分类精度和抗遮挡鲁棒性。
2023-04-19 cs.CV
Puzzles: Unbounded Video-Depth Augmentation for Scalable End-to-End 3D Reconstruction
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）；CSIRO’s Data61（CSIRO的数据61）
提出数据增强策略Puzzles，通过从单图像或视频合成无界高质量带位姿视频-深度数据，在不修改网络架构下显著提升多视图三维重建性能，仅用10%原始数据即可达到全量训练精度。
2025-06-30 cs.CV
Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
本文提出 Florence-VL，通过 Florence-2 生成式视觉编码器及 DBFusion 融合多深度、多提示视觉特征，并结合两阶段训练提升多模态大模型性能。
2024-12-05 cs.AI cs.CV
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research（谷歌研究院）
我们研究了视觉Transformer（ViTs）的鲁棒性，通过他们特殊的基于补丁的架构结构，即，它们将图像处理为图像块的序列。我们发现，ViTs是令人惊讶的不敏感补丁为基础的转换，即使在很大程度上破坏了原始的语义，使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征，但通常不指示人类的语义类。进一步的研究表明，这些特征是有用的，但不稳健，因为在它们上训练的ViT可以实现高的分布内准确性，但在分布偏移下会崩溃。基于这种理解，我们会问：训练模型以减少对这些特征的依赖，是否可以提高ViT的鲁棒性和分布外性能？我们使用基于补丁的操作转换的图像作为负增强视图，并提供损失来正则化训练，避免使用非鲁棒特征。这是对现有研究的补充，现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明，基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外，我们发现我们的补丁为基础的负增强传统的（正）数据增强的补充，并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Fisheye Stereo Vision: Depth and Range Error
NODAR Inc.（NODAR公司）
本文研究了鱼眼立体视觉系统中深度和范围误差的解析表达式，重点分析了大角度下的准确性问题。
2026-02-03 cs.CV
LARE: Latent Augmentation using Regional Embedding with Vision-Language Model
Waseda University（早稻田大学）；University of Southern California（南加州大学）
针对视觉-语言模型将图像嵌入为单点导致分类精度受限的问题，提出LARE方法，将图像嵌入为区域并采样增强，微调VLM，在三个基准上提升分类精度，且对未见领域、小数据和不平衡数据更稳健。
2024-09-19 cs.CV
Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation?
ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）；CAIDAS（卡伊达斯研究院）；IFI（信息学研究所）
本研究提出通过随机插入虚拟3D对象构建的虚拟增强数据集ANYU，验证了随机虚拟增强可提升不同架构深度神经网络的单目深度估计性能与泛化能力，并公开了两种配置的数据集。
2024-04-15 cs.CV cs.LG
