Enhancing Layout Hotspot Detection Efficiency with YOLOv8 and PCA-Guided Augmentation
University of Southern California（南加州大学）
本文提出一种基于YOLOv8和PCA引导增强的布局热点检测框架，通过PCA提取辅助信息作为额外颜色通道增强图像，显著提升多热点检测精度并降低误报率，在ICCAD-2019数据集上精确率约83%，召回率约86%。
2024-07-19 cs.CV eess.IV
Augmentation of base classifier performance via HMMs on a handwritten character data set
FEUP（波尔图大学工程学院）
本文介绍了几个基本分类器的性能的研究结果，用于识别手写字符的现代拉丁字母。通过确定维特比序列利用维特比纠错进一步增强基本分类性能。隐马尔可夫模型（Hidden Markov Models，简称HMF）利用单词中字母之间的关系来确定最可能的字符序列。研究了四个基本分类器以及从手写数据集中提取的八个特征集。校正后的最佳分类性能为89.8%，平均为68.1%
2021-11-17 cs.AI cs.CV cs.LG
HEATGait: Hop-Extracted Adjacency Technique in Graph Convolution based Gait Recognition
Islamic University of Technology（伊斯兰技术大学）
基于步态的生物特征认证由于其隐蔽性而成为一个很有前途的领域。最近的方法在基于模型的步态识别技术利用时空图优雅的步态特征提取。然而，现有的方法往往依赖于多尺度算子来提取关节之间的长程关系，从而导致有偏加权。在本文中，我们提出了HEATGait，步态识别系统，提高了现有的多尺度图卷积有效的跳提取技术，以减轻这个问题。结合预处理和增强技术，我们提出了一个功能强大的特征提取器，利用ResGCN在CASIA-B步态数据集上实现基于模型的步态识别的最新性能。
2022-04-21 cs.CV
Learning Test-time Augmentation for Content-based Image Retrieval
Queensland University of Technology（昆士兰科技大学）
现成的卷积神经网络特征在许多图像检索任务中取得了出色的效果。然而，它们对目标数据的不变性是由网络架构和训练数据预定义的。现有的图像检索方法需要微调或修改预训练的网络，以适应目标数据的独特变化。相比之下，我们的方法通过聚合从测试时增强的图像中提取的特征来增强现成特征的不变性，增强由通过强化学习学习的策略指导。所学习的策略将不同的幅度和权重分配给从图像变换列表中选择的所选变换。使用度量学习协议来评估策略以学习最优策略。该模型收敛速度快，每次策略迭代的成本是最小的，因为我们提出了一个离线缓存技术，大大降低了从增强图像中提取特征的计算成本。在大型商标检索（METU商标数据集）和地标检索（ROxford5k和RParis6k场景数据集）任务上的实验结果表明，学习的变换集成对提高性能非常有效，并且具有实用性和可移植性。
2022-07-05 cs.CV
Controllable Latent Space Augmentation for Digital Pathology
MICS, CentraleSupélec – Université Paris-Saclay（MICS，中央圣艾尔布兰理工大学——巴黎-萨克雷大学）；Bioptimus, Inc.（Bioptimus公司）；VitaDX International（VitaDX国际）
针对数字病理学中WSI分析的高分辨率、监督信号稀缺及现有增强方法的不足，提出可控潜空间增强模型HistAug，通过显式patch变换条件生成逼真嵌入，高效处理大量patch并提升MIL性能，低数据场景下优于现有方法。
2025-08-20 cs.CV
Embedding Space Augmentation for Weakly Supervised Learning in Whole-Slide Images
University College London（伦敦大学学院）；Brigham and Women's Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Broad Institute of Harvard and MIT（哈佛-麻省理工博德研究所）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；University of Warwick（华威大学）；University Hospitals Coventry and Warwickshire NHS Trust（考文垂与沃里克郡国民保健服务信托大学医院）；The Alan Turing Institute（艾伦·图灵研究所）
多实例学习（MIL）是一种广泛使用的框架，用于从WSI级别的注释中学习千兆像素的全载玻片图像（WSI）。在用于WSI级分析的大多数基于MIL的分析管道中，WSI通常被划分为补丁和补丁的深度特征（即，补丁嵌入）在训练之前被提取，以降低总体计算成本并应对GPU的有限RAM。为了克服这一限制，我们提出了EmbAugmenter，一个数据增强生成对抗网络（DA-GAN），可以在嵌入空间而不是像素空间中合成数据增强，从而显着降低计算要求。在SICAPv 2数据集上的实验表明，我们的方法在没有增强的情况下优于MIL，并且与传统的MIL训练补丁级增强相当，同时速度更快。
2022-10-31 cs.AI cs.CV
Global and Local Sensitivity Guided Key Salient Object Re-augmentation for Video Saliency Detection
Tianjin University（天津大学）；Dalian University of Technology（大连理工大学）；University of South Carolina（南卡罗来纳大学）
现有的基于深度学习的显着性研究仍然是静态的，没有考虑从不同层提取的特征的加权和突出，所有特征对最终显着性决策的贡献是相等的。这些方法往往只能均匀地检测出所有的“潜在显著区域”，无法突出关键的显著对象，导致动态场景的检测失败。本文针对视频中显著区域相对较小且集中的特点，提出了一种\textbf{key salient object re-augmentation method (KSORA) using top-down semantic knowledge and bottom-up feature guidance}来提高视频场景中显著区域的检测精度。KSORA包括两个子模块（WFE和KOS）：WFE采用自底向上的策略进行局部显著特征选择，KOS采用自顶向下的统计知识对每个对象进行全局排序，选择最关键的对象区域进行局部增强。该算法不仅能增强局部关键显著对象的显著性，而且能保证全局显著性的一致性。在三个基准数据集上的实验结果表明，该模型具有提高复杂场景检测精度的能力。通过与其他十种最先进的算法的比较，KSORA在现代GPU上的速度为17FPS，其显著的性能得到了验证。
2018-11-19 cs.CV
Dual-stream Feature Augmentation for Domain Generalization
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）；National University of Defense Technology（国防科技大学）
本文提出双流特征增强 DFA，通过域相关困难虚拟特征生成与对抗式因果解耦，并结合对比学习，提升模型在未见域上的泛化性能。
2024-09-07 cs.CV
CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition
KAIST AI（韩国科学技术院人工智能研究院）
类不平衡问题经常发生在现实世界的任务中，传统的深度学习算法在不平衡的训练数据集上的性能下降是众所周知的。为了缓解这个问题，许多方法旨在通过重新加权或重新采样训练样本来平衡给定的类。这些重新平衡方法增加了少数类的影响，减少了多数类对模型输出的影响。然而，由于少数民族样本数量有限，所提取的代表性可能质量较差。为了处理这种限制，已经开发了几种方法，通过利用多数样本的特征来增加少数样本的表示。尽管最近进行了广泛的研究，但尚未对确定要增强的类别和增强的强度进行深入分析。在这项研究中，我们首先调查的程度之间的相关性增强和类明智的表现，并发现，必须为每个类分配适当的程度的增强，以减轻类不平衡的问题。基于这一发现，我们提出了一个简单而有效的新课程，旨在找到适当的每类数据增强的强度，称为CUDA：长尾识别的数据增强的CURISTORY。CUDA可以简单地集成到现有的长尾识别方法中。我们提出的实验结果表明，与各种不平衡数据集（如CIFAR-100-LT，ImageNet-LT和iNaturalist 2018）的最新方法相比，CUDA有效地实现了更好的泛化性能。
2023-02-10 cs.CV cs.LG
SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
针对现有基于标注场景图的VQA方法泛化性差的问题，提出SelfGraphVQA自监督框架，通过语义保持增强与非归一化对比学习优化图表示，结合三种最大化策略提升性能，提供了更实用的场景图VQA解决方案。
2023-10-03 cs.CV
Extracting and Leveraging Nodule Features with Lung Inpainting for Local Feature Augmentation
Siemens Healthineers（西门子医疗）；Friedrich-Alexander-Universität Erlangen（埃尔朗根-纽伦堡大学）
胸部X线（CXR）是最常见的检查，用于快速检测肺部异常。最近，已经开发了自动算法来对CXR扫描中的多种疾病和异常进行分类。然而，由于包含结节的扫描的有限可用性以及CXR中结节的微妙性质，最先进的方法在结节分类上表现不佳。为了创建用于训练过程的附加数据，应用标准增强技术。然而，这些方法引入的方差是有限的，因为图像通常是全局修改的。在本文中，我们提出了一种局部特征增强的方法，通过使用生成修复网络提取局部结节特征。该网络被应用于生成逼真的，健康的组织和结构的补丁包含结节。在修复后的表示中，结节被完全移除。结节特征的提取是通过从结节块中减去修补块来处理的。通过在不同的CXR扫描中对肺区域中提取的结节进行任意位移以及在训练期间进行进一步的局部修改，我们显着提高了结节分类性能，并优于最先进的增强方法。
2020-08-05 cs.CV cs.LG eess.IV
Dens-PU: PU Learning with Density-Based Positive Labeled Augmentation
Democritus University of Thrace（德谟克利特色雷斯大学）；Athena Research Centre（雅典娜研究中心）
本文提出Dens-PU方法，通过线性组合正标记数据的潜在编码来增强正类密度并构建边界，将PU学习转化为二分类问题，在基准图像数据集上取得领先效果。
2023-03-21 cs.AI cs.CV cs.LG
Deep Feature Augmentation for Occluded Image Classification
Tongji University（同济大学）；Ryerson University（瑞尔森大学）
由于难以获取大量特定于任务的遮挡图像，使用深度卷积神经网络（CNN）对遮挡图像进行分类仍然具有高度挑战性。为了减轻对大规模遮挡图像数据集的依赖，我们提出了一种新的方法，通过使用一组增强的深度特征向量（DFV）微调预训练模型来提高遮挡图像的分类准确性。增广的DFV集合由原始DFV和伪DFV组成。伪DFV是通过将从一小组干净和遮挡图像对中提取的差向量（DV）随机添加到真实DFV来生成的。在微调中，对DFV数据流进行反向传播以更新网络参数。在各种数据集和网络结构上的实验表明，深度特征增强显著提高了遮挡图像的分类精度，而对干净图像的性能没有明显影响。具体来说，在ILSVRC 2012数据集与合成闭塞图像，所提出的方法实现了11.21%和9.14%的平均提高分类精度的ResNet50网络上的闭塞排他性和闭塞包容性的训练集，分别微调。
2020-11-02 cs.CV cs.LG
CMMCoT: Enhancing Complex Multi-Image Comprehension via Multi-Modal Chain-of-Thought and Memory Augmentation
CMMCoT通过多模态链式思考和记忆增强提升多图像理解的复杂性与准确性
2025-12-04 cs.CV
Background Mixup Data Augmentation for Hand and Object-in-Contact Detection
The University of Tokyo（东京大学）
检测每个视频帧中人手和接触物体的位置（手-目标检测）对于从视频中了解人类活动至关重要。为了训练对象检测器，一种称为Mixup的方法，其覆盖两个训练图像以减轻数据偏差，已被经验证明对于数据增强是有效的。然而，在手-目标检测中，混合两个手操作图像产生非预期的偏差，例如，手和物体集中在特定区域中降低了手-物体检测器识别物体边界的能力。我们提出了一种称为背景混淆的数据增强方法，该方法利用数据混合正则化，同时减少手目标检测中的意外影响。我们将目标训练图像与从外部图像源提取的没有手和接触对象的背景图像混合，而不是混合两个图像，其中手和接触对象出现，并使用混合图像来训练检测器。实验结果表明，该方法在监督学习和半监督学习环境下都能有效地减少误报，提高手部目标检测的性能。
2022-03-01 cs.AI cs.CV cs.LG
Iterative Augmentation of Visual Evidence for Weakly-Supervised Lesion Localization in Deep Interpretability Frameworks: Application to Color Fundus Images
深度学习（DL）系统的可解释性在医学成像中越来越受到关注，以增加专家对所获得的预测的信任，并促进其在临床环境中的整合。我们提出了一种深度可视化方法，通过视觉证据增强来生成医学成像中DL分类任务的可解释性。所提出的方法迭代地揭示异常的基础上，预测的分类训练，只有图像级标签。对于每个图像，预测的初始视觉证据是用给定的视觉归因技术提取的。这提供了异常的定位，然后通过选择性修复来去除异常。我们迭代地应用这个过程，直到系统认为图像是正常的。这产生了增强的视觉证据，包括最初未检测到但应考虑最终诊断的鉴别力较低的病变。我们将该方法应用于两种视网膜疾病的彩色眼底图像分级：糖尿病视网膜病变（DR）和年龄相关性黄斑变性（AMD）。我们评估所产生的视觉证据和性能弱监督定位不同类型的DR和AMD异常，定性和定量。我们表明，预测的增强视觉证据突出了专家诊断时考虑的生物标志物，并提高了最终的定位性能。当应用于不同的分类任务、视觉归因技术和网络架构时，平均每幅图像在10个假阳性/图像的平均灵敏度方面相对增加11.2+/-2.0%。这使得所提出的方法在医学成像中的DL分类器的详尽的视觉支持的有用工具。
2022-02-01 cs.CV
Video as Natural Augmentation: Towards Unified AI-Generated Image and Video Detection
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Shenzhen Loop Area Institute（深圳河套学院）
本研究针对AI生成内容检测中跨模态差距的问题，提出VINA框架，通过联合训练图像和视频数据，利用视频帧作为自然增强，并引入跨模态监督对比目标，实现统一的AI生成内容检测，提升鲁棒性和迁移性。
2026-05-21 cs.AI cs.CV
Generalizable Cone Beam CT Esophagus Segmentation Using Physics-Based Data Augmentation
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Peking University Cancer Hospital（北京大学肿瘤医院）
食管的自动分割在肺癌的图像引导/自适应放射治疗中至关重要，以最大限度地减少辐射诱导的毒性，例如急性食管炎。我们开发了一种基于语义物理学的数据增强方法，用于使用3D卷积神经网络在计划CT（pCT）和锥形束CT（CBCT）中分割食管。使用来自四个独立数据集的191个病例及其pCT和CBCT来训练改进的3D-Unet架构，该架构具有专门为软组织器官（如食管）设计的多目标损失函数。使用幂律自适应直方图均衡化方法从第1周CBCT中提取散射伪影和噪声，并将其引入相应的pCT，然后使用CBCT重建参数进行重建。此外，我们利用基于物理学的伪影诱导的pCT来驱动真实每周CBCT中的食管分割。使用几何Dice和Hausdorff距离以及使用平均食管剂量和D5 cc进行剂量学评估。由于基于物理的数据增强，我们仅在合成CBCT上训练的模型是稳健的，并且具有足够的可推广性，可以在pCT和CBCT上产生最先进的结果，实现0.81和0.74 Dice重叠。我们基于物理学的数据增强跨越了患者CBCT/pCT数据中的真实噪声/伪影频谱，并且可以很好地概括各种模式，有可能提高治疗设置和响应分析的准确性。
2021-01-30 cs.CV eess.IV
IDA: Improved Data Augmentation Applied to Salient Object Detection
Federal University of Parana（巴拉那联邦大学）
在本文中，我们提出了一种改进的数据增强（IDA）技术，专注于显著目标检测（SOD）。在文献中提出的标准数据增强技术，如图像裁剪，旋转，翻转，和缩放，只生成现有的例子的变化，提供了有限的推广。我们的方法结合了图像修补，仿射变换，以及不同的生成的背景图像与从标记数据中提取的显著对象的线性组合。我们提出的技术能够更精确地控制对象的位置和大小，同时保留背景信息。背景的选择是基于图像间的优化，而对象的大小遵循一个均匀的随机分布在一个指定的时间间隔内，和对象的位置是图像内的最佳。我们表明，我们的方法提高了分割质量时，用于训练国家的最先进的神经网络的几个著名的数据集的SOD领域。将该方法与其他方法相结合，在F值测量和精度上分别比传统的水平翻转方法提高了0.52%和1.19%。我们还提供了7个不同的SOD数据集的评估，9个不同的评估指标和评估方法的平均排名。
2020-09-18 cs.CV cs.LG eess.IV
SeA: Semantic Adversarial Augmentation for Last Layer Features from Unsupervised Representation Learning
Alibaba Group（阿里巴巴集团）；School of Engineering and Technology, University of Washington（华盛顿大学工程与技术学院）
针对固定深度特征增强困难导致性能下降的问题，提出特征空间内的语义对抗增强方法SeA，通过梯度投影保留语义信息并扰动特征，在11个下游任务上性能提升2%，且在6个任务上媲美昂贵的微调。
2024-08-23 cs.CV cs.LG
Workflow Augmentation of Video Data for Event Recognition with Time-Sensitive Neural Networks
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经网络的监督训练需要大量、多样且注释良好的数据集。在医疗领域，由于时间、专家知识和事件的流行程度的限制，这往往难以实现。人工数据增强可以帮助防止过拟合，并提高对罕见事件的检测以及整体性能。然而，大多数增强技术使用纯粹的空间变换，这对于具有时间相关性的视频数据是不够的。在本文中，我们提出了一种用于工作流程增强的新方法，并证明了其对白内障手术中事件识别的好处。该方法通过创建人工视频来增加事件交替的频率。将原始视频分割成事件片段，并从原始注释中提取工作流图。最后，根据工作流图将片段组装成新的视频。与原始视频相比，增强型白内障手术视频中的事件交替频率增加了26%。此外，与最先进的方法相比，实现了高3%的分类准确度和高7.8%的精度。我们的方法特别有助于增加罕见但重要的事件的发生率，并且可以应用于各种各样的用例。
2021-09-30 cs.AI cs.CV cs.LG
Multimodal Deep Learning for Dynamic and Static Neuroimaging: Integrating MRI and fMRI for Alzheimer Disease Analysis
本文提出一种多模态深度学习框架，整合MRI和fMRI对阿尔茨海默病、轻度认知障碍和正常认知状态进行多类分类，通过3D卷积神经网络提取结构特征，用递归架构学习fMRI的时间特征，并融合这些表示进行联合空间-时间学习。
2026-03-09 cs.CV cs.LG
StructChart: On the Schema, Metric, and Augmentation for Visual Chart Understanding
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出StructChart框架，通过结构化三元组表示（STR）统一图表感知与推理任务，提出SCRM指标评估感知性能，借助LLMs增强训练多样性，实验验证该范式能推动图表理解领域发展。
2024-12-04 cs.CV
The Effects of Character-Level Data Augmentation on Style-Based Dating of Historical Manuscripts
University of Groningen（格罗宁根大学）
本文研究字符级数据增强对历史手稿断代的影响，在多个手稿数据集上使用线性SVM和k折交叉验证，证明数据增强可使累计得分提升1%-3%。
2022-12-15 cs.CV cs.LG
On Feature Normalization and Data Augmentation
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）；ASAPP（ASAPP公司）；Facebook AI（Facebook人工智能实验室）
时刻（A.K.A.，平均值和标准偏差）在训练图像识别模型时通常作为噪声被去除，以增加稳定性并减少训练时间。然而，在图像生成领域，矩扮演着更加核心的角色。研究表明，实例归一化和位置归一化提取的矩可以粗略地捕捉图像的风格和形状信息。而不是被丢弃，这些时刻是工具的生成过程。在本文中，我们提出了矩交换，一个隐式的数据增强方法，鼓励模型利用矩信息也识别模型。具体来说，我们将一个训练图像的学习特征的矩替换为另一个训练图像的学习特征的矩，并对目标标签进行插值--迫使模型除了从归一化特征中提取训练信号外，还从矩中提取训练信号。由于我们的方法速度快，完全在特征空间中操作，并且混合了与现有方法不同的信号，因此可以将其与现有的增强方法有效地结合起来。我们在几个识别基准数据集上证明了它的有效性，它提高了高度竞争的基线网络的泛化能力，具有显着的一致性。
2021-03-30 cs.CL cs.CV cs.LG
Classifying cow stall numbers using YOLO
Yeshiva University（叶史瓦大学）
本文提出CowStallNumbers数据集，通过微调YOLO模型并应用数据增强技术，实现了95.4%的牛栏号识别准确率。
2023-11-23 cs.CV
SceneGen: Generative Contextual Scene Augmentation using Scene Graph Priors
University of California, Berkeley（加利福尼亚大学伯克利分校）；Amazon（亚马逊）
空间计算体验受到用户的真实环境的约束。在这样的体验中，将虚拟对象增强到现有场景需要上下文方法，其中避免几何冲突，并且在目标环境中维持与其他对象的功能和合理的关系。然而，由于用户环境的复杂性和多样性，自动计算适应场景的上下文的虚拟内容的理想位置被认为是一项具有挑战性的任务。出于这个问题，在本文中，我们介绍SceneGen，生成上下文增强框架，预测虚拟对象的位置和方向在现有的场景。SceneGen将语义分割的场景作为输入，并输出用于放置虚拟内容的位置和方向概率图。我们制定了一个新的空间场景图表示，它封装对象，对象组和房间之间的显式拓扑属性。我们认为，提供明确和直观的功能在信息内容创建和空间计算设置的用户交互中起着重要作用，这是隐式模型中无法捕获的质量。我们使用核密度估计（KDE）建立一个多变量的条件知识模型，使用从现实世界的三维扫描数据中提取的空间场景图训练。为了进一步捕捉方向属性，我们开发了一个快速的姿态标注工具，以扩展当前的现实世界的数据集与方向标签。最后，为了演示我们的系统在行动中，我们开发了一个增强现实应用程序，其中对象可以在上下文中实时增强。
2020-09-30 cs.CV cs.GR
RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection
National Engineering Laboratory for Video Technology - Shenzhen Division（视频技术国家工程实验室深圳分室）
近年来，通用的目标检测算法已经证明了其优异的性能。然而，水下数据集上的目标检测仍然较少探索。与一般数据集相比，水下图像通常存在颜色偏移和低对比度，沉积物会导致水下图像模糊。此外，水下生物由于其生活习惯，在图像上经常彼此靠近。为了解决这些问题，我们的工作研究增强策略来模拟重叠，遮挡和模糊的对象，我们构建了一个模型，能够实现更好的泛化。我们提出了一种增强方法称为RoIMix，它表征图像之间的相互作用。从不同图像中提取的建议被混合在一起。以前的数据增强方法在单个图像上操作，而我们将RoIMix应用于多个图像以创建增强的样本作为训练数据。实验表明，我们提出的方法提高了基于区域的对象检测器在Pascal VOC和URPC数据集上的性能。
2020-03-24 cs.CV cs.LG eess.IV
AtteConDA: Attention-Based Conflict Suppression in Multi-Condition Diffusion Models and Synthetic Data Augmentation
Gunma University（群马大学）
本文提出AtteConDA方法，通过多条件生成模型处理图像生成中的条件冲突，提升结构保持能力，并建立驾驶任务的生成框架和评估协议，缓解高阶自动驾驶任务的数据稀缺问题。
2026-05-10 cs.AI cs.CV
Data Augmentation using Feature Generation for Volumetric Medical Images
Saarland University（萨尔大学）
医学图像分类是图像识别领域的关键问题之一。这一领域的主要挑战之一是缺乏标记的训练数据。此外，数据集中经常存在类别不平衡，因为某些情况非常罕见。因此，分类任务的准确性通常较低。特别是深度学习模型，在图像分割和分类问题上表现出了很好的效果，但它们需要非常大的数据集进行训练。因此，需要从相同的分布生成更多的合成样本。以前的工作表明，特征生成是更有效的，并导致更好的性能比相应的图像生成。我们将这一想法应用于医学成像领域。我们使用迁移学习来训练小数据集的分割模型，其中黄金标准类注释可用。我们提取了学习的特征，并使用它们来生成基于类标签的合成特征，使用辅助分类器GAN（AC GAN）。我们根据脑肿瘤的严重程度在下游分类任务中测试生成的特征的质量。实验结果表明，这些生成的功能的有效性和他们的整体贡献，平衡数据和提高分类类的准确性方面的一个有希望的结果。
2022-09-28 cs.CV cs.LG eess.IV
Contrastive Visual Data Augmentation
UCLA（加利福尼亚大学洛杉矶分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；TAMU（德克萨斯农工大学）
本文提出对比式视觉数据增强策略CoDA，通过提取目标概念与易混淆概念的对比特征并生成合成数据，显著提升LMMs对低资源和新颖概念的识别能力。
2025-06-05 cs.AI cs.CL cs.CV
AugFPN: Improving Multi-scale Feature Learning for Object Detection
Horizon Robotics（地平线机器人）
当前最先进的检测器通常利用特征金字塔来检测不同尺度的对象。其中，FPN是通过多尺度特征求和来构建特征金字塔的代表性著作之一。然而，其背后的设计缺陷阻碍了多尺度特征的充分利用。本文首先分析了FPN中特征金字塔的设计缺陷，然后提出了一种新的特征金字塔结构AugFPN。具体来说，AugFPN由三个组件组成：一致性监督，剩余特征增强和软ROI选择。AugFPN通过一致性监督在特征融合之前缩小不同尺度特征之间的语义差距。在特征融合中，利用残差特征增强技术提取比率不变的上下文信息，以减少最高金字塔层特征映射的信息损失。最后，软RoI选择学习一个更好的自适应特征融合后的RoI功能。通过在Faster R-CNN中将FPN替换为AugFPN，我们的模型在使用ResNet 50和MobileNet-v2作为主干时分别实现了2.3和1.6个点的平均精度（AP）。此外，AugFPN在使用ResNet 50作为骨干时，将RetinaNet提高了1.6点AP，将FCOS提高了0.9点AP。将提供代码。
2019-12-11 cs.CV
CNN Features off-the-shelf: an Astounding Baseline for Recognition
KTH (Royal Institute of Technology)（瑞典皇家理工学院）
最近的结果表明，从卷积神经网络中提取的通用描述符是非常强大的。这篇论文为越来越多的证据提供了补充，证明情况确实如此。我们报告了一系列的实验进行了不同的识别任务，使用公开的代码和模型的\overfeat网络进行训练ILSVRC 13上进行对象分类。我们使用从\overfeat网络中提取的特征作为通用图像表示来处理应用于不同数据集的对象图像分类、场景识别、细粒度识别、属性检测和图像检索的各种识别任务。我们选择这些任务和数据集，因为它们逐渐远离原始任务和数据，\overfeat网络被训练来解决。令人惊讶的是，我们在各种数据集上的所有视觉分类任务中报告了与高度调整的最先进系统相比一致的优越结果。例如，检索它始终优于低内存足迹的方法，除了雕塑数据集。使用应用于从网络中的层提取的大小为4096的特征表示的线性SVM分类器（或在检索的情况下的$L2$距离）来实现结果。使用简单的增强技术（例如抖动）进一步修改表示。这些结果强烈表明，从使用卷积网络的深度学习中获得的特征应该是大多数视觉识别任务的主要候选者。
2014-05-12 cs.CV
Targeted Nonlinear Adversarial Perturbations in Images and Videos
Princeton University（普林斯顿大学）
我们介绍了一种学习针对单个图像或视频的对抗性扰动的方法。学到的扰动被发现是稀疏的，而在同一时间包含一个高层次的功能细节。因此，提取的扰动允许一种形式的对象或动作识别，并提供对所研究的深度神经网络模型在达到其分类决策时认为重要的特征的见解。从对抗的角度来看，稀疏扰动成功地将模型混淆为错误分类，尽管通过视觉检查，扰动的样本仍然属于同一个原始类别。这是在一个前瞻性的数据增强计划方面进行讨论。稀疏但高质量的扰动也可以用于图像或视频压缩。
2018-08-27 cs.CV
Deep Subspace analysing for Semi-Supervised multi-label classification of Diabetic Foot Ulcer
RMIT University（皇家墨尔本理工大学）；Baker Heart and Diabetes Institute（贝克心脏与糖尿病研究所）
糖尿病是一种全球性的流行病。糖尿病患者有患足溃疡的风险，这通常会导致截肢。为了开发一个自我监测的移动应用程序，在这项工作中，我们提出了一种新的深度子空间分析管道半监督糖尿病足溃疡多标签分类。为了避免任何过度拟合的机会，与最近的最先进的深度半监督方法不同，所提出的管道不包括任何数据增强。然而，在提取深度特征之后，为了使表示平移不变，我们对每个图像采用各种数据增强方法并生成图像集，然后将其映射到线性子空间。此外，拟议的管道减少了再培训的成本时，更多的新的未标记的数据变得可用。因此，流水线的第一阶段通过修改和重新训练称为Xception的深度卷积网络架构，采用迁移学习的概念进行特征提取。然后，提取中间层的输出，以生成任何给定图像的图像集表示器，并借助数据增强方法。在这个阶段，每个图像被转移到一个线性子空间，这是一个点上的格拉斯曼流形拓扑空间。因此，要对它们进行分析，必须考虑这种流形的几何形状。因此，每个标记的图像被表示为使用格拉斯曼流形上的测地线距离到未标记图像的数量的距离的向量。最后，训练随机森林对糖尿病足溃疡图像进行多标签分类。在DFU2021竞赛提供的盲测试集上对该方法进行了测试，结果表明，该方法与经典的数据增强迁移学习方法相比，具有明显的改进。
2021-10-05 cs.CV cs.LG eess.IV
Image interpretation by iterative bottom-up top-down processing
Weizmann Institute of Science（魏茨曼科学研究学院）
场景理解需要提取和表示场景组件以及它们的属性和相互关系。我们描述了一个模型，其中有意义的场景结构从图像中提取的迭代过程中，结合自自底向上的【形】（BU）和自上而下（TD）的网络，通过它们之间的对称双向通信（逆流结构）进行交互。该模型通过迭代使用三个组件来构建场景表示。第一个模型组件是提取所选场景元素、属性和关系的BU流。第二部分（认知增强）基于相关的非视觉存储表示来增强所提取的视觉表示。它还以TD指令的形式向第三个组件TD流提供输入，指示模型下一步执行什么任务。然后，TD流引导BU视觉流在下一个周期中执行所选择的任务。在此过程中，从图像中提取的视觉表示可以与相关的非视觉表示相结合，使得最终的场景表示基于从场景中提取的视觉信息和相关的存储的世界知识。我们描述了如何使用TD指令序列来从感兴趣的场景结构中提取，包括自动选择序列中的下一个TD指令的算法。提取过程被证明具有良好的组合推广方面的属性，以及推广到新的场景结构和新的组合的对象，属性和关系在训练过程中没有看到。最后，我们比较模型与人类视觉的相关方面，并建议方向使用BU-TD计划整合视觉和认知组件的过程中的场景理解。
2021-05-12 cs.CV q-bio.NC
An Advanced Deep Learning Based Three-Stream Hybrid Model for Dynamic Hand Gesture Recognition
Pabna University of Science and Technology（帕布纳科学技术大学）；The University of Aizu（会津大学）
针对手势识别中数据集有限、形态与环境干扰等问题，提出结合RGB与骨骼特征的三流混合深度学习模型，通过多模块特征融合与增强，实现了更优的动态手势检测效果。
2024-08-15 cs.CV
Foreign object segmentation in chest x-rays through anatomy-guided shape insertion
University Medicine Essen（埃森大学医学部）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对胸部X光片中异物分割标注困难的问题，提出通过解剖引导的任意形状插入和剪切粘贴增强生成合成数据，在减少93%人工标注下达到全监督模型性能。
2025-01-21 cs.CV
Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval
Institute of Mathematics and Computer Science (ICMC), University of São Paulo (USP)（圣保罗大学数学与计算机科学研究所）；Temple University（天普大学）
该研究针对细粒度图像检索任务，提出区域感知CLS令牌增强方法，利用DINOv2-reg模型的寄存器令牌，自动生成局部ROI令牌并整合到ColBERT式多向量框架，提升检索性能且适配大规模搜索。
2026-10-09 cs.CV cs.LG
PromptMix: Text-to-image diffusion models enhance the performance of lightweight networks
Aarhus University（奥胡斯大学）
许多深度学习任务需要注释，这对于人类操作员来说太耗时了，导致数据集大小很小。这对于密集回归问题尤其如此，例如人群计数，它需要注释图像中每个人的位置。在这种情况下，数据增强和基于模拟的合成数据生成等技术可以提供帮助。在本文中，我们介绍了一种人工增加现有数据集大小的方法，可以用来提高轻量级网络的性能。首先，以端到端数据驱动的方式生成合成图像，其中文本提示通过图像描述深度网络从现有数据集中提取，随后引入文本到图像扩散模型。然后使用一个或多个高性能深度网络对生成的图像进行注释，并与真实数据集混合以训练轻量级网络。通过对五个数据集和两个任务的广泛实验，我们表明，ApproximatMix可以显着提高轻量级网络的性能高达26%。
2023-01-31 cs.CV
PolSAR Image Classification Based on Robust Low-Rank Feature Extraction and Markov Random Field
University of Bristol（布里斯托大学）；German Aerospace Center（德国航空航天中心）；Chinese Academy of Sciences（中国科学院）
极化合成孔径雷达（PolSAR）图像分类在各种遥感应用中得到了广泛的研究。然而，这在今天仍然是一个具有挑战性的任务。一个重要的障碍在于在PolSAR成像过程中嵌入的斑点效应，这大大降低了图像的质量，并进一步复杂化的分类。为此，我们提出了一种新的PolSAR图像分类方法，通过低秩（LR）特征提取去除斑点噪声，并通过马尔可夫随机场（MRF）强制平滑先验。具体来说，我们采用基于高斯的鲁棒LR矩阵分解的混合，同时提取鉴别特征和去除复杂的噪声。然后，对提取的特征应用数据增强的卷积神经网络得到分类图，其中隐含了局部一致性，缓解了标签不足的问题。最后，我们通过MRF细化分类图以增强上下文平滑性。我们在两个基准PolSAR数据集上进行了实验。实验结果表明，该方法具有良好的分类性能和较好的空间一致性。
2020-09-13 cs.CV
Four-Stage Alzheimer's Disease Classification from MRI Using Topological Feature Extraction, Feature Selection, and Ensemble Learning
Department of Data Science and Mathematics（数据科学与数学系）
TDA-Alz通过拓扑特征提取、特征选择和集成学习，实现高效且可解释的MRI阿尔茨海默病四阶段分类。
2026-01-01 cs.CV
An Effective Hit-or-Miss Layer Favoring Feature Interpretation as Learned Prototypes Deformations
University of Liège（列日大学）；Institut Montefiore（蒙特菲奥雷研究所）
近年来，为分类任务设计的神经网络已经成为一种商品。许多工作的目标是开发更有效的网络，这导致其架构复杂化，具有更多的层，多个子网络，甚至多个分类器的组合，但这往往是以产生不可解释的黑盒为代价的。在本文中，我们重新设计了一个简单的胶囊网络，使其能够合成类代表性的样本，称为原型，通过用一个新的命中或失误层取代最后一层。这一层包含被激活的向量，称为胶囊，我们通过定制特定的向心损失函数来训练这些向量以击中或错过固定的目标胶囊。这种可能性允许开发组合来自数据空间和特征空间的信息的数据增强步骤，导致混合数据增强过程。我们表明，我们的网络，名为HitNet，能够达到比在几个数据集上使用初始CapsNet复制的性能更好的性能，同时允许将提取的特征的性质可视化为原型的变形，这提供了对网络学习的特征表示的直接洞察。
2019-02-23 cs.AI cs.CV cs.LG
End-to-End Action Segmentation Transformer
Oregon State University（俄勒冈州立大学）
本文提出端到端动作分割Transformer（EAST），直接处理原始视频帧，通过轻量适配器、基于检测的分割框架和动作提议数据增强，在多个标准基准上取得SOTA性能。
2025-08-27 cs.CV eess.IV
De-coupling and De-positioning Dense Self-supervised Learning
EPFL（洛桑联邦理工学院）
密集自监督学习（SSL）方法解决了在处理具有多个对象的图像时使用图像级特征表示的局限性。虽然通过使用分割图和边界框提取的密集特征允许网络为每个对象执行SSL，但我们发现它们受到耦合和位置偏差的影响，这是由于感受野随层深度和零填充而增加。我们通过引入三种数据增强策略来解决这个问题，并利用它们（i）一个解耦模块，旨在使网络对对象周围环境的变化具有鲁棒性，以及（ii）一个de-positioning模块，鼓励网络丢弃位置对象信息。我们证明了我们的方法COCO和一个新的具有挑战性的基准，OpenImage-MINI，对象分类，语义分割，和目标检测的好处。我们大量的实验证明了我们的方法比SOTA密集SSL方法更好的推广性
2023-03-29 cs.CV cs.LG
A Hybrid Deep Learning Architecture for Leukemic B-lymphoblast Classification
University of Saskatchewan（萨斯喀彻温大学）；University of Tulane（杜兰大学）
由于组织病理学结构的复杂性，在显微图像中自动检测白血病B淋巴母细胞癌是非常具有挑战性的。为了解决这个问题，需要一个自动和强大的诊断系统来早期检测和治疗。本文提出了一种基于自动深度学习的方法来区分未成熟白血病原始细胞和正常细胞。所提出的基于深度学习的混合方法通过不同的数据增强技术来丰富，能够从输入图像中提取高级特征。结果表明，所提出的模型产生更好的预测比单个模型的白血病B淋巴细胞分类与96.17%的总体准确性，95.17%的灵敏度和98.58%的特异性。融合从中间层提取的特征，我们的方法有可能提高整体分类性能。
2019-09-26 cs.CV cs.LG eess.IV
Unsupervised Point Cloud Pre-Training via Contrasting and Clustering
本文提出ConClu框架，结合对比和聚类方法，提升点云预训练效果，在多个下游任务中优于现有方法。
2026-03-15 cs.AI cs.CV math.OC
Representation Learning with Video Deep InfoMax
Microsoft Research（微软研究院）
自监督学习使无监督预训练再次与困难的计算机视觉任务相关。最有效的自我监督方法涉及基于从数据的不同视图中提取的特征的预测任务。DeepInfoMax（DIM）是一种自监督方法，它利用深度网络的内部结构来构建这样的视图，在依赖于图像中小块的局部特征和依赖于整个图像的全局特征之间形成预测任务。在本文中，我们通过利用时空网络中的类似结构将DIM扩展到视频领域，产生了一种我们称为视频深度信息最大化（VDIM）的方法。我们发现，从自然率序列和时间下采样序列中绘制视图会产生动力学预训练动作识别任务的结果，这些任务与使用更昂贵的大时间尺度Transformer模型的现有最先进方法相匹配或优于这些方法。我们还研究了数据增强和微调方法的效果，当仅在UCF-101数据集上训练时，可以大幅提高SoTA。
2020-07-28 cs.CV cs.LG
Foundation Models in Dermatopathology: Skin Tissue Classification
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Mayo Clinic（梅奥诊所）
本研究评估基础模型UNI和Virchow2作为特征提取器，通过均值聚合和多种分类器对皮肤病理全切片图像进行三分类，Virchow2结合逻辑回归达到90%准确率，展示了基础模型在自动化诊断中的潜力。
2025-10-24 cs.CV q-bio.QM
Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）
生成对抗网络（GAN）是目前广泛使用的一种无监督图像生成方法。目前最先进的GANs可以生成具有高分辨率的照片级逼真图像。然而，需要大量的数据，否则模型将容易生成具有相似模式（模式坍塌）和质量差的图像。我为GANs提出了一个额外的结构和损失函数，称为LFM，经过训练可以最大化潜在空间不同维度之间的特征多样性，以避免模式坍塌而不影响图像质量。构造正交特征向量对，并对特征向量对进行点积检验，使特征向量对与生成元之间形成一种新的对抗关系。在实验中，该系统已建立在DCGAN和证明有从零开始的CelebA数据集上的Frechet初始距离（FID）训练的改进。该系统需要适度的额外性能，并且可以与数据增强方法一起工作。该代码可在github.com/penway/LFM上获得。
2022-11-15 cs.CV cs.LG
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）；Wharton School of Business（沃顿商学院）
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法，它可以提高鲁棒性分布偏移，通过结合专家知识的“高层次”的数据结构与标准分类。具体来说，我们引入两阶段分类器称为记忆分类器。首先，它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如，对于图像数据，可以使用数字图像处理算法来提取特征。然后，在每个聚类中，我们通过深度神经网络等标准模型，基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明，该方法可以提高图像数据集的泛化能力，并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
DeepLesionBrain: Towards a broader deep-learning generalization for multiple sclerosis lesion segmentation
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；Neurocentre Magendie（马让迪神经中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
最近，基于卷积神经网络（CNN）的分割方法在自动多发性硬化（MS）病变分割中表现出良好的性能。这些技术甚至在受控评估条件（例如纵向MS病变分割挑战（ISBI挑战））中优于人类专家。然而，经过训练在高度受控的数据集上表现良好的最先进的方法无法从看不见的数据集中概括临床数据。我们没有提出另一种改进分割精度的方法，而是提出了一种对域偏移具有鲁棒性并且在看不见的数据集上表现良好的新方法，称为DeepLesionBrain（DLB）。这种泛化特性主要来自三个方面。首先，DLB基于一大群紧凑的3D CNN。这种空间分布的策略确保了鲁棒的预测，尽管一些个别网络的泛化失败的风险。其次，DLB包括新的图像质量数据增强以减少对训练数据特异性的依赖性（例如，采集协议）。最后，为了学习MS病变的更一般化的表示，我们提出了分层专业化学习（HSL）。HSL是通过在整个大脑上预训练一个通用网络来执行的，然后使用其权重作为局部专用网络的初始化。为此，DLB学习在全局图像级提取的通用特征和在局部图像级提取的特定特征。在MSSEG '16、ISBI挑战和内部数据集上的跨数据集实验中验证了DLB泛化。在实验中，DLB显示出更高的分割精度，更好的分割一致性和更大的泛化性能相比，国家的最先进的方法。因此，DLB提供了一个非常适合临床实践的强大框架。
2021-07-23 cs.CV eess.IV
How Re-sampling Helps for Long-Tail Learning?
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Consumer BG, Huawei Technologies（华为技术有限公司消费者业务集团）
本文系统研究重采样在长尾学习中的作用，发现其效果受图像中不相关上下文影响，并提出上下文偏移增强模块以抑制虚假相关性，从而提升尾部类别泛化性能。
2023-10-27 cs.CV cs.LG
Exploiting DINOv3-Based Self-Supervised Features for Robust Few-Shot Medical Image Segmentation
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；University of Pennsylvania（宾夕法尼亚大学）
本文提出DINO-AugSeg框架，利用DINOv3特征结合小波域增强和上下文融合，提升小样本医学图像分割的鲁棒性。
2026-01-12 cs.CE cs.CL cs.CV
