A Feasible Framework for Arbitrary-Shaped Scene Text Recognition
Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
基于深度学习的方法在计算机视觉的经典问题之一场景文本识别（STR）中取得了令人惊讶的进展。本文提出了一个可行的多语言任意形状STR框架，包括基于实例分割的文本检测和基于语言模型的注意力机制的文本识别。我们的STR算法不仅可以识别拉丁文和非拉丁文字符，而且还支持任意形状的文本识别。我们的方法在ICDAR 2019 Robust Reading Challenge的Scene Text Spotting Task（Latin Only，Latin and Chinese）中获得了冠军。代码可在https://github.com/zhang0jhon/AttentionOCR上获得。
2019-12-12 cs.CV
A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University（上海交通大学）
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集，我们设计了一个用于中文场景字符生成的合成数据引擎，该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂，英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性，CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比，该算法具有更高的识别精度。
2016-04-07 cs.CV
Handwritten image augmentation
IIT Tirupati（蒂鲁伯蒂印度理工学院）
本研究提出一种面向手写字符图像的新型数据增强方法Handwritten augmentation，通过改变训练输入字符形状增强数据，可与CNN光学字符识别模型及常用增强技术结合，提升手写数据集上的模型性能。
2023-08-26 cs.CV
The First Swahili Language Scene Text Detection and Recognition Dataset
Huazhong University of Science and Technology（华中科技大学）
针对斯瓦希里语场景文本研究缺乏公开数据集的问题，本文构建含976张词级标注图像的数据集，并在多种检测与识别模型上评估，将其作为基准公开以促进相关研究。
2024-05-19 cs.CV
Scene Text Recognition With Finer Grid Rectification
Beijing Institute of Technology（北京理工大学）
场景文本的识别是一个具有挑战性的问题，因为不规则的风格和各种失真。本文提出了一种端到端的可训练模型，该模型由精细校正模块和双向注意力识别网络（Firbarn）组成。校正模块采用更细的网格对输入图像进行校正，双向解码器由原来的两层解码层改为一层解码层。Firbarn可以以弱监督的方式进行训练，只需要场景文本图像和相应的单词标签。通过灵活的校正和新颖的双向解码器，在标准基准测试上的广泛评估结果表明，Firbarn优于以往的工作，特别是在不规则数据集上。
2020-01-26 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications（电子信息与通信学院）；Huazhong University of Science and Technology（华中科技大学）
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构，它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比，该架构具有四个独特的属性：（1）它是端到端的可训练的，与大多数现有的算法，其组件是单独训练和调整。(2)它自然地处理任意长度的序列，不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制，在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型，这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明，该算法优于现有算法。此外，该算法在基于图像的乐谱识别任务中表现良好，这明显验证了它的通用性。
2015-07-21 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd（媒体智能技术有限公司）
场景文本识别的流行观点是从序列到序列（seq2seq）和分割。然而，前者由许多组件组成，这使得实现和部署复杂，而后者需要昂贵的字符级注释。在本文中，我们重新分类的角度来看，模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道，只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点，该模型的性能与其他观点的方法一样好。CSTR模型由CPNet（分类透视网络）和SPPN（分离卷积与全局平均池化预测网络）组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单，易于实现和部署。通过大量的实验，我们证明了分类视角对场景文本识别的有效性。此外，CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
Scene Text Recognition with Semantics
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）
场景文本识别（STR）模型近年来在基准数据集上取得了很高的性能，其中文本图像以最小的噪声呈现。传统的STR识别管道将裁剪的图像作为唯一输入，并尝试识别存在的字符。在输入图像有噪声或文本部分模糊的情况下，这种基础设施可能会失败。本文提出了使用语义信息从更大的场景上下文化预测。我们使用对象标签生成语义向量，并将此信息融合到基于transformer的架构中。结果表明，我们的多模态方法产生更高的性能比传统的基准模型，特别是在嘈杂的情况下。
2022-10-19 cs.CV cs.LG
JSTR: Judgment Improves Scene Text Recognition
FA Research（FA研究所）；Fast Accounting Co., Ltd.（快会计有限公司）
针对场景文本识别错误，本文提出JSTR，通过判断图像与文本是否匹配并分析模型误识别倾向提供显式反馈，实验证明其优于基线和现有方法。
2024-04-09 cs.AI cs.CL cs.CV
Analyzing the effectiveness of image augmentations for face recognition from limited data
Innopolis University（因诺波利斯大学）
这项工作提出了一个分析的效率图像增强的人脸识别问题，从有限的数据。我们考虑了增强的基本操作、生成方法以及它们的组合。我们的研究结果表明，增强，在一般情况下，可以大大提高人脸识别系统的质量和生成和基本方法的组合表现优于其他测试技术。
2021-05-18 cs.CV
D-Aug: Enhancing Data Augmentation for Dynamic LiDAR Scenes
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
针对现有激光雷达数据增强方法多聚焦静态场景、忽略动态场景需求的问题，提出D-Aug动态场景增强方法，通过目标提取插入、参考引导插入及像素级道路定位策略，在nuScenes数据集上验证了其在3D检测与跟踪任务上的优势。
2024-04-17 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Graph-Guided Dual-Level Augmentation for 3D Scene Segmentation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Toronto（多伦多大学）
针对现有3D点云分割增强方法忽略全局结构依赖的问题，提出带双层约束的图引导增强框架，通过局部与全局约束生成高质量场景，提升多模型分割性能。
2025-07-30 cs.CV
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
A Study of Augmentation Methods for Handwritten Stenography Recognition
Uppsala University（乌普萨拉大学）；Centre for Image Analysis（图像分析中心）
速记手写文本识别（HTR）的性能限制因素之一是少量的注释训练数据。为了缓解数据不足的问题，现代HTR方法通常采用数据增强。然而，由于速记脚本的细节，这样的设置可能不直接适用于速记识别。在这项工作中，我们研究了22个经典的增强技术，其中大部分是常用的HTR的其他脚本，如拉丁手写。通过大量的实验，我们确定了一组增强，包括例如包含的随机旋转，移位和缩放范围，这对速记识别的用例是有益的。此外，一些增强方法，导致识别性能下降，被确定。我们的研究结果得到了统计假设检验的支持。提供了到公开可用的数据集和代码库的链接。
2023-03-05 cs.CV
Learn to Augment: Joint Data Augmentation and Network Optimization for Text Recognition
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
手写文本和场景文本遭受各种形状和失真图案。因此，训练一个鲁棒的识别模型需要大量的数据来尽可能多地覆盖多样性。与数据汇集和注释相比，数据增强是一种低成本的方式。本文提出了一种新的文本图像增强方法。不同于传统的增强方法，如旋转，缩放和透视变换，我们提出的增强方法的目的是学习适当的和有效的数据增强，这是更有效的和具体的训练鲁棒识别器。通过使用一组自定义的基准点，所提出的增强方法是灵活和可控的。此外，我们通过联合学习弥合了数据增强和网络优化的孤立过程之间的差距。智能体网络从识别网络的输出中学习，并控制基准点为识别网络生成更合适的训练样本。在规则场景文本、不规则场景文本和手写文本等多种基准测试上的实验表明，本文提出的增强和联合学习方法显著提高了识别网络的性能。一个通用的几何增强工具包是可用的。
2020-03-14 cs.CV
Exploring Temporally Dynamic Data Augmentation for Video Recognition
NAVER Clova；KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；Yonsei University（延世大学）
数据增强最近已经成为视觉识别任务的现代训练配方的重要组成部分。然而，用于视频识别的数据增强尽管有效，但很少被探索。很少有现有的视频识别增强配方天真地通过将相同的操作应用于整个视频帧来扩展图像增强方法。我们的主要思想是，每个帧的增强操作的幅度需要随着时间的推移而改变，以捕捉真实世界的视频的时间变化。这些变化应该在训练期间使用更少的额外超参数尽可能多样化地生成。基于这种动机，我们提出了一个简单而有效的视频数据增强框架DynaAugment。每帧上的增强操作的幅度通过一种有效的机制来改变，即傅立叶采样，它参数化了多样、平滑和真实的时间变化。DynaAugment还包括一个扩展的搜索空间，适用于自动数据增强方法的视频。DynaAugment实验证明，在不同的视频模型上，静态增强还有额外的性能空间需要改进。具体来说，我们展示了DynaAugment在各种视频数据集和任务上的有效性：大规模视频识别（Kinetics-400和Something-Something-v2），小规模视频识别（UCF- 101和HMDB-51），细粒度视频识别（Diving-48和FineGym），Breakfast上的视频动作分割，THUMOS'14上的视频动作定位，以及MOT 17 Det上的视频目标检测。DynaAugment还使视频模型能够学习更一般化的表示，以提高模型对损坏视频的鲁棒性。
2022-06-30 cs.CV
Scene-Aware Location Modeling for Data Augmentation in Automotive Object Detection
Qualcomm AI Research（高通人工智能研究）
针对自动驾驶目标检测的数据增强，提出场景感知位置模型预测物体合理放置位置，结合生成修补，显著提升增强性能，刷新两项检测任务的最优水平。
2025-04-23 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Adverse Weather Conditions Augmentation of LiDAR Scenes with Latent Diffusion Models
University of Wuppertal（乌珀塔尔大学）；Aptiv Services Deutschland GmbH（Aptiv Services德国公司）
本文提出基于潜在扩散模型的方法，通过生成模型增强激光雷达场景在恶劣天气下的真实性，提升自动驾驶系统的鲁棒性。
2025-01-03 cs.CV
Augmentation Pathways Network for Visual Recognition
JD Explore Academy（京东探索研究院）；Harbin Institute of Technology（哈尔滨工业大学）
数据增强实际上有助于视觉识别，特别是在数据稀缺的时候。然而，这样的成功仅限于相当多的轻度增强（例如，随机裁剪、翻转）。由于原始图像和增强图像之间的巨大差距，重度增强要么不稳定，要么在训练过程中显示出不利影响。本文介绍了一种新的网络设计，称为增强路径（AP），以系统地稳定更广泛的增强策略的训练。值得注意的是，AP驯服各种沉重的数据增强和稳定地提高性能，而无需在增强策略中仔细选择。与传统的单一通路不同，增强图像在不同的神经通路中处理。主要途径处理轻的增强，而其他途径则专注于较重的增强。通过以依赖的方式与多条路径交互，骨干网络鲁棒地从增强之间共享的视觉模式中学习，同时抑制了大量增强的副作用。此外，我们将AP扩展到高阶版本的高阶场景，在实际使用中展示了它的鲁棒性和灵活性。ImageNet上的实验结果证明了在更广泛的增强上的兼容性和有效性，同时在推理时消耗更少的参数和更低的计算成本。
2023-03-16 cs.CV
Improving Attention-Based Handwritten Mathematical Expression Recognition with Scale Augmentation and Drop Attention
South China University of Technology（华南理工大学）
手写体数学表达式识别是手写体识别领域的一个重要研究方向。HMER的性能受到数学表达式（ME）的二维结构的影响。为了解决这个问题，在本文中，我们提出了一个高性能的HMER模型与规模增强和下降的注意力。具体来说，解决ME与不稳定的规模在水平和垂直方向上，规模增强提高了模型的性能在各种规模的ME。基于注意力的编码器-解码器网络用于提取特征和生成预测。此外，当解码器的注意力分布不精确时，提出丢弃注意力以进一步提高性能。与以前的方法相比，我们的方法在CROHME 2014和CROHME 2016两个公共数据集上实现了最先进的性能。
2020-07-20 cs.CV
Select-Mosaic: Data Augmentation Method for Dense Small Object Scenes
本文提出Select-Mosaic数据增强方法，通过细粒度区域选择策略改进Mosaic拼接，解决航空图像中密集小目标检测难题，显著提升模型准确性与稳定性。
2024-06-08 cs.CV
Toward Intelligent Scene Augmentation for Context-Aware Object Placement and Sponsor-Logo Integration
Birla Institute of Technology and Science（巴里尔理工学院和科学研究院）
本文提出两个新任务：情境感知的对象插入和赞助商-产品标志增强，并构建了相应数据集以支持这些任务。
2025-12-25 cs.CV
Bridging between Computer and Robot Vision through Data Augmentation: a Case Study on Object Recognition
尽管深度网络在视觉对象识别方面取得了令人印象深刻的进展，但机器人视觉仍然远未成为一个解决的问题。最成功的卷积架构是从ImageNet开始开发的，ImageNet是从Web下载的对象类别的大规模图像集合。这种图像与部署在不受约束的设置中的机器人的位置和具体的视觉体验非常不同。为了减少这两种视觉体验之间的差距，本文提出了一个简单而有效的数据增强层，缩放感兴趣的对象，并模拟机器人视觉系统的目标检测结果。该层可以与任何卷积深度架构一起使用，在三个不同的基准数据库上进行的实验中，对象识别性能提高了7%。一旦论文被接受，我们的机器人数据增强层将被公开。
2017-05-05 cs.CV
Learn2Augment: Learning to Composite Videos for Data Augmentation in Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
我们解决的问题，数据增强的视频动作识别。视频中的标准增强策略是手工设计的，并且随机地对可能的增强数据点的空间进行采样，而不知道哪些增强点会更好，或者通过随机抽样。我们建议学习是什么让一个好的视频动作识别，并只选择高质量的样本进行增强。特别是，我们选择的视频合成的前景和背景视频的数据增强过程中，这会导致多样化和现实的新样本。我们学习哪些视频对要增强，而不必实际合成它们。这减少了可能的增强的空间，这有两个优点：它节省了计算成本，并提高了最终训练分类器的准确性，因为增强对的质量高于平均水平。我们在整个训练设置范围上呈现实验结果：Few-Shot、半监督和全监督。我们观察到所有这些都比之前的工作和Kinetics，UCF 101，HMDB 51的基线有了一致的改进，并在有限数据的情况下实现了新的最先进的设置。在半监督设置中，我们看到了高达8.6%的改进。
2022-07-24 cs.CV
3D Data Augmentation for Driving Scenes on Camera
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
驾驶场景极其多样和复杂，仅凭人力无法收集所有案例。虽然数据增强是丰富训练数据的有效技术，但是用于自动驾驶应用中的相机数据的现有方法被限制于2D图像平面，这可能无法最佳地增加3D真实世界场景中的数据多样性。为此，我们提出了一个三维数据增强的方法，称为驱动器-3DAug，旨在增强驾驶场景的相机在三维空间。我们首先利用神经辐射场（NeRF）来重建背景和前景物体的3D模型。然后，通过将具有自适应位置和方向的3D对象放置在预定义的有效背景区域处，可以获得增强的驾驶场景。因此，培训数据库可以有效地扩大规模。然而，三维物体建模受到图像质量和有限视点的限制。为了克服这些问题，我们通过引入几何校正损失和具有感知能力的训练策略来修改原始NeRF。我们在Waymo和nuScences数据集上评估了我们的方法用于仅摄像头的单目3D检测任务。所提出的数据增强方法分别在Waymo和nuScences上的检测准确性方面提高了1.7%和1.4%。此外，构建的3D模型可作为数字驾驶资产，并可回收用于不同的检测器或其他3D感知任务。
2023-03-18 cs.CV
Game State Learning via Game Scene Augmentation
University of Malta（马耳他大学）
能够访问准确的游戏状态信息对于任何人工智能任务都是至关重要的，这些任务包括玩游戏、测试、玩家建模和程序内容生成。自监督学习（SSL）技术已经显示出能够从游戏镜头的高维像素输入到压缩的潜在表示中推断出准确的游戏状态信息。对比学习是一种流行的SSL范例，其中游戏图像的视觉理解来自于对比由简单图像增强方法定义的不同和相似的游戏状态。在这项研究中，我们介绍了一种新的游戏场景增强技术-命名为GameLab-利用游戏引擎来定义和合成特定的，高度控制的渲染不同的游戏状态，从而提高对比学习性能。我们测试我们的GameLab技术的CARLA驾驶模拟器环境的图像，并将其与流行的SimpleLab基线SSL方法进行比较。我们的研究结果表明，GameLab可以更准确地从游戏画面中推断出游戏的状态信息。我们提出的方法允许我们进行游戏人工智能的研究，直接利用屏幕像素作为输入。
2022-07-08 cs.CV
Mix3D: Out-of-Context Data Augmentation for 3D Scenes
RWTH Aachen University（亚琛工业大学）；NVIDIA（英伟达）；ETH AI Center（苏黎世联邦理工学院AI中心）
我们提出了Mix3D，一种用于分割大规模3D场景的数据增强技术。由于场景上下文有助于推理对象的语义，目前的工作集中在模型的大容量和感受野，可以完全捕捉输入的三维场景的全球范围内。然而，强上下文先验可能会产生有害的影响，例如将过街的行人误认为是汽车。在这项工作中，我们专注于平衡全局场景上下文和局部几何的重要性，目标是在训练集中推广上下文先验。特别是，我们提出了一种“混合”技术，通过结合两个增强场景来创建新的训练样本。通过这样做，对象实例被隐式地放置到新的上下文外环境中，因此使模型更难以单独依赖场景上下文，而是从局部结构中推断语义。我们进行了详细的分析，以了解全球背景，局部结构和混合场景的效果的重要性。在实验中，我们证明了使用Mix3D训练的模型在室内（ScanNet，S3DIS）和室外数据集（SemanticKITTI）上的性能显著提升。Mix3D可以与任何现有方法一起使用，例如，使用Mix3D训练，MinkowskiNet在ScanNet测试基准78.1 mIoU上的表现明显优于所有现有的最先进的方法。代码可在：https://nekrasov.dev/mix3d/
2021-11-29 cs.CV
Masked Language Prompting for Generative Data Augmentation in Few-shot Fashion Style Recognition
ZOZO Research（ZOZO研究院）
本文提出掩码语言提示方法，通过掩码参考描述中的词并利用大语言模型生成多样且语义连贯的图像，提升少样本时尚风格识别的性能。
2026-05-07 cs.CV
AGVBench: A Reliability-Oriented Benchmark of Data Augmentation for Vein Recognition
Chongqing Technology and Business University（重庆理工大学）；School of Engineering, Westlake University（西湖大学工程学院）；SAMOVAR, Telecom SudParis, Institute Polytechnique de Paris（SAMOVAR，Telecom SudParis，巴黎高等理工学院）；Guangzhou College of Applied Science and Technology（广州应用科学与技术学院）
提出AGVBench基准，评估30种数据增强策略在5个公开手掌/手指静脉数据集上的表现，发现多图像混合方法性能最优但校准差且易受对抗攻击，几何变换常降低识别效果，证明仅以准确率评估不足。
2026-07-28 cs.CV
StackMix and Blot Augmentations for Handwritten Text Recognition
SBER AI；OCRV；MIPT（莫斯科物理技术学院）；Lomonosov MSU（罗蒙诺索夫莫斯科国立大学）
本文提出了一个手写文本识别（HTR）系统，性能优于当前国家的最先进的方法。比较进行了三个themost最常用的HTR任务数据集，即边沁，IAM和圣加仑。此外，还提供了两个最近提出的数据集，彼得大帝手稿和HKR数据集的结果。本文描述了神经网络的架构和两种增加训练数据量的方法：模拟删除线文本的增强（手写印迹）和一种新的文本生成方法（StackMix），它在HTR任务中被证明是非常有效的。StackMix也可以应用于基于打印文本生成手写文本的独立任务。
2021-08-26 cs.CV
InstaIndoor and Multi-modal Deep Learning for Indoor Scene Recognition
University of Groningen（格罗宁根大学）
室内场景识别是一个不断发展的领域，在行为理解、机器人定位和老年人监控等方面具有巨大潜力。在这项研究中，我们从一个新的角度来处理场景识别的任务，使用多模态学习和从社交媒体收集的视频数据。社交媒体视频的可访问性和多样性可以为现代场景识别技术和应用提供真实的数据。我们提出了一种基于融合转录语音到文本和视觉特征的模型，该模型用于对名为InstaIndoor的室内场景的社交媒体视频的新数据集进行分类。我们的模型实现了高达70%的准确率和0.7 F1分数。此外，我们还通过对YouTube-8 M室内场景子集进行基准测试，突出了我们方法的潜力，它实现了74%的准确率和0.74 F1分数。我们希望这项工作的贡献铺平了道路，在具有挑战性的室内场景识别领域的新的研究。
2021-12-23 cs.CV
Deep learning for scene recognition from visual data: a survey
University of Groningen（格罗宁根大学）
深度学习技术的使用在过去几年中呈爆炸式增长，对人工智能领域做出了直接贡献。这项工作的目的是回顾最先进的场景识别与深度学习模型从视觉数据。场景识别是计算机视觉中的一个新兴领域，目前已从单图像和动态图像的角度进行了研究。我们首先概述了用于图像和视频场景识别的可用数据集。后来，我们描述了集成技术在该领域的研究论文。最后，我们对我们的研究结果发表了一些评论，并讨论了我们认为该领域的挑战和未来的研究方向。本文旨在成为未来的指导模型选择的任务，场景识别。
2020-07-03 cs.CV
Octave Mix: Data augmentation using frequency decomposition for activity recognition
Graduate School of Engineering（研究生院）；University of Fukui（福井大学）
在活动识别的研究领域，虽然很难收集大量的测量传感器数据，但关于数据增强（DA）的讨论还不多。在这项研究中，我提出了Octave Mix作为一种新的基于传感器的活动识别的综合风格的DA方法。Octave Mix是一种简单的DA方法，它通过使用频率分解将低频和高频波形交叉来组合两种类型的波形。此外，我提出了一个DA集成模型及其训练算法，以获得对原始传感器数据的鲁棒性，同时保持各种各样的特征表示。我进行了实验，以评估我提出的方法使用四个不同的基准数据集的基于感知的活动识别的有效性。因此，我提出的方法达到了最佳的估计精度。此外，我发现，集成两个DA策略：Octave Mix with rotation和mixup with rotation，可以实现更高的精度。
2021-01-08 cs.CV
FOSNet: An End-to-End Trainable Deep Neural Network for Scene Recognition
Yonsei University（延世大学）
场景识别是一个图像识别问题，旨在预测图像拍摄地点的类别。提出了一种基于卷积神经网络（CNN）的场景识别方法。该方法基于图像中目标和场景信息的融合，将CNN框架称为FOS（fusion of object and scene）Net。此外，提出了一种新的损失-场景相干损失（SCL），用于训练FOSNet，提高场景识别性能。提出的SCL是基于独特的特点，场景的“场景”传播和场景类不改变整个图像。建议的FOSNet实验与三个最流行的场景识别数据集，并在两组中获得他们的国家的最先进的性能：60.14%的地方2和90.37%的麻省理工学院室内67。在SUN 397上获得了第二高的77.28%的性能。
2019-07-18 cs.CV
Semantic-Aware Scene Recognition
Universidad Autónoma de Madrid（马德里自治大学）
场景识别是当前计算机视觉中最具挑战性的研究领域之一。这可能是由于类之间的模糊性：几个场景类的图像可能共享相似的对象，这导致它们之间的混淆。当特定场景类的图像明显不同时，该问题加剧。卷积神经网络（CNN）已经显著提高了场景识别的性能，尽管它仍然远远低于其他识别任务（例如，对象或图像识别）。在本文中，我们描述了一种新的方法，场景识别的基础上，端到端的多模态CNN，结合图像和上下文信息的注意力模块。上下文信息，在语义分割的形式，用于门的特征提取的RGB图像，通过利用在语义表示编码的信息：场景对象和东西的集合，以及它们的相对位置。该门控过程通过将CNN的感受野重新聚焦到指示性场景内容来加强对指示性场景内容的学习并增强场景消歧。在四个公开数据集上的实验结果表明，该方法在显著减少网络参数数量的同时，性能优于其他所有最先进的方法。本文中使用的所有代码和数据都可以在https://github.com/vpulab/Semantic-Aware-Scene-Recognition上获得
2020-01-22 cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对自监督骨骼动作识别中强增强导致训练不稳定的问题，提出HiCLR框架，通过渐进增强、有序正样本对和非对称定向聚类损失实现层次一致性，并在NTU60、NTU120和PKUMMD上显著超越现有方法。
2023-07-10 cs.CV
Object-to-Scene: Learning to Transfer Object Knowledge to Indoor Scene Recognition
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Western Australia（西澳大学）
对周围场景的准确感知有助于机器人做出合理的判断和行为。因此，开发有效的场景表示和识别方法在机器人技术中具有重要意义。目前，大量的研究集中在开发新的辅助特征和网络，以提高室内场景识别能力。然而，很少有人关注于直接构建室内场景识别的对象特征和关系。本文分析了现有室内场景识别方法的不足，提出了一种基于对象到场景（OTS）的室内场景识别方法。提出的OTS首先提取的分割网络和建议的对象特征聚合模块（OFAM）的基础上的对象特征。然后，对象关系的计算和场景表示构建的基础上提出的对象注意力模块（OAM）和全局关系聚合模块（ORM）。这项工作的最终结果表明，OTS成功地从分割网络中提取对象特征并学习对象关系。此外，OTS优于国家的最先进的方法超过2%的室内场景识别，而无需使用任何额外的流。代码可在https://github.com/FreeformRobotics/OTS上公开获取。
2021-08-01 cs.CV
A Robust Indoor Scene Recognition Method based on Sparse Representation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
在本文中，我们提出了一个强大的场景识别方法，它利用卷积神经网络（CNN）的功能和稀疏编码设置，通过创建一个新的表示室内场景。虽然CNN在计算机视觉和模式识别领域受益匪浅，但卷积层在全局方法上调整权重，这可能导致丢失重要的局部细节，如对象和小结构。我们提出的场景表示依赖于两个：全球功能，主要是指环境的结构，和本地功能，稀疏地结合起来，捕捉一个给定的场景中的常见对象的特性。这种新的表示基于场景的片段，并利用CNN提取的特征。实验评估表明，所得到的表示优于以前的场景识别方法Scene15和MIT67数据集上，并在SUN397上具有竞争力，同时对输入图像中的扰动（如噪声和遮挡）具有很强的鲁棒性。
2017-08-24 cs.CV
Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich（苏黎世联邦理工学院）；UCSD（加州大学圣迭戈分校）
在领域泛化中，从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中，我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符，共同捕捉细粒度的场景之间的细微差别，同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模，捕获每个场景中每个对象的信息量和可辨别性。然后，我们将这种情况转化为场景概率为每个场景图像。其次，我们认为，场景图像属于隐藏的语义主题，可以通过聚类我们的语义描述符发现。为了评估所提出的方法，我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明，所提出的方法在细粒度场景转换方面的有效性，优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
AugmentGest: Can Random Data Cropping Augmentation Boost Gesture Recognition Performance?
Computer Vision Lab, CAIDAS, University of Würzburg, Germany（计算机视觉实验室，CAIDAS，乌尔姆大学）
本文提出融合随机裁剪、几何与强度变换的 AugmentGest 增强框架，将数据扩充四倍，并在多个模型与基准上验证其显著提升手势及动作识别泛化性。
2025-06-08 cs.CV
Contextual Scene Augmentation and Synthesis via GSACNet
FHL Vive Center for Enhanced Reality, University of California, Berkeley（加州大学伯克利分校FHL Vive增强现实中心）；XR Lab, Department of Architecture, University of California, Berkeley（加州大学伯克利分校建筑系XR实验室）
室内场景增强已成为计算机视觉和图形学领域的一个新兴课题，在增强现实和虚拟现实中有着广泛的应用。然而，使用深度神经网络的当前最先进的系统需要大的数据集用于训练。在本文中，我们介绍GSACNet，上下文场景增强系统，可以用有限的场景先验进行训练。GSACNet利用一种新的参数化数据增强方法，结合图形注意力和暹罗网络架构，然后是自动编码器网络，以方便小数据集的训练。我们通过在Matterport3D数据集上进行消融和与替代系统的比较研究来展示我们所提出的系统的有效性。我们的研究结果表明，我们的场景增强优于现有技术的场景合成有限的场景先验。
2021-03-29 cs.AI cs.CV cs.GR
Edge Augmentation for Large-Scale Sketch Recognition without Sketches
Czech Technical University in Prague（布拉格捷克理工大学）
这项工作解决了将草图分类任务扩展到大量类别的问题。收集用于训练的草图是一个缓慢而乏味的过程，到目前为止，还没有任何大规模草图识别的尝试。我们克服了缺乏训练草图数据，利用标记的自然图像，更容易获得的集合。为了弥合领域差距，我们提出了一种新的增强技术，是专为学习素描识别的任务，从训练集的自然图像。在边缘检测和边缘选择的参数中引入了随机性。将自然图像转换为称为“随机化二进制薄边缘”（rBTE）的伪新颖域，该域用作训练域而不是自然图像。通过训练基于CNN的草图识别，证明了其扩展能力，其类别数量是以前使用的2.5倍以上。为此目的，从874个类别的自然图像的数据集是通过结合一些流行的计算机视觉数据集构建的。选择适合于草图识别的类别。为了评估性能，还收集了393个带有草图的类别子集。
2022-06-02 cs.CV
Applying Data Augmentation to Handwritten Arabic Numeral Recognition Using Deep Learning Neural Networks
University of Asia Pacific（亚太大学）
手写体字符识别一直是模式识别和人工智能领域的研究中心和基准问题，并且仍然是一个具有挑战性的研究课题。由于其巨大的应用，在这一领域已经做了许多工作，侧重于不同的语言。阿拉伯语作为一种多元化的语言，有着巨大的研究范围和潜在的挑战。本文提出了一种用于识别阿拉伯语手写数字的卷积神经网络模型，其中数据集受到各种增强，以增加深度学习方法所需的鲁棒性。所提出的方法是授权的辍学正则化的存在，以消除数据过拟合的问题。此外，在激活函数中引入适当的变化，克服了梯度消失的问题。通过这些修改，所提出的系统实现了99.4\%的准确性，比以前的数据集上的任何工作都要好。
2022-09-08 cs.CV
OOD Augmentation May Be at Odds with Open-Set Recognition
Sharif University of Technology（谢里夫理工大学）
尽管在图像分类方法的进步，检测不属于训练类的样本仍然是一个具有挑战性的问题。近年来，人们对这一课题产生了极大的兴趣，称之为开集识别（OSR）。在OSR中，目标是实现分类和检测分布外（OOD）样本。已经提出了一些想法，通过复杂的技术，进一步推动实证结果。我们认为，这种复杂性确实是没有必要的。为此，我们已经证明，最大软最大概率（MSP）作为OSR的最简单基线，应用于视觉Transformer（ViTs）作为使用非OOD增强训练的基础分类器，可以令人惊讶地优于许多最近的方法。非OOD扩充是指不会对数据分布造成太大改变的扩充。我们的结果优于CIFAR-10数据集的最新技术，也优于SVHN和MNIST中的大多数当前方法。我们表明，训练增强对OSR任务中ViTs的性能有显着影响，虽然它们应该在增强样本中产生显着的多样性，但生成的样本OOD性必须保持有限。
2022-06-09 cs.CV
Exploring Racial Bias within Face Recognition via per-subject Adversarially-Enabled Data Augmentation
Durham University（杜伦大学）；COSMONiO
虽然人脸识别应用在我们的日常生活中变得越来越普遍，但该领域的主要方法仍然存在性能偏见，这对社会中的一些种族形象造成了损害。在这项研究中，我们提出了一种新的对抗性派生数据增强方法，旨在通过使用图像到图像的转换来转移敏感的种族特征面部特征，从而在每个受试者的水平上实现数据集平衡。我们的目标是自动构建一个合成的数据集，通过变换不同种族域的面部图像，同时仍然保留身份相关的功能，使种族依赖的功能，随后成为无关的主题身份的确定。我们构建了三个重要的人脸识别变体的实验：Softmax，CosFace和ArcFace损失在一个共同的卷积神经网络骨干。在并排比较中，我们显示了我们所提出的技术可以通过减少性能的赛前方差对最初不平衡的训练数据集中的（种族）少数群体的识别性能产生积极影响。
2020-04-19 cs.CV
Object Activity Scene Description, Construction and Recognition
Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
动作识别是社交机器人有意义地参与其环境的关键任务。基于人脸的三维人体动作识别是近年来的一个研究热点。虽然现有的方法在动作识别方面做得很好，但要识别活动场景中的一组动作是一个很大的挑战。为了解决这个问题，首先，我们划分成几个基本动作（PA）的运动注意力机制的基础上的场景。然后，基元动作由相应关节的轨迹向量描述。在此基础上，基于词嵌入的文本分类，我们采用卷积神经网络（CNN）识别活动场景，考虑到关节的运动作为“词”的活动。在人体活动场景数据集上的实验结果表明了该方法的有效性。
2018-05-01 cs.CV
Meta Approach to Data Augmentation Optimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
数据增强策略可以大幅提高图像识别任务的性能，尤其是当策略针对目标数据和任务进行优化时。在本文中，我们提出了优化图像识别模型和数据增强的政策，同时提高性能使用梯度下降。与以往的方法不同，我们的方法避免了使用代理任务或减少搜索空间，并可以直接提高验证性能。我们的方法实现了有效的和可扩展的训练近似的隐式梯度的政策与诺依曼级数近似的梯度。我们证明了我们的方法可以提高各种图像分类任务的性能，包括ImageNet分类和细粒度识别，而不需要使用特定于机器人的超参数调整。
2020-06-14 cs.CV
MixCut:A Data Augmentation Method for Facial Expression Recognition
College of Electronics Engineering, Heilongjiang University（黑龙江大学电子工程学院）
针对面部表情识别训练样本少导致分类准确率低的问题，提出结合像素插值与随机正方形区域像素移除的MixCut数据增强方法，在Fer2013Plus和RAF-DB数据集上准确率优于多种现有增强方法。
2024-05-17 cs.CV
ASK: Adaptively Selecting Key Local Features for RGB-D Scene Recognition
室内场景图像通常包含分散的对象和各种场景布局，这使得RGB-D场景分类成为一项具有挑战性的任务。现有的方法在对具有较大空间变化的场景图像进行分类时仍然存在局限性。因此，如何仅使用图像标签有效地提取局部块级特征仍然是RGB-D场景识别的一个开放问题。在本文中，我们提出了一个有效的框架RGB-D场景识别，自适应地选择重要的本地功能，以捕捉场景图像的巨大空间变化。具体来说，我们设计了一个可微局部特征选择（DLFS）模块，它可以提取适当数量的关键局部场景相关特征。可以使用DLFS模块从空间相关的多模态RGB-D特征中选择有区别的局部主题级和对象级表示。我们利用RGB和深度模态之间的相关性，为选择局部特征提供更多线索。为保证局部特征的区分性，提出了变分互信息损失最大化方法.此外，DLFS模块可以很容易地扩展到选择不同尺度的本地特征。通过连接局部无序和全局结构化多模态特征，所提出的框架可以在公开的RGB-D场景识别数据集上实现最先进的性能。
2021-10-14 cs.CV
Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Institute of Automation, CAS（中国科学院自动化研究所）；DIDI（滴滴）
本文针对数据增强在提升封闭集识别的同时损害开放集识别的问题，提出非对称蒸馏框架，并结合互信息损失与选择性重标记，在多个数据集上取得优于SOTA的开放集识别性能。
2024-04-28 cs.CV
Rethinking Text-to-Image as Semantic-Aware Data Augmentation for Indoor Scene Recognition
University of Science, VNU-HCM, Vietnam（越南国立大学胡志明市理科大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）
针对室内图像数据不足，提出利用稳定扩散生成合成图像进行数据增强，并通过扩散重建误差防止滥用，在MIT室内场景数据集上验证了有效性。
2026-06-18 cs.CV
