Fourier Document Restoration for Robust Document Dewarping and Recognition
Nanyang Technological University（南洋理工大学）；ByteDance（字节跳动）
最先进的文档去扭曲技术学习预测文档的3维信息，当处理具有不规则失真或深度变化大的文档时，这些文档容易出错。本文介绍了FDRNet，一个傅立叶文档恢复网络，可以恢复不同失真的文档，并以可靠和简单的方式提高文档识别。FDRNet专注于傅立叶空间中的高频分量，这些分量捕获了大多数结构信息，但在外观上基本上没有退化。它通过一个灵活的薄板样条变换，可以有效地处理各种变形，而不需要在训练中变形注释的文件去扭曲。这些特征允许FDRNet从少量简单标记的训练图像中学习，学习的模型可以对具有复杂几何失真的文档进行变形，并准确识别恢复的文本。为了便于文档恢复研究，我们创建了一个基准数据集，由一千多个具有不同类型的几何和光度失真的相机文档组成。大量的实验表明，FDRNet在去扭曲和文本识别任务上的性能都大大优于最先进的技术。此外，FDRNet只需要少量简单标记的训练数据，易于部署。
2022-03-18 cs.CV
Portmanteauing Features for Scene Text Recognition
Nanyang Technological University（南洋理工大学）
场景文本图像具有不同的形状并且经受各种失真，例如透视失真。为了应对这些挑战，最先进的方法依赖于连接到文本识别网络的校正网络。它们形成了一个线性管道，对所有输入图像进行文本校正，即使是不使用它也可以识别的图像。毫无疑问，校正网络提高了整体文本识别性能。然而，在某些情况下，校正网络会在图像上产生不必要的失真，从而导致在没有它的情况下本来是正确的图像中的错误预测。为了减轻不必要的失真，提出了特征的组合。受合成词的启发，合成特征是包含来自原始文本图像和校正图像的信息的特征。为了生成组合特征，提出了一种具有分块矩阵初始化的非线性输入流水线。在这项工作中，Transformer被选为识别网络，由于其利用的注意力和固有的并行性，它可以有效地处理组合特征。所提出的方法进行了检查6基准和13个国家的最先进的方法进行比较。实验结果表明，该方法优于国家的最先进的方法在各种基准。
2022-11-09 cs.CV
Recognition-Aware Learned Image Compression
已知的图像压缩方法通常优化速率失真损失，以增加的比特率来权衡视觉失真的改善。然而，越来越多的压缩图像被用作深度学习网络的输入，用于各种任务，如分类，对象检测和超分辨率。我们提出了一种具有识别意识的学习压缩方法，该方法优化了率失真损失以及特定于任务的损失，联合学习压缩和识别网络。我们使用EfficientNet识别模型增强了基于分层自动编码器的压缩网络，并使用两个超参数在失真、比特率和识别性能之间进行权衡。我们的特征的分类准确性，我们提出的方法作为比特率的函数，并发现，对于低比特率，我们的方法实现高达26%的识别准确率在同等比特率相比，传统的方法，如更好的便携式图形（BPG）。
2022-02-01 cs.CV eess.IV
Autonomous Removal of Perspective Distortion for Robotic Elevator Button Recognition
The Chinese University of Hong Kong（香港中文大学）
电梯按钮识别被认为是使移动机器人能够自主电梯操作的不可或缺的功能。然而，由于不利的图像条件和各种图像失真，识别精度仍有待提高。在本文中，我们提出了一种新的算法，可以自主校正的电梯面板图像的透视失真。该算法首先利用高斯混合模型（GMM）进行基于按钮识别结果的网格拟合过程，然后利用估计的网格中心作为参考特征来估计相机运动，以校正透视失真。该算法无需特征检测或特征匹配过程，对噪声和离群点的鲁棒性优于传统的基于特征的几何方法。为了验证该算法的有效性，我们收集了一个电梯面板数据集的50个图像从不同的视角拍摄。实验结果表明，该算法能准确估计摄像机运动，有效去除透视畸变。
2019-12-26 cs.CV cs.RO eess.IV
DaliID: Distortion-Adaptive Learned Invariance for Identification Models
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
在不受约束的场景中，人脸识别和人员重新识别会受到诸如运动模糊、大气湍流或上采样伪影等失真的影响。为了提高在这些情况下的鲁棒性，我们提出了一种称为失真自适应学习不变性识别（DaliID）模型的方法。我们认为，失真增强，降低图像质量，可以成功地利用到更大的程度比文献中所示。借助于自适应加权计划，在训练过程中，在严重的水平上应用一种新的失真增强。这种训练策略增加了特征级对失真的不变性，并减少了向无约束场景的域转移。在推理时，我们使用来自并行模型的特征的幅度加权融合来保持图像范围内的鲁棒性。DaliID模型在包括IJB-S、TinyFace、DeepChange和MSMT 17在内的七个基准数据集上实现了最先进的人脸识别和人员重新识别（SOTA）。此外，我们还提供了在750米以上距离处重新捕获的评估数据，并在真实的长距离人脸图像上进行了进一步验证。
2023-02-11 cs.CV
Sensitivity of sparse codes to image distortions
Princeton University（普林斯顿大学）
稀疏编码已经被提出作为视觉皮层的理论和作为学习表示的无监督算法。我们用MNIST数据集的经验表明，稀疏代码对图像失真非常敏感，这种行为可能会阻碍不变对象识别。局部线性分析表明，灵敏度是由于存在的线性组合的积极字典元素与高取消。最近邻分类器的稀疏代码比原始图像执行更差。对于具有足够大数量的标记示例的线性分类器，稀疏代码显示出比原始图像更高的精度，但不高于由随机前馈网络计算的表示。对失真的敏感性似乎是稀疏码的一个基本属性，当将稀疏码应用于不变对象识别时，应该意识到这个属性。
2022-04-15 cs.CV
Manifold-Kernels Comparison in MKPLS for Visual Speech Recognition
语音识别是一个具有挑战性的问题。由于声学的限制，使用视觉信息是必不可少的，以提高在现实生活中的无约束的情况下的识别精度。一种常见的方法是将视觉识别建模为非线性优化问题。测量视觉单位之间的距离对于解决这个问题至关重要。将视觉单位嵌入流形并使用流形核是测量这些距离的一种方法。这项工作的目的是评估性能的几个流形内核解决视觉语音识别的问题。我们展示了每个内核背后的理论。我们应用流形核偏最小二乘框架OuluVs和AvLetters数据库，并显示所有内核之间的经验比较。这个框架提供了一种方便的方式来探索不同的内核。
2016-01-22 cs.CV
Visual Recognition by Request
Tsinghua University（清华大学）；Huawei Inc.（华为公司）
人类具有无限粒度的视觉语义识别能力，但现有的视觉识别算法无法实现这一目标。在本文中，我们建立了一个新的范式命名为视觉识别的请求（ViRReq），以弥补这一差距。关键在于将视觉识别分解为命名为请求的原子任务，并利用知识库（分层和基于文本的字典）来辅助任务定义。ViRReq允许（i）从高度不完整的注释中学习复杂的整体-部分层次结构，以及（ii）以最小的努力插入新概念。我们还建立了一个坚实的基线，通过集成语言驱动的识别到最近的语义和实例分割方法，并证明其灵活的识别能力，CPP和ADE 20 K，两个数据集与层次整体部分注释。
2022-12-10 cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University（中部大学）
在深度神经网络的推理过程中，人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中，视觉解释用于解释决策过程是更加困难的，因为它不仅需要考虑空间信息，而且还需要考虑时间信息，这与静止图像的情况不同。在本文中，我们提出了一种视觉解释方法称为时空注意分支网络（ST-ABN）的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性，并将其应用于识别处理，以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明，ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
Visualizing and Alleviating the Effect of Radial Distortion on Camera Calibration Using Principal Lines
National Yang Ming Chiao Tung University（国立阳明交通大学）
为相机校准准备合适的图像对于获得准确的结果至关重要。在本文中，新的建议，准备这样的数据，以减轻不利影响的径向失真的校准程序，使用主线是通过调查：（i）识别图像中的棋盘移动的方向，其将导致最大的（ii）在（i）使用上述主线中检查这种效应的对称性和单调性。因此，建议主点的估计应该基于线性独立的近似平行的主线对，其中每对中的一个成员对应于另一个的近似180度旋转（在图像平面中）。实验结果表明，更强大的和一致的校准结果，上述估计，实际上可以获得相比，著名的代数方法，估计失真参数显式。
2022-06-28 cs.CV
A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors
University of Minnesota Twin Cities（明尼苏达大学双城分校）
地点识别是同时定位与地图构建（SLAM）算法的核心组成部分。特别是在视觉SLAM系统中，通过测量表示这些位置的图像之间的外观相似性来识别先前访问过的地方。然而，这样的方法对视觉外观变化敏感，并且在计算上也可能是昂贵的。在本文中，我们提出了另一种方法，适应激光雷达描述符的三维点从立体视觉里程计的地方识别。3D点可能比2D视觉线索更可靠（例如，2D特征）对抗环境变化（例如，可变照明），并且这可以有益于长期部署场景中的视觉SLAM系统。立体-视觉里程计生成具有绝对比例的3D点，这使我们能够使用LiDAR描述符进行高计算效率的位置识别。通过对标准基准数据集的广泛评估，我们证明了使用3D点进行2D方法识别的准确性，效率和鲁棒性。
2020-07-26 cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference
KAIST（韩国科学技术院）
提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。
2026-06-18 cs.CV
Mid-level Representation for Visual Recognition
Università degli Studi di Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
视觉识别是人工智能的基本挑战之一，其目标是理解视觉数据的语义。特别是采用中级表征，改变了视觉识别的范式。中级图像/视频表示涉及发现和训练一组中级视觉模式（例如，部分和属性）并利用它们来表示给定的图像/视频。利用视觉现象的运动和外观信息，可以从图像和视频中提取中间模式。本论文的目标是采用中级表示不同的高级视觉识别任务，即（i）图像理解和（ii）视频理解。在图像理解的情况下，我们专注于目标检测/识别任务。我们研究发现和学习一组中级补丁用于表示对象类别的图像。我们特别采用的判别补丁的子类感知的webly监督的方式。此外，我们还研究了采用基于子类的模型消除数据集偏倚所提供的结果。
2015-12-23 cs.CV
LRS3-TED: a large-scale dataset for visual speech recognition
University of Oxford（牛津大学）
本文介绍了一种新的多模态数据集的视觉和视听语音识别。它包括超过400小时的TED和TEDx视频的面部轨迹，以及相应的字幕和单词对齐边界。与其他可用于一般研究的公共数据集相比，新数据集的规模要大得多。
2018-10-28 cs.CV
ViDA-UGC: Detailed Image Quality Analysis via Visual Distortion Assessment for UGC Images
Media Evaluation Lab, ByteDance Inc.（字节跳动公司媒体评估实验室）
本文构建了首个UGC图像视觉失真评估指令微调数据集ViDA-UGC及基准ViDA-UGC-Bench，并提出基于思维链的失真评估框架，通过引导GPT-4o识别分析UGC失真生成详细质量描述，显著提升多个多模态大模型的图像质量分析能力。
2025-08-18 cs.CV
Deep Visual City Recognition Visualization
Delft University of Technology（代尔夫特理工大学）
了解城市在视觉上的差异对规划者、居民和历史学家来说是很有趣的。我们研究了由卷积神经网络（CNN）学习的用于城市识别的深度特征的解释。给定一个经过训练的城市识别网络，我们首先使用已知的Grad-CAM技术生成加权掩模，并选择图像中最具歧视性的区域。由于图像分类标签是城市名称，它不包含对象的信息，是类歧视，我们研究了两种方法的深层表示的可解释性。(i)采用无监督的方法对视觉解释中出现的对象进行聚类。(ii)一个预先训练好的语义分割模型被用来在像素级标记对象，然后我们引入统计措施来定量评估区分对象的可解释性。研究了网络结构和随机初始化对CNN特征在城市识别中的可解释性的影响。结果表明，网络结构会影响学习的视觉表征的可解释性大于不同的初始化。
2019-05-06 cs.CV
Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features
KAIST（韩国科学技术院）；NAVER Corp.（NAVER公司）；Upstage（Upstage公司）
语言知识通过提供语义来细化字符序列，为场景文本识别带来了巨大的好处。然而，由于语言知识已被单独应用于输出序列，以前的方法没有充分利用语义来理解文本识别的视觉线索。本文介绍了一种新的方法，称为多模态文本识别网络（MATRN），使视觉和语义特征之间的相互作用，以更好的识别性能。具体来说，MATRN识别视觉和语义特征对，并将空间信息编码为语义特征。在空间编码的基础上，通过参照其他模态中的相关特征来增强视觉和语义特征。此外，MATRN通过在训练阶段隐藏与字符相关的视觉线索来刺激将语义特征结合到视觉特征中。我们的实验表明，MATRN实现国家的最先进的性能在七个基准与大利润率，而天真的两种方式的组合显示不太有效的改进。进一步的烧蚀研究证明了我们提出的组件的有效性。我们的实现可以在https://github.com/wp03052/MATRN上获得。
2022-08-13 cs.CV
Visual Analysis Motivated Rate-Distortion Model for Image Coding
Peking University（北京大学）
针对像素保真度指标进行优化的现有图像编解码器压缩的图像在用于视觉分析任务时面临系统性挑战，特别是在低比特率编码下。提出了一种基于视觉分析的通用视频编码（VVC）帧内压缩率失真模型。该模型有两个主要贡献，一个新的速率分配策略和一个新的失真测量模型。我们首先提出机器感兴趣区域（ROIM）来评估视觉分析中每个编码树单元（CTU）的重要程度。然后，提出了一种新的CTU级比特分配模型的基础上ROIM和各CTU的局部纹理特征。在深入分析多种失真模型的基础上，通过提取编码单元的深层特征，提出了一种视觉分析友好的失真准则。为了缓解在计算每个CU的失真时缺乏空间上下文信息的问题，我们最后提出了一种多尺度特征失真（MSFD）度量，该度量通过对每个尺度中提取的深度特征进行加权来使用不同的相邻像素。大量的实验结果表明，在图像分类、目标检测和语义分割等几个典型的视觉分析任务中，在相同的分析性能下，该方案可以节省高达28.17%的比特率.
2021-04-21 cs.CV eess.IV
Visual Speech Recognition
Mu'tah University（穆塔大学）
唇读是用来理解或解释讲话没有听到它，一种技术，特别是掌握了听力困难的人。唇读的能力使听力障碍者能够与他人沟通并参与社会活动，否则这将是困难的。计算机视觉、模式识别和信号处理领域的最新进展使得人们对自动化唇读这一具有挑战性的任务越来越感兴趣。事实上，将人类的唇读能力自动化，这一过程被称为视觉语音识别（VSR）（有时也称为语音阅读），可以为其他新颖的相关应用打开大门。在过去的十年中，VSR由于其在诸如人机交互（HCI）、视听语音识别（AVSR）、说话人识别、说话人头像、手语识别和视频监控等应用中的潜在用途而受到了极大的关注。它的主要目的是通过只使用语音过程中产生的视觉信号来识别口语单词。因此，VSR处理语音的视觉域，并且涉及图像处理、人工智能、目标检测、模式识别、统计建模等。
2014-09-03 cs.CV
Doubly Right Object Recognition: A Why Prompt for Visual Rationales
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
许多视觉识别模型仅根据其分类准确性进行评估，这是一个他们获得强大性能的指标。在本文中，我们调查是否计算机视觉模型也可以提供正确的理由，他们的预测。我们提出了一个“双重权利”的对象识别基准，其中的度量要求模型同时产生正确的标签以及正确的理由。我们发现，最先进的视觉模型，如CLIP，往往提供不正确的理由，他们的分类预测。然而，通过将基本原理从语言模型转移到视觉表示中，通过定制的数据集，我们表明我们可以学习“为什么提示”，它适应大型视觉表示以产生正确的基本原理。可视化和实证实验表明，除了zero-shot传输到看不见的任务和数据集外，我们的提示显着提高了双右对象识别的性能。
2023-03-22 cs.CV
URIE: Universal Image Enhancement for Visual Recognition in the Wild
POSTECH（浦项工科大学）
尽管在视觉识别方面取得了巨大的进步，但人们已经看到，在普通数据集的干净图像上训练的识别模型对现实世界中的失真图像并不鲁棒。为了解决这个问题，我们提出了一个通用的和友好的图像增强网络，称为URIE，它被附加在现有的识别模型之前，并增强失真的输入，以提高其性能，而无需重新训练它们。URIE是通用的，因为它旨在处理图像退化的各种因素，并与任何任意识别模型相结合。此外，它是简化友好的，因为它被优化以提高以下识别模型的鲁棒性，而不是输出图像的感知质量。我们的实验表明，URIE可以处理各种和潜在的图像失真，并提高现有模型的性能，为五个不同的识别任务时，输入图像退化。
2020-07-24 cs.CV
LPTR-AFLNet: Lightweight Integrated Chinese License Plate Rectification and Recognition Network
Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（湖北水利水电工程智能视觉监测重点实验室，中国三峡大学）；College of Computer and Information Technology, China Three Gorges University（计算机与信息学院，中国三峡大学）；Hubei Key Laboratory of Digital Finance Innovation（湖北省数字金融创新重点实验室）；School of Information Engineering, Hubei University of Economics（信息工程学院，湖北经济学院）
提出一种轻量级统一网络LPTR-AFLNet，结合透视变换校正模块和优化后的AFLNet识别网络，利用识别输出作为弱监督信号引导校正，并改进注意力模块和采用Focal Loss，实现高效准确的车牌校正与识别。
2026-05-29 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所智能软件研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室）；State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题，本文提出CMFN，通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息，达到与SOTA相当的性能。
2024-01-18 cs.CV
Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition
University of Science and Technology of China（中国科学技术大学）；HERE Technologies（HERE科技公司）
视频帧中的视觉属性，如特征对象和场景的存在，为视频中的动作识别提供了大量信息。以单个2D视频帧作为输入，由于2D CNN中的参数较少，因此可以使用比当前具有时空滤波器的3D CNN更复杂的卷积神经网络来有效地和高效地实现视觉属性提取。提出了一种基于视觉属性增强的三维CNN（A3D）框架，将视觉属性（包括检测、编码和分类）集成到多流三维CNN中，用于裁剪视频中的动作识别。视觉属性流水线包括目标检测网络、属性编码网络和分类网络。我们提出的A3D框架在HMDB51和UCF101数据集上都达到了最先进的性能。
2018-05-08 cs.CV
DeepCorrect: Correcting DNN models against Image Distortions
近年来，深度神经网络（DNN）的广泛使用促进了计算机视觉任务（如图像分类和对象识别）性能的极大提高。在大多数现实的计算机视觉应用中，输入图像在图像获取或传输期间经历某种形式的图像失真，诸如模糊和加性噪声。在原始图像上训练的深度网络在测试这种失真时表现不佳。在本文中，我们评估了高斯模糊和加性噪声等图像失真对预训练卷积滤波器激活的影响。我们提出了一个度量来识别最易受噪声影响的卷积滤波器，并按照校正后分类精度的最高增益对它们进行排名。在我们提出的称为DeepCorrect的方法中，我们在这些排名滤波器的输出端应用具有剩余连接的卷积层的小堆栈，并对它们进行训练，以纠正受最严重失真影响的滤波器激活，同时保持网络中其余的预训练滤波器输出不变。性能结果表明，将DeepCorrect模型应用于常见的视觉任务，如图像分类（ImageNet），对象识别（Caltech-101，Caltech-256）和场景分类（SUN-397），显着提高了DNN对失真图像的鲁棒性，并优于其他替代方法。
2019-04-09 cs.CV
Visual Place Representation and Recognition from Depth Images
USTHB University（阿尔及利亚科技大学）
本文提出了一种基于场景结构的场所识别方法。从深度视频，我们计算的3D模型，我们推导和几何描述的2D地图，从场景描述符推导出构成该算法的核心。实验结果表明了该描述子的有效性和对场景外观变化和光照变化的鲁棒性。
2021-12-27 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Shaping Visual Representations with Attributes for Few-Shot Recognition
Nanjing University（南京大学）
Few-Shot识别的目标是在低数据条件下识别新类别。一些最近的Few-Shot识别方法引入了辅助语义模态，即，类别属性信息引入到表示学习中，增强了特征区分度，提高了识别性能。现有的这些方法大多只考虑支持集的属性信息而忽略查询集，导致潜在的性能损失。在这封信中，我们提出了一种新的属性形状学习（ASL）框架，它可以联合执行查询属性生成和判别视觉表示学习的Few-Shot识别。具体来说，视觉属性预测器（VAP）的构造预测查询的属性。通过利用属性信息，设计了一个属性视觉注意模块（AVAM），它可以自适应地利用属性和视觉表示来学习更多的区分特征。在属性模态的指导下，我们的方法可以学习增强的语义感知表示分类。实验表明，我们的方法可以取得竞争力的结果在CUB和SUN基准。我们的源代码可在以下网址获得：\url{https://github.com/chenhaoxing/ASL}。
2022-06-05 cs.CV
Inside Out Visual Place Recognition
University of Amsterdam（阿姆斯特丹大学）
视觉位置识别（VPR）通常涉及户外图像的定位。然而，局部化包含室外场景的一部分的室内场景对于广泛的应用可以具有很大的价值。在本文中，我们介绍了由内而外的视觉位置识别（IOVPR），一个任务，旨在本地化图像的基础上，通过窗口可见的室外场景。对于这项任务，我们提出了新的大规模数据集阿姆斯特丹-XXXL，在阿姆斯特丹拍摄的图像，其中包括640万全景街景图像和1000个用户生成的室内查询。此外，我们引入了一个新的训练协议由内而外的数据增强，以适应视觉位置识别方法定位室内图像，展示了由内而外的视觉位置识别的潜力。我们经验表明，我们提出的数据增强计划的好处在一个较小的规模，同时证明了这种大规模的数据集现有的方法的困难。通过这项新任务，我们的目标是鼓励IOVPR方法的发展。数据集和代码可在https://github.com/saibr/IOVPR上获得，用于研究目的
2021-11-26 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Can Text-to-image Model Assist Multi-modal Learning for Visual Recognition with Visual Modality Missing?
University of Southern California（南加州大学）
本文提出多模态学习框架GTI-MM，利用文本到图像模型生成合成图像填补缺失的视觉模态数据，实验证明该方法有效提升了视觉模态缺失场景下的数据效率与模型鲁棒性。
2024-02-14 cs.CV
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven（鲁汶大学）
当今的自动语音识别系统仅依赖于声学信号，并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能，特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计，考虑到内存和计算的要求。首先，设计了一个用于声学语音识别的长短期记忆神经网络。其次，使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合，以建模时间依赖性并在视频上执行自动唇读。最后，结合听觉语音和视觉唇读网络，同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率，在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV
Disentangling Image Distortions in Deep Feature Space
University of Milano - Bicocca（米兰比可卡大学）
本文研究深度特征空间中图像失真的内在表征，发现降维特征可分离失真类型，且不同层能力各异，并成功应用于降参考图像质量评估与失真表征。
2020-06-16 cs.CV
Panorama Generation From NFoV Image Done Right
Sun Yat-sen University（中山大学）；Monash University（莫纳什大学）；Alibaba Group（阿里巴巴集团）
针对窄视场图像生成360度全景图时现有方法存在的“视觉欺骗”问题，提出解耦式扩散模型框架PanoDecouple，将生成过程解耦为畸变引导和内容补全，结合Distort-CLIP与畸变校正损失，在畸变与视觉指标上均超越现有方法。
2025-03-24 cs.CV
Combining Multiple Views for Visual Speech Recognition
Sabanci University（萨班哲大学）；Istanbul Technical University (ITU)（伊斯坦布尔理工大学）
视觉语音识别是一个具有挑战性的研究问题，具有在噪声场景中辅助音频语音识别的特定实际应用。多个摄像机设置在改进的性能和鲁棒性方面对于视觉语音识别系统是有益的。在本文中，我们探讨这方面，并提供了一个全面的研究，结合视觉语音识别的多个视图。全面的分析涵盖了在特征级和决策级融合所有可能的视角组合。本研究中采用的视觉语音识别系统通过基于PCA的卷积神经网络提取特征，然后是LSTM网络。最后，这些特征在串联系统中被处理，被馈送到GMM-HMM方案中。在这一点之后，通过组合维特比路径对数似然来进行决策融合。结果表明，从不同的视角记录中包含的互补信息显着改善的结果。例如，当将该视图与正面和$60^\circ$视角组合时，测试集上的句子正确性从最高性能的单个视图（$30^\circ$）的76%增加到高达83%。
2018-06-28 cs.CV
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常用的交流方式，它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号，尽管视频可以提供与音频互补的信息。然而，利用视觉信息已被证明具有挑战性。一方面，研究人员报告说，音素和视位（视觉单位）之间的映射是一对多的，因为有音素是视觉上相似的，它们之间无法区分。另一方面，众所周知，有些人读唇语很好（如聋人）。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标，我们设计了一个新的数据库，其中的发言者意识到正在阅读，旨在促进唇读。在文献中，听力受损的人是否比听力正常的人更好的唇读存在差异。然后，我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后，人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中，听力受损的参与者的表现优于听力正常的参与者，但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下，仅视觉自动系统实现了20%的单词识别率。然而，如果我们重复的音素方面的比较都获得了非常相似的识别率，刚刚超过50%。这表明，人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关，而不是解释嘴部外观的能力。
2017-04-26 cs.CV
Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study
Tripura University（特里普拉大学）；Jadavpur University（贾达沃普尔大学）
在本文中，我们提出了一个比较研究的融合视觉和热图像使用不同的小波变换。在这里，从视觉和热图像的离散小波变换的系数分别计算和组合。然后对融合后的人脸图像进行离散小波逆变换，得到融合后的人脸图像。Haar和Daubechies（db2）小波变换已被用来比较识别结果。对于实验，使用IRIS热/视觉人脸数据库。使用Haar和Daubechies小波的实验结果表明，这里提出的方法的性能在许多情况下达到100%的最大成功率。
2010-07-05 cs.CV
Illumination-invariant Face recognition by fusing thermal and visual images via gradient transfer
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
在低照度等现实生活环境中的人脸识别仍然是生物识别安全领域的一个公开挑战。公认的是，面部识别中的最先进的方法在照明不良的情况下提供低准确度。在这项工作中，我们提出了一个更强大的光照不变的人脸识别算法，使用多模式的方法。我们提出了一个新的数据集，包括对齐的面孔的热和视觉图像的100个主题。然后，我们将人脸检测应用于热图像，使用最大的斑点提取方法，并将其应用于融合图像的不同形式的人脸识别的目的。提出了一种热图像与可见光图像融合的算法。我们解释为什么只依赖一种模态会得到错误的结果。我们使用一个更轻，更快的CNN模型，称为MobileNet，用于人脸识别和更快的推理，并能够在实时的生物识别系统中使用它。我们在自己创建的数据集上测试了我们提出的方法，结果表明，融合图像上的实时人脸识别比单独使用视觉或热图像的效果要好得多。
2019-02-23 cs.CV
Deep learning for scene recognition from visual data: a survey
University of Groningen（格罗宁根大学）
深度学习技术的使用在过去几年中呈爆炸式增长，对人工智能领域做出了直接贡献。这项工作的目的是回顾最先进的场景识别与深度学习模型从视觉数据。场景识别是计算机视觉中的一个新兴领域，目前已从单图像和动态图像的角度进行了研究。我们首先概述了用于图像和视频场景识别的可用数据集。后来，我们描述了集成技术在该领域的研究论文。最后，我们对我们的研究结果发表了一些评论，并讨论了我们认为该领域的挑战和未来的研究方向。本文旨在成为未来的指导模型选择的任务，场景识别。
2020-07-03 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion（以色列理工学院）
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测（VRD）。我们考虑的问题是，除了用于训练VRD模型的标准视觉数据外，还提供辅助文本数据，VRD性能是否可以提高。我们提出了一个新的深度模型，可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中，和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系，只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法：图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务：VRD和场景图生成。我们得到了一个令人惊讶的结果：我们的方法可以更好地处理源自书籍的文本，并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型，利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
VL-LTR: Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition
Chinese University of Hong Kong（香港中文大学）；SenseTime（商汤科技）；Shanghai AI Laboratory（上海人工智能实验室）
基于深度学习的模型在处理现实世界中的长尾数据时会遇到挑战。现有的解决方案通常采用一些平衡策略或迁移学习来处理基于图像模态的类不平衡问题。在这项工作中，我们提出了一个视觉语言长尾识别框架，称为VL-LTR，并进行实证研究的好处，引入文本模态长尾识别（LTR）。与现有方法相比，所提出的VL-LTR具有以下优点。(1)我们的方法不仅可以从图像中学习视觉表示，而且还可以从从互联网上收集的噪声类级文本描述中学习相应的语言表示;（2）我们的方法可以有效地使用学习的视觉语言表示来提高视觉识别性能，特别是对于图像样本较少的类。我们还进行了广泛的实验，并在广泛使用的LTR基准测试中设置了新的最先进的性能。值得注意的是，我们的方法在ImageNet-LT上实现了77.2%的整体准确率，比之前的最佳方法明显高出17个点以上，并且接近完整ImageNet上的普遍性能训练。代码可在https://github.com/ChangyaoTian/VL-LTR上获得。
2022-07-19 cs.CV
Dynamic Deep Multi-task Learning for Caricature-Visual Face Recognition
La Rochelle University（拉罗谢尔大学）
漫画的人脸识别与视觉图像的识别相比，其表现效果相差甚远。挑战在于通过夸大面部特征来加强角色的极端非刚性扭曲。在本文中，我们提出了基于深度CNN的动态多任务学习，用于跨模态漫画视觉人脸识别。与传统的固定任务权值的多任务学习不同，动态多任务学习根据任务的重要性动态更新任务权值，使网络的训练集中在硬任务上，而不是停留在简单任务的过度训练上。实验结果证明了动态多任务学习在漫画-视觉人脸识别中的有效性。在数据集CaVI和WebCaricature上进行的性能评估显示了优于最先进方法的优越性。实现代码可以在这里找到。
2019-11-08 cs.CV
Towards Visual Distortion in Black-Box Attacks
Wuhan University（武汉大学）
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中，我们提出了一种新的黑盒攻击方法，可以直接通过学习的噪声分布的对抗性的例子，假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真，它测量的感知距离之间的敌对的例子和原始图像，引入我们的损失，而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比，我们的攻击导致的失真要低得多，并且在InceptionV3，ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
Multi-modal Visual Place Recognition in Dynamics-Invariant Perception Space
Southeast University（东南大学）
视觉位置识别是机器人领域中的一个重要而具有挑战性的问题。在这封信中，我们第一次探索使用多模态融合的语义和视觉模态的动态不变空间，以提高在动态环境中的位置识别。我们首先设计了一个新的深度学习架构来生成静态语义分割，并直接从相应的动态图像中恢复静态图像。然后，我们创新性地利用空间金字塔匹配模型将静态语义分割编码为特征向量。并行地，使用流行的词袋模型对静态图像进行编码。在上述多模态特征的基础上，通过语义和视觉编码的联合相似度来度量查询图像与目标地标之间的相似度。大量的实验表明，所提出的方法的有效性和鲁棒性的位置识别在动态环境中。
2022-01-02 cs.CV
Predicting Eye Fixations Under Distortion Using Bayesian Observers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉注意是影响人类感知视觉信号的重要因素。本报告研究了图像中的失真如何分散人类的视觉注意力，使用贝叶斯视觉搜索模型，特别是最大后验（MAP）\cite{findlay1982global} \cite{eckstein2001quantifying}和熵限最小化（ELM）\cite{najemnik2009simple}，预测眼睛注视运动的基础上贝叶斯概率框架。在含有块效应或振铃效应的JPEG压缩图像上对改进的MAP和ELM模型进行了实验，我们观察到压缩效应会影响视觉注意力。我们希望这项工作揭示了视觉注意和感知质量之间的相互作用。
2021-02-06 cs.CV eess.IV
Funnel Activation for Visual Recognition
Hong Kong University of Science and Technology（香港科技大学）；MEGVII Technology（旷视科技）
我们提出了一种概念上简单但有效的漏斗激活图像识别任务，称为漏斗激活（FReLU），通过添加可忽略的空间条件开销将ReLU和PReLU扩展到2D激活。ReLU和PReLU的形式分别是y = max（x，0）和y = max（x，px），而FReLU的形式是y = max（x，T（x）），其中T（x）是2D空间条件。此外，空间条件以简单的方式实现了像素级建模能力，捕获了具有规则卷积的复杂视觉布局。我们在ImageNet、COCO检测和语义分割任务上进行了实验，显示了FReLU在视觉识别任务中的巨大改进和鲁棒性。代码可在https://github.com/megvii-model/FunnelAct上获得。
2020-07-24 cs.CV
Investigate the Low-level Visual Perception in Vision-Language based Image Quality Assessment
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
本文研究了基于视觉-语言模型的图像质量评估中低级视觉感知的问题，发现现有模型在检测基本失真时存在偏差，并通过改进视觉编码器对齐度提升失真识别准确率。
2025-12-10 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University（中部大学）
视觉解释使人们能够理解深度卷积神经网络（CNN）的决策，但它不足以促进性能的提高。在本文中，我们专注于视觉解释的注意图，它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制，显着提高了CNN的性能。在这项工作中，我们提出了注意力分支网络（ABN），它扩展了自上而下的视觉解释模型，通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支，可以适用于多种图像识别任务，并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务，如图像分类，细粒度识别，多个面部属性识别。实验结果表明，ABN在这些图像识别任务上的准确性优于基线模型，同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Low-shot Visual Recognition by Shrinking and Hallucinating Features
Facebook AI Research (FAIR)（Facebook人工智能研究院）
低镜头视觉学习-从很少的例子中识别新物体类别的能力-是人类视觉智能的标志。现有的机器学习方法无法以相同的方式进行推广。为了在这个基础问题上取得进展，我们提出了一个复杂图像的低拍摄学习基准，模拟了野外识别系统所面临的挑战。然后，我们提出了a）表示正则化技术，和b）技术，以幻觉额外的训练样本的数据匮乏的类。总之，我们的方法提高了卷积网络在低拍摄学习中的有效性，在具有挑战性的ImageNet数据集上将新类别的一次性准确性提高了2.3倍。
2017-11-04 cs.CV
Localizing Discriminative Visual Landmarks for Place Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；UISEE Technologies Beijing Co., Ltd（北京驭势科技有限公司）；University of Chinese Academy of Sciences（中国科学院大学）
我们解决的问题，视觉位置识别与感知的变化。视觉场所识别的基本问题是生成鲁棒的图像表示，这些图像表示不仅对环境变化不敏感，而且能够区分不同的场所。利用卷积神经网络（CNN）的特征提取能力，我们进一步研究了如何定位对相似性测量有积极贡献的有区别的视觉地标，如建筑物和植被。特别地，地标定位网络（LLN）被设计为指示图像的哪些区域用于区分。在具有不同外观和视点变化的开源数据集上进行了详细的实验。所提出的方法实现了优越的性能对国家的最先进的方法。
2019-04-14 cs.CV
Supervised Fine-tuning Evaluation for Long-term Visual Place Recognition
Tampere University（坦佩雷大学）
在本文中，我们对深度卷积神经网络的实用性进行了全面的研究，该网络具有两个最先进的池化层，这些池化层放置在卷积层之后，并以端到端的方式进行微调，用于在具有挑战性的条件下进行视觉位置识别任务，包括季节和光照变化。我们广泛地比较了深度学习的全局特征与三种不同的损失函数的性能，例如三元组，对比度和ArcFace，用于在部署期间学习架构的参数，以正确匹配的分数。为了验证我们的结果的有效性，我们使用了两个真实世界的数据集在室内和室外的位置识别。我们的研究表明，对于视觉位置识别任务，以端到端方式使用ArcFace损失的微调架构在室外数据集中的性能比其他两种损失高出约1~4%，在室内数据集中高出1~2%。
2022-11-14 cs.CV
Learning Semantics for Visual Place Recognition through Multi-Scale Attention
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家大学信息学联盟）
在本文中，我们解决的任务，视觉识别（VPR），其目标是检索正确的GPS坐标的一个给定的查询图像对一个巨大的地理标记的画廊。虽然最近的工作已经表明，结合语义和外观信息的建筑描述符是有益的，但当前最先进的方法选择自上而下定义的重要语义内容。在这里，我们提出了第一个VPR算法，它从数据的视觉外观和语义内容中学习鲁棒的全局嵌入，通过多尺度注意力模块识别位置来动态引导分割过程。在各种场景下的实验验证了这种新方法，并证明了其对最先进的方法的性能。最后，我们提出了第一个适合于地点识别和分割任务的合成世界数据集。
2022-01-25 cs.CV
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
University of Bucharest（布加勒斯特大学）
本文介绍罗马尼亚语视觉语音识别数据集VSRo-200，通过伪标签和人工转录注释样本，建立低资源视觉语音识别基准。研究监督质量影响，评估域转移鲁棒性及噪声下视听语音识别，证明其表示可转移至其他基准，为相关研究提供新测试平台。
2026-07-10 cs.CV
