Mid-level Representation for Visual Recognition
Università degli Studi di Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院)
视觉识别是人工智能的基本挑战之一,其目标是理解视觉数据的语义。特别是采用中级表征,改变了视觉识别的范式。中级图像/视频表示涉及发现和训练一组中级视觉模式(例如,部分和属性)并利用它们来表示给定的图像/视频。利用视觉现象的运动和外观信息,可以从图像和视频中提取中间模式。本论文的目标是采用中级表示不同的高级视觉识别任务,即(i)图像理解和(ii)视频理解。在图像理解的情况下,我们专注于目标检测/识别任务。我们研究发现和学习一组中级补丁用于表示对象类别的图像。我们特别采用的判别补丁的子类感知的webly监督的方式。此外,我们还研究了采用基于子类的模型消除数据集偏倚所提供的结果。
2015-12-23 cs.CV
LatentGNN: Learning Efficient Non-local Relations for Visual Recognition
ShanghaiTech University(上海科技大学)
捕获特征表示中的长距离依赖关系对于许多视觉识别任务至关重要。尽管深度卷积网络最近取得了成功,但对视觉特征之间的非局部上下文关系进行建模仍然具有挑战性。一种有前途的策略是通过全连接的图神经网络(GNN)来对特征上下文进行建模,该网络用估计的非局部上下文表示来增强传统的卷积特征。然而,大多数基于GNN的方法需要计算密集图亲和矩阵,因此难以扩展以解决复杂的现实世界视觉问题。在这项工作中,我们提出了一个有效的,但灵活的非局部关系表示的基础上一类新的图神经网络。我们的核心思想是引入一个潜在的空间,以减少图的复杂性,这使得我们能够使用一个低秩表示的图的亲和矩阵,并实现线性计算复杂度。对三个主要的视觉识别任务进行了广泛的实验评估,结果表明,我们的方法在保持低计算成本的同时,性能优于以前的作品。
2019-05-28 cs.AI cs.CV cs.LG
Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study
Tripura University(特里普拉大学);Jadavpur University(贾达沃普尔大学)
在本文中,我们提出了一个比较研究的融合视觉和热图像使用不同的小波变换。在这里,从视觉和热图像的离散小波变换的系数分别计算和组合。然后对融合后的人脸图像进行离散小波逆变换,得到融合后的人脸图像。Haar和Daubechies(db2)小波变换已被用来比较识别结果。对于实验,使用IRIS热/视觉人脸数据库。使用Haar和Daubechies小波的实验结果表明,这里提出的方法的性能在许多情况下达到100%的最大成功率。
2010-07-05 cs.CV
Illumination-invariant Face recognition by fusing thermal and visual images via gradient transfer
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
在低照度等现实生活环境中的人脸识别仍然是生物识别安全领域的一个公开挑战。公认的是,面部识别中的最先进的方法在照明不良的情况下提供低准确度。在这项工作中,我们提出了一个更强大的光照不变的人脸识别算法,使用多模式的方法。我们提出了一个新的数据集,包括对齐的面孔的热和视觉图像的100个主题。然后,我们将人脸检测应用于热图像,使用最大的斑点提取方法,并将其应用于融合图像的不同形式的人脸识别的目的。提出了一种热图像与可见光图像融合的算法。我们解释为什么只依赖一种模态会得到错误的结果。我们使用一个更轻,更快的CNN模型,称为MobileNet,用于人脸识别和更快的推理,并能够在实时的生物识别系统中使用它。我们在自己创建的数据集上测试了我们提出的方法,结果表明,融合图像上的实时人脸识别比单独使用视觉或热图像的效果要好得多。
2019-02-23 cs.CV
VL-LTR: Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition
Chinese University of Hong Kong(香港中文大学);SenseTime(商汤科技);Shanghai AI Laboratory(上海人工智能实验室)
基于深度学习的模型在处理现实世界中的长尾数据时会遇到挑战。现有的解决方案通常采用一些平衡策略或迁移学习来处理基于图像模态的类不平衡问题。在这项工作中,我们提出了一个视觉语言长尾识别框架,称为VL-LTR,并进行实证研究的好处,引入文本模态长尾识别(LTR)。与现有方法相比,所提出的VL-LTR具有以下优点。(1)我们的方法不仅可以从图像中学习视觉表示,而且还可以从从互联网上收集的噪声类级文本描述中学习相应的语言表示;(2)我们的方法可以有效地使用学习的视觉语言表示来提高视觉识别性能,特别是对于图像样本较少的类。我们还进行了广泛的实验,并在广泛使用的LTR基准测试中设置了新的最先进的性能。值得注意的是,我们的方法在ImageNet-LT上实现了77.2%的整体准确率,比之前的最佳方法明显高出17个点以上,并且接近完整ImageNet上的普遍性能训练。代码可在https://github.com/ChangyaoTian/VL-LTR上获得。
2022-07-19 cs.CV
Dynamic Deep Multi-task Learning for Caricature-Visual Face Recognition
La Rochelle University(拉罗谢尔大学)
漫画的人脸识别与视觉图像的识别相比,其表现效果相差甚远。挑战在于通过夸大面部特征来加强角色的极端非刚性扭曲。在本文中,我们提出了基于深度CNN的动态多任务学习,用于跨模态漫画视觉人脸识别。与传统的固定任务权值的多任务学习不同,动态多任务学习根据任务的重要性动态更新任务权值,使网络的训练集中在硬任务上,而不是停留在简单任务的过度训练上。实验结果证明了动态多任务学习在漫画-视觉人脸识别中的有效性。在数据集CaVI和WebCaricature上进行的性能评估显示了优于最先进方法的优越性。实现代码可以在这里找到。
2019-11-08 cs.CV
Funnel Activation for Visual Recognition
Hong Kong University of Science and Technology(香港科技大学);MEGVII Technology(旷视科技)
我们提出了一种概念上简单但有效的漏斗激活图像识别任务,称为漏斗激活(FReLU),通过添加可忽略的空间条件开销将ReLU和PReLU扩展到2D激活。ReLU和PReLU的形式分别是y = max(x,0)和y = max(x,px),而FReLU的形式是y = max(x,T(x)),其中T(x)是2D空间条件。此外,空间条件以简单的方式实现了像素级建模能力,捕获了具有规则卷积的复杂视觉布局。我们在ImageNet、COCO检测和语义分割任务上进行了实验,显示了FReLU在视觉识别任务中的巨大改进和鲁棒性。代码可在https://github.com/megvii-model/FunnelAct上获得。
2020-07-24 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University(中部大学)
视觉解释使人们能够理解深度卷积神经网络(CNN)的决策,但它不足以促进性能的提高。在本文中,我们专注于视觉解释的注意图,它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制,显着提高了CNN的性能。在这项工作中,我们提出了注意力分支网络(ABN),它扩展了自上而下的视觉解释模型,通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支,可以适用于多种图像识别任务,并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务,如图像分类,细粒度识别,多个面部属性识别。实验结果表明,ABN在这些图像识别任务上的准确性优于基线模型,同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Low-shot Visual Recognition by Shrinking and Hallucinating Features
Facebook AI Research (FAIR)(Facebook人工智能研究院)
低镜头视觉学习-从很少的例子中识别新物体类别的能力-是人类视觉智能的标志。现有的机器学习方法无法以相同的方式进行推广。为了在这个基础问题上取得进展,我们提出了一个复杂图像的低拍摄学习基准,模拟了野外识别系统所面临的挑战。然后,我们提出了a)表示正则化技术,和b)技术,以幻觉额外的训练样本的数据匮乏的类。总之,我们的方法提高了卷积网络在低拍摄学习中的有效性,在具有挑战性的ImageNet数据集上将新类别的一次性准确性提高了2.3倍。
2017-11-04 cs.CV
Embedding Visual Hierarchy with Deep Networks for Large-Scale Visual Recognition
University of North Carolina(北卡罗来纳大学)
在本文中,通过将视觉层次结构嵌入深度网络来开发层次混合模型(LMM),以支持大规模视觉识别(即,识别数千甚至数万个对象类),并且当随着时间的推移学习更具代表性的深度网络时,贝叶斯方法用于自动调整预训练的视觉层次结构以适应深度特征(用于图像和对象类表示)的改进。我们的LMM模型可以提供一种端到端的联合学习方法:(a)深度网络,用于提取图像和对象类表示的更具区分性的深度特征;(b)树分类器,用于分层识别大量对象类;以及(c)视觉层次结构自适应,用于分层实现更准确的大量对象类索引。通过支持树分类器、深度网络和视觉层次自适应的联合学习,我们的LMM算法可以提供一种有效控制层间错误传播的有效方法,从而在大规模视觉识别中获得更好的准确率。在ImageNet 1 K和ImageNet 10 K图像集上进行了实验,与基线方法相比,我们的LMM算法在准确率和计算效率上都取得了非常有竞争力的结果。
2017-07-08 cs.CV
Cross-modal Multi-task Learning for Graphic Recognition of Caricature Face
La Rochelle University(拉罗谢尔大学)
近十年来,真实感视觉图像的人脸识别得到了广泛的研究,并取得了显著的进展。与真实感的视觉图像不同,漫画的人脸识别性能远不能达到视觉图像的要求。这在很大程度上是由于极端的非刚性扭曲的漫画介绍了夸大的面部特征,以加强字符。漫画和视觉图像的异质模态导致漫画-视觉人脸识别是一个跨模态问题。在本文中,我们提出了一种方法进行漫画视觉人脸识别通过多任务学习。与传统的固定任务权重的多任务学习不同,本文提出了一种根据任务的重要性来学习任务权重的方法。所提出的具有动态任务权重的多任务学习使得能够适当地训练硬任务和容易任务,而不是像传统方法那样陷入过度训练容易任务。实验结果表明,所提出的动态多任务学习的跨模态漫画视觉人脸识别的有效性。在数据集CaVI和WebCaricature上的性能显示出优于最先进方法的优越性。
2020-03-10 cs.CV
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
Boston University(波士顿大学)
本文指出开源大语言模型缺乏对视觉世界的层级知识,导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈,通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
2026-03-26 cs.AI cs.CL cs.CV
Fine-grained visual recognition with salient feature detection
Wuhan University of Technology(武汉理工大学);National University of Singapore(新加坡国立大学)
基于计算机视觉的细粒度识别近年来受到了广泛的关注。现有的工作集中在歧视性的部分定位和特征学习。在本文中,为了提高细粒度识别的性能,我们试图精确地定位尽可能多的显著部分的对象。然后,我们计算出的分类概率,可以通过使用单独的部分对象分类。最后,在CUB 200 -2011鸟类数据集上,通过提取各部分的有效特征并将其组合,然后输入分类器进行识别,获得了比现有算法更高的准确率。
2018-08-14 cs.CV
Enhance Visual Recognition under Adverse Conditions via Deep Networks
ByteDance Inc.(字节跳动公司);Texas A&M University(得克萨斯农工大学);Baidu Research(百度研究院)
恶劣条件下的视觉识别是一个非常重要和具有挑战性的问题,具有很高的实用价值,由于普遍存在的质量失真的图像采集,传输,或存储。虽然深度神经网络已经分别在低质量图像复原和高质量图像识别任务的技术中得到了广泛的应用,但很少有人研究从非常低质量的图像中进行识别的重要问题。本文提出了一种基于深度学习的框架,用于改善不利条件下的图像和视频识别模型的性能,使用鲁棒的不利预训练或其积极的变体。鲁棒的不利预训练算法利用了预训练的能力,并推广了传统的无监督预训练和数据增强方法。我们进一步开发了一种迁移学习方法来处理未知不利条件的真实世界数据集。提出的框架进行了全面评估的一些图像和视频识别基准,并在各种单一或混合的不利条件下获得显着的性能改善。我们的可视化和分析进一步增加了结果的可解释性。
2019-04-02 cs.CV
Visual Curiosity: Learning to Ask Questions to Learn Visual Recognition
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
在开放世界的环境中,智能代理(例如,机器人)将遇到它不能识别的视觉对象、属性或关系。在这项工作中,我们开发了一个具有视觉好奇心的代理,即向Oracle提问的能力(例如,人类)关于图像中的内容(例如,红色立方体左边的物体是什么?)并基于接收到的答案建立视觉识别模型(例如,Cylinder)。为了做到这一点,代理必须(1)理解它识别什么和它不识别什么,(2)制定一个有效的,明确的和信息丰富的语言查询(一个问题)来询问Oracle,(3)从Oracle响应中导出视觉分类器的参数,以及(4)利用更新的视觉分类器来提出更明确的问题。具体来说,我们提出了一个新的框架,并制定了学习的视觉好奇心作为一个强化学习问题。在这个框架中,我们的代理的所有组件,视觉识别模块(看),问题生成策略(问),答案消化模块(理解)和图形记忆模块(记忆),都是完全端到端学习的,以最大限度地提高代理与Oracle对话后从场景图中获得的奖励。重要的是,问题生成策略从视觉识别系统和环境的细节中解脱出来。因此,我们证明了一种双重概括。我们的问题生成策略推广到新的环境和一双新的眼睛,即,新的视觉系统在合成数据集上进行训练,我们的结果表明,我们的智能体学习新的视觉概念的速度明显快于几个启发式基线,即使在具有新对象的合成环境以及现实环境中进行测试。
2018-10-01 cs.AI cs.CV cs.LG
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University(北京大学);Nanyang Technological University(南洋理工大学)
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而,类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中,我们提出了利用类内方差的三元组网络的度量学习,以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组,我们形成了跨不同类别以及不同组的三重样本,这被称为组敏感的三重样本采样(GS-TRS)。相应地,通过将类内方差与GS-TRS相结合来增强三元组损失函数,这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明,所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Deep Attentional Structured Representation Learning for Visual Recognition
EPFL(洛桑联邦理工学院)
结构化表示,如Bags of Words,VLAD和Fisher Vectors,已被证明在处理复杂的视觉识别任务方面非常有效。因此,它们最近已被纳入深度架构中。然而,虽然有效,但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征,忽略了这样一个事实,即在复杂的识别任务中,某些区域提供比其他区域更多的区分信息。在本文中,我们引入了一个注意结构化的表示学习框架,它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图,并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样,这始终优于注意力较少的结构化表示学习,并在标准场景识别和细粒度分类基准上产生最先进的结果。
2018-05-14 cs.CV
Multi-Metric Evaluation of Thermal-to-Visual Face Recognition
University of Calgary(卡尔加里大学)
本文针对红外图像中不同光谱人脸的识别问题,采用机器学习方法从红外图像中合成可见光谱人脸。视觉带面部图像的合成允许更优地提取面部特征以用于面部识别和/或验证。我们探索使用生成对抗网络(GANs)进行人脸图像合成的能力,并使用预先训练的卷积神经网络(CNN)检查这些图像的性能。使用CNN提取的特征应用于人脸识别和验证。我们探讨了使用各种相似性度量进行人脸验证时的接受率性能。
2020-07-22 cs.CV
Recent Advances in Transfer Learning for Cross-Dataset Visual Recognition: A Problem-Oriented Perspective
University of Wollongong(伍伦贡大学);University of Sydney(悉尼大学)
本文从面向问题的角度出发,全面回顾了用于跨数据集视觉识别的迁移学习方法,包括浅层和深层。具体来说,它根据一组精心选择的数据和标签属性将跨数据集识别分为17个问题。这种面向问题的分类法使我们能够研究不同的迁移学习方法如何解决每个问题,以及到目前为止每个问题的研究情况。以问题为导向的全面回顾了迁移学习在视觉识别方面的进展,不仅揭示了视觉识别迁移学习的挑战,而且还揭示了很少研究的问题(例如十七个问题中的八个)。该调查不仅为研究人员提供了最新的技术评论,而且为机器学习从业者提供了一种系统的方法和参考,以分类实际问题并相应地寻找可能的解决方案。
2019-05-20 cs.CV
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering(L. D. 工程学院)
我们开发了一个卷积神经网络,用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调,该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练,以适应两个广泛使用的面部表情数据集- CFEE和RaFD,当独立训练和测试时,测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试,结果的泛化是显而易见的。此外,使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积,并将其馈送到面部表情识别CNN。在最一般化的实验中,我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
Huazhong University of Science and Technology(华中科技大学)
细粒度的视觉识别是具有挑战性的,因为它高度依赖于各种语义部分的建模和细粒度的特征学习。基于双线性池的模型已被证明是有效的细粒度识别,而大多数以前的方法忽略了一个事实,即层间部分特征交互和细粒度特征学习是相互关联的,可以相互加强。在本文中,我们提出了一个新的模型来解决这些问题。首先,提出了一种跨层双线性池方法来捕获层间的零件特征关系,与其他基于双线性池的方法相比,该方法具有更好的性能。其次,我们提出了一种新的分层双线性池框架,集成多个跨层双线性特征,以提高其表示能力。我们的公式是直观的,有效的,并实现了最先进的结果,广泛使用的细粒度识别数据集。
2018-07-26 cs.CV
Flexible Visual Recognition by Evidential Modeling of Confusion and Ignorance
Northwestern University(西北大学);Wormpex AI Research(Wormpex人工智能研究院)
本文提出基于主观逻辑理论显式建模混淆与无知两种不确定性来源,通过预测Dirichlet浓度参数并结合证据组合实现灵活视觉识别,实验验证了该方法在量化不确定性及处理动态预测与拒绝预测任务上的有效性。
2023-09-14 cs.CV
Zero-Shot Visual Recognition via Bidirectional Latent Embedding
The University of Manchester(曼彻斯特大学)
用于视觉识别的零样本学习,对象和动作识别,最近吸引了很多关注。然而,它仍然是具有挑战性的弥合视觉特征和它们的底层语义之间的语义差距,并将知识转移到语义类别在学习过程中看不见。与大多数现有的zero-shot视觉识别方法不同,我们提出了一个分阶段的双向潜在嵌入框架,用于zero-shot视觉识别的两个后续学习阶段。在自下而上的阶段中,首先通过经由适当的监督子空间学习算法探索已知类的训练数据底层的拓扑和标记信息来创建潜在嵌入空间,并且使用训练数据的潜在嵌入来形成地标,所述地标引导将看不见的类底层的语义嵌入到这个学习的潜在空间中。在自上而下的阶段,在一个给定的标签词汇的unseen-class标签的语义表示,然后嵌入到同一个潜在的空间,以保持所有不同的类之间的语义相关性,通过我们提出的半监督Sammon映射与地标的指导。因此,得到的潜在嵌入空间允许用简单的最近邻规则预测测试实例的标签。为了评估所提出的框架的有效性,我们在对象和动作识别的四个基准数据集上进行了广泛的实验,即,AwA、CUB-200-2011、UCF 101和HMDB 51。比较研究的实验结果表明,我们提出的方法产生的最先进的性能下的感应和transductive设置。
2017-06-02 cs.CV
Visual Recognition by Counting Instances: A Multi-Instance Cardinality Potential Kernel
Simon Fraser University(西蒙弗雷泽大学)
许多视觉识别问题可以通过计算实例来解决。为了确定一个事件是否存在于一个长的互联网视频中,人们可以计算有多少帧似乎包含该活动。对一群人的活动进行分类可以通过计算个人的行动来完成。对这些基数关系进行编码可以降低对杂乱的敏感性,这些杂乱的形式是不相关的框架或不参与群体活动的个体。学习参数可以编码在感兴趣的类中倾向于出现多少实例。为此,本文开发了一个强大而灵活的框架来推断多实例模型中潜在标签之间的任何基数关系。可以对硬或软基数关系进行编码,以解决不同级别的模糊性。在人体活动识别、视频事件检测和视频摘要等任务上的实验证明了使用基数关系提高识别结果的有效性。
2015-04-09 cs.CV
Deep Collaborative Learning for Visual Recognition
Shanghai Jiao Tong University(上海交通大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
深度神经网络在最先进的视觉识别中发挥着重要作用。为了表示高级视觉概念,现代网络配备了大型卷积层,这些卷积层使用大量过滤器,并显着增加了模型的复杂性。例如,AlexNet超过一半的权重存储在第一个全连接层(4,096个过滤器)中。我们将卷积层的功能定义为学习大量视觉词汇,并提出了一种替代方法,即深度协作学习(DCL),以降低计算复杂性。我们用一个两阶段的DCL模块代替卷积层,在这个模块中,我们首先单独构建几个较小的卷积层,然后在每个空间位置将它们融合,以考虑特征同现。在数学中,DCL可以解释为学习组合视觉概念的有效方法,其中词汇量呈指数级增长,而模型复杂度仅呈线性增长。我们评估了DCL在广泛的视觉识别任务,包括一系列的多位数分类数据集,和一些通用的图像分类数据集,如SVHN,CIFAR和ILSVRC 2012。我们将DCL应用于几种最先进的网络结构,提高了识别精度,同时减少了参数数量(AlexNet中减少了16.82%)。
2017-03-03 cs.CV
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
我们评估了从深度卷积网络的激活中提取的特征是否可以重新用于新的通用任务,该深度卷积网络以完全监督的方式在大型固定的对象识别任务集上训练。我们的通用任务可能与最初训练的任务显著不同,并且可能没有足够的标记或未标记数据来常规地训练或使深度架构适应新任务。我们研究并可视化了深度卷积特征的语义聚类与各种此类任务的关系,包括场景识别、领域自适应和细粒度识别挑战。我们比较了依赖于各种网络级别来定义固定功能的功效,并报告了在几个重要的视觉挑战上显着优于最先进技术的新结果。我们正在发布DeCAF,这是这些深度卷积激活功能的开源实现,以及所有相关的网络参数,使视觉研究人员能够在一系列视觉概念学习范式中进行深度表征的实验。
2013-10-06 cs.CV
Efficient Visual Recognition with Deep Neural Networks: A Survey on Recent Advances and New Directions
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Xi’an Jiaotong University(西安交通大学);Xidian University(西安电子科技大学);Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学)
视觉识别是当前计算机视觉、模式识别乃至人工智能领域最重要、最活跃的研究领域之一。它具有重大的根本重要性和强大的工业需求。深度神经网络(DNN)在大量训练数据和新的强大计算资源的帮助下,大大提高了它们在许多具体任务上的性能。虽然识别精度通常是新进展的第一个关注点,但效率实际上相当重要,有时对学术研究和工业应用都至关重要。此外,整个社会也非常需要对效率的机遇和挑战有深刻的见解。虽然已经从各种角度对DNN的效率问题进行了一般性调查,但据我们所知,几乎没有人系统地关注视觉识别,因此不清楚哪些进展适用于它,以及应该关注什么。在本文中,我们提出了最近的进展与我们的建议,对提高DNN相关的视觉识别方法的效率的新的可能方向的审查。我们不仅从模型,而且从数据的角度(这不是现有调查的情况)进行调查,并专注于三个研究最多的数据类型(图像,视频和点)。本文试图通过一个全面的调查,提供一个系统的总结,可以作为一个有价值的参考和启发的研究人员和实践者谁的视觉识别问题的工作。
2021-09-09 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University(印第安纳大学);Fudan University(复旦大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题,可以应用现成的图像生成器来合成额外的训练图像,但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架,将生成的图像与原始图像相结合,从而得到的“混合”训练图像可以改善一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练,我们的实验表明,在单次细粒度图像分类基准测试中,与基线相比,该模型具有一致的改进。
2019-11-17 cs.CV
Plan-Recognition-Driven Attention Modeling for Visual Recognition
Arizona State University(亚利桑那州立大学)
人类对活动或外部代理的视觉识别涉及高级计划识别和低级感知之间的相互作用。鉴于此,一个自然的问题是:低层次的感知是否可以通过高层次的计划识别来改善?我们制定的问题,利用公认的计划,以产生更好的自上而下的注意力地图\cite{gazzaniga2009,baluch2011},以提高感知性能。我们将这些自上而下的注意力地图称为计划识别驱动的注意力地图。为了解决这个问题,我们引入了像素动态网络。像素动态网络作为一个观察模型,它预测对象点在每个像素位置的下一个状态给定的像素和像素级的动作特征的观察。这就像在内部学习像素级动态模型。像素动态网络是一种卷积神经网络(ConvNet),具有特殊的结构。因此,像素动力学网络可以利用ConvNets的并行计算,同时学习像素级动力学模型。进一步证明了像素动态网络作为观测模型与部分可观测马尔可夫决策过程(POMDP)框架中的信念更新之间的等价性。我们在事件识别任务中评估我们的像素动态网络。我们建立了一个事件识别系统,ER-PRN,它采取像素动态网络作为一个子程序,识别事件的基础上增加了计划识别驱动的注意观察。
2021-10-14 cs.AI cs.CV
Online Visual Place Recognition via Saliency Re-identification
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
作为视觉同时定位与地图构建(SLAM)的重要组成部分,位置识别对于机器人导航和自动驾驶至关重要。现有方法通常将视觉地点识别公式化为特征匹配,这对于具有有限计算能力的许多机器人应用(例如,自动驾驶和清洁机器人。受人类总是通过记住比其他人更有吸引力或有趣的显著区域或地标来识别一个地方的事实的启发,我们将视觉位置识别制定为显着性重新识别。同时,我们建议在频域中同时执行显著性检测和重新识别,其中所有操作都是元素式的。实验表明,我们提出的方法实现了竞争力的准确性和更高的速度比国家的最先进的基于特征的方法。所提出的方法是开源的,可在https://github.com/wh200720041/SRLCD.git上获得。
2020-07-29 cs.CV cs.RO
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific(南太平洋大学);Software Foundation(软件基金会)
据估计,全球有2.85亿人视力受损。这些人大多数生活在发展中国家,属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地,话音识别是一种常见的识别方法,但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现,这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中,我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明,在适当的条件下,人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术,以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
PlaceFormer: Transformer-based Visual Place Recognition using Multi-Scale Patch Selection and Fusion
Purdue University(普渡大学)
PlaceFormer提出一种基于Transformer的多尺度补丁选择与融合方法,通过全局描述符检索和自注意力机制筛选任务相关区域进行重排序,在视觉位置识别基准上超越现有方法,兼顾精度与效率。
2024-05-27 cs.CV cs.RO
Attributes as Semantic Units between Natural Language and Visual Recognition
ICSI(国际计算机科学研究所)
在计算机视觉和自然语言处理领域取得了令人印象深刻的进展。然而,为这些非常不同的模式找到最佳互动点仍然是一个挑战。在本章中,我们将讨论属性如何使我们能够在两种模态之间交换信息,并以这种方式导致语义层面上的交互。具体来说,我们讨论了属性如何允许使用从语言资源中挖掘的知识来识别新的视觉类别,我们如何生成关于图像和视频的句子描述,我们如何在视觉内容中建立自然语言,最后,我们如何回答关于图像的自然语言问题。
2016-04-12 cs.CL cs.CV
Discriminative Deep Feature Visualization for Explainable Face Recognition
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对人脸识别模型缺乏可解释性的问题,提出基于人脸重建的解释模块和视觉显著性算法,生成显著性图以揭示深度特征与人脸区域的对应关系,并解释模型决策。
2023-09-05 cs.CV eess.IV
Spatio-Semantic ConvNet-Based Visual Place Recognition
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克理工大学捷克信息学、机器人与控制论研究所)
我们提出了一个视觉识别系统,遵循两个阶段的格式常见的图像检索管道。该系统通过激活预先训练的现成VGG 16卷积神经网络(CNN)架构的不同层来编码地点图像。在我们的方法的第一阶段,给定一个地方的查询图像,从先前存储的地方数据库中检索一些顶级候选图像。在第二阶段,我们提出了一个详尽的比较查询图像对这些候选人的语义和空间信息编码的形式CNN功能。在五个最常用的基准数据集上,我们的方法的结果远远优于最先进的视觉位置识别方法。在最具挑战性的数据集上,性能提升尤其显著,与最新发表的工作相比,识别性能提高了两倍以上。
2019-09-17 cs.CV cs.RO
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能,嘈杂的环境。因此,需要探索一种有效的视听融合策略,以保证视听对齐和模态可靠性。不同于以前的端到端的方法,其中的视听融合进行编码后,每一个模态,在本文中,我们建议将一个专注的融合块到编码过程中。结果表明,在编码器模块中提出的视听融合方法可以丰富视听表示,因为这两种模态之间的相关性被利用。根据基于变换器的架构,我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流,削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明,与现有方法相比,该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
An Analysis of Speech Enhancement and Recognition Losses in Limited Resources Multi-talker Single Channel Audio-Visual ASR
Istituto Italiano di Tecnologia(意大利技术研究院);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);University of Padova(帕多瓦大学)
在本文中,我们分析了如何视听语音增强可以帮助执行的ASR任务在鸡尾酒会的情况下。因此,我们考虑了两个简单的端到端基于LSTM的模型,分别执行单通道视听语音增强和电话识别。然后,我们研究了这两个模型是如何相互作用的,以及如何对它们进行训练共同影响最终的结果。我们分析了不同的训练策略,揭示了一些有趣和意想不到的行为。实验表明,在ASR任务的优化过程中,该模型的语音增强能力显着下降,反之亦然。然而,这两个任务的联合优化显示了显着下降的电话错误率(PER)相比,视听基线模型训练只执行电话识别。我们通过使用两个有限大小的数据集分析了所提出的模型的行为,特别是我们使用了混合语音版本的GRID和TCD-TIMIT。
2019-11-27 cs.CL cs.SD eess.AS
Using n-grams models for visual semantic place recognition
Univ Paris-Sud(巴黎第十一大学);LIMSI-CNRS(法国国家科学研究中心机械与工程科学信息实验室);École Normale Supérieure(巴黎高等师范学院)
本文的目的是提出一种新的视觉场所识别方法。我们的系统结合了全局图像特征和视觉词,它允许使用高效的贝叶斯过滤方法来整合多个图像。更确切地说,我们扩展了经典的HMM模型与技术的灵感来自自然语言处理领域。本文介绍了我们的系统和贝叶斯滤波算法。我们的系统的性能和主要参数的影响进行了评估的标准数据库。讨论强调了使用这种模型的兴趣,并提出了改进。
2014-03-21 cs.CV cs.LG stat.ML
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT(麻省理工学院);Apple(苹果公司)
本文提出半监督 AV-CPL 框架,利用同一视听模型在有标签和无标签视频上连续生成伪标签,在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Putting visual object recognition in context
Children’s Hospital, Harvard Medical School(哈佛医学院儿童医院);Center for Brains, Minds and Machines(脑、心智与机器中心);Harvard College, Harvard University(哈佛大学哈佛学院)
上下文在视觉识别中起着重要的作用。最近的研究表明,视觉识别网络可以通过将对象放置在不一致的上下文中(例如,在海洋中的牛)。为了模拟上下文信息在视觉识别中的作用,我们系统地研究了上下文在何处、何时以及如何调制识别的十个关键属性,包括上下文的量、上下文和对象分辨率、上下文的几何结构、上下文一致性和上下文调制的时间动态。这些任务涉及识别自然图像中被上下文包围的目标对象。作为一个重要的基准,我们进行了一系列心理物理学实验,每次改变上下文的一个方面,并量化识别准确性。我们提出了一个生物启发的上下文感知的对象识别模型组成的两个流架构。该模型并行处理中央凹和外围的视觉信息,动态地结合对象和上下文信息,并顺序地推理目标对象的类标签。在广泛的行为任务中,该模型近似于人类水平的性能,而无需对每个任务进行再训练,捕获上下文增强对图像属性的依赖,并提供了整合场景和对象信息进行视觉识别的初始步骤。所有源代码和数据都是公开的:https://github.com/kreimanlab/Put-In-Context。
2020-03-25 cs.CV cs.LG eess.IV
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences(中国科学院)
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力,以更好地识别。采用长短期记忆递归神经网络(LSTM-RNN)作为主要的分类结构。首先,软注意力机制对齐音频和视频流。其次,添加7个情感嵌入向量,这是对应于每一个分类的情感类型,定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明,本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Enriched Deep Recurrent Visual Attention Model for Multiple Object Recognition
Institute for Infocomm Research(资讯通信研究院);Nanyang Technological University(南洋理工大学)
我们设计了一个丰富的深度递归视觉注意力模型(EDRAM)-一种改进的基于注意力的多对象识别架构。该模型是一个完全可微的单元,可以使用随机梯度下降(SGD)进行端到端的优化。空间Transformer(ST)被用作视觉注意力机制,其允许学习图像内的对象的几何变换。结合空间Transformer和强大的递归结构,提出的EDRAM可以同时定位和识别对象。EDRAM已经在两个公开的数据集上进行了评估,包括MNIST Cluttered(具有70 K杂乱数字)和SVHN(具有高达250 K的真实世界房屋号码图像)。实验结果表明,该模型与现有的模型相比具有更好的性能。
2017-06-12 cs.CV cs.LG
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
位置识别是机器人导航中的一个关键组成部分,它使机器人能够重新建立以前访问过的位置,并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中,我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题,其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步,我们表明,我们能够学习任意实值图像描述符(包括最先进的CNN模型),这是专门面向移动机器人的视觉识别的适当的距离度量。此外,我们表明,新学习的嵌入可以特别强大的消歧视觉场景的任务,基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India(三星研发研究院(印度))
在这项工作中,我们提出了一种使用深度递归神经网络(RNN)的视听自动语音识别(AV-ASR)系统的训练算法。首先,我们训练一个具有连接主义时间分类(CTC)目标函数的深度RNN声学模型。然后,从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明,视觉模态的存在下,在不同程度的噪声的字符出错率(CER)显着改善,即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法:特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
Distribution Alignment: A Unified Framework for Long-tail Visual Recognition
ShanghaiTech University(上海科技大学);Megvii Technology(旷视科技);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Institute of Microsystem and Information Technology(上海微系统与信息技术研究所)
尽管深度神经网络最近取得了成功,但在视觉识别任务中有效地建模长尾类分布仍然具有挑战性。为了解决这个问题,我们首先调查的性能瓶颈的两个阶段的学习框架,通过烧蚀研究。基于我们的发现,我们提出了一个统一的分布对齐策略长尾视觉识别。具体来说,我们开发了一个自适应校准函数,使我们能够调整每个数据点的分类分数。然后,我们在两阶段学习中引入了一种广义的重新加权方法来平衡类先验,这为视觉识别任务中的不同场景提供了灵活和统一的解决方案。我们验证了我们的方法进行了广泛的实验上的四个任务,包括图像分类,语义分割,目标检测,和实例分割。我们的方法在所有四个识别任务中实现了最先进的结果,具有简单而统一的框架。代码和模型将在以下网址公开:https://github.com/Megvii-BaseDetection/DisAlign
2021-03-30 cs.AI cs.CV cs.LG
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London(伦敦帝国学院);Facebook(脸书)
自监督学习最近吸引了大量的研究兴趣。然而,大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作,研究音频和视觉模态之间的相互作用,跨模态的自我监督。本文的工作(1)研究了通过人脸重建的视觉自我监督来指导音频表示的学习;(2)提出了一种用于语音表示学习的仅音频自我监督方法;(3)表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征,这些特征在噪声条件下更鲁棒;(4)表明自监督预训练可以优于完全监督训练,并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别,连续的影响识别和自动语音识别。对于所有测试的下游任务,我们都优于现有的自监督方法。我们的研究结果表明,潜在的视觉自我监督的音频特征学习,并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
Emotion Recognition System from Speech and Visual Information based on Convolutional Neural Networks
University Politehnica of Bucharest(布加勒斯特理工大学);Fotonation Romania, member of Xperi Group(Fotonation罗马尼亚公司(Xperi集团成员))
情感识别已成为人机交互领域的一个重要研究领域。该领域的最新进展表明,与单独使用单一信息源的情况相比,将视觉和音频信息结合起来会产生更好的结果。从视觉的角度来看,可以通过分析人的面部表情来识别人类情感。更准确地说,人类的情感可以通过几个面部动作单元的组合来描述。在本文中,我们提出了一个系统,能够识别情绪,具有高准确率和实时的性,基于深度卷积神经网络。为了提高识别系统的准确性,我们还分析语音数据并融合来自两个来源的信息,即,视频和音频。实验结果表明,该方案的有效性和情感识别的重要性,结合视觉和音频数据。
2020-02-29 cs.CV cs.LG cs.SD
Towards Intercultural Affect Recognition: Audio-Visual Affect Recognition in the Wild Across Six Cultures
University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
在我们的多元文化世界中,支持人类的情感感知AI系统需要能够感知跨文化情感表达模式的变化。这些系统必须在没有可用于训练模型的注释影响数据集的文化背景下表现良好。情感计算中的一个标准假设是,在同一文化(文化内)中训练和使用的情感识别模型比在一种文化中训练和在不同文化(文化间)中使用的模型表现更好。我们测试这一假设,并提出了第一个系统的跨文化影响识别模型,使用视频的现实世界的二元互动从六种文化。我们开发了一种基于注意力的特征选择方法,在时间因果发现下识别行为线索,可以利用跨文化情感识别模型。在所有六种文化中,我们的研究结果表明,跨文化情感识别模型与文化内模型一样有效或更有效。我们识别和贡献有用的行为特征,跨文化影响识别;在本研究的背景下,从视觉模态的面部特征比音频模态更有用。我们的论文提出了跨文化情感识别系统的未来发展的概念验证和动机,特别是那些部署在低资源的情况下,没有注释的数据。
2022-10-31 cs.CV cs.HC cs.LG
Conformers are All You Need for Visual Speech Recognition
Google, Inc(谷歌公司)
该研究针对视觉语音识别,提出用线性视觉前端搭配更大Conformer编码器替代复杂前端的方案,在TED LRS3数据集上取得12.8% WER的新SOTA,同时降低延迟、提升内存效率。
2023-12-13 cs.CL cs.CV cs.LG
Multi-task Learning Of Deep Neural Networks For Audio Visual Automatic Speech Recognition
Samsung R\&D Institute India, Bangalore
多任务学习(MTL)涉及在共享表征上同时训练两个或多个相关任务。在这项工作中,我们应用MTL的视听自动语音识别(AV-ASR)。我们的主要任务是学习视听融合特征与从声学GMM/HMM模型获得的帧标签之间的映射。这是一个辅助任务相结合的视觉特征映射到帧标签从一个单独的视觉GMM/HMM模型。MTL模型进行了测试,在不同级别的串音噪声和结果进行了比较,与基线混合DNN-HMM AV-ASR模型。我们的研究结果表明,MTL是特别有用的,在较高的噪声水平。与基线相比,在-3SNR dB处报告了高达7%的WER相对改善
2017-01-10 cs.AI cs.CL cs.CV
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT(信息与神经网络中心(CiNet),高级信息通信技术研究所,日本信息通信研究机构);Osaka University(大阪大学)
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体,这被称为一种尤里卡效应,可能与人类的创造力有关。先前的心理学研究表明,这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里,我们构建了一个基于人工神经网络的模型,模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别(ASR)在噪声环境中会显著降低,并且特别容易受到干扰语音的影响,因为模型无法确定要转录哪个说话者。视听语音识别(AVSR)系统通过用视觉信息补充音频流来提高鲁棒性,视觉信息对噪声是不变的,并且帮助模型聚焦于期望的说话者。然而,以前的AVSR工作只集中在监督学习设置上;因此,可用的标记数据量阻碍了进展。在这项工作中,我们提出了一个自监督AVSR框架上建立的视听休伯特(AV休伯特),一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上,我们的方法在存在串音噪声的情况下使用不到10%的标记数据(433小时与30小时),比现有技术的性能高出约50%(28.0%与14.1%),同时平均将基于音频的模型的WER降低了75%以上(25.8%与5.8%)。
2022-07-14 cs.CV cs.LG cs.SD
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出统一音视频学习框架 OneAVM,通过共享编码器和三个训练目标联合实现声源定位、分离与识别,并在多个数据集上验证了任务间的正向迁移效果。
2023-05-30 cs.CV cs.LG cs.MM
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别(AVSR)中表现出显着的性能改进。性能提高范围在7%到30%之间,具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体,其中经常性的长短期记忆(LSTM)计算块被最近提出的Transformer块取代。我们比较了这两种方法,更详细地讨论了它们的优点和缺点。我们发现,Transformers也学习跨模态单调对齐,但与LSTM模型一样存在视觉收敛问题,需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS