Learnable Pooling Methods for Video Classification
University of Toronto(多伦多大学)
我们介绍了修改国家的最先进的方法,通过使用注意力机制和功能近似聚合本地视频描述符。我们提供了创建新架构的见解,而不是使用现有架构的集合。我们在“第二届YouTube-8 M视频理解挑战赛”中通过使用帧级视频和音频描述符展示了我们的解决方案。我们获得了与最先进水平相似的测试精度,同时满足预算限制,并触及了改进最先进水平的策略。模型实现可在https://github.com/pomonam/LearnablePoolingMethods中获得。
2018-10-01 cs.CV
Learning ordered pooling weights in image classification
Das-nano;Veridas;Universidad Pública de Navarra(纳瓦拉公立大学)
空间池化是计算机视觉系统(如卷积神经网络或词袋方法)中的重要步骤。空间池化的目的是将相邻描述符组合以获得给定区域(局部或全局)的单个描述符。合成的组合向量必须尽可能具有判别性,换句话说,必须包含相关信息,同时删除不相关和令人困惑的细节。最大值和平均值是池化步骤中最常用的聚合函数。为了在不降低图像分类的鉴别能力的前提下提高相关信息的聚集能力,提出了一种基于有序加权平均(OWA)聚集算子的简单有效的方法。我们提出了一种方法来学习的OWA聚合运算符的权重在一个袋的话的框架和卷积神经网络,并提供了广泛的评估表明,基于OWA池优于经典的聚合运算符。
2021-06-10 cs.CV
Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
三维卷积神经网络(3D CNN)是一种能够同时从空间和时间两个维度学习特征的有力工具,适合应用于基于视频的动作识别。在这项工作中,我们建议不直接使用3D CNN的全连接层的激活作为视频特征,而是使用选择性卷积层激活来形成视频的区分描述符。它在身体关节位置的指导下将卷积层上的特征池化。讨论了将身体关节映射到卷积特征映射以用于池化的两种方案。身体关节位置可以从任何现成的骨架估计算法获得。系统地评估了具有不准确骨架估计的身体关节引导特征池的有用性。为了使其端到端并且不依赖于任何复杂的身体关节检测算法,我们进一步提出了一种双流双线性模型,该模型可以同时从身体关节学习指导并捕获时空特征。在该模型中,身体关节引导的特征池被方便地公式化为双线性乘积运算。在三个真实世界数据集上的实验结果证明了身体关节引导池的有效性,取得了良好的性能。
2017-04-25 cs.CV
Higher-order Pooling of CNN Features via Kernel Linearization for Action Recognition
Australian Center for Robotic Vision(澳大利亚机器人视觉中心);The Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
大多数成功的用于动作识别的深度学习算法都将为基于图像的任务(如对象识别)设计的模型扩展到视频。这种扩展通常针对单个视频帧或非常短的剪辑上的动作进行训练,然后将它们从视频序列上的滑动窗口的预测汇集起来,用于在序列级别上识别动作。通常,该池化步骤使用帧级动作预测的一阶统计。在本文中,我们探讨了使用高阶相关性的优势;具体而言,我们引入了高阶核(HOK)描述符,该描述符是从序列中所有帧的CNN分类器得分的后期融合中生成的。为了生成这些描述符,我们使用内核线性化的思想。具体而言,捕获深度分类器分数的时间演变的相似性核矩阵首先被线性化为核特征图。HOK描述符然后从这些特征图的高阶同现生成,然后用作视频级分类器的输入。我们提供了两个细粒度的动作识别数据集上的实验,并表明我们的计划导致国家的最先进的结果。
2017-01-19 cs.CV
Voronoi-based Second-order Descriptor with Whitened Metric in LiDAR Place Recognition
Interdisciplinary Program in Neuroscience(神经科学跨学科项目);Département d’Informatique, École Normale Supérieure (ENS)(高等师范学院计算机系);Department of Computing, Imperial College London(伦敦帝国理工学院计算系);Dept. of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出一种基于Voronoi的二级描述符方法,通过白化度量提升激光雷达地点识别的鲁棒性,实验表明其在Oxford Robotcar和Wild-Places数据集上性能优越。
2026-03-16 cs.CV cs.RO
Learning to Recognize Actions on Objects in Egocentric Video with Attention Dictionaries
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
我们提出了EgoACO,这是一种用于视频动作识别的深度神经架构,它通过利用以自我为中心的视频数据集中动作标签的动词-名词结构来学习从帧级特征中汇集动作上下文对象描述符。EgoACO的核心组件是类激活池(CAP),这是一种可区分的池化操作,它结合了用于细粒度识别的双线性池化和用于区分性定位的特征学习的思想。CAP使用自注意力和一个可学习的权重字典来从最相关的特征区域中汇集。通过CAP,EgoACO学习从视频帧特征中解码对象和场景上下文描述符。对于EgoACO中的时间建模,我们设计了一个称为长短期注意力(LSTA)的类激活池的递归版本。LSTA通过内置的空间注意力和重新设计的输出门扩展了卷积门控LSTM。动作,对象和上下文描述符融合的多头预测,占名-动词-动作之间的相互依赖关系的结构化标签在以自我为中心的视频数据集。EgoACO具有内置的视觉解释,有助于学习和解释。目前可用的两个最大的以自我为中心的动作识别数据集EPIC-KITCHENS和EGTEA的结果表明,通过显式解码动作上下文对象描述符,EgoACO实现了最先进的识别性能。
2021-02-16 cs.CV
SPVSoAP3D: A Second-order Average Pooling Approach to enhance 3D Place Recognition in Horticultural Environments
University of Coimbra(科英布拉大学);IRL2958 GeorgiaTech-CNRS(IRL2958佐治亚理工-法国国家科学研究中心)
本文提出SPVSoAP3D方法,结合体素特征提取与二阶平均池化及描述子增强,解决园艺环境中激光雷达地点识别的稀疏重叠问题,并在扩充后的HORTO-3DLM数据集上验证其优于现有SOTA模型。
2024-10-22 cs.CV
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University(延世大学);Microsoft Research(微软研究院)
我们提出了一种新型描述符,称为深度自卷积激活(DeSCA),旨在在不同成像方式(例如不同光谱范围或照明条件)下拍摄的图像之间建立密集的对应关系。受基于局部自相似性(LSS)的描述符的启发,我们通过在深层架构中利用LSS来制定一种新的描述符,从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积,然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后,通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络(CNN)的描述符相比,DeSCA是无训练的(即,随机采样的片被用作卷积核),对于交叉模态成像是鲁棒的,并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
Particular object retrieval with integral max-pooling of CNN activations
Center for Machine Perception(机器感知中心);FEE CTU Prague(捷克布拉格技术大学电子工程学院);Irisa Rennes(雷恩信息与随机系统研究所);Facebook AI Research(脸书人工智能研究院);Inria(法国国家信息与自动化研究所)
最近,基于卷积神经网络(CNN)构建的图像表示已被证明为图像搜索提供有效的描述符,优于作为短向量表示的前CNN特征。然而,这样的模型是不兼容的几何感知的重新排名的方法,仍然优于,在一些特定的对象检索基准,传统的图像搜索系统依赖于精确的描述符匹配,几何重新排名,或查询扩展。这项工作重新访问两个检索阶段,即初始搜索和重新排名,通过采用相同的原始信息来自CNN。我们构建了紧凑的特征向量,可以对多个图像区域进行编码,而无需向网络提供多个输入。此外,我们扩展了积分图像来处理卷积层激活的最大池,使我们能够有效地定位匹配对象。最后将得到的限界框用于图像重新排序。因此,本文显着改进了现有的基于CNN的识别管道:我们首次报告了在具有挑战性的Oxford5k和Paris6k数据集上与传统方法竞争的结果。
2016-02-24 cs.CV
Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
视频中的视觉特征对于人类行为理解至关重要。本文提出了一种新的视频表示,称为自动池深度卷积描述符(TDD),它具有手工制作的特征和深度学习特征的优点。具体来说,我们利用深度架构来学习有区别的卷积特征映射,并进行冗余约束池化,将这些卷积特征聚合成有效的描述符。为了增强TDDs的鲁棒性,我们设计了两种归一化方法来变换卷积特征图,即时空归一化和通道归一化。我们的特征的优点来自:(i)TDDs是自动学习的,与手工制作的特征相比,它具有较高的区分能力;(ii)TDDs考虑了时间维度的内在特征,并引入了随机约束采样和池化策略来聚合深度学习的特征。我们在两个具有挑战性的数据集上进行了实验:HMDB 51和UCF 101。实验结果表明,TDDs优于以前的手工制作的功能和深度学习的功能。我们的方法在这些数据集上也实现了优于现有技术的性能(HMDB 51 65.9%,UCF 101 91.5%)。
2015-05-19 cs.CV
Mini-PointNetPlus: a local feature descriptor in deep learning model for 3d environment perception
LiangDao GmbH(梁道有限公司)
针对PointNet作为3D感知局部特征描述子时因最大池化忽略多数点导致信息损失、性能下降的问题,提出即插即用的mini-PointNetPlus,通过点投影置换不变性将无序点云有序化,且PointNet是其特例,实验证明可显著提升3D感知性能。
2023-07-25 cs.CV
Local Feature Detectors, Descriptors, and Image Representations: A Survey
The University of Tokyo(东京大学)
随着稳定的兴趣区域检测器和鲁棒的、有区别的描述符的出现,基于局部特征的图像或目标检索已经成为一个热门的研究课题。基于局部特征的图像检索系统涉及到两个重要的过程:局部特征提取和图像表示。图像检索系统的另一个关键技术是图像表示,如视觉词袋(BoVW),Fisher向量或局部聚集描述符向量(VLAD)框架。在本文中,我们回顾了局部特征和图像表示的图像检索。由于在这一领域提出了许多方法,这些方法被分为几类并进行了总结。此外,还简要回顾了最近基于深度学习的图像检索方法。
2016-07-28 cs.CV
Second-order Temporal Pooling for Action Recognition
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The Australian National University(澳大利亚国立大学)
用于基于视频的动作识别的深度学习模型通常生成短剪辑(由几帧组成)的特征;通过计算这些特征的统计数据,将这些剪辑级特征聚合为视频级表示。通常使用零阶(最大值)或一阶(平均值)统计。在本文中,我们将探讨使用二阶统计量的好处。具体来说,我们提出了一种新的端到端的可学习的特征聚合方案,称为时间相关池,通过捕获跨视频计算的剪辑级CNN特征的时间演变之间的相似性来生成视频序列的动作描述符。这样的描述符虽然计算上便宜,但也自然地对多个CNN特征的共同激活进行编码,从而提供比它们的一阶对应物更丰富的动作表征。我们还提出了更高阶的扩展,通过计算相关性后,将CNN功能嵌入到再生核希尔伯特空间。我们提供的实验基准数据集,如HMDB-51和UCF-101,细粒度的数据集,如MPII烹饪活动和JHMDB,以及最近的动力学-600。我们的结果证明了高阶池方案的优势,当与手工制作的功能(作为标准实践)相结合时,实现了最先进的准确性。
2018-08-07 cs.CV
Revisiting Local Descriptor for Improved Few-Shot Classification
Hefei University of Technology(合肥工业大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Zhengzhou University(郑州大学);Singapore Management University(新加坡管理大学)
Few-Shot分类研究了快速调整深度学习器以基于少量支持图像理解新类别的问题。在这种情况下,最近的研究工作一直致力于设计越来越复杂的分类器,以衡量查询和支持图像之间的相似性,但很少探索特征嵌入的重要性。我们表明,依赖于复杂的分类器是没有必要的,一个简单的分类器直接应用于改进的特征嵌入,而不是优于大多数领先的方法在文献中。为此,我们提出了一种新的方法命名为\textbf{DCAP}的Few-Shot分类,在其中,我们研究如何可以提高质量的嵌入利用\textbf{D}感\textbf{C}分类和\textbf{A} tentative \textbf{P} ooling。具体来说,我们建议训练一个学习器的基础类与丰富的样本,以解决密集的分类问题,然后元训练学习器上的一堆随机采样的Few-Shot任务,以适应它的Few-Shot场景或测试时间的情况。在元训练期间,我们建议通过应用注意池而不是广泛使用的全局平均池(GAP)来池化特征图,以准备用于Few-Shot分类的嵌入。注意池学习重新加权局部描述符,解释学习者正在寻找什么作为决策的证据。在两个基准数据集上的实验表明,该方法在多个Few-Shot设置中具有优越性,同时更简单,更易于解释。代码可从以下网址获得:\url{https://github.com/Ukeyboard/dcap/}。
2022-02-18 cs.CV
Exploiting SIFT Descriptor for Rotation Invariant Convolutional Neural Network
Samsung R&D Institute(三星研发所)
本文提出了一种新的方法来开发卷积神经网络中的独特不变特征。所提出的CNN模型使用尺度不变特征变换(SIFT)描述符而不是最大池化层。最大池化层丢弃姿势,即,低级别特征之间的平移和旋转关系,因此无法捕获低级别特征和高级别特征之间的空间层次。SIFT描述符层捕获卷积层提取的特征的方向和空间关系。因此,所提出的SIFT描述符CNN结合了CNN模型的特征提取能力和SIFT描述符的旋转不变性。MNIST和fashionMNIST数据集上的实验结果表明,在文献中可用的传统方法的合理改进。
2019-03-30 cs.CV cs.LG stat.ML
Local Features and Visual Words Emerge in Activations
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所);Czech Technical University in Prague(捷克布拉格技术大学)
提出了一种新的深度空间匹配(DSM)图像检索方法.初始排名基于通过全局池化从卷积神经网络激活中提取的图像描述符,如在最近的最先进的工作中。然而,相同的稀疏3D激活张量也通过局部特征的集合来近似。然后,这些局部特征被鲁棒地匹配以近似张量的最佳对准。这无需任何网络修改,额外的层或训练。在原始图像上不发生局部特征检测。在整个过程中不需要局部特征描述符和视觉词汇。我们的实验表明,所提出的方法实现了最先进的性能在不同的网络架构和不同的全球池化方法的标准基准。最高增益的性能时,实现扩散的最近邻图的全局描述符是从空间验证的图像。
2019-05-15 cs.CV
Nested Invariance Pooling and RBM Hashing for Image Instance Retrieval
Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
这项工作的目标是计算非常紧凑的二进制哈希图像实例检索。我们的方法有两个新的贡献。第一种是嵌套不变池(NIP),这是一种受i理论启发的方法,i理论是一种用前馈神经网络计算群不变变换的数学理论。NIP能够产生紧凑且性能良好的描述符,其具有从卷积神经网络提取的视觉表示。我们特别将规模,平移和旋转不变性,但该计划可以扩展到任何任意的变换集。我们还表明,在整个嵌套使用的时刻,增加秩序是很重要的。NIP描述符然后被散列到目标代码大小(32-256位),其中受限玻尔兹曼机具有专门为散列目的而设计的新颖的批级正则化方案(RBMH)。最先进的全面经验评估表明,使用NIP描述符和NIP+RBMH散列获得的结果在广泛的数据集上始终表现出色。
2016-04-14 cs.CV cs.IR
REMAP: Multi-layer entropy-guided pooling of dense CNN features for image retrieval
University of Surrey(萨里大学)
本文针对超大规模图像检索的问题,着重于提高其准确性和鲁棒性。我们的目标是增强搜索的鲁棒性,例如照明变化,对象外观和规模,部分遮挡和杂乱的背景-当搜索在非常大的数据集上进行时,特别重要。我们提出了一种新的基于CNN的全局描述符,称为REMAP,它从多个CNN层学习和聚合深度特征的层次结构,并通过三重丢失进行端到端训练。REMAP显式地学习在视觉抽象的各个语义层次上相互支持和互补的区别性特征。这些密集的局部特征在聚集成单个图像级描述符之前,在多尺度重叠区域内的每一层空间上最大池化。为了识别语义上有用的区域和层进行检索,我们建议使用KL发散度来测量每个区域和层的信息增益。我们的系统在训练过程中有效地学习了各个区域和层的有用性,并相应地对它们进行了加权。我们表明,这种相对熵引导的聚合优于经典的基于CNN的聚合控制的SGD。整个框架以端到端的方式进行训练,表现优于最新的最先进的结果。在图像检索数据集Holidays、Oxford和MPEG上,REMAP描述符的mAP分别达到95.5%、91.5%和80.1%,优于迄今为止发表的任何结果。REMAP也是Kaggle上Google Landmark Retrieval Challenge获奖作品的核心。
2019-06-15 cs.CV
End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds
HKUST(香港科技大学);Alibaba A.I. Labs(阿里巴巴人工智能实验室);City University of Hong Kong(香港城市大学);Simon Fraser University(西蒙弗雷泽大学)
在这项工作中,我们提出了一个端到端的框架来学习本地多视图描述符的三维点云。为了采用类似的多视图表示,现有的研究在预处理阶段使用手工制作的视点进行渲染,该预处理阶段与随后的描述符学习阶段分离。在我们的框架中,我们集成到神经网络的多视图渲染,通过使用一个可微分的渲染器,它允许的观点是可优化的参数,以捕捉更多的信息本地上下文的兴趣点。为了获得有区别的描述符,我们还设计了一个软视图池模块来专注地融合视图间的卷积特征。在现有的3D配准基准上进行的大量实验表明,我们的方法在定量和定性上都优于现有的局部描述符。
2020-03-16 cs.CV
A Simple Hierarchical Pooling Data Structure for Loop Closure
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个数据结构,通过分层平均袋的字描述符在一系列的意见,实现平均加速范围从4到20倍的大规模循环闭合应用程序的基准数据集。虽然简单,该方法的工作原理以及复杂的凝聚计划的一小部分的成本与最小的性能损失。
2018-10-23 cs.CV cs.RO
Efficient 3D Point Cloud Feature Learning for Large-Scale Place Recognition
Nanjing University of Science and Technology(南京理工大学)
由于场景在变化的环境中会发生剧烈的外观和光照变化,基于点云的位置检索仍然是一个具有挑战性的问题。用于检索任务的现有的基于深度学习的全局描述符通常消耗大量的计算资源(例如,存储器),这可能不适合于有限硬件资源的情况。在本文中,我们开发了一个高效的点云学习网络(EPC-Net),形成一个全局描述符的视觉位置识别,它可以获得良好的性能,减少计算内存和推理时间。首先,我们提出了一个轻量级的,但有效的神经网络模块,称为ProxyConv,聚集点云的局部几何特征。我们利用空间相邻矩阵和代理点来简化原始边缘卷积,以降低内存消耗。然后,我们设计了一个轻量级的分组VLAD网络(G-VLAD),以形成全局描述符检索。与原有的VLAD网络相比,提出了一种分组全连通(GFC)层,将高维向量分解为一组低维向量,减少了网络参数的数量,同时保持了特征向量的区分度。最后,为了进一步减少推理时间,我们开发了一个简单版本的EPC-Net,称为EPC-Net-L,它由两个ProxyConv模块和一个最大池化层组成,用于聚合全局描述符。EPC-Net-L通过提取EPC-Net中的知识,得到具有区分性的全局描述符,用于检索。在牛津数据集和三个内部数据集上的大量实验表明,我们提出的方法可以以较低的参数,FLOPs和每帧运行时间实现最先进的性能。
2021-01-07 cs.CV
Compact Tensor Pooling for Visual Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);University of Southern California(南加利福尼亚大学);Amazon(亚马逊)
执行高层次的认知任务需要集成具有截然不同结构的特征图。在视觉问答(VQA)中,图像描述符具有空间结构,而词汇输入固有地遵循时间序列。最近提出的多模态紧凑双线性池(MCB)形成外产品,通过计数草图近似,在每个空间位置的视觉和文本表示。虽然这个过程局部地保留了空间信息,但是对于激活张量的每个纤维独立地取得外积,因此不包括空间上下文。在这项工作中,我们引入多维草图({MD-sketch}),一个新的扩展计数草图张量。使用这个新的配方,我们提出了多模态紧凑张量池(MCT),充分利用全球的空间背景下,在双线性池操作。与MCB类似,我们的方法通过使用高阶FFT直接将来自视觉张量特征的MD草图与文本向量特征进行卷积来保留空间上下文。此外,我们在问题嵌入的每一步递增地应用MCT,并在选择最终答案之前使用第二个LSTM层累积多模态向量。
2017-06-20 cs.CV
Scene Recognition by Combining Local and Global Image Descriptors
Flytxt
目标识别是计算机视觉中的一个重要问题,有着广泛的应用。在这项工作中,我们构建了一个端到端的场景识别管道,包括特征提取,编码,池化和分类。我们的方法同时利用全局特征描述符以及局部特征描述符的图像,形成一个混合特征描述符对应于每个图像。我们利用DAISY功能与图像中的关键点作为我们的局部特征描述符和直方图的方向梯度(HOG)对应于整个图像作为一个全局描述符。我们使用一个袋的视觉词编码和应用小批量K均值算法,以减少我们的特征编码方案的复杂性。使用2级池化过程来组合对应于每个图像的DAISY和HOG特征。最后,我们在交叉验证设置中使用具有多个内核的多类SVM分类器进行实验,并将我们在15个场景类别数据集上的结果制成表格。在将40%-60%的图像随机分为训练和测试数据集的情况下,我们的模型的平均准确率为76.4%。这项工作的主要目标是清楚地勾勒出一个基本的屏幕识别管道的实际实现,具有合理的准确性,在python中,使用开源库。在我们的github存储库中提供了所提出模型的完整实现。
2017-02-21 cs.CV cs.LG
Improving the HardNet Descriptor
Czech Technical University in Prague(布拉格捷克理工大学)
在本文中,我们考虑了用于宽基线立体聚焦的局部特征描述符学习问题,该描述符接近最先进的HardNet描述符。引入AMOS Patches数据集,该数据集提高了对光照和外观变化的鲁棒性。它基于来自AMOS数据集的选定相机的注册图像。我们提供了关于补丁数据集创建过程的建议,并评估了在不同模式的数据上训练的HardNet。我们还介绍了一个数据集组合和减少方法,允许在一个显着较小的数据集上的性能相当。HardNet 8的性能始终优于原始的HardNet,它受益于所做的架构选择:连接模式、最终池化、感受野、通过手动或自动搜索算法找到的CNN构建块-- DARTS。我们展示了被忽视的超参数(如批量大小和训练长度)对描述符质量的影响。PCA降维进一步提高了性能,并减少了内存占用。最后,获得的见解导致两个HardNet 8描述符:一个在各种基准上表现良好- HPatches,AMOS Patches和IMW Phototourism,另一个是针对IMW Phototourism进行优化的。
2020-11-23 cs.CV
High-order Tensor Pooling with Attention for Action Recognition
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
本文提出端到端二阶及高阶张量池化,利用EPN作为高阶共现谱检测器以抑制突发现象,并在多个动作识别数据集上取得最先进结果。
2023-12-16 cs.CV cs.LG
Pooling the Convolutional Layers in Deep ConvNets for Action Recognition
Tianjin University(天津大学);Hefei University of Technology(合肥工业大学)
深度ConvNets在图像分类任务中表现出了良好的性能。然而,它仍然是用于动作识别的深度视频表示中的一个问题。问题主要来自于两个方面:一方面,目前的视频ConvNets相对于图像ConvNets来说比较浅,限制了其捕捉复杂视频动作信息的能力;另一方面,视频的时间信息没有被正确地利用来对视频序列进行池化和编码。针对这些问题,在本文中,我们利用两个最先进的ConvNets,即,非常深的空间网络(VGGNet)和来自Two-Stream ConvNets的时间网络,用于动作表示。卷积层和所提出的新层(称为帧差异层)被提取并使用两种时间池化策略进行池化:轨迹池化和线池化。然后用VLAD对池化的局部描述符进行编码以形成视频表示。为了验证该框架的有效性,我们在UCF 101和HMDB 51数据集上进行了实验。在UCF 101上达到了93.78%的准确度,这是最先进的;在HMDB 51上达到了65.62%的准确度,这与最先进的水平相当。
2015-11-06 cs.CV
Multi-Fold Gabor, PCA and ICA Filter Convolution Descriptor for Face Recognition
本文设计了一种新的滤波器多样化方法,称为多重滤波器卷积(M-FFC),用于人脸识别。假设M-FFC接收不同方向的单尺度Gabor滤波器作为输入,这些滤波器通过M-折叠进行自交叉卷积以实例化滤波器后代集。M-FFC的灵活性还允许在Gabor滤波器和具有非常不同特性的其他滤波器组之间进行交叉卷积,例如,主成分分析(PCA)滤波器和独立成分分析(ICA)滤波器。因此,Gabor、PCA和ICA滤波器的2-FFC产生三个后代集合:(1)单独的Gabor滤波器,(2)Gabor-PCA滤波器,和(3)Gabor-ICA滤波器,以呈现无学习和基于学习的2-FFC描述符。为了便于M-FFC的合理的Gabor滤波器选择,40个多尺度、多方向的Gabor滤波器被压缩成8个基本滤波器。除此之外,在最终白化PCA压缩之前,采用平均直方图池化算子来利用2-FFC直方图特征。实证结果证实,2-FFC描述符优于,或等同于,其他人脸描述符的识别和验证任务。
2017-10-19 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Object Level Deep Feature Pooling for Compact Image Representation
Indian Institute of Science(印度科学学院)
卷积神经网络(CNN)特征在最近的工作中已经成功地用作各种视觉任务的图像描述符。但是,深度CNN特征无法表现出对几何变换和对象组成的不变性,这对图像搜索构成了巨大的挑战。在这项工作中,我们证明了对象先验在图像区域的深层CNN特征上的有效性,以获得不变的图像表示。该方法将图像表示为描述底层对象的池化CNN特征的向量。该表示提供了场景中对象的空间布局的鲁棒性,并且实现了对一般几何变换(诸如平移、旋转和缩放)的不变性。所提出的方法还导致了一个紧凑的场景表示,使每个图像占用更小的内存占用。实验表明,该表示实现了一组具有挑战性的基准图像数据集上的最先进的检索结果,同时保持了紧凑的表示。
2015-04-24 cs.CV
Improving Spatial Codification in Semantic Segmentation
Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心(DCU))
本文探讨了新的方法,以改善空间编码的本地描述符池,以解决语义分割问题。我们建议将图像划分为三个区域,每个对象进行描述:图,边界和地面。这种划分的目的是通过在对象轮廓周围引入中间区域来最小化图像上下文对对象描述的影响,反之亦然。此外,我们还提出了一个更丰富的视觉描述符的对象,通过应用空间金字塔的图区域。探索了两种新颖的空间金字塔配置:基于笛卡尔的空间金字塔和基于王冠的空间金字塔。我们测试这些方法与国家的最先进的技术,并表明他们提高了基于图形的池在Pascal VOC 2011年和2012年语义分割的挑战。
2015-05-27 cs.CV
Video Representation Learning Using Discriminative Pooling
Data61/CSIRO(联邦科学与工业研究组织数据61部);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The Australian National University(澳大利亚国立大学);MERL(三菱电机研究实验室)
用于视频中动作识别的流行深度模型为短片段生成独立的预测,然后将这些预测集中起来,为完整的视频片段分配动作标签。由于并非所有帧都可以表征潜在的动作-实际上,许多帧在多个动作中是共同的-对所有帧施加同等重要性的池化方案可能是不利的。为了解决这个问题,我们提出了区分池,基于这样的概念,即在所有短片段上生成的深度特征中,至少有一个特征是动作的特征。为此,我们学习一个(非线性)超平面,将这个未知但有区别的特征与其他特征分开。在大间隔设置中应用多实例学习,我们使用这个分离超平面的参数作为完整视频片段的描述符。由于这些参数与最大边缘框架中的支持向量直接相关,因此它们可以作为特征池的鲁棒表示。我们制定了一个联合目标和一个有效的求解器,学习这些超平面每个视频和相应的动作分类器的超平面。我们的池化方案在深度框架内是端到端可训练的。我们报告了三个基准数据集的实验结果,这些数据集涵盖了各种挑战,并展示了这些任务的最新性能。
2018-03-29 cs.CV
Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition
Carnegie Mellon University(卡内基梅隆大学)
我们解决的问题,产生视频功能的动作识别。空间金字塔及其变体由于其在平衡空间位置编码和空间不变性方面的成功而成为非常流行的特征模型。虽然将空间金字塔扩展到时间域(时空金字塔)似乎很简单,但无约束视频的大时空多样性和由此产生的显着更高的维度表示使其不那么吸引人。本文介绍了时空扩展描述符,一个简单而有效的替代方法,包括时空位置的视频功能。代替仅对运动信息进行编码并将时空位置留在池化阶段表示,位置信息被用作编码步骤的一部分。与固定网格模型相比,该方法避免了过度承诺人工边界的危险,并且其维数相对较低,是一种更有效和高效的位置编码方法。在多个基准数据集上的实验结果表明,尽管该方法简单,但其效果与时空金字塔相当或更好。
2015-10-15 cs.CV
Pooled Motion Features for First-Person Videos
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在本文中,我们提出了一种新的第一人称视频的特征表示。在第一人称视频理解中(例如,活动识别),捕获整个场景动态(即,自我运动)和视频中观察到的显著局部运动。我们描述了一个表示框架的基础上的时间序列池,它的目的是抽象的短期/长期的变化特征描述符元素。其想法是跟踪描述符值如何随时间变化,并将其汇总以表示活动视频中的运动。该框架是通用的,处理任何类型的每帧特征描述符,包括传统的运动描述符,如光流直方图(HOF)以及来自最近的卷积神经网络(CNN)的外观描述符。我们的实验证实,我们的方法明显优于以前的特征表示,包括袋的视觉词和改进的Fisher向量(IFV)时,使用相同的底层特征描述符。我们还确认,在处理第一人称视频时,我们的特征表示具有优于现有最先进特征的性能,如局部时空特征和改进的轨迹特征(最初为第三人称视频开发)。在各种设置下测试了多个第一人称活动数据集,以证实这些发现。
2015-05-06 cs.CV
GRM: Gradient Rectification Module for Visual Place Retrieval
Xi’an Jiaotong Univerisity(西安交通大学);MEGVII Inc.(旷视科技有限公司)
视觉地点检索的目的是在数据库中搜索与查询图像相似的地点。然而,由网络编码的全局描述符通常落入低维主空间,这是有害的检索性能。我们首先分析了这种现象的原因,指出这是由于退化的梯度分布的描述符。然后,我们提出了梯度校正模块(GRM)来缓解这个问题。GRM附加在最终池化层之后,可以将梯度校正到主空间的互补空间。通过GRM,网络被鼓励在整个空间中更均匀地生成描述符。最后,我们在多个数据集上进行了实验,并将我们的方法推广到原型学习框架下的分类任务。
2023-02-28 cs.CV
Fine-tuning CNN Image Retrieval with No Human Annotation
Czech Technical University in Prague(布拉格捷克理工大学)
基于卷积神经网络(CNN)的图像描述符由于其区分能力、表示的紧凑性和搜索效率而在图像检索中占据主导地位。CNN的训练,无论是从头开始还是微调,都需要大量的注释数据,其中高质量的注释通常至关重要。在这项工作中,我们建议以完全自动化的方式对大量无序图像进行图像检索。通过最先进的检索和运动恢复结构方法获得的重建3D模型指导训练数据的选择。我们表明,硬正面和硬负面的例子,通过利用几何形状和摄像机的位置从3D模型中选择,提高特定对象检索的性能。从相同的训练数据区别性地学习的CNN描述符白化优于常用的PCA白化。我们提出了一种新的可训练的广义均值(GeM)池化层,它概括了最大和平均池化,并表明它提高了检索性能。将所提出的方法应用于VGG网络,在标准基准测试(牛津建筑,巴黎和假日数据集)上实现了最先进的性能。
2018-07-10 cs.CV
Aggregating Deep Convolutional Features for Image Retrieval
Yandex(扬德克斯);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
最近的几项工作表明,由深度卷积神经网络产生的图像描述符为图像分类和检索问题提供了最先进的性能。还表明,来自卷积层的激活可以被解释为描述特定图像区域的局部特征。这些局部特征可以使用为局部特征开发的聚合方法(例如Fisher向量)来聚合,从而提供新的强大的全局描述符。在本文中,我们研究了可能的方法来聚合局部深度特征,以产生紧凑的全局描述符的图像检索。首先,我们发现深度特征和传统手工设计的特征具有完全不同的成对相似性分布,因此必须仔细重新评估现有的聚合方法。这种重新评估表明,与浅层特征相比,基于总和池的简单聚合方法可以为深度卷积特征提供最佳性能。该方法是有效的,具有很少的参数,并且在例如学习PCA矩阵时具有很小的过拟合风险。总的来说,新的紧凑的全球描述符大大提高了四个常见的基准上的最先进的。
2015-10-26 cs.CV
Beyond Part Models: Person Retrieval with Refined Part Pooling (and a Strong Convolutional Baseline)
Tsinghua University(清华大学);University of Technology Sydney(悉尼科技大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
采用部分级特征的行人图像描述提供了细粒度的信息,并已被验证为有益的人检索在最近的文献。零件发现的先决条件是每个零件都应该被很好地定位。而不是使用外部线索,例如,姿态估计,直接定位零件,本文强调的内容一致性的各个部分。具体来说,我们的目标是学习歧视性的部分知情特征的人检索,并作出两个贡献。(i)一个名为基于部分的卷积基线(PCB)的网络。给定一个图像输入,它输出一个由几个部分级特征组成的卷积描述符。通过统一的分区策略,PCB实现了与最先进的方法相竞争的结果,证明了自己是人员检索的强大卷积基线。(ii)一种改进的部分合并(RPP)方法。均匀划分不可避免地会在每个部分中产生离群值,这些离群值实际上与其他部分更相似。RPP将这些离群值重新分配给它们最接近的部件,从而产生具有增强的部件内一致性的细化部件。实验证明,RPP可以使PCB获得新一轮的性能提升。例如,在Market-1501数据集上,我们实现了(77.4+4.2)% mAP和(92.3+1.5)% rank-1准确率,大大超过了最先进的水平。
2018-01-09 cs.CV
Learned versus Hand-Designed Feature Representations for 3d Agglomeration
Janelia Farm Research Campus(珍妮莉亚农场研究园区);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
对于图像识别和标记任务,最近的结果表明,依赖于手动指定的特征表示的机器学习方法可能优于基于数据自动导出特征表示的方法。然而,对于涉及3d对象分析的问题,如网格分割、形状检索或神经元片段聚集,仍然强烈依赖于手工设计的特征描述符。在本文中,我们评估了大量的手工设计的3d特征描述符,以及使用端到端和无监督学习技术从原始数据中学习到的特征,在3d神经元片段聚集的背景下。通过将无监督学习技术与一种新的动态池方案相结合,我们展示了纯学习方法首次与手工设计的3d形状描述符竞争。我们研究了数据增强策略,以大幅增加训练集的大小,并展示了如何结合学习和手工设计的功能,从而达到最高的准确性。
2013-12-20 cs.CV
Cross-convolutional-layer Pooling for Image Recognition
The University of Adelaide(阿德莱德大学)
最近的研究表明,在大型图像数据集上预训练的深度卷积神经网络(DCNN)可以用作通用图像描述符,并且这样做可以为各种图像分类任务带来令人印象深刻的性能。这些研究中的大多数采用来自单个DCNN层(通常是全连接层)的激活作为图像表示。在本文中,我们提出了一种新的方法来提取图像表示从两个连续的卷积层:一层是用于本地特征提取和其他作为指导池提取的特征。通过采用卷积层的不同观点,我们进一步开发了两种方案来实现这一想法。第一个直接使用来自DCNN的卷积层。第二种方法将预训练的CNN应用于密集采样的图像区域,并将每个图像区域的全连接激活视为卷积特征激活。然后,我们在其上训练另一个卷积层作为池化指导卷积层。通过将我们的方法应用于三个流行的视觉分类任务,我们发现我们的第一个方案往往表现得更好的应用程序,需要在小区域内的微妙的对象模式,而后者擅长的情况下,需要区分类别级别的模式。总的来说,所提出的方法实现了优于现有的从DCNN提取图像表示的方法的性能。
2016-12-22 cs.CV
Action Representation Using Classifier Decision Boundaries
Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61所);The Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
大多数流行的基于深度学习的动作识别模型被设计为在其短时间窗口内生成单独的预测,这些预测通常通过启发式方法聚合以将动作标签分配给完整的视频片段。鉴于并非来自视频的所有帧都表征潜在动作,对所有帧施加同等重要性的池化方案可能是不利的。为了应对这一挑战,我们提出了一种新的池化方案,称为SVM池化,其基础是在所有时间窗口上由CNN生成的特征包中,至少有一个特征表征动作。为此,我们学习了一个决策超平面,将这个未知但有用的特征与其他特征分开。在SVM设置中应用多实例学习,我们使用这个分离超平面的参数作为视频的描述符。由于这些参数与最大边缘框架中的支持向量直接相关,因此它们用作CNN特征池化的鲁棒表示。我们设计了一个联合优化目标和一个有效的求解器,学习这些超平面每个视频和相应的动作分类器的超平面。在标准HMDB和UCF101数据集上进行的实验展示了最先进的性能。
2017-04-06 cs.CV
Efficient Image Categorization with Sparse Fisher Vector
Shanghai Jiao Tong University(上海交通大学);Shan Dong University(山东大学)
在目标识别中,Fisher向量(FV)表示是图像表示的主流方法之一,但其代价是特征密度大、维数高,计算时间长。由于FV的简化很有吸引力,我们提出了稀疏Fisher向量(SFV)。通过引入局部性策略,我们可以加速Fisher编码步骤中的图像分类,这是从一个集体的局部描述符实现。结合合并步长,探讨了编码步长与合并步长的关系,给出了SFV的理论解释。在基准数据集上的实验表明,SFV在保持分类性能的前提下,比FV提高了数倍的速度。此外,我们演示了SFV如何保持相似的局部特征表示的一致性。
2014-10-15 cs.CV
Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition
University of Maryland(马里兰大学);UMIACS(马里兰大学高级计算机研究所)
近年来,基于深度卷积神经网络(DCNN)的人脸验证和识别系统的性能得到了显著提高。用于人脸验证的典型管道包括训练深度网络以进行具有softmax损失的主题分类,使用倒数第二层输出作为特征描述符,并在给定一对人脸图像或视频的情况下生成余弦相似性得分。softmax损失函数不会优化特征,使其对正对具有更高的相似性得分,对负对具有更低的相似性得分,这导致性能差距。在本文中,我们提出了一个新的损失函数,称为晶体损失,限制的功能,躺在一个固定半径的超球面。使用现有的深度学习框架可以很容易地实现这种损失。我们表明,将这个简单的步骤集成到训练管道中可以显着提高人脸验证和识别系统的性能。我们在具有挑战性的LFW,IJB-A,IJB-B和IJB-C数据集上实现了最先进的人脸验证和识别性能,误报率范围很大(10-1至10-7)。
2019-02-04 cs.CV
A Self-Supervised Descriptor for Image Copy Detection
Meta AI
图像拷贝检测是内容审核的重要任务。我们介绍了SSCD,这是一个建立在最近的自我监督对比训练目标上的模型。我们通过改变架构和训练目标,包括来自实例匹配文献的池化算子,以及将对比学习适应于结合图像的增强,来使这种方法适应复制检测任务。我们的方法依赖于熵正则化项,促进描述符向量之间的一致分离,我们证明,这显着提高了复制检测的准确性。我们的方法产生了一个紧凑的描述符向量,适用于现实世界的网络规模的应用程序。可以将来自背景图像分布的统计信息并入描述符中。在最近的DISC2021基准测试中,在所有设置中,SSCD的性能都超过了基线复制检测模型和为图像分类设计的自监督架构。例如,SSCD的性能比Simplified描述符高出48%。代码可在https://github.com/facebookresearch/sscd-copy-detection上获得。
2022-03-25 cs.CR cs.CV cs.LG
Augmenting Visual Place Recognition with Structural Cues
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了增强基于图像的位置识别与结构线索。具体地说,这些结构线索是使用从运动结构获得的,这样就不需要额外的传感器来进行位置识别。这是通过用3D CNN来增强通常用于基于图像的位置识别的2D卷积神经网络(CNN)来实现的,3D CNN将从运动恢复结构点云导出的体素网格作为输入。我们评估了不同的方法融合的2D和3D功能,并获得最佳性能与全球平均池和简单的拼接。在Oxford RobotCar数据集上,与仅从一种输入模态中提取的描述符(包括最先进的基于图像的描述符)相比,所得到的描述符具有更好的识别性能。特别是在低描述符维度下,我们的性能比最先进的描述符高出90%。
2020-07-16 cs.CV cs.RO
VNI-Net: Vector Neurons-based Rotation-Invariant Descriptor for LiDAR Place Recognition
Department of Computer Science and Technology, School of Electronics and Information Engineering, Tongji University(同济大学电子信息工程学院计算机科学与技术系);MOE Key Lab of Embedded System and Service Computing, Tongji University(同济大学嵌入式系统与服务计算教育部重点实验室);Institute of Intelligent Vehicles, Tongji University(同济大学智能汽车研究所)
针对激光雷达地点识别中旋转导致的失效问题,提出基于向量神经元网络的VNI-Net方法,实现SO(3)旋转不变性,提升描述子判别性,性能优于同类旋转不变方法且与主流无旋转约束方法效果相当。
2023-08-24 cs.CV
Learning to Fuse Local Geometric Features for 3D Rigid Data Matching
Huazhong University of Science and Technology(华中科技大学)
本文提出了一种简单而有效的数据驱动方法,融合低层次和高层次的局部几何特征的三维刚性数据匹配。通常的做法是通过融合来自各种视点或子空间的低级特征来生成独特的几何描述符,或者通过利用多个高级特征来增强几何特征匹配。在先前的工作中,它们通常通过线性操作来执行,例如级联和最小池化。我们表明,更紧凑和独特的表示,可以通过优化神经网络(NN)模型的三重框架下,非线性融合的局部几何特征在欧几里得空间。NN模型由改进的三元组损失函数训练,该函数充分利用三元组内的所有成对关系。此外,我们的方法的融合描述符也与来自原始数据的深度学习描述符竞争,同时更轻量级和旋转不变。在四个标准数据集上的实验结果证实了我们的方法在特征匹配和几何配准方面的优势。
2019-04-27 cs.CV
DRTAM: Dual Rank-1 Tensor Attention Module
本文提出DRTAM(双秩1张量注意力模块),通过RTAM和RDEM生成初始与补充注意力图,在大型和移动网络上均实现自适应特征细化,性能优于现有注意力模块。
2023-09-07 cs.CV
Breast Cancer Diagnosis with Transfer Learning and Global Pooling
University of Saskatchewan(萨斯喀彻温大学);University of Tulane(杜兰大学)
乳腺癌是全世界妇女癌症相关死亡的最常见原因之一。乳腺癌的早期准确诊断可显著提高患者的生存率。在这项研究中,我们的目标是开发一个全自动的,基于深度学习的,使用深度卷积神经网络(DCNN)模型提取的描述符特征和池化操作对苏木精和伊红染色(H&E)组织学乳腺癌图像进行分类的方法,作为国际图像分析和识别会议(ICIAR)2018年乳腺癌组织学挑战赛(BACH)的一部分图像.采用不同的数据增强方法来优化DCNN的性能。我们还研究了作为预处理步骤的不同染色归一化方法的功效。使用预训练的Xception模型的拟议网络架构产生92.50%的平均分类准确率。
2019-09-26 cs.CV cs.LG eess.IV
Multi-level Texture Encoding and Representation (MuLTER) based on Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一个多层次的纹理编码和表示网络(MuLTER)的纹理相关的应用。基于多级池化架构,MuLTER网络同时利用低级和高级特征来维护纹理细节和空间信息。这样的池化架构涉及很少的额外参数,并保持特征尺寸固定,尽管图像大小的变化。与最先进的纹理描述符相比,MuLTER网络在MINC-2500和GTOS-mobile等典型纹理数据集上具有更高的识别精度,具有区分性和紧凑的表示。此外,我们分析了不同层次的特征组合的影响,这支持了我们的主张,多层次特征的融合有效地提高了识别性能。我们的源代码将发布在GitHub(https://github.com/olivesgatech)上。
2019-05-23 cs.CV
Good Practice in CNN Feature Transfer
Tsinghua University(清华大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Microsoft Research(微软研究院)
本文的目的是有效地转移卷积神经网络(CNN)的图像搜索和分类功能。系统地研究了CNN传输中的三个事实。1)我们证明了使用适当大尺寸的图像作为CNN的输入而不是传统大小调整的图像的优点。2)我们对不同CNN层的性能进行了基准测试,这些层通过在特征图上进行平均/最大池化来改进。我们的观察表明,在这种池化步骤下,Conv 5功能可以产生非常有竞争力的准确性。3)我们发现,在各个CNN层提取的合并特征的简单组合在从低级和高级描述符收集证据方面是有效的。遵循这些良好做法,我们能够在多个基准上大幅提高最先进的水平。
2016-04-01 cs.CV
Constrained Parametric Proposals and Pooling Methods for Semantic Segmentation in RGB-D Images
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);Lund University(隆德大学)
我们专注于基于RGB-D数据的语义分割问题,重点分析了包含来自许多视觉类别的许多实例的杂乱室内场景。我们的方法是基于一个参数的图形地面强度和深度约束的建议过程,生成空间布局假设在多个位置和规模的图像,然后由顺序推理算法,将建议集成到一个完整的场景估计。我们的贡献可以概括为提出以下建议:(1)利用强度和深度信息的参数最大流图形-背景建议方法的一般化,以便在多项式时间内系统地和有效地生成基础空间模型的断点,(2)新的区域描述方法基于使用强度和深度通道构造的多个特征上的二阶池化,(3)可以解决重叠空间分区中的冲突的推理过程,并且处理具有非常不同尺度的大量对象类别实例的场景,(4)对深度的影响以及大量描述符的有效性的广泛评估,这些描述符都是预先设计的并且使用深度学习自动获得的,在一个困难的RGB-D语义分割问题与92类。我们报告了具有挑战性的NYU Depth v2数据集的最新结果,该数据集扩展为RMRC 2013室内分割挑战赛,目前该模型排名第一,平均得分为24.61%,赢得了39个类别。此外,我们还表明,通过结合二阶和深度学习特征,可以额外实现超过15%的相对准确度提高。在场景分类基准测试中,我们的方法进一步提高了24%的最先进水平。
2014-07-31 cs.CV
Fast Feature Extraction with CNNs with Pooling Layers
University of Kaiserslautern(凯泽斯劳滕大学)
近年来,许多出版物表明,基于卷积神经网络的特征可以具有优于工程特征的性能。然而,到目前为止,没有采取太多的努力来有效地提取整个图像的局部特征。在本文中,我们提出了一种方法来计算基于补丁的局部特征描述符有效地存在池和跨越层的整个图像一次。我们的方法是通用的,可以应用到几乎所有现有的网络架构。这包括用于所有本地特征提取任务的网络,如相机校准、Patchmatching、光流估计和立体匹配。此外,我们的方法可以应用到其他补丁为基础的方法,如滑动窗口目标检测和识别。我们完成了我们的论文与流行的基于CNN的特征提取方法应用于整个图像的速度基准,有和没有我们的加速,和示例代码(火炬),显示如何任意CNN架构可以很容易地转换我们的方法。
2018-05-08 cs.CV cs.LG stat.ML
StructCore: Structure-Aware Image-Level Scoring for Training-Free Unsupervised Anomaly Detection
Tsinghua University Shenzhen International Graduate School(清华大学深圳国际研究生院);Ratel Soft;Affiliated Fifth Hospital, Wenzhou Medical University(温州医科大学附属第五医院);Chinese Medicine Guangdong Laboratory(广东中医药实验室)
StructCore通过结构感知的图像级评分方法,在无监督异常检测中实现了高鲁棒性的异常检测性能。
2026-02-21 cs.CV
G-MSGINet: A Grouped Multi-Scale Graph-Involution Network for Contactless Fingerprint Recognition
Department of Computer Science and Engineering(计算机科学与工程系);Advanced Technology Development Centre(先进技术发展中心);School of Quality and Reliability(质量与可靠性学院);Indian Institute of Technology Kharagpur(印度理工学院Khargpur分校)
提出融合分组内卷、动态多尺度核与图关系建模的 G-MSGINet,以轻量端到端架构实现非接触式指纹细节点定位与身份识别,性能优于现有方法。
2025-05-14 cs.CV