Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
Doppler-Radar Based Hand Gesture Recognition System Using Convolutional Neural Networks
手势识别一直是人机交互领域的研究热点。传统的基于摄像头的手势识别系统在黑暗环境下无法正常工作。提出了一种基于多普勒雷达的卷积神经网络手势识别系统。使用具有5.8GHz双接收通道的高性价比多普勒雷达传感器来获取四个标准手势的大数据库。然后对接收到的手势信号进行时频分析。卷积神经网络用于对不同的手势进行分类。实验结果验证了该系统的有效性，准确率为98%。此外，还研究了识别距离和手势尺度等相关因素。
2017-11-22 cs.CV
Orientation-Independent Chinese Text Recognition in Scene Images
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Fudan University（复旦大学）
本文提出通过解耦文本图像的内容与方向信息，引入字符图像重建网络（CIRN），实现对自然场景中水平和垂直中文文本的稳健识别，并在VCTR数据集上取得45.63%的性能提升。
2023-09-03 cs.CV
Why my photos look sideways or upside down? Detecting Canonical Orientation of Images using Convolutional Neural Networks
图像方向检测需要高水平的场景理解。人类使用对象识别和上下文场景信息来正确定位图像。在文献中，图像方向检测的问题大多是面临使用低层次的视觉特征，而一些方法结合了一些容易检测的语义线索，以获得微小的改进。图像中大量的语义内容使得方向检测具有挑战性，因此现有方法与人类行为之间存在很大的语义差距。此外，文献中的现有方法报告了高度不一致的检测率，这主要是由于数据集的巨大差异和用于评估的测试图像的种类有限。在这项工作中，我们第一次利用深度学习的力量，并使用迄今为止最大的训练数据集来适应预训练的卷积神经网络，用于图像方向检测任务。我们的模型在不同的公共数据集上进行了广泛的评估，结果表明，它可以显着地推广到正确地定位大量无约束图像;它的性能也显着优于最先进的技术，并达到了非常接近人类的精度。
2017-12-04 cs.CV
Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory
Cinnamon AI Lab（肉桂人工智能实验室）；Deakin University（迪肯大学）
卷积递归神经网络（CRNN）在场景文本识别方面表现出色。不幸的是，它们在处理长文本图像时可能会遇到消失/爆炸梯度问题，这在扫描文档中很常见。这对彻底解决光学字符识别（OCR）问题提出了重大挑战。受最近提出的用于长期序列建模的记忆增强神经网络（MANN）的启发，我们提出了一种新的架构，称为卷积多路联想记忆（CMAM），以解决当前CRNN的局限性。通过利用最新的内存访问机制在MANN，我们的架构表现出优越的性能对其他CRNN同行在三个现实世界的长文本OCR数据集。
2020-01-22 cs.CV
Face Recognition Using Scattering Convolutional Network
NYU School of Engineering（纽约大学工程学院）
人脸识别在过去的几十年里一直是一个活跃的研究领域。在一般情况下，人脸识别可以是非常具有挑战性的，由于在视点，照明，面部表情等的变化，因此，它是必不可少的，以提取特征是不变的一些或所有这些变化。在这里，一个新的图像表示，称为散射变换/网络，已被用来提取面部特征。散射变换是一种卷积网络，它为信号提供了强大的多层表示。在提取散射特征后，利用主成分分析对数据进行降维，然后利用多类支持向量机进行识别。该算法在三个人脸数据集上进行了测试，取得了很高的识别率。
2017-11-30 cs.CV
Activity Recognition based on a Magnitude-Orientation Stream Network
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
视频的时间分量为活动识别提供了重要线索，因为可以基于运动信息可靠地识别许多活动。有鉴于此，本工作提出了一种新的时间流双流卷积网络的基础上计算的图像从光流的幅度和方向，称为幅度方向流（MOS），学习运动在一个更好的和更丰富的方式。我们的方法应用简单的非线性变换的垂直和水平分量的光流生成输入图像的时间流。在两个著名的数据集（HMDB 51和UCF 101）上进行的实验结果表明，使用我们提出的时间流作为输入到现有的神经网络架构可以提高其性能的活动识别。结果表明，我们的时间流提供了补充信息，能够改善经典的两个流的方法，表明我们的方法被用作时间视频表示的适用性。
2017-08-22 cs.CV
Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild
Universiti Brunei Darussalam（文莱达鲁萨兰大学）；Namal Institute（纳马尔学院）
本文描述了拟议的方法，使用的数据和我们参加2020年野外情感行为分析（ABAW）比赛的挑战轨道2（Expr挑战轨道）的结果。在这次比赛中，我们使用了一个提出的深度卷积神经网络（CNN）模型来对给定的数据集进行自动面部表情识别（AFER）。我们提出的模型在验证集上的准确率为50.77%，F1得分为29.16%。
2020-10-03 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition
Technical University of Munich（慕尼黑工业大学）；Beijing Institute of Technology（北京理工大学）
我们解决了从点云数据中识别位置的问题，并引入了一个自我关注和方向编码网络（SOE-Net），该网络充分探索了点之间的关系，并将长程上下文结合到逐点局部描述符中。从八个方向的每个点的本地信息被捕获在PointOE模块中，而本地描述符之间的远程特征依赖性被捕获与自我关注单元。此外，我们提出了一种新的损失函数称为硬正硬负四重损失（HPHN四重），实现更好的性能比常用的度量学习损失。在各种基准数据集上的实验表明，该网络的性能优于当前最先进的方法。我们的代码在https://github.com/Yan-Xia/SOE-Net上公开发布。
2021-05-23 cs.CV
Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks
Comsats University（科姆萨特大学）；University of Leicester（莱斯特大学）；University of Calabria（卡拉布里亚大学）；Free University of Bozen-Bolzano（博岑-博尔扎诺自由大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
从实时视频流中进行对象识别面临着许多挑战，例如照明条件和姿势的变化。卷积神经网络（CNN）已被广泛用于执行智能视觉对象识别。然而，CNN仍然遭受严重的准确性下降，特别是在照明变量数据集上。为了解决这个问题，我们提出了一种新的CNN方法的基础上，方向融合的视觉目标识别。所提出的基于云的视频分析系统开创了使用二维经验模式分解将视频帧分割成固有模式函数（IMF）。我们进一步提出这些IMF来承受Reisz变换以产生单基因对象组件，这些组件反过来用于CNN的训练。过去的工作已经证明了如何对象定向组件可以用来追求高达93%的准确度。在这里，我们展示了如何的方向组件的特征融合策略，导致进一步提高视觉识别精度到97%。我们还评估了我们的方法的可扩展性，同时查看正在审查的视频流的数量和大小。我们在公开的耶鲁数据集上进行了广泛的实验，包括一个自己生成的视频数据集，发现与AlexNet，LeNet和SE-ResNeXt相比，这是三个最常用的深度学习模型，用于视觉对象识别和分类。
2021-06-19 cs.CV
Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks
University of Wollongong（伍伦贡大学）；Tianjin University（天津大学）
近年来，卷积神经网络（ConvNets）在许多计算机视觉任务，特别是基于图像的识别中表现出了良好的性能。如何有效地使用ConvNets进行基于视频的识别仍然是一个悬而未决的问题。在本文中，我们提出了一个紧凑，有效而简单的方法来编码时空信息携带的$3D$骨架序列到多个$2D$图像，称为联合轨迹地图（JTM），和ConvNets被采用来开发实时人体动作识别的判别特征。所提出的方法已经在三个公共基准上进行了评估，即，MSRC-12 Kinect手势数据集（MSRC-12），G3 D数据集和UTD多模态人体动作数据集（UTD-MHAD），并取得了最先进的结果。
2016-11-13 cs.CV
U-Net Convolutional Network for Recognition of Vessels and Materials in Chemistry Lab
卷积网络在计算机视觉系统中得到了广泛的应用。在这些结果的鼓舞下，U-Net卷积网络被应用于使用最近的Vector-LabPics数据集识别化学实验室中的容器和材料，该数据集包含化学实验室和其他一般设置中大部分透明容器内的2187张材料图像，标记为13类。通过优化包括学习率和学习率衰减的超参数，血管识别的准确率达到87%。在训练集和测试集相对较小的情况下（相对稀有的材料状态，训练集样本数小于500，测试集样本数小于100），最佳模型的IoU综合提高了18%以上，准确率提高了19%。通过将改进的卷积网络结构纳入我们的模型，可以实现进一步的改进。
2022-11-10 cs.CV
A Central Difference Graph Convolutional Operator for Skeleton-Based Action Recognition
Tianjin University（天津大学）；Zhengzhou University（郑州大学）；University of Wollongong（卧龙岗大学）
本文提出了一种新的图卷积算子称为中心差分图卷积（CDGC）的骨架为基础的动作识别。它不仅能够像香草图卷积运算那样聚合节点信息，还能够聚合梯度信息。在不引入任何额外参数的情况下，CDGC可以取代任何现有图卷积网络（GCN）中的普通图卷积。此外，开发了CDGC的加速版本，大大提高了训练速度。在两个流行的大规模数据集NTU RGB+D 60和120上的实验证明了所提出的CDGC的有效性。代码可在https://github.com/iesymiao/CD-GCN上获得。
2021-11-13 cs.CV
A Novel Feature Extraction Method for Scene Recognition Based on Centered Convolutional Restricted Boltzmann Machines
Beijing University of Technology（北京工业大学）；University of Kansas（堪萨斯大学）
场景识别是计算机视觉领域的一个重要研究课题，而特征提取是目标识别的关键步骤。经典的受限玻尔兹曼机（RBM）虽然能够有效地表示复杂的数据，但由于其计算的复杂性，很难处理大型图像。提出了一种新的用于场景识别的特征提取方法--中心卷积限制玻尔兹曼机（CCRBM）。该模型是一种改进的卷积限制玻尔兹曼机（CRBM），通过在其学习策略中引入中心因子来减少不稳定性的来源。首先，使用中心因子重新定义网络的可见单元。然后，通过利用分布函数，用修改的能量函数来学习隐藏单元，并且使用学习的隐藏单元来重建可见单元。为了实现更好的生成能力，中心卷积深度信念网络（CCDBN）以贪婪的逐层方式进行训练。最后，结合softmax回归进行场景识别。使用自然场景，麻省理工学院室内场景和加州理工学院101数据集进行的广泛的实验评估表明，所提出的方法在稳定性，泛化和歧视方面优于其他同行。CCDBN模型由于具有卷积特性，更适合于自然场景图像识别。
2015-06-24 cs.CV
Using Deep Convolutional Networks for Gesture Recognition in American Sign Language
本文提出利用深度卷积网络对美国手语中的字母和数字图像进行分类，探索神经网络在手语识别中的应用。
2017-11-20 cs.CV
Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks
Assiut University（艾斯尤特大学）
无约束文本识别是一个重要的计算机视觉任务，具有各种不同的子任务，每个子任务都有自己的挑战。深度神经网络的最大承诺之一是从输入原始信号中提取特征的收敛和自动化，从而以最少的领域知识实现尽可能高的性能。为此，我们提出了一个数据高效，端到端的神经网络模型通用，无约束的文本识别。在我们提出的架构中，我们努力在不牺牲识别精度的情况下实现简单性和效率。我们提出的架构是一个完全卷积的网络，没有任何使用CTC损失函数训练的循环连接。因此，它可以对任意大小的输入进行操作，并以非常高效和可并行的方式生成任意长度的字符串。我们通过在七个公共基准数据集上实现最先进的结果来展示我们所提出的文本识别架构的通用性和优越性，这些数据集涵盖了广泛的文本识别任务，即：手写识别，CAPTCHA识别，OCR，车牌识别和场景文本识别。我们提出的架构赢得了ICFHR 2018 READ数据集自动文本识别竞赛。
2018-12-31 cs.CV
Scene Text Recognition with Temporal Convolutional Encoder
Shanghai Key Laboratory of Multidimensional Information Processing（上海市多维信息处理重点实验室）；East China Normal University（华东师范大学）；Videt Tech Ltd.（Videt科技有限公司）
来自场景图像的文本通常由多个字符组成，并表现出特征序列结构。现有的方法通过编码器捕获具有序列到序列模型的结构以具有视觉表示，然后解码器将特征翻译成标签序列。在本文中，我们研究的文本识别框架，考虑长期的时间依赖性在编码器阶段。我们证明了所提出的时间卷积编码器，增加了连续的程度，提高了文本识别的准确性。我们还研究了卷积块中不同注意力模块对学习准确文本表示的影响。我们在七个数据集上进行了比较，实验证明了我们提出的方法的有效性。
2020-02-16 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
Vertex Feature Encoding and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Network for Action Recognition
Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与信任跨学科中心（SnT））；University of Luxembourg（卢森堡大学）
本文扩展了时空图卷积网络（ST-GCN），引入了两个新的模块，即图顶点特征编码器（GVFE）和扩展的分层时间卷积网络（DH-TCN），用于基于动作的动作识别。一方面，GVFE模块通过将原始骨架数据编码到新的特征空间中来学习用于动作识别的适当顶点特征。另一方面，DH-TCN模块能够使用分层扩张卷积网络捕获短期和长期时间依赖性。在具有挑战性的NTU RGB-D-60和NTU RGB-D 120数据集上进行了实验。所获得的结果表明，我们的方法与最先进的方法竞争，同时使用较少的层数和参数;从而减少了所需的训练时间和内存。
2019-12-20 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo（滑铁卢大学）
面部表情识别一直是计算机视觉中的一个活跃领域，其应用领域包括动画，社交机器人，个性化银行等。在这项研究中，我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的，如JAFFE和CK+数据库。结果表明，从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移，并用于面部表情识别。此外，对于小数据集，使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
ConvPoseCNN: Dense Convolutional 6D Object Pose Estimation
University of Bonn（波恩大学）
6D物体姿态估计是许多应用的先决条件。近年来，单目位姿估计因其不需要深度测量而引起了广泛的研究兴趣。在这项工作中，我们引入了ConvPoseCNN，这是一种完全卷积的架构，可以避免剪切单个对象。相反，我们提出了像素级的，密集预测的对象姿态的平移和方向分量，其中密集的方向表示在四元数的形式。我们提出了不同的方法聚集的密集方向的预测，包括平均和聚类方案。我们在具有挑战性的YCB-Video数据集上评估了ConvPoseCNN，在那里我们证明了该方法的参数要少得多，并且比同类方法训练得更快，而不会牺牲准确性。此外，我们的研究结果表明，密集的方向预测隐式地学习到值得信赖的，无遮挡的，功能丰富的对象区域。
2019-12-16 cs.CV
3D Convolutional with Attention for Action Recognition
Chowis（超维斯公司）；Gwangju Institute of Science and Technology（光州科学技术院）；Monitorapp（Monitorapp公司）
人体动作识别是计算机视觉中具有挑战性的任务之一。当前的动作识别方法使用计算昂贵的模型来学习动作的时空依赖性。分别利用RGB通道和光流的模型、使用双流融合技术的模型以及由卷积神经网络（CNN）和长短期记忆（LSTM）网络组成的模型是这种复杂模型的几个示例。此外，微调这种复杂的模型在计算上也是昂贵的。本文提出了一种用于学习这种依赖关系的深度神经网络架构，该架构由3D卷积层、全连接（FC）层和注意力层组成，该架构更易于实现，并在UCF-101数据集上具有竞争力的性能。该方法首先通过3D-CNN学习动作的空间和时间特征，然后注意力机制帮助模型将注意力定位到识别的基本特征。
2022-06-05 cs.CV
Large-scale Continuous Gesture Recognition Using Convolutional Neural Networks
University of Wollongong（伍伦贡大学）
本文解决了使用卷积神经网络（ConvNets）从深度图序列中识别连续手势的问题。该方法首先根据运动量（QOM）从深度序列中分割出各个手势。对于每个分割的手势，构造一个将深度序列转换为一个图像的改进的深度运动图（IIMM），并将其馈送到ConvNet进行识别。IDMM有效地编码了空间和时间信息，并允许与现有的ConvNet模型进行微调，以进行分类，而无需引入数百万个参数进行学习。该方法在2016年ChaLearn Looking at People（注视人）挑战赛的大规模连续手势识别上进行了评估。其性能达到0.2655（平均Jaccard指数），并在该挑战中排名$3^{rd}$。
2016-09-12 cs.CV
Graph Edge Convolutional Neural Networks for Skeleton Based Action Recognition
本文研究了基于骨架的动作识别中的骨架数据中的人体骨骼。人体关节作为成熟的姿态估计技术的直接产物，一直是传统动作识别方法关注的重点。然而，我们人类自然地根据骨骼的形状、长度和位置来识别人体如何移动，而不是关节，这对于观察来说更加明显和稳定。因此，给定从骨架数据生成的图形，我们建议在与人类骨架中的骨骼相对应的图形边缘上开发卷积。我们通过整合其空间相邻边缘来描述边缘，以探索不同骨骼之间的合作，以及其时间相邻边缘来解决动作中运动的一致性。然后设计了一个图边卷积神经网络用于基于骨架的动作识别。考虑到图节点卷积和图边卷积之间的互补性，我们另外构造了两个混合神经网络，使用共享的中间层将图节点卷积神经网络和图边卷积神经网络结合起来。在Kinetics和NTU-RGB+D数据集上的实验结果表明，我们的图边缘卷积能有效地捕捉动作的特征，我们的图边缘卷积神经网络明显优于现有的基于骨架的动作识别方法。此外，混合网络可以实现更多的性能改进。
2018-05-31 cs.CV
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
我们评估了从深度卷积网络的激活中提取的特征是否可以重新用于新的通用任务，该深度卷积网络以完全监督的方式在大型固定的对象识别任务集上训练。我们的通用任务可能与最初训练的任务显著不同，并且可能没有足够的标记或未标记数据来常规地训练或使深度架构适应新任务。我们研究并可视化了深度卷积特征的语义聚类与各种此类任务的关系，包括场景识别、领域自适应和细粒度识别挑战。我们比较了依赖于各种网络级别来定义固定功能的功效，并报告了在几个重要的视觉挑战上显着优于最先进技术的新结果。我们正在发布DeCAF，这是这些深度卷积激活功能的开源实现，以及所有相关的网络参数，使视觉研究人员能够在一系列视觉概念学习范式中进行深度表征的实验。
2013-10-06 cs.CV
Learning Connectivity with Graph Convolutional Networks for Skeleton-based Action Recognition
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）
学习图卷积网络（GCN）是一个新兴的领域，旨在将卷积运算推广到任意非正则域。特别是，在空间域上操作的GCN显示出比谱域更优越的性能，但是它们的成功高度依赖于如何定义输入图的拓扑结构。在本文中，我们介绍了一种新的图卷积网络的框架，学习图的拓扑性质。我们的方法的设计原理是基于约束目标函数的优化，该函数不仅学习GCN中的常用卷积参数，还学习传达这些图中最相关拓扑关系的变换基础。在具有挑战性的基于图的动作识别任务上进行的实验表明，与手工图设计以及相关工作相比，所提出的方法具有优越性。
2021-12-06 cs.CV
License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks
Sighthound Inc.（Sighthound公司）
这项工作详细介绍了Sighthounds全自动车牌检测和识别系统。该系统的核心技术是使用一系列深度卷积神经网络（CNN）与准确高效的算法交织而成。CNN经过训练和微调，使其在不同条件下（例如姿势、照明、遮挡等变化）具有鲁棒性。并且可以在各种牌照模板（例如，大小、背景、字体等）上工作。对于定量分析，我们表明，我们的系统优于领先的车牌检测和识别技术，即ALPR在几个基准。我们的系统可通过Sighthound Cloud API提供给开发人员，网址为https://www.sighthound.com/products/cloud
2017-03-28 cs.CV
Vehicle Color Recognition using Convolutional Neural Network
Institut Teknologi Sepuluh Nopember（十一月理工学院）
车辆颜色信息是智能交通系统的重要组成部分。本文提出了一种基于卷积神经网络（CNN）的汽车颜色识别方法。自然，CNN被设计为学习基于形状信息的分类方法，但我们证明了CNN也可以学习基于颜色分布的分类。在我们的方法中，我们将输入图像转换到两个不同的颜色空间，HSV和CIE Lab，并将其运行到一些CNN架构。训练过程遵循Krizhevsky介绍的过程，即在一些迭代之后，学习率降低10倍。为了测试我们的方法，我们使用Chen提供的公开车辆颜色识别数据集。结果表明，我们的模型比Chen提供的原始系统高出2%的整体准确度。
2018-08-15 cs.CV
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
The Chinese University of Hong Kong（香港中文大学）
人体骨架的动态特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工绘制的部分或遍历规则，从而导致表达能力有限和泛化困难。在这项工作中，我们提出了一种新的动态骨架模型称为时空图卷积网络（ST-GCN），它超越了以前的方法的限制，自动学习的空间和时间模式的数据。这一公式不仅导致更大的表达能力，而且具有更强的泛化能力。在两个大型数据集上，Kinetics和NTU-RGBD，它比主流方法实现了实质性的改进。
2018-01-25 cs.CV
Two-stream Flow-guided Convolutional Attention Networks for Action Recognition
National University of Singapore（新加坡国立大学）
本文提出了一种用于视频中动作识别的双流流引导卷积注意力网络。其中心思想是，光流，当适当补偿相机运动，可以用来引导注意到人类前景。因此，我们开发了从时间网络（在流上训练）到空间网络（在RGB帧上训练）的交叉链接层。这些交叉链接层引导空间流更多地关注人类前景区域，并且较少受背景杂波的影响。在UCF 101、HMDB 51和Hollywood2数据集上，我们的方法获得了很好的性能。
2017-08-30 cs.CV
Convolutional Neural Networks for Aerial Vehicle Detection and Recognition
West Virginia University（西弗吉尼亚大学）；University of Liverpool（利物浦大学）
本文研究了使用文本引导的深度卷积神经网络分类器进行飞行器识别的问题。该网络接收航空图像和所需类别，并通过匹配图像和所需类别的文本描述来进行是或否输出。我们训练和测试我们的模型上合成的航空数据集和我们所需的类组成的类类型和颜色的车辆的组合。当在测试中考虑比训练中更多的类时，这种策略会有所帮助。
2018-08-26 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
On the Exploration of Convolutional Fusion Networks for Visual Recognition
Leiden University（莱顿大学）
尽管最近在多尺度深度表示方面取得了进展，但它们的局限性归因于昂贵的参数和弱融合模块。因此，我们提出了一种有效的方法来融合多尺度深度表示，称为卷积融合网络（CFN）。由于使用了1 $\times$ 1卷积和全局平均池，CFN可以有效地产生侧分支，而添加很少的参数。此外，我们提出了一个局部连接的融合模块，它可以学习自适应权重的侧分支，并形成一个有区别的融合功能。在CIFAR和ImageNet数据集上训练的CFN模型与普通CNN相比表现出显着的改进。此外，我们推广CFN三个新的任务，包括场景识别，细粒度识别和图像检索。实验结果表明，该方法能对迁移任务取得一致的改进。
2016-11-16 cs.CV
A Discriminative Representation of Convolutional Features for Indoor Scene Recognition
University of Western Australia（西澳大利亚大学）
室内场景识别是一个多方面的和具有挑战性的问题，由于不同的类内变化和混乱的类间相似性。本文提出了一种新的方法，利用丰富的中层卷积特征来分类室内场景。传统上使用的卷积特征保留了全局空间结构，这是一般对象识别的理想属性。然而，我们认为，当我们在场景布局中有很大的变化时，这种结构性并没有多大帮助，例如，在室内场景中。我们建议将结构化卷积激活转换到另一个高度区分的特征空间。变换空间中的表示不仅结合了目标数据集的判别方面，而且还根据室内场景中存在的一般对象类别对特征进行编码。为此，我们引入了一个新的大规模数据集的1300对象类别，通常存在于室内场景。我们提出的方法实现了显着的性能提升，比以前的最先进的方法在五个主要的场景分类数据集。
2015-06-17 cs.CV
Position and Orientation-Aware One-Shot Learning for Medical Action Recognition from Signal Data
Newcastle University（纽卡斯尔大学）；University of Exeter（埃克塞特大学）
提出两阶段位置与方向感知单样本学习框架，融合SIG、CsA、DTW及隐私保护特征，提升信号数据医疗动作识别性能。
2023-09-27 cs.CV
CHAM: action recognition using convolutional hierarchical attention model
University of Liverpool（利物浦大学）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）
最近，最初在语言处理中提出的软注意力机制已被应用于计算机视觉任务，如图像描述。本文通过将卷积LSTM与分层系统架构相结合来识别视频中的动作类别，从而对软注意力模型进行改进。我们称这个模型为卷积层次注意力模型（Convolutional Hierarchical Attention Model，CHAM）。该模型在LSTM单元内应用卷积运算和注意力图生成过程来识别动作。该模型的层次结构能够显式地对多粒度的动作类别进行推理。所提出的架构在三个公开可用的数据集上取得了改进的结果：UCF体育数据集、奥林匹克体育数据集和HMDB51数据集。
2017-05-19 cs.CV
Recognition and standardization of cardiac MRI orientation via multi-tasking learning and deep neural networks
Fudan University（复旦大学）
在本文中，我们研究了心脏MRI中的成像方向问题，并提出了一个框架，通过深度神经网络对方向进行分类以进行识别和标准化。该方法使用了一种新的多任务策略，其中心脏分割和方向识别的任务同时实现。对于MRI的多个序列和模态，我们提出了一种迁移学习策略，该策略将我们提出的模型从单一模态调整到多模态。我们将方向识别网络嵌入心脏MRI方向调整工具中，即，CMRadjustNet.我们实现了两个版本的CMRadjustNet，包括一个用户界面（UI）软件和一个命令行工具。前者支持MRI图像可视化、方向预测、调整和存储操作;后者支持批处理操作。源代码、神经网络模型和工具已通过https://zmiclab.github.io/projects.html发布和开放。
2020-11-17 cs.CV eess.IV
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
深度卷积神经网络（DCNN）是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中，我们介绍了一种新的深度学习模型，称为Inception- Recurrent卷积神经网络（IRCNN），它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集（如MNIST，CIFAR-10，CIFAR- 100和SVHN）对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明，与大多数流行的DCNN（包括RCNN）相比，识别精度相似或更高。此外，我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN，等效的Inception Networks和Inception- Residual Networks相比，在增强的CIFAR- 100数据集上分别提高了约3.5%，3.47%和2.54%的分类精度。
2017-04-25 cs.CV
Dynamic Spatial-temporal Hypergraph Convolutional Network for Skeleton-based Action Recognition
基于骨架的动作识别依赖于时空拓扑信息的提取。超图可以为骨架建立先前的非自然依赖关系。然而，现有的方法只关注空间拓扑的构建，而忽略了时间点的依赖性。本文提出了一种动态时空超图卷积网络（DST-HCN）来捕获时空信息，用于基于动作的动作识别。DST-HCN引入了时间点超图（TPH）来学习时间点的关系。通过多个空间静态超图和动态TPH，我们的网络可以学习更完整的时空特征。此外，我们使用高阶信息融合模块（HIF）来同步融合时空信息。在NTU RGB+D、NTU RGB+D 120和NW-UCLA数据集上的大量实验表明，我们的模型达到了最先进的水平，特别是与超图方法相比。
2023-02-17 cs.CV
Domain Adaptation for Ear Recognition Using Deep Convolutional Neural Networks
Istanbul Technical University（伊斯坦布尔技术大学）
在本文中，我们广泛研究了无约束的人耳识别问题。我们首先展示了当深度卷积神经网络模型用于人耳识别时，领域自适应的重要性。为了启用领域自适应，我们使用Multi-PIE人脸数据集收集了一个新的耳朵数据集，我们将其命名为Multi-PIE耳朵数据集。为了进一步提高性能，我们结合了不同的深度卷积神经网络模型。我们深入分析了耳朵图像质量（例如照度和纵横比）对分类性能的影响。最后，我们解决了人耳识别领域中的数据集偏差问题。在UERC数据集上的实验表明，领域自适应可以显著提高性能。例如，当使用VGG-16模型并应用领域自适应时，已经实现了约10%的绝对增加。结合不同的深度卷积神经网络模型，进一步提高了4%的精度。还观察到图像质量对结果有影响。在我们已经进行的检查数据集偏差的实验中，给定一个耳朵图像，我们能够以99.71%的准确率对数据集进行分类，这表明耳朵识别数据集之间存在很强的偏差。
2018-03-21 cs.CV
Facial Emotion Recognition using Convolutional Neural Networks
Sri Venkateswara College of Engineering（斯里文卡特斯瓦拉工程学院）；Anna University（安娜大学）
本文研究基于卷积神经网络的人脸图像七种基本情绪分类问题，提出包含六层卷积、两层最大池化和两层全连接的网络模型，最终取得0.60的准确率。
2019-10-12 cs.CV
NU-LiteNet: Mobile Landmark Recognition using Convolutional Neural Networks
Naresuan University（纳瑞宣大学）
高性能移动设备的增长导致了对设备上图像识别的更多研究。研究的问题是自动识别的延迟和准确性，这仍然是其在现实世界中使用的障碍。虽然最近开发的深度神经网络可以达到与人类用户相当的准确性，但其中一些仍然缺乏必要的延迟。本文描述了一种新的卷积神经网络模型NU-LiteNet的体系结构的发展。为此，开发了SqueezeNet，以将模型大小缩小到适合智能手机的程度。因此，NU-LiteNet的模型大小比SqueezeNet小2.6倍。在两个标准地标数据库上进行实验时，NU-LiteNet的识别精度也优于其他最近开发的深度神经网络。
2018-10-02 cs.CV
Bangla License Plate Recognition Using Convolutional Neural Networks (CNN)
BRAC University（BRAC大学）；University of Dayton（戴顿大学）
近年来，深度学习技术特别是卷积神经网络（CNN）在计算机视觉和机器学习领域得到了广泛的应用。这种深度学习技术在不同的基准测试（如MNIST、CIFAR-10、CIFAR-100、Microsoft COCO和ImageNet）上的不同分类、分割和检测任务中提供了最先进的准确性。然而，在过去的十年中，有很多研究已经进行了孟加拉车牌识别与传统的机器学习方法。由于识别精度差，它们都没有用于部署孟加拉车牌识别系统（BLPRS）的物理系统。在本文中，我们实现了基于CNN的孟加拉车牌识别系统，具有更好的准确性，可用于不同的目的，包括道路救援，自动停车场管理系统，车辆牌照状态检测等。与此同时，我们还创建并发布了BLPRS的第一个标准数据库。
2018-09-04 cs.CV
Orientation recognition and correction of Cardiac MRI with deep neural network
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）
本文研究了心脏MRI图像中的方向校正问题，并提出了一种通过深度神经网络进行方向识别的框架。对于多模态MRI，我们引入了一种迁移学习策略，将我们提出的模型从单模态迁移到多模态。我们将所提出的网络嵌入到方向校正命令行工具中，该工具可以对2D DICOM和3D NIFTI图像进行方向校正。我们的源代码、网络模型和工具可在https://github.com/Jy-stdio/MSCMR_orient/上获得
2022-11-21 cs.CV eess.IV
Discriminant Patch Representation for RGB-D Face Recognition Using Convolutional Neural Networks
Sfax University（斯法克斯大学）；Digital Research Center of Sfax（斯法克斯数字研究中心）
本文的重点是设计数据驱动的模型，学习判别表示空间的人脸识别使用RGB-D数据。与手工制作的表示不同，学习模型可以从数据中提取和组织判别信息，并可以自动适应以更快地构建新的计算视觉应用程序。提出了一种有效的训练卷积神经网络学习人脸块判别特征的方法。所提出的解决方案在最先进的RGB-D数据集上进行了测试和验证，并显示出相对于标准手工特征提取器的竞争力和有前途的结果。
2018-12-17 cs.CV
Palmprint Recognition Using Deep Scattering Convolutional Network
New York University（纽约大学）
近年来，掌纹识别技术受到了广泛的关注。在过去的掌纹识别中，已经提出了许多算法，其中大多数是基于从变换域中提取的特征。这些变换域特征中的许多不是平移或旋转不变的，因此需要大量的预处理来对齐图像。在本文中，一个强大的图像表示，称为散射网络/变换，用于掌纹识别。散射网络是一种卷积网络，其架构和滤波器是预定义的小波变换。散射网络的第一层捕获与SIFT描述符类似的特征，并且更高层的特征捕获在SIFT和其他类似描述符中丢失的信号的更高频率的内容。在提取散射特征之后，通过应用主成分分析（PCA）来降低其维数，这降低了识别任务的计算复杂性。两种不同的分类器用于识别：多类SVM和最小距离分类器。该方法在一个著名的掌纹数据库上进行了测试，使用最小距离分类器和支持向量机分别取得了99.95%和100%的准确率。
2016-03-30 cs.CV
Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition
University of Science and Technology of China（中国科学技术大学）；HERE Technologies（HERE科技公司）
视频帧中的视觉属性，如特征对象和场景的存在，为视频中的动作识别提供了大量信息。以单个2D视频帧作为输入，由于2D CNN中的参数较少，因此可以使用比当前具有时空滤波器的3D CNN更复杂的卷积神经网络来有效地和高效地实现视觉属性提取。提出了一种基于视觉属性增强的三维CNN（A3D）框架，将视觉属性（包括检测、编码和分类）集成到多流三维CNN中，用于裁剪视频中的动作识别。视觉属性流水线包括目标检测网络、属性编码网络和分类网络。我们提出的A3D框架在HMDB51和UCF101数据集上都达到了最先进的性能。
2018-05-08 cs.CV
SwiDeN : Convolutional Neural Networks For Depiction Invariant Object Recognition
Indian Institute of Science（印度科学理工学院）
当前最先进的对象识别架构实现了令人印象深刻的性能，但通常专用于单一的识别风格（例如，仅照片，仅草图）。在本文中，我们提出了SwiDeN：我们的卷积神经网络（CNN）架构，它可以识别对象，而不管它们是如何在视觉上描绘的（线条画，现实的阴影画，照片等）。在SwiDeN中，我们利用了一种新的“深”的基于风格的切换机制，适当地解决了特定的问题和不变性方面的问题。我们将SwiDeN与其他架构和先前在包含多种样式描绘的对象的50类Photo-Art数据集上的工作进行比较。实验结果表明，SwiDeN优于其他方法的姿态不变的目标识别问题。
2016-07-29 cs.CV
RGB-D Based Action Recognition with Light-weight 3D Convolutional Networks
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
与RGB视频不同，RGB-D视频中的深度数据为三刺激视觉数据提供了关键的补充信息，这可能会提高动作识别的准确性。然而，大多数现有的动作识别模型仅使用RGB视频限制了性能容量。此外，最先进的动作识别模型，即3D卷积神经网络（3D-CNN）包含大量的参数，这些参数具有计算效率低的缺点。在本文中，我们提出了一系列的三维轻量级架构的动作识别的基础上RGB-D数据。与传统的3D-CNN模型相比，所提出的轻量级3D-CNN具有相当少的参数，涉及更低的计算成本，同时它导致良好的识别性能。在两个公共基准数据集上的实验结果表明，我们的模型可以近似或优于最先进的方法。具体来说，在RGB+D-NTU（NTU）数据集上，我们实现了93.2%和97.6%的跨主题和跨视图测量，在Northwestern-UCLA Multiview Action 3D（N-UCLA）数据集上，我们实现了95.5%的跨视图准确度。
2018-11-24 cs.CV
Fully Convolutional Networks for Continuous Sign Language Recognition
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；Kwai Inc.（快手公司）
连续手语识别（SLR）是一个具有挑战性的任务，需要学习的空间和时间维度的签名帧序列。最近的工作通过使用CNN和RNN混合网络来实现这一点。然而，训练这些网络通常是不平凡的，并且它们中的大多数在学习看不见的序列模式时失败，导致在线识别的性能不令人满意。在本文中，我们提出了一个全卷积网络（FCN）的在线SLR同时学习空间和时间的功能，从弱注释的视频序列，只给出了字幕级注释。一个光泽特征增强（GFE）模块中引入了建议的网络，以加强更好的序列比对学习。所提出的网络是端到端可训练的，无需任何预训练。我们在两个大规模的SLR数据集上进行了实验。实验结果表明，该方法对连续SLR图像是有效的，并具有良好的在线识别性能。
2020-07-24 cs.CV
ConvSRC: SmartPhone based Periocular Recognition using Deep Convolutional Neural Network and Sparsity Augmented Collaborative Representation
King Saud University（沙特国王大学）
基于智能手机的眼周识别已经得到了生物识别研究界的极大关注，因为生物识别模式的限制，如人脸，虹膜等，大多数现有的方法用于眼周识别采用手工制作的功能。最近，基于学习的图像表示技术，如深度卷积神经网络（CNN），在许多视觉识别任务中表现出出色的性能。CNN需要大量的数据用于其学习，但是对于眼周识别，只有有限的数据量可用。解决方案是使用在相关领域的数据集上预训练的CNN，在这种情况下，挑战是有效地提取判别特征。使用相关的CNN模型（VGG-Net），我们提出了一种简单，高效和紧凑的图像表示技术，考虑到丰富的信息和稀疏性存在于激活的卷积层，并采用主成分分析。对于识别，我们使用一个有效的和强大的稀疏增强协作表示为基础的分类（SA-CRC）技术。为了全面评估ConvSRC（所提出的系统），在VISOB挑战数据库上进行了实验，该数据库在ICIP 2016中用于眼周识别比赛。所获得的结果显示了ConvSRC优于最先进的方法;它在FMR = 10-3时获得了超过99%的GMR，并且比ICIP 2016挑战赛的第一名获胜者高出10%。
2018-01-16 cs.CV
Label-Efficient Skeleton-based Recognition with Stable-Invertible Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（国家科学研究中心）；LIP6（LIP6实验室）
本文提出了一种基于可逆图卷积网络的高效标签骨架动作识别方法，通过学习最信息量的子集以提升识别性能。
2025-11-21 cs.CV
