DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research(IBM研究院)
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息,由于其对复杂背景和环境动态特性的鲁棒性。在本文中,我们结合身体骨架数据与空间和运动特征的脸和双手,并提出了“深度动作邮票(DeepActs)”,一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”,这是一个基于深度学习的集成模型,它从Deep Action Stamps中学习卷积和结构特征,以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集(NTU 60、NTU 120和SYSU)上进行的实验表明,使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高,而且与最先进的方法相比,计算成本更低。
2021-06-04 cs.CV
Deep Structured Models For Group Activity Recognition
Simon Fraser University(西蒙菲莎大学);SPORTLOGiQ
本文提出了一种基于深度神经网络的分层图形模型,用于监控场景中的个人和群体活动识别。深度网络用于识别场景中单个人的动作。接下来,基于神经网络的分层图形模型通过考虑类之间的依赖关系来细化每个类的预测标签。这个细化步骤模仿了类似于概率图模型中的推理的消息传递步骤。我们证明了这种方法在群体活动识别中是有效的,深度图形模型比基线方法提高了识别率。
2015-06-12 cs.CV
MobiFace: A Lightweight Deep Learning Face Recognition on Mobile Devices
Concordia University(康考迪亚大学);University of Arkansas(阿肯色大学);Carnegie Mellon University(卡内基梅隆大学)
深度神经网络已广泛用于众多计算机视觉应用中,特别是在人脸识别中。然而,在移动设备上部署深度神经网络人脸识别最近已经成为一种趋势,但仍然有限,因为大多数高精度深度模型在推理阶段都是时间和GPU消耗。因此,开发轻量级深度神经网络是在移动设备上部署人脸识别的最实用的解决方案之一。这种轻量级深度神经网络需要具有少量权重表示和低成本算子的高效存储器。在本文中,一种新的深度神经网络命名为人脸识别,一个简单但有效的方法,提出了在移动设备上有效地部署人脸识别。实验结果表明,我们的轻量级人脸识别算法在LFW数据库上的识别率达到99.73%,在大规模的Megaface数据库上的识别率达到91.3%。它最终也可以与大规模深度网络人脸识别竞争,同时显著减少计算时间和内存消耗。
2019-04-17 cs.CV
Word Recognition with Deep Conditional Random Fields
SUNY at Buffalo(纽约州立大学布法罗分校);University of Electronic Science and Technology of China(电子科技大学)
手写体文字的识别一直是文档分析和识别中的一个重要问题。现有的方法从单词图像中提取手工设计的特征,这在新的数据集上表现不佳。最近,深度学习由于能够从原始数据中学习特征而引起了极大的关注。此外,他们已经取得了国家的最先进的结果,在分类任务,包括字符识别和场景识别。另一方面,单词识别是一个序列问题,我们需要对字符之间的相关性进行建模。在本文中,我们提出使用深度条件随机场(深CRF)进行单词识别。基本上,我们将CRF与深度学习结合起来,在深度学习中学习深度特征,并在统一的框架中标记序列。我们使用堆叠的限制性玻尔兹曼机(RBM)对深度结构进行预训练以进行特征学习,并使用在线学习算法优化整个网络。在两个数据集上对所提出的模型进行了评估,发现其表现明显优于竞争性基线模型。源代码可在https://github.com/ganggit/deepCRFs上获得。
2016-12-04 cs.CV
Face Recognition: From Traditional to Deep Learning Methods
University of Hertfordshire(赫特福德大学);GBG plc(GBG集团)
从七十年代开始,人脸识别已经成为计算机视觉和生物识别领域研究最多的课题之一。基于手工特征的传统方法和传统机器学习技术最近已被使用非常大的数据集训练的深度神经网络所取代。在本文中,我们提供了流行的人脸识别方法,包括传统的(基于几何,整体,基于特征和混合方法)和深度学习方法的全面和最新的文献综述。
2018-10-31 cs.CV
Deep Learning Approach for Receipt Recognition
Deep Learning and Application, Vietnam(越南深度学习与应用机构)
受深度学习最近在计算机视觉和自然语言处理方面取得的成功的启发,我们提出了一种用于识别扫描收据的深度学习方法。识别系统主要包括两个模块:基于联结主义文本建议网络的文本检测和基于注意力编码解码器的文本识别。我们还提出了预处理提取收据区域和OCR验证忽略手写。在扫描票据OCR和信息抽取2019的Robust Reading Challenge数据集上的实验表明,通过将预处理和OCR验证相结合,提高了准确率。我们的识别系统实现了71.9%的F1分数的检测和识别任务。
2019-05-30 cs.CV
A Comprehensive Survey on Deep Gait Recognition: Algorithms, Datasets and Challenges
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Hong Kong Polytechnic University(香港理工大学)
本文从深度表示学习与网络架构两个层面系统综述深度步态识别方法、数据集与性能,并探讨其隐私安全挑战及未来方向。
2023-08-05 cs.CV
Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images
Havelsan Inc.(哈维桑公司)
智能自动化交通执法解决方案近年来越来越受欢迎。这些解决方案广泛用于安全带违规检测、闯红灯违规检测和超速违规检测。高精度的车牌识别是这些系统中不可或缺的一部分。然而,一般的车牌识别系统需要高分辨率的图像以获得高性能。在这项研究中,我们提出了一种新的车牌识别方法,一般道路监控摄像头。提出的无分割车牌识别算法在字符检测和识别过程中利用基于深度学习的目标检测技术。所提出的方法已被测试2000图像上捕获的道路上。
2019-12-05 cs.CV
Deep Image: Scaling up Image Recognition
我们提出了一个最先进的图像识别系统,深度图像,使用端到端的深度学习开发。关键组件是一台专门用于深度学习的定制超级计算机,一种高度优化的并行算法,使用新的数据分区和通信策略,更大的深度神经网络模型,新颖的数据增强方法,以及多尺度高分辨率图像的使用。我们的方法在多个具有挑战性的计算机视觉基准测试中取得了优异的结果。
2015-07-06 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China(中国科学技术大学)
目前的工作制定面部动作单元(AU)识别作为一个监督学习的问题,在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的,如果不是不可能的话。幸运的是,AU出现在所有面部图像上,无论是否手动标记,都满足潜在的解剖机制和人类行为习惯。在本文中,我们提出了一个深度半监督框架,用于从部分AU标记的面部图像中识别面部动作单元。具体来说,所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示,并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失,忠实地表示标记和未标记面部图像的固有AU分布,并混淆图像。在训练过程中,深度识别网络R和BND交替优化。因此,在训练期间,利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明,该方法通过对抗学习成功地捕获了AU分布,并优于最先进的AU识别工作。
2021-06-04 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston(休斯顿大学)
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统(UR 2D),是强大的姿态变化高达90?通过利用深度学习技术。描述了UR 2D的体系结构和接口,并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验,证明UR 2D在人脸识别任务中比现有的2D人脸识别系统,如VGG-Face,FaceNet和商业现成软件(COTS),在UHDB 31数据集上至少有9%,在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分,在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白,该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
LOGO-Net: Large-scale Deep Logo Detection and Brand Recognition with Deep Region-based Convolutional Networks
Singapore Management University(新加坡管理大学);Alibaba Group(阿里巴巴集团)
从图像中检测徽标有许多应用,特别是用于品牌识别和知识产权保护。现有的大多数标识识别和检测研究都是基于小规模的数据集,在探索新兴的深度学习技术时不够全面。在本文中,我们介绍了“LOGO-Net”,一个大规模的标志图像数据库的标志检测和品牌识别从现实世界的产品图像。为了便于研究,LOGO-Net有两个数据集:(i)“logo-18”由18个logo类、10个品牌和16,043个logo对象组成,(ii)“logo-160”由160个logo类、100个品牌和130,608个logo对象组成。我们描述的想法和挑战,构建这样一个大规模的数据库。这项工作的另一个关键贡献是将新兴的深度学习技术应用于徽标检测和品牌识别任务,并通过探索用于目标检测任务的几种最先进的基于深度区域的卷积网络技术来进行广泛的实验。该标识网将在http://logo-net.org/上发布
2015-11-13 cs.CV
An Analysis of Deep Neural Networks with Attention for Action Recognition from a Neurophysiological Perspective
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
我们回顾了最近三种基于深度学习的动作识别方法,并从神经生理学的角度对这些方法进行了简要的比较分析。我们认为这三种基于深度学习的方法与一些关于人脑功能的现有假设之间存在一些相似之处。
2019-07-02 cs.CV
Deep learning for scene recognition from visual data: a survey
University of Groningen(格罗宁根大学)
深度学习技术的使用在过去几年中呈爆炸式增长,对人工智能领域做出了直接贡献。这项工作的目的是回顾最先进的场景识别与深度学习模型从视觉数据。场景识别是计算机视觉中的一个新兴领域,目前已从单图像和动态图像的角度进行了研究。我们首先概述了用于图像和视频场景识别的可用数据集。后来,我们描述了集成技术在该领域的研究论文。最后,我们对我们的研究结果发表了一些评论,并讨论了我们认为该领域的挑战和未来的研究方向。本文旨在成为未来的指导模型选择的任务,场景识别。
2020-07-03 cs.CV
Influence of segmentation on deep iris recognition performance
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);XLAB d.o.o.(XLAB有限责任公司);Faculty of Electrical Engineering, University of Ljubljana(卢布尔雅那大学电气工程学院)
尽管深度学习在计算机视觉和图像处理的许多领域兴起,但到目前为止,虹膜识别并没有从这些趋势中受益匪浅。现有的大部分关于深度虹膜识别的研究都集中在用于生成有区别的和鲁棒的虹膜表示的新模型上,并且依赖于类似于传统虹膜识别管道的方法。因此,所提出的模型并不以端到端的方式进行虹膜识别,而是使用标准的启发式虹膜分割(和展开)技术来为深度学习模型产生归一化的输入。然而,由于深度学习能够对非常复杂的数据分布和非线性数据变化进行建模,因此出现了一个明显的问题。在深度学习环境中使用传统分割方法有多重要?为了回答这个问题,我们在本文中提出了虹膜分割对深度学习模型性能的影响的实证分析,使用一个简单的两阶段流水线,包括分割和识别步骤。我们评估分割的准确性如何影响识别性能,但也检查是否需要分割。我们使用CASIA Thousand和SBVPI数据集进行实验,并报告了几个有趣的发现。
2020-05-08 cs.CV
Naive-Deep Face Recognition: Touching the Limit of LFW Benchmark or Not?
Face++, Megvii Inc.(旷视科技(Megvii)Face++)
随着深度学习技术的发展和大规模训练数据集的积累,人脸识别性能迅速提高。在本文中,我们报告了我们对大数据如何影响识别性能的观察。根据这些观察,我们建立了我们的Megvii人脸识别系统,它达到了99.50%的准确率在LFW基准,优于以前的国家的最先进的。此外,我们报告了在现实世界的安全认证场景的性能。机器识别和人类表现之间仍然存在明显的差距。我们总结了我们的实验,并提出了未来的三个挑战,在最近的人脸识别。我们指出了应对这些挑战的几种可能的解决方案。我们希望我们的工作将激发社区对研究基准和实际应用之间差异的讨论。
2015-01-20 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology(COMSATS信息技术研究所);Information Technology University (ITU)(信息技术大学);National University of Sciences and Technology (NUST)(国立科学技术大学)
图像处理中涉及的特征描述符通常是人工选择的,并且本质上是高维的。对于面部表情识别等系统来说,选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比,从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Action Units Recognition by Pairwise Deep Architecture
Fujitsu Laboratories Ltd.(富士通实验室有限公司)
在本文中,我们提出了一种新的自动动作单元(AU)识别方法,在野外情感行为分析(ABAW)的竞争。我们的方法通过使用成对的深度架构来解决受试者之间AU标签不一致的问题。当基线得分为0.31时,我们的方法在比赛的验证数据集中达到了0.67。
2020-10-02 cs.CV
Targeting Ultimate Accuracy: Face Recognition via Deep Embedding
Baidu Research – Institute of Deep Learning(百度研究院-深度学习研究所)
人脸识别已经研究了几十年。与LBP和HOG等传统手工制作的功能相反,可以通过数据驱动的方式通过深度学习方法自动学习更复杂的功能。在本文中,我们提出了一种两阶段的方法,该方法结合了多块深度CNN和深度度量学习,提取低维但非常有鉴别力的特征用于人脸验证和识别。实验表明,该方法优于其他国家的最先进的方法在LFW数据集上,实现了99.77%的成对验证准确率和其他两个更实际的协议下的准确性显着更好。本文还讨论了数据大小和补丁数量的重要性,为现实世界中实用的高性能人脸识别系统提供了一条清晰的道路。
2015-07-23 cs.CV
A Deep, Information-theoretic Framework for Robust Biometric Recognition
Southeast University(东南大学);South China University of Technology(华南理工大学);The University of Edinburgh(爱丁堡大学)
深度神经网络(DNN)已经成为当今生物识别解决方案的事实标准。在这些基于DNN的识别系统中,一个严重但仍然被忽视的问题是它们对对抗攻击的脆弱性。对抗攻击很容易导致DNN系统的输出严重失真,而其输入只有微小的变化。这种扭曲可能会导致一个有效的生物特征和一个战略攻击者构建的合成生物特征之间的意外匹配,从而引发安全问题。在这项工作中,我们展示了如何通过深入的信息理论框架学习强大的生物特征来解决这个问题,该框架建立在最近的深度变分信息瓶颈方法的基础上,但仔细适应生物识别任务。实证评估表明,我们的方法不仅提供了更强的鲁棒性对对抗攻击,但也提供了更好的识别性能比国家的最先进的方法。
2019-02-23 cs.CV
Deep Learning Approach for Ear Recognition and Longitudinal Evaluation in Children
Clarkson University(克拉克森大学)
本文针对儿童耳部随年龄快速变化带来的识别难题,构建了4至14岁儿童2.5年的纵向数据集,并提出基于VGG16与MobileNet集成的深度学习方法,重点评估儿童耳部识别的纵向性能。
2024-08-02 cs.CV
Deep Joint Face Hallucination and Recognition
Sun Yat-sen University(中山大学)
深度模型在面部幻觉任务中取得了令人印象深刻的性能。然而,我们观察到,直接将幻觉面部图像馈送到识别模型中甚至会降低识别性能,尽管可视化质量要好得多。在本文中,我们通过联合学习两个任务的深度模型来解决这个问题,即人脸幻觉和识别。特别地,我们设计了一个端到端的深度卷积网络,其中识别子网络级联了幻觉子网络。识别子网络负责使用超分辨率图像作为由超分辨率子网络生成的输入来产生有区别的特征表示。在训练过程中,我们将LR面部图像馈送到网络中,并通过最小化两个损失项来优化参数,即1)通过地面真实HR图像和网络生成图像之间的像素差异测量的面部幻觉损失;以及2)通过分类错误和类内距离测量的验证损失。我们广泛评估我们的方法LFW和YTF数据集。实验结果表明,该方法在4x下采样LFW测试集上的识别准确率达到97.95%,优于传统人脸识别模型的96.35%的准确率。在更具挑战性的YTF数据集上,我们实现了90.65%的识别准确率,超过了传统人脸识别模型在4倍下采样版本上获得的89.45%的识别准确率。
2016-11-24 cs.CV
A Double-Deep Spatio-Angular Learning Framework for Light Field based Face Recognition
人脸识别因其广泛的应用而受到越来越多的关注,但在面对生物特征变化较大的情况下,人脸识别仍然具有挑战性。透镜光场相机最近变得突出,以捕获丰富的空间-角度信息,从而为先进的生物识别系统提供了新的可能性。本文提出了一种用于基于光场的人脸识别的双深度空间-角度学习框架,该框架能够使用卷积表示顺序学习纹理和角度动态;这是一种新颖的识别框架,以前从未被提出用于人脸识别或任何其他视觉识别任务。所提出的双深度学习框架包括长短期记忆(LSTM)递归网络,其输入是使用VGG-Very-Deep-16卷积神经网络(CNN)计算的VGG-Face描述。VGG-16网络使用从全光场图像渲染的不同面部视点,其被组织为伪视频序列。一组全面的实验已经进行了与IST-EURECOM光场人脸数据库,各种各样的和具有挑战性的识别任务。结果表明,该框架实现了优越的人脸识别性能相比,国家的最先进的。
2019-04-24 cs.CV
FaceNet2ExpNet: Regularizing a Deep Face Recognition Net for Expression Recognition
University of Maryland, College Park(马里兰大学学院公园分校);Siemens Healthcare Technology Center, Princeton, New Jersey(西门子医疗技术中心(普林斯顿))
可用于表情识别研究的数据集相对较小,这使得用于表情识别的深度网络的训练非常具有挑战性。虽然微调可以部分缓解这个问题,但性能仍然低于可接受的水平,因为深度特征可能包含来自预训练域的冗余信息。在本文中,我们提出了FaceNet 2 ExpNet,一个新的想法训练的表情识别网络的基础上静态图像。我们首先提出了一个新的分布函数来模拟表达网络的高级神经元。在此基础上,精心设计了两阶段训练算法。在预训练阶段,我们训练表达式网络的卷积层,由面网络正则化;在细化阶段,我们添加全连接层到预训练的卷积层,并训练整个网络。可视化显示,用我们的方法训练的模型捕获了改进的高级表达式语义。在CK+、Oulu-CASIA、TFD和SFEW四个公共表达数据库上的实验结果表明,该方法取得了比现有方法更好的结果。
2016-09-22 cs.CV
Deep Embedding using Bayesian Risk Minimization with Application to Sketch Recognition
Indian Institute of Science(印度科学学院);TCS Research(塔塔咨询服务公司研究院)
在本文中,我们解决的问题,手绘草图识别。受贝叶斯决策理论的启发,我们提出了一种深度度量学习损失,其目标是最大限度地降低贝叶斯误分类风险。我们在训练过程中估计每个小批量的这种风险,并通过将其反向传播到端到端可训练范式中的深度神经网络来学习鲁棒的深度嵌入。尽管手绘草图图像中自然存在类内变化和类间相似性,但我们学习的嵌入是有区别的和鲁棒的。在草图识别方面,我们的方法在TU-Berlin-250和TU-Berlin-160基准测试中分别达到了82.2%和88.7%。
2018-12-06 cs.CV
Git Loss for Deep Face Recognition
University of Insubria(因苏布里亚大学)
卷积神经网络(CNN)已被广泛应用于计算机视觉任务中,例如人脸识别和验证,并且由于其捕获有区别的深度特征的能力而获得了最先进的结果。传统上,CNN已经用softmax作为监督信号进行训练,以惩罚分类损失。为了进一步增强深度特征的区分能力,我们引入了一个联合监督信号Git loss,它利用了softmax和中心损失函数。我们的损失函数的目的是最小化类内变化以及最大化类间距离。这种深度特征的最小化和最大化被认为是人脸识别任务的理想选择。我们在两个流行的人脸识别基准数据集上进行了实验,结果表明,我们提出的损失函数在不同身份的深层人脸特征之间实现了最大的可分性,并在两个主要的人脸识别基准数据集上实现了最先进的准确性:野生标签人脸(LFW)和YouTube人脸(YTF)。然而,应该注意的是,Git丢失的主要目标是实现不同身份的深层特征之间的最大可分性。
2018-07-28 cs.CV
Pose-Robust Face Recognition via Deep Residual Equivariant Mapping
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
由于深度学习的出现,人脸识别取得了非凡的成功。然而,许多当代的人脸识别模型仍然表现相对较差,在处理侧面人脸相比,正面人脸。一个关键原因是正面和侧面训练人脸的数量高度不平衡-与侧面训练样本相比,正面训练样本更多。此外,本质上很难学习对大的姿势变化几何不变的深度表示。在这项研究中,我们假设有一个内在的映射之间的正面和侧面的脸,因此,他们的差异在深表征空间可以弥合的等变映射。为了利用这种映射,我们制定了一种新的深度残差等价映射(DREAM)块,它能够自适应地将残差添加到输入的深度表示中,以将轮廓面部表示转换为简化识别的规范姿势。DREAM模块始终增强了许多强大的深度网络(包括ResNet模型)的轮廓人脸识别性能,而无需故意增加轮廓人脸的训练数据。该块易于使用,重量轻,并且可以以可忽略的计算开销来实现。
2018-03-02 cs.CV
Video-based Human Action Recognition using Deep Learning: A Review
Centre d’Etudes et d’Expertise sur les Risques, l’environnement la mobilité et l’aménagement (CEREMA)(风险、环境、流动性与规划研究与专业中心);VinUniversity(文林大学);Université Paul Sabatier(保罗·萨巴蒂埃大学);Universidad de los Andes(安第斯大学);University Carlos III Madrid(马德里卡洛斯三世大学)
人体动作识别是计算机视觉的一个重要应用领域。它的主要目标是根据传感器获取的以前从未见过的数据序列准确描述人类行为及其交互。识别、理解和预测复杂人类行为的能力使得许多重要应用的构建成为可能,例如智能监控系统、人机界面、医疗保健、安全和军事应用。近年来,深度学习受到了计算机视觉界的特别关注。本文概述了使用视频分析和深度学习技术进行动作识别的当前最新技术。我们提出了最重要的深度学习模型来识别人类动作,并分析它们,以提供深度学习算法应用于解决现实视频中的人类动作识别问题的当前进展,突出其优点和缺点。基于文献中报道的识别精度的定量分析,我们的研究确定了动作识别中最先进的深层架构,然后为该领域未来的工作提供了当前的趋势和开放的问题。
2022-08-07 cs.CV
Facial Expression Recognition with Deep Learning
Stanford University(斯坦福大学)
人们交流的最普遍的方式之一是通过面部表情。在本文中,我们进行了深入研究,实现了用于面部表情识别(FER)的多个深度学习模型。我们的目标是双重的:我们的目标不仅是最大限度地提高准确性,而且要将我们的结果应用于现实世界。通过利用最近研究中的许多技术,我们在FER2013测试集上展示了最先进的75.8%的准确率,优于所有现有的出版物。此外,我们还展示了一个移动Web应用程序,它可以在设备上实时的运行我们的FER模型。
2020-04-08 cs.CV
Towards Real-Time Action Recognition on Mobile Devices Using Deep Models
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
动作识别是计算机视觉中的一项重要任务,人们提出了许多方法来将其推向极限。然而,目前的动作识别模型具有巨大的计算成本,无法部署到移动设备上的真实任务。在本文中,我们首先说明了设置的实时的【形】动作识别,这是不同于目前的动作识别推理设置。在新的推理设置下,我们根据经验研究了Kinetics数据集上最先进的动作识别模型。我们的研究结果表明,设计高效实时的【形】动作识别模型与设计高效的ImageNet模型是不同的,特别是在权重初始化方面。我们证明了ImageNet上的预训练权重在实时的【形】动作识别设置下提高了准确性。最后,我们使用手势识别任务作为案例研究,以评估我们的紧凑的实时的【形】动作识别模型在手机上的实际应用。结果表明,我们的动作识别模型,是6倍的速度和与国家的最先进的类似的准确性,可以大致满足移动设备上的实时的【形】要求。据我们所知,这是第一篇在移动设备上部署当前深度学习动作识别模型的论文。
2019-06-17 cs.CV
Person Recognition using Facial Micro-Expressions with Deep Learning
Tel Aviv University(特拉维夫大学)
本研究提出一种深度学习方法,通过精细时间分辨率捕捉面部微表情的空间语义与运动,用于增强人物识别,并在三个数据库上取得显著优于现有基准的识别准确率。
2023-06-24 cs.CV
LPRNet: License Plate Recognition via Deep Neural Networks
Intel(英特尔)
提出了一种基于LPRNet的端到端车牌自动识别方法。我们的方法受到深度神经网络最新突破的启发,并实时工作,对中国车牌的识别准确率高达95%:在nVidia GeForce GTX 1080上为3 ms/板,在Intel Core i7- 6700 K CPU上为1.3 ms/板。LPRNet由轻量级的卷积神经网络组成,因此它可以以端到端的方式进行训练。据我们所知,LPRNet是第一个不使用RNN的实时车牌识别系统。因此,LPRNet算法可用于创建LPR的嵌入式解决方案,即使在具有挑战性的中国车牌上也具有高水平的准确性。
2018-06-27 cs.CV
RGB-D-based Human Motion Recognition with Deep Learning: A Survey
University of Wollongong(伍伦贡大学);Motovis Inc.(Motovis公司);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
人体运动识别是以人为中心的研究活动中最重要的分支之一。近年来,基于RGB-D数据的运动识别引起了人们的广泛关注。随着人工智能的发展,深度学习技术在计算机视觉中取得了显著的成功。特别是,卷积神经网络(CNN)在基于图像的任务方面取得了巨大成功,而递归神经网络(RNN)则以基于序列的问题而闻名。具体而言,基于CNN和RNN架构的深度学习方法已被用于使用RGB-D数据的运动识别。本文详细介绍了基于RGB-D的运动识别的最新进展。综述的方法大致分为四组,这取决于识别所采用的模式:基于RGB的,基于深度的,基于RGB+ D的。作为一项关注深度学习在基于RGB-D的运动识别中的应用的调查,我们明确讨论了现有技术的优点和局限性。重点介绍了视频序列中时空结构信息的编码方法,并讨论了未来的研究方向。
2018-04-24 cs.CV
Deep Gait Recognition: A Survey
Queen’s University(女王大学);Ingenuity Labs Research Institute(才智实验室研究所)
步态识别是一种有吸引力的生物特征识别方式,其目的是根据人的行走方式来识别人。自2015年以来,深度学习通过自动学习判别表示的能力重塑了该领域的研究格局。基于深度学习的步态识别方法现在在该领域占据主导地位,并且已经促进了现实世界的应用。在本文中,我们全面概述了深度学习步态识别的突破和最新发展,并涵盖了广泛的主题,包括数据集,测试协议,最先进的解决方案,挑战和未来的研究方向。我们首先回顾了常用的步态数据集以及用于评估它们的原则。然后,我们提出了一种新的分类法,由四个独立的维度,即身体表示,时间表示,特征表示和神经架构,以帮助表征和组织在这一领域的研究景观和文献。根据我们提出的分类法,对使用深度学习的步态识别方法进行了全面的调查,并讨论了它们的性能,特点,优势和局限性。最后,我们对当前的挑战进行了讨论,并提出了一些有前途的方向,为未来的研究在步态识别调查。
2022-02-13 cs.CV
Deep Learning for Face Recognition: Pride or Prejudiced?
IIIT-Delhi(德里印度理工学院)
深度网络的高准确性是否意味着对有效AI的自豪感,或者深度网络是否存在偏见?他们是否遭受群体内偏见(自己的种族偏见和自己的年龄偏见),并模仿人类的行为?深层网络是否下意识地编码了群体内的特定信息?本研究试图回答这些问题,并提出了一个深入的分析“偏见”的深度学习为基础的人脸识别系统。这是第一个工作,解码如果和偏见编码的人脸识别。从认知研究中获得线索,我们检查了深层网络是否也受到社会内群体和外群体效应的影响。网络分析了自己的种族和自己的年龄偏见,这两个已经建立在人类。研究了人脸识别模型的潜意识行为,以了解它们是否编码了人脸识别的种族或年龄特定特征。基于在多个数据集上进行的36个实验进行分析。使用了四个深度学习网络,它们要么是从头开始训练的,要么是在超过1000万张图像上预先训练的。类激活图和特征可视化的变化为深度学习系统的功能提供了新的见解,表明行为与人类相似。我们相信,更好地理解最先进的深度学习网络将使研究人员能够解决人工智能中的偏见挑战,并开发更公平的系统。
2019-06-19 cs.CV
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
我们评估了从深度卷积网络的激活中提取的特征是否可以重新用于新的通用任务,该深度卷积网络以完全监督的方式在大型固定的对象识别任务集上训练。我们的通用任务可能与最初训练的任务显著不同,并且可能没有足够的标记或未标记数据来常规地训练或使深度架构适应新任务。我们研究并可视化了深度卷积特征的语义聚类与各种此类任务的关系,包括场景识别、领域自适应和细粒度识别挑战。我们比较了依赖于各种网络级别来定义固定功能的功效,并报告了在几个重要的视觉挑战上显着优于最先进技术的新结果。我们正在发布DeCAF,这是这些深度卷积激活功能的开源实现,以及所有相关的网络参数,使视觉研究人员能够在一系列视觉概念学习范式中进行深度表征的实验。
2013-10-06 cs.CV
How Image Degradations Affect Deep CNN-based Face Recognition?
TUBITAK BILGEM(土耳其科学技术研究委员会信息与信息安全高级研究中心)
基于深度卷积神经网络(CNN)的人脸识别方法一直主导着该领域。它们在所谓的野外数据集中提供的性能改进是显著的,然而,它们在图像质量下降下的性能尚未被评估。这是特别重要的,因为在现实世界的人脸识别应用中,图像可能包含由于运动模糊、噪声、压缩伪影、颜色失真和遮挡而导致的各种退化。在这项工作中,我们解决了这个问题,并分析了这些图像退化对使用标准LFW闭集识别协议的基于深度CNN的人脸识别方法性能的影响。我们评估了三种流行的深度CNN模型,即AlexNet、VGG-Face和GoogLeNet。结果表明,模糊、噪声和遮挡会导致性能显著下降,而深度CNN模型对失真(如颜色失真和颜色平衡变化)具有鲁棒性。
2016-08-18 cs.CV
A Deep Image Compression Framework for Face Recognition
Xi’an Jiaotong University(西安交通大学)
人脸识别技术发展迅速,在各种应用中得到了广泛的应用。由于大规模人脸识别任务中人脸图像的数据量极其庞大,相应地需要大量的计算资源,因此需要一种高度适用于人脸识别任务的人脸图像压缩方法。在本文中,我们提出了一种用于人脸识别任务的深度卷积自动编码器压缩网络。在压缩过程中,通过卷积神经网络从原始图像中提取深度特征,以产生原始图像的紧凑表示,然后通过现有的编解码器(如PNG)对其进行编码和保存。重建网络利用这种紧凑表示来生成原始图像的重建图像。为了提高人脸识别系统中使用的压缩框架时,人脸识别的准确性,我们结合这个压缩框架与现有的人脸识别网络进行联合优化。我们测试所提出的方案,并发现,经过联合训练,标记的人脸在野生(LFW)数据集压缩我们的压缩框架具有更高的人脸验证精度比压缩的JPEG 2000,是远远高于压缩的JPEG。
2019-07-03 cs.CV
Deep Attentional Structured Representation Learning for Visual Recognition
EPFL(洛桑联邦理工学院)
结构化表示,如Bags of Words,VLAD和Fisher Vectors,已被证明在处理复杂的视觉识别任务方面非常有效。因此,它们最近已被纳入深度架构中。然而,虽然有效,但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征,忽略了这样一个事实,即在复杂的识别任务中,某些区域提供比其他区域更多的区分信息。在本文中,我们引入了一个注意结构化的表示学习框架,它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图,并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样,这始终优于注意力较少的结构化表示学习,并在标准场景识别和细粒度分类基准上产生最先进的结果。
2018-05-14 cs.CV
A Hierarchical Deep Temporal Model for Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
在群体活动识别中,整个活动的时间动态可以基于表示活动的个体人的动态来推断。我们构建了一个基于LSTM(长短期记忆)模型的深度模型来捕捉这些动态。为了利用这些观察结果,我们提出了一个两阶段的深层时间模型的群体活动识别问题。在我们的模型中,一个LSTM模型被设计用于表示序列中个体人的动作动态,另一个LSTM模型被设计用于聚合人类级别的信息以进行整体活动理解。我们在两个数据集上评估我们的模型:集体活动数据集和一个新的排球数据集。实验结果表明,我们提出的模型提高了群体活动识别性能与基线方法相比。
2016-04-05 cs.CV
Deep Learning for Logo Recognition
Università degli Studi di Milano-Bicocca(米兰比可卡大学)
在本文中,我们提出了一种使用深度学习的徽标识别方法。我们的识别管道由一个标志区域提案和一个专门为标志分类训练的卷积神经网络(CNN)组成,即使它们没有精确定位。在FlickrLogos-32数据库上进行了实验,并评估了合成与真实数据增强和图像预处理对识别性能的影响。此外,我们系统地研究了不同训练选择的好处,例如类平衡,样本加权和显式建模背景类(即无标志区域)。实验结果证实了该方法的可行性,优于现有的方法。
2017-05-03 cs.CV
Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild
Universiti Brunei Darussalam(文莱达鲁萨兰大学);Namal Institute(纳马尔学院)
本文描述了拟议的方法,使用的数据和我们参加2020年野外情感行为分析(ABAW)比赛的挑战轨道2(Expr挑战轨道)的结果。在这次比赛中,我们使用了一个提出的深度卷积神经网络(CNN)模型来对给定的数据集进行自动面部表情识别(AFER)。我们提出的模型在验证集上的准确率为50.77%,F1得分为29.16%。
2020-10-03 cs.CV
A hypothesize-and-verify framework for Text Recognition using Deep Recurrent Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
深度LSTM是文本识别的理想候选者。然而,文本识别涉及到一些初始的图像处理步骤,如行和词的分割,这可能会导致识别系统的错误。在没有分割的情况下,学习非常长范围的上下文是困难的,并且在计算上变得难以处理。因此,在预处理级别需要替代的软决策。本文提出了一种混合文本识别器,使用具有多层抽象和长范围上下文的深度递归神经网络以及语言模型来验证深度神经网络的性能。在本文中,我们构建了一个多假设树结构的候选线段线序列从不同的分割算法在其不同的分支。深度神经网络在完美分割的数据上进行训练,并测试每个候选段,生成Unicode序列。在验证步骤中,使用与语言模型匹配的子串来验证这些Unicode序列,并且使用最佳优先搜索来从树结构中找到备选假设的最佳可能组合。因此,使用语言模型的验证框架消除了错误的分割输出并过滤了识别错误。
2015-02-26 cs.CV
Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种新的深度学习架构(称为KD网络),该架构专为3D模型识别任务设计,并与非结构化点云一起使用。新的体系结构进行乘法变换和共享这些变换的参数,根据细分的点云强加给他们的Kd-树。与目前主流的卷积架构(通常需要在均匀的二维或三维网格上进行光栅化)不同,Kd网络不以任何方式依赖于此类网格,因此避免了不良的缩放行为。在一系列流行的形状识别基准的实验中,KD网络在一些形状识别任务中表现出有竞争力的性能,如形状分类,形状检索和形状部分分割。
2017-10-26 cs.CV
Unconstrained Periocular Recognition: Using Generative Deep Learning Frameworks for Attribute Normalization
University of Beira Interior(贝拉内大学)
工作在无约束环境中的眼睛生物识别系统通常面临的问题,小类内的紧凑性所造成的多个因素,共同降低所获得的数据的质量。在这项工作中,我们提出了一种基于深度学习生成框架的属性归一化策略,该策略减少了成对比较中使用的样本的变异性,而不会降低它们的可辨别性。所提出的方法可以被看作是一个预处理步骤,有助于数据正则化和提高识别精度,是完全不可知的识别策略。作为概念证明,我们考虑了“眼镜”和“凝视”因素,比较了五种不同识别方法的性能水平,使用/不使用所提出的归一化策略。此外,我们引入了一个新的数据集的无约束的眼周识别,由移动设备获取的图像,特别适合于感知的影响,“戴眼镜”的识别效果。我们的实验在两个不同的数据集上进行,并支持我们的属性归一化方案,以提高识别性能的有用性。
2020-02-10 cs.CV
Action Units Recognition Using Improved Pairwise Deep Architecture
Advanced Converging Technologies Laboratories(先进融合技术实验室)
面部动作单元(AU)代表一组面部肌肉活动,并且AU的各种组合可以代表广泛的情绪。AU识别通常用于许多应用,包括营销、医疗保健、教育等。虽然许多研究已经开发了各种方法来提高识别精度,但它仍然是AU识别的主要挑战。在2020年野外情感行为分析(ABAW)竞赛中,我们提出了一种新的自动动作单元(AU)识别方法,该方法使用成对深度架构来推导每个AU的伪强度,然后将其转换为预测强度。今年,我们在去年的框架中引入了一项新技术,以进一步减少由于临时面部遮挡(如手放在脸上或大脸方向)而导致的AU识别错误。我们在今年比赛的验证数据集中获得了0.65分。
2021-07-08 cs.CV
VIPLFaceNet: An Open Source Deep Face Recognition SDK
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院智能信息处理重点实验室,中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
鲁棒的人脸表示对于高精度的人脸识别是必不可少的。在这项工作中,我们提出了一个开源的人脸识别方法与深度表示命名为VIPLFaceNet,这是一个10层的深度卷积神经网络7卷积层和3个全连接层。与著名的AlexNet相比,我们的VIPLFaceNet只需要20%的训练时间和60%的测试时间,但在真实世界的人脸识别基准LFW上,出错率下降了40%。我们的VIPLFaceNet使用单个网络在LFW上实现了98.60%的平均准确率。基于VIPLFaceNet的开源C++ SDK在BSD许可下发布。SDK在i7桌面CPU上的单线程中处理一张人脸图像大约需要150毫秒。VIPLFaceNet为学术和工业人脸识别应用提供了最先进的起点。
2016-09-13 cs.CV
Using Deep Convolutional Networks for Gesture Recognition in American Sign Language
本文提出利用深度卷积网络对美国手语中的字母和数字图像进行分类,探索神经网络在手语识别中的应用。
2017-11-20 cs.CV
Deep Heterogeneous Feature Fusion for Template-Based Face Recognition
尽管深度学习在人脸识别方面取得了令人印象深刻的性能,但许多研究表明,不同的网络学习不同的特征图:虽然一些网络更容易接受姿势和照明,但其他网络似乎捕捉更多的本地信息。因此,在这项工作中,我们提出了一种深度异构特征融合网络,以利用不同深度卷积神经网络(DCNN)生成的特征中存在的互补信息进行基于模板的人脸识别,其中模板是指来自不同来源的一组静态人脸图像或视频帧,这些图像或视频帧比传统的人脸数据集引入了更多的模糊,姿态,照明和其他变化。所提出的方法通过以下方式有效地融合不同深度特征的判别信息:1)联合学习深度特征的非线性高维投影; 2)生成更具判别力的模板表示,该模板表示保留了特征空间中深度特征的固有几何形状。在IARPA Janus Challenge Set 3(Janus CS3)数据集上的实验结果表明,该方法能有效地提高识别性能.此外,我们还提出了一系列的协变量实验的人脸验证任务,深入的定性评估所提出的方法。
2017-02-15 cs.CV
Unsupervised Pre-trained, Texture Aware And Lightweight Model for Deep Learning-Based Iris Recognition Under Limited Annotated Data
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
在本文中,我们提出了一个纹理感知的轻量级深度学习框架的虹膜识别。我们的贡献主要有三个方面。首先,为了解决标记虹膜数据的缺乏,我们提出了一个重建损失引导的无监督预训练阶段,然后进行监督细化。这使得网络权重集中在有区别的虹膜纹理模式上。接下来,我们在卷积神经网络中提出了几种纹理感知即兴创作,以更好地利用虹膜纹理。最后,我们表明,我们的系统训练和架构选择使我们能够设计一个高效的框架,其参数比当代深度学习基线少100倍,但在数据集内和跨数据集评估中实现更好的识别性能。
2020-02-20 cs.CV
Handwritten Bangla Digit Recognition Using Deep Learning
University of Dayton(代顿大学)
尽管模式识别技术取得了进步,但由于孟加拉语手写体中存在许多令人困惑的字符和过多的草书,手写孟加拉语字符识别(HBCR)(例如字母数字和专用字符)在很大程度上仍未解决。即使是现有的最好的识别器也不能为实际应用带来令人满意的性能。为了提高手写孟加拉数字识别(HBDR)的性能,我们在此提出了一种基于深度神经网络的新方法,该方法最近在许多模式识别和机器学习应用中表现出优异的性能,但尚未完全尝试用于HBDR。介绍了基于深度信念网络(DBN)、卷积神经网络(CNN)、带丢弃的CNN、带丢弃和高斯滤波器的CNN、带丢弃和Gabor滤波器的CNN的孟加拉数字识别技术。这些网络具有提取和使用特征信息的优点,提高了对二维的形状的识别,具有对平移、缩放和其他模式失真的高度不变性。我们系统地评估了我们的方法在公共可用的孟加拉数字图像数据库命名为CMATERdb 3.1.1的性能。从实验中,我们取得了98.78%的识别率使用所提出的方法:CNN与Gabor特征和辍学,这优于国家的最先进的算法HDBR。
2017-05-07 cs.CV
Handwritten Isolated Bangla Compound Character Recognition: a new benchmark using a novel deep learning approach
Dept. of Information Technology, Jadavpur University(贾达布尔大学信息技术系);Dept. of Computer Science & Engg., Jadavpur University(贾达布尔大学计算机科学与工程系)
在这项工作中,提出了一种新的深度学习技术,用于识别手写孟加拉语孤立的复合字符,并报告了CMATERdb3.1.3.3数据集上的识别准确性的新基准。深度神经网络的贪婪逐层训练有助于在各种模式识别问题中取得重大进展。我们以监督的方式对深度卷积神经网络(DCNN)进行分层训练,并使用RMSProp算法增强训练过程以实现更快的收敛。我们将结果与具有预定义特征的标准浅层学习方法以及标准DCNN的结果进行了比较。发现监督分层训练的DCNN优于标准的浅层学习模型,如支持向量机以及类似架构的常规DCNN,其出错率为9.67%,从而在CMATERdb 3.1.3.3上设定了一个新的基准,识别准确率为90.33%,提高了近10%。
2018-02-02 cs.CV
Action Recognition with Joint Attention on Multi-Level Deep Features
Tsinghua University(清华大学)
我们提出了一种新的深度监督神经网络用于视频中的动作识别任务,该网络隐式地利用了视觉跟踪,并共享了深度卷积神经网络(CNN)和递归神经网络(RNN)的鲁棒性。在我们的方法中,提出了一个多分支模型来抑制来自背景抖动的噪声。具体来说,我们首先从深度CNN中提取多层深度特征,并将其输入3d卷积网络。之后,我们将这些特征立方体输入到我们的新联合LSTM模块中,以预测标签并生成注意力正则化。我们在两个具有挑战性的数据集上评估了我们的模型:UCF101和HMDB51。结果表明,我们的模型仅使用卷积特征就达到了最先进的水平。
2016-07-09 cs.CV
Deep-Temporal LSTM for Daily Living Action Recognition
INRIA(法国国家信息与自动化研究所);Toyota Motor Europe(丰田汽车欧洲公司)
在本文中,我们建议通过采用多对多模型进行视频分类来改进RNN的传统使用。我们分析了建模的空间布局和时间编码的日常生活动作识别的重要性。许多RGB方法仅关注从光流获得的短期时间信息。另一方面,基于骨架的方法表明,建模长期骨架进化提高了动作识别的准确性。在这项工作中,我们提出了一种深度时态LSTM架构,它扩展了标准LSTM,并允许更好地编码时态信息。此外,我们建议融合三维骨架几何形状与深层静态外观。我们在公开的CAD 60、MSRDailyActivity 3D和NTU-RGB+D上验证了我们的方法,与最先进的技术相比,实现了具有竞争力的性能。
2018-06-15 cs.CV