Deep learning for identification and face, gender, expression recognition under constraints
Mutah University(穆塔大学);Ministry of environment(环境部);Eötvós Loránd University(罗兰大学);University of Tabuk(塔布克大学);Islamic University of Madinah(麦地那伊斯兰大学);Cranfield University(克兰菲尔德大学);University of Cincinnati(辛辛那提大学)
基于全脸的生物特征识别是一个广泛的研究领域。然而,仅使用部分可见的面部,例如在戴面纱的人的情况下,是一项具有挑战性的任务。深度卷积神经网络(CNN)在这项工作中使用的面纱的人的面部图像提取的特征。我们发现,VGG19网络结构中的第六和第七个全连接层(分别为FC6和FC7)提供了鲁棒的特征,这两个层中的每一个都包含4096个特征。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力,不仅识别人,而且识别性别,年龄和面部表情,如眼睛微笑。我们的实验结果表明,我们获得了高精度的所有任务。最好的记录准确率值是高达99.95%的识别人,99.9%的性别识别,99.9%的年龄识别和80.9%的面部表情(眼睛微笑)识别。
2021-11-02 cs.CV
Online Visual Place Recognition via Saliency Re-identification
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
作为视觉同时定位与地图构建(SLAM)的重要组成部分,位置识别对于机器人导航和自动驾驶至关重要。现有方法通常将视觉地点识别公式化为特征匹配,这对于具有有限计算能力的许多机器人应用(例如,自动驾驶和清洁机器人。受人类总是通过记住比其他人更有吸引力或有趣的显著区域或地标来识别一个地方的事实的启发,我们将视觉位置识别制定为显着性重新识别。同时,我们建议在频域中同时执行显著性检测和重新识别,其中所有操作都是元素式的。实验表明,我们提出的方法实现了竞争力的准确性和更高的速度比国家的最先进的基于特征的方法。所提出的方法是开源的,可在https://github.com/wh200720041/SRLCD.git上获得。
2020-07-29 cs.CV cs.RO
Investigating the Impact of Inclusion in Face Recognition Training Data on Individual Face Identification
University of Waterloo(滑铁卢大学)
现代人脸识别系统利用包含数十万个特定个体的面部图像的数据集来训练深度卷积神经网络,以学习将任意个体的面部映射到其身份的矢量表示的嵌入空间。人脸识别系统在人脸验证(1:1)和人脸识别(1:N)任务中的性能与嵌入空间区分身份的能力直接相关。最近,公众对MS-Celeb-1 M和MegaFace等大规模人脸识别训练数据集的来源和隐私影响进行了大量审查,因为许多人对他们的脸被用于训练双重用途技术感到不安,这些技术可以实现大规模监控。然而,一个人的列入训练数据的派生系统的能力,以识别他们的影响,以前没有研究过。在这项工作中,我们审计ArcFace,一个国家的最先进的,开源的人脸识别系统,在一个大规模的人脸识别实验超过一百万张干扰图像。我们发现,对于模型的训练数据中存在的个体,Rank-1人脸识别准确率为79.71%,对于不存在的个体,准确率为75.73%。准确性的这种适度差异表明,使用深度学习的人脸识别系统更适合他们所训练的个人,当人们考虑到所有主要的开源人脸识别训练数据集在收集过程中没有获得个人的知情同意时,这具有严重的隐私影响。
2020-01-10 cs.CV cs.CY
Effective Online Exam Proctoring by Combining Lightweight Face Detection and Deep Recognition
Lingnan University(岭南大学);The Chinese University of Hong Kong(香港中文大学)
iExam通过结合轻量级实时面部检测和深度面部识别,有效提升在线考试监考的准确性和效率。
2025-12-31 cs.CV eess.IV
Visual-Prompt Guided Wildlife Instance-Level Recognition
University of Johannesburg(约翰内斯堡大学);Linköping University(林雪平大学)
针对细粒度野生动物重识别挑战,提出单阶段端到端检测与重识别模型,采用DINOv2、MegaDescriptor及提示增强技术,在mAP指标上取得与两阶段方法相近的竞争力表现。
2026-08-20 cs.AI cs.CV cs.LG
Online Handwritten Mathematical Expressions Recognition System Using Fuzzy Neural Network
本文描述了基于手写符号识别和结构分析方法的手写数学表达式在线识别的信息技术。
2017-07-12 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences(中国地质大学);University of Wollongong(卧龙岗大学)
与传统的基于视频片段的动作识别不同,在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作,并采用一种新的加权协方差描述子来积累证据。特别是,一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则:过去的帧对识别的贡献较小,最近的和有信息的帧(如关键帧)对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
Neural Architecture based on Fuzzy Perceptual Representation For Online Multilingual Handwriting Recognition
University of Sfax(斯法克斯大学);National Engineering School of Sfax(斯法克斯国立工程师学院);Sifast
由于移动设备的无处不在,在线手写脚本已经成为智能手机和平板设备的最重要的馈送输入。为了提高在线手写识别性能,更深的神经网络已被广泛使用。在此背景下,我们的论文处理的问题,在线手写体识别的基础上提取特征系统和深入的方法系统的序列分类。已经出现了许多解决方案,以促进手写识别。因此,我们使用现有的方法,并结合新的分类器,以获得一个灵活的系统。与在线拉丁文和阿拉伯文字符和单词识别系统相比,取得了良好的效果。我们提出的两个系统的性能进行评估,使用五个数据库。事实上,识别率超过98%。
2019-08-01 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里,面部识别/识别已经有了显著的进步。然而,大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先,重要的面部形状线索被忽略了。第二,由于表情的面部变形可能会影响这种方法的性能。在本文中,我们提出了一个新的框架,动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图,这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别,使用时空图卷积网络(ST-GCN)。最后,我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Micro-gesture Online Recognition using Learnable Query Points
School of Computer Science and Information Engineering(计算机与信息工程学院);School of Artificial Intelligence(人工智能学院);Hefei University of Technology (HFUT)(合肥工业大学);Key Laboratory of Knowledge Engineering with Big Data (HFUT), Ministry of Education(大数据知识工程教育部重点实验室);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Zhejiang University(浙江大学);Anhui Zhonghuitong Technology Co., Ltd.(安徽中汇通科技有限公司)
本文提出HFUT-VUT团队在IJCAI 2024 MiGA挑战赛微手势在线识别赛道中排名第二的解决方案,利用可学习查询点实现微手势类别识别与起止时间定位。
2024-07-05 cs.CV
A Hybrid NN/HMM Modeling Technique for Online Arabic Handwriting Recognition
University of Sfax(斯法克斯大学)
在这项工作中,我们提出了一个混合NN/HMM模型的在线阿拉伯手写识别。该系统是基于隐马尔可夫模型(HMM)和多层感知器神经网络(MLPNNs)。通过检测曲线速度分布的极值点,基于Beta-Elliptical策略将输入信号分割成连续的笔划,称为段。一个神经网络训练段级上下文信息被用来提取类字符概率。该网络的输出由HALTH解码,以提供字符级识别。在对ADAB数据库的评估中,我们实现了96.4%的字符识别准确率,与最先进的在线阿拉伯语系统获得的字符识别准确率相比,这在统计学上非常重要。
2014-01-02 cs.CV
Online Handwritten Devanagari Stroke Recognition Using Extended Directional Features
University of Calicut(卡利卡特大学);Tata Consultancy Services Limited(塔塔咨询服务有限公司)
本文介绍了一种新的特征集,称为扩展方向特征(EDF)用于在线手写笔画识别。我们专门使用EDF来识别笔画,这些笔画构成了生成梵文脚本的基础,梵文脚本是使用最广泛的印度语言脚本。应当注意,手写体中的笔划识别相当于语音信号中的音素识别,并且通常非常差,对于歌唱声为20%的量级。实验进行了自动识别孤立的手写笔划。首先,我们描述了建议的功能集,即EDF,然后显示如何有效地利用这个功能,通过笔划识别作家独立的脚本识别。实验结果表明,扩展的方向特征集表现良好,约65+%的笔画水平识别准确率为作者无关的数据集。
2015-01-11 cs.CV
Towards Online Continuous Sign Language Recognition and Translation
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
本文针对离线连续手语识别存在的高延迟与高内存消耗问题,提出基于手语词典构建与滑动窗口的在线识别方法,并扩展至在线翻译,在三个基准测试上取得最先进性能。
2024-09-22 cs.CV
Global Context for improving recognition of Online Handwritten Mathematical Expressions
Tokyo University of Agriculture and Technology(东京农工大学)
针对在线手写数学表达式中的符号分割、符号识别和关系分类这三个子任务,提出了一种时态分类方法。分类模型由多个符号路径和来自HME的符号关系树(SRT)表示的空间关系来训练。该方法得益于一个深度双向长短期记忆网络的全局上下文,该网络通过连接主义时间分类损失直接从在线手写体中学习时间分类。为了识别一个在线HME,一个符号级的解析树与上下文无关文法的构建,其中的符号和空间关系,从时间分类的结果。我们在两个最新的CROHME数据集上证明了该方法的有效性。
2021-05-21 cs.CV
11K Hands: Gender recognition and biometric identification using a large dataset of hand images
York University(约克大学);Assiut University(艾斯尤特大学)
人类的手具有能够揭示性别信息的显著特征。此外,手被认为是用来识别一个人的主要生物特征之一。在这项工作中,我们提出了一个大型的数据集的人手图像(背侧和手掌侧)与详细的地面真相信息的性别识别和生物识别。使用该数据集,可以有效地训练卷积神经网络(CNN)以用于性别识别任务。在此基础上,我们设计了一个双流CNN来解决性别识别问题。然后将该训练模型用作特征提取器,以馈送用于生物特征识别任务的一组支持向量机分类器。我们表明,手背侧的手的图像,由一个普通的数码相机捕捉,传达有效的独特功能类似,如果不是更好,那些可在手掌的手图像。为了便于访问所提出的数据集和复制我们的实验,数据集,训练的CNN模型和Matlab源代码可在(https://goo.gl/rQJndd)获得。
2018-09-17 cs.CV
Proposal for Automatic License and Number Plate Recognition System for Vehicle Identification
在本文中,我们提出了一个自动和机械化的牌照和车牌识别(LNPR)系统,它可以提取车牌号码的车辆通过一个给定的位置,使用图像处理算法。实施拟议系统无需安装GPS或射频识别(RFID)等额外设备。该系统使用特殊的摄像头从每辆经过的车辆上拍摄照片,并将图像转发到计算机,由LPR软件进行处理。车牌识别软件使用不同的算法,如定位,定向,归一化,分割,最后光学字符识别(OCR)。将结果数据应用于与数据库中的记录进行比较。实验结果表明,该系统成功地检测和识别了真实图像上的车牌。该系统还可用于安全和交通控制。
2016-10-09 cs.CV
On the use of first and second derivative approximations for biometric online signature recognition
Tecnocampus, Universitat Pompeu Fabra(庞培法布拉大学 Tecnocampus 校区);Universidad de Las Palmas de Gran Canaria(大加那利岛拉斯帕尔马斯大学)
本文研究不同近似方法对模式识别特征提取的影响,使用MCYT330数据库验证,发现11点近似在识别率和降低伪造错误率上均优于1点近似。
2024-06-01 cs.CV
Video-based cattle identification and action recognition
CSIRO Data61(联邦科学与工业研究组织数据61);NSW Department of Primary Industries(新南威尔士州初级产业部);UNE(新英格兰大学);CSIRO Agriculture and Food(联邦科学与工业研究组织农业与食品)
我们展示了一个工作原型,通过自动分析动物的行为监测奶牛福利。深度学习模型已被开发,并在农场采集的视频进行测试,奶牛识别的准确率达到81.2%。对饮水事件的检测准确率为84.4%,对放牧事件的检测准确率为94.4%。实验结果表明,所提出的深度学习方法可用于识别个体动物的行为,以实现自动化农场种源。我们的原始数据集和地面实况数据集将作为第一个用于奶牛识别和动作识别的公共视频数据集发布。并提出了进一步发展的建议。
2021-10-14 cs.CV
Meta-SurDiff: Classification Diffusion Model Optimized by Meta Learning is Reliable for Online Surgical Phase Recognition
针对手术视频中帧歧义与阶段分布不均两类不确定性问题,提出经元学习优化的分类扩散模型Meta-SurDiff,通过细粒度置信度评估与鲁棒分类边界提升在线手术阶段识别的可靠性,在五个多类型数据集上验证了有效性。
2025-06-17 cs.CV
The Instantaneous Accuracy: a Novel Metric for the Problem of Online Human Behaviour Recognition in Untrimmed Videos
University of Alcalá(阿尔卡拉大学);Adobe Research(Adobe研究院);Delft University of Technology(代尔夫特理工大学)
未修剪视频中的在线人类行为识别问题,即在线动作检测(OAD),需要重新考虑。与传统的离线动作检测方法不同,在OAD设置中,我们发现很少有作品,并且没有对要使用的评估协议达成共识。在本文中,我们介绍了一种新的在线度量,瞬时精度($IA$),表现出\emph{online}性质,解决了以前的(离线)指标的限制。我们对TVSeries数据集进行了全面的实验评估,将各种基线方法的性能与最先进的方法进行了比较。我们的结果证实了以前的评估协议存在的问题,并建议基于IA的协议更适合于在线场景的人类行为理解。度量标准代码可从https://github.com/gramuah/ia获得
2020-03-25 cs.CV
Letter-level Online Writer Identification
笔迹鉴别是生物特征识别的一个重要领域,其目的是通过笔迹来鉴别作者的身份。现有的writer-id研究中的身份识别需要一个完整的文档或文本,限制了writer-id在实际应用中的可扩展性和灵活性。为了使writer-id的应用更实用(例如,在移动设备上),我们专注于一个新颖的问题,字母级在线作家ID,其仅需要书写字母的几个轨迹作为识别线索。与基于文本/文档的writer-id不同,它具有丰富的上下文来识别,只有很少的线索来识别作者。一个主要的挑战是,一个人经常写一封信在不同的风格不时。我们把这个问题称为在线写作风格的差异(Var-O-Styles)。我们以捕获-归一化-聚合的方式处理Var-O-Styles:首先,我们通过精心设计的多分支编码器提取字母轨迹的不同特征,试图捕获不同的在线写作风格。然后通过一个新的规范化层将这些风格特征转换为一个参考风格特征域。最后,我们聚合的归一化特征的层次注意力池(HAP),融合了所有的输入字母与多种写作风格到一个紧凑的特征向量。此外,我们还贡献了一个大规模的LEtter级在线wRiter标识数据集(LERID)进行评估。大量的对比实验证明了所提出的框架的有效性。
2021-12-06 cs.CV
Stroke extraction for offline handwritten mathematical expression recognition
School of Mathematics, Sun Yat-Sen University(中山大学数学学院)
由于缺乏时间信息,离线手写数学表达式识别通常被认为比在线识别困难得多。为了充分利用目前比较成熟的在线识别方法并节省资源,提出了一种基于过分割的文本位图笔划自动恢复方法。该算法首先将二值化图像的骨架分解为结点和线段,然后将线段合并形成笔画,最后利用递归投影和拓扑排序对笔画顺序进行规范化。与普通的在线识别器相结合,获得了良好的离线准确率,这不是专门为提取的笔画而设计的。给定一个现成的最先进的在线手写数学表达式识别器,所提出的过程分别正确识别了2014年,2016年和2019年在线手写数学表达式识别竞赛(CROHME)数据集的58.22%,65.65%和65.22%的离线公式。此外,给定一个可训练的在线识别系统,用提取的笔画对其进行再训练,可以得到具有相同准确度的离线识别器。另一方面,整个流水线的速度足够快,可以在资源有限的手机上进行设备识别。综上所述,笔划提取为构建光学字符识别软件提供了一种有吸引力的方法。
2020-01-16 cs.CV
A GRU-based Encoder-Decoder Approach with Attention for Online Handwritten Mathematical Expression Recognition
University of Science and Technology of China(中国科学技术大学)
在这项研究中,我们提出了一种新的端到端的方法的基础上的编码器-解码器框架与注意力机制的在线手写数学表达式识别(OHMER)。首先,输入的手写表情的二维墨水轨迹信息通过基于门控递归单元的递归神经网络(GRU-RNN)进行编码。然后,解码器也实现了GRU-RNN与基于覆盖的注意力模型。该方法可以同时完成符号识别和结构分析,输出LaTeX格式的字符序列。在CROHME 2014竞赛任务上进行了验证,我们的方法仅使用官方训练数据集,表情识别准确率为52.43%,明显优于最先进的方法。此外,通过注意力机制对手写表情的输入轨迹和输出LaTeX序列的对齐进行了可视化,验证了该方法的有效性.
2017-12-04 cs.CV
Group-level Emotion Recognition using Transfer Learning from Face Identification
National Research University Higher School of Economics(国立研究大学高等经济学院)
在本文中,我们描述了我们的算法方法,该方法用于提交第五届野生情绪识别(Emotion Recognition in the Wild,2017)组级情绪识别子挑战赛。我们使用经过人脸识别训练的卷积神经网络提取检测到的人脸的特征向量,而不是传统的情感识别问题的预训练。在最后的管道中,学习了随机森林分类器的集合,以使用可用的训练集来预测情感得分。在没有检测到人脸的情况下,我们的集合中的一个成员从整个图像中提取特征。在我们的实验研究中,所提出的方法显示出最低的出错率相比,其他探索的技术。特别是,我们在验证数据上实现了75.4%的准确率,比基于手工特征的基线高出20%。使用Keras框架的源代码是公开的。
2017-10-30 cs.CV
An Online Character Recognition System to Convert Grantha Script to Malayalam
Cochin University of Science and Technology(科钦科技大学)
本文提出了一种新的方法来识别Grantha,在印度南部的一个古老的脚本,并将其转换为马拉雅拉姆语,在印度南部使用在线字符识别机制的流行语言。这项工作背后的动机归功于(i)开发一种在现代世界中识别Grantha脚本的机制,以及(ii)肯定Grantha和马拉雅拉姆语之间的紧密联系。设计并实现了一个基于联机字符识别的格兰塔文字识别框架。从Grantha脚本提取的特征主要包括基于书写方向和曲率的时域特征。识别的字符被映射到相应的马拉雅拉姆语字符。该框架在一个中等长度的手稿床上进行了测试,其中包含9-12个样本行和Sri Adi Shankara在Grantha写的名为Soundarya Lahari的书的印刷页,以识别单词和句子。该系统的手稿识别率为92.11%的Grantha,旧马拉雅拉姆语90.82%,新马拉雅拉姆语89.56%。对印本的识别率为:Grantha为96.16%,旧马拉雅拉姆文为95.22%,新马拉雅拉姆文为92.32%。这些结果表明了所开发的系统的效率。
2012-08-21 cs.CV
An Extended Beta-Elliptic Model and Fuzzy Elementary Perceptual Codes for Online Multilingual Writer Identification using Deep Neural Network
University of Sfax(斯法克斯大学)
实际上,识别文档作者的能力为将这些文档用于各种目的提供了更多的机会。在本文中,我们提出了一个新的有效的生物特征的笔迹鉴别系统。该系统包括预处理和分割的在线手写成一个序列的Beta笔划在第一步。然后,从每个笔画,我们提取了一组静态和动态的特征,从新提出的模型,我们称之为扩展的β-椭圆模型和模糊基本感知代码。然后,将由N个连续笔划组成的所有线段根据其位置和几何特征进行分组和子组。最后,使用深度神经网络作为分类器。实验结果表明,该系统取得了有趣的结果相比,现有的作家识别系统的拉丁文和阿拉伯文。
2018-11-10 cs.CV
AltecOnDB: A Large-Vocabulary Arabic Online Handwriting Recognition Database
Faculty of Computers & Information(计算机与信息学院)
阿拉伯语是一种闪米特语,其特点是形态复杂而丰富。书写系统的特殊程度的歧义,丰富的形态,以及根和模式的高度复杂的构词过程,都有助于使阿拉伯语的计算方法非常具有挑战性。因此,一个实用的手写识别系统应该支持大词汇量,以提供高覆盖率,并使用上下文信息进行消歧。一些研究工作已经致力于建立在线阿拉伯手写识别系统。这些方法中的大多数要么使用它们的小的私有测试数据集,要么使用具有有限词汇和覆盖范围的标准数据库。大规模的手写体数据库是促进在线手写体识别研究的重要资源。目前,还没有一个词汇量大、覆盖面广、有大量书写者和培训/测试数据的在线阿拉伯文笔迹数据库。本文介绍了一个大型在线阿拉伯笔迹数据库AltecOnDB。AltecOnDB覆盖了阿拉伯语所有可能的PAWS的98%。所收集的样本是包括数字和标点符号的完整句子。收集的数据在句子、单词和字符级别上可用,因此,高级语言模型可以用于性能改进。数据来自1000多名不同背景、性别和年龄的作家。注释和验证工具的开发,以促进注释和验证阶段。我们建立了一个基本的识别系统来测试我们的数据库,并显示在处理大量的词汇和处理大量的风格变化收集的数据时存在的困难。
2014-12-24 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta(阿尔伯塔大学)
视频处理由于其在视频摘要、动作识别等方面的各种应用,已经成为计算机视觉中的热门研究方向。最近,基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而,这些方法需要处理完整的视频序列来识别动作,即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外,这些不必要的帧增加了计算成本,并可能混淆动作识别中的方法。相反,被称为关键帧的重要帧不仅有助于动作的识别,而且还可以减少用于分类或其他应用(例如摘要)的每个视频序列的处理时间。同样,视频处理中的当前方法尚未以在线方式展示。基于上述原因,我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头,从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块,使用语义词向量作为输入,以及关键帧和一种新的训练/测试策略的分类模型。据我们所知,这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明,使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
Structural analysis of Hindi online handwritten characters for character recognition
MIET(密鲁特工程技术学院);Indian Institute of Science(印度科学学院)
本文通过分析在线笔画方向属性提取子单元,用于印地语手写字符识别,基于子单元和全局特征训练分类器,在测试集上达到93.5%的最高准确率。
2023-10-12 cs.CV
A compact sequence encoding scheme for online human activity recognition in HRI applications
National Technical University of Athens(雅典国立技术大学);University of Lincoln(林肯大学)
人类活动识别和分析一直是模式识别和机器智能最活跃的领域之一,在各个领域都有应用,包括但不限于运动游戏、监控、运动分析和医疗保健。特别是在人机交互中,人类活动理解起着至关重要的作用,因为家庭机器人助手是不久的将来的趋势。然而,能够支持复杂机器智能任务的最先进的基础设施并不总是可用的,并且可能不适合普通消费者,因为机器人硬件昂贵。在本文中,我们提出了一种新的动作序列编码方案,有效地将时空动作序列到紧凑的表示,使用Mahalanobis距离为基础的形状特征和Radon变换。该表示可以用作轻量级卷积神经网络的输入。实验表明,所提出的管道,当基于最先进的人体姿态估计技术,可以提供一个强大的端到端的在线动作识别方案,部署在缺乏极端的计算能力的硬件。
2020-12-01 cs.CV
Towards Robust Iris Recognition Through Occlusion Identification and Conditional Diffusion-Based Reconstruction
Texas State University(德克萨斯州立大学)
针对虹膜纹理被遮挡时识别性能下降的问题,提出含遮挡类型识别、基于扩散重建及深度学习识别三个模块的框架,通过确定遮挡类别、重建受损区域并提取特征,提升了在CASIA-Iris-Thousand数据集上的虹膜识别性能。
2026-07-24 cs.CV
Design of a Very Compact CNN Classifier for Online Handwritten Chinese Character Recognition Using DropWeight and Global Pooling
South China University of Technology(华南理工大学)
目前,由于移动设备的普及,在线手写汉字识别(HCCR)已成为向手机和平板设备提供输入的合适选择之一。在过去的几年中,更大更深的卷积神经网络(CNN)已经被广泛地用于提高字符识别性能。然而,其大量的存储需求是将这样的网络部署到便携式电子设备中的重大障碍。为了解决这个问题,我们提出了一种新的技术称为DropWeight修剪冗余连接的CNN架构。实验结果表明,该方法不仅能很好地处理AlexNet和VGGNet等精简结构,而且对深度残差网络和初始网络也表现出了显著的性能。我们还证明,全球池是一个更好的选择,建立非常紧凑的在线HCCR系统。使用我们提出的网络在ICDAR-2013在线HCCR竞赛数据集上进行了实验,发现所提出的方法仅需要0.57 MB的存储空间,而最先进的基于CNN的方法需要高达135 MB的存储空间;同时性能仅下降了0.91%。
2017-05-15 cs.CV
Online People Tracking and Identification with RFID and Kinect
我们介绍了一种新颖的,准确的和实用的系统,用于实时的人跟踪和识别。我们使用Kinect V2传感器进行跟踪,它可以为视图中多达六个人生成身体骨架。我们使用Kinect和无源RFID进行识别,首先测量人的骨架和他们的RFID标签的速度矢量,使用RFID阅读器天线的位置作为参考点,然后找到骨架和标签之间的最佳匹配。我们介绍了一种同步Kinect数据的方法,这些数据是定期捕获的,具有不规则或丢失的RFID数据读数。我们的实验表明,厘米级的人跟踪分辨率与80%的平均识别精度高达六人在室内环境中,这满足了许多应用的需求。我们的系统可以保护用户隐私,并在不同的照明条件下工作。
2017-02-10 cs.CV
InfoGCN++: Learning Representation by Predicting the Future for Online Human Skeleton-based Action Recognition
University of Texas Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
针对骨架动作识别需观察完整动作、难以实时分类的问题,本文提出InfoGCN++,结合Neural Ordinary Differential Equations预测未来运动并建模隐状态连续演化,在三个基准上达到或超过现有方法。
2023-10-16 cs.CV
A B-Spline Function Based 3D Point Cloud Unwrapping Scheme for 3D Fingerprint Recognition and Identification
School of Systems and Computing, UNSW Canberra(UNSW Canberra 系统与计算学院);Information Systems, University of Canberra(堪培拉大学信息系统系);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院);School of Engineering & Technology, UNSW Canberra(UNSW Canberra 工程与技术学院)
本文提出基于B样条曲线拟合的3D点云解缠方法,用于3D指纹识别与鉴定,通过减少高度变化和注册限制,提升识别精度和鲁棒性。
2026-04-17 cs.CV
Stroke Constrained Attention Network for Online Handwritten Mathematical Expression Recognition
University of Science and Technology of China(中国科学技术大学);National Engineering Laboratory for Speech and Language Information Processing(国家语音与语言信息处理工程实验室)
本文提出了一种新的笔画约束注意力网络(SCAN),它将笔画作为基于编码器-解码器的在线手写数学表达式识别(HMER)的基本单元。与以往的方法,使用跟踪点或图像像素作为基本单位,扫描充分利用笔划级的信息,更好地对齐和表示。所提出的SCAN可以在单模态(在线或离线)和多模态HMER中采用。对于单模态HMER,SCAN首先采用CNN-GRU编码器在在线模式下从输入轨迹中提取点级特征,并采用CNN编码器在离线模式下从输入图像中提取像素级特征,然后使用笔划约束信息将它们转换为在线和离线笔划级特征。使用笔划级特征可以显式地将属于同一笔划的点或像素分组,从而降低了通过具有注意力机制的解码器进行符号分割和识别的难度。对于多模态HMER,除了在解码器中融合多模态信息之外,SCAN还可以通过利用在线和离线模态之间的基于笔划的对齐来在编码器中融合多模态信息。编码器融合是用于组合多模态信息的更好方式,因为它在解码器融合之前一步实现信息交互,使得在训练编码器-解码器模型时可以更早且更充分地利用多模态的优点。通过CROHME竞赛发布的基准评估,建议的SCAN达到了最先进的性能。
2020-02-20 cs.CV
Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation
University of Science and Technology of China(中国科学技术大学);Microsoft Cloud AI(微软云人工智能);International Digital Economy Academy(国际数字经济研究院)
不同目标之间的遮挡是多目标跟踪(MOT)中的一个典型挑战,这通常会导致由于丢失检测到的目标而导致较差的跟踪结果。在多目标跟踪中,通常的做法是在丢失的目标重新出现后重新识别它们。虽然通过重新辨识可以提高跟踪性能,但是需要对模型进行身份标注来训练。此外,这种重新识别的做法仍然不能跟踪那些高度遮挡的目标时,他们被错过的检测器。在本文中,我们专注于在线多目标跟踪和设计两个新的模块,无监督的重新识别学习模块和遮挡估计模块,来处理这些问题。具体而言,所提出的无监督重新识别学习模块不需要任何(伪)身份信息,也不存在可扩展性问题。所提出的遮挡估计模块试图预测遮挡发生的位置,该位置被用于由检测器估计错过的对象的位置。我们的研究表明,当应用于最先进的MOT方法时,所提出的无监督重新识别学习与有监督重新识别学习相当,并且所提出的遮挡估计模块进一步提高了跟踪性能。
2022-01-04 cs.CV
Large Vocabulary Arabic Online Handwriting Recognition System
Cairo University(开罗大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
阿拉伯语书写是一种辅音和草书书写。阿拉伯文字的分析更加复杂,因为大多数字母的上方或下方都有强制性的点/笔画,而且通常会按顺序延迟书写。由于书写风格的模糊性和多样性,识别系统通常基于一组可能的单词,称为词典。当词汇量较小时,识别精度更重要,因为识别时间最短。另一方面,在处理大词典时,识别速度以及准确性都是至关重要的。阿拉伯语有丰富的词法和句法,这使得它的词汇量很大。因此,一个实用的在线手写识别系统应该能够处理一个大的词典与合理的性能方面的准确性和时间。在本文中,我们介绍了一个完全成熟的隐马尔可夫模型(HMM)为基础的阿拉伯语在线手写识别系统,提供了解决方案,在认识阿拉伯语脚本固有的困难。介绍了一种新的处理延迟笔划的预处理技术。我们使用先进的建模技术,从训练数据建立我们的识别系统,以提供更详细的表示为写作单位之间的差异,最大限度地减少作家之间的差异,在训练数据,并有一个更好的代表性的特征空间。系统结果使用具有高阶语言模型和跨词HMM模型的附加后处理步骤来增强。使用两个不同的数据库,涵盖小型和大型词典的系统性能进行评估。我们的系统优于国家的最先进的系统的小型词典数据库。此外,它在支持大型词典时显示出有希望的结果(准确性和时间),并有可能针对特定作者调整模型以获得更好的结果。
2015-10-17 cs.CV
Online Human Activity Recognition using Low-Power Wearable Devices
Arizona State University(亚利桑那州立大学);Lonnie and Muhammad Ali Movement Disorder Center(朗尼与穆罕默德·阿里运动障碍中心)
人体活动识别在健康监测和康复治疗中的应用引起了人们的广泛关注。最近对HAR的研究集中在使用智能手机上,因为它们的广泛使用。然而,由于智能手机不是为HAR设计的,这导致使用不便、传感器的选择有限以及资源的低效使用。本文提出了第一个HAR框架,可以执行在线训练和推理。所提出的框架开始与一种新的技术,使用快速傅立叶和离散小波变换的基于纺织品的拉伸传感器和加速度计的功能。利用这些特点,我们设计了一个人工神经网络分类器,它是使用策略梯度算法在线训练。在低功耗物联网设备(TI-CC 2650 MCU)上进行的实验显示,在识别六个活动及其转换时,准确率为97.7%,功耗低于12.5 mW。
2019-02-04 cs.CV
Indic Handwritten Script Identification using Offline-Online Multimodal Deep Network
Nanyang Technological University(南洋理工大学);University of Surrey(萨里大学);Institute of Engineering & Management(工程与管理学院);Jadavpur University(贾达普大学);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Statistical Institute(印度统计研究所)
在本文中,我们提出了一种新的方法,词级的印度文字识别仅使用字符级的数据在训练阶段。在第一节中已经概述了使用字符级数据进行训练的优点。我们的方法使用多模态深度网络,该网络将数据的离线和在线模态作为输入,以便共同探索来自这两种模态的信息,用于脚本识别任务。我们把手写体数据中的任何一种模态作为输入,通过模态间转换生成相反的模态。此后,我们将这个离线-在线模态对馈送到我们的网络。因此,除了利用来自两种模态的信息的优点之外,它还可以同时用作离线和在线脚本识别的单个框架,这表明需要为单独的模态设计两个单独的脚本识别模块。另一个主要的贡献是,我们提出了一种新的条件多模态融合计划,结合离线和在线模态的信息,考虑到真正的起源的数据被馈送到我们的网络,因此它结合自适应。一个详尽的实验已经做了一个数据集,包括英语和六个印度语脚本。我们提出的框架明显优于基于传统分类器以及手工特征和基于深度学习的方法的不同框架,具有明显的优势。大量的实验表明,在我们的框架中,仅使用字符级训练数据可以实现与使用单词级数据进行传统训练所获得的性能类似的最新性能。
2019-10-15 cs.CV
Stroke Sequence-Dependent Deep Convolutional Neural Network for Online Handwritten Chinese Character Recognition
Harbin Institute of Technology Shenzhen Graduate School(哈尔滨工业大学深圳研究生院)
本文提出了一种新的模型,命名为笔划序列相关的深度卷积神经网络(SSDCNN),利用笔划序列信息和八个方向的特征进行联机手写汉字识别(OLHCCR)。一方面,SSDCNN可以学习在线手写汉字(OLHCC)的表示,通过纳入自然的笔画序列信息。另一方面,SSDCNN可以以自然的方式合并八个方向的特征。为了训练SSDCNN,我们将训练过程分为两个阶段:1)使用训练数据对整个体系结构进行预训练,直到性能趋于收敛。2)进一步训练了用于将基于笔划序列的八向特征表示与softmax层相结合的全连接神经网络。实验是在ICDAR 2013的OLHCCR竞赛任务上进行的。实验结果表明,与只使用8个方向特征的模型相比,SSDCNN可以将识别错误率降低50%(5.13vs2.56)。与ICDAR 2013竞赛上提交的最佳系统相比,所提出的SSDCNN实现了97.44%的准确率,将识别错误降低了约1.9%。这些结果表明,SSDCNN可以利用笔划序列信息来学习OLHCC的高质量表示。它还表明,学习的表示和经典的八方向特征在SSDCNN架构中相互补充。
2016-10-13 cs.CV
A New Hybrid-parameter Recurrent Neural Networks for Online Handwritten Chinese Character Recognition
University of Chinese Academy of Sciences, CAS(中国科学院大学(中国科学院))
递归神经网络(RNN)适合于处理时间序列。在本文中,我们提出了一种具有新特征的深度RNN,并将其应用于在线手写汉字识别。与现有的RNN模型相比,该系统有三个创新之处。首先,提出了一种新的RNN隐层函数,以更好地学习时间信息。我们称之为内存池单元(MPU)。拟议的MPU具有简单的架构。其次,为了提高RNN的表达能力,提出了一种新的混合参数RNN结构。所提出的混合参数RNN在计算时间维度的迭代时具有参数变化。第三,我们做了一个调整,每一层的所有输出堆叠作为网络的输出。堆叠隐藏层状态组合所有隐藏层状态以增加表达容量。在IAHCC-UCAS 2016数据集和CASIA-OLHWDB 1.1数据集上进行了实验。实验结果表明,混合参数RNN具有更高的识别效率(参数少,速度快),获得了更好的识别性能。并证明了所提出的记忆池单元是一个简单的隐层函数,取得了较好的识别效果。
2018-07-30 cs.CV
A General Framework for the Recognition of Online Handwritten Graphics
University of São Paulo(圣保罗大学);University of Nantes(南特大学)
我们提出了一个新的框架识别在线手写图形。该框架的三个主要特点是它的能力,以综合的方式处理符号和结构层次的信息,其灵活性相对于不同的家庭的图形,和手段来控制识别效率和计算成本之间的权衡。我们将图形建模为从图形语法生成的标记图。非终端顶点表示子组件,终端顶点表示符号,边表示子组件或符号之间的关系。然后,我们将识别问题建模为图形解析问题:给定输入笔划集,我们搜索表示输入的最佳解释的解析树。我们的图解析算法生成多个解释(与语法一致),然后我们根据考虑符号和结构的可能性得分的成本函数提取最佳解释。解析算法包括递归分区的笔画集根据语法中定义的结构,它不施加约束,目前在一些以前的作品(如笔画排序)。通过避免这样的限制,并感谢强大的代表性的图形,我们的方法可以适应不同的图形符号的识别。我们展示了应用程序的数学表达式和流程图的识别。实验表明,我们的方法在这两个应用程序中获得了最先进的精度。
2017-09-19 cs.CV
Improved Deep Convolutional Neural Network For Online Handwritten Chinese Character Recognition using Domain-Specific Knowledge
South China University of Technology(华南理工大学)
深度卷积神经网络(DCNN)在各种计算机视觉和模式识别应用中取得了巨大成功,包括手写体汉字识别(HCCR)。然而,目前大多数基于DCNN的HCCR方法将手写样本简单地视为图像位图,忽略了一些可能有用但无法通过传统网络学习的重要领域特定信息。在本文中,我们提出了一种增强的DCNN方法,通过结合各种特定领域的知识,包括变形,非线性归一化,虚构的笔画,路径签名和8方向特征,在线HCCR。我们的贡献是双重的。首先,研究这些特定于领域的技术,并将其与DCNN集成,以形成复合网络,从而提高性能。其次,使用混合串并行(HSP)策略将所得到的DCNN与其领域知识的多样性相结合。因此,我们在CASIA-OLHWDB 1.0和CASIA-OLHWDB 1.1上分别实现了97. 20%和96. 87%的有希望的准确性,优于文献中先前报道的最佳结果。
2015-05-28 cs.CV
Robust Gait Recognition by Integrating Inertial and RGBD Sensors
Wuhan University(武汉大学);Shenzhen University(深圳大学);University of South Carolina(南卡罗来纳大学)
步态已被认为是一种有前途的和独特的身份识别生物特征。传统上,步态数据是使用颜色传感器(诸如CCD相机)、深度传感器(诸如Microsoft Kinect)或惯性传感器(诸如加速度计)来收集的。然而,单一类型的传感器可能只能捕获部分动态步态特征,并使步态识别对复杂的协变量条件敏感,导致脆弱的基于步态的身份识别系统。在本文中,我们建议结合所有三种类型的传感器的步态数据汇集和步态识别,可用于重要的身份识别应用,如身份识别访问一个受限制的建筑物或区域。我们提出了两个新的算法,即EigenGait和TrajGait,分别从惯性数据和RGBD(颜色和深度)数据中提取步态特征。具体而言,EigenGait从特征空间中的加速度计读数中提取一般步态动态,TrajGait通过分析3D密集轨迹提取更详细的子动态。最后,两个提取的特征被送入一个监督分类器的步态识别和身份识别。对50名受试者的实验结果表明,该方法具有较高的识别精度和鲁棒性,并与其他几种步态识别方法进行了比较。
2016-10-31 cs.CV
Online Behavioral Analysis with Application to Emotion State Identification
Ryerson University(瑞尔森大学);Zhengzhou University(郑州大学)
在本文中,我们提出了一种新的判别模型,用于在线行为分析,并应用于情绪状态识别。该模型能够有效地从行为数据中提取更具鉴别力的特征,并有效地找到最佳投影方向,满足在线数据分析的要求,从而更好地利用行为信息,产生更准确的识别结果。
2021-02-27 cs.CV cs.LG
Object Recognition and Identification Using ESM Data
McMaster University(麦克马斯特大学);Defence Research and Development Canada(加拿大国防研究与发展部)
对未知目标的识别是监控和安全系统中的一项重要任务。电子支援措施(ESM)是最有效的识别传感器之一,特别是在海上和空对地应用中。在典型的监视系统中,多个ESM传感器通常与雷达等运动传感器一起部署。不同的ESM传感器可以产生准备发送到融合中心的不同类型的报告。本文的重点是发展一种新的体系结构的目标识别和识别时,非均匀ESM和可能的运动报告收到的融合中心。新的融合架构进行评估,使用模拟显示利用不同的ESM报告,如属性和信号级ESM数据的好处。
2016-03-22 cs.CV stat.AP
Learning symbol relation tree for online mathematical expression recognition
Tokyo University of Agriculture and Technology(东京农工大学)
提出了一种直接从笔画序列建立符号关系树的联机手写数学表达式识别方法。双向递归神经网络从SRT的多个导出路径学习,以使用全局上下文来预测符号和符号之间的空间关系。识别系统由两部分组成:时间分类器和树连接器。时间分类器通过识别OnHME模式来产生SRT。采油树连接器将SRT分成几个子SRT。通过查找这些子SRT中的最佳组合来形成最终SRT。此外,我们还采用了一种树排序方法来处理各种笔顺。识别实验表明,所提出的OnHME识别系统是具有竞争力的其他方法。该识别系统在2014年和2016年在线手写数学表达式识别竞赛(CROHME)测试集上分别取得了44.12%和41.76%的表情识别率。
2021-05-13 cs.CV cs.LG
Neural Computing for Online Arabic Handwriting Character Recognition using Hard Stroke Features Mining
Prince Sultan University(苏丹亲王大学);Universiti Teknologi Malaysia(马来西亚理工大学)
由于阿拉伯草书的书写风格、书写速度、书写者心情等因素的影响,在线阿拉伯草书字符识别仍然是一个很大的挑战。由于这些不可避免的限制,在线阿拉伯字符识别的准确率仍然很低,还有改进的空间。本研究提出一种从手写笔长特征的纵横方向上提取在线阿拉伯文字识别中所需关键点的改进方法。每个提取的笔画特征将每个孤立的字符划分为一些有意义的模式,称为标记。从这些标记中提取最小特征集,使用多层感知器与反向传播学习算法和修改的基于S形函数的激活函数进行字符分类。在这项工作中,实现了两个里程碑;首先,获得固定数量的令牌,其次,最小化最重复的令牌的数量。实验中,手写体阿拉伯字符从OHASD基准数据集选择测试和评估所提出的方法。所提出的方法达到了98.6%的平均准确率在最先进的字符识别技术。
2021-01-15 cs.CL cs.CV
PURE: Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition
Nanyang Technological University(南洋理工大学);Zhongnan University of Economics and Law(中南财经政法大学);Huazhong University of Science and Technology(华中科技大学);Hunan University(湖南大学)
最近,\textit{passive behavioral biometrics}(例如,手势或脚步)已经成为传统用户识别方法(例如,面部或指纹),然而现有的传感技术需要很长的测量轨迹,并且不能同时识别多个用户。为此,我们提出了\systemname \作为一个被动的多人身份识别系统,利用深度学习使足迹分离和识别。\systemname \通过破译足迹中的唯一“足迹”来被动识别用户。与现有的步态识别系统不同,\systemname \可以通过一个步骤来识别一个人,大大减少了识别延迟。为了使\systemname \适应步行速度的变化,环境动态,甚至看不见的目标,我们应用了对抗学习技术,以提高其领域的概括性和识别精度。最后,\systemname \可以通过丰富的脚步和空间感知来保护自己免受重放攻击。我们实现了一个\systemname \原型使用商品硬件和评估它在典型的室内设置。评估结果表明,跨域识别的准确率超过90%。
2021-04-15 cs.AI cs.CV
Bridging the gap between Human Action Recognition and Online Action Detection
École de Technologie Supérieure(高等工程学院)
动作识别、早期预测和在线动作检测是经常独立研究的互补学科。大多数在线动作检测网络使用预先训练的特征提取器,这可能不是新任务的最佳选择。我们解决了特定任务的特征提取与上述学科之间的师生框架,和一个新的训练策略。我们的网络,在线知识蒸馏行动检测网络(OKDAD),嵌入在线早期预测和在线时间段建议子网络并行。在教师培训期间,鼓励低班级间和高班级内的相似性。OKDAD网络的知识蒸馏是通过层重用和教师-学生特征向量之间的余弦相似性来保证的。层重用和相似性学习显着提高我们的基线,使用通用的特征提取器。我们评估了来自两个流行数据集的红外视频框架,即NTU RGB+D(动作识别、早期预测)和PKU MMD(动作检测)。与以前在这些数据集上的尝试不同,我们的学生网络在没有任何未来知识的情况下运行。即使增加了这一难度,我们也在两个数据集上获得了最先进的结果。此外,我们的网络使用来自RGB-D摄像头的红外线,据我们所知,我们是第一个将其用于在线动作检测的网络。
2021-01-21 cs.AI cs.CV
Preliminary experiments on automatic gender recognition based on online capital letters
Escola Universitària Politècnica de Mataró - Tecnocampus(马塔罗理工大学学院 - Tecnocampus)
在本文中,我们提出了一些实验,自动分类在线手写文本的基础上,大写字母。虽然手写文本不像人脸或声音那样具有区分性,但我们仍然发现了一些基于手写文本的性别分类的机会。即使在最具挑战性的大写字母情况下,准确率也高达74%。
2022-03-11 cs.CV cs.LG
X-ray Recognition: Patient identification from X-rays using a contrastive objective
Rice University(莱斯大学)
本研究在深度学习可从胸部X光片提取生物信息的基础上,证实其还能通过对比目标精准区分不同患者的X光片,提示公共医学影像数据库普及需关注相关隐私风险。
2023-04-29 cs.CV eess.IV
Online Event Recognition from Moving Vessel Trajectories
National Technical University of Athens(雅典国立技术大学);NCSR Demokritos(希腊国家科学研究中心德谟克利特);University of Piraeus(比雷埃夫斯大学)
我们提出了一个系统,用于在线监测海上活动从海上航行的众多船只的流位置。它采用在线跟踪模块,用于检测每艘船舶随时间推移的演变轨迹的重要变化,从而可以逐步保留其最近运动的简洁而可靠的摘要。此外,由于其复杂的事件识别模块,该系统还可以向海事当局提供有关紧急情况的即时通知,例如碰撞风险,保护区内的可疑移动或公海上的包裹拾取。我们的广泛测试不仅验证了该系统针对可扩展的真实世界和综合放大数据集的性能,效率和鲁棒性,而且其针对船舶在线馈送的部署也证实了其有效,实时海上监视的能力。
2016-01-22 cs.AI cs.CV