SAFER: Situation Aware Facial Emotion Recognition
Purdue University(普渡大学)
本研究提出情境感知的面部情绪识别系统SAFER,融合上下文信息适配开放场景,在CAER-S数据集上达91.4%准确率,还探究了口罩的影响并推出新型数据集,可用于人机交互、安防等领域。
2023-06-14 cs.CV
Seeing Beyond Classes: Zero-Shot Grounded Situation Recognition via Language Explainer
Zhejiang University(浙江大学);Finvolution Group(Finvolution集团);The Hong Kong University of Science and Technology(香港科技大学)
本文提出基于语言解释器(LEX)的零样本接地情境识别方法,通过动词、接地和名词三个辅助解释器增强模型对动词/名词类别的理解,解决动词概念模糊、角色定位不准和名词预测缺乏上下文感知的问题,在SWiG数据集上验证了其有效性。
2024-04-24 cs.CV
One Identity, Many Roles: Multimodal Entity Coreference for Enhanced Video Situation Recognition
CVIT, IIIT Hyderabad, India(IIIT海得拉尔学院计算机视觉研究所,印度);Amazon Prime Video, Seattle(亚马逊Prime视频,西雅图)
本文提出多模态实体指代(MEC)方法,通过结合文本和视频信息提升视频情境识别的准确性和一致性,实验结果显示在描述和视觉定位方面均取得显著提升。
2026-04-25 cs.CV
Grounded Video Situation Recognition
IIIT Hyderabad(海得拉巴国际信息技术研究所)
密集视频理解需要回答几个问题,例如谁对谁做了什么,用了什么,如何,为什么和在哪里。最近,视频情景识别(VidSitu)被构造为一个任务,用于结构化预测多个事件,它们的关系,动作和各种动词-角色对附加到描述性实体。这项任务在识别、消歧和跨多个动词-角色对的共指实体方面提出了一些挑战,但也面临一些评估挑战。在这项工作中,我们提出了增加时空接地的结构化预测任务的一个重要组成部分,在弱监督设置,并提出了一种新的三阶段Transformer模型,VideoWhisperer,这是授权进行联合预测。在第一阶段,我们学习视频特征的上下文嵌入,同时学习视频片段中出现的关键对象,以实现细粒度的时空推理。第二阶段看到动词角色查询参加和池信息从对象嵌入,本地化的问题所提出的行动的答案。最后一个阶段生成这些答案作为字幕来描述视频中存在的每个动词-角色对。我们的模型同时对一组事件(剪辑)进行操作,并预测动词、动词-角色对、它们的名词及其动态接地。当在VidSitu数据集的接地增强版本上进行评估时,我们观察到实体字幕准确性的大幅提高,以及在训练时无需接地注释即可定位动词角色的能力。
2022-10-19 cs.CV
Rethinking the Two-Stage Framework for Grounded Situation Recognition
Tencent AI Lab(腾讯人工智能实验室)
Grounded Situation Recognition(GSR),即识别图像中的显著活动(或动词)类别(例如,购买)并检测所有相应的语义角色(例如,代理和货物),是迈向“类人”事件理解的重要一步。由于每个动词都与一组特定的语义角色相关联,所有现有的GSR方法都采用两阶段框架:在第一阶段预测动词,在第二阶段检测语义角色。然而,这两个阶段都存在明显的缺陷:1)由于日常活动中类内差异大、类间相似度高,广泛使用的用于对象识别的交叉熵损失(XE)在动词分类中存在不足。2)所有语义角色都是以自回归的方式检测的,这无法对不同角色之间的复杂语义关系进行建模。为此,我们提出了一种新的SituFormer的GSR,它包括一个粗到细的动词模型(CFVM)和一个基于转换器的名词模型(TNM)。CFVM是一个两步动词预测模型:用XE损失训练的粗粒度模型首先提出一组动词候选,然后用三重损失训练的细粒度模型用增强的动词特征(不仅是可分离的,而且是可区分的)对这些候选进行重新排序。TNM是一个基于转换器的语义角色检测模型,它检测所有的角色。由于Transformer解码器的全局关系建模能力和灵活性,TNM可以充分探索角色的统计依赖性。在具有挑战性的SWiG基准测试上进行的广泛验证表明,SituFormer在各种指标下都实现了新的最先进的性能,并取得了显着的收益。代码可在https://github.com/…
2021-12-10 cs.CV
Color Face Recognition using High-Dimension Quaternion-based Adaptive Representation
University of Macau(澳门大学)
最近,四元数协同表示为基础的分类(QCRC)和四元数稀疏表示为基础的分类(QSRC)已被提出用于彩色人脸识别。它们可以获得不同颜色通道之间的相关信息。然而,它们的性能在不同的条件下是不稳定的。例如,QSRC在某些情况下比QCRC表现得更好,但在其他情况下表现得更差。为了从QCRC中基于四元数的$e_2$ -范数最小化和QSRC中基于四元数的$e_1$ -范数最小化中受益,我们提出了基于四元数的自适应表示(QAR),其使用基于四元数的$e_p$ -范数最小化($1 \le p \le 2$)用于彩色人脸识别。为了获得不同颜色通道之间的高维相关信息,我们进一步提出了基于高维四元数的自适应表示(HD-QAR)。实验结果表明,所提出的QAR和HD-QAR实现更好的识别率比QCRC,QSRC和几个国家的最先进的方法。
2017-11-19 cs.CV
Online Handwritten Mathematical Expressions Recognition System Using Fuzzy Neural Network
本文描述了基于手写符号识别和结构分析方法的手写数学表达式在线识别的信息技术。
2017-07-12 cs.CV
Using SLP Neural Network to Persian Handwritten Digits Recognition
这篇论文已经被作者ali pourmohammad撤回。
2010-01-08 cs.CV
Artificial Neural Networks for Finger Vein Recognition: A Survey
Hunan First Normal University(湖南第一师范学院);National University of Defense Technology(国防科技大学);Northeastern University(东北大学)
手指静脉识别是一种新兴的生物特征识别技术。与身体表面的其他生物特征不同,手指的静脉血管组织深埋在皮肤内。由于这个优点,手指静脉识别是高度稳定和私密的。它们几乎不可能被盗,也很难受到外部条件的干扰。与传统的基于机器学习的手指静脉识别方法不同,人工神经网络技术,特别是深度学习,不依赖于特征工程,具有优越的性能。为了总结基于人工神经网络的手指静脉识别的研究进展,本文收集了149篇相关论文。首先,我们介绍了手指静脉识别的背景和本次调查的动机。然后,介绍了人工神经网络的发展历史和用于手指静脉识别任务的代表性网络。然后描述了在手指静脉识别中广泛使用的公共数据集。在此基础上,分别总结了基于经典神经网络和深度神经网络的手指静脉识别任务。最后,对手指静脉识别中存在的问题和未来的发展方向进行了展望.据我们所知,本文是第一个全面的调查集中在手指静脉识别的基础上人工神经网络。
2022-08-29 cs.CV
DeepLogo: Hitting Logo Recognition with the Deep Neural Network Hammer
最近,围绕着标识识别出现了一系列的工业活动,例如Ditto为营销人员提供的在用户生成的图像中跟踪其品牌的服务,以及LogoGrab用于标识识别的移动应用平台。然而,在过去的四年里,学术或开源标志识别的进展相对较少。与此同时,深度卷积神经网络(DCNN)已经彻底改变了广泛的对象识别应用。在这项工作中,我们将DCNN应用于徽标识别。我们提出了几种DCNN架构,通过这些架构,我们在流行的徽标识别数据集上超过了已发布的最先进的准确性。
2015-10-07 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Grounded Situation Recognition with Transformers
POSTECH(浦项科技大学)
基于情境的识别(Grounded Situation Recognition,GSR)是一种不仅对显著动作(动词)进行分类,而且预测与语义角色相关的实体(名词)及其在给定图像中的位置的任务。受Transformers在视觉任务中取得的巨大成功的启发,我们提出了一个基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制能够有效地捕捉图像的高层语义特征,实现动词的准确分类,并能灵活地处理实体间复杂的、依赖于图像的关系,提高名词的分类和定位能力。我们的模型是GSR的第一个Transformer架构,并在SWiG基准测试的每个评估指标上达到了最先进的水平。我们的代码可在https://github.com/jhcho99/gsrtr上获得。
2021-11-19 cs.AI cs.CV cs.LG
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University(华盛顿州立大学)
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此,需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中,我们使用卷积神经网络开发了一个迁移学习框架,以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
VASR: Visual Analogies of Situation Recognition
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
人类认知的一个核心过程是类比映射:在不同情况下识别相似关系结构的能力。我们引入了一个新的任务,视觉类比的情况下识别,适应经典的词类比任务到视觉领域。给定一组图像,任务是选择一个图像候选B'来完成类比(A到A'就像B到什么?)。与以前的工作视觉类比,专注于简单的图像变换,我们解决复杂的类比需要理解的场景。我们利用情景识别注释和CLIP模型来生成一个大的500k候选类比集。对数据样本的众包注释表明,人类同意数据集标签的概率约为80%(概率水平为25%)。此外,我们使用人工注释创建了一个包含3,820个验证类比的黄金标准数据集。我们的实验表明,最先进的模型在随机选择干扰项时表现良好(约86%),但与精心选择的干扰项相比(约53%,而人类准确率为90%)。我们希望我们的数据集将鼓励新的类比模型的开发。网址:https://vasr-dataset.github.io/
2022-12-08 cs.AI cs.CL cs.CV
Digit Recognition Using Convolution Neural Network
Priyadarshini Institute of Engineering & Technology(普里雅达希尼工程技术学院)
在模式识别中,数字识别一直是一个非常具有挑战性的课题。本文的目的是提取一个正确的特征,以便它可以达到更好的数字识别的准确性。数字识别的应用如在密码、银行支票等过程中识别用户的有效身份。早些时候,一些研究人员在模式识别中使用了各种不同的机器学习算法,即KNN,SVM,RFC。本文的主要目标是在不对数据集做过多预处理的情况下,利用卷积神经网络(CNN)对数字进行识别,获得最高的准确率99.15%。
2020-04-01 cs.CV
Handwritten Recognition Using SVM, KNN and Neural Network
Universiti Teknologi Malaysia(马来西亚理工大学)
手写识别(HWR)是计算机接收和解释来自诸如纸质文档、照片、触摸屏和其他设备的可理解的手写输入的能力。本文采用三种分类方法对手写体进行识别,即SVM、KNN和神经网络。
2017-02-01 cs.CV
Right whale recognition using convolutional neural networks
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
我们研究了使用卷积神经网络识别单个露脊鲸(Eubalaena glacialis)的可行性。先前的研究表明,CNN可以用于广泛的分类和归类任务,如自动人脸识别。为了测试深度学习对鲸鱼识别的适用性,我们根据文献中的最佳实践开发了几个模型。在这里,我们描述了模型的性能。我们得出结论,机器识别鲸鱼是可行的,并评论的困难问题
2016-04-19 cs.CV
Skin Texture Recognition Using Neural Networks
Kufa University(库法大学)
皮肤识别被用于许多应用中,从用于面部检测、手势分析的算法到令人反感的图像过滤。在这项工作中,皮肤识别系统的开发和测试。虽然许多皮肤分割算法依赖于皮肤颜色,但我们的工作依赖于皮肤颜色和纹理特征(来自GLCM的特征),以提供更好,更有效的皮肤纹理识别精度。我们使用前馈神经网络来分类输入纹理图像是皮肤或非皮肤纹理。该系统在神经网络的泛化过程中取得了令人鼓舞的效果。
2013-11-23 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab;University of Oxford(牛津大学)
在本文中,我们描述了一个解决方案,我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型,捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获,并在大型人脸识别数据集上进行预训练。我们发现,使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成,我们提高了以前的最好的测试集上的结果约1%,实现了60.03%的分类准确率,而不使用任何视觉时间信息。
2017-11-13 cs.CV
From Photo Streams to Evolving Situations
University of California, Irvine(加利福尼亚大学欧文分校);Northwestern Polytechnical University(西北工业大学);Mahidol University(玛希隆大学)
照片正在成为自发的、客观的和普遍的信息来源。本文使用来自不同来源的照片流结合深度学习的进步开发了不断发展的情况识别。利用照片中的视觉概念以及空间和时间信息,我们将情况检测制定为半监督学习框架,并提出新的基于图的模型来解决问题。为了扩展未知情况下的方法,我们引入了一个软标签的方法,使传统的半监督学习框架,以准确地预测预定义的标签,以及有效地形成新的集群。为了克服噪声数据降低图形质量,导致识别效果不佳的问题,利用两种噪声鲁棒范数消除视觉概念中离群点的不利影响,提高态势识别的准确率。最后,我们展示了雅虎Flickr创意共享1亿的想法和所提出的模型的有效性。
2017-02-20 cs.CV cs.MM
Doppler-Radar Based Hand Gesture Recognition System Using Convolutional Neural Networks
手势识别一直是人机交互领域的研究热点。传统的基于摄像头的手势识别系统在黑暗环境下无法正常工作。提出了一种基于多普勒雷达的卷积神经网络手势识别系统。使用具有5.8GHz双接收通道的高性价比多普勒雷达传感器来获取四个标准手势的大数据库。然后对接收到的手势信号进行时频分析。卷积神经网络用于对不同的手势进行分类。实验结果验证了该系统的有效性,准确率为98%。此外,还研究了识别距离和手势尺度等相关因素。
2017-11-22 cs.CV
Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks
Assiut University(艾斯尤特大学)
无约束文本识别是一个重要的计算机视觉任务,具有各种不同的子任务,每个子任务都有自己的挑战。深度神经网络的最大承诺之一是从输入原始信号中提取特征的收敛和自动化,从而以最少的领域知识实现尽可能高的性能。为此,我们提出了一个数据高效,端到端的神经网络模型通用,无约束的文本识别。在我们提出的架构中,我们努力在不牺牲识别精度的情况下实现简单性和效率。我们提出的架构是一个完全卷积的网络,没有任何使用CTC损失函数训练的循环连接。因此,它可以对任意大小的输入进行操作,并以非常高效和可并行的方式生成任意长度的字符串。我们通过在七个公共基准数据集上实现最先进的结果来展示我们所提出的文本识别架构的通用性和优越性,这些数据集涵盖了广泛的文本识别任务,即:手写识别,CAPTCHA识别,OCR,车牌识别和场景文本识别。我们提出的架构赢得了ICFHR 2018 READ数据集自动文本识别竞赛。
2018-12-31 cs.CV
Collaborative Transformers for Grounded Situation Recognition
POSTECH(浦项科技大学)
接地的情况识别是预测的主要活动,在活动中扮演某些角色的实体,并在给定的图像中的实体的边界框接地的任务。为了有效地处理这一具有挑战性的任务,我们引入了一种新的方法,其中活动分类和实体估计的两个过程是交互和互补的。为了实现这一想法,我们提出了协作的一瞥,凝视变换器(CoFormer),由两个模块组成:活动分类的一瞥Transformer和凝视Transformer实体估计。Glance Transformer借助分析实体及其关系的Gaze Transformer预测主要活动,而Gaze Transformer通过仅关注与Glance Transformer预测的活动相关的实体来估计接地实体。我们的CoFormer在SWiG数据集上的所有评估指标上都达到了最先进的水平。训练代码和模型权重可在https://github.com/jhcho99/CoFormer上获得。
2022-03-30 cs.AI cs.CV cs.LG
Evaluation of Neural Networks for Image Recognition Applications: Designing a 0-1 MILP Model of a CNN to create adversarials
Bergische Universität Wuppertal(伍珀塔尔大学)
图像识别是计算机视觉的核心任务,应用范围包括搜索、机器人、自动驾驶汽车等。本文件有三个目的:1。我们跟进(Fischetti & Jo,2017年12月),并展示如何将标准卷积神经网络优化为更复杂的胶囊架构。2.我们引入了一个基于CNN的MILP模型来创建对抗。3.我们比较和评估每个网络的图像识别任务。
2018-09-01 cs.CV
Iris Recognition for Personal Identification using LAMSTAR neural network
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
虹膜识别是生物特征识别中最重要的方法之一。这是因为虹膜纹理提供了许多特征,如雀斑、冠状、条纹、皱纹、隐窝等。这些特征对于不同的人是独特的,可以区分。虹膜解剖结构的这些独特特征使得个体之间的区分成为可能。因此,在过去的几年里,大量的人一直在努力提高其性能。在这篇文章中,首先解释了虹膜识别系统的不同常见步骤。然后将一种特殊类型的神经网络用于识别部分。实验结果表明,特别是当初始步骤做得好时,可以获得较高的精度。
2019-07-28 cs.CV
LPRNet: License Plate Recognition via Deep Neural Networks
Intel(英特尔)
提出了一种基于LPRNet的端到端车牌自动识别方法。我们的方法受到深度神经网络最新突破的启发,并实时工作,对中国车牌的识别准确率高达95%:在nVidia GeForce GTX 1080上为3 ms/板,在Intel Core i7- 6700 K CPU上为1.3 ms/板。LPRNet由轻量级的卷积神经网络组成,因此它可以以端到端的方式进行训练。据我们所知,LPRNet是第一个不使用RNN的实时车牌识别系统。因此,LPRNet算法可用于创建LPR的嵌入式解决方案,即使在具有挑战性的中国车牌上也具有高水平的准确性。
2018-06-27 cs.CV
Overview Of Satellite Image Recognition Models
Plekhanov Russian University of Economics(俄罗斯普列汉诺夫经济大学)
本文对现有的卫星图像识别模型进行了分析,对作为信息源的卫星图像识别领域存在的问题进行了思考和分析,对深度学习方法进行了比较,并对现有的图像识别方法进行了分析。所获得的结果将用作根据卫星图像开发火灾识别模型的基础,并将识别结果用作根据模糊认知图预测宏观经济形势的认知模型的输入数据。
2022-12-07 cs.CV
DeepID3: Face Recognition with Very Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学);SenseTime Group(商汤集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
深度学习的出现极大地推动了人脸识别的发展。非常深的神经网络最近在一般物体识别上取得了巨大的成功,因为它们具有超强的学习能力。这促使我们研究它们在人脸识别上的有效性。本文提出了两种用于人脸识别的非常深的神经网络架构,称为DeepID 3。这两个架构是从VGG网和GoogLeNet中提出的堆叠卷积和初始层重建的,使其适用于人脸识别。在训练期间,将联合面部识别-验证监督信号添加到中间和最终特征提取层。所提出的两种架构的集成实现了99.53%的LFW人脸验证准确率和96.0%的LFW等级-1人脸识别准确率,分别。最后对LFW人脸验证结果进行了进一步的讨论。
2015-02-03 cs.CV
Image Recognition Using Scale Recurrent Neural Networks
ImaginationAI LLC(想象人工智能有限责任公司)
卷积神经网络(CNN)在图像识别中得到了广泛的应用,并取得了巨大的成功。然而,当前基于CNN的图像识别范例存在许多限制。首先,CNN的感受野一般是固定的,这限制了它在输入图像非常大时的识别能力。其次,它缺乏处理不同大小图像的计算可扩展性。第三,图像识别与人类视觉系统有很大的不同,它涉及前馈和递归预处理。本文提出了一种不同的图像识别范式,它可以利用输入图像的可变尺度,具有更多的计算可扩展性,更类似于人类视觉系统的图像识别。它是基于递归神经网络(RNN)定义在图像尺度上与一个嵌入的基础CNN,这被称为规模递归神经网络(SRNN)。这种基于RNN的方法使得处理可变大小的图像变得更容易,并允许我们借用现有的RNN技术,如LSTM和GRU,以进一步提高识别准确性。我们的实验表明,一个基地CNN的识别精度可以显着提高使用所提出的SRNN模型。它还显著优于尺度集成方法,该方法将执行CNN的结果集成到不同尺度的输入图像,尽管使用SRNN的计算开销可以忽略不计。
2018-03-25 cs.CV
Graph Neural Networks for Image Understanding Based on Multiple Cues: Group Emotion Recognition and Event Recognition as Use Cases
University of Delaware(特拉华大学);Target Corporation(塔吉特公司)
提出了一种基于多线索的图神经网络(GNN)图像理解方法。与传统的特征和决策融合方法相比,这些方法忽略了特征可以交互和交换信息的事实,所提出的GNN能够在从不同模型提取的特征之间传递信息。选择两个图像理解任务,即组级情感识别(GER)和事件识别,这是高度语义的,需要多个深度模型的交互来合成多个线索,以验证所提出的方法的性能。实验结果表明,所提出的方法在选定的图像理解任务上达到了最先进的性能。此外,本文还介绍了一种新的群体级情感识别数据库,并实现了共享。
2020-02-28 cs.CV
Motion Feature Augmented Recurrent Neural Network for Skeleton-based Dynamic Hand Gesture Recognition
Tsinghua University(清华大学)
动态手势识别由于其在人机交互中的重要性而受到越来越多的关注。在本文中,我们提出了一个新的运动特征增强的循环神经网络的基于神经网络的动态手势识别。提取手指运动特征描述手指运动,利用全局运动特征描述手部骨骼的全局运动。然后将这些运动特征与骨架序列一起输入到双向循环神经网络(RNN)中,这可以增强RNN的运动特征并提高分类性能。实验表明,我们提出的方法是有效的,优于开始的最先进的方法。
2017-08-10 cs.CV
Commonly Uncommon: Semantic Sparsity in Situation Recognition
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院);University of Virginia(弗吉尼亚大学)
语义稀疏性是结构化视觉分类问题中的一个常见挑战;当输出空间复杂时,绝大多数可能的预测很少出现在训练集中。本文研究了语义稀疏的情况下识别,产生结构化的总结图像中发生了什么,包括活动,对象和对象在活动中扮演的角色的任务。对于这个问题,我们发现经验,大多数对象-角色的组合是罕见的,目前最先进的模型显着表现不佳,在这种稀疏的数据制度。我们避免了许多这样的错误,通过(1)引入一个新的张量组合函数,学习在角色-名词组合之间共享示例,以及(2)使用Web数据自动收集很少观察到的输出示例,在语义上增强我们的训练数据。当集成在一个完整的基于CRF的结构化预测模型中时,基于张量的方法在前5名动词和名词角色准确度上分别比现有的最先进的方法提高了2.11%和4.40%。使用我们的语义增强技术添加500万张图像,在前5名动词和名词角色准确率上进一步相对提高了6.23%和9.57%。
2016-12-03 cs.AI cs.CV
How Deep Neural Networks Can Improve Emotion Recognition on Video Data
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
我们考虑使用深度学习对视频数据进行维度情感识别的任务。虽然之前的几种方法已经显示了在手工制作的特征上训练时间神经网络模型(例如递归神经网络(RNN))的好处,但很少有工作考虑将卷积神经网络(CNN)与RNN相结合。在这项工作中,我们提出了一个使用CNN和RNN对视频数据进行情感识别的系统,我们还分析了每个神经网络组件对系统整体性能的贡献。我们展示了我们对音频/视觉+情感挑战赛(AV+ EC 2015)视频的研究结果。在我们的实验中,我们分析了几个超参数对整体性能的影响,同时也实现了优于基线和其他竞争方法的性能。
2017-01-10 cs.CV
Real Time Face Recognition Using Convoluted Neural Networks
SNIST
人脸识别是利用人脸识别人的过程之一,它有各种各样的应用,如身份验证系统,监控系统和执法。卷积神经网络被证明是人脸识别的最佳方法。使用core-ml api检测人脸,并通过coreML模型处理提取的人脸,该模型经过训练以识别特定的人。数据集的创建是通过将待识别人员的人脸视频转换为数百张人的图像来完成的,这些图像进一步用于模型的训练和验证,以提供准确的实时结果。
2020-10-09 cs.CV
Automatic Recognition of Coal and Gangue based on Convolution Neural Network
Institute of Huaqiao University(华侨大学研究院);Industrial Engineering Research Center, universities and intelligent systems in Fujian Province(福建省高校智能系统工业工程研究中心)
设计了煤矸石分选系统,并基于AlexNet建立了卷积神经网络模型。针对卷积神经网络在训练阶段训练数据不足的问题,采用数据增强和迁移学习的方法。提出了一种目标检测和区域裁剪算法,将训练图像数据调整到最佳大小。与传统的神经网络和支持向量机算法相比,该算法对煤和煤矸石具有更高的识别率,为煤和煤矸石的识别和分选提供了重要参考。
2017-12-03 cs.CV
Neural Probabilistic System for Text Recognition
University of Sfax(斯法克斯大学);National Engineering School of Sfax (ENIS)(斯法克斯国立工程学院(ENIS))
无约束文本识别是模式识别领域中一个很有前途的研究方向。由于其词汇量的无限性、文体的多样性、字体的混合性和形态的巨大变化性,这一领域仍然是一个开放的搜索领域。最近的趋势表明,通过采用一种新的表示提取的特征识别的潜在改进。本文提出了一种新的基于稀疏自动编码器的文本识别特征提取模型。隐马尔可夫模型,然后用于序列建模。对于特征学习质量评估,我们提出的系统在两个打印文本数据集PKHATT文本行图像和APTI单词图像基准上进行了测试。我们的方法在两个数据集上都取得了很好的识别效果。
2019-07-19 cs.CV
Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks
University of Wollongong(伍伦贡大学);Tianjin University(天津大学)
近年来,卷积神经网络(ConvNets)在许多计算机视觉任务,特别是基于图像的识别中表现出了良好的性能。如何有效地使用ConvNets进行基于视频的识别仍然是一个悬而未决的问题。在本文中,我们提出了一个紧凑,有效而简单的方法来编码时空信息携带的$3D$骨架序列到多个$2D$图像,称为联合轨迹地图(JTM),和ConvNets被采用来开发实时人体动作识别的判别特征。所提出的方法已经在三个公共基准上进行了评估,即,MSRC-12 Kinect手势数据集(MSRC-12),G3 D数据集和UTD多模态人体动作数据集(UTD-MHAD),并取得了最先进的结果。
2016-11-13 cs.CV
NU-LiteNet: Mobile Landmark Recognition using Convolutional Neural Networks
Naresuan University(纳瑞宣大学)
高性能移动设备的增长导致了对设备上图像识别的更多研究。研究的问题是自动识别的延迟和准确性,这仍然是其在现实世界中使用的障碍。虽然最近开发的深度神经网络可以达到与人类用户相当的准确性,但其中一些仍然缺乏必要的延迟。本文描述了一种新的卷积神经网络模型NU-LiteNet的体系结构的发展。为此,开发了SqueezeNet,以将模型大小缩小到适合智能手机的程度。因此,NU-LiteNet的模型大小比SqueezeNet小2.6倍。在两个标准地标数据库上进行实验时,NU-LiteNet的识别精度也优于其他最近开发的深度神经网络。
2018-10-02 cs.CV
Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild
Universiti Brunei Darussalam(文莱达鲁萨兰大学);Namal Institute(纳马尔学院)
本文描述了拟议的方法,使用的数据和我们参加2020年野外情感行为分析(ABAW)比赛的挑战轨道2(Expr挑战轨道)的结果。在这次比赛中,我们使用了一个提出的深度卷积神经网络(CNN)模型来对给定的数据集进行自动面部表情识别(AFER)。我们提出的模型在验证集上的准确率为50.77%,F1得分为29.16%。
2020-10-03 cs.CV
Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
丰富的语义关系在各种视觉识别问题中是重要的。作为一个具体的例子,群体活动识别涉及场景中一组人的相互作用和相对空间关系。最先进的识别方法集中在深度学习方法上,用于训练高效、复杂的分类器来解释图像。然而,桥接这些方法输出的相对低级别的概念来解释更高级别的合成场景仍然是一个挑战。图形模型是完成这项任务的标准工具。在本文中,我们提出了一种将图形模型和深度神经网络集成到联合框架中的方法。而不是使用传统的推理方法,我们使用一个递归神经网络建模的顺序推理。除此之外,可以通过在节点之间的边上施加门来学习推理的适当结构。小组活动识别的实证结果表明,这种模式来处理高度结构化的学习任务的潜力。
2016-04-12 cs.CV
Neural perceptual model to global-local vision for recognition of the logical structure of administrative documents
Sfax University(斯法克斯大学)
本文给出了模拟全局局部视觉的透明神经网络TNN的定义及其在行政公文图像分割中的应用。我们已经开发并采用了一种识别方法,该方法模拟了实验心理学研究中报告的背景效应。然后,我们评估和测试的TNN和多层感知器“MLP”,这表明它的有效性在该领域的识别,以表明TNN是更清晰的用户和更强大的识别水平。事实上,TNN是唯一能够识别文件及其结构的系统。
2013-10-09 cs.CV
Neural Architecture based on Fuzzy Perceptual Representation For Online Multilingual Handwriting Recognition
University of Sfax(斯法克斯大学);National Engineering School of Sfax(斯法克斯国立工程师学院);Sifast
由于移动设备的无处不在,在线手写脚本已经成为智能手机和平板设备的最重要的馈送输入。为了提高在线手写识别性能,更深的神经网络已被广泛使用。在此背景下,我们的论文处理的问题,在线手写体识别的基础上提取特征系统和深入的方法系统的序列分类。已经出现了许多解决方案,以促进手写识别。因此,我们使用现有的方法,并结合新的分类器,以获得一个灵活的系统。与在线拉丁文和阿拉伯文字符和单词识别系统相比,取得了良好的效果。我们提出的两个系统的性能进行评估,使用五个数据库。事实上,识别率超过98%。
2019-08-01 cs.CV
CIFAR10 to Compare Visual Recognition Performance between Deep Neural Networks and Humans
The University of Danang – University of Science and Technology(岘港大学-科技大学)
视觉目标识别在人类的日常生活中起着至关重要的作用。这种能力是如此有效,以至于我们可以毫不费力地识别一张脸或一个物体,尽管它们可能在位置,规模,姿势和照明方面有所不同。在计算机视觉领域,人们已经进行了大量的研究来构建类人的物体识别系统。最近,深度神经网络在对象分类性能方面取得了令人印象深刻的进展,并据报道超过了人类。然而,人类和人工识别系统之间仍然缺乏彻底和公平的比较。虽然一些研究考虑了人工退化的图像,但人类对广泛用于深度神经网络的数据集的识别性能尚未得到充分评估。本论文进行了广泛的实验,以评估人类的分类精度CIFAR10,一个著名的自然图像数据集。这样就可以与最先进的深度神经网络进行公平的比较。我们基于CIFAR10的评估显示,最近的CNN具有非常有效的对象识别能力,但同时也证明了它们距离人类水平的泛化能力还很远。此外,使用多个难度级别的详细调查显示,对于人类来说容易的图像对于深度神经网络来说可能并不容易。这些图像形成CIFAR 10的子集,可以用于评估和改进未来的神经网络。
2019-08-15 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford(牛津大学)
在这项工作中,我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据,并在整个图像上进行文字识别,从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实,足以取代真实数据,为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性,在这里我们考虑三种模型,每种模型都以不同的方式“阅读”单词:通过90 k路字典编码,字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中,我们大大提高了标准数据集的最先进性能,使用我们快速,简单的机器,并要求零数据采集成本。
2014-12-09 cs.CV
Graph Edge Convolutional Neural Networks for Skeleton Based Action Recognition
本文研究了基于骨架的动作识别中的骨架数据中的人体骨骼。人体关节作为成熟的姿态估计技术的直接产物,一直是传统动作识别方法关注的重点。然而,我们人类自然地根据骨骼的形状、长度和位置来识别人体如何移动,而不是关节,这对于观察来说更加明显和稳定。因此,给定从骨架数据生成的图形,我们建议在与人类骨架中的骨骼相对应的图形边缘上开发卷积。我们通过整合其空间相邻边缘来描述边缘,以探索不同骨骼之间的合作,以及其时间相邻边缘来解决动作中运动的一致性。然后设计了一个图边卷积神经网络用于基于骨架的动作识别。考虑到图节点卷积和图边卷积之间的互补性,我们另外构造了两个混合神经网络,使用共享的中间层将图节点卷积神经网络和图边卷积神经网络结合起来。在Kinetics和NTU-RGB+D数据集上的实验结果表明,我们的图边缘卷积能有效地捕捉动作的特征,我们的图边缘卷积神经网络明显优于现有的基于骨架的动作识别方法。此外,混合网络可以实现更多的性能改进。
2018-05-31 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo(滑铁卢大学)
面部表情识别一直是计算机视觉中的一个活跃领域,其应用领域包括动画,社交机器人,个性化银行等。在这项研究中,我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的,如JAFFE和CK+数据库。结果表明,从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移,并用于面部表情识别。此外,对于小数据集,使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
An Analysis of Deep Neural Networks with Attention for Action Recognition from a Neurophysiological Perspective
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
我们回顾了最近三种基于深度学习的动作识别方法,并从神经生理学的角度对这些方法进行了简要的比较分析。我们认为这三种基于深度学习的方法与一些关于人脑功能的现有假设之间存在一些相似之处。
2019-07-02 cs.CV
Car Type Recognition with Deep Neural Networks
Tampere University of Technology(坦佩雷理工大学);Visy Oy(维西公司)
本文研究了客车、货车、厢式货车和小轿车四种车型的自动识别。对于这个问题,我们考虑两个数据驱动的框架:深度神经网络和支持向量机使用SIFT功能。在6500多幅图像的数据库中验证了该方法的准确性,预测准确率超过97%。这显然超过了使用手动设计的特征提取管道的早期研究的准确性。
2016-04-22 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构,它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比,该架构具有四个独特的属性:(1)它是端到端的可训练的,与大多数现有的算法,其组件是单独训练和调整。(2)它自然地处理任意长度的序列,不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制,在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型,这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明,该算法优于现有算法。此外,该算法在基于图像的乐谱识别任务中表现良好,这明显验证了它的通用性。
2015-07-21 cs.CV
A hypothesize-and-verify framework for Text Recognition using Deep Recurrent Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
深度LSTM是文本识别的理想候选者。然而,文本识别涉及到一些初始的图像处理步骤,如行和词的分割,这可能会导致识别系统的错误。在没有分割的情况下,学习非常长范围的上下文是困难的,并且在计算上变得难以处理。因此,在预处理级别需要替代的软决策。本文提出了一种混合文本识别器,使用具有多层抽象和长范围上下文的深度递归神经网络以及语言模型来验证深度神经网络的性能。在本文中,我们构建了一个多假设树结构的候选线段线序列从不同的分割算法在其不同的分支。深度神经网络在完美分割的数据上进行训练,并测试每个候选段,生成Unicode序列。在验证步骤中,使用与语言模型匹配的子串来验证这些Unicode序列,并且使用最佳优先搜索来从树结构中找到备选假设的最佳可能组合。因此,使用语言模型的验证框架消除了错误的分割输出并过滤了识别错误。
2015-02-26 cs.CV
Object-Scene Convolutional Neural Networks for Event Recognition in Images
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
从静止图像中识别事件对于图像理解具有重要意义。然而,与视频中的事件识别相比,图像中的事件识别的研究工作要少得多。针对图像事件识别问题,提出了一种基于深度神经网络的有效方法。具体来说,我们设计了一个新的架构,称为对象场景卷积神经网络(OS-CNN)。该体系结构被分解为对象网和场景网,分别从对象和场景上下文的角度提取对事件理解有用的信息。同时,我们研究了OS-CNN设计的不同网络架构,并使深度(AlexNet)和非常深度(GoogLeNet)网络适应事件识别任务。此外,我们还发现深度网络和超深度网络是互补的。最后,基于所提出的OS-CNN和不同网络架构的比较研究,我们提出了一个五流CNN的解决方案,用于ChaLearn Looking at People(ChaLearn Looking at People)2015挑战赛中的文化事件识别。我们的方法获得了85.5%的性能和排名的$1^{st}$在这个挑战的地方。
2015-05-02 cs.CV
EMERSK -- Explainable Multimodal Emotion Recognition with Situational Knowledge
Purdue University(普渡大学)
针对情感识别中多模态利用与结果可解释性的挑战,提出模块化多模态系统EMERSK,融合多模态视觉特征与情境知识实现情感识别与解释,经实验验证性能优于现有最优方法。
2023-06-14 cs.CV cs.LG cs.MM
License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks
Sighthound Inc.(Sighthound公司)
这项工作详细介绍了Sighthounds全自动车牌检测和识别系统。该系统的核心技术是使用一系列深度卷积神经网络(CNN)与准确高效的算法交织而成。CNN经过训练和微调,使其在不同条件下(例如姿势、照明、遮挡等变化)具有鲁棒性。并且可以在各种牌照模板(例如,大小、背景、字体等)上工作。对于定量分析,我们表明,我们的系统优于领先的车牌检测和识别技术,即ALPR在几个基准。我们的系统可通过Sighthound Cloud API提供给开发人员,网址为https://www.sighthound.com/products/cloud
2017-03-28 cs.CV
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven(鲁汶大学)
当今的自动语音识别系统仅依赖于声学信号,并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能,特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计,考虑到内存和计算的要求。首先,设计了一个用于声学语音识别的长短期记忆神经网络。其次,使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合,以建模时间依赖性并在视频上执行自动唇读。最后,结合听觉语音和视觉唇读网络,同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率,在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV