Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory
Cinnamon AI Lab(肉桂人工智能实验室);Deakin University(迪肯大学)
卷积递归神经网络(CRNN)在场景文本识别方面表现出色。不幸的是,它们在处理长文本图像时可能会遇到消失/爆炸梯度问题,这在扫描文档中很常见。这对彻底解决光学字符识别(OCR)问题提出了重大挑战。受最近提出的用于长期序列建模的记忆增强神经网络(MANN)的启发,我们提出了一种新的架构,称为卷积多路联想记忆(CMAM),以解决当前CRNN的局限性。通过利用最新的内存访问机制在MANN,我们的架构表现出优越的性能对其他CRNN同行在三个现实世界的长文本OCR数据集。
2020-01-22 cs.CV
Improving Skeleton-based Action Recognitionwith Robust Spatial and Temporal Features
Simon Fraser University(西蒙弗雷泽大学)
近年来,基于小波变换的动作识别在计算机视觉领域取得了重要进展。现有的算法大多是基于图卷积网络(GCN)的,目标是改进GCN骨干层的网络结构。在本文中,我们提出了一种新的机制来学习更鲁棒的鉴别功能在空间和时间。更具体地说,我们在网络的最后一层增加了一个判别特征学习(DFL)分支,以提取判别空间和时间特征来帮助学习。我们还正式提倡使用方向不变特征(DIF)作为神经网络的输入。我们表明,动作识别的准确性,可以提高这些强大的功能时,学习和使用。我们在NTU-RGBD 60、NTU-RGBD 120、SYSU 3DHOI和Eketon-Kinetics四个数据集上将我们的结果与ST-GCN和相关方法的结果进行了比较。
2020-08-01 cs.CV
Object Recognition by Using Multi-level Feature Point Extraction
在本文中,我们提出了一种新的方法,通过采用多层次的特征分析,实时对象识别和证明适应特征提取到朴素贝叶斯分类框架,使简单,高效,强大的性能的实用性。我们还表明,所提出的方法规模以及水平类的数量的增长。为了有效地理解关键点周围的补丁,经过训练的分类器使用数百个简单的二进制特征和模型类后验概率。此外,在任意特征集之间的假设独立性下,分类过程在计算上是便宜的。即使对于某些特定的场景,这种假设也可能是无效的。我们证明了有效的分类器,但在图像数据集上的照明环境和图像捕获的角度有很大的变化,表现非常好。实验结果表明,该算法在许多具有挑战性的数据集上都能达到一致的精度,同时对大分辨率图像提供了交互速度。该方法证明了有前途的结果,优于国家的最先进的方法对模式识别。
2017-10-28 cs.CV
Improving Classification by Improving Labelling: Introducing Probabilistic Multi-Label Object Interaction Recognition
University of Bristol(布里斯托大学)
这项工作偏离了对象交互的易于定义的类边界。对于对象交互识别的任务,通常使用以自我为中心的观点来捕获,我们表明动词中的语义歧义和识别子交互以及并发交互导致合法的类重叠(图1)。因此,我们的目标是模拟观测和交互类之间的映射,以及类重叠,对一个概率多标签分类器,模仿人类注释。给定包含对象交互的视频片段,我们对可能的动词列表中的动词用于注释该交互的概率进行建模。概率是从众包注释中学习的,并在两个公共数据集上进行测试,包括1405个视频序列,我们为90个动词提供注释。我们在两个数据集上分别比传统的单标签分类高出11%和6%,并表明从注释概率中学习的性能优于多数投票,并能够发现共现标签。
2017-04-21 cs.CV
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota(明尼苏达大学)
本文提出一种与网络架构无关的自视视频关键步骤识别框架,通过将输入稳定为以手部为中心的视频,在Ego-Exo4D细粒度基准上超越现有基线,无需改动底层模型。
2025-06-01 cs.CV
Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning
Shandong University of Science and Technology(山东科技大学)
本文提出细粒度面部深度生成网络与改进的多模态互补特征学习网络,在Lock3DFace和IIIT-D数据集上提升RGB-D人脸识别准确率,达到最先进性能。
2023-05-08 cs.CV
Improving Face Recognition with Large Age Gaps by Learning to Distinguish Children
KAIST AI(韩国科学技术院人工智能研究院);Korea University(高丽大学)
尽管人脸识别技术得到了前所未有的发展,但现有的人脸识别模型在识别儿童和成人图像是否属于同一个身份时,仍然表现出相当低的性能。以前的方法主要集中在增加儿童和成人图像之间的相似性,一个给定的身份,以克服由于年龄增长的面部外观的差异。然而,我们观察到,降低不同身份的儿童图像之间的相似性对于学习儿童之间的不同特征至关重要,从而提高儿童-成人对的人脸识别性能。基于这种直觉,我们提出了一种新的损失函数称为原型间损失,最大限度地减少子图像之间的相似性。与以前的研究不同,原型间损失不需要额外的子图像或训练额外的可学习参数。我们广泛的实验和深入的分析表明,我们的方法优于现有的基线在人脸识别与儿童成人对。我们的代码和新构建的儿童-成人配对测试集可在www.example.com上获得。
2021-10-22 cs.CV
Improving Human Action Recognition by Non-action Classification
Stony Brook University(石溪大学)
在本文中,我们认为,在现实的视频中,人类的行动是由不相关的因素占主导地位的识别人类的行动的任务。我们首先研究删除非动作视频片段的好处,这些片段不描绘任何人类动作。然后,我们学习一个非动作分类器,并使用它来降低不相关视频片段的权重。非动作分类器是使用NATIONAL Thread训练的,NATIONAL Thread是一个具有镜头级注释的数据集,用于人类动作的发生或不发生。非动作分类器可用于以高精度识别非动作镜头,并随后用于提高动作识别系统的性能。
2016-04-22 cs.CV
Improving Facial Attribute Recognition by Group and Graph Learning
The University of Sydney(悉尼大学);Sensetime Group Limited(商汤集团有限公司);Applied Research Center, Tencent PCG(腾讯PCG应用研究中心)
利用属性之间的关系是提高多个面部属性识别的关键挑战。在这项工作中,我们关注两种类型的相关性,即空间和非空间关系。对于空间相关性,我们将具有空间相似性的属性聚集成一个基于部件的组,然后引入组注意学习来生成组注意和基于部件的组特征。另一方面,为了发现非空间关系,我们建立了一个基于组的图相关学习模型,以探索预定义的基于部分的组的亲和力。我们利用这种亲和度信息来控制所有组之间的通信,然后细化学习到的组特征。总的来说,我们提出了一个统一的网络,称为多尺度组和图网络。它结合了这两个新提出的学习策略,并产生粗到细的基于图的组特征,以提高面部属性识别。综合实验表明,我们的方法优于国家的最先进的方法。
2021-05-28 cs.CV
Joint Temporal Pooling for Improving Skeleton-based Action Recognition
University of Wollongong(卧龙岗大学);Advanced Multimedia Research Lab(先进多媒体研究实验室)
针对传统时间池化方法忽略运动信息保留、对所有帧同等处理的问题,本文提出联合运动自适应时间池化JMAP方法及帧级、关节级两种变体,在NTU RGB+D 120与PKU-MDD数据集上验证了其对骨架动作识别的提升效果。
2024-08-18 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems(Cortexica视觉系统公司)
DeepFashion是一个广泛使用的服装数据集,包含50个类别和超过20万张图像,其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别,虽然它提供了全面的注释,但属性分布不平衡且重复,特别是对于训练细粒度属性识别模型。在这项工作中,我们通过分别关注每个类别,为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后,我们删除非常稀缺的属性并合并每个类别中的重复属性,然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别,并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Improving Automatic Emotion Recognition from speech using Rhythm and Temporal feature
Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院);TU Berlin(柏林工业大学)
本文致力于提高自动情感识别语音节奏和时间特征。到目前为止,自动情感识别的研究大多是基于应用特征,如MFCC,音高和能量或强度。该思想着重于从语言和语音分析中借用节奏特征,并仅基于声学知识将其应用于语音信号。除此之外,我们利用一组时间和响度功能。采用分段单元开始分离有声/无声和无声部分,并在不同的段上探索特征。此后,使用不同的分类器进行分类。在使用IGR过滤器选择顶部特征之后,我们能够在柏林情感数据库上实现80.60%的说话人相关框架的识别率。
2013-03-07 cs.CV
On Improving the Generalization of Face Recognition in the Presence of Occlusions
University of Houston(休斯顿大学)
在本文中,我们解决了现有的2D人脸识别方法的一个关键限制:对遮挡的鲁棒性。为了完成这项任务,我们系统地分析了面部属性对最先进的人脸识别方法的性能的影响,并通过大量的实验,定量分析了不同类型的遮挡下的性能下降。我们提出的遮挡感知人脸识别(OREO)方法学习了有区别的面部模板,尽管存在这种遮挡。首先,提出了一种注意力机制来提取局部身份相关区域。然后将局部特征与全局表示聚合以形成单个模板。其次,引入了一种简单而有效的训练策略来平衡非遮挡和遮挡的面部图像。大量的实验表明,OREO提高了(10.17%)的人脸识别的泛化能力下闭塞在一个单一的图像为基础的设置和超过基线约(2%)的rank-1的准确性,在基于图像集的情况下。
2020-06-11 cs.CV
Improving Attention-Based Handwritten Mathematical Expression Recognition with Scale Augmentation and Drop Attention
South China University of Technology(华南理工大学)
手写体数学表达式识别是手写体识别领域的一个重要研究方向。HMER的性能受到数学表达式(ME)的二维结构的影响。为了解决这个问题,在本文中,我们提出了一个高性能的HMER模型与规模增强和下降的注意力。具体来说,解决ME与不稳定的规模在水平和垂直方向上,规模增强提高了模型的性能在各种规模的ME。基于注意力的编码器-解码器网络用于提取特征和生成预测。此外,当解码器的注意力分布不精确时,提出丢弃注意力以进一步提高性能。与以前的方法相比,我们的方法在CROHME 2014和CROHME 2016两个公共数据集上实现了最先进的性能。
2020-07-20 cs.CV
Improving VisNet for Object Recognition
本研究通过改进VisNet模型,结合径向基函数神经元和马氏距离学习,提升对象识别和对称性分类的准确性。
2026-01-07 cs.CV
Improving Heterogeneous Face Recognition with Conditional Adversarial Networks
彩色图像和深度图像之间的异构人脸识别对于其中形状信息被视为仅涉及图库的现实世界应用是非常期望的能力。在本文中,我们提出了一种跨模态深度学习方法,作为应对这一挑战的有效和高效的解决方案。具体来说,我们首先学习两个卷积神经网络(CNN)来分别提取2D和2.5D人脸特征。一旦经过训练,它们可以作为另一个双向CNN的预训练模型,该模型探索颜色和深度之间的相关部分,以进行异构匹配。与大多数传统的交叉模态方法相比,我们的方法还使用条件生成对抗网络(cGAN)从单色图像进行精确的深度图像重建,并通过融合多模态匹配结果进一步提高识别性能。通过在基准FRGC 2D/3D人脸数据库上的定性和定量实验,我们证明了所提出的流水线在异构人脸识别上的性能优于最先进的性能,并确保了一个非常有效的在线阶段。
2017-09-13 cs.CV
Improving Amharic Handwritten Word Recognition Using Auxiliary Task
Arba Minch University(阿尔巴明奇大学);Ministry of Innovation and Technology, Federal Democratic Republic of Ethiopia(埃塞俄比亚联邦民主共和国创新与技术部)
阿姆哈拉语是埃塞俄比亚联邦民主共和国的官方语言之一。它是一种使用源自Gee'z(古代和现在的礼拜语言)的古罗马文字的语言之一。阿姆哈拉语也是埃塞俄比亚最广泛使用的文学语言之一。在阿姆哈拉语光学字符识别(OCR)和阿姆哈拉语手写文本识别方面,创新和定制的研究工作非常有限。在这项研究中,阿姆哈拉语手写字识别将进行调查。最先进的深度学习技术,包括卷积神经网络以及循环神经网络和连接时间分类(CTC)损失,用于以端到端的方式进行识别。更重要的是,一个创新的方式来补充损失函数使用辅助任务从阿姆哈拉字母表的行方向的相似性进行了测试,以显示一个显着的识别改进的基线方法。这些研究结果将促进创新的具体问题的解决方案,以及将开放的洞察力,从具体问题的领域出现的一般性解决方案。
2022-02-25 cs.CV
Improving Human Activity Recognition Through Ranking and Re-ranking
Carnegie Mellon University(卡内基梅隆大学)
我们提出了两个动机良好的排名为基础的方法,以提高当前国家的最先进的人类活动识别系统的性能。首先,作为对经典的功率归一化方法的改进,我们提出了一种无参数的排名技术,称为秩归一化(RaN)。RaN对视频特征的每个维度进行归一化,以解决Fisher Vectors和VLAD的稀疏和突发分布问题。其次,受课程学习的启发,我们引入了一种无需训练的重排序技术,称为多类迭代重排序(MIR)。MIR通过将简单和典型的视频从困难的视频中分离出来,并相应地对分类器的预测分数进行重新排序,来捕获动作类之间的关系。我们证明,我们的方法显着提高了最先进的运动功能的性能在六个真实世界的数据集。
2015-12-11 cs.CV
Global Context for improving recognition of Online Handwritten Mathematical Expressions
Tokyo University of Agriculture and Technology(东京农工大学)
针对在线手写数学表达式中的符号分割、符号识别和关系分类这三个子任务,提出了一种时态分类方法。分类模型由多个符号路径和来自HME的符号关系树(SRT)表示的空间关系来训练。该方法得益于一个深度双向长短期记忆网络的全局上下文,该网络通过连接主义时间分类损失直接从在线手写体中学习时间分类。为了识别一个在线HME,一个符号级的解析树与上下文无关文法的构建,其中的符号和空间关系,从时间分类的结果。我们在两个最新的CROHME数据集上证明了该方法的有效性。
2021-05-21 cs.CV
Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点,我们介绍了新的人在相册(PIPA)数据集,包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸,识别任务是非常具有挑战性的,由于姿势,服装,相机的观点,图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition(PIPER)方法,该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索,以折扣姿态变化,结合面部识别器和全局识别器。在三种不同设置上的实验证实,在我们的无约束设置中,PIPER显着提高了DeepFace的性能,DeepFace是在LFW数据集上测量的最佳人脸识别器之一。
2015-01-30 cs.CV
A Robust and Efficient Method for Improving Accuracy of License Plate Characters Recognition
车牌识别技术在交通监控和停车管理中起着重要的作用。提出了一种基于K近邻(K-NN)分类器的车牌字符识别方法。该系统首先对提取的字符进行轮廓化处理,然后提取字符的角度和距离特征信息,最后利用K-NN分类器进行字符识别。根据字符位图上点的分布,计算出字符的角度和距离特征。在K-NN方法中,计算测试点和参考点之间的欧氏距离,以找到k-最近邻。我们在包含1200个样本的可用数据集上评估了我们的方法。使用70%的样本进行训练,在整个样本上测试我们的方法,获得了99%的正确识别率。此外,我们在1200个数据集上使用三/策略验证技术,平均达到99.41%的准确率。
2014-09-16 cs.CV
Harnessing Unrecognizable Faces for Improving Face Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
作为检测阶段和识别或验证阶段的级联的面部识别系统的常见实现可能导致检测器故障以外的问题。当检测器成功时,它可以检测到无法识别的人脸,无论识别系统的能力如何。因此,可识别性,一个潜在的变量,应考虑到人脸识别系统的设计和实施。我们提出了一个衡量人脸图像可识别性的方法,该方法利用了一个关键的经验观察:人脸图像的嵌入,由一个使用大多数可识别身份训练的深度神经网络实现,诱导超球体的分区,从而无法识别的身份聚集在一起。无论导致面部无法识别的现象如何,都会发生这种情况,这些现象可以是光学或运动模糊、部分遮挡、空间量化、照明不良。因此,我们使用距离这样一个“不可识别的身份”作为可识别性的衡量标准,并将其纳入整个系统的设计。我们表明,考虑可识别性将单图像人脸识别的出错率在IJB-C协变量验证基准上的FAR= 1 e-5处降低了58%,并将IJB-C基准上基于集合的识别中的验证出错率在FAR= 1 e-5处降低了24%。
2021-09-14 cs.CV
You Can Run but not Hide: Improving Gait Recognition with Intrinsic Occlusion Type Awareness
Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对步态识别中的遮挡问题,提出一种遮挡感知方法,通过利用学习到的遮挡类型增强现有步态识别模型,并在 GREW 和 BRIAR 数据集上验证了其有效性。
2023-12-04 cs.CV
Improving Facial Emotion Recognition through Dataset Merging and Balanced Training Strategies
MEF University,Department of Electrical and Electronics Engineering(MEF大学电子与电气工程系)
本文提出基于深度卷积网络的面部情绪识别框架,通过合并三个公开数据集缓解数据不平衡问题,提升模型泛化能力与鲁棒性,实验显示在七种基本情绪识别中达到82%准确率。
2026-04-22 cs.CV
Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters
Aibee Inc.(爱笔智能有限公司)
联邦学习(FL)范式可以极大地解决公众对人脸识别中数据隐私的日益关注。然而,由于任务的独特性,传统的FL方法表现不佳:在客户端之间广播类中心对于识别性能至关重要,但会导致隐私泄露。为了解决隐私-效用悖论,本文提出了PrivacyFace,一个框架,通过在客户端之间传递辅助和隐私不可知信息,大大提高了联邦学习人脸识别。PrivacyFace主要由两部分组成:第一,提出了一种实用的差分私有局部聚类(DPLC)机制,从局部类中心提取消毒簇。第二,共识意识的识别损失随后鼓励客户之间的全球共识,因此导致更多的歧视性特征。从数学上证明,所提出的框架具有差异化的私有性,引入了轻量级的开销,并产生了显着的性能提升(IJB-B和IJB-C上TAR@FAR= 1 e-4的\textit{e.g.},分别为+9.63\%和+10.26\%)。大量的实验和大规模数据集上的消融研究证明了我们的方法的有效性和实用性。
2022-01-29 cs.CV
Improving Shadow Suppression for Illumination Robust Face Recognition
Ecole Centrale de Lyon(里昂中央理工学院);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
2D人脸分析技术,如人脸地标,人脸识别和人脸验证,是合理地依赖于照明条件,通常是不受控制的和不可预测的,在现实世界中。因此,照明鲁棒的预处理方法仍然是可靠的人脸分析的一个重大挑战。本文提出了一种改进光照归一化的新方法,通过建立反映皮肤表面、光源和摄像机传感器之间相互作用的反射率模型,详细阐述了人脸颜色外观的形成过程。具体地,所提出的照明处理流水线使得能够在对数色度空间中生成色度本征图像(CII),其对照明变化是鲁棒的。此外,作为最流行的方法的优点,照片逼真的彩色人脸图像随后重建,消除了各种各样的阴影,同时保留的颜色信息和身份的细节。在不同场景和不同人脸数据库下的实验结果表明,该方法在处理光照变化(包括软硬阴影)的人脸识别中是有效的。
2017-10-13 cs.CV
Improving Structured Text Recognition with Regular Expression Biasing
Microsoft(微软)
我们研究识别结构化文本,即遵循某些格式的文本的问题,并建议通过指定正则表达式(regexes)的偏见,以提高结构化文本的识别精度。有偏识别器识别与指定正则表达式匹配的文本,其准确性显著提高,但对其他文本的影响通常很小。偏置是通过将正则表达式建模为一个加权状态转换器(WFST)并通过动态替换将其注入解码器来实现的。单个超参数控制偏置强度。该方法对于识别具有已知格式或包含来自领域词汇表的单词的文本行是有用的。例子包括驾驶执照号码,处方中的药物名称等,我们证明了正则表达式的打印和手写结构化文本的数据集上的偏见的疗效,并衡量其副作用。
2021-11-10 cs.CV
Improving Point Cloud Based Place Recognition with Ranking-based Loss and Large Batch Training
Warsaw University of Technology(华沙理工大学)
本文提出了一种简单有效的基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。最近的最先进的方法具有相对复杂的架构,例如与特征聚合模块的金字塔相结合的点Transformers的多尺度金字塔。我们的方法使用一个简单而有效的3D卷积特征提取,基于稀疏体素化表示,增强与通道注意块。我们采用图像检索的最新进展,并提出了一个修改后的版本的损失函数的基础上可微的平均精度近似。这种损失函数需要以非常大的批量进行训练以获得最佳结果。这是通过使用多级反向传播实现的。在流行的基准测试上的实验评估证明了我们的方法的有效性,与最先进的状态一致的改进
2022-04-07 cs.CV
Improving Word Recognition using Multiple Hypotheses and Deep Embeddings
CVIT, IIIT(国际信息技术研究所计算机视觉与图像技术中心)
我们提出了一种新的方案,提高单词识别的准确性,使用单词图像嵌入。我们使用一个经过训练的文本识别器,它可以预测多个文本假设一个给定的词图像。我们的融合方案提高了识别过程中,利用词图像和文本嵌入从一个训练有素的词图像嵌入网络。我们提出了EmbedNet,它使用三重损失进行训练,以学习合适的嵌入空间,其中单词图像的嵌入更接近于相应文本转录的嵌入。因此,更新的嵌入空间有助于选择具有更高置信度的正确预测。为了进一步提高准确性,我们提出了一个即插即用的模块,称为基于信心的准确性助推器(CAB)。CAB模块采用从文本识别器获得的置信度分数和嵌入之间的欧几里得距离来生成更新的距离向量。更新后的距离向量对于正确的单词具有较低的距离值,而对于不正确的单词具有较高的距离值。我们严格评估我们提出的方法系统地收集在印地语的书籍。我们的方法在单词识别准确率方面实现了约10%的绝对提高。
2020-10-27 cs.CV
Improving Performance of Object Detection using the Mechanisms of Visual Recognition in Humans
The Berkeley Institute for Data Science(伯克利数据科学研究所)
物体识别系统通常在高分辨率图像上进行训练和评估。然而,在现实世界的应用中,图像通常具有低分辨率或具有小尺寸。在这项研究中,我们首先跟踪最先进的深度对象识别网络Faster- RCNN的性能,作为图像分辨率的函数。结果表明,低分辨率图像对识别性能的负面影响。不同的空间频率在识别过程中传达了不同的信息。这意味着多分辨率识别系统可以更好地了解特征的最佳选择,从而更好地识别物体。这类似于人类视觉系统的机制,能够同时实现视觉场景的多尺度表示。然后,我们提出了一个多分辨率的对象识别框架,而不是一个单一的分辨率网络。该框架在PASCAL VOC 2007数据库上进行了评估。实验结果表明,我们的自适应多分辨率Faster-RCNN框架在各种分辨率的输入图像上的性能优于单分辨率Faster-RCNN,所有分辨率的平均精度(mAP)增加了9.14%,全光谱图像增加了1.2%。此外,所提出的模型在很宽的空间频率范围内产生的性能的鲁棒性。
2023-03-14 cs.CV
Pattern Generation Strategies for Improving Recognition of Handwritten Mathematical Expressions
手写数学表达式的识别是一个具有挑战性的问题,因为二维手写体的模糊性和复杂性。此外,缺乏大的训练数据是一个严重的问题,特别是对于学术识别系统。在本文中,我们提出了模式生成策略,生成形状和结构的变化,以提高识别系统的性能的基础上一个小的训练集。对于数据生成,我们使用公共数据库:CROHME 2014和2016在线HME。第一种策略采用局部和全局变形来产生形状变化。第二种策略将在线HME分解为子在线HME以获得更多的结构变化。混合策略结合了这两种策略,以最大限度地提高形状和结构的变化。所生成的在线HME被转换为用于离线HME识别的图像。我们在一个端到端识别系统中测试了我们的策略,该系统是由最近的深度学习模型构建的:卷积神经网络和基于注意力的编码器-解码器。在CROHME 2014和2016数据库上的实验结果证明了我们的策略的优越性和有效性:我们的混合策略在这些数据库上分别实现了48.78%和45.60%的分类率。这些结果是有竞争力的相比,在最近的文献报道。我们生成的数据集可供研究界公开使用,并为未来的HME识别研究提供了有用的资源。
2019-01-21 cs.CV
Towards Improving Spatiotemporal Action Recognition in Videos
Carnegie Mellon University(卡内基梅隆大学)
时空动作识别处理视频中动作的定位和分类。受最新的实时对象检测器You Only Watch Once(YOWO)的启发,我们的目标是修改其结构,以提高动作检测精度并减少计算时间。具体来说,我们提出了四种新的方法,试图改善YOWO和解决不平衡的类视频的问题,通过修改的损失函数。我们考虑两个中等大小的数据集来应用我们对YOWO的修改-流行的关节注释人体运动数据库(J-HMDB-21)和由卡内基梅隆大学的初创公司Agot. AI提供的餐厅视频片段的私人数据集。后者涉及小对象的快速移动动作以及不平衡的数据类,使得动作本地化任务更具挑战性。我们在GitHub存储库https://github.com/stoneMo/YOWOv2中实现了我们提出的方法。
2020-12-15 cs.CV
Improving the Multi-label Atomic Activity Recognition by Robust Visual Feature and Advanced Attention @ ROAD++ Atomic Activity Recognition 2024
Intelligent Perception and Image Understanding Lab(智能感知与图像理解实验室)
本文针对 Road++ Track3 多标签原子活动识别任务,通过优化数据处理、引入多种视觉骨干网络与 action-slot 模型并进行加权融合,将测试集 mAP 提升至 58%,较基线提高 4%。
2024-10-21 cs.CV
An Approach for Improving Automatic Mouth Emotion Recognition
University of Florence(佛罗伦萨大学);University of Perugia(佩鲁贾大学);Sapienza University of Rome(罗马第一大学)
该研究提出并测试了一种通过卷积神经网络(CNN)进行嘴部检测的自动情绪识别技术,旨在应用于支持具有沟通技能问题(例如肌肉萎缩,中风,自闭症,或者更简单地说,疼痛)的健康障碍患者,以识别情绪并生成实时反馈或数据馈送支持系统。软件系统开始计算,识别所获取的图像上是否存在面部,然后查找嘴部位置并提取相应的特征。这两个任务都是使用基于Haar分类器的分类器执行的,这保证了快速执行和有前途的性能。如果我们以前的工作集中在视觉微表情对单个用户的个性化训练,这种策略的目的是训练系统也广义的人脸数据集。
2022-12-12 cs.CV
Use Your Head: Improving Long-Tail Video Recognition
University of Bristol(布里斯托大学)
本文指出现有视频基准缺乏少样本尾部类别,为此提出新基准及Long-Tail Mixed Reconstruction方法,通过重构少样本实例并混合标签学习决策边界,在多个数据集上达到最先进水平。
2023-04-03 cs.CV
Exploring Factors for Improving Low Resolution Face Recognition
ITU(伊斯坦布尔技术大学);EPFL(洛桑联邦理工学院)
最先进的深度人脸识别方法在流行的基准测试中报告了近乎完美的性能,例如,《荒野中的脸》然而,当它们应用于低质量图像时,例如由监控摄像机获取的图像,它们的性能显着恶化。用于监控应用的低分辨率面部识别的另一个挑战是将记录的低分辨率探头面部图像与高分辨率参考图像进行匹配,这可能是监视列表场景中的情况。在本文中,我们已经解决了这些问题,并研究了在不匹配条件下应用于低分辨率人脸识别时,影响最先进的深度人脸识别模型识别性能的因素。我们已经观察到以下因素以积极的方式影响性能:训练数据集的外观变化和分辨率分布,图库和探测图像之间的分辨率匹配,以及探测图像中包含的信息量。通过利用这些信息,我们利用了在MS-Celeb-1 M上训练的深度人脸模型,并在VGGFace 2数据集上进行了微调,并在SCFace和ICB-RW基准测试中实现了最先进的精度,即使没有使用这些基准测试数据集的任何训练数据。
2019-07-25 cs.CV
Improving Calibration for Long-Tailed Recognition
Chinese University of Hong Kong(香港中文大学);SmartMore
当训练数据集严重类别不平衡时,深度神经网络可能表现不佳。最近,两阶段方法解耦表示学习和分类器学习,以提高性能。但仍然有一个至关重要的问题,即校准错误。为了解决这个问题,我们设计了两种方法来提高这种情况下的校准和性能。由于类的预测概率分布与类实例的数量高度相关,我们提出了标签感知平滑来处理类的不同程度的过度自信,并改善分类器学习。对于这两个阶段之间的数据集偏差,由于不同的采样器,我们进一步提出了移位批量归一化的解耦框架。我们提出的方法在多个流行的长尾识别基准数据集上创造了新的记录,包括CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT和iNaturalist 2018。代码将在https://github.com/Jia-Research-Lab/MiSLAS上提供。
2021-04-01 cs.CV
Quadruplet Loss For Improving the Robustness to Face Morphing Attacks
本文提出一种新颖的四元组损失函数,通过特定采样人脸四元组并结合变形图像训练网络,有效提升人脸识别系统对变形攻击的鲁棒性。
2024-02-22 cs.CV
High Five: Improving Gesture Recognition by Embracing Uncertainty
The Pennsylvania State University(宾夕法尼亚州立大学);Cornell University(康奈尔大学);Microsoft Research(微软研究院);Google Research(谷歌研究院)
移动设备上的传感器-加速计、陀螺仪、压力计和GPS-在手势识别、游戏和健身跟踪方面有着新的应用。然而,对它们进行编程仍然具有挑战性,因为传感器捕获的人类手势是嘈杂的。本文阐述了噪声手势降低训练和分类精度的手势识别在国家的最先进的确定性隐马尔可夫模型(HMM)。我们引入了一种新的统计量化方法,通过(1)在训练过程中,为手势序列生成特定于手势的码本、Hacker和错误模型;以及(2)在分类过程中,利用错误模型来探索多个可行的HMM状态序列来缓解这些问题。我们在Uncertain中实现了分类<t>,Uncertain是一个概率编程系统,它封装了障碍和错误模型,然后在运行时自动进行采样和推理。不确定<T>的开发人员直接表达了在手势识别时,而不是在训练时,在召回和精度之间的应用程序特定的权衡选择。我们展示了在可配置性,精度,召回率和识别两个数据集的25个手势,从28人和4200个手势。在建模中更准确地消除手势错误将20个手势的平均识别率从先前工作的34%提高到62%。在分类过程中对错误模型进行简化,进一步将平均手势识别率提高到71%。据我们所知,没有先前的工作表明如何在训练期间生成HMM错误模型并使用它来提高分类率。
2017-10-25 cs.CV
Stacked Temporal Attention: Improving First-person Action Recognition by Emphasizing Discriminative Clips
第一人称动作识别是视频理解中一个具有挑战性的课题。由于强烈的自我运动和有限的视野,第一人称视频中的许多背景或噪声帧可以在其学习过程中分散动作识别模型的注意力。为了编码更具区分性的特征,模型需要能够专注于视频中最相关的部分以进行动作识别。以前的工作探索,以解决这个问题,通过应用时间注意,但没有考虑到整个视频的全局上下文,这是确定相对重要的部分是至关重要的。在这项工作中,我们提出了一个简单而有效的堆叠时间注意力模块(STAM)来计算时间注意力的基础上,强调最具歧视性的功能的全球知识的剪辑。我们通过堆叠多个自我注意层来实现这一点。而不是天真的堆叠,这是实验证明是无效的,我们仔细设计的输入到每个自我注意力层,以便在生成时间注意力权重的过程中考虑视频的局部和全局上下文。实验表明,我们提出的STAM可以建立在大多数现有的骨干之上,并提高各种数据集的性能。
2021-12-02 cs.CV
Improving the JPEG-resistance of Adversarial Attacks on Face Recognition by Interpolation Smoothing
Huazhong University of Science and Technology(华中科技大学)
针对 JPEG 压缩削弱人脸识别对抗样本的问题,提出在迭代攻击中通过缩小与恢复插值平滑扰动、抑制高频信号,从而提升对抗样本的 JPEG 抗性。
2024-02-26 cs.CV
Improving Object Detection and Attribute Recognition by Feature Entanglement Reduction
University of Southern California(南加州大学)
我们探索目标检测与两个属性:颜色和材料。该任务旨在同时检测物体并推断其颜色和材料。一种直接的方法是在通常的目标检测管道的最后添加属性头。然而,我们观察到这两个目标是冲突的:目标检测应该是属性无关的,属性在很大程度上是对象无关的。由标准检测网络计算的特征纠缠类别和属性特征;我们通过使用双流模型来解开它们,其中类别和属性特征是独立计算的,但分类头共享感兴趣区域(ROI)。与传统的单流模型相比,我们的模型在监督和属性转移任务上都比VG-20(Visual Genome的一个子集)有显着的改进。
2021-08-25 cs.CV
Understanding and Improving Deep Neural Network for Activity Recognition
Harbin Institute of Technology(哈尔滨工业大学)
行为识别是近年来普适计算领域的一个研究热点。通过大量的实验可以得出基于活动传感器的数据在活动识别中的特点是多样性、数量和速度。深度学习技术及其各种模型是处理活动数据的最有效方法之一。然而,人们并不清楚它为什么表现如此出色,也不清楚如何使它更有效。为了解决这个问题,首先,我们将卷积神经网络应用于智能手机数据集的人体活动识别。其次,实现了从神经网络中提取的基于传感器活动的数据特征的可视化。然后对特征的可视化进行了深入的分析,探讨了活动与特征之间的关系,并分析了神经网络如何根据这些特征识别活动。之后,我们提取了与活动相关的重要特征,并将这些特征发送到基于DNN的融合模型,从而将分类率提高到96.1%。据我们所知,这是第一个可视化抽象的基于传感器的活动数据特征的工作。实验结果表明,本文提出的方法有望实现基于传感器的活动识别的准确分类。
2018-05-18 cs.CV
TL-GAN: Improving Traffic Light Recognition via Data Synthesis for Autonomous Driving
Shandong University(山东大学);QCraft
交通灯识别作为自动驾驶汽车感知模块的关键组成部分,在智能交通系统中起着至关重要的作用。目前流行的基于深度学习的交通灯识别方法在很大程度上依赖于训练数据的大量性和丰富多样性。然而,在诸如闪光、停电或极端天气等各种罕见场景下收集数据是相当具有挑战性的,从而导致训练数据的不平衡分布,从而降低了识别罕见类别的性能。在本文中,我们试图提高交通灯识别利用数据合成。受生成对抗网络(GANs)的启发,提出了一种新的交通灯生成方法TL-GAN,用于合成稀有类数据,以提高自动驾驶中的交通灯识别能力。TL-GAN将交通信号灯序列生成分解为图像合成和序列拼接两部分。在图像合成阶段,我们的方法使有条件的生成,以允许完全控制所生成的交通灯图像的颜色。在序列拼接阶段,我们设计了风格混合和自适应模板,合成了逼真多样的交通灯序列。大量的实验表明,所提出的TL-GAN在不使用生成的数据的情况下对基线进行了显着的改进,与用于一般图像合成和数据不平衡处理的竞争算法相比,其性能达到了最先进的水平。
2022-03-28 cs.CV
Improving Landmark Recognition using Saliency detection and Feature classification
Delhi Technological University(德里理工大学)
图像地标识别是视觉和感知领域最受欢迎的分类挑战之一。经过这么多年的建筑物和纪念碑的一般分类从图像,人们现在专注于细粒度的问题-认识到每一个建筑物或纪念碑的类别。我们提出了一个集成网络的目的,印度地标图像的分类。为此,我们的方法通过将基于图形的视觉显着性(GBVS)网络的预测与监督的基于特征的分类算法(如kNN和随机森林)相结合来提供强大的分类。最后的架构是所有提到的网络的自适应学习。建议的网络产生一个可靠的分数,以消除虚假类别的情况下。我们的模型的评估是在一个新的数据集上完成的,这涉及到诸如地标混乱、可变缩放、部分遮挡等挑战。
2018-11-30 cs.CV
TetraLoss: Improving the Robustness of Face Recognition against Morphing Attacks
Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出TetraLoss损失函数,通过在人脸识别嵌入空间中分离变形图像与其来源主体,在保持高验证性能的同时显著提升系统对变形攻击的鲁棒性,并优于现有基线方法。
2024-12-29 cs.CV
Improving Visual Recognition using Ambient Sound for Supervision
New York University(纽约大学)
我们的大脑将视觉和听觉结合起来,创造出对世界更精细的解释。当视觉输入不足时,丰富的声音可以用来描述我们的周围环境。由于每天有超过1,000小时的视频上传到互联网上,因此手动注释这些视频即使不是不可能,也是非常困难的。因此,将音频与没有注释的视觉数据结合起来,对于利用这种数据爆炸来识别和理解对象和场景至关重要。Owens等人提出,通过使用卷积神经网络来预测与给定视频帧相关联的声音纹理,可以学习物理世界的丰富表示。我们试图从他们的实验中复制这些声明,其中的代码是不可公开的。此外,我们提出了改进的借口任务,导致在其他下游计算机视觉任务的性能更好。
2019-12-25 cs.CV
Improving Continuous Sign Language Recognition with Cross-Lingual Signs
Microsoft Research Asia(微软亚洲研究院)
针对连续手语识别数据稀缺问题,提出利用跨语言手语作为辅助训练数据的方法,通过构建手语词典、建立跨语种手语映射提升识别性能,在两个常用数据集上达到当前最优水平。
2023-08-21 cs.CV
Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022
Huawei(华为);McMaster University(麦克马斯特大学);University of Manitoba(曼尼托巴大学)
在这项工作中,我们提出了ORBIT Few-Shot视频对象识别挑战赛2022的获奖解决方案。建立在ProtoNet基线,我们的方法的性能提高了三个有效的技术。这些技术包括嵌入自适应、视频片段统一采样和无效帧检测。此外,我们重新构建和重新实现了官方代码库,以鼓励模块化,兼容性和提高性能。我们的实现加速了训练和测试中的数据加载。
2022-10-01 cs.CV cs.LG
Improving Place Recognition Using Dynamic Object Detection
Intel Corporation(英特尔公司);Alma College(阿尔玛学院)
我们提出了一种新的方法来放置识别非常适合于环境中有许多动态对象-对象,可能会或可能不会出现在代理的后续访问。通过将对象检测预处理步骤,我们的方法产生高质量的地方表示,将对象信息。这不仅导致在动态环境中显着改善的地方识别,它也显着降低内存/存储的要求,这可能会增加移动代理的有效性与有限的资源。
2020-06-12 cs.CV cs.RO eess.IV
A Personalized Affective Memory Neural Model for Improving Emotion Recognition
University of Hamburg(汉堡大学);Apprente Inc(Apprente公司)
最近的情感识别模型强烈依赖于有监督的深度学习解决方案来区分一般的情感表达。然而,当识别在线和个性化的面部表情时,它们并不可靠,例如,对个人情感的理解。在本文中,我们提出了一个基于条件对抗自动编码器的神经模型,以学习如何表示和编辑一般的情感表达。然后,我们提出Grow-When-Required网络作为个性化的情感记忆来学习情感表达的个性化方面。在\textit{in-the-wild}数据集上进行评估时,我们的模型在情感识别方面达到了最先进的性能。此外,我们的实验包括消融研究和神经可视化,以解释我们的模型的行为。
2020-05-31 cs.AI cs.CV
Improving Sign Recognition with Phonology
University of Southern California(南加州大学);San Diego State University(圣地亚哥州立大学)
我们使用美国手语(ASL)语音学研究的见解,训练模型孤立的手语识别(ISLR),自动手语语言理解的一步。我们的主要观点是明确认识到音系学在手语制作中的作用,以实现比现有工作更准确的ISLR,不考虑手语音系学。我们训练ISLR模型,该模型采用对产生单个符号的签名者的姿势估计,不仅预测该符号,还预测其语音特征,例如手形。这些辅助预测在WLASL基准测试中导致了近9%的符号识别准确性的绝对增益,并且无论底层预测模型架构如何,ISLR都得到了一致的改进。这项工作有可能加速手语领域的语言学研究,减少聋人和听力正常人之间的沟通障碍。
2023-02-11 cs.CL cs.CV
Improving Food Image Recognition with Noisy Vision Transformer
University of Alabama(阿拉巴马大学)
本研究提出利用带噪声视觉Transformer(NoisyViT)改进食物图像识别,在三个基准数据集上显著提升分类准确率,展示了其在饮食评估和营养监测中的潜力。
2025-03-24 cs.CV eess.IV
Chosen methods of improving small object recognition with weak recognizable features
Institute of Computer Science(计算机科学研究所);AGH University of Science and Technology(AGH科技大学);Institute of Electronics(电子研究所)
许多目标检测模型都在与小目标检测的几个问题方面作斗争,包括样本数量少、缺乏多样性和低特征表示。考虑到GANs属于生成模型类,它们的初始目标是学习模仿任何数据分布。使用适当的GAN模型将能够增强低精度数据,增加它们的数量和多样性。该解决方案可能导致改进的目标检测结果。此外,在深度学习模型中引入基于GAN的架构可以提高小物体识别的准确性。在这项工作中,提出了基于GAN的增强方法来改进VOC Pascal数据集上的小目标检测。该方法与不同的流行的增强策略,如对象旋转,移位等进行了比较。实验是基于FasterRCNN模型。
2022-09-02 cs.AI cs.CV