Mining Discriminative Food Regions for Accurate Food Recognition
The Hamlyn Centre(哈姆林中心);Imperial College London(帝国理工学院);Department of Computing(计算系)
自动食物识别是被动饮食监测的第一步。在本文中,我们解决的问题,通过挖掘判别食品区域的食品识别。从对抗性擦除的启发,逐步发现歧视性的对象区域的弱监督语义分割的策略,我们提出了一种新的网络架构,其中一个主要的网络保持分类输入图像的基本准确性,辅助网络对抗性地挖掘歧视性的食物区域,和区域网络分类产生的挖掘区域。然后将全局(原始输入图像)和局部(挖掘区域)表示集成以进行最终预测。所提出的架构表示为PAR-Net是端到端可训练的,并以在线方式突出区分区域。此外,我们还引入了一个新的细粒度食物数据集Sushi-50,它由50个不同的寿司类别组成。已经进行了大量的实验来评估所提出的方法。在选择的三个食物数据集(Food-101,Vireo-172和Sushi-50)上,与其他现有方法相比,我们的方法表现一致,并达到了最先进的结果(分别为$90.4\%$,$90.2\%$,$92.0\%$的前1测试精度)。数据集和代码可在https://github.com/Jianing-Qiu/PARNet上获得
2022-07-08 cs.CV
Object Recognition System on a Tactile Device for Visually Impaired
USTHB University(USTHB大学)
本文提出一种面向视障人士的触觉设备系统,通过在 Raspberry Pi 上部署物体检测模型,将触觉位置对应的视觉信息转换为听觉反馈,实现静态、动态物体及屏幕内容的场景理解。
2023-07-05 cs.CV
Block-wise Scrambled Image Recognition Using Adaptation Network
Waseda University(早稻田大学);The National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在这项研究中,一个感知隐藏的对象识别方法进行了研究,以产生安全的图像可识别的人类,但不是机器。因此,感知信息隐藏和相应的目标识别方法都需要发展。分块图像置乱被引入来隐藏第三方的感知信息。此外,提出了一种自适应网络来识别这些置乱图像。使用CIFAR数据集进行的实验比较表明,所提出的自适应网络在将简单的感知信息隐藏到基于DNN的图像分类中表现良好。
2020-01-21 cs.CV cs.LG eess.IV
Sign language recognition based on deep learning and low-cost handcrafted descriptors
São Paulo State University(圣保罗州立大学)
针对现有手语识别系统计算成本高、落地难的问题,本研究结合低成本传感器与深度学习,提出基于边界框质心空间信息的手工特征方法,在AUTSL数据集上准确率提升7.96%,兼顾了准确率与计算效率。
2024-08-14 cs.CV
Enabling My Robot To Play Pictionary : Recurrent Neural Networks For Sketch Recognition
Indian Institute of Science(印度科学理工学院)
手绘草图是一个固有的顺序过程。然而,大多数手绘草图识别方法要么忽略了这个顺序方面,要么利用它在一个特设的方式。在我们的工作中,我们提出了一个递归神经网络架构的草图对象识别,利用长期的顺序和结构的笔画数据在一个可扩展的方式。具体来说,我们引入了一个基于门控递归单元的框架,该框架利用深度草图功能和加权的每时步损失,在大量对象类别的大型手绘对象草图数据库上实现最先进的结果。我们的框架固有的在线性质特别适合在绘制对象时进行动态识别。因此,我们的框架可以使有趣的应用程序,如配备摄像头的机器人玩流行的聚会游戏Pictionary与人类玩家和生成稀疏但可识别的草图的对象。
2016-08-11 cs.CV
Harnessing Unrecognizable Faces for Improving Face Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
作为检测阶段和识别或验证阶段的级联的面部识别系统的常见实现可能导致检测器故障以外的问题。当检测器成功时,它可以检测到无法识别的人脸,无论识别系统的能力如何。因此,可识别性,一个潜在的变量,应考虑到人脸识别系统的设计和实施。我们提出了一个衡量人脸图像可识别性的方法,该方法利用了一个关键的经验观察:人脸图像的嵌入,由一个使用大多数可识别身份训练的深度神经网络实现,诱导超球体的分区,从而无法识别的身份聚集在一起。无论导致面部无法识别的现象如何,都会发生这种情况,这些现象可以是光学或运动模糊、部分遮挡、空间量化、照明不良。因此,我们使用距离这样一个“不可识别的身份”作为可识别性的衡量标准,并将其纳入整个系统的设计。我们表明,考虑可识别性将单图像人脸识别的出错率在IJB-C协变量验证基准上的FAR= 1 e-5处降低了58%,并将IJB-C基准上基于集合的识别中的验证出错率在FAR= 1 e-5处降低了24%。
2021-09-14 cs.CV
What takes the brain so long: Object recognition at the level of minimal images develops for up to seconds of presentation time
The College of Management Academic Studies(管理学术学院);The Weizmann Institute of Science(魏茨曼科学研究所)
丰富的经验证据表明,在大脑中的视觉对象识别是快速和毫不费力的,与相关的大脑信号报告早在80毫秒开始。在这里,我们研究的时间轨迹的识别过程中的最小可识别的图像(称为MIRC)的水平。这些是可以可靠地识别的图像,但是其中图像的微小变化(尺寸或分辨率的减小)对识别具有显著影响。受试者被分配到九个暴露条件之一:200,500,1000,2000 ms,有或没有掩蔽,以及无限的时间。受试者在陈述后没有时间限制。结果表明,在掩蔽条件下,识别率在延长的时间段内逐渐发展,例如,200 ms曝光的平均值为18%,500 ms曝光的平均值为45%,随着曝光时间的延长,甚至超过2秒,识别率显著增加。当呈现不限时间(直到响应)时,MIRC识别率相当于呈现50 ms全对象图像然后掩蔽的比率。为什么大脑需要这么长时间才能识别这些图像?我们讨论了为什么涉及眼动,知觉决策和模式完成的过程是不可能的解释。或者,我们假设MIRC识别需要一个扩展的自上而下的过程来补充前馈阶段。
2020-06-09 cs.AI cs.CV q-bio.NC
Real-Time Object Detection and Recognition on Low-Compute Humanoid Robots using Deep Learning
Robotics and Artificial Intelligence Laboratory at the Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院机器人与人工智能实验室);Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院)
我们设想,在不久的将来,人形机器人将共享家庭空间,并通过对象操作来帮助我们进行日常和常规活动。需要为机器人开发的基本技术之一是使它们能够检测物体并识别它们以进行有效的操作,并对涉及这些物体的物体做出实时的【形】决策。在本文中,我们描述了一种新的架构,使多个低计算NAO机器人执行实时的【形】检测,识别和定位的对象在其相机视图,并采取可编程的行动的基础上检测到的对象。所提出的目标检测和定位算法是YOLOv3的经验修改,基于多场景的室内实验,具有更小的权重大小和更少的计算需求。权重的量化和重新调整卷积的滤波器大小和层安排改善了机器人相机馈送的低分辨率图像的推理时间。YOLOv3是在对限界框算法进行比较研究后选择的,目的是选择一种在信息保留、低推理时间和高精度之间取得完美平衡的算法,以实现实时的【形】目标检测和定位。该架构还包括一个有效的端到端流水线,用于将实时的【形】帧从相机馈送到神经网络,并使用其结果来指导机器人执行与检测到的类标签相对应的可定制动作。
2020-01-20 cs.CV cs.LG cs.RO
Towards End-to-End Training of Automatic Speech Recognition for Nigerian Pidgin
本文针对尼日利亚皮钦英语开发端到端语音识别系统,评估多种预训练架构,发现Wav2Vec2 XLSR-53最优(WER 29.6%),并通过适应微调大幅降低错误率,公开数据集和模型以促进资源匮乏语言研究。
2025-05-26 cs.AI cs.CL cs.LG
Look One and More: Distilling Hybrid Order Relational Knowledge for Cross-Resolution Image Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Beijing Electronic Science and Technology Institute(北京电子科技学院);CloudWalk Technology Co., Ltd(云从科技股份有限公司)
本文提出三流式混合阶关系知识蒸馏框架,借助教师与助手流引导低分辨率学生模型保留多阶结构相似性,提升跨分辨率识别性能。
2024-09-09 cs.AI cs.CV cs.MM
Defensive Patches for Robust Recognition in the Physical World
JD Explore Academy(京东探索研究院);Beihang University(北京航空航天大学)
为了在现实世界的高风险环境中运行,深度学习系统必须忍受不断破坏其鲁棒性的噪声。数据端防御通过对输入数据的操作而不是修改模型来提高鲁棒性,由于其在实践中的可行性而受到广泛关注。然而,以前的数据端防御对不同的噪声表现出较低的泛化能力,并且在多个模型之间的可移植性较弱。由于鲁棒识别依赖于局部和全局特征,我们提出了一个防御性补丁生成框架,通过帮助模型更好地利用这些特征来解决这些问题。对于不同噪声的泛化,我们将类特定的可识别模式注入到受限的局部补丁先验中,使得防御补丁可以保留更多的对特定类的可识别特征,从而使模型在噪声下具有更好的识别能力。对于跨模型的可移植性,我们引导防御补丁捕获类内更多的全局特征相关性,以便它们可以激活模型共享的全局感知并在模型之间更好地转移。我们的防御补丁显示出很大的潜力,以提高应用程序的鲁棒性,在实践中,简单地坚持他们周围的目标对象。大量实验表明,我们的表现大幅优于其他人(在数字和物理世界中,对抗性和腐败鲁棒性的准确性平均提高了20+\%)。我们的代码可在https://github.com/nlsde-safety-team/DefensivePatch上获得
2022-04-13 cs.CV
TAL EmotioNet Challenge 2020 Rethinking the Model Chosen Problem in Multi-Task Learning
TAL Education Group(好未来教育集团)
本文介绍了我们对2020年网络挑战赛的方法。我们将AU识别问题作为一个多任务学习问题,其中非刚性面部肌肉运动(主要是前17个AU)和刚性头部运动(最后6个AU)分别建模。研究了表情特征和头部姿态特征的共现性。我们观察到不同的AU以不同的速度收敛。通过为每个AU选择最佳检查点,提高了识别结果。我们能够在验证集中获得0.746的最终得分,在挑战的测试集中获得0.7306的最终得分。
2020-04-21 cs.CV
Minimal Images in Deep Neural Networks: Fragile Object Recognition in Natural Images
Center for Brains, Minds, and Machines (CBMM)(脑、心智与机器中心(CBMM));Massachusetts Institute of Technology(麻省理工学院);Children’s Hospital, Harvard Medical School(哈佛医学院儿童医院)
当物体没有完全显示出来时,人类识别物体的能力就会受到损害。“最小图像”是图像中人类可识别的最小区域。Ullman等人2016年的研究表明,对最小图像可见区域的位置和大小进行轻微修改会导致人类识别准确性急剧下降。在本文中,我们证明了由于可见区域的变化而导致的准确性下降是人类和现有最先进的深度神经网络(DNN)之间的常见现象,并且在DNN中更为突出。我们发现,在许多情况下,DNN对一个区域的分类是正确的,而对另一个区域的分类是错误的,尽管它们只相差一行或一列像素,而且通常比人类平均最小图像尺寸大。我们表明,这种现象是独立于以前的作品,已报告缺乏不变性的DNN中的对象位置的微小修改。因此,我们的研究结果揭示了DNN的一种新的故障模式,这种模式对人类的影响要小得多。他们揭示了DNN对自然图像的识别能力是多么脆弱,即使没有引入对抗模式。将自然图像中DNN的鲁棒性带到人类水平仍然是社区面临的一个公开挑战。
2019-02-08 cs.CV eess.IV
Recognizability Embedding Enhancement for Very Low-Resolution Face Recognition and Quality Estimation
Yonsei University(延世大学);Institute for Basic Science(基础科学研究院)
针对极低分辨率人脸识别,本文提出可识别性指数、指数偏移损失和可感知性注意力,以端到端方式增强嵌入并同时估计人脸质量,且在三个低分辨率数据集上优于现有方法。
2023-04-20 cs.CV
Human and Machine Action Prediction Independent of Object Information
University of Göttingen(哥廷根大学);University of Münster(明斯特大学);Vytautas Magnus University(维陶塔斯·马格努斯大学)
预测他人的行为是成功的社会互动的关键,使我们能够根据他人未来行为的后果调整自己的行为。关于动作识别的研究集中在动作中涉及的物体的个体视觉特征及其上下文的重要性。然而,人类可以识别对未知物体的动作,甚至是想象中的物体(哑剧)。因此,其他线索必须弥补可识别的视觉对象特征的缺乏。在这里,我们关注的是在动作过程中发生变化的对象间关系的作用。我们设计了一个虚拟现实系统,并对50名受试者进行了10种不同操作动作的识别速度测试。所有对象都是由模拟多维数据集抽象的,因此无法使用对象信息推断操作。相反,受试者只能依靠这些立方体之间空间关系变化所产生的信息。尽管有这些限制,我们的研究结果表明,受试者能够预测的行动,平均不到64%的行动的持续时间。我们采用了一个计算模型-一个丰富的语义事件链(eSEC)-纳入空间关系的信息,特别是(a)对象的接触/不接触,(b)对象之间的静态空间关系和(c)对象之间的动态空间关系。经过与受试者观察到的相同动作的训练,该模型成功地预测了动作,甚至比人类更好。信息理论分析表明,eSEC最佳地使用个人线索,而人类可能主要依赖于混合线索策略,这需要更长的时间才能识别。提供更好的动作识别认知基础,一方面可以提高我们对相关人类病理学的理解,另一方面也有助于构建无冲突人机合作的机器人。我们的研究结果在这里开辟了新的途径。
2020-04-22 cs.AI cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology(COMSATS信息技术研究所);Information Technology University (ITU)(信息技术大学);National University of Sciences and Technology (NUST)(国立科学技术大学)
图像处理中涉及的特征描述符通常是人工选择的,并且本质上是高维的。对于面部表情识别等系统来说,选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比,从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Spatial Domain Feature Extraction Methods for Unconstrained Handwritten Malayalam Character Recognition
P M Government College(P M 政府学院)
手写体字符识别是一项积极的研究挑战,特别是对于印度文字。本文涉及手写马拉雅拉姆语,一套完整的基本字符,元音和辅音符号和复合字符,可能会出现在脚本。在这项工作中,选择适合识别的空间域特征。在分类方面,采用了k-NN、SVM和ELM
2021-09-05 cs.CV
A Quality Aware Sample-to-Sample Comparison for Face Recognition
针对人脸识别中低质量样本代表性不足及训练测试指标不一致的问题,本文提出QAFace,通过质量感知函数自适应引导Softmax中心关注可识别低质量样本并忽略不可识别样本,在多个基准上优于现有方法。
2023-06-06 cs.CV
Affine Invariant, Model-Based Object Recognition Using Robust Metrics and Bayesian Statistics
University College London(伦敦大学学院)
我们重新审视的问题,基于模型的对象识别的强度图像,并试图解决现有的贝叶斯方法的一些缺点,如不合适的先验知识和治疗的残差与非鲁棒的误差范数。我们这样做是通过使用的休伯度量和精心选择的先验分布的reformulation。我们提出的方法是不变的二维仿射变换,因为它是相对容易的训练和使用,它是适合于一般的目标匹配问题。
2010-12-11 cs.CV
Towards End-to-end Car License Plate Location and Recognition in Unconstrained Scenarios
AInnovation Technology Co., Ltd.(创新奇智科技有限公司);Nanjing University of Posts and Telecommunications(南京邮电大学)
得益于卷积神经网络的快速发展,车牌检测与识别的性能得到了很大的提高。然而,大多数现有的方法分别解决检测和识别问题,并专注于特定的场景,这阻碍了部署到现实世界的应用。为了克服这些挑战,我们提出了一个有效和准确的框架,同时解决车牌检测和识别任务。它是一个轻量级和统一的深度神经网络,可以端到端优化并实时工作。针对无约束场景,采用无锚点方法有效检测车牌的限界框和四个角点,并利用它们提取和校正目标区域特征.然后,设计了一个新的卷积神经网络分支,进一步提取字符的特征,而无需分割。最后,识别任务被视为序列标记问题,这是解决连接主义时间分类(CTC)直接。选择了几个公共数据集,包括在各种条件下从不同场景收集的图像进行评估。实验结果表明,该方法在速度和精度上都明显优于现有的方法。
2022-07-11 cs.AI cs.CV cs.LG
Noise or Signal: The Role of Image Backgrounds in Object Recognition
MIT(麻省理工学院)
我们评估了最先进的对象识别模型依赖于图像背景信号的趋势。我们创建了一个工具包,用于在ImageNet图像上解开前景和背景信号,并发现(a)模型可以通过单独依赖背景来实现非平凡的准确性,(b)即使在存在正确分类的前景的情况下,模型也经常对图像进行错误分类-高达87.5%的时间选择了相反的背景,我们对背景的分析使我们更接近于理解机器学习模型使用哪些相关性,以及它们如何确定模型的分布性能。
2020-06-17 cs.CV cs.LG
SphereFace Revived: Unifying Hyperspherical Face Recognition
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Alan Turing Institute(阿兰·图灵研究所);Carnegie Mellon University(卡内基梅隆大学)
本文讨论了开集协议下的深度人脸识别问题,在适当选择的度量空间下,理想的人脸特征期望具有比最小类间距离更小的最大类内距离。为此,超球面人脸识别作为一个很有前途的研究方向,受到了越来越多的关注,并逐渐成为人脸识别研究的一个主要热点。作为超球面人脸识别领域最早的研究成果之一,SphereFace明确提出了学习具有大类间角间隔的人脸嵌入。然而,SphereFace仍然存在严重的训练不稳定性,限制了其在实际中的应用。为了解决这个问题,我们引入了一个统一的框架来理解超球面人脸识别中的大角度边缘。在此框架下,我们扩展了对SphereFace的研究,并提出了一种具有更好训练稳定性的改进变体-- SphereFace-R。具体来说,我们提出了两种新的方法来实现乘法余量,并研究了三种不同的特征归一化方案(无特征归一化,硬特征归一化和软特征归一化)下的SphereFace-R。并提出了“特色梯度分离”的实施策略,以稳定训练。在SphereFace-R上进行的大量实验表明,它始终优于最先进的方法或与之竞争。
2022-03-16 cs.AI cs.CV cs.LG
A Joint Representation Learning and Feature Modeling Approach for One-class Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
单类识别传统上被视为一个表示学习问题或特征建模问题。在这项工作中,我们认为,这两种方法都有自己的局限性,可以通过结合两者得到更有效的解决方案。所提出的方法是基于生成框架和一类分类方法的组合。首先,我们使用具有生成框架的单类数据来学习生成特征。我们用相应的重建误差来增强学习的特征,以获得增强的特征。然后,我们定性地确定一个合适的特征分布,减少所选分类器空间中的冗余。最后,我们使用对抗框架强制增强特征采用这种分布的形式。我们测试了所提出的方法的有效性上三个一类分类任务,并获得国家的最先进的结果。
2021-01-24 cs.CV
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching(古晋理工学院);Universiti Malaysia Sarawak(马来西亚砂拉越大学)
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1,AU4,AU6,AU12,AU15,AU17和AU25,它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核,而使用NN的结果是为每个训练,验证和测试阶段。
2017-12-01 cs.CV
Analyzing the Impact of Shape & Context on the Face Recognition Performance of Deep Networks
Samsung Research America(三星美国研究院);University of Notre Dame(圣母大学)
在这篇文章中,我们分析了改变人脸图像中基本身份的底层3D形状如何扭曲其整体外观,特别是从深度人脸识别的角度来看。在流行的训练数据增强方案中,我们以图形方式呈现真实和合成的人脸图像,随机选择或最佳拟合的3D人脸模型,以生成新的基本身份的意见。我们比较从这些图像生成的深层特征,以评估这些渲染引入原始身份的扰动。我们在不同程度的面部偏航与不同性别和种族的基本身份进行分析。此外,我们调查,如果在这些渲染图像中添加某种形式的上下文和背景像素,当用作训练数据,进一步提高下游性能的人脸识别模型。我们的实验证明了面部形状在准确面部匹配中的重要性,并强调了上下文数据对网络训练的重要性。
2022-08-05 cs.CV
An Improved Feature Descriptor for Recognition of Handwritten Bangla Alphabet
Jadavpur University(贾达普大学)
手写体字符识别的一个重要方面是如何选择合适的特征来表示模式类。特征的有效性取决于所选择的用于表示不同类别的模式的特征的辨别能力。然而,歧视性特征并不容易衡量。调查实验对于识别歧视性特征是必要的。在目前的工作中,我们已经确定了一个新的变化的功能集,显着优于手写孟加拉字母从以前使用的功能集。这里使用了所有132个特征,即修改的阴影特征、八分圆和质心特征、基于距离的特征、基于四叉树的最长运行特征。使用这个特征集,识别性能从我们以前的工作中观察到的75.05%急剧增加[7],在相同数据集上使用基于MLP的分类器的50个字符类上达到85.40%。
2015-01-22 cs.CV
Robust Periocular Recognition By Fusing Sparse Representations of Color and Geometry Information
University of Beira Interior(贝拉Interior大学);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
在本文中,我们提出了一个重新加权弹性网(REN)模型的生物特征识别。新的模型被应用到数据分离成几何和颜色的空间分量。几何信息的提取使用一个快速卡通纹理分解模型的基础上的双重制定的总变分规范,使我们能够携带有关图像的整体几何信息。颜色分量使用线性和非线性颜色空间来定义,即红-绿-蓝(RGB)、色度-亮度(CB)和色调-饱和度-值(HSV)。接下来,根据贝叶斯融合方案,稀疏表示的分类目的。该方案是数值求解使用梯度投影(GP)算法。在所提出的模型的实证验证中,我们选择了眼周区域,这是一个新兴的特征,以其对低质量数据的鲁棒性而闻名。我们的研究结果是在公开的UBIRIS.v2数据集中获得的,与相关的最先进的技术相比,识别效率得到了一致的提高。
2013-09-11 cs.CV
SphereFace: Deep Hypersphere Embedding for Face Recognition
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Sun Yat-Sen University(中山大学)
本文研究了开集协议下的深度人脸识别(FR)问题,其中理想的人脸特征在适当选择的度量空间下具有比最小类间距离更小的最大类内距离。然而,很少有现有的算法可以有效地实现这一标准。为此,我们提出了角度softmax(A-Softmax)损失,使卷积神经网络(CNN)能够学习角度判别特征。在几何上,A-Softmax损失可以被视为对超球面流形施加歧视性约束,这本质上匹配面也位于流形上的先验。此外,可以通过参数$m$定量地调整角度裕度的大小。我们进一步推导出具体的$m$来近似理想的特征标准。在Labeled Face in the Wild(LFW)、Youtube Faces(YTF)和MegaFace Challenge上的大量分析和实验表明,A-Softmax损失在FR任务中具有优越性。该守则也已公开提供。
2018-01-29 cs.CV
A novel feature-scrambling approach reveals the capacity of convolutional neural networks to learn spatial relations
Ernst Strüngmann Institute for Neuroscience in Cooperation with Max Planck Society(与马克斯·普朗克学会合作的恩斯特·斯特伦格曼神经科学研究所);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
卷积神经网络(CNN)是解决目标识别的最成功的计算机视觉系统之一。此外,CNN在理解人类大脑中视觉表征的本质方面有着重要的应用。然而,人们对CNN实际上是如何做出决策的,它们的内部表征的性质是什么,以及它们的识别策略与人类有何不同,仍然知之甚少。具体来说,关于CNN是否主要依赖于物体的表面排列,或者它们是否能够利用类似于人类的特征的空间排列的问题存在重大争论。在这里,我们开发了一种新的特征加扰方法来明确测试CNN是否使用特征(即对象部分)的空间排列来对对象进行分类。我们将这种方法与CNN有效感受野大小的系统操作以及最小可识别配置(MIRC)分析相结合。与以前的许多文献相比,我们提供的证据表明,CNN实际上能够使用相对较长的空间关系进行对象分类。此外,CNN使用空间关系的程度在很大程度上取决于数据集,例如纹理与草图。事实上,CNN甚至对异构数据集(ImageNet)中的不同类使用不同的策略,这表明CNN具有连续的分类策略谱。最后,我们证明了CNN只学习到中等粒度的特征空间排列,这表明中间而不是全局形状特征在对象分类中提供了灵敏度和特异性之间的最佳权衡。这些结果提供了新的见解CNN表示的性质和程度,他们依赖于空间排列的对象分类的功能。
2022-12-12 cs.AI cs.CV cs.LG
Exploiting Recurrent Neural Networks and Leap Motion Controller for Sign Language and Semaphoric Gesture Recognition
在人类互动中,手是表达信息的一种强有力的方式,在某些情况下,手可以作为声音的有效替代品,就像手语中发生的那样。手势识别一直是计算机视觉和多媒体领域的研究热点。这些手势可以表示为随时间变化的特征向量集。循环神经网络(RNN)适合于分析这种类型的集合,这要归功于它们对时间序列的长期上下文信息建模的能力。在本文中,一个RNN的训练使用的特征,由手指骨的人的手形成的角度。之所以选择由Leap运动控制器(LMC)传感器获取的选定特征,是因为大多数人类手势都会产生关节运动,从而生成真正具有特征的角落。一个具有挑战性的子集,由大量的手势定义的美国手语(ASL)被用来测试所提出的解决方案和选定的角度的有效性。此外,所提出的方法已经比较了其他国家的最先进的作品在SHREC数据集,从而证明了其优越性,在手势识别的准确性。
2018-03-28 cs.CV
Portmanteauing Features for Scene Text Recognition
Nanyang Technological University(南洋理工大学)
场景文本图像具有不同的形状并且经受各种失真,例如透视失真。为了应对这些挑战,最先进的方法依赖于连接到文本识别网络的校正网络。它们形成了一个线性管道,对所有输入图像进行文本校正,即使是不使用它也可以识别的图像。毫无疑问,校正网络提高了整体文本识别性能。然而,在某些情况下,校正网络会在图像上产生不必要的失真,从而导致在没有它的情况下本来是正确的图像中的错误预测。为了减轻不必要的失真,提出了特征的组合。受合成词的启发,合成特征是包含来自原始文本图像和校正图像的信息的特征。为了生成组合特征,提出了一种具有分块矩阵初始化的非线性输入流水线。在这项工作中,Transformer被选为识别网络,由于其利用的注意力和固有的并行性,它可以有效地处理组合特征。所提出的方法进行了检查6基准和13个国家的最先进的方法进行比较。实验结果表明,该方法优于国家的最先进的方法在各种基准。
2022-11-09 cs.CV
Temporal-Distributed Backdoor Attack Against Video Based Action Recognition
The Pennsylvania State University(宾夕法尼亚州立大学)
针对视频动作识别后门研究不足且图像式逐帧触发易被检测的问题,提出在变换域注入时间分布、不可察觉触发器的攻击方法,并在 UCF101、HMDB51 和 GSL 上验证其规避现有防御的有效性。
2023-12-09 cs.AI cs.CR cs.CV
Greedy Search for Descriptive Spatial Face Features
面部表情识别方法使用基于几何特征和基于外观特征的组合。空间特征来源于面部标志点的位移,并携带几何信息。这些特征或者是基于先验知识选择的,或者是从大的池中降维的。在这项研究中,我们产生了大量的潜在的空间特征,使用两种组合的面部标志。其中,我们使用顺序向前选择搜索特征的描述性子集。所选择的特征子集被用于在扩展的Cohn-Kanade数据集(CK+)中对面部表情进行分类,并且在不使用任何基于外观的特征的情况下提供了88.7%的识别准确率。
2017-07-03 cs.CV
Scene recognition with CNNs: objects, scales and dataset bias
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)(中国科学院智能信息处理重点实验室);Institute of Computer Technology, CAS, Beijing, 100190, China(中国科学院计算机技术研究所)
由于场景是由部分对象组成的,因此场景的准确识别需要关于场景和对象的知识。在本文中,我们解决了两个相关的问题:1)多尺度卷积神经网络(CNN)架构中的尺度诱导数据集偏差,以及2)如何在CNN中有效地结合以场景为中心和以对象为中心的知识(即Places和ImageNet)。早期的一次尝试Hybrid-CNN表明,整合ImageNet并没有多大帮助。在这里,我们提出了一种替代方法,考虑到规模,导致显着的识别增益。通过分析不同尺度下ImageNet-CNN和Places-CNN的响应,我们发现两者都在不同的尺度范围内运行,因此对所有尺度使用相同的网络会导致数据集偏差,从而导致性能有限。因此,使特征提取器适应每个特定尺度(即特定尺度的CNN)对于提高识别率至关重要,因为场景中的对象具有特定的尺度范围。实验结果表明,识别准确率高度依赖于尺度,并且简单但精心选择的ImageNet-CNN和Places-CNN的多尺度组合可以将SUN 397中最先进的识别准确率提高到66.26%(甚至70.17%,具有更深的架构,与人类表现相当)。
2018-01-21 cs.CV
PERCH: Perception via Search for Multi-Object Recognition and Localization
Carnegie Mellon University(卡内基梅隆大学)
在许多机器人领域,如灵活的自动化制造或个人辅助,一个基本的感知任务是识别和定位对象的3D模型是已知的。解决这个问题的典型方法包括判别方法,该方法找到在模型上计算的特征描述符与观察到的数据之间的对应关系。虽然这些方法已经成功地使用,但当特征描述符无法捕获观察到的数据中的变化时,它们可能不可靠;一个经典的原因是遮挡。作为对审议推理的一步,我们提出PERCH:PEerception通过SeaRCH,一种算法,旨在通过假设可能的场景生成的方式,找到最好的解释所观察到的传感器数据。我们的贡献是:i)将多对象识别和定位任务公式化为在假设场景的空间上的优化问题,ii)利用优化中的结构以将其转换为在我们称为单调场景生成树上的组合搜索问题,以及iii)利用并行化和多启发式搜索中的最新进展来使组合搜索易于处理。我们证明了我们的系统可以在所选择的成本函数下快速地产生场景的最佳解释,并验证了我们对真实世界RGB-D测试数据的要求。我们的实验结果表明,我们可以识别和定位对象下严重闭塞-国家的最先进的方法斗争的情况下。
2016-03-16 cs.AI cs.CV cs.RO
Improving state estimation through projection post-processing for activity recognition with application to football
Delft University of Technology(代尔夫特理工大学)
该研究针对传感器数据活动识别的标注与评估需求,提出修正短时长活动的投影后处理方法和适配状态转换时刻不确定性的LTS度量,经模拟与足球真实数据验证有效,并讨论了参数选择。
2023-05-02 cs.CV
Automatic Training Data Synthesis for Handwriting Recognition Using the Structural Crossing-Over Technique
Thammasat University(国立法政大学);National Electronics and Computer Technology Center(国家电子和计算机技术中心)
本文提出了一种新的技术,称为“结构交叉”合成合格的数据训练机器学习为基础的手写识别。所提出的技术可以提供更大的各种模式的训练数据比现有的方法,如弹性变形和基于切线的仿射变换。首先选取一对训练字符,然后对它们进行结构相似性和差异性分析,最后进行交叉运算,生成新的字符。通过实验比较了基于切线仿射变换和所提方法在生成字符种类和识别错误率方面的性能。实验中使用了标准的MNIST语料库,包括60,000个训练字符和10,000个测试字符。该技术使用1,000个字符合成60,000个字符,然后使用这些数据来训练和测试基准手写识别系统,该系统利用梯度直方图(HOG)作为特征,支持向量机(SVM)作为识别器。实验结果产生8.06%的误差。它显著优于基于切线的仿射变换和原始MNIST训练数据,分别为11.74%和16.55%。
2014-10-09 cs.CV cs.LG
Adaptive Threshold for Online Object Recognition and Re-identification Tasks
deHumlaTech AI Research(deHumlaTech人工智能研究院)
决策阈值的选择是任何分类任务中具有挑战性的工作之一。无论模型有多精确,如果不仔细挑选决定性的边界,它的整个性能都将是徒劳的。另一方面,对于不平衡分类,其中一类是占主导地位的另一类,依赖于传统的方法选择阈值将导致性能较差。即使基于像SVM和决策树这样的机器学习策略适当地选择阈值或决策边界,对于动态变化的数据库以及在或多或少相似的身份特征的情况下,例如在面部识别和个人重新识别模型中,它也会在某些点失败。因此,需要适应性的决策阈值的选择不平衡的分类和增量数据库的大小,在线优化的统计特征学习自适应技术的开发和测试LFW数据集和自备运动员数据集。这种采用自适应阈值的方法与任何分类和识别任务中通常通过命中和尝试方法采用的固定阈值{0.3,0.5,0.7}相比,模型精度提高了12-45%。完整算法的源代码可在https://github.com/Varat7v2/adaptive-threshold上获得
2021-05-22 cs.CV
Federated Domain Generalization for Image Recognition via Cross-Client Style Transfer
HKUST(香港科技大学);CUHK(香港中文大学)
领域泛化(DG)是图像识别领域的一个研究热点,其目标是训练一个通用的模型,使其能够在不可见的领域中表现良好。最近,联邦学习(FL),一个新兴的机器学习范例,训练一个全球模型,从多个分散的客户端,而不损害数据隐私,带来了新的挑战,也新的可能性,DG。在FL场景中,许多现有的最先进的(SOTA)DG方法变得无效,因为它们需要在训练期间集中来自不同域的数据。在本文中,我们提出了一种新的领域泛化方法下的图像识别联邦学习通过跨客户端的风格转移(CCST),而无需交换数据样本。我们的CCST方法可以导致更均匀的分布的源客户端,从而使每个本地模型学习,以适应所有客户端的图像风格,以避免不同的模型偏见。提出了两种类型的风格(单一图像风格和整体域风格),并根据不同的场景选择相应的机制。我们的风格表示是非常轻量级的,几乎不能用于数据集的重建。多样性的水平也是灵活的,可以用超参数来控制。我们的方法优于最近的SOTA DG方法上的两个DG基准(PACS,CAMEHome)和大规模的医学图像数据集(Camelyon17)在FL设置。最后但并非最不重要的是,我们的方法是正交的许多经典的DG方法,通过联合利用实现添加剂的性能。
2022-10-03 cs.CV
Iterate & Cluster: Iterative Semi-Supervised Action Recognition
University of Washington(华盛顿大学)
我们提出了一种新的主动半监督基于特征的动作识别系统。给定运动过程中跟踪的特征的时间序列,我们的系统将序列聚类为动作。我们的系统是基于编码器-解码器无监督的方法,通过自回归任务,通过自组织其潜在的表示来执行聚类。这些方法在人类动作识别基准上进行了测试,优于基于非特征的无监督方法,并达到了与基于特征的监督方法相当的准确性。然而,这样的方法依赖于将序列与动作相关联的K最近邻(KNN),并且没有注释数据的一般特征将对应于可以进一步增强的近似聚类。我们的系统提出了一种迭代的半监督方法来解决这一挑战,并积极学习集群和动作的关联。该方法利用潜空间嵌入和聚类的无监督编码器-解码器,以指导选择序列进行注释,在每次迭代。每次迭代,选择的目的是提高动作识别的准确性,同时选择少量的序列进行注释。我们测试的方法对人类的动作识别基准,假设只有我们的方法选择的注释是可用的,并在实验室实验中记录的鼠标运动视频。我们表明,我们的系统可以提高识别性能,只有一小部分的注释。该系统可以用作交互式注释工具,以指导各种对象和动作的“野外”视频的标记工作,以实现鲁棒的识别。
2020-06-12 cs.CV cs.LG eess.IV
Improving Accuracy and Explainability of Online Handwriting Recognition
National Research Council Canada(加拿大国家研究委员会);University of Waterloo(滑铁卢大学)
手写识别技术允许从给定的数据中识别书写文本。识别任务可以针对字母、符号或单词,并且输入数据可以是数字图像或由各种传感器记录。从签名验证到电子文档处理的广泛应用可以通过实现高效准确的手写识别算法来实现。多年来,人们越来越有兴趣尝试不同类型的技术来收集手写数据,创建数据集,并开发识别字符和符号的算法。最近,OnHW-chars数据集已经发布,其中包含使用装有传感器的圆珠笔收集的英语字母表的多变量时间序列数据。OnHW-chars的作者还通过他们的机器学习(ML)和深度学习(DL)分类器提供了一些基线结果。在本文中,我们开发的OnHW-CHARS数据集上的手写识别模型,并提高以前的模型的准确性。更具体地说,我们的ML模型比以前的ML模型提供了$11.3\%$ - $23.56\%$改进,我们的集成学习优化DL模型比以前的DL模型提供了$3.08\%$ - $7.01\%$改进。除了我们在光谱上的准确性改进之外,我们的目标是为我们的模型提供一定程度的可解释性,以提供所选方法背后的更多逻辑,以及为什么模型对数据集中的数据类型有意义。我们的结果是可验证的,并通过提供的公共存储库再现。
2022-09-14 cs.CV cs.LG
Feature sampling and partitioning for visual vocabulary generation on large action classification datasets
Oxford Brookes University(牛津布鲁克斯大学);University of Oxford(牛津大学)
动作识别的最新趋势是更大的数据集,越来越多的动作类和更大的视觉词汇表。目前,在具有挑战性的视频数据中,最先进的人类动作分类是基于视觉词袋管道,其中时空特征被全局聚合以形成直方图。选择的策略来采样特征和构建视觉词汇对性能至关重要,实际上往往主导性能。在这项工作中,我们提供了一个关键的评估各种方法来建立一个词汇,并表明良好的词汇确实有显着的影响。通过策略性地对特征进行子采样和分区,我们能够使用相对较小的视觉词汇在5个主要动作识别数据集上实现最先进的结果。
2014-05-29 cs.CV
GaitStrip: Gait Recognition via Effective Strip-based Feature Representations and Multi-Level Framework
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学);PhiGent Robotics(鉴智机器人);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Shandong Normal University(山东师范大学);University of Technology Sydney(悉尼科技大学)
许多步态识别方法首先将人体步态划分为N个部分,然后将它们组合起来建立基于部分的特征表示。它们的步态识别性能通常受到分区策略的影响,分区策略是在不同数据集中根据经验选择的。然而,我们观察到,作为零件的基本组成部分的条带对不同的分区策略是不可知的。基于这一观察,我们提出了一个基于条带的多层次步态识别网络,命名为GaitStrip,在不同层次上提取全面的步态信息。具体来说,我们的高级别分支探索步态序列的背景,我们的低级别分支专注于详细的姿势变化。我们引入了一种新的基于条带的特征提取器(SPB),通过直接以人体的每个条带为基本单元来学习基于条带的特征表示。此外,我们提出了一种新的多分支结构,称为增强卷积模块(ECM),提取不同的步态表示。ECM由时空特征提取器(ST)、帧级特征提取器(FL)和SPB组成,具有两个明显的优点:第一,每个分支关注一个特定的表示,可以用来提高网络的鲁棒性。具体而言,ST的目的是提取步态序列的时空特征,而FL用于生成每帧的特征表示。其次,通过引入结构重新参数化技术,可以在测试中减少ECM的参数。大量的实验结果表明,我们的GaitStrip在正常行走和复杂条件下都达到了最先进的性能。
2022-10-09 cs.CV
Parametic Classification of Handvein Patterns Based on Texture Features
Al-Hussein Bin Talal University(侯赛因·本·塔拉勒大学);University of Mysore(迈索尔大学)
在本文中,我们开发了生物识别系统,采用基于手的模态Handvein,它具有独特的模式,为每个人,它是不可能伪造和伪造,因为它是一个内部特征。我们选择了LBP-视觉描述子、LPQ-模糊不敏感纹理算子、Log-Gabor-纹理描述子等特征提取算法。我们选择了众所周知的分类器,如KNN和SVM进行分类。我们已经进行了实验,并列出了在不同距离测量和内核选项下Handvein的单个算法识别率的结果。进行了特征级融合,提高了性能水平。
2019-03-21 cs.CV
Histograms of Points, Orientations, and Dynamics of Orientations Features for Hindi Online Handwritten Character Recognition
MIET(密拉特工程技术学院);Indian Institute of Science(印度科学学院)
本文提出一种与笔画方向和顺序无关的特征提取方法,通过空间直方图描述点坐标、方向及其动态,用于印地语在线手写字符识别,SVM分类准确率达92.9%。
2023-09-05 cs.CV eess.SP
SPIN: A High Speed, High Resolution Vision Dataset for Tracking and Action Recognition in Ping Pong
University of Maryland(马里兰大学);Robotics at Google(谷歌机器人部门)
本文提出了一种新的高分辨率、高帧速率的立体视频数据集SPIN,用于乒乓球运动中的运动跟踪和动作识别。该语料库由乒乓球比赛和三个主要的注释流组成,可用于学习跟踪和动作识别模型-跟踪视频中的乒乓球和人类姿势以及人类击球的旋转。训练语料库由53个小时的数据组成,这些数据带有以半监督方法从以前的模型中获得的标签。测试语料库包含具有相同信息的1小时的数据,除了人群计算用于获得球位置的人类注释,球旋转已经从该注释导出。除了数据集,我们还介绍了几个在此数据上训练的基线模型。这些模型是专门选择的,以便能够以与图像生成相同的速率执行推理-特别是150 fps。我们探索了在这些数据上进行多任务训练的优势,并展示了乒乓球轨迹的有趣特性,这些特性来自我们的观测数据,而不是来自先前的物理模型。据我们所知,这是乒乓球的第一个大规模数据集;我们将其作为一个丰富的数据集提供给社区,可用于各种机器学习和视觉任务,如跟踪,姿势估计,半监督和无监督学习以及生成建模。
2019-12-13 cs.CV cs.LG
Novel Human Machine Interface via Robust Hand Gesture Recognition System using Channel Pruned YOLOv5s Model
本文提出一种基于通道剪枝YOLOv5s模型的高效手势识别方法,用于构建快速鲁棒的实时手势控制人机接口,在保持高检测精度的同时实现超过60 fps的实时检测速度。
2024-07-02 cs.CV