Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia(沃林根大学先进多媒体研究实验室)
本文提出时空关节密度(STJD)度量骨架动静交互,识别主关节引导自监督学习,并设计STJD-CL对比策略与STJD-MP重建方法,在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
Real-time Rail Recognition Based on 3D Point Clouds
Zhejiang University of Technology(浙江工业大学)
准确的钢轨定位是铁路支护驱动系统安全监测的关键环节。LiDAR可以获得携带铁路环境3D信息的点云,特别是在黑暗和恶劣天气条件下。针对点云数据杂乱、密度不均、体积大等问题,提出了一种基于三维点云的钢轨实时的【形】识别方法。首先提出了一种用于铁路点云密度均衡的体素下采样方法,并设计了金字塔分区将三维扫描区域划分为不同体积的体素。然后,特征编码模块的开发,以找到最近的邻居点,并聚集其局部几何特征的中心点。最后,提出了一种多尺度神经网络来生成每个体素和轨道位置的预测结果。对9个序列的铁路三维点云数据进行了实验。实验结果表明,该方法对直线、曲线等复杂拓扑的钢轨具有良好的检测性能。
2022-01-08 cs.CV
RAIDAL: Redundancy-Aware Information Density Active Learning for CTC-Based Continuous Sign Language Recognition
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);University of Bristol(布里斯托大学)
针对连续手语识别中视频标注成本高的问题,提出RAIDAL方法,利用CTC解码器对齐峰值限制评分区域,在三个数据集上显著提升数据效率。
2026-09-11 cs.CV
Pattern recognition on the quantum Bloch sphere
Università di Cagliari(卡利亚里大学);Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所)
我们介绍了一个框架,适用于描述模式识别任务的数学语言的密度矩阵。特别是,我们提供了一个模式和纯密度算子之间的一一对应。这种对应关系使我们能够:i)根据量子对象表示最近均值分类器(NMC),ii)引入量子分类器(QC)。通过比较不同的2D数据集上的QC与NMC,我们表明第一个分类器可以提供额外的信息,这些信息相对于第二个分类器在经典计算机上特别有益。
2016-06-07 cs.CV quant-ph
S-ConvNet: A Shallow Convolutional Neural Network Architecture for Neuromuscular Activity Recognition Using Instantaneous High-Density Surface EMG Images
Université du Québec à Trois-Rivières(魁北克大学三河分校);Concordia University(康考迪亚大学)
针对HD-sEMG图像识别中深度网络计算成本高的问题,提出S-ConvNet和All-ConvNet模型从头学习特征,在无需预训练、数据集缩小约12倍且大幅减少参数的情况下,仍取得极具竞争力的准确率,尤其适用于资源受限场景。
2019-06-08 cs.AI cs.CV cs.LG
Fast and Robust Dynamic Hand Gesture Recognition via Key Frames Extraction and Feature Fusion
University of Trento(特伦托大学);Peking University(北京大学);Lingxi Artificial Intelligence Co., Ltd(灵汐人工智能有限公司)
手势识别是计算机视觉和模式识别领域的一个研究热点,在自然人机界面中起着至关重要的作用。虽然近年来取得了很大的进展,快速和鲁棒的手势识别仍然是一个开放的问题,因为现有的方法没有很好地平衡的性能和效率同时。为了弥补这一不足,本文结合图像熵和密度聚类,利用手势视频中的关键帧进行进一步的特征提取,提高了识别效率。此外,还提出了一种特征融合策略,进一步改善了特征表示,提高了识别性能。为了在“野生”环境中验证我们的方法,我们还引入了两个新的数据集,称为HandGesture和HandGesture 3D数据集。实验一致表明,我们的策略在西北大学,剑桥,HandGesture和3D手势数据集上取得了有竞争力的结果。我们的代码和数据集将在https://github.com/Ha0Tang/HandGestureRecognition上发布。
2019-01-15 cs.CV
CSI: Enhancing the Robustness of 3D Point Cloud Recognition against Corruption
Peking University(北京大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);University of Michigan(密歇根大学)
针对点云识别模型在数据损坏下泛化性不足的问题,提出结合密度感知采样与自熵最小化的关键子集识别方法CSI,显著提升了损坏基准上的识别鲁棒性。
2023-10-05 cs.CV
ForestLPR: LiDAR Place Recognition in Forests Attentioning Multiple BEV Density Images
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室)
针对自然森林高自相似性和植被变化导致的位置识别难题,提出ForestLPR方法,利用多高度BEV密度图像和视觉Transformer生成旋转不变描述符,在序列内闭环检测和序列间重定位的Recall@1上分别提升7.38%和9.11%。
2025-03-06 cs.CV cs.RO
ViT-HGR: Vision Transformer-based Hand Gesture Recognition from High Density Surface EMG Signals
Concordat University(康考迪亚大学);Concordia Institute for Information System Engineering (CITIES)(康考迪亚信息系统工程研究所(CITIES))
最近,人们对应用深度学习(DL)模型使用表面肌电图(sEMG)信号自主地执行手势识别产生了极大的兴趣。然而,DL模型主要设计用于稀疏sEMG信号。此外,由于其复杂的结构,通常,我们面临着内存的限制,需要大量的训练时间和大量的训练样本,并有必要诉诸数据增强和/或迁移学习。在本文中,第一次(据我们所知),我们调查和设计了一个基于视觉Transformer(ViT)的架构,从高密度(HD-sEMG)信号进行手势识别。直观地说,我们利用最近的突破性作用的Transformer架构,在处理不同的复杂问题,以及其潜在的采用更多的输入并行化通过其注意力机制。所提出的基于视觉Transformer的手势识别(ViT-HGR)框架可以克服上述训练时间问题,并且可以从头开始准确地分类大量手势,而不需要任何数据增强和/或迁移学习。建议的ViT-HGR框架的效率进行评估,使用最近发布的HD-sEMG数据集组成的65等距手势。我们的实验与64个样本(31.25毫秒)窗口大小产生的平均测试精度为84.62 +/-3.07%,其中只有78210个参数被利用。所提出的基于ViT的ViT-HGR框架的紧凑结构(即,具有显著减少的可训练参数的数量)对于其用于假肢控制的实际应用显示出巨大的潜力。
2022-01-25 cs.CV cs.LG eess.SP
Latent Space Energy-based Model for Fine-grained Open Set Recognition
Michigan State University(密歇根州立大学);Rochester Institute of Technology(罗切斯特理工学院)
本文提出基于潜在空间能量模型的细粒度开放集识别方法,通过属性感知信息瓶颈、残差属性特征聚合和基于不确定性的虚拟离群样本合成三个模块提升细粒度类别建模能力,并在多个数据集上验证了分类与高分辨率图像生成性能。
2023-10-30 cs.CV
Predicting Face Recognition Performance Using Image Quality
University of Twente(特文特大学)
提出了一种基于图像质量特征的数据驱动模型来预测人脸识别系统的性能。我们对图像质量特征(例如,姿势、照明等)与图像质量特征之间的关系进行建模。以及使用概率密度函数的识别性能测量。为了解决大多数数据驱动模型中固有的实际训练数据的有限性问题,我们开发了一种贝叶斯方法来模拟识别性能指标在质量空间小区域中的分布。由于该模型仅基于图像质量特征,因此即使在实际识别发生之前,它也可以预测性能。我们评估了所提出的模型的性能预测能力的六个人脸识别系统(两个商业和四个开源)上运行三个独立的数据集:MultiPIE,FRGC和CAS-PEAL。我们的研究结果表明,该模型可以准确地预测性能使用准确和公正的图像质量评估器(IQA)。此外,我们的实验突出了未考虑的质量空间的影响-IQA未考虑的图像质量特征-在导致性能预测误差方面。
2015-10-24 cs.CV
Mitigating Domain Mismatch in Face Recognition Using Style Matching
尽管在公共基准测试中表现出色,但由于训练(源)和测试(目标)数据之间的域不匹配,人脸识别仍然受到影响。此外,这些域不是共享类,这使得领域自适应复杂化。由于这也是不严格遵循低密度分离原则的细粒度分类问题,因此常规的领域自适应方法不能解决这些问题。在本文中,我们将人脸识别中的域不匹配问题描述为风格不匹配问题,并提出了两种方法。首先,我们设计了一个具有人类水平判断的领域挖掘器,在训练数据中挖掘目标图像,以缓解领域差距。其次,我们从主干模型的低层特征图中提取样式表示,并将两个域的样式分布进行匹配,以找到共同的样式表示。验证和开集和闭集识别协议的评估表明,这两种方法产生了很好的改善,性能更强大,如果他们结合起来。该方法与相关工作相比具有较强的竞争力,并在实际应用中验证了其有效性.
2021-04-08 cs.CV
Rotational Subgroup Voting and Pose Clustering for Robust 3D Object Recognition
University of Southern Denmark(南丹麦大学)
只要局部表面方向(法向量)在每个表面点处可用,就可以在两个3D形状之间关联相对6 DoF姿势的高度约束子集。局部形状特征可以用于找到模型之间的假定点对应,因为它们能够处理噪声和不完整的数据。然而,在实际情况下,该对应集通常被离群值污染,这导致了许多基于鲁棒检测器(诸如Hough变换或RANSAC)的过去贡献。我们工作的关键见解是,两个模型上的定向点之间的单个对应关系被约束为在整个姿势组的1 DoF旋转子组中投票,SE(3)。核密度估计允许有效地组合投票集以确定模型之间的完整6 DoF候选姿势。这种具有最高密度的模态姿态在具有挑战性的条件下是稳定的,例如噪声,杂波和遮挡,并提供了我们方法的输出估计。我们首先分析了我们的方法在噪声方面的鲁棒性,并表明它处理高离群值率比RANSAC更好的6自由度姿态估计任务。然后,我们将我们的方法应用到四个最先进的数据集的3D对象识别,包含闭塞和混乱的场景。我们的方法在两个LIDAR数据集上实现了完美的召回,并在两个RGB-D数据集上优于竞争方法,从而为使用点云数据的一般3D对象识别设定了新标准。
2017-09-07 cs.CV
Explainable Face Recognition
Systems & Technology Research(系统与技术研究公司);Visym Labs(Visym实验室)
可解释的人脸识别是解释为什么面部匹配器匹配人脸的问题。在本文中,我们提供了第一个全面的基准和基线评估可解释的人脸识别。我们定义了一个新的评估协议,称为“修复游戏”,这是一个由95名受试者组成的3648个三元组(探针,伴侣,非伴侣)的策划集,这些三元组通过合成修复所选的面部特征(如鼻子,眉毛或嘴巴)来创建一个修复的非伴侣。一个可解释的面部匹配器的任务是生成一个网络注意力图,它最好地解释了探测图像中的哪些区域与配对图像匹配,而不是与每个三元组的修补非配对图像匹配。这为量化哪些图像区域有助于面部匹配提供了基础事实。此外,我们在这个数据集上提供了一个全面的基准,比较了三个面部匹配器上的五种最先进的面部识别网络注意力方法。该基准测试包括两种新的网络注意力算法,称为子树EBP和基于密度的输入采样解释(DISE),其性能远远优于最先进的技术。最后,我们展示了这些网络注意力技术在新图像上的定性可视化,并探讨了这些可解释的人脸识别模型如何提高人脸匹配器的透明度和信任度。
2020-08-03 cs.CV
Density-Guided Label Smoothing for Temporal Localization of Driving Actions
Eindhoven University of Technology(埃因霍温理工大学);VCA Group(VCA集团)
本文提出密度引导标签平滑与多视角后处理融合方法,将视频动作识别网络适配于驾驶动作时序定位,并在NVIDIA AI City Challenge A2测试集上取得F1分数0.271。
2024-03-11 cs.CV
AW-GATCN: Adaptive Weighted Graph Attention Convolutional Network for Event Camera Data Joint Denoising and Object Recognition
School of Electronic and Electrical Engineering(电子与电气工程学院);Centre for Machine Intelligence(智能机器研究中心);The University of Sheffield(谢菲尔德大学)
针对事件相机数据噪声大且易丢失时空信息的问题,提出自适应图去噪框架,通过密度分析分割、多因素边权重及图去噪策略,在四个数据集上识别准确率达83.77%-99.30%,优于现有方法。
2025-05-26 cs.CV
Maximum Likelihood Directed Enumeration Method in Piecewise-Regular Object Recognition
我们探讨的问题,分类的复合对象(图像,语音信号)与低数量的模型,每类。我们研究的问题,提高识别性能的中型数据库(数千类)。广泛应用于该任务的快速近似最近邻方法的关键问题是它们的启发式性质。可以通过使用仅用于简单的相似性度量和人工生成的任务的算法理论来有力地证明它们的效率。相反,在本文中,我们提出了一种替代的,统计上最优的贪心算法。在该算法的每个步骤中,估计每个类与先前检查的模型的距离的联合密度(似然)。从具有最大似然的类中选择下一个要检查的模型。后者是基于Kullback-Leibler信息判别的渐近性质和分段正则对象的数学模型估计的,每个正则段的分布为指数型。在FERET人脸识别数据集上的实验结果表明,该方法不仅比暴力和基线(定向枚举法)更有效,而且比FLANN和NonMetricSpaceLib库(随机kd树、复合索引、perm-sort)中的近似最近邻方法更有效。
2014-11-20 cs.CV
Dataset Bias in Few-shot Image Recognition
University of Chinese Academy of Sciences(中国科学院大学)
Few-Shot图像识别(FSIR)的目标是通过利用来自训练数据(基本类别)的可传递知识来识别具有少量注释样本的新类别。目前的研究大多假设可转移知识可以很好地用于识别新类别。然而,这种可转移的能力可能会受到数据集偏差的影响,这个问题以前很少被研究。此外,大多数少样本学习方法对不同的数据集存在偏差,这也是一个需要深入研究的重要问题。在本文中,我们首先调查的影响,从基本类别的可转移能力。具体来说,我们使用的相关性来衡量基础类别和新类别之间的关系。通过实例密度和类别多样性来描述基本类别的分布。FSIR模型从相关训练数据中学习更好的可转移知识。在相关数据中,密集的实例或不同的类别可以进一步丰富所学习的知识。在ImagNet不同子数据集上的实验结果表明,类别相关性、实例密度和类别多样性可以描述基本类别的可转移偏差。其次,我们从数据集结构和不同的少样本学习方法来研究不同数据集上的性能差异。具体来说,我们引入图像复杂度,概念内视觉一致性和概念间视觉相似性来量化数据集结构的特征。我们使用这些定量特征和四种少样本学习方法来分析五种不同数据集上的性能差异。在实验分析的基础上,从数据集结构和少样本学习方法两个角度得到了一些有见地的观察。我们希望这些观察结果对指导未来的FSIR研究是有用的。
2021-03-16 cs.CV
ORCEA: Object Recognition by Continuous Evidence Assimilation
ORCEA是一种新的对象识别方法,适用于生成模型描述的对象。ORCEA的主要目标是在对象参数空间上保持可能匹配的概率密度分布,同时使用传入的证据不断更新它;检测和回归是这个过程的副产品。ORCEA可以投影各种类型的原始证据(边缘元素,区域片等)。直接在对象参数空间上;这是通过研究阶段实现的,其中ORCEA为每个证据类型构建概率模型,该模型将证据与创建它们的对象参数联系起来。检测阶段包括建立由给定证据集产生的可能匹配的联合分布,包括可能的信号/噪声分组;不需要额外的算法步骤,因为所产生的PDF封装了关于可能解决方案的所有知识。ORCEA将参数空间上的匹配分布表示为一组高斯分布,每个高斯分布表示关于对象的具体概率假设,其也可以在其范围之外使用。ORCEA在具有不同复杂度和噪声水平的合成图像上进行了测试,并显示出令人满意的结果。
2021-05-11 cs.CV
Rotation-invariant shipwreck recognition with forward-looking sonar
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Federal University of Bahia (UFBA)(巴伊亚联邦大学(UFBA))
在海底,可见光谱相机的传感能力有限,只能在清澈的水中探测物体,但范围有限。考虑到任何海水条件,声纳更适合于支持自主水下机器人的导航,即使在浑浊的条件下。尽管声纳适用,这种类型的传感器不提供高密度的信息,如光学传感器,使物体识别的过程更加复杂。为了解决这个问题,我们提出了一种新的可训练的方法来检测和识别(识别)特定的目标物体在海下的前视声纳。我们的方法有一个预处理步骤,负责大大减少传感器噪声和海底背景。为了表示对象,我们提出的方法使用方向梯度直方图(HOG)作为特征提取器。HOG最终将输入与支持向量机相结合的多尺度定向检测器,以旋转不变的方式识别特定的训练对象。性能评估表明,有前途的结果,有利于该方法应用于水下遥感。
2019-10-11 cs.CV
Enhancing Indic Handwritten Text Recognition Using Global Semantic Information
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
手写文本识别(HTR)比印刷文本更有趣和更具挑战性,因为作者的手写风格,内容和时间的不均匀变化。HTR对于印度语言来说变得更具挑战性,因为(i)多个字符组合形成连接词,增加了相应语言的字符数量,以及(ii)每个印度脚本中有近100个独特的基本Unicode字符。最近,许多识别方法的基础上的编码器-解码器框架已被提出来处理这样的问题。他们仍然面临着许多挑战,如图像模糊和不完整的字符,由于不同的书写风格和墨水密度。我们认为,大多数编码器-解码器的方法是基于本地的视觉特征,没有明确的全局语义信息。在这项工作中,我们使用全局语义信息提高了印度语手写文本识别器的性能。我们使用一个语义模块的编码器-解码器框架提取全局语义信息识别的印度手写文本。语义信息用于编码器中的监督和解码器中的初始化。从预训练的语言模型的词嵌入预测语义信息。大量的实验表明,所提出的框架实现了国家的最先进的结果对手写文本的10种印度语言。
2022-12-15 cs.CV
Compressed Video Action Recognition
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加利福尼亚大学)
事实证明,训练强大的深度视频表示比学习深度图像表示更具挑战性。这部分是由于原始视频流的巨大尺寸和高时间冗余;真实和有趣的信号经常淹没在太多不相关的数据中。由于可以通过视频压缩(使用H. 264、HEVC等)将多余信息减少多达两个数量级,我们提出直接在压缩视频上训练深度网络。这种表示具有更高的信息密度,我们发现训练更容易。此外,压缩视频中的信号提供了自由的、尽管有噪声的运动信息。我们提出了新的技术来有效地使用它们。我们的方法比Res 3D快4.6倍,比ResNet-152快2.7倍。在动作识别任务上,我们的方法在UCF-101,HMDB-51和Charades数据集上的性能优于所有其他方法。
2018-03-29 cs.CV
Learning View Generalization Functions
PARC(帕洛阿尔托研究中心)
在3D视觉目标识别中,从视图中学习目标模型通常被表述为描述目标的视图流形的函数的函数逼近问题,或者被表述为学习类条件密度的函数逼近问题。本文介绍了一种替代框架学习视觉对象识别,学习的观点,泛化功能。使用视图泛化功能,观察者可以直接在给定一个或多个2D训练视图的情况下执行贝叶斯最优3D对象识别,而不需要单独的模型获取步骤。本文表明,视图泛化功能可以计算实用重述两个广泛使用的方法,本征空间和线性组合的意见的方法,在一个视图泛化框架。本文涉及的方法,最近的目标识别方法的基础上非均匀模糊。本文介绍了结果模拟3D "回形针“的对象和现实世界的图像从COIL-100数据库显示,有用的视图泛化功能,可以现实地从一个相对较少的训练样本。
2007-12-02 cs.CV
Computer vision-based recognition of liquid surfaces and phase boundaries in transparent vessels, with emphasis on chemistry applications
Technion – Israel Institute of Technology(以色列理工学院)
在透明容器中识别液面和液位的能力可能是处理流体时最常用的评估方法。这种识别对于确定各种流体系统中的液体体积、填充水平、相边界和相分离是必不可少的。液体表面的识别在溶液化学中特别重要,在溶液化学中,它对许多实验室技术(例如,萃取、蒸馏、滴定)。识别液体和空气之间或相分离液体之间的界面的一般方法可以具有广泛的应用,并有助于理解这种界面的视觉特性。本文研究了一种计算机视觉方法,用于识别各种透明容器中的液面和液位。该方法可用于液-气和液-液界面的识别。不需要事先了解阶段的数量。该方法接收液体容器的图像和图像中容器的边界,并扫描图像中可能对应于液体表面轮廓的所有可能的曲线。然后,该方法将每条曲线与图像进行比较,以通过检查围绕曲线的每个点的区域中的各种图像属性来评定其与真实液体表面的轮廓的对应性。发现给出液体表面的最佳指示的图像属性是相对强度变化、边缘密度变化和相对于曲线法线的梯度方向。
2014-11-06 cs.CV
Human Activity Recognition Using Robust Adaptive Privileged Probabilistic Learning
在这项工作中,一种新的方法的基础上学习使用特权信息(LUPI)范式识别复杂的人类活动的建议,在测试过程中处理丢失的信息。我们提出了一种监督概率方法,集成LUPI到一个隐藏的条件随机场(HCRF)模型。所提出的模型被称为HCRF+,可以使用最大似然法和最大边际法进行训练。它采用了自训练技术的目标函数的正则化参数的自动估计。此外,该方法通过由学生的\textit{t} -密度函数对特权信息的条件分布进行建模,提供了对离群值(如噪声或缺失数据)的鲁棒性,该密度函数自然地集成到HCRF+框架中。对不同形式的保密信息进行了调查。使用四个具有挑战性的公开可用的数据集和实验结果表明,该方法的有效性相对于最先进的LUPI框架中使用手工制作的功能和功能提取的卷积神经网络。
2017-09-19 cs.CV
SdcNet: A Computation-Efficient CNN for Object Recognition
Concordia University(康考迪亚大学)
从海量数据中提取特征用于目标识别是一项具有挑战性的任务。卷积神经网络可以用来应对挑战,但它往往需要大量的计算资源。本文提出了一种计算效率高的卷积模块SdcBlock,并在此基础上引入卷积网络SdcNet用于目标识别任务。在该模块中,优化的连续dependency卷积支持适当的数据管理,以产生包含高密度和更多种类的特征信息的向量。超参数可以很容易地调整,以适应不同的计算限制下的各种任务,而不会显着损害性能。实验表明,SdcNet在CIFAR-10中仅使用55 M Flops就实现了5.60%的错误率,并且还使用103 M Flops的适度容量将错误率进一步降低到5.24%。SDCNet的预期计算效率已得到证实。
2018-05-05 cs.CV eess.IV
An approach to human iris recognition using quantitative analysis of image features and machine learning
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Oklahoma(俄克拉荷马大学);Shahid Beheshti University(沙希德·贝赫什提大学)
虹膜图案是每个人独特的生物特征,使其成为人类身份识别的宝贵而强大的工具。在本文中,提出了一个有效的框架虹膜识别的四个步骤。(1)虹膜分割(使用相对总变分结合粗略虹膜定位),(2)特征提取(使用形状和密度、FFT、GLCM、GLDM和小波),(3)特征约简(使用核PCA)和(4)分类(应用多层神经网络)对从200名志愿者获得的CASIA-Iris-Interval数据集的2000幅虹膜图像进行分类。结果表明,该方案可以提供一个可靠的预测精度高达99.64%。
2020-09-12 cs.CV cs.LG eess.IV
SOAP: Enhancing Spatio-Temporal Relation and Motion Information Capturing for Few-Shot Action Recognition
Southeast University(东南大学);Tongji University(同济大学);Nanjing Normal University(南京师范大学)
本文提出SOAP架构,通过融合时空特征与多帧帧元组提升少样本动作识别性能,实现更全面的运动信息捕捉,优于传统方法。
2026-03-24 cs.AI cs.CV