Continuous Action Recognition Based on Sequence Alignment
INRIA Grenoble Rhône-Alpes（法国国立信息学及自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；Czech Technical University in Prague（布拉格捷克理工大学）
连续动作识别比孤立识别更具挑战性，因为分类和分割必须同时进行。我们建立在众所周知的动态时间规整（DTW）框架，并设计了一种新的视觉对齐技术，即动态帧规整（DFW），它执行孤立的识别基于每帧表示的视频，并对齐测试序列与模型序列。此外，我们提出了两个扩展，使执行识别伴随着分割，即一遍DFW和两遍DFW。这两种方法的根源在于语音的连续识别领域，据我们所知，它们对连续视觉动作识别的扩展被忽视了。我们使用最近发布的数据集（RAVEL）和广泛用于动作识别的两个公共域数据集（Hollywood-1和Hollywood-2）测试和说明了所提出的技术。我们还比较了几个最近发表的方法，建议孤立和连续识别算法的性能。
2014-06-02 cs.CV
Temporal Bilinear Networks for Video Action Recognition
Peking University（北京大学）
视频中的时间建模是计算机视觉中的一个基本而又具有挑战性的问题。在本文中，我们提出了一种新的时间双线性（TB）模型来捕捉相邻帧之间的时间成对特征的相互作用。与现有的一些时域方法相比，这些方法仅限于线性变换，我们的TB模型考虑了时域中的显式二次双线性变换，用于运动演化和序列关系建模。我们进一步利用线性复杂度的因子分解双线性模型和瓶颈网络设计来构建TB块，这也限制了参数和计算成本。我们考虑两种方案，即宽和深时间双线性网络（TBN）的TB块和原始的2D空间卷积的合并。最后，我们在几个广泛采用的数据集上进行了实验，包括Kinetics，UCF 101和HMDB 51。通过全面的消融分析和与各种最先进方法的比较，我们的TBN的有效性得到了验证。
2018-11-25 cs.CV
Temporal Transformer Networks with Self-Supervision for Action Recognition
Information Engineering College, Capital Normal University（首都师范大学信息工程学院）；State Key Lab of Software Development Environment, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Computer Vision Perception Department of ZongMu Technology（纵目科技计算机视觉感知部）
近年来，基于二维卷积网络的视频动作识别得到了广泛的应用，但由于缺乏长距离非线性时间关系建模和反向运动信息建模，现有模型的性能受到严重影响。为了解决这个紧迫的问题，我们介绍了一个惊人的时间Transformer网络与自我监督（TTSN）。我们的高性能TTSN主要由一个时间Transformer模块和一个时间序列自我监督模块组成。简单地说，我们利用有效的时间Transformer模块来模拟非局部帧之间的非线性时间依赖关系，这显着增强了复杂的运动特征表示。我们采用的时间序列自我监督模块前所未有地采用了“随机批量随机通道”的精简策略来反转视频帧的序列，允许从反转的时间维度中鲁棒地提取运动信息表示，并提高了模型的泛化能力。在三个广泛使用的数据集（HMDB 51，UCF 101和Something-something V1）上进行的大量实验最终证明了我们提出的TTSN是有前途的，因为它成功地实现了动作识别的最先进性能。
2021-12-17 cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
The THUMOS Challenge on Action Recognition for Videos "in the Wild"
University of Central Florida（中佛罗里达大学）；Stanford University（斯坦福大学）；Fudan University（复旦大学）；Google Research（谷歌研究院）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）
自动识别和定位大范围的人类动作对于视频理解具有至关重要的意义。为了实现这一目标，2013年推出了THUMOS挑战，作为行动认可的基准。在此之前，视频动作识别，包括THUMOS挑战，主要集中在预分割的分类（即，修剪）视频，这是一项人工任务。在THUMOS 2014中，我们通过引入时间上未修剪的视频将动作识别提升到更实用的水平。这些也包括“背景视频”，它们与动作视频有着相似的场景和背景，但没有具体的动作。2013- 2015年举办的三届挑战赛使THUMOS成为行动分类和检测的共同基准，来自世界各地的团队广泛参加了年度挑战赛。在本文中，我们详细描述了THUMOS基准，并给出了一个概述的数据汇集和注释程序。我们提出了评估协议，用于量化的结果在两个THUMOS任务的动作分类和时间检测。我们还介绍了THUMOS 2015挑战赛的结果，并回顾了参与方法。此外，我们还包括一项全面的实证研究，评估修剪和未修剪视频之间的动作识别差异，以及修剪视频上训练的方法如何推广到未修剪视频。最后，我们提出了几个方向和改进，为未来的THUMOS挑战。
2016-04-21 cs.CV
Rank Pooling for Action Recognition
The Australian National University（澳大利亚国立大学）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（荷语鲁汶大学）；iMinds（iMinds研究院）
我们提出了一种基于函数的时间池方法，该方法捕获视频序列数据的潜在结构-例如，帧级特征如何在视频中随时间演变。我们展示了如何一个函数的参数，已适合的视频数据可以作为一个强大的新的视频表示。作为一个具体的例子，我们通过排名机器学习池函数。通过学习排序的帧级功能的视频按时间顺序排列，我们获得了一个新的表示，捕捉视频范围内的时间动态的视频，适合动作识别。除了排名函数，我们还探索了不同的参数模型，这些模型也可以解释视频中的时间变化。所提出的功能池方法，特别是排名池，易于解释和实现，计算速度快，有效地识别各种各样的行动。我们评估我们的方法在各种基准通用的行动，细粒度的行动和手势识别。结果表明，秩合并带来了7-10平均合并基线的绝对改善。同时，秩池化与若干基于外观和局部运动的方法和特征（诸如改进的轨迹和深度学习特征）兼容并互补。
2016-05-16 cs.CV
Lie-X: Depth Image Based Articulated Object Pose Estimation, Tracking, and Action Recognition on Lie Groups
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）
从深度图像中对关节对象进行姿态估计、跟踪和动作识别是重要且具有挑战性的问题，通常单独考虑。本文提出了一个基于李群理论的统一范式，使我们能够共同解决这些相关问题。我们的方法也适用于广泛的铰接对象。在实验室动物（包括小鼠和鱼）以及人手上进行了经验评估。在这些应用程序中，它被证明提供竞争力的结果相比，国家的最先进的，和非平凡的基线，包括卷积神经网络和回归森林方法。
2016-09-13 cs.CV
PYSKL: Towards Good Practices for Skeleton Action Recognition
The Chinese University of HongKong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们介绍PYSKL：一个基于PyTorch的基于动作识别的开源工具箱。该工具箱支持各种骨架动作识别算法，包括基于GCN和CNN的方法。与现有的开源骨架动作识别项目只包含一两种算法不同，PYSKL在统一的框架下实现了六种不同的算法，同时采用了最新和原创的良好实践，以便于比较功效和效率。我们还提供了一个原始的基于GCN的骨架动作识别模型，名为ST-GCN++，它实现了竞争性的识别性能，没有任何复杂的注意力计划，作为一个强大的基线。与此同时，PYSKL支持九个基于动作识别基准的训练和测试，并在其中八个基准上实现了最先进的识别性能。为了便于将来对骨架动作识别的研究，我们还提供了大量的训练模型和详细的基准测试结果，以提供一些见解。PYSKL在https://github.com/kennymckormick/pyskl上发布，并得到积极维护。我们将在添加新功能或基准时更新此报告。当前版本对应于PYSKL v0.2。
2022-05-19 cs.CV
Spatial-Temporal Alignment Network for Action Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对动作识别中几何变化处理难题，提出轻量通用的时空对齐网络STAN，可低代价嵌入现有模型，在常用数据集上验证了其能持续提升从头训练的SOTA模型性能。
2023-08-19 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield（谢菲尔德大学）；Speechmatics
在视频动作识别中，Transformers始终达到最先进的精度。然而，对于硬件资源有限的普通研究人员来说，许多模型过于重量级。在这项工作中，我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率，并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类，并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好，尽管缺乏准确性。同时，仅注意力模型需要更多的运动建模能力，而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论，目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别，并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
Deep Neural Networks in Video Human Action Recognition: A Review
IEEE Publication Technology Group（IEEE出版技术组）
本文综述了2020至2022年深度神经网络在视频人体动作识别中的研究进展，比较了不同深度学习框架与数据集的优缺点，并指出深度神经网络在特征学习与提取任务中优于多数传统技术。
2023-05-25 cs.AI cs.CV cs.HC
UAV-GESTURE: A Dataset for UAV Control and Gesture Recognition
University of South Australia（南澳大学）；Defence Science and Technology Group（国防科学技术集团）
目前无人机记录的数据集主要限于动作识别和对象跟踪，而手势信号数据集主要在室内空间记录。目前，无人机指挥信号没有室外录制的公共视频数据集。通过利用UAV的视觉传感器和操作简单性，可以有效地与UAV一起使用手势信号。为了填补这一空白，使研究在更广泛的应用领域，我们提出了一个无人机姿态信号数据集记录在户外设置。我们从一般的飞机操纵和直升机操纵信号中选择了13种适用于基本无人机导航和指挥的手势。我们提供119个高清视频剪辑，由37151帧组成。使用基于姿势的卷积神经网络（P-CNN）计算的总体基线手势识别性能为91.9%。所有的帧都用身体关节和手势类进行了注释，以便将数据集的适用性扩展到更广泛的研究领域，包括手势识别，动作识别，人体姿势识别和态势感知。
2019-01-09 cs.CV cs.HC cs.LG
Self-attention based anchor proposal for skeleton-based action recognition
Zhejiang University（浙江大学）；Bournemouth University（伯恩茅斯大学）
骨架序列由于其轻量级和紧凑的特点被广泛应用于动作识别任务。由于图卷积网络具有良好的非欧数据建模能力，近年来的图卷积网络（GCN）方法在基于卷积的动作识别中取得了巨大的成功。GCN能够利用短距离的关节依赖关系，而缺乏直接建模的远距离关节关系，是至关重要的区分各种行动。因此，许多GCN方法试图采用分层机制来聚合更广泛的邻域信息。我们提出了一种新的基于自注意力的锚点建议（SAP）模块，全面建模的内部关系的人体运动特征学习。所提出的SAP模块旨在通过编码高阶角度信息而不是现有分层GCN方法中使用的固定成对骨连接，使用三元组表示来探索人体内的固有关系。在SAP模块中设计了一种基于自注意的锚点选择方法，用于提取编码角度信息的根点。通过将所提出的SAP模块与流行的时空图神经网络（例如MSG3D）耦合，它在具有挑战性的基准数据集上实现了新的最先进的精度。进一步的消融研究表明，我们提出的SAP模块的有效性，这是能够显着提高性能的许多流行的基于动作识别方法。
2021-12-17 cs.CV cs.MM
Adversarial Cross-Domain Action Recognition with Co-Attention
Stanford University（斯坦福大学）
动作识别一直是一个广泛研究的课题，其重点是涉及足够标记视频的监督学习。然而，跨域动作识别的问题，即训练和测试视频来自不同的底层分布，在很大程度上仍然没有得到充分的探索。以前的方法直接采用跨域图像识别技术，往往遭受严重的时间错位问题。提出了一种时间协同注意网络（TCoN），该网络通过一种新的跨域协同注意力机制匹配源域和目标域之间时间对齐的动作特征分布。在三个跨域动作识别数据集上的实验结果表明，TCoN在跨域设置下显著改善了以前的单域和跨域方法。
2019-12-22 cs.CV cs.LG eess.IV
Application-Driven AI Paradigm for Human Action Recognition
ChinaUnicom（中国联通）
计算机视觉中的人体动作识别是近年来研究的热点。然而，大多数算法只考虑特定的动作，计算代价甚至很高。这不适合于需要以低计算成本识别多个动作的实际应用。为了满足不同的应用场景，本文提出了一个统一的人体动作识别框架，多形式的人体检测和相应的动作分类。其中，构建开源数据集，训练区分人体全身、上半身或部分身体的多形态人体检测模型，并采用后续动作分类模型识别摔倒、睡觉或值班等动作，部分实验结果表明，该统一框架对多种应用场景有效。它有望成为一种新的应用驱动的人工智能范式，用于人类动作识别。
2022-09-30 cs.AI cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Egocentric RGB+Depth Action Recognition in Industry-Like Settings
University of Central Florida（中佛罗里达大学）
本文面向类工业场景的自我中心 RGB-D 动作识别，基于 3D Video SWIN Transformer、指数衰减 focal loss 与后期融合，在 MECCANO 上显著超越先前方法并赢得 ICIAP 2023 挑战赛冠军。
2023-09-25 cs.CV eess.IV
Temporal Unet: Sample Level Human Action Recognition using WiFi
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）；Carneige Mellon University（卡内基梅隆大学）
人体动作会产生WiFi失真，这一问题在动作识别中得到了广泛的研究，如老人跌倒检测、手势语识别、手势估计等。作为我们最好的调查，过去的工作承认人类的行动分类一个完整的扭曲系列到一个行动，我们称之为系列级的行动识别。在本文中，我们将一个更细粒度和更具挑战性的动作识别任务引入WiFi传感领域，即，样本级动作识别。在该任务中，整个序列中的每个WiFi失真样本都应该被归类为一个动作，这是精确动作定位、连续动作分割和实时动作识别的关键技术。为了实现基于WiFi的样本级动作识别，我们充分分析了基于图像的语义分割以及基于视频的帧级动作识别方法，然后提出了一种简单而高效的深度卷积神经网络，即，时间不确定性。实验结果表明，Temporal Unet能够很好地完成这一任务.代码已在www.example.com上公开发布。
2019-04-19 cs.CV cs.HC eess.SP
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh（匹兹堡大学）
针对第一人称活动识别的域偏移问题，提出整合运动、音频、外观特征的多模态框架，通过音频旁白增强音文对齐等策略，在ARGO1M数据集上实现SOTA性能，提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
FisheyeHDK: Hyperbolic Deformable Kernel Learning for Ultra-Wide Field-of-View Image Recognition
Thales（泰雷兹集团）；Thales Digital Solutions（泰雷兹数字解决方案公司）；INRIA（法国国家信息与自动化研究所）
传统的卷积神经网络（CNN）在窄视场（FoV）图像上训练是用于对象识别任务的最先进方法。一些方法提出了通过学习可变形内核来使CNN适应超宽FoV图像。然而，它们受到欧几里得几何的限制，并且它们的精度在鱼眼投影引起的强烈失真下降低。在这项工作中，我们证明了在非欧几里德空间中学习卷积核的形状比现有的可变形核方法更好。特别是，我们提出了一种新的方法，学习变形核参数（位置）在双曲空间。FisheyeHDK是一种混合CNN架构，结合了双曲和欧几里得卷积层，用于位置和特征学习。首先，我们为宽FoV图像提供双曲空间的直观性。使用合成失真配置文件，我们证明了我们的方法的有效性。我们选择了两个透视图像数据集- Cityscapes和BDD 100 K 2020，我们将其转换为不同比例因子（模拟焦距）的鱼眼等效图像。最后，我们提供了一个实验的数据收集一个真正的鱼眼相机。验证和实验表明，我们的方法改进了现有的可变形核方法的CNN适应鱼眼图像。
2022-03-14 cs.CV
Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks
Assiut University（艾斯尤特大学）
无约束文本识别是一个重要的计算机视觉任务，具有各种不同的子任务，每个子任务都有自己的挑战。深度神经网络的最大承诺之一是从输入原始信号中提取特征的收敛和自动化，从而以最少的领域知识实现尽可能高的性能。为此，我们提出了一个数据高效，端到端的神经网络模型通用，无约束的文本识别。在我们提出的架构中，我们努力在不牺牲识别精度的情况下实现简单性和效率。我们提出的架构是一个完全卷积的网络，没有任何使用CTC损失函数训练的循环连接。因此，它可以对任意大小的输入进行操作，并以非常高效和可并行的方式生成任意长度的字符串。我们通过在七个公共基准数据集上实现最先进的结果来展示我们所提出的文本识别架构的通用性和优越性，这些数据集涵盖了广泛的文本识别任务，即：手写识别，CAPTCHA识别，OCR，车牌识别和场景文本识别。我们提出的架构赢得了ICFHR 2018 READ数据集自动文本识别竞赛。
2018-12-31 cs.CV
Wide-Slice Residual Networks for Food Recognition
University of Udine（乌迪内大学）
食品日记应用代表了一个诱人的市场。这些基于图像食物识别的应用为计算机视觉和模式识别算法带来了新的挑战。该领域最近的工作集中在手工制作的表示或通过利用深度神经网络来学习这些表示。尽管这最后一个系列的作品取得了成功，但这些作品通常利用现成的深层架构来对菜肴进行分类。因此，架构并不是针对特定的问题。我们相信，如果根据食物成分的分析来定义深层结构，可以获得更好的结果。遵循这样的直觉，这项工作引入了一个新的深度计划，旨在处理食物结构。具体来说，受最近成功的残差深度网络的启发，我们利用这样的学习方案，并引入切片卷积块来捕获垂直食物层。深度残差块的输出与切片卷积相结合，以产生特定食物类别的分类分数。为了评估我们提出的架构，我们进行了三个基准数据集的实验结果。结果表明，我们的解决方案显示出更好的性能相对于现有的方法（例如，在Food-101挑战数据集上的前1准确度为90.27%）。
2016-12-20 cs.CV
A Performance Comparison of Loss Functions for Deep Face Recognition
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
人脸识别是当今设备中最广泛宣传的功能之一，因此代表了应该优先研究的重要问题。根据最近的趋势，基于卷积神经网络（CNN）的方法在包括人脸识别在内的许多计算机视觉任务中非常成功。在CNN的顶部使用损失函数来判断任何网络的优劣。在本文中，我们提出了一个不同的损失函数，如交叉熵，角Softmax，加法边际Softmax，弧面和边缘损失的人脸识别性能比较。实验使用两种CNN架构进行，即ResNet和MobileNet。两个广泛使用的人脸数据集，即CASIA-Webface和MS-Celeb-1 M用于训练和基准标签人脸在野生（LFW）人脸数据集用于测试。
2019-11-06 cs.CV
Divide&Classify: Fine-Grained Classification for City-Wide Visual Place Recognition
Politecnico di Torino（都灵理工大学）
针对城市级密集视觉地点识别中检索推理慢的问题，提出Divide&Classify分类框架，通过空间划分与原型分类器集成实现快速高精度定位，并可加速检索流程20倍以上且提升召回率。
2023-12-06 cs.CV
Dual Directed Capsule Network for Very Low Resolution Image Recognition
IIIT-Delhi（德里英迪拉·甘地信息技术学院）
甚低分辨率（VLR）图像识别对应于对分辨率为16 x16或更小的图像进行分类。虽然它在距离很远（例如监视场景）或从广角移动摄像机捕获目标时具有广泛的适用性，但它受到的关注有限。本研究提出一种新的双向胶囊网络模型，称为DirectCapsNet，用于解决VLR数字和人脸识别。所提出的架构利用胶囊和卷积层的组合来学习有效的VLR识别模型。该架构还结合了两个新的损失函数：（i）提出的HR锚损失和（ii）提出的有针对性的重建损失，以克服VLR图像中有限的信息内容的挑战。所提出的损失使用高分辨率图像作为训练过程中的辅助数据，以“指导”判别特征学习。针对VLR数字分类和VLR人脸识别进行了多个实验，并与最先进的算法进行了比较。所提出的DirectCapsNet始终展示了最先进的结果;例如，在UCCS人脸数据库上，当16 x16图像与80 x80图像匹配时，它显示出超过95%的人脸识别准确率。
2019-08-27 cs.CV
Right whale recognition using convolutional neural networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
我们研究了使用卷积神经网络识别单个露脊鲸（Eubalaena glacialis）的可行性。先前的研究表明，CNN可以用于广泛的分类和归类任务，如自动人脸识别。为了测试深度学习对鲸鱼识别的适用性，我们根据文献中的最佳实践开发了几个模型。在这里，我们描述了模型的性能。我们得出结论，机器识别鲸鱼是可行的，并评论的困难问题
2016-04-19 cs.CV
Lexicon and Attention based Handwritten Text Recognition System
Panjab University（旁遮普大学）；D.M. College（D.M.学院）；PRL（物理研究实验室）
手写文本识别问题是模式识别的一个子领域，由于其改进的范围和对日常生活的适用性，受到计算机视觉界研究者的广泛关注。由于过去几十年来计算机计算能力的进步，基于神经网络的系统对提供最先进的手写文本识别器做出了重大贡献。在同样的方向上，我们采用了两种最先进的神经网络系统，并将注意力机制与之融合，注意力技术已经广泛应用于神经机器翻译和自动语音识别领域，目前正在文本识别领域得到实现。在这项研究中，我们能够实现4.15%的字符出错率和9.72%的字出错率的IAM数据集，7.07%的字符出错率和16.14%的字出错率的GW数据集合并后的注意力和字束搜索解码器与现有的Flor等人。架构。为了进一步分析，我们还使用了类似于Shi等人的系统。具有贪婪解码器的神经网络系统，并观察到从基本模型的字符出错率改善了23.27%。
2022-09-11 cs.CV
DeepIris: Iris Recognition Using A Deep Learning Approach
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
虹膜识别在过去的几十年里一直是一个活跃的研究领域，因为它在安全方面有着广泛的应用，从机场到国土安全边境控制。过去已经提出了不同的特征和算法用于虹膜识别。在本文中，我们提出了一个基于残差卷积神经网络（CNN）的端到端虹膜识别深度学习框架，它可以联合学习特征表示并执行识别。我们训练我们的模型在一个著名的虹膜识别数据集上，只使用几个训练图像，从每个类，并显示出有前途的结果和改进，比以前的方法。我们还提出了一种可视化技术，它能够检测虹膜图像中的重要区域，这可能是最影响识别结果。我们相信这个框架可以广泛应用于其他生物识别任务，有助于拥有更可扩展和更准确的系统。
2019-07-22 cs.CV cs.LG
Levelling the Playing Field: A Comprehensive Comparison of Visual Place Recognition Approaches under Changing Conditions
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
近年来，视觉位置识别（VPR）方法的能力有了显着的提高，建立在手工制作和学习的视觉特征，时间过滤和使用语义场景信息的成功。广泛的方法和对该领域的兴趣相对较新的增长意味着已经提出了广泛的数据集和评估方法，通常只关注精确召回型指标，使得比较困难。在本文中，我们提出了一个全面的方法来评估性能的10个国家的最先进的最近开发的VPR技术，它利用三个标准化的指标：（a）匹配性能b）匹配时间c）内存占用。总之，这种分析提供了一个最新的和广泛的快照的各种优势和弱点的当代方法的VPR问题。这项工作的目的是帮助这个特定的研究领域走向一个更成熟和统一的方法来解决这个问题，使更好的比较，从而在未来的研究取得更多的进展。
2019-04-29 cs.CV
Are Gabor Kernels Optimal for Iris Recognition?
University of Notre Dame（圣母大学）
Gabor核被广泛接受为虹膜识别的主要滤波器。在这项工作中，我们调查，鉴于目前的兴趣在神经网络，如果Gabor内核是唯一的家庭的功能在虹膜识别中表现最好，或者如果更好的过滤器可以直接从虹膜数据学习。我们使用（故意）单层卷积神经网络，因为它模仿基于虹膜代码的算法。我们学习了两组数据驱动的内核;一组从随机初始化的权重开始，另一组从开源的Gabor内核开始。通过实验，我们证明了网络不会收敛于Gabor内核，而是收敛于边缘检测器，斑点检测器和简单波的混合。在我们对三个主题不相交的数据集进行的实验中，我们发现这些学习的内核的性能与开源的Gabor内核相当。这些使我们得出两个结论：（a）在虹膜识别中提供最佳性能的函数家族比Gabor内核更广泛，以及（b）我们可能达到了使用单个卷积层的虹膜编码算法的最大性能，但具有多个过滤器。与这项工作一起发布的是一个学习数据驱动内核的框架，可以很容易地移植到开源虹膜识别软件（例如，OSIRIS -开源IRIS）中。
2020-02-20 cs.CV
Rapid Feature Extraction for Optical Character Recognition
North South University（北南大学）；Independent University Bangladesh（孟加拉国独立大学）；City University of Hong Kong（香港城市大学）
特征提取是字符识别的基本问题之一。字符识别系统的性能取决于正确的特征提取和正确的分类器选择。本文提出了一种快速的特征提取方法--Celled Projection（CP）方法。所提出的方法的识别性能进行了比较与其他广泛使用的特征提取方法，深入研究了许多不同的脚本在文献中。实验已经进行了使用孟加拉语手写数字与三个不同的知名的分类，表现出可比的结果，包括94.12%的识别精度，使用细胞投影。
2012-06-01 cs.CV
Person Recognition using Facial Micro-Expressions with Deep Learning
Tel Aviv University（特拉维夫大学）
本研究提出一种深度学习方法，通过精细时间分辨率捕捉面部微表情的空间语义与运动，用于增强人物识别，并在三个数据库上取得显著优于现有基准的识别准确率。
2023-06-24 cs.CV
Deep Learning for Iris Recognition: A Review
Hunan First Normal University（湖南第一师范学院）；Southeast University（东南大学）；National University of Defense Technology（国防科技大学）
虹膜识别是一种安全的生物识别技术，以其稳定性和隐私性而闻名。由于没有两个虹膜是相同的，并且在人的一生中几乎没有变化，虹膜识别被认为比其他生物识别方法更可靠，更不容易受到外部因素的影响。与传统的基于机器学习的虹膜识别方法不同，深度学习技术不依赖于特征工程，拥有出色的性能。本文收集了120篇相关论文，对基于深度学习的虹膜识别的发展进行了总结。本文首先介绍了虹膜识别的研究背景以及本文的研究动机和贡献。然后，我们介绍了虹膜识别中广泛使用的常见数据集。在此基础上，总结了基于深度学习技术的虹膜识别过程中涉及的关键任务，包括识别、分割、呈现攻击检测和定位。最后，我们讨论了虹膜识别的挑战和潜在的发展。本文综述了基于深度学习的虹膜识别的研究进展。
2023-03-15 cs.CV
Online Handwritten Devanagari Stroke Recognition Using Extended Directional Features
University of Calicut（卡利卡特大学）；Tata Consultancy Services Limited（塔塔咨询服务有限公司）
本文介绍了一种新的特征集，称为扩展方向特征（EDF）用于在线手写笔画识别。我们专门使用EDF来识别笔画，这些笔画构成了生成梵文脚本的基础，梵文脚本是使用最广泛的印度语言脚本。应当注意，手写体中的笔划识别相当于语音信号中的音素识别，并且通常非常差，对于歌唱声为20%的量级。实验进行了自动识别孤立的手写笔划。首先，我们描述了建议的功能集，即EDF，然后显示如何有效地利用这个功能，通过笔划识别作家独立的脚本识别。实验结果表明，扩展的方向特征集表现良好，约65+%的笔画水平识别准确率为作者无关的数据集。
2015-01-11 cs.CV
Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
The University of Adelaide（阿德莱德大学）
越来越深的神经网络的趋势是由一个普遍的观察所驱动的，即增加深度会提高网络的性能。然而，最近越来越多的证据表明，简单地增加深度可能不是提高性能的最佳方法，特别是考虑到其他限制。对深度剩余网络的研究也表明，它们实际上可能不是作为一个单一的深度网络运行，而是作为许多相对较浅的网络的集合体运行。我们研究这些问题，并在这样做，在一个新的解释解开深残差网络的观点，解释了一些已经观察到的实验行为。因此，我们能够推导出一种新的、更浅的残差网络架构，它在ImageNet分类数据集上的性能明显优于更深的模型，如ResNet-200。我们还表明，这种性能是可转移到其他问题领域，通过开发一个语义分割的方法，它优于国家的最先进的数据集，包括PASCAL VOC，PASCAL上下文，城市景观的显着利润率。因此，我们提出的架构优于其比较器，包括非常深的ResNets，但在内存使用方面更有效，有时在训练时间方面也更有效。代码和模型可在https://github.com/itijyou/ademxapp上获得
2016-11-30 cs.CV
Rawgment: Noise-Accounted RAW Augmentation Enables Recognition in a Wide Variety of Environments
Sony Group Corporation（索尼集团公司）
在具有挑战性的环境中工作的图像识别模型（例如，极暗、模糊或高动态范围条件）必须是有用的。然而，由于数据汇集和注释的困难，为这样的环境创建训练数据集是昂贵且困难的。如果我们能够在不需要难以获得的数据集的情况下获得一个强大的模型，这是可取的。一种简单的方法是将颜色抖动和模糊等数据增强应用于简单场景中的标准RGB（sRGB）图像。不幸的是，由于没有考虑图像信号处理器（ISP）的非线性和图像传感器的噪声特性，这种方法难以在像素强度和噪声分布方面产生逼真的图像。相反，我们提出了一种噪声占RAW图像增强方法。本质上，在应用非线性ISP之前，将颜色抖动和模糊增强应用于RAW图像，从而产生逼真的强度。此外，我们引入了一个噪声量对齐方法，校准的域间隙的噪声属性所造成的增强。我们表明，我们提出的噪声占RAW增强方法在具有挑战性的环境中，只有简单的训练数据的图像识别精度翻了一番。
2023-03-27 cs.CV eess.IV
Deep Versus Wide Convolutional Neural Networks for Object Recognition on Neuromorphic System
University of Dayton（代顿大学）
在过去的十年中，专用计算系统（诸如类脑计算）在用于分类任务的计算机视觉和机器学习领域中已经变得非常流行。2015年，IBM发布了TrueNorth神经形态系统，开启了类脑计算的新时代。或者，深度学习方法，如深度卷积神经网络（DCNN），在检测和分类任务中显示出几乎人类水平的准确性。IBM在2016年发布了一个用于DCNN的深度学习框架，称为节能深度神经形态网络（Eedn）。Eedn使用IBM的TrueNorth芯片，在许多不同的基准测试中提供高精度，同时功耗非常低。然而，在神经形态系统上使用Eedn框架进行分类任务时，仍有许多事情未被发现。在本文中，我们对Eedn框架内实现的不同DCNN架构的性能进行了经验评估。这项工作的目标是发现使用TrueNorth系统实现对象分类任务的DCNN模型的最有效方法。我们使用MNIST、COIL 20和COIL 100等基准数据集进行了实验。在IBM的NS1e神经突触系统上的实验结果显示了非常有希望的分类精度和非常低的功耗。结果表明，对于具有大量类别的数据集，与IBM TrueNorth系统上由几乎相同的核心复杂性组成的深度网络相比，更宽的网络表现更好。
2018-02-07 cs.CV
Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology（燕京理工学院）
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景，安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点，使得高分辨率人脸识别算法难以提取有效的特征信息，应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要，开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法（CoFFaR），该方法适用于均匀低分辨率的监控视频，详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
Learning Joint Feature Adaptation for Zero-Shot Recognition
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
零触发识别（Zero-Shot Recognition，简称ZDR）的目的是基于从相关的可见类源和目标域数据对中学习到的模型来识别未见过类的目标域数据实例。CSTR中的一个关键挑战是源域特征的相对稀缺性（例如，每个类一个特征向量），这并不能完全解释目标域实例中的广泛变化。在本文中，我们提出了一种新的框架，学习数据相关的特征变换得分之间的任意一对源和目标数据实例的相似性，以占目标域的广泛变化。我们提出的方法是基于优化的局部特征位移，最大限度地提高源目标自适应相似性函数的参数化家庭。因此，我们建议制定零样本学习（ZML）使用潜在的结构支持向量机学习我们的相似性函数从训练数据。作为示范，我们设计了一个具体的算法，在所提出的框架下，涉及双线性相似性函数和正则化最小二乘作为特征位移的惩罚。我们在几个基准数据集上测试了我们的方法，并显示出比最先进的方法有显着的改进。例如，在P &Y数据集上，我们可以实现80.89%的识别准确率，比最先进的方法高出11.15%。
2016-12-03 cs.CV
A Distributed Approximate Nearest Neighbor Method for Real-Time Face Recognition
如今，人脸识别和更普遍的图像识别在现代世界中有许多应用，并广泛用于我们的日常任务中。提出了一种基于分布式近似近邻（ANN）的实时的【形】人脸识别方法。所提出的方法是基于使用聚类方法将数据集分成不同的聚类，并通过定义聚类权重来指定每个聚类的重要性。为此，使用最大似然方法基于聚类权重从每个聚类中选择参考实例。这个过程导致更明智的实例选择，因此它提高了算法的性能。实验结果证实了所提出的方法的效率和它的准确性和处理时间方面的性能。
2020-08-27 cs.CV
Action Units Recognition Using Improved Pairwise Deep Architecture
Advanced Converging Technologies Laboratories（先进融合技术实验室）
面部动作单元（AU）代表一组面部肌肉活动，并且AU的各种组合可以代表广泛的情绪。AU识别通常用于许多应用，包括营销、医疗保健、教育等。虽然许多研究已经开发了各种方法来提高识别精度，但它仍然是AU识别的主要挑战。在2020年野外情感行为分析（ABAW）竞赛中，我们提出了一种新的自动动作单元（AU）识别方法，该方法使用成对深度架构来推导每个AU的伪强度，然后将其转换为预测强度。今年，我们在去年的框架中引入了一项新技术，以进一步减少由于临时面部遮挡（如手放在脸上或大脸方向）而导致的AU识别错误。我们在今年比赛的验证数据集中获得了0.65分。
2021-07-08 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL（洛桑联邦理工学院）
对抗攻击已被广泛研究的一般分类任务，但仍未探索的细粒度识别的上下文中，类间的相似性促进攻击者的任务。在本文中，我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此，我们引入了一种基于注意力的正则化机制，该机制最大限度地分离不同类别的区别性潜在特征，同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样，这使我们能够显着提高对对抗攻击的鲁棒性，达到匹配甚至超过对抗训练的程度，但不需要访问对抗样本。
2020-06-10 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University（纳扎尔巴耶夫大学）
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而，使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展，但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中，我们提出了一个有效的和简单的面部表情识别算法，以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序，以消除强度偏移，随后与最小最大度量的最近邻分类器，能够抑制特征离群值。实验结果表明，在JAFFE数据库上测试时，所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
MakeupAttack: Feature Space Black-box Backdoor Attack on Face Recognition via Makeup Transfer
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出MakeupAttack，一种基于妆容迁移的人脸识别特征空间黑盒后门攻击方法，通过迭代训练范式学习妆容风格触发器并利用自适应选择方法促进触发器多样性，有效绕过现有防御且不损害模型性能。
2024-08-22 cs.CV
Optimizing Face Recognition Using PCA
Faculty of Computer Sciences and Information Technology, King Abdulaziz University（阿卜杜勒阿齐兹大学计算机科学与信息技术学院）；College of Computer and Information Sciences, King Saud University（沙特国王大学计算机与信息科学学院）
主成分分析是一种经典的特征提取和数据表示技术，广泛应用于模式识别。它是人脸识别中最成功的技术之一。但它也存在计算量大的缺点，特别是对于大型数据库。本文研究了在不影响识别性能的前提下优化特征脸PCA（eigenface）的时间复杂度。作者最小化参与的特征向量，从而减少了计算时间。比较了原算法和改进算法在识别时间上的差异。在face94人脸库上对改进算法和原算法进行了性能测试。实验结果表明，应用我们提出的增强算法，识别时间减少了35%。DET曲线用于说明实验结果。
2012-06-07 cs.CV
Facial Expression Recognition in the Wild using Rich Deep Features
Microsoft Advanced Technology labs（微软先进技术实验室）；Microsoft Technology and Research（微软技术与研究）
人脸表情识别是计算机视觉的一个活跃的研究领域，具有广泛的应用前景。已经开发了几种方法来解决不同基准数据集的这个问题。然而，野外的面部表情识别仍然是一个需要做大量工作才能服务于现实世界应用的领域。为此，在本文中，我们提出了一种新的方法对面部表情识别。我们通过编码判别式面部补丁将丰富的深度特征与领域知识融合在一起。我们在两个最流行的基准数据集上进行实验; CK和TFE。此外，我们提出了一个新的数据集，与其先例不同，由自然的-不采取行动-表达图像。实验结果表明，我们的方法实现了国家的最先进的结果超过标准的基准和我们自己的数据集
2016-01-11 cs.CV
Spatial Transformer Network on Skeleton-based Gait Recognition
South China University of Technology（华南理工大学）
步态识别模型的Rank-1识别率从正常行走的90%到穿大衣行走的70%不等，鲁棒性差。在这项工作中，我们提出了一个国家的最先进的鲁棒的基于卷积的步态识别模型称为步态TR，这是基于空间Transformer框架和时间卷积网络的组合。Gait-TR在步态数据集CASIA-B上实现了比其他基于机器学习的步态模型更高的精度和更好的鲁棒性。特别是在穿着外套行走的情况下，Gait-TR的Rank-1步态识别准确率达到90%，高于基于轮廓的步态识别模型的最佳结果，而基于轮廓的步态识别模型通常具有更高的准确率。此外，我们在CASIA-B上的实验表明，空间Transformer可以更好地从人体骨骼提取步态特征比广泛使用的图卷积网络。
2022-04-08 cs.CV
Artificial Neural Networks for Finger Vein Recognition: A Survey
Hunan First Normal University（湖南第一师范学院）；National University of Defense Technology（国防科技大学）；Northeastern University（东北大学）
手指静脉识别是一种新兴的生物特征识别技术。与身体表面的其他生物特征不同，手指的静脉血管组织深埋在皮肤内。由于这个优点，手指静脉识别是高度稳定和私密的。它们几乎不可能被盗，也很难受到外部条件的干扰。与传统的基于机器学习的手指静脉识别方法不同，人工神经网络技术，特别是深度学习，不依赖于特征工程，具有优越的性能。为了总结基于人工神经网络的手指静脉识别的研究进展，本文收集了149篇相关论文。首先，我们介绍了手指静脉识别的背景和本次调查的动机。然后，介绍了人工神经网络的发展历史和用于手指静脉识别任务的代表性网络。然后描述了在手指静脉识别中广泛使用的公共数据集。在此基础上，分别总结了基于经典神经网络和深度神经网络的手指静脉识别任务。最后，对手指静脉识别中存在的问题和未来的发展方向进行了展望.据我们所知，本文是第一个全面的调查集中在手指静脉识别的基础上人工神经网络。
2022-08-29 cs.CV
Incomplete Multi-Label Image Recognition by Co-learning Semantic-Aware Features and Label Recovery
School of Mathematics and Information Science（数学与信息科学学院）；Nanchang Hangkong University（南昌航空大学）
本文提出CSL框架，通过协同学习语义感知特征与标签恢复，提升不完整多标签图像识别性能。
2026-03-02 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University（密歇根州立大学）
递归网络已经成功地分析了时间数据，并已被广泛用于视频分析。然而，对于视频人脸识别，在大规模数据上训练的基本CNN已经提供了有区别的特征，使用长短期记忆（LSTM），一种流行的递归网络，进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络（REAN）集到集人脸识别。与LSTM相比，REAN对过拟合具有鲁棒性，因为它只学习如何聚合预训练的嵌入，而不是从头开始学习表示。与质量感知的聚合方法相比，REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明，所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
Vision-Language Models for Vision Tasks: A Survey
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文系统综述了视觉语言模型（VLMs）在视觉识别任务中的应用，涵盖其背景、基础架构、数据集、预训练与迁移方法及未来方向，旨在解决传统范式依赖众包标注且需逐任务训练的痛点。
2024-02-16 cs.CV
MobiFace: A Lightweight Deep Learning Face Recognition on Mobile Devices
Concordia University（康考迪亚大学）；University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络已广泛用于众多计算机视觉应用中，特别是在人脸识别中。然而，在移动设备上部署深度神经网络人脸识别最近已经成为一种趋势，但仍然有限，因为大多数高精度深度模型在推理阶段都是时间和GPU消耗。因此，开发轻量级深度神经网络是在移动设备上部署人脸识别的最实用的解决方案之一。这种轻量级深度神经网络需要具有少量权重表示和低成本算子的高效存储器。在本文中，一种新的深度神经网络命名为人脸识别，一个简单但有效的方法，提出了在移动设备上有效地部署人脸识别。实验结果表明，我们的轻量级人脸识别算法在LFW数据库上的识别率达到99.73%，在大规模的Megaface数据库上的识别率达到91.3%。它最终也可以与大规模深度网络人脸识别竞争，同时显著减少计算时间和内存消耗。
2019-04-17 cs.CV
