Deep Learning Based Vehicle Tracking System Using License Plate Detection And Recognition
Shah and Anchor Kutchhi Engineering College(沙阿与安克尔库奇工程学院)
车辆跟踪是智能交通管理系统中不可或缺的一部分。以前的车辆跟踪系统使用基于全球定位系统(GPS)的系统,该系统通过智能手机提供个人车辆的位置。所提出的系统使用车辆牌照检测和识别(VLPR)技术进行车辆跟踪的新方法,该方法可以与交通管理系统大规模集成。最初的方法,实现VLPR使用简单的图像处理技术,这是相当实验性和启发性。随着深度学习和计算机视觉的出现,人们可以创建强大的VLPR系统,可以产生接近人类效率的结果。基于深度学习的先前实现利用目标检测和支持向量机进行检测,并利用基于启发式图像处理的方法进行识别。该系统利用场景文本检测模型架构进行车牌检测,并使用光学字符识别引擎(OCR)Tesseract进行识别。该系统在高速公路视频上使用NVIDIA Ge-force RTX 2080 ti GPU进行测试时,获得了非常出色的结果,速度为每秒30帧,精度接近人类。
2020-05-10 cs.CV cs.LG eess.IV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University(华盛顿州立大学)
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此,需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中,我们使用卷积神经网络开发了一个迁移学习框架,以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
Robust real time face recognition and tracking on gpu using fusion of rgb and depth image
Indian Institute of science(印度科学院)
提出了一种基于kinect传感器的实时人脸识别系统。该算法是在GPU上使用opencl和显着的速度提高。我们使用Kinect深度图像来增加鲁棒性,并减少传统的基于LBP的人脸识别的计算成本。本文的主要目标是进行鲁棒的,高速融合的人脸识别和跟踪。该算法主要由三个步骤组成。第一步是使用viola jones算法检测视频中的所有人脸。第二步是使用面部跟踪窗口在线生成数据库。在GPU上利用深度和灰度图像的融合信息计算改进的LBP特征向量。此特征向量用于训练支持向量机分类器。第三步是基于我们修改后的特征向量识别多个人脸。
2015-04-08 cs.CV
A Hierarchical Deep Temporal Model for Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
在群体活动识别中,整个活动的时间动态可以基于表示活动的个体人的动态来推断。我们构建了一个基于LSTM(长短期记忆)模型的深度模型来捕捉这些动态。为了利用这些观察结果,我们提出了一个两阶段的深层时间模型的群体活动识别问题。在我们的模型中,一个LSTM模型被设计用于表示序列中个体人的动作动态,另一个LSTM模型被设计用于聚合人类级别的信息以进行整体活动理解。我们在两个数据集上评估我们的模型:集体活动数据集和一个新的排球数据集。实验结果表明,我们提出的模型提高了群体活动识别性能与基线方法相比。
2016-04-05 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University(印第安纳大学)
在本文中,我们介绍了一个具有挑战性的新数据集,MLB-YouTube,专为细粒度活动检测而设计。该数据集包含两个设置:分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构,通过分类分割的视频和扩展这些方法,以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现,学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Indoor Activity Detection and Recognition for Sport Games Analysis
University of Graz(格拉茨大学)
体育运动中的动作识别是计算机视觉的一个研究热点。游戏,球员和团队分析是非常感兴趣的,在这个领域的研究课题出现了自动化分析的目标。运动的非常具体的基本规则可以用作识别任务的先验知识,并提供用于评估的约束环境。本文以排球运动为例,阐述了对体育运动中单人活动的认识。从每帧播放器为中心的活动识别开始,我们将几何形状和上下文信息通过活动上下文描述符,收集有关所有玩家的活动在一定的时间跨度相对于调查的球员的信息。在我们新的现实生活数据集上评估了这种上下文信息对单人活动识别的好处,该数据集提供了近36k的注释帧,其中包含6个职业排球比赛视频中的7个活动类。我们结合的上下文信息提高了77.56%的平均球员为中心的分类性能高达18.35%的特定类,证明时空背景是活动识别的重要线索。
2014-04-25 cs.CV
Automatic vehicle tracking and recognition from aerial image sequences
University of St Andrews(圣安德鲁斯大学)
本文研究了从航空图像序列中自动跟踪和识别车辆的问题。由于其在现有文献中的成功,重点关注使用线性外观子空间来描述多视图对象外观,并强调其作为实际系统的一部分的应用所涉及的挑战。描述了一个工作解决方案,其中包括数据提取和归一化的步骤。在对真实世界数据的实验中,所提出的方法取得了令人鼓舞的结果,具有较高的正确识别率和很少的有意义的错误(第二类错误,即真正相似的目标有时会相互混淆)。未来的研究方向和可能的改进所提出的方法进行了讨论。
2015-06-23 cs.CV
Deep Structured Models For Group Activity Recognition
Simon Fraser University(西蒙菲莎大学);SPORTLOGiQ
本文提出了一种基于深度神经网络的分层图形模型,用于监控场景中的个人和群体活动识别。深度网络用于识别场景中单个人的动作。接下来,基于神经网络的分层图形模型通过考虑类之间的依赖关系来细化每个类的预测标签。这个细化步骤模仿了类似于概率图模型中的推理的消息传递步骤。我们证明了这种方法在群体活动识别中是有效的,深度图形模型比基线方法提高了识别率。
2015-06-12 cs.CV
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用,这些系统可用于视觉监控,患者康复,游戏,甚至个人倾向的灵巧家庭。本文展示了我们的努力,以开发一个协作决策融合机制,集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法,通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性,实验进行了两个基准数据集,UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
Object and Text-guided Semantics for CNN-based Activity Recognition
U.S. Army Research Laboratory(美国陆军研究实验室);Booz Allen Hamilton Inc.(博思艾伦汉密尔顿公司)
许多以前的方法已经证明了考虑语义相关对象对于执行基于视频的人类活动识别的重要性,但是没有一种方法能够获得大型文本语料库的能力来将对象和活动关联起来,以转移到学习统一的深度卷积神经网络中。我们提出了一种新的活动识别CNN,它在端到端的多任务学习方案中共同学习对象识别任务,以提高基线活动识别性能。我们进一步改进的多任务学习方法,利用文本引导的语义空间来选择最相关的对象相对于目标活动。据我们所知,我们是第一个研究这种方法的人。
2018-05-04 cs.CV
Improvement Tracking Dynamic Programming using Replication Function for Continuous Sign Language Recognition
Sepahan Institute of high Education(塞帕汉高等教育学院);Islamic Azad University Harand Branch(伊斯兰阿扎德大学哈兰德分校);Islamic Azad University Mashad Branch(伊斯兰阿扎德大学马什哈德分校)
在本文中,我们使用了复制函数(R。F.)用动态规划进行改进跟踪。中华民国F.将灰度值[0 255]转换为[0 1]。R. F.在皮肤区域更加醒目和可见。中华民国F.改进了动态规划(D.第页)手和脸重叠。实验结果表明,跟踪误差率降低了出错率11%,平均跟踪距离降低了7
2014-06-04 cs.CV
ARIC: An Activity Recognition Dataset in Classroom Surveillance Images
University of Electronic Science and Technology of China(电子科技大学)
针对课堂监控图像中活动识别面临的类别不平衡和高相似性挑战,构建了多视角、32类、三模态的ARIC数据集,并支持持续学习与少样本持续学习,以推动开放教学场景研究。
2025-02-28 cs.CV
Object Activity Scene Description, Construction and Recognition
Wuhan University of Technology(武汉理工大学);National University of Singapore(新加坡国立大学)
动作识别是社交机器人有意义地参与其环境的关键任务。基于人脸的三维人体动作识别是近年来的一个研究热点。虽然现有的方法在动作识别方面做得很好,但要识别活动场景中的一组动作是一个很大的挑战。为了解决这个问题,首先,我们划分成几个基本动作(PA)的运动注意力机制的基础上的场景。然后,基元动作由相应关节的轨迹向量描述。在此基础上,基于词嵌入的文本分类,我们采用卷积神经网络(CNN)识别活动场景,考虑到关节的运动作为“词”的活动。在人体活动场景数据集上的实验结果表明了该方法的有效性。
2018-05-01 cs.CV
Understanding and Improving Deep Neural Network for Activity Recognition
Harbin Institute of Technology(哈尔滨工业大学)
行为识别是近年来普适计算领域的一个研究热点。通过大量的实验可以得出基于活动传感器的数据在活动识别中的特点是多样性、数量和速度。深度学习技术及其各种模型是处理活动数据的最有效方法之一。然而,人们并不清楚它为什么表现如此出色,也不清楚如何使它更有效。为了解决这个问题,首先,我们将卷积神经网络应用于智能手机数据集的人体活动识别。其次,实现了从神经网络中提取的基于传感器活动的数据特征的可视化。然后对特征的可视化进行了深入的分析,探讨了活动与特征之间的关系,并分析了神经网络如何根据这些特征识别活动。之后,我们提取了与活动相关的重要特征,并将这些特征发送到基于DNN的融合模型,从而将分类率提高到96.1%。据我们所知,这是第一个可视化抽象的基于传感器的活动数据特征的工作。实验结果表明,本文提出的方法有望实现基于传感器的活动识别的准确分类。
2018-05-18 cs.CV
Improving the Multi-label Atomic Activity Recognition by Robust Visual Feature and Advanced Attention @ ROAD++ Atomic Activity Recognition 2024
Intelligent Perception and Image Understanding Lab(智能感知与图像理解实验室)
本文针对 Road++ Track3 多标签原子活动识别任务,通过优化数据处理、引入多种视觉骨干网络与 action-slot 模型并进行加权融合,将测试集 mAP 提升至 58%,较基线提高 4%。
2024-10-21 cs.CV
Group Activity Recognition using Unreliable Tracked Pose
La Trobe University(拉筹伯大学);Australian Institute of Sport(澳大利亚体育学院)
提出RePGARS方法,通过容忍不可靠追踪和姿态信息,解决视频群体活动识别中对高质量追踪的依赖问题,在无真实标注条件下性能优于现有算法。
2024-01-06 cs.CV
Boosted Multiple Kernel Learning for First-Person Activity Recognition
Middle East Technical University(中东技术大学);University of Birmingham(伯明翰大学)
由于可穿戴相机的日益普及,第一人称(以自我为中心)视频的活动识别最近受到了关注。已经有大量的努力调整现有的特征描述符,并为第一人称视频设计新的描述符。一个有效的活动识别系统需要选择和使用互补的功能和适当的内核为每个功能。在这项研究中,我们提出了一个数据驱动的第一人称活动识别框架,该框架在训练过程中有效地选择和组合特征及其各自的内核。我们的实验结果表明,使用多核学习(MKL)和提升MKL在第一人称活动识别问题中表现出改善的结果相比,国家的最先进的。此外,这些技术使扩展的框架与新的功能,在一个有效的和方便的方式。
2017-06-05 cs.CV
Cell tracking for live-cell microscopy using an activity-prioritized assignment strategy
RWTH Aachen(亚琛工业大学);Forschungszentrum Jülich GmbH(于利希研究中心)
细胞跟踪是活细胞成像中确定单细胞特征(如分裂模式或延伸率)的重要工具。与常见的多目标跟踪不同,在微生物活细胞实验中,细胞随着时间的推移而生长、移动和分裂,以形成密集堆积在单层结构中的细胞集落。随着细胞数量的增加,由于可能的关联数量的大量增加,在许多代中正确地遵循精确的细胞-细胞关联变得越来越具有挑战性。为了应对这一挑战,我们提出了一种快速无参数的细胞跟踪方法,该方法包括生长细胞的活动优先最近邻分配和将分裂母细胞分配给其子细胞的组合求解器。作为跟踪的输入,Omnipose用于实例分割。与传统的基于最近邻的跟踪方法不同,我们所提出的方法的分配步骤是基于高斯活动的度量,预测特定于细胞的迁移概率,从而限制了错误分配的数量。除了作为细胞跟踪的构建块之外,所提出的活动图是用于指示细胞活动的独立的无跟踪度量。最后,我们对不同帧速率的跟踪精度进行定量分析,以告知生命科学家当细胞轨迹是所需的关键结果时,为他们的培养实验选择合适的(在跟踪性能方面)帧速率。
2022-10-20 cs.CV q-bio.QM
Feature Learning for Interaction Activity Recognition in RGBD Videos
University of Science(科学大学)
本文提出了一种基于特征的人体活动识别方法,该方法从三维视频数据中学习,而不需要结合领域知识。对RGBD相机收集的数据进行的实验产生了优于其他技术的结果。我们的特征编码方法遵循视觉词袋模型,然后我们使用SVM分类器来识别活动。我们不使用骨架或跟踪信息,相同的技术应用于颜色和深度数据。
2015-08-10 cs.CV
On Multi-resident Activity Recognition in Ambient Smart-Homes
The Australian E-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织(CSIRO)澳大利亚电子健康研究中心)
随着对灵巧家庭中活动监测研究的日益关注,环境智能的使用促进了环境智能的使用,以降低部署成本并解决隐私问题。多居民活动识别的方法已经提出了几种,但是,仍然缺乏一个全面的基准,为未来的研究和实际选择的模型。在本文中,我们研究了不同的方法,多居民活动识别和评估他们在相同的数据集。实验结果表明,带门控递归单元的递归神经网络优于其他模型,并且具有相当高的效率,使用组合活动作为单个标签比将它们表示为单独的标签更有效。
2018-06-18 cs.CV
Lie-X: Depth Image Based Articulated Object Pose Estimation, Tracking, and Action Recognition on Lie Groups
Bioinformatics Institute, A*STAR(新加坡科技研究局生物信息学研究所)
从深度图像中对关节对象进行姿态估计、跟踪和动作识别是重要且具有挑战性的问题,通常单独考虑。本文提出了一个基于李群理论的统一范式,使我们能够共同解决这些相关问题。我们的方法也适用于广泛的铰接对象。在实验室动物(包括小鼠和鱼)以及人手上进行了经验评估。在这些应用程序中,它被证明提供竞争力的结果相比,国家的最先进的,和非平凡的基线,包括卷积神经网络和回归森林方法。
2016-09-13 cs.CV
On the Role of Event Boundaries in Egocentric Activity Recognition from Photostreams
University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Universitat Autónoma de Barcelona(巴塞罗那自治大学)
事件边界作为视频中人类活动的检测、定位和识别任务的预处理步骤起着至关重要的作用。通常,虽然它们固有的主观性,但时间界限被手动提供作为训练动作识别算法的输入。然而,它们在自我中心光流领域的活动识别中的作用迄今为止一直被忽视。在本文中,我们提供了自动计算的边界如何影响活动识别结果的新兴领域的自我中心的photostreams的见解。此外,我们收集了一个由15人通过可穿戴照相机获取的新注释数据集,并使用它向未见过的用户展示了几种基于深度学习的架构的泛化能力。
2018-09-06 cs.CV
Going Deeper than Tracking: a Survey of Computer-Vision Based Recognition of Animal Pain and Affective States
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Haifa(海法大学);University of São Paulo(圣保罗大学);Swedish University of Agricultural Sciences(瑞典农业科学大学);Universiteit Utrecht(乌得勒支大学);University of Glasgow(格拉斯哥大学);Silo AI;Boğaziçi University(博阿齐奇大学)
动物运动跟踪和姿态识别的进展已经改变了动物行为研究的游戏规则。最近,越来越多的作品比跟踪更“深入”,并解决了动物内部状态的自动识别,如情绪和疼痛,目的是改善动物福利,使其成为该领域系统化的及时时机。本文提供了一个全面的调查计算机视觉为基础的研究,对动物的情感状态和疼痛的识别,解决面部和身体行为分析。我们总结了到目前为止在这个主题中所做的努力-将它们分类到不同的维度,突出挑战和研究差距,并为推进该领域提供最佳实践建议,以及一些未来的研究方向。
2022-06-16 cs.CV
ATARS: An Aerial Traffic Atomic Activity Recognition and Temporal Segmentation Dataset
National Chengchi University(国立政治大学);Indiana University Bloomington(印第安纳大学伯明顿分校);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对现有交通原子活动数据集视角受限、仅含视频级标注的问题,该研究推出首个航拍多标签ATARS数据集,提出多标签时间原子活动识别新任务,实验验证了数据集的独特挑战并给出未来研究方向。
2025-03-24 cs.CV
Different Approaches for Human Activity Recognition: A Survey
Macquarie University(麦考瑞大学)
人类活动识别近年来由于其在健康、安全和监控、娱乐和智能环境等各个领域的应用而变得越来越重要。在人类活动识别方面已经做了大量的工作,研究人员利用不同的方法来识别人类活动,例如可穿戴,对象标记和无设备。在本文中,我们对2010-2018年期间在人类活动识别各个领域进行的工作进行了全面调查,主要关注无设备解决方案。无设备的方法变得非常流行,因为受试者不需要携带任何东西,而是用设备标记环境以捕获所需的信息。我们提出了一个新的分类法进行分类的研究工作在活动识别领域,并将现有的文献分为三个子领域:基于动作,基于运动,基于交互。我们进一步将这些领域划分为十个不同的子课题,并介绍了这些子课题的最新研究工作。以往的调查只集中于某一类活动,而今次的调查则涵盖活动识别的所有次范畴,并就这些次范畴的最新研究工作作出比较。具体来说,我们讨论的关键属性和设计方法的工作。然后,我们提供了基于10个重要指标的广泛分析,为读者提供了人类活动识别不同子领域的最新技术和趋势的完整概述。最后,我们讨论了开放的研究问题,并提供了未来的研究方向,在人类活动识别领域。
2019-06-11 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University(安娜大学)
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别,特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段:环境模型,对象表示,对象跟踪,活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
The ActivityNet Large-Scale Activity Recognition Challenge 2018 Summary
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Stanford University(斯坦福大学);Universidad del Norte(北方大学);Universiteit van Amsterdam(阿姆斯特丹大学)
第三届ActivityNet大型活动识别挑战赛于CVPR 2018举行,为期一天,重点关注从用户生成的视频中识别日常生活,高层次,目标导向的活动,如互联网视频门户中的活动。2018年的挑战赛举办了六项不同的任务,旨在推动视频语义视觉理解的极限,并将视觉内容与人类字幕联系起来。六个任务中有三个基于ActivityNet数据集,该数据集在CVPR 2015中引入,并以语义分类法分层组织。这些任务的重点是以提案、类标签和标题的形式及时跟踪活动的证据。在本期挑战中,我们主持了三个来宾任务,以丰富对视频中视觉信息的理解。来宾任务侧重于大规模活动识别问题的互补方面,涉及三个具有挑战性的最近编译的数据集:来自Google DeepMind的Kinetics-600数据集,来自Berkeley和Google的AVA数据集,以及来自MIT和IBM Research的Moments in Time数据集。
2018-08-23 cs.CV
Adaptation of Surgical Activity Recognition Models Across Operating Rooms
Intuitive Surgical Inc.(直觉外科公司);Stanford University(斯坦福大学)
自动手术活动识别可实现更智能的手术设备和更高效的工作流程。在新的手术室中集成这种技术有可能改善对患者的护理并降低成本。最近的工作在手术活动识别方面取得了很好的表现;然而,这些模型缺乏可推广性是这项技术大规模采用的关键障碍之一。在这项工作中,我们研究了手术室手术活动识别模型的普遍性。我们提出了一种新的领域自适应方法,以提高在新的手术室,我们只有未标记的视频的手术活动识别模型的性能。我们的方法为未标记的视频片段生成伪标签,并在片段的增强版本上训练模型。我们将我们的方法扩展到半监督领域自适应设置,其中目标域的一小部分也被标记。在我们的实验中,我们提出的方法在从两个手术室收集的480多个长手术视频的数据集上始终优于基线。
2022-07-07 cs.CV
A Multi-Stream Convolutional Neural Network Framework for Group Activity Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在这项工作中,我们提出了一个框架的基础上,多流卷积神经网络(CNN)的群体活动识别。CNN的流在不同的模式上分别训练,它们的预测在最后融合。每个流都有两个分支,用于基于人物和场景级别表示来预测组活动。提出了一种新的基于人体姿态估计的模态,以向模型中添加额外的信息。我们在排球和集体活动数据集上评估了我们的方法。实验结果表明,该框架能够实现最先进的结果时,多帧或单帧作为输入到模型的准确率分别为90.50%和86.61%的排球数据集,和87.01%的集体活动数据集上的多帧组活动。
2018-12-26 cs.CV
A Badminton Recognition and Tracking System Based on Context Multi-feature Fusion
Beijing Sport University(北京体育大学)
本文提出一种基于上下文多特征融合的羽毛球检测与跟踪系统,通过设计双轨迹片段跟踪器和粗到细的两轮检测,有效解决了小球识别难题,在无遮挡数据上取得高精确率与F1值。
2023-06-26 cs.CV
Extreme Low Resolution Activity Recognition with Confident Spatial-Temporal Attention Transfer
Sichuan University(四川大学);Wuhan University(武汉大学);University of Bonn(波恩大学);Indiana University-Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校);Tulane University(杜兰大学);Sun Yat-Sen University(中山大学)
对极低分辨率视频的活动识别,例如,分辨率为12*16像素,在远景监控和隐私保护多媒体分析中起着至关重要的作用。低分辨率视频只包含有限的信息。鉴于同一个活动可以由高分辨率(HR)和极低分辨率(eLR)的视频表示的事实,利用相关HR数据来改进eLR活动识别是值得研究的。在这项工作中,我们提出了一种新的置信时空注意转移(CSTAT)的eLR活动识别。CSTAT可以从HR数据中获取信息,通过迁移学习策略减少注意差异。此外,监控信号的可信度也被考虑到一个更自信的传输过程。在两个众所周知的数据集上的实验结果,即,UCF 101和HMDB 51的实验结果表明,该方法能有效提高eLR活性识别的准确率,在HMDB 51中对12*16个视频的识别准确率达到59.23%,达到了最高水平。
2021-10-10 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University(多特蒙德工业大学);Department of Computer Science(计算机科学系)
属性表示在图像识别和单词识别中变得相关,在存在不平衡和不相交数据集的情况下提供支持。然而,对于使用来自身体传感器的序列数据的人类活动识别,缺乏人类标记的属性。本文介绍了一种搜索属性,代表有利的信号段识别人类活动。它提出了三种深度架构,包括时间卷积和以IMU为中心的设计,用于预测属性。随机和学习的属性表示,以及网络的经验评估是在两个数据集上进行的,优于最先进的。
2018-02-02 cs.CV
Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning
School of Information and Communication Engineering, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院)
针对自我中心活动识别在多模态持续学习中的灾难性遗忘问题,本文提出了多模态数据集UESTC-MMEA-CL,并基于RGB、加速度和陀螺仪三种模态对四种基线方法进行了广泛评估。
2023-01-26 cs.CV
Pose is all you need: The pose only group activity recognition system (POGARS)
La Trobe University(拉筹伯大学);Australian Institute of Sport(澳大利亚体育学院)
提出仅基于追踪姿态的群体活动识别系统POGARS,利用1D CNNs和时空注意力机制学习时空动态并推断个体重要性,结合多任务学习同时分类群体与个体动作,在排球数据集上取得极具竞争力的结果且泛化能力优于RGB输入方法。
2021-08-09 cs.CV
Hierarchical Deep Temporal Models for Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们提出了一种方法进行分类的活动由一组人在视频序列。这个问题的群体活动的识别可以通过检查个人的行动和他们之间的关系。时间动力学既存在于个人行动的层面,也存在于群体活动的层面。给定一个视频序列作为输入,可以开发方法来捕捉这些动态在个人层面和群体层面的细节。我们基于LSTM(长短期记忆)模型构建了一个深度模型来捕捉这些动态。为了模拟个人和群体层次的动态,我们提出了一个2阶段的深时间模型的群体活动识别问题。在我们的方法中,一个LSTM模型被设计用于表示视频序列中单个人的动作动态,另一个LSTM模型被设计用于聚合个人级别的信息以进行群体活动识别。为了评估我们的方法,我们收集了一个新的数据集,包括标记有个人和团体活动的排球视频。实验结果表明,这个新的排球数据集和标准的基准集体活动数据集证明了所提出的模型的有效性。
2016-07-09 cs.CV
Detector-Free Weakly Supervised Group Activity Recognition
POSTECH(浦项科技大学)
群体活动识别是在多人视频中理解由一组人作为整体进行的活动的任务。现有的模型,这项任务往往是不切实际的,因为他们需要地面实况限界框标签的演员,即使在测试或依赖于现成的对象检测器。受此启发,我们提出了一种新的模型,既不依赖于限界框标签,也不依赖于对象检测器的群体活动识别。我们的模型基于Transformer,通过利用注意力机制对群体活动的部分上下文进行定位和编码,并将视频片段表示为一组部分上下文嵌入。然后,将嵌入向量聚合以形成反映活动的整个上下文的单个组表示,同时捕获每个部分上下文的时间演变。我们的方法在排球和NBA两个基准数据集上取得了出色的性能,不仅超过了用相同水平的监督训练的最先进的模型,而且超过了一些依赖于更强监督的现有模型。
2022-04-05 cs.CV
Audio-Adaptive Activity Recognition Across Video Domains
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Terminus Group(特斯联集团)
本文致力于在领域转移下的活动识别,例如由场景或相机视点的变化引起的。领先的方法通过对抗训练和自监督学习减少活动外观的变化。与这些以视觉为中心的作品不同,我们利用活动声音进行领域自适应,因为它们在不同领域之间的差异较小,并且可以可靠地指示哪些活动没有发生。我们提出了一个音频自适应编码器和相关的学习方法,有区别地调整视觉特征表示以及解决语义分布的变化。为了进一步消除特定领域的功能,并包括域不变的活动的声音识别,音频注入识别器,提出了有效的跨域跨模态交互模型。我们还介绍了演员转移的新任务,与相应的视听数据集,挑战我们的方法与活动的外观发生显着变化的情况。在EPIC-Kittlewood和CharadesEgo数据集上的实验表明了该方法的有效性。
2022-03-29 cs.CV
A Multi-Task Deep Learning Approach for Sensor-based Human Activity Recognition and Segmentation
University of South China(南华大学);University of Ulster(阿尔斯特大学);University of Science and Technology Beijing(北京科技大学)
基于传感器的人体活动分割和识别是现实世界中的两个重要且具有挑战性的问题,近年来引起了深度学习社区的越来越多的关注。大多数现有的深度学习工作都是基于预分割的传感器流设计的,并且它们将活动分割和识别视为两个独立的任务。在实践中,执行数据流分割是非常具有挑战性的。我们认为,活动分割和识别都可以传递独特的信息,可以相互补充,以提高这两个任务的性能。在本文中,我们首先提出了一种新的多任务深度神经网络,同时解决这两个任务。建议的神经网络采用选择性卷积和多尺度窗口分割活动的长或短的持续时间。首先,生成不同尺度的多个窗口以特征序列的每个单元为中心。然后,训练模型以预测每个窗口的活动类和到真实活动边界的偏移。最后,通过非最大值抑制过滤掉重叠窗口,并将相同活动的相邻窗口连接起来以完成分割任务。在八个流行的基准数据集上进行了广泛的实验,结果表明,我们提出的方法在活动识别和分割方面都优于最先进的方法。
2023-03-20 cs.CV
Attention is All We Need: Nailing Down Object-centric Attention for Egocentric Activity Recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
在本文中,我们提出了一个端到端可训练的深度神经网络模型,用于自我中心活动识别。我们的模型是建立在观察自我中心的活动是高度特征的对象和它们在视频中的位置。在此基础上,我们开发了一种空间注意力机制,使网络能够注意到包含与所考虑的活动相关的对象的区域。我们使用针对通用图像识别预训练的CNN中的类特定激活来学习每个帧的高度专业化的注意力图,并使用它们通过卷积LSTM对视频进行时空编码。我们的模型是在弱监督环境中使用原始视频级活动类标签进行训练的。尽管如此,在标准的以自我为中心的活动基准测试中,我们的模型的识别准确率超过了目前最好的方法,该方法利用手部分割和对象位置强监督进行训练。我们对网络生成的注意力图进行了可视化分析,发现网络成功地识别了视频帧中存在的相关对象,这可以解释强大的识别性能。我们还讨论了关于设计选择的广泛消融分析。
2018-07-31 cs.CV
Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
丰富的语义关系在各种视觉识别问题中是重要的。作为一个具体的例子,群体活动识别涉及场景中一组人的相互作用和相对空间关系。最先进的识别方法集中在深度学习方法上,用于训练高效、复杂的分类器来解释图像。然而,桥接这些方法输出的相对低级别的概念来解释更高级别的合成场景仍然是一个挑战。图形模型是完成这项任务的标准工具。在本文中,我们提出了一种将图形模型和深度神经网络集成到联合框架中的方法。而不是使用传统的推理方法,我们使用一个递归神经网络建模的顺序推理。除此之外,可以通过在节点之间的边上施加门来学习推理的适当结构。小组活动识别的实证结果表明,这种模式来处理高度结构化的学习任务的潜力。
2016-04-12 cs.CV
Appearance Based Robot and Human Activity Recognition System
在这项工作中,我们提出了一个基于外观的人类活动识别系统。它使用背景建模来分割前景对象,并提取有用的判别特征来表示人类和机器人执行的活动。基于子空间的方法,如主成分分析是用来提取低维特征,从大容量的活动图像。然后,这些低维特征用于对活动进行分类。设计了一种使用网络摄像头的装置,该装置在室内环境下观察机器人模仿人类跌倒。在这个装置中,机器人模仿人类进行各种活动(如行走,弯曲,移动手臂),其中还包括突然摔倒。机器人执行各种活动和标准的人类活动识别数据库的实验结果表明,我们所提出的方法的有效性。
2016-02-10 cs.CV cs.RO
Human Activity Recognition Based on Wearable Sensor Data: A Standardization of the State-of-the-Art
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
基于可穿戴传感器数据的人体活动识别由于其在医疗保健和智能环境等领域的应用而成为一个有吸引力的研究课题。在这方面,许多工作已经提出了显着的成果,使用加速度计,陀螺仪和磁力计的数据来表示的活动类别。然而,目前的研究没有考虑导致结果偏差的重要问题,这使得难以评估基于传感器的人类活动识别的质量,并阻止了对以前工作的直接比较。这些问题包括样品生成过程和使用的验证协议。我们强调,在其他研究领域,如图像分类和目标检测,这些问题已经很好地定义,这带来了更多的努力,对应用。受此启发,我们进行了一系列广泛的实验,分析不同的样本生成过程和验证协议,以指示基于可穿戴传感器数据的人类活动识别中的脆弱点。为此,我们实现和评估几个最高性能的方法,从基于手工的方法,卷积神经网络。根据我们的研究,目前采用的大多数实验评估都不足以在可穿戴传感器数据的背景下执行活动识别,与适当的评估方法相比,识别准确性大大下降。据我们所知,这是第一项解决基于可穿戴传感器数据的人类活动识别性能理解的基本问题的研究。
2019-02-01 cs.CV
Learning Actor Relation Graphs for Group Activity Recognition
Nanjing University(南京大学)
演员之间的关系建模是重要的识别群体活动在多人场景。本文旨在使用深度模型有效地学习演员之间的判别关系。为此,我们建议建立一个灵活而高效的演员关系图(ARG),同时捕捉演员之间的外观和位置关系。由于图卷积网络,ARG中的连接可以以端到端的方式从群体活动视频中自动学习,并且可以使用标准矩阵运算来高效地执行ARG上的推理。此外,在实践中,我们提出了两种变体来稀疏ARG,以便在视频中进行更有效的建模:空间本地化ARG和时间随机化ARG。我们在两个标准的群体活动识别数据集上进行了广泛的实验:排球数据集和集体活动数据集,在这两个数据集上都实现了最先进的性能。我们还可视化学习的演员图和关系特征,这表明所提出的ARG是能够捕获的判别关系信息的群体活动识别。
2019-04-23 cs.CV
Translating Signals to Languages for sEMG-Based Activity Recognition
Lancaster University(兰卡斯特大学);Monash University(墨尔本大学);Cardiff University(卡迪夫大学)
本文提出了一种基于大语言模型的sEMG活动识别框架,通过将连续sEMG信号转换为语言形式,提升活动识别的准确性。
2026-05-21 cs.CV
Actor-Transformers for Group Activity Recognition
University of Amsterdam(阿姆斯特丹大学);Sportlogiq
本文致力于从视频中识别个人行为和群体活动。虽然现有的解决方案,这个具有挑战性的问题明确的模型的空间和时间关系的基础上的位置的个人演员,我们提出了一个演员变压器模型能够学习和选择性地提取相关的信息,群体活动识别。我们为Transformer提供了丰富的特定于演员的静态和动态表示,这些表示分别由来自2D姿势网络和3D CNN的特征表示。我们实证研究不同的方式来结合这些表示,并显示其互补的好处。实验表明了什么是重要的转换和它应该如何转换。更重要的是,演员变压器实现国家的最先进的结果在两个公开可用的基准组活动的认可,表现优于以前最好的公布结果的相当大的利润。
2020-03-28 cs.CV
An Empirical Study on Activity Recognition in Long Surgical Videos
手术视频中的活动识别是开发下一代设备和工作流程监控系统的关键研究领域。由于手术是具有高度可变长度的长过程,因此用于手术视频的深度学习模型通常包括使用主干和时间序列模型的两阶段设置。在本文中,我们研究了许多最先进的骨干和时间模型,以找到产生最强的性能的外科手术活动识别的架构。我们首先在一个大规模的活动识别数据集上对模型的性能进行基准测试,该数据集包含在多个临床手术室中捕获的800多个手术视频。我们进一步评估了两个较小的公共数据集,Cholec 80和Cataract-101数据集,分别包含80和101个视频。我们根据经验发现,Swin-Transformer+BiGRU时间模型在两个数据集上都有很好的表现。最后,我们调查的适应性的模型,新的领域微调模型,以一个新的医院,并与最近的无监督领域自适应方法进行试验。
2022-09-07 cs.CV
Octave Mix: Data augmentation using frequency decomposition for activity recognition
Graduate School of Engineering(研究生院);University of Fukui(福井大学)
在活动识别的研究领域,虽然很难收集大量的测量传感器数据,但关于数据增强(DA)的讨论还不多。在这项研究中,我提出了Octave Mix作为一种新的基于传感器的活动识别的综合风格的DA方法。Octave Mix是一种简单的DA方法,它通过使用频率分解将低频和高频波形交叉来组合两种类型的波形。此外,我提出了一个DA集成模型及其训练算法,以获得对原始传感器数据的鲁棒性,同时保持各种各样的特征表示。我进行了实验,以评估我提出的方法使用四个不同的基准数据集的基于感知的活动识别的有效性。因此,我提出的方法达到了最佳的估计精度。此外,我发现,集成两个DA策略:Octave Mix with rotation和mixup with rotation,可以实现更高的精度。
2021-01-08 cs.CV
DeepSORT-Driven Visual Tracking Approach for Gesture Recognition in Interactive Systems
Loughborough University(拉夫堡大学);University of Southern California(南加州大学);University of Michigan(密歇根大学)
本文提出基于 DeepSORT 的视觉跟踪手势识别方法,结合卡尔曼滤波与深度特征,验证其在遮挡、模糊和多目标场景下的实时准确跟踪能力。
2025-05-11 cs.CV cs.HC
Hunting Group Clues with Transformers for Social Group Activity Recognition
Hitachi America, Ltd.(日立美国有限公司)
本文提出了一种新的社会群体活动识别框架。社会群体活动识别是群体活动识别的一个扩展任务,需要识别多个子群体活动并识别群体成员。大多数现有的方法通过细化区域特征,然后将其总结为活动特征来解决这两个任务。这种启发式特征设计使得特征的有效性容易受到不完整的人定位的影响,并且忽视了场景上下文的重要性。此外,区域特征对于识别组成员是次优的,因为特征可能由区域中的人的特征主导并且具有不同的语义。为了克服这些缺点,我们建议利用Transformers中的注意力模块来生成有效的社会群体特征。我们的方法是这样设计的,注意力模块识别,然后聚合相关的社会群体活动的功能,为每个社会群体产生一个有效的功能。组成员信息被嵌入到特征中,从而被前馈网络访问。前馈网络的输出非常简洁地代表了群体,以至于群体成员可以通过群体和个体之间的简单匈牙利匹配来识别。实验结果表明,我们的方法优于国家的最先进的方法排球和集体活动数据集。
2022-07-12 cs.CV
Automated Surgical Activity Recognition with One Labeled Sequence
Johns Hopkins University(约翰斯·霍普金斯大学)
先前的工作已经证明了在机器人辅助手术中从运动数据自动识别活动的可行性。然而,这些努力已经假设了大量密集注释序列的可用性,这些序列必须由专家手动提供。这个过程是乏味的,昂贵的,并且容易出错。在本文中,我们提出了第一个分析的假设下,稀缺的注释,其中只有一个注释序列可用于训练。我们证明了在这种具有挑战性的环境中自动识别的可行性,并且我们表明,在识别阶段之前,以无监督的方式学习表示会导致性能的显着提高。此外,我们的论文对社区提出了一个新的挑战:在这个重要但相对未开发的制度中,我们能把性能推得更远吗?
2019-07-20 cs.CV
An Integrated Approach to Crowd Video Analysis: From Tracking to Multi-level Activity Recognition
Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们提出了一个综合的框架,同时跟踪,群体检测和多层次的活动识别人群视频。而不是解决这些问题的独立和顺序,我们解决他们在一个统一的框架,利用强相关性,存在于个人的运动,群体和活动。我们探索了隐藏在视频中的层次结构,它将个人随着时间的推移连接起来以产生轨迹,将个人连接起来以形成群体,并将群体连接在一起以形成人群。我们发现,这个隐藏结构的估计对应于跟踪关联和组检测。我们估计这个隐藏的结构下的线性规划公式。进一步探索所获得的图形表示以识别对应于多级活动识别的节点值。这个问题在结构化SVM框架下得到了解决。公开的数据集上的结果显示出非常有竞争力的性能,在所有级别的粒度与国家的最先进的批处理方法,尽管所提出的技术是一个在线(因果)。
2017-10-30 cs.CV
Human-like Relational Models for Activity Recognition in Video
University of Surrey(萨里大学);National Institute of Technology(国家理工学院)
深度神经网络的视频活动识别对于许多类来说都令人印象深刻。然而,它低于人类的表现,特别是在具有挑战性的歧视活动。人类通过识别明确识别的物体和部件之间的关键时空关系来区分这些复杂的活动,例如,物体进入容器的孔。深度神经网络很难有效地学习这些关键关系。因此,我们提出了一个更人性化的方法来识别活动,它解释了一个视频在连续的时间阶段,并提取特定的对象和手在这些阶段之间的关系。从这些提取的关系学习随机森林分类器。我们将该方法应用于一个具有挑战性的东西-东西数据集的子集,并在具有挑战性的活动上实现了对神经网络基线更强大的性能。
2022-01-11 cs.CV
Human Activity Recognition Using 3D Orthogonally-projected EfficientNet on Radar Time-Range-Doppler Signature
University of Nottingham Ningbo China(宁波诺丁汉大学);Nanyang Technological University(南洋理工大学)
在雷达活动识别中,通常采用二维信号表示法,如谱图、倒谱、节奏速度图等,而距离信息往往被忽略。在这项工作中,我们建议利用三维时间距离多普勒(TRD)表示,并设计了一个三维投影有效网络(3D-OPEN),以有效地捕获嵌入在三维TRD立方体的判别信息进行准确的分类。该模型从三维特征空间投影的三个正交平面聚集判别信息。它强调了3D CNN直接从高维3D表示中利用稀疏语义抽象的困难。所提出的方法进行评估毫米波雷达行走数据集。它显着和一贯优于国家的最先进的雷达活动识别方法。
2021-11-24 cs.CV