Recognizing Fine-Grained and Composite Activities using Hand-Centric Features and Script Data
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Technische Universität München(慕尼黑工业大学);Stanford University(斯坦福大学);SPIEGEL-Verlag(明镜出版社)
近年来,对活动的确认取得了令人瞩目的进展。然而,检测细粒度活动和了解它们如何组合成复合活动的挑战在很大程度上被忽视了。在这项工作中,我们处理这两个任务,并提出了一个数据集,提供详细的注释来解决这些问题。第一个挑战是检测细粒度的活动,这是由低的类间变异性定义的,通常以细粒度的身体运动为特征。我们探索人类的姿势和手可以帮助解决这一挑战,通过比较两个姿势为基础的和两个以手为中心的功能与国家的最先进的整体功能。为了应对第二个挑战,识别复合活动,我们利用这些活动是组合的,并且可以从文本描述或脚本中获得活动的基本组件。我们展示了以手为中心的方法对细粒度活动分类和检测的好处。对于复合活动识别,我们发现分解为属性允许在复合材料之间共享信息,并且对于攻击这个硬任务至关重要。使用脚本数据,我们可以识别新的复合材料,而无需训练数据。
2015-10-15 cs.CV
Let's Play for Action: Recognizing Activities of Daily Living by Learning from Life Simulation Video Games
Institute for Anthropomatics and Robotics(人类工程学与机器人研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
识别日常生活活动(ADL)是智能辅助机器人的一个重要过程,但收集大型注释数据集需要耗时的时间标记并引发隐私问题,例如,如果数据是在真实的家庭中收集的。在这项工作中,我们探索的概念,构建训练样本ADL识别玩生活模拟视频游戏,并介绍了SIMS4ACTION数据集创建的流行的商业游戏模拟人生4。我们通过“自上而下”的方式专门执行感兴趣的动作来构建Sims4Action,而游戏环境允许我们在环境,摄像机角度和主体外观之间自由切换。虽然从理论角度来看,游戏数据的ADL识别很有趣,但关键的挑战在于将其转移到现实世界的应用中,例如智能家居或辅助机器人。为了满足这一要求,Sims4Action附带了一个GamingToReal基准测试,其中模型在从现有ADL数据集导出的真实视频上进行评估。我们在我们的框架中集成了两种基于视频的活动识别的现代算法,揭示了生活模拟视频游戏作为训练数据的廉价且侵入性小得多的来源的价值。然而,我们的研究结果也表明,涉及游戏和真实数据混合的任务具有挑战性,开辟了一个新的研究方向。我们将在https://github.com/aroitberg/sims4action上公开我们的数据集。
2021-07-12 cs.AI cs.CV cs.MM
Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo(东京大学)
我们提出了一种新的数据集和一种新的算法,用于从第一人称可穿戴相机中识别日常生活活动(ADL)。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查,许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而,检测被处理的对象并不总是容易的,因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述,我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象,因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头,我们还开发了一个新颖的公开数据集,其中包括两个摄像头同时捕获的日常活动的视频和注释。此外,我们提出了一个有区别的视频表示,保留空间和时间信息编码后提取的卷积神经网络(CNN)的帧描述符。
2016-04-28 cs.CV
TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos
Center for Research in Computer Vision(计算机视觉研究中心);University of Central Florida(中佛罗里达大学)
本文总结了在CVPR 2021的ActivityNet研讨会上组织的TinyAction挑战。这项挑战的重点是识别视频中存在的真实世界低分辨率活动。动作识别任务目前集中在对高质量视频中的动作进行分类,其中演员和动作清晰可见。虽然在最近的工作中,各种方法已经被证明对识别任务有效,但它们通常不处理低分辨率的视频,其中动作发生在一个很小的区域。然而,许多真实世界的安全视频通常以较小的分辨率捕获实际动作,这使得在微小区域中识别动作成为一项具有挑战性的任务。在这项工作中,我们提出了一个基准数据集TinyVIRAT-v2,它由自然发生的低分辨率动作组成。这是TinyVIRAT数据集的扩展,由具有多个标签的操作组成。这些视频是从安全视频中提取的,这使得它们更加逼真,更具挑战性。我们使用当前最先进的动作识别方法的数据集作为基准,并提出了TinyAction挑战。
2021-07-24 cs.CV
Cooking in the kitchen: Recognizing and Segmenting Human Activities in Videos
University of Bonn(波恩大学);Brown University(布朗大学)
随着动作识别研究的成熟,重点正在从使用手动分割的视频数据集对基本任务导向的动作进行分类,转向理解现实世界中复杂的目标导向的日常人类活动。时间结构化模型似乎很容易解决这一系列问题,但到目前为止,这些模型优于简单的非结构化词袋模型的情况很少。随着大型人类活动数据集的可用性越来越高,再加上新的特征编码技术的发展,这些技术可以产生更紧凑的表示,现在是时候重新审视结构化生成方法了。在这里,我们描述了一个端到端的生成方法,从编码的功能,复杂的人类活动的结构建模,通过应用Fisher向量和时间模型的视频序列的分析。我们系统地评估了所提出的方法在几个可用的数据集(ADL,MPIICooking和早餐数据集)使用各种性能指标。通过广泛的系统评估,我们证明了基于Fisher向量的紧凑视频表示与基于HMM的建模相结合,在准确性方面获得了非常显着的收益,并且当使用足够的训练样本进行适当训练时,结构化时间模型在测试的性能指标上大幅优于非结构化词袋类型的模型。
2016-03-17 cs.CV
InceptB: A CNN Based Classification Approach for Recognizing Traditional Bengali Games
Daffodil International University(达法迪尔国际大学)
体育活动是我们日常生活中不可或缺的一部分。在计算机视觉领域,引入自主决策和预测模型来识别和分析不同的体育赛事和活动已经成为一个新兴的趋势。尽管人工智能和计算机视觉在识别不同的流行西方游戏方面取得了进展和生动的应用,但在识别传统孟加拉国游戏方面应用计算机视觉的努力仍然很少。在本文中,我们描述了一种新的基于深度学习的方法来识别传统的孟加拉语游戏。我们已经重新训练了由Google为我们的分类方法开发的著名的Inception V3架构的最后一层。我们的方法显示出良好的效果,平均准确率约为80%,正确识别5个传统的孟加拉国体育赛事。
2018-09-16 cs.CV
When Vehicles See Pedestrians with Phones:A Multi-Cue Framework for Recognizing Phone-based Activities of Pedestrians
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Laboratory for Intelligent and Safe Automobiles(智能与安全汽车实验室)
智能车辆社区已经投入了相当大的努力来对驾驶员行为进行建模,并且特别是检测和克服驾驶员分心,以努力减少由驾驶员疏忽引起的事故。然而,随着该领域越来越多地转向自主和半自主解决方案,驱动程序不再是决策过程中不可或缺的一部分,这表明需要将工作重点重新放在其他地方。为此,我们建议改为研究行人分心问题。特别是,我们专注于检测行人谁是从事次要活动,涉及他们的手机和类似的手持多媒体设备从纯粹的视觉为基础的立场。为了实现这一目标,我们提出了一个管道,结合关节的人的姿态估计,其次是一个软对象标签转移从一个集合的样本SVM训练的最近邻居在姿态特征空间。我们还将头部凝视功能和先前的姿势信息进行手机相关的行人活动识别。最后,我们提供了一种方法来可靠地跟踪铰接的姿势的行人通过一系列的图像使用粒子滤波器与高斯过程动态模型(GPDM),然后可以用来估计顺序变化的活动分数在一个非常低的计算成本。整个框架是快速的(特别是对于顺序数据)和准确的,并且易于扩展以包括其他次要活动和分散注意力的来源。
2018-01-24 cs.CV
Group Activity Recognition in Computer Vision: A Comprehensive Review, Challenges, and Future Perspectives
School of Computer Science, Universiti Sains Malaysia(马来西亚理科大学计算机科学学院);School of Engineering, College of Technology and Business, Guangzhou(广州工商学院工程学院)
本文综述了计算机视觉中群体活动识别的方法,从传统到基于HRNN、关系模型等最新技术,比较性能并总结挑战与未来方向。
2023-07-25 cs.AI cs.CV
A Unified Approach for Modeling and Recognition of Individual Actions and Group Activities
University of Maryland, College Park(马里兰大学学院市分校)
识别群体活动是具有挑战性的,因为很难隔离个体实体,找到个体所扮演的各自角色,并表示参与者之间的复杂互动。视频中的个体动作和组活动可以在公共框架中表示,因为它们共享以下公共功能:两者都由描述运动的一组低级特征组成,例如,根据在时间和空间维度上的一组组成约束,每个像素的光流或每个特征点的轨迹。在本文中,我们提出了一个统一的模型来评估两个给定的个人或群体活动之间的相似性。我们的方法避免了明确提取个人演员,识别和代表人与人之间的互动。与所提出的方法,从视频数据库中检索可以通过查询的例子,和活动可以通过查询包含已知的活动的视频识别。所建议的视频匹配过程可以以无监督的方式执行。我们通过识别一组人类行为和足球比赛来展示我们方法的性能。
2012-08-21 cs.CV stat.ML
OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments
Graduate School of Information Science and Technology, Osaka University(大阪大学信息科学与技术研究生院)
研究引入大规模包装工作识别数据集 OpenPack,包含 53.8 小时多模态传感器数据,推动工业领域工作活动机器识别研究。
2024-04-20 cs.AI cs.CV
TinyVIRAT: Low-resolution Video Action Recognition
University of Central Florida(中佛罗里达大学)
现有的动作识别研究主要集中在动作清晰可见的高质量视频上。在现实世界的监控环境中,视频中的动作是以各种分辨率捕获的。大多数活动发生在一个小的分辨率距离和识别这样的活动是一个具有挑战性的问题。在这项工作中,我们专注于识别视频中的微小动作。我们介绍了一个基准数据集,TinyVIRAT,其中包含自然的低分辨率活动。TinyVIRAT视频中的动作有多个标签,它们是从监控视频中提取的,这使得它们更逼真,更具挑战性。我们提出了一种新的方法来识别视频中的微小动作,该方法利用渐进式生成方法来提高低分辨率动作的质量。所提出的方法还包括一个弱训练的注意力机制,它有助于集中在视频中的活动区域。我们进行了大量的实验,基准测试所提出的TinyVIRAT数据集,并观察到所提出的方法显着提高了动作识别性能的基线。我们还评估了所提出的方法在综合调整大小的动作识别数据集,并实现了最先进的结果与现有的方法相比。数据集和代码可在https://github.com/UgurDemir/Tiny-VIRAT上公开获得。
2020-07-14 cs.CV eess.IV
Discovery and recognition of motion primitives in human activities
我们提出了一个用于自动发现和识别人类活动视频中运动基元的新框架。给定视频中人的3D姿态,通过优化“运动通量”(捕获一组骨骼关节的运动变化的量)来发现人的运动基元。提出了基元的归一化,以使它们相对于受试者解剖变化和数据采样率不变。发现的原语是未知的,未标记的,并通过分层非参数贝叶斯混合模型无监督地收集到类。一旦类被确定和标记,它们将被进一步分析以建立用于识别所发现的基元的模型。每个基元模型由一组学习参数定义。给定新的视频数据和给定出现在视频上的对象的估计姿态,运动被分割成基元,这些基元以根据所学习的模型的参数给出的概率被识别。使用我们的框架,我们建立了一个公开可用的数据集的人体运动原语,使用从著名的运动捕捉数据集的序列。我们希望我们的框架,通过提供一个客观的方法来发现和分类人类运动,将是一个有用的工具,在众多的研究领域,包括视频分析,人类启发的运动生成,学习演示,直观的人机交互,和人类行为分析。
2019-02-04 cs.AI cs.CV cs.RO
Timeception for Complex Action Recognition
University of Amsterdam(阿姆斯特丹大学)
本文着重于识别视频中的人类活动的时间方面,一个重要的视觉线索,长期以来一直被低估。我们重新审视活动的传统定义,并将其限制为复杂行动:一组具有弱时间模式的单一行动,用于特定目的。相关的工作使用时空3D卷积与固定的内核大小,太刚性,以捕捉复杂的动作的时间范围的变化,和太短的长范围的时间建模。相比之下,我们使用多尺度时间卷积,并且我们降低了3D卷积的复杂性。结果是时间感受卷积层,它推导出分钟长的时间模式,比最佳相关作品长8倍。因此,Timeception在识别Charades,Breakfast Actions和MultiTHUMOS的人类活动方面达到了令人印象深刻的准确性。此外,我们证明了时间感受学习长距离的时间依赖性和容忍复杂的动作的时间范围。
2019-04-28 cs.CV
Inferring Human Activities Using Robust Privileged Probabilistic Learning
University of Houston(休斯顿大学);University of Ioannina(约阿尼纳大学)
由于数据汇集过程的缺陷,分类模型可能经常遭受训练和测试数据之间的“结构不平衡”。这种不平衡可以用特权信息学习(LUPI)范式来表示。在本文中,我们提出了一个监督概率分类方法,集成LUPI到一个隐藏的条件随机场(HCRF)模型。所提出的模型被称为LUPI-HCRF,能够处理仅在训练期间可用的额外信息。此外,所提出的方法employes学生的t-分布提供鲁棒性离群值建模的条件分布的特权信息。在三个公开数据集上的实验结果证明了该方法的有效性,并提高了LUPI框架识别人类活动的最新水平。
2017-08-31 cs.CV
Multi-Label Activity Recognition using Activity-specific Features and Activity Correlations
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校);Amazon Web Service(亚马逊网络服务)
多标签活动识别被设计用于识别在每个视频中同时或顺序执行的多个活动。最近的活动识别网络专注于单一活动,即假设每个视频中只有一个活动。这些网络为所有活动提取共享特征,这些特征不是为多标签活动设计的。我们引入了一种多标签活动识别方法,该方法为每个活动提取独立的特征描述符并学习活动相关性。这种结构可以端到端训练,并插入任何现有的网络结构进行视频分类。我们的方法在四个多标签活动识别数据集上的表现优于最先进的方法。为了更好地理解系统生成的特定于活动的特征,我们在Charades数据集中可视化了这些特定于活动的特征。
2021-03-04 cs.CV
Human Activity Recognition in RGB-D Videos by Dynamic Images
RGB-D视频中的人体活动识别在过去十年中一直是一个活跃的研究课题。然而,在文献中还没有发现用于识别其中多个表演者同时表演的RGB-D视频中的人类活动的努力。在本文中,我们介绍了这样一个具有挑战性的数据集与几个表演者执行的活动。我们提出了一种新的方法来识别人类活动在这样的视频。所提出的方法的目的是通过产生对应于输入视频的动态图像来捕获整个视频的运动信息。我们使用两个并行的ResNext-101分别为RGB视频和深度视频生成动态图像。动态图像仅包含运动信息,因此消除了不必要的背景信息。我们通过神经网络的全连接层分别发送从RGB和深度视频中提取的两个动态图像。所提出的动态图像通过从视频中提取稀疏矩阵来降低识别过程的复杂性。然而,所提出的系统保持所需的运动信息,用于识别活动。所提出的方法已在MSR Action 3D数据集上进行了测试,并显示出与最先进的性能相当的性能。我们还将所提出的方法应用于我们自己的数据集,其中所提出的方法优于最先进的方法。
2018-07-09 cs.CV
TimeGate: Conditional Gating of Segments in Long-range Activities
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司)
当识别长距离活动时,探索整个视频是详尽的,并且计算成本很高,因为它可能长达几分钟。因此,仅对视频的显著部分进行采样是非常重要的。我们提出了TimeGate以及一个新型的条件门控模块,用于从长期活动中采样最具代表性的片段。TimeGate有两个新颖之处,解决了以前采样方法的缺点,如SCSampler。首先,它实现了对段的可微分采样。因此,TimeGate可以与现代CNN相匹配,并作为一个单一的统一模型进行端到端的训练。其次,采样以片段及其上下文为条件。因此,TimeGate更适合长距离活动,其中片段的重要性在很大程度上取决于视频上下文。TimeGate减少了现有CNN在长距离活动的三个基准上的计算:Charades,Breakfast和MultiThumos。特别是,TimeGate将I3D的计算量减少了50%,同时保持了分类精度。
2020-04-03 cs.CV
Convolutional Relational Machine for Group Activity Recognition
Amirkabir University of Technology (AUT)(阿米尔卡比尔理工大学(AUT));École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
我们提出了一个端到端的深度卷积神经网络,称为卷积关系机(CRM),用于识别群体活动,利用图像或视频中个人之间的空间关系信息。它学习基于个人和团体活动产生中间空间表示(活动地图)。多阶段细化组件负责减少活动图中的错误预测。最后,聚合组件使用精炼的信息来识别组活动。实验结果表明,建设性的贡献的信息提取和活动地图的形式表示。CRM在排球和集体活动数据集上显示出优于最先进模型的优势。
2019-04-05 cs.CV
Unstructured Human Activity Detection from RGBD Images
Cornell University(康奈尔大学)
能够检测和识别人类活动对于包括个人辅助机器人在内的多种应用至关重要。在本文中,我们执行非结构化的人类活动在非结构化环境中的检测和识别。我们使用RGBD传感器(Microsoft Kinect)作为输入传感器,并根据人体姿势和运动以及图像和点云信息计算一组特征。我们的算法是基于分层最大熵马尔可夫模型(MEMM),它认为一个人的活动组成的一组子活动。我们使用动态规划方法推断出两层图结构。我们测试了我们的算法,检测和识别四个人在不同环境中(如厨房,客厅,办公室等)进行的十二种不同活动,并且即使在训练集中之前没有见过该人时也能实现良好的性能。
2012-02-14 cs.CV cs.RO
Human Gaze Guided Attention for Surgical Activity Recognition
手术活动的建模和自动识别是实现手术自动化的基本步骤,在向外科医生提供及时反馈方面发挥着重要作用。准确识别视频中的手术活动提出了一个具有挑战性的问题,需要一个有效的手段来学习空间和时间动态。人类注视和视觉显著性携带关于视觉注意的重要信息,并且可以用于提取更好地反映这些空间和时间动态的更多相关特征。在这项研究中,我们建议使用人类的目光与时空注意力机制的活动识别手术视频。我们的模型由基于I3D的架构组成,使用3D卷积学习时空特征,并使用人类凝视作为监督来学习注意力地图。我们评估我们的模型上的缝合任务的JIGSAWS,这是一个公开的手术视频理解数据集。据我们所知,我们是第一个使用人类凝视进行手术活动识别的人。我们的研究结果和消融研究支持使用人类凝视来引导注意力的贡献,其准确率为85.4%,优于最先进的模型。
2022-11-13 cs.CV eess.IV
When the Few Outweigh the Many: Illicit Content Recognition with Few-Shot Learning
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);Tilburg University(蒂尔堡大学);University of Padova(帕多瓦大学)
本文研究利用孪生神经网络的单样本和少样本学习方法,从暗网图像中识别非法活动,在10类数据集上20-Shot实验达到90.9%准确率,为暗网自动化执法提供了低成本且有前景的替代方案。
2023-11-28 cs.AI cs.CR cs.CV
MMDS: A Multimodal Medical Diagnosis System Integrating Image Analysis and Knowledge-based Departmental Consultation
Xidian University(西安电子科技大学);Xijing Hospital, The Fourth Military Medical University(第四军医大学西京医院);Shaanxi University of Science and Technology(陕西科技大学)
本文提出多模态医学诊断系统MMDS,通过专用多模态模型分析医学图像、面部情绪和面瘫视频,并结合科室知识库路由管理机制优化大语言模型的检索增强生成,从而提供更准确的专业诊断。
2024-11-25 cs.AI cs.CV
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
Georgia Institute of Technology(佐治亚理工学院)
关于场景的示能表示信息提供关于在追求满足指定目标状态时可以执行什么动作的重要线索。因此,将基于可供性的推理集成到符号动作规划管道中将增强机器人操纵的灵活性。不幸的是,表现最好的示能表示识别方法使用对象类别先验来提高示能表示检测和分割的准确性。对象先验限制了对未知对象类别的泛化。本文描述了一种基于类别无关区域建议网络的示能表示识别管道,用于跨类别建议图像的实例区域。为了在没有类别先验的情况下指导示能表示学习,训练过程包括明确推断提议内的现有示能表示的辅助任务。其次,一个自我注意力机制被训练来解释每个提议,学会通过该区域捕捉丰富的上下文依赖关系。视觉基准测试表明,经过训练的网络,称为AffContext,减少了对象不可知和对象知情的启示识别之间的性能差距。AffContext与规划域定义语言(PDDL)相关联,并具有增强的状态保持器,用于跨时间间隔的目标导向任务进行行动规划。操作实验表明,AffContext可以成功地解析场景内容,种子一个符号规划器的问题规格说明,其执行完成目标任务。此外,以任务为导向的抓取切割和冲击行动表明,利用多个启示,为一个给定的对象,以完成指定的任务。
2020-09-12 cs.CV cs.RO
Cross-Country Skiing Gears Classification using Deep Learning
人类活动识别在过去十年中取得了重大进展。虽然在这一领域的大量工作去识别正常的人类活动,很少有研究集中在识别运动。识别不同运动中的人体动作对理解比赛中人类的不同风格和提高他们的表现有很大的影响。由于深度学习模型被证明在许多分类问题中具有良好的效果,本文将利用深度学习对使用3D加速度计收集的越野滑雪运动(称为齿轮)进行分类。它还将提供不同的深度学习模型之间的比较,例如卷积和递归神经网络与标准多层感知器。结果表明,深度学习更有效,分类精度最高。
2017-06-27 cs.CV
Predicting Human Activities Using Stochastic Grammar
University of California, Los Angeles(加州大学洛杉矶分校);Xi’an Jiaotong University(西安交通大学)
本文提出了一种新的方法来预测未来的人类活动,从部分观察的RGB-D视频。由于人类活动的非马尔可夫性质以及人类与环境之间的复杂关系,使得人类活动预测变得困难。我们使用一个随机语法模型来捕捉事件的组成结构,整合人类的行动,对象,和他们的启示。我们用时空与或图(ST-AOG)来表示事件。ST-AOG由定义在子活动上的时间随机语法和表示子活动的空间图组成,子活动包括人类动作、对象及其启示。未来的子活动预测使用的时间语法和Earley解析算法。然后相应地推断出相应的动作、对象和示能表示标签。大量的实验表明,我们的模型在语义事件解析和未来活动预测方面的有效性。
2017-08-02 cs.CV
Activity Recognition Using A Combination of Category Components And Local Models for Video Surveillance
University of Washington(华盛顿大学);Microsoft Research, Microsoft Corp.(微软研究院)
本文提出了一种新的方法,自动识别的人的活动,视频监控应用。我们建议表示活动的类别组件的组合,并证明,这种方法提供了灵活性,以增加新的活动的系统和能力,以处理的问题,建立模型的活动缺乏训练数据。为了提高识别精度,提出了一种基于置信度帧的识别算法,该算法将识别活动的置信度较高的视频帧作为一个专门的局部模型来帮助对其余视频帧进行分类。实验结果表明了该方法的有效性。
2015-02-28 cs.CV cs.MM
ATARS: An Aerial Traffic Atomic Activity Recognition and Temporal Segmentation Dataset
National Chengchi University(国立政治大学);Indiana University Bloomington(印第安纳大学伯明顿分校);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对现有交通原子活动数据集视角受限、仅含视频级标注的问题,该研究推出首个航拍多标签ATARS数据集,提出多标签时间原子活动识别新任务,实验验证了数据集的独特挑战并给出未来研究方向。
2025-03-24 cs.CV
VPN: Learning Video-Pose Embedding for Activities of Daily Living
INRIA(法国国家信息与自动化研究所);Université Nice Côte d’Azur(蔚蓝海岸大学)
在本文中,我们专注于识别日常生活活动(ADL)的时空方面。ADL有两个特定的属性(i)微妙的时空模式和(ii)随时间变化的相似的视觉模式。因此,ADL可能看起来非常相似,并且通常需要查看它们的细粒度细节以区分它们。由于最近的时空3D ConvNets过于僵化,无法捕捉动作中微妙的视觉模式,我们提出了一种新的视频姿势网络:VPN。这个VPN的两个关键组成部分是空间嵌入和注意力网络。空间嵌入将3D姿态和RGB线索投影在公共语义空间中。这使得动作识别框架能够利用这两种模态来学习更好的时空特征。为了区分类似的动作,注意力网络提供了两个功能-(i)利用人体拓扑结构的端到端可学习姿势骨干,以及(ii)用于提供跨视频的联合时空注意力权重的耦合器。实验表明,VPN优于最先进的结果,大规模的人类活动数据集:NTU-RGB+D 120,其子集NTU-RGB+D 60,一个现实世界中具有挑战性的人类活动数据集:丰田Smarthome和一个小规模的人机交互数据集西北加州大学洛杉矶分校的动作分类。
2020-07-06 cs.CV
Learning Asynchronous and Sparse Human-Object Interaction in Videos
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
人类活动可以从视频中学习。通过有效的建模,不仅可以发现动作标签,还可以发现活动的时间结构,例如子活动的进展。从原始视频信号中自动识别这种结构是一种新的能力,它保证了真实的建模和成功的识别人-物体交互。为了实现这一目标,我们引入了异步稀疏交互图网络(ASSIGN),这是一种循环图网络,能够自动检测与视频场景中的实体相关联的交互事件的结构。ASSIGN开创了视频实体自主行为的学习,包括它们的动态结构以及它们与共存邻居的交互。在我们的模型中,实体的生命与其他实体的生命是异步的,因此在适应复杂场景时更加灵活。它们的交互在时间上是稀疏的,因此更忠实于真实的潜在性质,在推理和学习中更鲁棒。ASSIGN在人-物交互识别方面进行了测试,在分割和标记原始视频中的人类子活动和对象启示方面表现出卓越的性能。发现模型的时间结构的原生能力也消除了对外部分割的依赖,这在以前是强制性的。
2021-03-03 cs.CV
Few-Shot Continual Learning for Activity Recognition in Classroom Surveillance Images
University of Electronic Science and Technology of China(电子科技大学)
针对真实课堂监控中正常教学活动样本多、非教学活动样本少且持续出现的问题,本文构建 ARIC 数据集,并提出结合 SCL 与 ACC 的少样本持续学习方法,取得优于现有方法的性能。
2024-09-05 cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University(印第安纳大学);Facebook Reality Labs(脸书现实实验室)
从头戴式摄像机中了解用户的活动是增强和虚拟现实(AR/VR)应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖,这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习(SSL)。SSL不依赖于人工注释,而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣,这些视频表示受益于用户日常活动产生的头部运动,这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标,我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures
University Hospital of Strasbourg(斯特拉斯堡大学医院);IHU Strasbourg(斯特拉斯堡大学医院研究所);Fondazione Policlinico Universitario Agostino Gemelli IRCCS(阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS);IRCAD(斯特拉斯堡消化癌症研究所);University of Verona(维罗纳大学);ICube(斯特拉斯堡大学工程、计算机科学、成像与数学实验室);University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心)
目的:手术活动的自动分割和分类对于在计算机辅助干预和机器人辅助手术中的自主功能中提供高级支持至关重要。先前的工作集中在识别粗糙的活动,如阶段,或细粒度的活动,如手势。这项工作旨在直接从视频中联合识别两个互补的粒度级别,即阶段和步骤。方法:我们介绍腹腔镜胃旁路手术的两个相关的手术活动,阶段和步骤。我们提出了一个多任务多阶段时间卷积网络(MTMS-TCN)以及一个多任务卷积神经网络(CNN)训练设置,以共同预测阶段和步骤,并从它们的互补性中受益,以更好地评估程序的执行。我们评估所提出的方法在一个大型的视频数据集,包括40个外科手术(手术40)。结果:我们提出了几个基线模型的实验结果,相位和步骤的识别上的Cassass 40数据集。与单任务方法相比,所提出的MTMS-TCN方法在相位和步骤识别中的准确率、精确率和召回率均优于1-2%。此外,对于步骤识别,与基于LSTM的模型相比,MTMS-TCN在准确性,精确度和召回率方面的性能优越3-6%。结论:在这项工作中,我们提出了一个用于手术活动识别的多任务多阶段时间卷积网络,与具有多级注释的Pastorass 40胃旁路数据集上的单任务模型相比,该网络显示了改进的结果。该方法表明,阶段和步骤的联合建模有利于提高对每类活动的整体识别。
2021-02-24 cs.CV
Globally Continuous and Non-Markovian Activity Analysis from Videos
Disney Research Los Angeles(迪士尼洛杉矶研究院);University of Leeds(利兹大学);Trinity College Dublin(都柏林圣三一学院)
自动识别视频中的活动是视觉中的经典问题,有助于理解行为,描述场景和检测异常。为此,我们提出了一种无监督的方法。给定视频数据,我们会发现随着时间的推移出现,高峰,衰退和消失的重复活动模式。通过使用非参数贝叶斯方法,我们学习耦合的空间和时间模式与最小的先验知识。为了模拟模式的时间变化,以前的作品计算马尔可夫进程或局部连续的图案,而我们在全球连续和非马尔可夫的方式建模时间。从视觉上看,这些模式描绘了主要活动的流程。在时间上,每种模式都有其独特的出现-消失周期。为了计算紧凑的模式表示,我们还提出了一种混合采样方法。通过将这些模式与详细的环境信息相结合,我们可以解释活动的语义并报告异常。此外,我们的方法更好地拟合数据,并检测到以前难以检测到的异常。
2018-10-11 cs.CV
Semantically-Aware Diver Activity Recognition Framework for Effective Underwater Multi-Human-Robot Collaboration
University of Minnesota(明尼苏达大学)
提出DAR-Net框架,结合Transformer时间推理与像素级场景监督,通过多损失训练对齐全局活动识别与局部人机交互语义,解决低可见度水下环境中的潜水员活动识别问题,并发布首个水下潜水员活动数据集UDA。
2026-06-11 cs.CV cs.RO
Dominant Codewords Selection with Topic Model for Action Recognition
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Keio University(庆应义塾大学);Technische Universitat Munchen (TUM)(慕尼黑工业大学(TUM))
在本文中,我们提出了一个框架,用于识别人类活动,只使用主题占主导地位的码字和混合的主题间向量。潜在的狄利克雷分配(LDA)是用来开发近似的人类运动原语,这些都是中级表示,他们自适应地整合主导向量分类人类活动时。在LDA主题建模中,动作视频(文档)由词袋(从字典输入)表示,并且这些基于改进的密集轨迹。输出主题对应于人体运动基元,例如手指移动或细微的腿部运动。我们消除了杂质,如错过跟踪或改变光线条件,在每个运动基元。运动基元的组装向量是动作的改进表示。我们在四个不同的数据集上展示了我们的方法。
2016-05-01 cs.CV
Large-Scale Mapping of Human Activity using Geo-Tagged Videos
University of California, Merced(加州大学默塞德分校);University of Southern California(南加州大学)
本文是第一次使用地理标记视频的视觉内容来执行人类活动的时空映射。我们利用最近基于深度学习的视频分析框架,称为隐藏双流网络,来识别YouTube视频中的一系列活动。该框架是有效的,并且可以实时的或更快地运行,这对于识别在流视频中发生的事件或减少分析已经捕获的视频的延迟是重要的。这对于在智慧城市应用中使用视频非常重要。我们进行了一系列的实验,以显示我们的方法是能够准确地映射活动的空间和时间。我们还展示了使用视觉内容的标签/标题的优势。
2017-11-28 cs.CV cs.CY cs.MM
Elderly Activity Recognition in the Wild: Results from the EAR Challenge
La Rochelle University(拉罗谢尔大学)
本文针对EAR挑战赛提出基于迁移学习和多源数据整理的老年人日常活动识别方案,在公开排行榜上取得0.81455准确率。
2025-03-10 cs.CV
Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning
EgoVid Inc.(EgoVid公司);Indiana University(印第安纳大学);Ulsan National Institute of Science and Technology(蔚山科学技术院)
本文提出了一种从极低分辨率(例如,16x12)视频。极低分辨率识别不仅是分析远距离动作所必需的,而且对于实现对人类活动的隐私保护识别至关重要。我们设计了一个新的双流多连体卷积神经网络。这个想法是明确地捕捉低分辨率(LR)视频的固有属性,即来自完全相同场景的两个图像通常具有完全不同的像素值,这取决于它们的LR变换。我们的方法学习了共享的嵌入空间,该空间将具有相同内容的LR视频映射到相同的位置,而不管它们的变换如何。我们通过实验证实,我们的方法联合学习这种变换鲁棒LR视频表示和分类器在两个公共标准数据集上的性能优于以前最先进的低分辨率识别方法。
2018-02-04 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University(多特蒙德工业大学);Department of Computer Science(计算机科学系)
属性表示在图像识别和单词识别中变得相关,在存在不平衡和不相交数据集的情况下提供支持。然而,对于使用来自身体传感器的序列数据的人类活动识别,缺乏人类标记的属性。本文介绍了一种搜索属性,代表有利的信号段识别人类活动。它提出了三种深度架构,包括时间卷积和以IMU为中心的设计,用于预测属性。随机和学习的属性表示,以及网络的经验评估是在两个数据集上进行的,优于最先进的。
2018-02-02 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas(北德克萨斯大学)
由于在视频监控、人机交互、视频检索等方面的广泛应用,人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展,在过去的几年中,根据以前的调查提出了一个良好的分类。从这项最先进的调查中,研究人员可以看到这一领域的进展全景,以供未来研究。
2015-01-23 cs.CV
Spatio-Temporal Proximity-Aware Dual-Path Model for Panoramic Activity Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对全景活动识别中多尺度交互与多粒度理解挑战,提出基于时空邻近感知的双路径网络SPDP-Net,通过个体到全局与个体到社交双路径相互增强,在JRDB-PAR数据集上取得46.5%的F1分数。
2024-03-21 cs.CV
Multimodal Generation of Novel Action Appearances for Synthetic-to-Real Recognition of Activities of Daily Living
Institute for Anthropomatics and Robotics(人类工程学与机器人研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对合成到真实领域偏移导致ADL识别准确率下降的问题,提出多模态活动领域生成框架,通过从单一视频推断的多种模态生成新型动作外观,结合分类损失保持语义,显著提升跨域识别性能并达到SOTA。
2022-08-03 cs.CV
A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks
College of Information Sciences and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
针对社交网络用户情绪预测研究不足、缺乏深度学习方法的问题,提出异质多模态图学习框架HMG-Emo,含动态上下文融合模块,性能优于现有基线,是首个该领域多模态深度学习方法。
2025-01-13 cs.CL cs.CV cs.SI
Hunting Group Clues with Transformers for Social Group Activity Recognition
Hitachi America, Ltd.(日立美国有限公司)
本文提出了一种新的社会群体活动识别框架。社会群体活动识别是群体活动识别的一个扩展任务,需要识别多个子群体活动并识别群体成员。大多数现有的方法通过细化区域特征,然后将其总结为活动特征来解决这两个任务。这种启发式特征设计使得特征的有效性容易受到不完整的人定位的影响,并且忽视了场景上下文的重要性。此外,区域特征对于识别组成员是次优的,因为特征可能由区域中的人的特征主导并且具有不同的语义。为了克服这些缺点,我们建议利用Transformers中的注意力模块来生成有效的社会群体特征。我们的方法是这样设计的,注意力模块识别,然后聚合相关的社会群体活动的功能,为每个社会群体产生一个有效的功能。组成员信息被嵌入到特征中,从而被前馈网络访问。前馈网络的输出非常简洁地代表了群体,以至于群体成员可以通过群体和个体之间的简单匈牙利匹配来识别。实验结果表明,我们的方法优于国家的最先进的方法排球和集体活动数据集。
2022-07-12 cs.CV
Integrating Local Material Recognition with Large-Scale Perceptual Attribute Discovery
Drexel University(德雷塞尔大学)
材料属性已经被证明提供了用于识别材料的有区别的中间表示,特别是对于从局部材料外观(即,而不管对象和场景上下文)。然而,在过去,材料属性已经在类别识别之前被单独识别。相反,神经科学对物质感知的研究和计算机视觉对物体和地点识别的研究表明,属性是在类别识别过程中产生的副产品。材料属性和类别识别是否也是如此?在本文中,我们介绍了一种新的材料类别识别网络架构,表明感知属性,事实上,可以自动发现内的本地材料识别框架。新型材料属性类别卷积神经网络(MAC-CNN)使用编码人类材料感知的辅助损失函数从端到端训练类别识别网络的中间池化层产生感知材料属性。为了训练这个模型,我们引入了一个新的大型数据库的本地材料外观组织下的一个规范的材料类别分类和仔细的图像补丁提取,避免不必要的对象和场景的上下文。我们发现的属性对应以及语义有意义的视觉材料特征,通过布尔代数,并使识别以前看不见的材料类别,只有几个例子。这些结果对在其他识别任务中如何学习感知有意义的属性具有重要意义。
2017-04-12 cs.CV
CERN: Confidence-Energy Recurrent Network for Group Activity Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Oregon State University(俄勒冈州立大学)
这项工作是关于识别视频中不同语义级别的人类活动,包括个人动作,交互和群体活动。识别是使用两级层次的长短期记忆(LSTM)网络来实现的,形成了一个前馈深度架构,可以进行端到端的训练。与现有的LSTM架构相比,我们做出了两个关键贡献,将我们的方法命名为信心能量循环网络- CERN。首先,我们指定了一个新的能量层(EL)来估计我们预测的能量,而不是使用常见的softmax层进行预测。第二,而不是找到共同的最小能量类分配,这可能是数值不稳定的不确定性下,我们指定的EL额外计算的p值的解决方案,并以这种方式估计最有信心的能量最小值。对集体活动和排球数据集的评估表明:(i)我们的两个贡献相对于常见的softmax和能量最小化公式的优势,以及(ii)相对于最先进的方法的优越性能。
2017-04-10 cs.CV cs.LG stat.ML
Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
Edge Hill University(边山大学)
在从视频中识别传统人类活动方面取得了重大进展,这些视频侧重于涉及有区别的身体运动、身体-物体和/或人-人交互的高度独特的动作。驾驶员的活动是不同的,因为它们是由相同的主体以相似的身体部位运动执行的,从而导致微妙的变化。为了解决这个问题,我们提出了一个新的框架,利用时空注意力模型的微妙变化。我们的模型被命名为粗时间注意力网络(CTA-Net),其中粗时间分支被引入到可训练的一瞥网络中。其目标是通过关注视频的特定部分,允许一瞥捕捉高级时间关系,例如“期间”,“之前”和“之后”。这些分支还尊重视频中时间动态的拓扑,确保不同的分支学习有意义的空间和时间变化。然后,该模型使用创新的注意力机制,通过探索LSTM的隐藏状态来生成用于活动识别的高级动作特定上下文信息。注意力机制通过在构建视频的表示时对每个隐藏状态进行加权来帮助学习确定每个隐藏状态对于识别任务的重要性。我们的方法在四个公开访问的数据集上进行了评估,并且在仅使用RGB视频作为输入的情况下,其性能明显优于最先进的技术。
2021-01-17 cs.AI cs.CV cs.LG
Multi-perspective monitoring of wildlife and human activities from camera traps and drones with deep learning models
the University of Texas at Dallas(德克萨斯大学达拉斯分校);Auburn University(奥本大学);San Diego State University(圣地亚哥州立大学);University of Florida(佛罗里达大学)
本研究在尼泊尔奇旺国家公园结合相机陷阱与无人机热红外影像,利用YOLOv11s和增强型Faster RCNN等深度学习模型自动检测野生动物与人类活动,并通过空间格局分析识别活动热点及潜在冲突区域,为保护管理和冲突缓解提供多视角监测支持。
2025-08-21 cs.CV
A Correlation Based Feature Representation for First-Person Activity Recognition
Shahid Beheshti University(沙希德·贝赫什提大学);Cyberspace Research Institute, Shahid Beheshti University(沙希德·贝赫什提大学网络空间研究院)
提出了一种简单有效的第一人称视频活动识别方法。所提出的方法是适当的高维特征,如那些从卷积神经网络(CNN)提取的表示。每帧(每段)提取的特征被认为是一组时间序列,和帧间和帧内的时间序列关系被用来表示视频描述符。为了找到时间间的关系,将序列分组,并计算每对组之间的线性相关性。它们之间的关系可以表示场景的动力学和局部运动。引入的分组策略有助于大大降低计算成本。此外,我们在时间方向上分割序列,以保留长期运动并更好地关注每个局部时间窗口。为了提取周期性运动模式,这可以被认为是各种活动的主要组成部分,利用时间序列内的相关性。该表示方法导致可以线性分类的高度区分的特征。实验证明,我们的方法优于国家的最先进的方法在两个具有挑战性的第一人称数据集上识别第一人称活动。
2018-02-09 cs.CV
Decoding with Structured Awareness: Integrating Directional, Frequency-Spatial, and Structural Attention for Medical Image Segmentation
本文提出基于结构意识的解码框架,整合方向、频率-空间和结构注意力,提升医学图像分割的精度和泛化能力。
2025-12-05 cs.CV
Deep Learning Approach for Receipt Recognition
Deep Learning and Application, Vietnam(越南深度学习与应用机构)
受深度学习最近在计算机视觉和自然语言处理方面取得的成功的启发,我们提出了一种用于识别扫描收据的深度学习方法。识别系统主要包括两个模块:基于联结主义文本建议网络的文本检测和基于注意力编码解码器的文本识别。我们还提出了预处理提取收据区域和OCR验证忽略手写。在扫描票据OCR和信息抽取2019的Robust Reading Challenge数据集上的实验表明,通过将预处理和OCR验证相结合,提高了准确率。我们的识别系统实现了71.9%的F1分数的检测和识别任务。
2019-05-30 cs.CV
Recognition from Hand Cameras
National Tsing Hua University(国立清华大学)
我们重新研究的手腕上安装的摄像头系统(简称为HandCam)识别活动的手。与以自我为中心的系统(称为HeadCam)相比,HandCam具有两个独特的属性:(1)它避免了检测手的需要;(2)它更一致地观察手的活动。通过利用这些属性,我们提出了一种基于深度学习的方法来识别手部状态(自由与活动的手、手势、对象类别),并发现对象类别。此外,我们提出了一种新的双流深度网络,以进一步利用HandCam和HeadCam。我们收集了一个新的同步HandCam和HeadCam数据集,其中包含在三个场景中捕获的20个视频,用于手部状态识别。实验表明,我们的HandCam系统在所有任务中始终优于基于深度学习的HeadCam方法(具有估计的操作区域)和基于密集轨迹的HeadCam方法。我们还表明,不同用户拍摄的HandCam视频可以轻松对齐,以提高免费与在跨场景用例中的主动识别准确率(提高3.3%)。此外,我们观察到微调卷积神经网络始终提高准确性。最后,我们结合HandCam和HeadCam功能的新型双流深度网络在五个任务中的四个任务中实现了最佳性能。有了更多的数据,我们相信联合HandCam和HeadCam系统可以强大地记录日常生活中的手部状态。
2016-03-22 cs.CV
MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation
University of Bonn(波恩大学);Nankai University(南开大学)
随着深度学习在对短修剪视频进行分类方面的成功,更多的注意力集中在对长未修剪视频中的活动进行时间分割和分类上。最先进的动作分割方法利用几层时间卷积和时间池化。尽管这些方法在捕获时间依赖性的能力,他们的预测遭受过分割错误。在本文中,我们提出了一个多阶段的架构的时间动作分割任务,克服了以前的方法的局限性。第一阶段生成初始预测,该预测由下一阶段细化。在每个阶段中,我们堆叠几层膨胀的时间卷积,覆盖一个大的感受野,参数很少。虽然这种架构已经表现良好,但较低的层仍然受到小的接收场的影响。为了解决这个问题,我们提出了一个双扩张层,结合了大和小的感受野。我们进一步将第一阶段的设计与精炼阶段分离,以满足这些阶段的不同要求。广泛的评估表明,该模型在捕获长距离依赖关系和识别动作段的有效性。我们的模型在三个数据集上实现了最先进的结果:50沙拉,乔治亚理工学院自我中心活动(GTEA)和早餐数据集。
2020-09-02 cs.CV
Efficient Dense Labeling of Human Activity Sequences from Wearables using Fully Convolutional Networks
The University of Adelaide(阿德莱德大学);China University of Mining and Technology(中国矿业大学)
在普适计算中,识别序列中的人类活动是一个具有挑战性的研究领域。大多数方法在连续的样本上使用固定大小的滑动窗口来提取特征--手工制作的或学习的特征--并为窗口中的所有样本预测单个标签。这种方法产生两个关键问题:i)一个窗口中的样本可能不总是共享相同的标签。因此,在一个窗口内对所有样本使用一个标签不可避免地会导致信息丢失; ii)测试阶段受到训练期间选择的窗口大小的约束,而最佳窗口大小在实践中很难调整。我们提出了一种有效的算法,可以预测每个样本的标签,我们称之为密集标签,在一个序列的人类活动的任意长度使用完全卷积网络。特别是,我们的方法克服了滑动窗口步骤所带来的问题。此外,我们的算法自动学习特征和分类器。我们发布了一个新的基于可穿戴传感器的住院患者日常活动数据集。我们进行了广泛的实验,并证明了我们提出的方法能够在三个具有挑战性的数据集:机会,手势和我们的新数据集的分类和标签错位措施方面优于最先进的技术。
2017-02-20 cs.CV cs.HC