Block-wise Scrambled Image Recognition Using Adaptation Network
Waseda University（早稻田大学）；The National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在这项研究中，一个感知隐藏的对象识别方法进行了研究，以产生安全的图像可识别的人类，但不是机器。因此，感知信息隐藏和相应的目标识别方法都需要发展。分块图像置乱被引入来隐藏第三方的感知信息。此外，提出了一种自适应网络来识别这些置乱图像。使用CIFAR数据集进行的实验比较表明，所提出的自适应网络在将简单的感知信息隐藏到基于DNN的图像分类中表现良好。
2020-01-21 cs.CV cs.LG eess.IV
Multi-Label Activity Recognition using Activity-specific Features and Activity Correlations
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；Amazon Web Service（亚马逊网络服务）
多标签活动识别被设计用于识别在每个视频中同时或顺序执行的多个活动。最近的活动识别网络专注于单一活动，即假设每个视频中只有一个活动。这些网络为所有活动提取共享特征，这些特征不是为多标签活动设计的。我们引入了一种多标签活动识别方法，该方法为每个活动提取独立的特征描述符并学习活动相关性。这种结构可以端到端训练，并插入任何现有的网络结构进行视频分类。我们的方法在四个多标签活动识别数据集上的表现优于最先进的方法。为了更好地理解系统生成的特定于活动的特征，我们在Charades数据集中可视化了这些特定于活动的特征。
2021-03-04 cs.CV
Tri-axial Self-Attention for Concurrent Activity Recognition
Amazon（亚马逊）；Meitu（美图）
我们提出了一个并发活动识别系统。为了提取与不同活动相关联的特征，我们提出了一个特征到活动的注意力，将提取的全局特征映射到与单个活动相关联的子特征。为了对单个活动的时间关联进行建模，我们提出了一个变换器网络编码器，该编码器为每个活动建模独立的时间关联。为了使并发活动预测意识到活动之间的潜在关联，我们提出了自我注意与关联掩码。我们的系统在三个常用的并发活动检测数据集上实现了最先进或相当的性能。我们的可视化结果表明，我们的系统能够找到重要的时空特征，最终决策。我们还表明，我们的系统可以应用于一般的多标签分类问题。
2018-12-06 cs.CV cs.LG
EgoCHARM: Resource-Efficient Hierarchical Activity Recognition using an Egocentric IMU Sensor
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs（Meta 现实实验室）
本文提出资源高效的EgoCHARM算法，利用单个头戴IMU和半监督分层学习，以少量参数实现高层级与低层级活动的高F1识别，并可直接部署于IMU芯片。
2025-04-24 cs.CV cs.LG
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh（孟加拉国独立大学）
针对传感器故障或受试者残疾导致的未见活动识别问题，提出一种基于分层自注意力的自编码器方法，在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性，并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
Design and Analysis of Efficient Attention in Transformers for Social Group Activity Recognition
Hitachi America, Ltd.（日立美国有限公司）
针对社会群体活动识别中区域特征易受定位和动作语义影响、大量嵌入向量导致注意力失效的问题，探索Transformer解码器的注意力设计，提出的方法取得了当前最优性能。
2024-04-15 cs.CV cs.LG
Modeling the Trade-off of Privacy Preservation and Activity Recognition on Low-Resolution Images
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；University of Washington（华盛顿大学）
使用低分辨率图像传感器的计算机视觉系统可以提供智能服务（例如，活动识别），但从硬件级别保留不必要的视觉隐私信息。然而，保护视觉隐私和实现准确的机器识别对图像分辨率有着对立的需求。对隐私保护和机器识别性能的权衡进行建模可以指导未来使用低分辨率图像传感器的隐私保护计算机视觉系统。在本文中，使用在家里的日常生活活动（ADL）的情况下，我们首先获得了最重要的视觉隐私功能，通过用户调查。然后，我们量化和分析了图像分辨率对人类和机器识别性能的影响，在活动识别和隐私意识任务。我们还研究了现代图像超分辨率技术如何影响这些效果。基于这些结果，我们提出了一种在低分辨率图像上对隐私保护和活动识别进行权衡的建模方法。
2023-03-18 cs.CV cs.HC cs.LG
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
MoExDA: Domain Adaptation for Edge-based Action Recognition
Nagoya Institute of Technology（名古屋技术大学）
针对动作识别中的静态偏差问题，提出轻量级域自适应方法MoExDA，结合RGB与边缘帧，以低计算成本提升泛化性能，实现更鲁棒的动作识别。
2025-08-05 cs.CV
Adversarial Domain Adaptation for Action Recognition Around the Clock
Charles Sturt University（查尔斯特大学）
由于在视觉监控和夜间驾驶中有许多潜在的应用，在弱光条件下识别人类行为仍然是计算机视觉中的一个难题。现有的方法将动作识别和暗增强分为两个不同的步骤来完成这项任务。然而，隔离识别和增强阻碍了用于视频动作分类的时空表示的端到端学习。本文提出了一种基于领域自适应的动作识别方法，该方法在跨领域环境中使用对抗学习来学习跨领域动作识别。监督学习可以在来自源域的大量标记数据（白天动作序列）上对其进行训练。然而，它使用深域不变特征对来自目标域的许多未标记数据（夜间动作序列）执行无监督学习。由此产生的增强模型，名为3D-DiNet，可以使用标准的反向传播与额外的层进行训练。它在InFAR和XD 145动作数据集上实现了SOTA性能。
2022-10-25 cs.AI cs.CV cs.LG
Transformer Networks for Data Augmentation of Human Physical Activity Recognition
University of Siegen（锡根大学）
数据增强是分类中广泛使用的技术，以增加用于训练的数据。它提高了泛化能力，减少了训练所需的注释人类活动数据量，从而减少了数据集所需的劳动力和时间。与图像不同，传感器时间序列数据不能通过计算简单的变换算法来增强。最先进的模型，如递归生成对抗网络（RGAN），用于生成真实的合成数据。在本文中，Transformer为基础的生成对抗网络，具有全局关注的数据，PAMAP 2和真实世界的人类活动识别数据集与RGAN进行了比较。较新的方法提供了改进的时间和节省计算资源所需的数据增强比以前的方法。
2021-09-04 cs.CV cs.LG
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University（华盛顿州立大学）
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此，需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中，我们使用卷积神经网络开发了一个迁移学习框架，以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
Deep Adversarial Learning with Activity-Based User Discrimination Task for Human Activity Recognition
AASS, Örebro University（厄勒布鲁大学AASS研究中心）；Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学情报科学与电气工程学院）；ETSIDI, Universidad Politéctina de Madrid（马德里理工大学高等航空工程技术学院）
本文提出含新型基于活动的用户判别任务的对抗深度学习框架，以缓解 HAR 中的人际差异，并在三个数据集的 LOOCV 基准上取得优于以往方法和任务的分类效果。
2025-03-18 cs.CV cs.LG eess.SP
A Hierarchical Deep Temporal Model for Group Activity Recognition
Simon Fraser University（西蒙弗雷泽大学）
在群体活动识别中，整个活动的时间动态可以基于表示活动的个体人的动态来推断。我们构建了一个基于LSTM（长短期记忆）模型的深度模型来捕捉这些动态。为了利用这些观察结果，我们提出了一个两阶段的深层时间模型的群体活动识别问题。在我们的模型中，一个LSTM模型被设计用于表示序列中个体人的动作动态，另一个LSTM模型被设计用于聚合人类级别的信息以进行整体活动理解。我们在两个数据集上评估我们的模型：集体活动数据集和一个新的排球数据集。实验结果表明，我们提出的模型提高了群体活动识别性能与基线方法相比。
2016-04-05 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University（印第安纳大学）
在本文中，我们介绍了一个具有挑战性的新数据集，MLB-YouTube，专为细粒度活动检测而设计。该数据集包含两个设置：分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构，通过分类分割的视频和扩展这些方法，以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现，学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Who did What at Where and When: Simultaneous Multi-Person Tracking and Activity Recognition
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
我们提出了一个自举框架，以同时改进个人、交互和社交群体活动级别的多人跟踪和活动识别。的推断包括识别轨迹的所有行人演员，个人活动，成对的相互作用，和集体活动，鉴于观察到的行人检测。我们的方法使用图形模型来表示和解决联合跟踪和识别问题，通过多个阶段：（1）活动感知跟踪，（2）联合交互识别和遮挡恢复，以及（3）集体活动识别。我们解决了视觉跟踪的地点和时间问题，以及识别的人和什么问题。高阶之间的相关性的可见和闭塞的个人，成对的相互作用，组，和活动，然后使用超图制定贝叶斯框架内解决。几个基准测试的实验表明，我们的方法比国家的最先进的方法的优势。
2018-07-03 cs.CV
Indoor Activity Detection and Recognition for Sport Games Analysis
University of Graz（格拉茨大学）
体育运动中的动作识别是计算机视觉的一个研究热点。游戏，球员和团队分析是非常感兴趣的，在这个领域的研究课题出现了自动化分析的目标。运动的非常具体的基本规则可以用作识别任务的先验知识，并提供用于评估的约束环境。本文以排球运动为例，阐述了对体育运动中单人活动的认识。从每帧播放器为中心的活动识别开始，我们将几何形状和上下文信息通过活动上下文描述符，收集有关所有玩家的活动在一定的时间跨度相对于调查的球员的信息。在我们新的现实生活数据集上评估了这种上下文信息对单人活动识别的好处，该数据集提供了近36k的注释帧，其中包含6个职业排球比赛视频中的7个活动类。我们结合的上下文信息提高了77.56%的平均球员为中心的分类性能高达18.35%的特定类，证明时空背景是活动识别的重要线索。
2014-04-25 cs.CV
Ensembles of Deep LSTM Learners for Activity Recognition using Wearables
Newcastle University（纽卡斯尔大学）；Georgia Institute of Technology（佐治亚理工学院）
最近，深度学习（DL）方法已经非常成功地引入到无处不在和可穿戴计算中的人类活动识别（HAR）场景中。特别是克服人工特征设计的需要与优越的分类能力相结合的前景，使深度神经网络对现实生活中的HAR应用非常有吸引力。尽管基于DL的方法现在在该领域的许多识别任务中优于最先进的方法，但仍然存在重大挑战。最突出的是，现实生活中的数据集问题，通常包括不平衡的数据集和有问题的数据质量，仍然限制了使用可穿戴设备进行活动识别的有效性。在本文中，我们通过深度长短期记忆（LSTM）网络的集成来解决这些挑战。我们已经为LSTM网络开发了修改后的训练程序，并将不同的LSTM学习器组合成分类器集合。我们在形式上和经验上都证明了，深度LSTM学习者的集合优于单个LSTM网络。通过对三个标准基准（机会，PAMAP2，斯柯达）进行广泛的实验评估，我们展示了我们的方法的出色识别能力及其在人类活动识别的实际应用中的潜力。
2017-03-28 cs.AI cs.CV cs.LG
Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction
Bosch Center for Artificial Intelligence（博世人工智能中心）
基于三维人脸的运动预测和行为识别是人类行为分析中的两个相互交织的任务。在这项工作中，我们提出了一种运动上下文建模方法，提供了一种新的方式来结合图形卷积神经网络和递归神经网络的优点，联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨骼数据的空间相关性和运动帧之间的时间相关性。所提出的网络可以很容易地包括两个输出分支，一个用于活动识别，一个用于未来运动预测，它们可以联合训练以增强性能。在Human 3.6M，CMU Mocap和NTU RGB-D数据集上的实验结果表明，我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力，同时实现了与其他最先进方法相当的性能。
2021-08-03 cs.CV cs.LG cs.RO
Deep Structured Models For Group Activity Recognition
Simon Fraser University（西蒙菲莎大学）；SPORTLOGiQ
本文提出了一种基于深度神经网络的分层图形模型，用于监控场景中的个人和群体活动识别。深度网络用于识别场景中单个人的动作。接下来，基于神经网络的分层图形模型通过考虑类之间的依赖关系来细化每个类的预测标签。这个细化步骤模仿了类似于概率图模型中的推理的消息传递步骤。我们证明了这种方法在群体活动识别中是有效的，深度图形模型比基线方法提高了识别率。
2015-06-12 cs.CV
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用，这些系统可用于视觉监控，患者康复，游戏，甚至个人倾向的灵巧家庭。本文展示了我们的努力，以开发一个协作决策融合机制，集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法，通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性，实验进行了两个基准数据集，UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
Object and Text-guided Semantics for CNN-based Activity Recognition
U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton Inc.（博思艾伦汉密尔顿公司）
许多以前的方法已经证明了考虑语义相关对象对于执行基于视频的人类活动识别的重要性，但是没有一种方法能够获得大型文本语料库的能力来将对象和活动关联起来，以转移到学习统一的深度卷积神经网络中。我们提出了一种新的活动识别CNN，它在端到端的多任务学习方案中共同学习对象识别任务，以提高基线活动识别性能。我们进一步改进的多任务学习方法，利用文本引导的语义空间来选择最相关的对象相对于目标活动。据我们所知，我们是第一个研究这种方法的人。
2018-05-04 cs.CV
ARIC: An Activity Recognition Dataset in Classroom Surveillance Images
University of Electronic Science and Technology of China（电子科技大学）
针对课堂监控图像中活动识别面临的类别不平衡和高相似性挑战，构建了多视角、32类、三模态的ARIC数据集，并支持持续学习与少样本持续学习，以推动开放教学场景研究。
2025-02-28 cs.CV
Object Activity Scene Description, Construction and Recognition
Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
动作识别是社交机器人有意义地参与其环境的关键任务。基于人脸的三维人体动作识别是近年来的一个研究热点。虽然现有的方法在动作识别方面做得很好，但要识别活动场景中的一组动作是一个很大的挑战。为了解决这个问题，首先，我们划分成几个基本动作（PA）的运动注意力机制的基础上的场景。然后，基元动作由相应关节的轨迹向量描述。在此基础上，基于词嵌入的文本分类，我们采用卷积神经网络（CNN）识别活动场景，考虑到关节的运动作为“词”的活动。在人体活动场景数据集上的实验结果表明了该方法的有效性。
2018-05-01 cs.CV
Understanding and Improving Deep Neural Network for Activity Recognition
Harbin Institute of Technology（哈尔滨工业大学）
行为识别是近年来普适计算领域的一个研究热点。通过大量的实验可以得出基于活动传感器的数据在活动识别中的特点是多样性、数量和速度。深度学习技术及其各种模型是处理活动数据的最有效方法之一。然而，人们并不清楚它为什么表现如此出色，也不清楚如何使它更有效。为了解决这个问题，首先，我们将卷积神经网络应用于智能手机数据集的人体活动识别。其次，实现了从神经网络中提取的基于传感器活动的数据特征的可视化。然后对特征的可视化进行了深入的分析，探讨了活动与特征之间的关系，并分析了神经网络如何根据这些特征识别活动。之后，我们提取了与活动相关的重要特征，并将这些特征发送到基于DNN的融合模型，从而将分类率提高到96.1%。据我们所知，这是第一个可视化抽象的基于传感器的活动数据特征的工作。实验结果表明，本文提出的方法有望实现基于传感器的活动识别的准确分类。
2018-05-18 cs.CV
Domain Adaptation and Active Learning for Fine-Grained Recognition in the Field of Biodiversity
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；German Aerospace Center (DLR)（德国航空航天中心）
深度学习方法在广泛的领域提供了无与伦比的识别性能，包括细粒度识别任务。然而，在大多数问题领域，没有足够的注释训练样本。因此，迁移学习的课题分别进行领域自适应就显得尤为重要。在这项工作中，我们调查在何种程度上无监督的领域自适应可以用于细粒度的识别在生物多样性的背景下学习一个真实世界的分类器的基础上理想化的训练数据，例如保存的蝴蝶和植物。此外，我们研究了不同的归一化层，如组归一化结合权重标准化，对分类器的影响。我们发现，领域自适应工程非常好的细粒度的识别和规范化的方法有很大的影响的结果。使用领域自适应和可转移归一化，与基线相比，分类器的准确率可以提高高达12. 35%。此外，将领域自适应系统与主动学习组件相结合以改善结果。我们比较了不同的主动学习策略。令人惊讶的是，我们发现，更复杂的策略提供了更好的结果比随机选择基线的两个数据集之一。在这种情况下，距离和多样性策略表现最好。最后，我们对数据集进行了问题分析。
2021-10-22 cs.CV
Improving the Multi-label Atomic Activity Recognition by Robust Visual Feature and Advanced Attention @ ROAD++ Atomic Activity Recognition 2024
Intelligent Perception and Image Understanding Lab（智能感知与图像理解实验室）
本文针对 Road++ Track3 多标签原子活动识别任务，通过优化数据处理、引入多种视觉骨干网络与 action-slot 模型并进行加权融合，将测试集 mAP 提升至 58%，较基线提高 4%。
2024-10-21 cs.CV
Boosted Multiple Kernel Learning for First-Person Activity Recognition
Middle East Technical University（中东技术大学）；University of Birmingham（伯明翰大学）
由于可穿戴相机的日益普及，第一人称（以自我为中心）视频的活动识别最近受到了关注。已经有大量的努力调整现有的特征描述符，并为第一人称视频设计新的描述符。一个有效的活动识别系统需要选择和使用互补的功能和适当的内核为每个功能。在这项研究中，我们提出了一个数据驱动的第一人称活动识别框架，该框架在训练过程中有效地选择和组合特征及其各自的内核。我们的实验结果表明，使用多核学习（MKL）和提升MKL在第一人称活动识别问题中表现出改善的结果相比，国家的最先进的。此外，这些技术使扩展的框架与新的功能，在一个有效的和方便的方式。
2017-06-05 cs.CV
Domain Adaptation for Ear Recognition Using Deep Convolutional Neural Networks
Istanbul Technical University（伊斯坦布尔技术大学）
在本文中，我们广泛研究了无约束的人耳识别问题。我们首先展示了当深度卷积神经网络模型用于人耳识别时，领域自适应的重要性。为了启用领域自适应，我们使用Multi-PIE人脸数据集收集了一个新的耳朵数据集，我们将其命名为Multi-PIE耳朵数据集。为了进一步提高性能，我们结合了不同的深度卷积神经网络模型。我们深入分析了耳朵图像质量（例如照度和纵横比）对分类性能的影响。最后，我们解决了人耳识别领域中的数据集偏差问题。在UERC数据集上的实验表明，领域自适应可以显著提高性能。例如，当使用VGG-16模型并应用领域自适应时，已经实现了约10%的绝对增加。结合不同的深度卷积神经网络模型，进一步提高了4%的精度。还观察到图像质量对结果有影响。在我们已经进行的检查数据集偏差的实验中，给定一个耳朵图像，我们能够以99.71%的准确率对数据集进行分类，这表明耳朵识别数据集之间存在很强的偏差。
2018-03-21 cs.CV
Adaptation of Surgical Activity Recognition Models Across Operating Rooms
Intuitive Surgical Inc.（直觉外科公司）；Stanford University（斯坦福大学）
自动手术活动识别可实现更智能的手术设备和更高效的工作流程。在新的手术室中集成这种技术有可能改善对患者的护理并降低成本。最近的工作在手术活动识别方面取得了很好的表现;然而，这些模型缺乏可推广性是这项技术大规模采用的关键障碍之一。在这项工作中，我们研究了手术室手术活动识别模型的普遍性。我们提出了一种新的领域自适应方法，以提高在新的手术室，我们只有未标记的视频的手术活动识别模型的性能。我们的方法为未标记的视频片段生成伪标签，并在片段的增强版本上训练模型。我们将我们的方法扩展到半监督领域自适应设置，其中目标域的一小部分也被标记。在我们的实验中，我们提出的方法在从两个手术室收集的480多个长手术视频的数据集上始终优于基线。
2022-07-07 cs.CV
Feature Learning for Interaction Activity Recognition in RGBD Videos
University of Science（科学大学）
本文提出了一种基于特征的人体活动识别方法，该方法从三维视频数据中学习，而不需要结合领域知识。对RGBD相机收集的数据进行的实验产生了优于其他技术的结果。我们的特征编码方法遵循视觉词袋模型，然后我们使用SVM分类器来识别活动。我们不使用骨架或跟踪信息，相同的技术应用于颜色和深度数据。
2015-08-10 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
在本报告中，我们描述了我们提交2021年EPIC-KITCHENS-100无监督领域自适应行动识别挑战赛的技术细节。利用多模态已被证明有利于无监督领域自适应（UDA）任务。在这项工作中，我们提出了多模态相互增强模块（M3 EM），这是一个深度模块，用于联合考虑来自多个模态的信息，以找到跨域最可转移的表示。我们通过实施两个子模块来实现这一点，用于使用其他模式的上下文来增强每种模式。第一子模块通过语义空间跨模态交换信息，而第二子模块基于所有模态的共识找到最可转移的空间区域。
2021-07-01 cs.CV
On Multi-resident Activity Recognition in Ambient Smart-Homes
The Australian E-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织（CSIRO）澳大利亚电子健康研究中心）
随着对灵巧家庭中活动监测研究的日益关注，环境智能的使用促进了环境智能的使用，以降低部署成本并解决隐私问题。多居民活动识别的方法已经提出了几种，但是，仍然缺乏一个全面的基准，为未来的研究和实际选择的模型。在本文中，我们研究了不同的方法，多居民活动识别和评估他们在相同的数据集。实验结果表明，带门控递归单元的递归神经网络优于其他模型，并且具有相当高的效率，使用组合活动作为单个标签比将它们表示为单独的标签更有效。
2018-06-18 cs.CV
Activity Recognition on a Large Scale in Short Videos - Moments in Time Dataset
瞬间捕捉了我们生活的很大一部分。准确识别这些时刻是具有挑战性的，因为这些时刻的解释是多样和复杂的。动作识别是指对给定视频中存在的期望动作/活动进行分类的动作。在这项工作中，我们在Moments in Time数据集上进行实验，以准确识别3秒片段中发生的活动。我们使用最先进的技术进行视觉，听觉和时空定位，并开发方法来准确地对时间数据集的时刻中的活动进行分类。我们使用基于视觉的文本特征和融合技术的新方法表现良好，在20个类别上提供了89.23%的前5名准确率-这是对基线TRN模型的显着改进。
2018-09-13 cs.CV cs.LG cs.MM
Open Set Domain Adaptation for Image and Action Recognition
University of Bonn（波恩大学）
由于注释和管理大型数据集非常昂贵，因此需要将知识从现有的注释数据集转移到未标记的数据。然而，与特定应用程序相关的数据通常与公开可用的数据集不同，因为它是从不同的领域采样的。虽然领域自适应方法补偿这样的领域移位，但是它们假设目标域中的所有类别是已知的并且与源域中的类别匹配。由于这一假设是违反现实世界的条件下，我们提出了一种方法，开集领域自适应的目标域包含的类别，不存在于源域的实例。所提出的方法在各种数据集上实现了最先进的结果，用于图像分类和动作识别。由于该方法可以用于开集和闭集领域自适应，以及无监督和半监督领域自适应，它是一个通用的工具，许多应用。
2019-07-30 cs.CV
On the Role of Event Boundaries in Egocentric Activity Recognition from Photostreams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Universitat Autónoma de Barcelona（巴塞罗那自治大学）
事件边界作为视频中人类活动的检测、定位和识别任务的预处理步骤起着至关重要的作用。通常，虽然它们固有的主观性，但时间界限被手动提供作为训练动作识别算法的输入。然而，它们在自我中心光流领域的活动识别中的作用迄今为止一直被忽视。在本文中，我们提供了自动计算的边界如何影响活动识别结果的新兴领域的自我中心的photostreams的见解。此外，我们收集了一个由15人通过可穿戴照相机获取的新注释数据集，并使用它向未见过的用户展示了几种基于深度学习的架构的泛化能力。
2018-09-06 cs.CV
ATARS: An Aerial Traffic Atomic Activity Recognition and Temporal Segmentation Dataset
National Chengchi University（国立政治大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有交通原子活动数据集视角受限、仅含视频级标注的问题，该研究推出首个航拍多标签ATARS数据集，提出多标签时间原子活动识别新任务，实验验证了数据集的独特挑战并给出未来研究方向。
2025-03-24 cs.CV
Appearance Based Robot and Human Activity Recognition System
在这项工作中，我们提出了一个基于外观的人类活动识别系统。它使用背景建模来分割前景对象，并提取有用的判别特征来表示人类和机器人执行的活动。基于子空间的方法，如主成分分析是用来提取低维特征，从大容量的活动图像。然后，这些低维特征用于对活动进行分类。设计了一种使用网络摄像头的装置，该装置在室内环境下观察机器人模仿人类跌倒。在这个装置中，机器人模仿人类进行各种活动（如行走，弯曲，移动手臂），其中还包括突然摔倒。机器人执行各种活动和标准的人类活动识别数据库的实验结果表明，我们所提出的方法的有效性。
2016-02-10 cs.CV cs.RO
Different Approaches for Human Activity Recognition: A Survey
Macquarie University（麦考瑞大学）
人类活动识别近年来由于其在健康、安全和监控、娱乐和智能环境等各个领域的应用而变得越来越重要。在人类活动识别方面已经做了大量的工作，研究人员利用不同的方法来识别人类活动，例如可穿戴，对象标记和无设备。在本文中，我们对2010-2018年期间在人类活动识别各个领域进行的工作进行了全面调查，主要关注无设备解决方案。无设备的方法变得非常流行，因为受试者不需要携带任何东西，而是用设备标记环境以捕获所需的信息。我们提出了一个新的分类法进行分类的研究工作在活动识别领域，并将现有的文献分为三个子领域：基于动作，基于运动，基于交互。我们进一步将这些领域划分为十个不同的子课题，并介绍了这些子课题的最新研究工作。以往的调查只集中于某一类活动，而今次的调查则涵盖活动识别的所有次范畴，并就这些次范畴的最新研究工作作出比较。具体来说，我们讨论的关键属性和设计方法的工作。然后，我们提供了基于10个重要指标的广泛分析，为读者提供了人类活动识别不同子领域的最新技术和趋势的完整概述。最后，我们讨论了开放的研究问题，并提供了未来的研究方向，在人类活动识别领域。
2019-06-11 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University（安娜大学）
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别，特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段：环境模型，对象表示，对象跟踪，活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition
IIT Madras（印度理工学院马德拉斯分校）
人脸识别（FR）是基于生物特征的监控的最优选模式，这是由于其在所有不同类型的生物特征中检测主体的被动性质。与训练样本相比，由于探头上的低对比度、噪声和较差的照明条件，监视场景下的FR没有给出令人满意的性能。最先进的技术，深度学习，甚至在这些场景中表现不佳。我们提出了一种新的基于软边的学习方法，用于多个特征核组合，然后使用领域自适应进行特征变换，当使用三个真实世界的监控人脸数据集进行测试时，其性能优于许多最近的最先进的技术。
2016-10-27 cs.AI cs.CV cs.HC
Simultaneous Learning from Human Pose and Object Cues for Real-Time Activity Recognition
Colorado School of Mines（科罗拉多矿业学院）；U.S. Army Research Laboratory（美国陆军研究实验室）
实时的【形】人体活动识别在以人为中心的机器人应用中起着至关重要的作用，例如辅助生活和人机协作。虽然先前的基于骨架数据来编码人类姿势的方法在实时的【形】活动识别上显示出有希望的结果，但是它们缺乏考虑场景内的对象提供的上下文和人类使用的上下文的能力，这可以提供人类活动类别之间的进一步判别。在本文中，我们提出了一种新的方法来实时的【形】人类活动识别，通过同时学习从观察的人的姿势和对象参与的人类活动。我们将人体活动识别作为一个统一的数学框架下的联合优化问题，它使用一个回归类损失函数，以整合人体姿势和对象线索，并定义结构化的稀疏诱导规范，以确定歧视性的身体关节和对象属性。为了评估我们的方法，我们在两个基准数据集和一个物理机器人上进行了大量的实验。实验结果表明，该方法的识别性能优于以往的方法，并获得了实时的【形】人体活动识别性能，处理速度为10^4 Hz。
2020-03-26 cs.CV cs.RO
Deep Generative Domain Adaptation with Temporal Relation Knowledge for Cross-User Activity Recognition
The University of Auckland（奥克兰大学）
针对跨用户活动识别中数据非独立同分布及忽略时间关系的问题，提出CVAE-USM方法，结合VAE和USM利用时间模式对齐分布，在两个公开数据集上优于现有方法。
2024-03-12 cs.AI cs.CV cs.HC
The ActivityNet Large-Scale Activity Recognition Challenge 2018 Summary
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）；Universidad del Norte（北方大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
第三届ActivityNet大型活动识别挑战赛于CVPR 2018举行，为期一天，重点关注从用户生成的视频中识别日常生活，高层次，目标导向的活动，如互联网视频门户中的活动。2018年的挑战赛举办了六项不同的任务，旨在推动视频语义视觉理解的极限，并将视觉内容与人类字幕联系起来。六个任务中有三个基于ActivityNet数据集，该数据集在CVPR 2015中引入，并以语义分类法分层组织。这些任务的重点是以提案、类标签和标题的形式及时跟踪活动的证据。在本期挑战中，我们主持了三个来宾任务，以丰富对视频中视觉信息的理解。来宾任务侧重于大规模活动识别问题的互补方面，涉及三个具有挑战性的最近编译的数据集：来自Google DeepMind的Kinetics-600数据集，来自Berkeley和Google的AVA数据集，以及来自MIT和IBM Research的Moments in Time数据集。
2018-08-23 cs.CV
Non-stationary BERT: Exploring Augmented IMU Data For Robust Human Activity Recognition
The University of Hong Kong（香港大学）；Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）
针对手机端用户特定的人类活动识别问题，本文构建了OPPOHAR数据集，提出了轻量级网络Non-stationary BERT及两阶段训练方法，并设计了探索加速度计与陀螺仪数据深层关系的数据增强策略，在多个数据集上实现了最先进的性能。
2024-09-25 cs.AI cs.CV
Group Activity Recognition using Unreliable Tracked Pose
La Trobe University（拉筹伯大学）；Australian Institute of Sport（澳大利亚体育学院）
提出RePGARS方法，通过容忍不可靠追踪和姿态信息，解决视频群体活动识别中对高质量追踪的依赖问题，在无真实标注条件下性能优于现有算法。
2024-01-06 cs.CV
A Multi-Stream Convolutional Neural Network Framework for Group Activity Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在这项工作中，我们提出了一个框架的基础上，多流卷积神经网络（CNN）的群体活动识别。CNN的流在不同的模式上分别训练，它们的预测在最后融合。每个流都有两个分支，用于基于人物和场景级别表示来预测组活动。提出了一种新的基于人体姿态估计的模态，以向模型中添加额外的信息。我们在排球和集体活动数据集上评估了我们的方法。实验结果表明，该框架能够实现最先进的结果时，多帧或单帧作为输入到模型的准确率分别为90.50%和86.61%的排球数据集，和87.01%的集体活动数据集上的多帧组活动。
2018-12-26 cs.CV
Extreme Low Resolution Activity Recognition with Confident Spatial-Temporal Attention Transfer
Sichuan University（四川大学）；Wuhan University（武汉大学）；University of Bonn（波恩大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Tulane University（杜兰大学）；Sun Yat-Sen University（中山大学）
对极低分辨率视频的活动识别，例如，分辨率为12*16像素，在远景监控和隐私保护多媒体分析中起着至关重要的作用。低分辨率视频只包含有限的信息。鉴于同一个活动可以由高分辨率（HR）和极低分辨率（eLR）的视频表示的事实，利用相关HR数据来改进eLR活动识别是值得研究的。在这项工作中，我们提出了一种新的置信时空注意转移（CSTAT）的eLR活动识别。CSTAT可以从HR数据中获取信息，通过迁移学习策略减少注意差异。此外，监控信号的可信度也被考虑到一个更自信的传输过程。在两个众所周知的数据集上的实验结果，即，UCF 101和HMDB 51的实验结果表明，该方法能有效提高eLR活性识别的准确率，在HMDB 51中对12*16个视频的识别准确率达到59.23%，达到了最高水平。
2021-10-10 cs.CV
Billet Number Recognition Based on Test-Time Adaptation
针对钢坯编号识别中图像失真、数据分布差异导致现有方法精度低的问题，提出融合测试时自适应与先验知识的方法，通过熵最小化适配测试数据、利用编码规则优化结果并改进CTC算法，显著提升真实数据集上的识别性能。
2025-02-13 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University（多特蒙德工业大学）；Department of Computer Science（计算机科学系）
属性表示在图像识别和单词识别中变得相关，在存在不平衡和不相交数据集的情况下提供支持。然而，对于使用来自身体传感器的序列数据的人类活动识别，缺乏人类标记的属性。本文介绍了一种搜索属性，代表有利的信号段识别人类活动。它提出了三种深度架构，包括时间卷积和以IMU为中心的设计，用于预测属性。随机和学习的属性表示，以及网络的经验评估是在两个数据集上进行的，优于最先进的。
2018-02-02 cs.CV
A Close Look into Human Activity Recognition Models using Deep Learning
University of Wisconsin-Eau Claire（威斯康星大学欧克莱尔分校）
使用深度学习技术的人类活动识别由于其识别复杂任务的高效性以及与更传统的机器学习技术相比成本相对较低而变得越来越流行。本文调查了一些最先进的人类活动识别模型，这些模型基于深度学习架构，具有包含卷积神经网络（CNN）、长短期记忆（LSTM）或混合系统的多种类型的层。分析概述了如何实施模型，以最大限度地提高其有效性和它面临的一些潜在的限制。
2022-04-26 cs.CV eess.SP
Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition
DarkMatter Research（暗物质研究）；Sun Yat-Sen University（中山大学）
由于标注过程的主观性和采集条件的不同，不同的人脸表情识别数据集不可避免地存在数据不一致和偏差。最近的作品诉诸对抗机制，学习域不变的功能，以减轻域转移。然而，大多数这些工作集中在整体特征适应，他们忽略了本地功能，更可转移到不同的数据集。此外，局部特征携带用于表情识别的更详细和有区别的内容，并且因此集成局部特征可以实现细粒度的自适应。在这项工作中，我们提出了一种新的对抗图表示自适应（AGRA）框架，该框架将图表示传播与对抗学习相结合，以实现跨域整体-局部特征协同自适应。为了实现这一点，我们首先构建一个图来关联每个域中的整体和局部区域，然后构建另一个图来关联不同域中的这些区域。然后，我们学习每个域的每类统计分布，并从输入图像中提取整体局部特征来初始化相应的图节点。最后，我们引入了两个堆叠图卷积网络来传播每个域内的整体-局部特征，以探索它们之间的相互作用，并跨不同的域进行整体-局部特征的协同适应。通过这种方式，AGRA框架可以自适应地学习细粒度的域不变特征，从而促进跨域表情识别。我们进行了广泛和公平的实验，几个流行的基准测试，并表明，建议AGRA框架实现了优越的性能比以前的国家的最先进的方法。
2020-08-04 cs.CV
Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对自我中心活动识别在多模态持续学习中的灾难性遗忘问题，本文提出了多模态数据集UESTC-MMEA-CL，并基于RGB、加速度和陀螺仪三种模态对四种基线方法进行了广泛评估。
2023-01-26 cs.CV
