A Multi-Stream Convolutional Neural Network Framework for Group Activity Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在这项工作中，我们提出了一个框架的基础上，多流卷积神经网络（CNN）的群体活动识别。CNN的流在不同的模式上分别训练，它们的预测在最后融合。每个流都有两个分支，用于基于人物和场景级别表示来预测组活动。提出了一种新的基于人体姿态估计的模态，以向模型中添加额外的信息。我们在排球和集体活动数据集上评估了我们的方法。实验结果表明，该框架能够实现最先进的结果时，多帧或单帧作为输入到模型的准确率分别为90.50%和86.61%的排球数据集，和87.01%的集体活动数据集上的多帧组活动。
2018-12-26 cs.CV
R-C3D: Region Convolutional 3D Network for Temporal Activity Detection
Boston University（波士顿大学）
我们解决的问题，在连续的，未修剪的视频流的活动检测。这是一项艰巨的任务，需要提取有意义的时空特征来捕获活动，准确定位每个活动的开始和结束时间。我们引入了一种新的模型，区域卷积3D网络（R-C3 D），它使用三维全卷积网络编码视频流，然后生成包含活动的候选时间区域，最后将选定的区域分类为特定的活动。由于在建议和分类管道之间共享卷积特征，因此节省了计算。整个模型是端到端训练的，具有联合优化的定位和分类损失。R-C3 D比现有方法更快（在单个Titan X Maxwell GPU上每秒569帧），并在THUMOS'14上实现了最先进的结果。我们进一步证明了我们的模型是一个通用的活动检测框架，它不依赖于对特定数据集属性的假设，通过评估我们在ActivityNet和Charades上的方法。我们的代码可在http://ai.bu.edu/r-c3d/上获得。
2017-08-04 cs.CV
Contextual Multi-Scale Region Convolutional 3D Network for Activity Detection
KAUST（阿卜杜拉国王科技大学）；Boston University（波士顿大学）；Institute of Software, CAS（中国科学院软件研究所）
活动检测是计算机视觉中的一个基本问题。检测不同时间尺度的活动特别具有挑战性。在本文中，我们提出了上下文多尺度区域卷积3D网络（CMS-RC 3D）的活动检测。为了处理活动实例固有的时间尺度变化性，时间特征金字塔被用来表示不同时间尺度的活动。在时间特征金字塔的每个级别上，学习活动提议检测器和活动分类器以检测特定时间尺度的活动。时间上下文信息被融合到活动分类器中以更好地识别。更重要的是，所有级别的整个模型都可以进行端到端的训练。我们的CMS-RC 3D检测器可以处理所有时间尺度范围内的活动，只需通过主干网络一次。我们在两个公共活动检测基准测试，THUMOS 14和ActivityNet上测试我们的检测器。大量的实验表明，所提出的CMS-RC 3D检测器在THUMOS 14上的性能明显优于最先进的方法，并且尽管使用了浅特征提取器，但在ActivityNet上也取得了相当的结果。
2018-01-28 cs.CV
Multichannel Attention Networks with Ensembled Transfer Learning to Recognize Bangla Handwritten Charecter
Bangladesh Army University of Science and Technology (BAUST)（孟加拉国陆军科技大学）；University of Aizu（会津大学）；Pabna University of Science and Technology（pabna 科技大学）
针对孟加拉手写字符识别难题，提出结合Inception Net和ResNet的集成迁移学习与多通道注意力网络，在CAMTERdb 3.1.2数据集上分别达到92%和98%的准确率。
2024-08-20 cs.CV
CA3D: Convolutional-Attentional 3D Nets for Efficient Video Activity Recognition on the Edge
CNR-ISTI（意大利那不勒斯“卡罗纳”国家研究委员会-信息科学研究所）
本文提出CA3D模型，结合卷积与线性复杂度注意力机制及新颖量化方法，在降低计算成本的同时保持高精度，适用于边缘设备上的视频活动识别，并在公开基准上验证了其有效性。
2025-05-26 cs.CV
Two-Stream Region Convolutional 3D Network for Temporal Activity Detection
UC Berkeley（加州大学伯克利分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；Boston University（波士顿大学）
我们解决的问题，在连续的，未修剪的视频流的时间活动检测。这是一项艰巨的任务，需要提取有意义的时空特征来捕获活动，准确定位每个活动的开始和结束时间。我们引入了一种新的模型，区域卷积3D网络（R-C3 D），它使用三维全卷积网络编码视频流，然后生成包含活动的候选时间区域，最后将选定的区域分类为特定的活动。由于在建议和分类管道之间共享卷积特征，因此节省了计算。我们进一步提高了检测性能，有效地整合了光流为基础的运动流与原始的RGB流。通过融合不同层次的流和RGB特征图，对双流网络进行联合优化。此外，训练阶段还采用了在线硬示例挖掘策略，以解决任何检测管道中通常观察到的极端前景-背景不平衡问题。我们不是对最终活动分类阶段的候选细分进行随机抽样，而是根据它们的表现对其进行排名，只选择表现最差的细分来更新模型。这改进了模型，而无需大量的超参数调整。在三个基准数据集上进行了广泛的实验，以显示优于现有的时间活动检测方法的性能。我们的模型在THUMOS'14和Charades数据集上实现了最先进的结果。我们进一步证明，我们的模型是一个通用的时间活动检测框架，不依赖于特定的数据集属性的假设，通过评估我们的方法对ActivityNet数据集。
2019-06-05 cs.CV
S3D: Single Shot multi-Span Detector via Fully 3D Convolutional Networks
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Maryland（马里兰大学）
在本文中，我们提出了一种新的Single Shot多跨度检测器，用于使用简单的端到端全三维卷积（Conv3D）网络在长的未修剪视频中进行时间活动检测。我们的架构，命名为S3D，编码整个视频流和离散化的输出空间的时间活动跨度到一组默认的跨度在不同的时间位置和尺度。在预测时间，S3D预测每个默认跨度中活动类别的存在的分数，并产生相对于跨度位置的时间调整，以预测精确的活动持续时间。与许多需要单独的建议和分类阶段的最先进的系统不同，我们的S3D本质上很简单，专门为单发，端到端的时间活动检测而设计。在THUMOS的14检测基准测试中，S3D达到了最先进的性能，非常高效，可以以1271 FPS的速度运行。
2018-08-07 cs.CV
A Tree-structure Convolutional Neural Network for Temporal Features Exaction on Sensor-based Multi-resident Activity Recognition
Wuhan University of Technology（武汉理工大学）
随着传感器设备在灵巧家庭中的广泛应用，活动识别引起了人们极大的兴趣，现有的大多数工作都假设只有一个居住者。而在现实生活中，家中通常有多个住户，这给识别活动带来了更大的挑战。此外，许多传统的方法依赖于手动时间序列数据分割，忽略了事件的固有特性，并且其启发式手工特征生成算法难以利用独特的特征来准确地分类不同的活动。为了解决这些问题，我们提出了一个端到端的树结构卷积神经网络为基础的框架多居民活动识别（TSC-MRAR）。首先，我们把每个样本作为一个事件，并获得当前事件嵌入通过以前的传感器读数在滑动窗口中，而不分裂的时间序列数据。然后，为了自动生成的时间特征，一个树结构网络的设计，以获得附近的读数的时间依赖性。提取的特征被送入全连接层，该层可以同时联合学习居民标签和活动标签。最后，在CASAS数据集上的实验表明，与最先进的技术相比，我们的模型在多居民活动识别方面具有很高的性能。
2020-11-05 cs.CV
3D Human Activity Recognition with Reconfigurable Convolutional Neural Networks
Sun Yat-Sen University（中山大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology（哈尔滨工业大学）
使用3D/深度传感器理解人类活动在多媒体处理和交互中受到越来越多的关注。这项工作的目标是开发一种新的深度模型，用于从RGB-D视频中自动识别活动。我们将每个人类活动表示为一个类似于视频片段的集合，并学习发现一类活动的时间结构，即如何在分类方面分解活动。我们的模型可以被视为结构化的深度架构，因为它通过引入结构替代方案来扩展卷积神经网络（CNN）。具体来说，我们在视频片段上构建由3D卷积和最大池运算符组成的网络，并在每个卷积层中引入潜变量来操纵神经元的激活。因此，我们的模型在两个方面推进了现有的方法：（i）它直接作用于原始输入（灰度深度数据）来进行识别，而不是依赖于手工制作的特征，以及（ii）模型结构可以动态调整，以考虑人类活动的时间变化，即允许在推理过程中部分激活网络配置。对于模型训练，我们提出了一种EM型优化方法，该方法迭代地（i）通过确定每个训练样本的分解动作来发现潜在结构，以及（ii）通过使用反向传播算法来学习网络参数。我们的方法在具有挑战性的场景中得到了验证，并且优于最先进的方法。此外，还提供了一个大型的RGB-D视频人体活动数据库。
2015-02-01 cs.CV
Weakly Supervised Temporal Convolutional Networks for Fine-grained Surgical Activity Recognition
University of Verona（维罗纳大学）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）；IRCAD（斯特拉斯堡微创外科研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学医院基金会IRCCS）
本文提出利用粗粒度阶段标签作为弱监督，通过步骤-阶段依赖损失和以ResNet-50为骨干的SS-TCN，在少量步骤标注下实现细粒度手术步骤识别，并在两个手术视频数据集上验证了有效性。
2023-04-11 cs.CV
Depth Not Needed - An Evaluation of RGB-D Feature Encodings for Off-Road Scene Understanding by Convolutional Neural Network
Durham University（杜伦大学）；Institute for Infocomm Research（资讯通信研究所）
自动驾驶车辆的场景理解是一项具有挑战性的计算机视觉任务，卷积神经网络（CNN）的最新进展取得了明显超过现有传统特征驱动方法的结果。然而，有限的工作调查的应用程序，这种方法无论是在高度非结构化的越野环境或RGBD输入数据。在这项工作中，我们采用了一种现有的CNN架构，旨在对城市道路场景的RGB图像进行语义分割，然后对其进行调整和重新训练，以使用在一系列具有挑战性的越野条件下获得的多通道RGBD图像执行相同的任务。我们比较了两种不同的立体匹配算法和五种不同的编码深度信息的方法，包括视差，局部法线方向和HHA（水平视差，地平面以上的高度，与重力的角度），以创建我们的数据集的总共十个实验变化，其中每一个都用于训练和测试CNN，以便可以对使用标准RGB输入训练的CNN评估分类性能。
2018-01-04 cs.CV
Multichannel Orthogonal Transform-Based Perceptron Layers for Efficient ResNets
本文提出基于正交变换（DCT、HT、BWT）的多通道感知器层替代CNN中的Conv2D层，在变换域利用逐元素乘法执行卷积并引入可训练软阈值层去噪，显著减少参数与乘法量并提升ResNets在ImageNet-1K上的分类准确率。
2024-04-22 cs.CV eess.IV eess.SP
Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks
University of Rennes 1（雷恩第一大学）；INSERM（法国国家健康与医学研究院）；Gazi University（加齐大学）
手术活动的建模和识别是一个有趣的研究问题。虽然最近的一些作品研究了手术活动的自动识别，但这些作品在不同任务和不同数据集上的通用性仍然是一个挑战。我们引入了一种模态，是强大的场景变化，这是能够推断部分信息，如方向和相对空间关系。建议的方式是基于时空图形表示的手术工具在视频中，手术活动识别。为了探索其有效性，我们建模和识别手术手势与建议的方式。我们构建连接手术工具的联合姿态估计的空间图。然后，我们将每个关节连接到连续帧中的对应关节，形成表示关节随时间的轨迹的帧间边缘。然后，我们学习分层时空图表示使用时空图卷积网络（ST-GCN）。我们的实验表明，学习的时空图形表示在手术手势识别中表现良好，即使单独使用。我们用JIGSAWS数据集的缝合任务进行实验，其中手势识别的机会基线为10%。我们的结果表明，平均准确率为68%，这表明有显着的改善。学习的层次时空图表示可以单独使用，级联或作为手术活动识别的补充模式，因此为未来的研究提供了一个基准。据我们所知，我们的论文是第一次使用手术工具的时空图表示，和姿势为基础的骨架表示一般，手术活动识别。
2020-08-13 cs.CV
Dynamic Action Recognition: A convolutional neural network model for temporally organized joint location data
Worcester Polytechnic Institute（伍斯特理工学院）
动机：识别视频中的人类动作是一项具有挑战性的任务，在各个领域都有应用。这一领域的先前作品使用了来自2D或3D相机的图像。很少有人使用人类动作可以通过3D空间中关节的运动轻松识别的想法，而是使用递归神经网络（RNN）进行建模。卷积神经网络（CNN）甚至能够识别数据中的复杂模式，这使得它适合用于检测人类行为。因此，我们建立了一个CNN模型，它可以使用联合数据预测人类活动。此外，使用联合数据表示具有比图像或视频表示更低维度的益处。这使得我们的模型比RNN模型更简单，更快。在这项研究中，我们开发了一个六层卷积网络，它将形式为15x1961x4的每个输入特征向量简化为一维二进制向量，从而为我们提供预测的活动。结果：我们的模型能够正确识别活动，准确率高达87%。关节数据来自康奈尔活动数据集，其中包括日常活动，如谈话，放松，饮食，烹饪等。
2016-12-20 cs.CV
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用，这些系统可用于视觉监控，患者康复，游戏，甚至个人倾向的灵巧家庭。本文展示了我们的努力，以开发一个协作决策融合机制，集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法，通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性，实验进行了两个基准数据集，UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University（衡阳师范学院）；Cardiff University（卡迪夫大学）
本文提出了一种自动图像合成方法，将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时，风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像，忽略其语义布局，并且破坏传递结果。为了减少或避免这种影响，我们提出了一种新的方法，自动分割的对象，并提取其软语义面具的风格和内容的图像，以保持结构的内容图像，同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分，对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移，该框架结合了生成马尔可夫随机场（MRF）模型。各种图像上的结果表明，我们的方法优于最新的技术。
2017-08-31 cs.CV
GlobeNet: Convolutional Neural Networks for Typhoon Eye Tracking from Remote Sensing Imagery
Korea University of Science and Technology (UST)（韩国科学技术联合大学院大学）；Korea Institute of Science and Technology Information (KISTI)（韩国科学技术信息研究院）
遥感技术的进步使人们有可能利用高分辨率视觉数据进行天气观测和预报。我们建议使用多层神经网络了解复杂的大气动力学的基础上，多通道卫星图像。我们的模式的能力进行了评估，通过使用线性回归任务的单一台风坐标预测。模型和不同激活策略的特定组合使我们能够在东北半球（ENH）获得有趣的预测结果。
2017-08-11 cs.AI cs.CV cs.NE
Learning to Forecast Videos of Human Activity with Multi-granularity Models and Adaptive Rendering
Simon Fraser University（西蒙弗雷泽大学）
我们提出了一种方法来预测视频的复杂的人类活动，涉及多个人。直接的像素级预测过于简单，无法处理复杂活动中的外观变化。因此，我们开发新的中间表示。提出了一种结合用于预测人体姿态的分层时间模型和用于绘制目标外观的编码器-解码器卷积神经网络的架构。我们的层次模型捕捉人与人之间的互动，采用动态的基于组的互动机制。接下来，我们的外观渲染网络通过使用全卷积网络学习自适应外观过滤器来编码目标的外观。最后，将这些滤波器放入编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的视频，并且可以在视频预测中处理复杂的人类活动场景。
2017-12-05 cs.CV
Layer-wise training convolutional neural networks with smaller filters for human activity recognition using wearable sensors
Nanjing Normal University（南京师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
最近，卷积神经网络（CNN）已经在各种人类活动识别（HAR）数据集上设置了最新的最新技术水平。然而，深度CNN通常需要更多的计算资源，这限制了其在嵌入式HAR中的应用。虽然已经提出了许多成功的方法来减少CNN的内存和FLOPs，但它们通常涉及为视觉任务设计的特殊网络架构，由于显着的差异，这些网络架构不适用于具有时间序列传感器信号的深度HAR任务。因此，有必要开发轻量级的深度模型来执行HAR。由于滤波器是构建CNN的基本单元，因此重新设计较小的滤波器是否适用于深度HAR值得进一步研究。在本文中，受此想法的启发，我们提出了一个轻量级的CNN使用乐高过滤器的HAR。一组低维滤波器被用作乐高积木来堆叠常规滤波器，它不依赖于任何特殊的网络结构。采用局部损失函数对模型进行训练。据我们所知，这是第一篇论文，提出了轻量级的CNN的HAR在无处不在和可穿戴计算领域。在五个公共HAR数据集，UCI-HAR数据集，OPPORTUNITY数据集，UNIMIB-SHAR数据集，PAMAP 2数据集和WISDM数据集上的实验结果表明，我们的新型Lego CNN具有局部损失，可以大大降低存储和计算成本比CNN，同时实现更高的精度。也就是说，所提出的模型更小，更快，更准确。最后，我们评估了Android智能手机上的实际性能。
2021-08-05 cs.CV
Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
Retrocausal, Inc.（Retrocausal公司）
我们介绍了一种新的方法与时间戳监督的时间活动分割。我们的主要贡献是一个图卷积网络，它以端到端的方式学习，利用帧特征和相邻帧之间的连接，从稀疏的时间戳标签生成密集的逐帧标签。所生成的密集逐帧标记然后可以用于训练分割模型。此外，我们还提出了一个框架，用于交替学习分割模型和图卷积模型，首先对学习的模型进行迭代，然后迭代地细化。在四个公共数据集上进行的详细实验，包括50个沙拉，GTEA，早餐和桌面组装，表明我们的方法优于多层感知器基线，同时在时间戳监督的时间活动分割方面与最先进的技术相当或更好。
2022-08-02 cs.CV
Temporal Gaussian Mixture Layer for Videos
Indiana University（印第安纳大学）
我们引入了一个名为时间高斯混合（TGM）层的新卷积层，并介绍了如何使用它来有效地捕获连续活动视频中的长期时间信息。TGM层是由小得多的参数集（例如，位置/高斯的方差）是完全可微的。我们提出了具有多个TGM层的完全卷积视频模型，用于活动检测。在包括Charades和MultiTHUMOS在内的多个数据集上进行的广泛实验证实了TGM层的有效性，其性能明显优于最先进的技术。
2019-08-01 cs.CV
A Multi-Task Learning Approach for Human Activity Segmentation and Ergonomics Risk Assessment
University of Washington（华盛顿大学）
我们提出了一种新的方法，人类活动评估（HAE）在长视频使用基于图的多任务建模。以前的作品中的活动评估要么直接计算一个度量使用检测到的骨架或使用场景信息回归的活动得分。这些方法不足以进行准确的活动评估，因为它们仅计算剪辑上的平均分数，并且不考虑关节和身体动力学之间的相关性。此外，它们是高度依赖于场景的，这使得这些方法的普遍性值得怀疑。我们提出了一种新的多任务框架HAE，利用一个图卷积网络骨干嵌入人体关节的功能之间的互连。在这个框架中，我们解决了人类活动分割（HAS）的问题，作为一个辅助任务，以提高活动评估。HAS头由编码器-解码器时间卷积网络提供动力，以在语义上将长视频分割成不同的活动类，而HAE使用基于长短期存储器的架构。我们在UW-IOM和TUM Kitchen数据集上评估了我们的方法，并讨论了这两个数据集上的成功和失败案例。
2020-12-02 cs.CV
SAM-GCNN: A Gated Convolutional Neural Network with Segment-Level Attention Mechanism for Home Activity Monitoring
Tsinghua University（清华大学）
在本文中，我们提出了一种家庭活动监测的方法。我们在声学场景和事件的检测和分类（DCASE）2018挑战任务5的数据集上展示了我们的模型。此任务旨在将多声道音频分类为所提供的预定义类别之一。所有这些课程都是在家庭环境中进行的日常活动。为了解决这个问题，我们提出了一种具有分段级注意力机制的门控卷积神经网络（SAM-GCNN）。所提出的框架是一个卷积模型，具有两个辅助模块：门控卷积神经网络和分段级注意力机制。此外，我们采用模型集成，以提高我们的模型的泛化能力。我们在DCASE 2018任务5的开发数据集上评估了我们的工作，并取得了有竞争力的性能，与卷积基线系统相比，宏观平均F-1分数从83.76%提高到89.33%。
2018-11-14 cs.CV cs.SD eess.AS
Human activity recognition using deep learning approaches and single frame cnn and convolutional lstm
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工学院电子工程学院）
本研究探索单帧CNN与卷积LSTM两种深度学习方法用于视频人体行为识别，在UCF50等数据集上实验验证，其中单帧CNN以99.8%的准确率优于卷积LSTM模型。
2023-04-18 cs.CV eess.IV
Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction
Bosch Center for Artificial Intelligence（博世人工智能中心）
基于三维人脸的运动预测和行为识别是人类行为分析中的两个相互交织的任务。在这项工作中，我们提出了一种运动上下文建模方法，提供了一种新的方式来结合图形卷积神经网络和递归神经网络的优点，联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨骼数据的空间相关性和运动帧之间的时间相关性。所提出的网络可以很容易地包括两个输出分支，一个用于活动识别，一个用于未来运动预测，它们可以联合训练以增强性能。在Human 3.6M，CMU Mocap和NTU RGB-D数据集上的实验结果表明，我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力，同时实现了与其他最先进方法相当的性能。
2021-08-03 cs.CV cs.LG cs.RO
Feature Fusion for Human Activity Recognition using Parameter-Optimized Multi-Stage Graph Convolutional Network and Transformer Models
Khalifa University of Science and Technology（哈利法科学技术大学）；Abu Dhabi University（阿布扎比大学）
本研究针对人体行为识别任务，提出结合PO-MS-GCN与Transformer的特征融合方法，在四个公开数据集上验证了其有效性，且PO-MS-GCN性能优于现有最优模型。
2024-06-24 cs.AI cs.CV
Ionospheric activity prediction using convolutional recurrent neural networks
ONERA, The French Aerospace Lab（法国航空航天实验室（ONERA））；Irfu, CEA（法国原子能和替代能源委员会（CEA）萨克雷核研究中心（Irfu））；Université Paris-Saclay（巴黎萨克雷大学）；BCG (The Boston Consulting Group)（波士顿咨询集团（BCG））
电离层电磁活动是卫星通信、全球导航卫星系统（GNSS）和其他重要空间应用质量的一个主要因素。能够在全球范围内预测总电子含量（TEC）将能够更好地预测潜在的性能下降。一些研究已经提出了能够预测局部TEC的模型，但大多数都不能在全球范围内预测。由于大量的记录，过去的TEC地图公开，我们提出了一种基于深度神经网络（DNN）的方法来预测一系列的全球TEC地图连续的输入序列的TEC地图，而不引入任何先验知识以外的地球自转周期。通过结合几个国家的最先进的架构，所提出的方法是有竞争力的TEC预测与以前的作品，同时预测全球的TEC。
2018-11-06 cs.CV cs.LG
Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文探讨了利用卷积神经网络和循环神经网络对视频中的活动进行分类和时间定位的不同方法，并提出了一种实现方法。作为第一步，已经使用最先进的3D卷积神经网络从视频帧中提取特征。这些特征被输入到循环神经网络中，该网络以简单而灵活的方式解决活动分类和时间定位任务。已经测试了不同的架构和配置，以实现所提供的视频数据集的最佳性能和学习。此外，还研究了对训练好的网络输出进行不同类型的后处理，以在视频活动的时间定位上取得更好的结果。本论文中开发的神经网络提供的结果已提交给CVPR的ActivityNet Challenge 2016，使用简单灵活的架构实现了有竞争力的结果。
2017-03-02 cs.CV
Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures
University Hospital of Strasbourg（斯特拉斯堡大学医院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；IRCAD（斯特拉斯堡消化癌症研究所）；University of Verona（维罗纳大学）；ICube（斯特拉斯堡大学工程、计算机科学、成像与数学实验室）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
目的：手术活动的自动分割和分类对于在计算机辅助干预和机器人辅助手术中的自主功能中提供高级支持至关重要。先前的工作集中在识别粗糙的活动，如阶段，或细粒度的活动，如手势。这项工作旨在直接从视频中联合识别两个互补的粒度级别，即阶段和步骤。方法：我们介绍腹腔镜胃旁路手术的两个相关的手术活动，阶段和步骤。我们提出了一个多任务多阶段时间卷积网络（MTMS-TCN）以及一个多任务卷积神经网络（CNN）训练设置，以共同预测阶段和步骤，并从它们的互补性中受益，以更好地评估程序的执行。我们评估所提出的方法在一个大型的视频数据集，包括40个外科手术（手术40）。结果：我们提出了几个基线模型的实验结果，相位和步骤的识别上的Cassass 40数据集。与单任务方法相比，所提出的MTMS-TCN方法在相位和步骤识别中的准确率、精确率和召回率均优于1-2%。此外，对于步骤识别，与基于LSTM的模型相比，MTMS-TCN在准确性，精确度和召回率方面的性能优越3-6%。结论：在这项工作中，我们提出了一个用于手术活动识别的多任务多阶段时间卷积网络，与具有多级注释的Pastorass 40胃旁路数据集上的单任务模型相比，该网络显示了改进的结果。该方法表明，阶段和步骤的联合建模有利于提高对每类活动的整体识别。
2021-02-24 cs.CV
Field Of Interest Proposal for Augmented Mitotic Cell Count: Comparison of two Convolutional Networks
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Freie Universität Berlin（柏林自由大学）
大多数人类肿瘤分级系统以及兽医组织病理学分级系统都是基于组织学切片特定参考区域中有丝分裂像的绝对计数。由于在诊断环境中，用于鉴定的时间是有限的，因此病理学家通常几乎任意地选择假定具有最高有丝分裂活性的感兴趣的某个领域。然而，由于有丝分裂像在载玻片上通常非常稀疏，并且通常具有斑片状分布，这造成了已知能够影响肿瘤定位的采样问题。另一方面，核分裂像的自动检测还不能被认为是足够可靠的临床应用。为了帮助人类专家的工作，同时减少肿瘤分级的差异，评估整个载玻片图像（WSI）的最高有丝分裂活性并将其用作人类计数的参考区域是有益的。对于这项任务，我们比较了两种基于卷积神经网络（CNN）的感兴趣区域建议方法。对于这两种方法，CNN执行WSI的分割以评估有丝分裂活性。第一种方法以原始图像分辨率执行分割，而第二种方法以显著降低的分辨率执行分割操作，从而降低处理复杂度。我们使用32个完全注释的犬肥大细胞肿瘤全切片图像的数据集来评估该方法，其中22个用于网络训练，10个用于测试。我们的研究结果表明，虽然基于精细分辨率网络的方法与真实有丝分裂活性的总体相关性相当高（0.94 vs. 0.83），但感兴趣的领域选择仅略好。这两种方法都提出了在各自载玻片的上四分位数中包含有丝分裂计数的感兴趣区域。
2018-10-22 cs.CV
Human Activity Recognition using Continuous Wavelet Transform and Convolutional Neural Networks
Center for Engineering and Technology of MIPT（莫斯科物理技术学院工程技术中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
世界上有不少人因健康理由而须长期接受监察，包括糖尿病患者或其他慢性病患者、长者及残疾人士，他们更有可能因跌倒而危及生命或晕厥。由于资源有限，很大一部分面临风险的人无法得到必要的监测，因此面临过度危险。目前，这个问题通常通过应用人类活动识别（HAR）方法来解决。HAR是一个具有前瞻性和快节奏的数据科学领域，它具有广泛的应用领域，如医疗保健，体育，安全等，然而，目前的识别技术显着缺乏准确性，因此，本文提出了一种高精度的方法，用于人类活动分类。我们提出了一个新的工作流程来解决HAR问题，并在UniMiB SHAR数据集上对其进行评估，该数据集由加速度计信号组成。我们建议的模型是基于连续小波变换（CWT）和卷积神经网络（CNN）。小波变换在时域和频域中定位信号特征，然后CNN提取这些特征并识别活动。值得注意的是，CWT将1D加速度计信号转换为2D图像，从而能够获得更好的结果，因为2D网络具有更高的预测能力。在工作过程中，我们建立了一个卷积神经网络和不同的模型参数，如空间轴的数量，层数，在每一层中的神经元的数量，图像的大小，母小波的类型，母小波的零阶矩等，此外，我们还应用模型与残差块，导致显着更高的度量值。最后，我们成功地达到了99.26%的准确率，这是一个值得的性能为这个问题.
2021-06-29 cs.AI cs.CV
Human Activity Recognition Using Tools of Convolutional Neural Networks: A State of the Art Review, Data Sets, Challenges and Future Prospects
University of Waterloo（滑铁卢大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Saud University（沙特国王大学）
人类活动识别（HAR）在人们的日常生活中起着重要的作用，因为它能够从可穿戴或固定设备中学习有关人类活动的广泛的高级信息。人们对HAR进行了大量研究，研究界也利用了许多基于深度学习和机器学习的方法来对人类活动进行分类。本综述的主要目标是总结最近基于各种深度神经网络架构的工作，即用于人类活动识别的卷积神经网络（CNN）。根据多模式传感设备、智能手机、雷达和视觉设备等输入设备的使用，所审查的系统被分为四类。本文介绍了性能，优势，劣势，和所使用的超参数的CNN架构的每个审查系统与可用的公共数据源的概述。此外，讨论了当前基于CNN的HAR系统面临的挑战。最后，本文总结了一些潜在的未来方向，这将是很大的帮助，为研究人员谁愿意在这一领域作出贡献。
2022-02-02 cs.CV cs.LG eess.SP
Efficient Dense Labeling of Human Activity Sequences from Wearables using Fully Convolutional Networks
The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
在普适计算中，识别序列中的人类活动是一个具有挑战性的研究领域。大多数方法在连续的样本上使用固定大小的滑动窗口来提取特征--手工制作的或学习的特征--并为窗口中的所有样本预测单个标签。这种方法产生两个关键问题：i）一个窗口中的样本可能不总是共享相同的标签。因此，在一个窗口内对所有样本使用一个标签不可避免地会导致信息丢失; ii）测试阶段受到训练期间选择的窗口大小的约束，而最佳窗口大小在实践中很难调整。我们提出了一种有效的算法，可以预测每个样本的标签，我们称之为密集标签，在一个序列的人类活动的任意长度使用完全卷积网络。特别是，我们的方法克服了滑动窗口步骤所带来的问题。此外，我们的算法自动学习特征和分类器。我们发布了一个新的基于可穿戴传感器的住院患者日常活动数据集。我们进行了广泛的实验，并证明了我们提出的方法能够在三个具有挑战性的数据集：机会，手势和我们的新数据集的分类和标签错位措施方面优于最先进的技术。
2017-02-20 cs.CV cs.HC
Activity-conditioned continuous human pose estimation for performance analysis of athletes using the example of swimming
University of Augsburg（奥格斯堡大学）
在本文中，我们考虑的问题，在现实世界的视频游泳运动员的人体姿态估计。游泳通道允许使用单个固定摄像机同时在水面上方和下方拍摄游泳者。这些记录可用于定量评估运动员的表现。到目前为止，定量评估需要对每个视频帧中的身体部位进行手动注释。因此，我们应用CNN的概念，以便自动推断所需的姿势信息。从一个现成的架构开始，我们开发扩展来利用活动信息-在我们的情况下，运动员的游泳风格-和视频记录的连续性。我们的主要贡献有三个方面：（a）我们应用并评估了一个微调的卷积姿态机架构，作为我们非常具有挑战性的水生环境的基线，并讨论了其错误模式，（b）我们提出了一个扩展，将游泳风格信息输入到完全卷积架构中，（c）修改视频中连续姿态估计的架构。通过这些增加，我们实现了可靠的姿势估计，与基线架构相比，身体关节检测的正确率高达+16%。
2018-02-02 cs.CV
Manipulated Object Proposal: A Discriminative Object Extraction and Feature Fusion Framework for First-Person Daily Activity Recognition
检测和识别与人类交互的对象是第一人称（自我中心）日常活动识别的中心。然而，由于噪声摄像机运动和频繁的变化，在视点和规模，以前的大多数自我中心的动作识别方法无法捕捉和建模高度区分对象的功能。在这项工作中，我们提出了一种新的管道第一人称日常活动识别，旨在更具鉴别力的对象特征表示和对象运动特征融合。我们的对象特征提取和表示管道受到最近成功的对象假设和基于深度卷积神经网络的检测框架的启发。我们的主要贡献是一个简单而有效的操纵对象的建议生成方案。该方案利用运动线索，如运动边界和运动幅度（相比之下，相机运动通常被认为是“噪声”的大多数以前的方法），以生成一个更紧凑和有区别的一组对象的建议，这是更密切相关的对象被操纵。然后，我们从这些基于区域的卷积神经网络（R-CNN）的操纵对象的建议学习更多的歧视性对象检测器。同时，我们开发了一个基于网络的特征融合方案，更好地结合了对象和运动特征。我们在实验中表明，所提出的框架显着优于国家的最先进的识别性能上具有挑战性的第一人称日常活动基准。
2016-05-31 cs.CV
Understanding Human Activity with Uncertainty Measure for Novelty in Graph Convolutional Networks
School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）
本文提出Temporal Fusion Graph Convolutional Network解决动作过度分割问题，并引入Spectral Normalized Residual connection结合高斯过程量化特征空间距离，以增强对新颖观测的估计并缓解过度自信风险。
2024-10-10 cs.CV cs.RO
Object and Text-guided Semantics for CNN-based Activity Recognition
U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton Inc.（博思艾伦汉密尔顿公司）
许多以前的方法已经证明了考虑语义相关对象对于执行基于视频的人类活动识别的重要性，但是没有一种方法能够获得大型文本语料库的能力来将对象和活动关联起来，以转移到学习统一的深度卷积神经网络中。我们提出了一种新的活动识别CNN，它在端到端的多任务学习方案中共同学习对象识别任务，以提高基线活动识别性能。我们进一步改进的多任务学习方法，利用文本引导的语义空间来选择最相关的对象相对于目标活动。据我们所知，我们是第一个研究这种方法的人。
2018-05-04 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Convolutional Neural Network for Elderly Wandering Prediction in Indoor Scenarios
Centro Universitário Unilasalle do Rio de Janeiro（里约热内卢Unilasalle大学中心）
这项工作提出了一种方法来检测阿尔茨海默氏症患者的流浪活动的路径数据收集从非侵入性的室内传感器周围的房子。由于缺乏足够的数据，我们使用自己开发的应用程序手动生成了220条路径的数据集。文献中的漫游模式通常通过视觉特征（如循环或随机运动）来识别，因此我们的数据集被转换为图像并进行增强。在神经网络模型上使用卷积层，因为它们往往具有良好的结果，特别是在图像上找到模式。使用生成的数据训练卷积神经网络模型，并在我们的10个样本验证切片上实现了75%的f1得分（精确度和召回率之间的关系），60%的召回率和100%的精确度
2020-12-23 cs.CV
Temporal Context Network for Activity Localization in Videos
University of Maryland（马里兰大学）；Fudan University（复旦大学）
我们提出了一个时间上下文网络（TCN）的精确时间定位的人类活动。与Faster-RCNN架构类似，提案以相等的间隔放置在跨越多个时间尺度的视频中。我们提出了一种新的表示这些建议的排名。由于池功能只在一个段是不够的，以预测活动的边界，我们构建了一个表示，显式捕捉周围的建议进行排名it.For每个时间段内的建议，功能均匀采样在一对尺度，并输入到一个时间卷积神经网络进行分类。在对建议进行排名之后，应用非最大抑制并执行分类以获得最终检测。TCN在ActivityNet数据集和THUMOS 14数据集上的表现优于最先进的方法。
2017-08-08 cs.CV
Boosted Convolutional Neural Networks for Motor Imagery EEG Decoding with Multiwavelet-based Time-Frequency Conditional Granger Causality Analysis
Beihang University（北京航空航天大学）；The University of Sheffield（谢菲尔德大学）
由于感知决策过程的非平稳性，对不同心理状态的脑电信号进行解码是脑机接口的一项挑战性任务。提出了一种基于多小波时频因果分析的运动想象脑电信号增强型卷积神经网络（ConvNets）解码方法。首先将多小波基函数与Geweke谱测度相结合，得到高分辨率的TF-条件Granger因果关系（CGC）表示，并采用正则化正交前向回归（ROFR）算法检测具有良好泛化性能的简约模型.基于α波段多通道脑电信号的TF-CGC分布，设计了保留时间、频率和连通性位置信息的网络输入因果图。通过使用时空卷积以及深度学习的进步，包括裁剪和提升方法，进一步构建了提升的ConvNets，以提取判别因果关系特征并对MI任务进行分类。我们提出的方法优于竞争优胜者算法的平均准确性增加了12.15%，相关的受试者间标准差减少了74.02%，对于BCI竞争-IV测试-IIa的相同的二进制分类。实验结果表明，基于因果关系图像的增强型ConvNets能够很好地解码MI-EEG信号，为开发MI-BCI系统提供了一个很有前途的框架。
2018-10-22 cs.CV cs.HC
S-ConvNet: A Shallow Convolutional Neural Network Architecture for Neuromuscular Activity Recognition Using Instantaneous High-Density Surface EMG Images
Université du Québec à Trois-Rivières（魁北克大学三河分校）；Concordia University（康考迪亚大学）
针对HD-sEMG图像识别中深度网络计算成本高的问题，提出S-ConvNet和All-ConvNet模型从头学习特征，在无需预训练、数据集缩小约12倍且大幅减少参数的情况下，仍取得极具竞争力的准确率，尤其适用于资源受限场景。
2019-06-08 cs.AI cs.CV cs.LG
Naver at ActivityNet Challenge 2019 -- Task B Active Speaker Detection (AVA)
Naver Corporation（NAVER 公司）
本报告描述了我们在CVPR 2019上提交的ActivityNet挑战。我们使用基于3D卷积神经网络（CNN）的前端和时间卷积和LSTM分类器的集成来预测可见的人是否在说话。我们的研究结果显示，在AVA-ActiveSpeaker数据集上的基线上有显着改进。
2019-06-25 cs.CV cs.SD eess.AS
Multilevel neural networks with dual-stage feature fusion for human activity recognition
Departamento de Informática, Universidad Carlos III de Madrid（信息学院，卡洛斯三世大学）；Departamento de Teoría de la Señal y Comunicaciones, Universidad Carlos III de Madrid（信号与通信理论系，卡洛斯三世大学）；CEIEC, Universidad Francisco de Vitoria（CEIEC，弗朗西斯科·维多利亚大学）
本文提出双阶段特征融合的多级网络架构，通过结合晚融合与中间融合提升人类活动识别的准确性，实验表明双融合架构优于单一晚融合方法。
2026-04-17 cs.AI cs.CV
Autonomous Human Activity Classification from Ego-vision Camera and Accelerometer Data
Syracuse University（雪城大学）
已经有大量的研究工作对人类活动分类依赖于惯性测量单元（IMU）的数据或静态相机提供第三人称视图的数据。仅使用IMU数据限制了可以检测到的活动的多样性和复杂性。例如，可以通过IMU数据来检测坐姿活动，但是不能确定受试者是否坐在椅子上或沙发上，或者受试者在哪里。为了从以自我为中心的视频中执行细粒度的活动分类，并区分仅通过IMU数据无法区分的活动，我们提出了一种使用来自自我视觉相机和IMU的数据的自主且鲁棒的方法。与基于卷积神经网络的方法相比，我们提出采用胶囊网络从以自我为中心的视频数据中获取特征。此外，卷积长短期记忆框架都采用自我中心的视频和IMU数据捕捉动作的时间方面。我们还提出了一种基于遗传算法的方法来自主和系统地设置各种网络参数，而不是使用手动设置。实验已经进行了执行9-和26-标签的活动分类，和所提出的方法，使用自主设置的网络参数，提供了非常有前途的结果，实现了86.6%和77.2%的整体准确率，分别。与仅使用自我视觉数据和仅IMU数据相比，结合两种模式的所提出的方法还提供了更高的准确性。
2019-05-28 cs.CV eess.IV
Convolutional Drift Networks for Video Classification
Rochester Institute of Technology（罗切斯特理工学院）
分析时空数据，如视频是一项具有挑战性的任务，需要有效地处理视觉和时间信息。卷积神经网络通过迁移学习（一种有助于最小化视觉信息训练成本的技术）显示出作为基线固定特征提取器的前景。时间信息通常使用手工制作的功能或递归神经网络来处理，但这可能过于具体或过于复杂。构建一个完全可训练的系统，可以有效地分析时空数据，而无需手工制作的功能或复杂的训练是一个开放的挑战。我们提出了一种新的神经网络架构来解决这一挑战，卷积漂移网络（CDN）。我们的CDN架构将深度卷积神经网络的视觉特征提取能力与储备池计算提供的内在高效时间处理相结合。在这篇关于CDN的介绍性论文中，我们提供了一个非常简单的基线实现，在两个以自我为中心的（第一人称）视频活动数据集上进行了测试。我们实现了与最先进方法相当的视频级活动分类结果。值得注意的是，这个复杂的时空任务的性能是通过仅训练CDN中的单个前馈层来产生的。
2017-11-03 cs.CV cs.NE eess.IV
Human Activity Recognition from Wi-Fi CSI Data Using Principal Component-Based Wavelet CNN
人类活动识别（HAR）是一项新兴技术，在监控，安全和医疗保健领域有多种应用。可以利用无处不在的Wi-Fi技术的快速增长以及CSI动态与身体运动之间的相关性来开发基于Wi-Fi信道状态信息（CSI）信号的非侵入式HAR系统。在本文中，我们提出了基于主分量的小波卷积神经网络（或PCWCNN）-一种新的方法，提供了实际的实时应用的鲁棒性和效率。我们提出的方法结合了两个有效的预处理算法-主成分分析（PCA）和离散小波变换（DWT）。我们采用了自适应活动分割算法，是准确和计算轻。此外，我们使用Wavelet CNN进行分类，这是一种深度卷积网络，类似于研究良好的ResNet和DenseNet网络。我们的经验表明，我们提出的PCWCNN模型在真实数据集上表现非常好，优于现有方法。
2022-12-26 cs.CV cs.LG eess.SP
Human Activity Recognition Using Cascaded Dual Attention CNN and Bi-Directional GRU Framework
Kansas State University（堪萨斯州立大学）
基于视觉的人体活动识别已成为视频分析领域的重要研究领域之一。在过去的十年中，已经引入了许多先进的深度学习算法来从视频流中识别复杂的人类动作。这些深度学习算法在人类活动识别任务中表现出了令人印象深刻的性能。然而，这些新引入的方法要么只关注模型性能，要么只关注这些模型在计算效率和鲁棒性方面的有效性，从而导致他们的建议在处理具有挑战性的人类活动识别问题时出现偏差。为了克服当代深度学习模型用于人类活动识别的局限性，本文提出了一种计算效率高且通用的时空级联框架，该框架利用了用于人类活动识别的深度判别性空间和时间特征。为了有效地表示人类动作，我们提出了一种有效的双注意力卷积神经网络（CNN）架构，该架构利用统一的通道空间注意力机制来提取视频帧中以人为中心的显著特征。双通道空间注意力层与卷积层一起学习在具有超过特征图数量的对象的空间感受野中更加注意。然后将提取的区别性显著特征转发到堆叠双向门控递归单元（Bi-GRU），用于使用前向和后向传递梯度学习进行人类动作的长期时间建模和识别。进行了大量的实验，所获得的结果表明，所提出的框架实现了改进的执行时间高达167倍的帧每秒相比，大多数当代动作识别方法。
2022-08-09 cs.AI cs.CV
Constraint-free Natural Image Reconstruction from fMRI Signals Based on Convolutional Neural Network
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于功能磁共振成像（fMRI）的脑活动解码研究取得了显著的成果。然而，无约束的自然图像重建从大脑活动仍然是一个挑战。现有的方法通过使用语义先验信息或仅重建简单的图像（如字母和数字）来简化问题。在没有语义先验信息的情况下，基于卷积神经网络（CNN）的计算模型，提出了一种从人类视皮层fMRI信号中重建自然图像的新方法。首先，我们在预训练的CNN的每一层中提取观察到的自然图像的单位输出作为CNN特征。其次，我们通过训练稀疏线性回归将fMRI信号的图像重建转化为CNN特征可视化的问题，以从fMRI模式映射到CNN特征。通过迭代优化找到匹配的图像，其CNN单元特征变得与从大脑活动预测的特征最相似，我们最终实现了具有挑战性的无约束自然图像重建的有希望的结果。由于在训练解码模型时没有利用刺激的语义先验信息，因此理论上可以对任意类别的图像（不受训练集约束）进行重建。我们发现，重建的图像类似于自然刺激，特别是在位置和形状。实验结果表明，层次视觉特征能够有效地表达人脑的视觉感知过程。
2018-01-16 cs.AI cs.CV q-bio.NC
Automatic Neuron Detection in Calcium Imaging Data Using Convolutional Networks
Princeton University（普林斯顿大学）
钙离子成像是一种同时监测数千个神经元活动的重要技术。随着钙成像数据集规模的增长，单个神经元的自动检测变得越来越重要。在这里，我们将监督学习方法应用于这个问题，并证明卷积网络可以实现接近人类的准确性和超人的速度。准确性优于流行的PCA/ICA方法的基础上，精确度和召回率相对于地面实况注释的人类专家。这些结果表明，卷积网络是分析大规模钙成像数据的有效和灵活的工具。
2016-12-21 cs.CV q-bio.NC
Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression
School of Informatics and Computing, Indiana University（印第安纳大学信息学与计算学院）
我们设计了一种新的方法，允许机器人学习的新活动，从未标记的人类的例子视频。给定从人类的观点来看人类执行相同活动的视频（即，第一人称视频），我们的目标是让机器人学习活动的时间结构作为其未来的回归网络，并学习将这种模型转移到自己的运动执行中。我们提出了一个新的深度学习模型：我们扩展了最先进的卷积目标检测网络，用于训练视频中人手的表示/估计，并新引入了使用完全卷积网络进行回归的概念（即，预测）对应于未来帧的中间场景表示（例如，1-2秒后）。结合这些可以直接预测人手和物体的未来位置，这使得机器人能够使用我们的操纵网络来推断电机控制计划。我们通过实验证实，我们的方法可以从未标记的人类交互视频中学习机器人活动，并证明我们的机器人能够直接根据其相机输入实时执行学习的协作活动。
2017-07-24 cs.AI cs.CV cs.LG
Integrating Features for Recognizing Human Activities through Optimized Parameters in Graph Convolutional Networks and Transformer Architectures
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本研究提出一种特征融合技术，将Transformer与参数优化的图卷积网络（PO-GCN）的最终层特征集成输入分类器，在四个公开数据集上验证了该方法显著提升了人类活动识别的准确率与F1分数。
2024-08-29 cs.AI cs.CV cs.RO
An IoT Based Framework For Activity Recognition Using Deep Learning Technique
B.M.S. College of Engineering（B.M.S.工程学院）
活动识别是识别和识别智能体的动作或目标的能力。代理可以是执行具有最终目标的动作的任何对象或实体。代理可以是执行动作的单个代理或执行动作或具有某种交互的代理组。人类活动识别由于其在许多实际应用中的需求而受到欢迎，例如娱乐，医疗保健，模拟和监控系统。基于视觉的活动识别正在获得优势，因为它不需要任何人为干预或与人类的身体接触。此外，还有一组联网的摄像机，旨在跟踪和识别代理的活动。需要跟踪或识别人类活动的传统应用程序使用可穿戴设备。然而，这种应用需要人的身体接触。为了克服这些挑战，可以使用基于视觉的活动识别系统，该系统使用相机来记录视频和执行识别任务的处理器。这项工作分两个阶段进行。在第一阶段中，提出了一种用于实现活动识别的方法，该方法使用图像的背景减除，然后使用3D-卷积神经网络。已经报道了在3D-卷积神经网络之前使用背景减除的影响。在第二阶段，工作进一步扩展并在Raspberry Pi上实现，可用于记录视频流，然后识别视频中涉及的活动。因此，提供了使用小型的基于IoT的设备进行活动识别的概念验证，其可以增强系统并以各种形式扩展其应用，例如增加便携性、联网和设备的其他能力。
2019-06-17 cs.CV cs.LG stat.ML
Emotional Brain State Classification on fMRI Data Using Deep Residual and Convolutional Networks
Columbia University（哥伦比亚大学）；New York State Psychiatric Institute（纽约州精神病学研究所）
基于功能磁共振成像（fMRI）数据的情绪脑状态分类的目标是识别实验期间受试者执行的特定情绪任务相关的脑活动模式。使用功能磁共振成像数据区分情绪大脑状态和其他大脑状态已经被证明是具有挑战性的，这是由于两个因素：难以在短时间内生成快速而准确的预测，以及难以提取概括到看不见的主体的情绪特征。为了应对这些挑战，我们进行了一项实验，让22名受试者观看旨在刺激消极、中性或休息情绪反应的图片，同时使用功能磁共振成像测量他们的大脑活动。然后，我们开发了两种不同的基于卷积的方法来解码情感大脑状态，只使用来自单个最小预处理（切片定时和重新排列）fMRI卷的空间信息。在我们的第一种方法中，我们训练了一个1D卷积网络（准确率为84.9%;机会水平为33%），使用单向方差分析（ANOVA）体素选择结合超对齐对3种情绪状况进行分类。在我们的第二种方法中，我们训练了一个3D ResNet-50模型（准确率为78.0%;概率水平为50%），直接从单个3D fMRI体积中分类2种情绪状况。我们的卷积和残差分类器成功地学习了组级别的情感特征，并可以在毫秒内从fMRI卷中解码情感条件。这些方法有可能用于脑机接口和实时功能磁共振成像神经反馈研究。
2022-10-31 cs.CV cs.LG eess.IV
