Deep Learning for Encrypted Traffic Classification and Unknown Data Detection
尽管广泛使用加密技术来提供互联网通信的机密性，但移动终端用户仍然容易受到隐私和安全风险的影响。在本文中，提出了一种新的基于深度神经网络（DNN）的用户活动检测框架，用于从嗅探的加密互联网流量流中识别在移动应用程序上执行的细粒度用户活动（称为应用内活动）。其中一个挑战是有无数的应用程序，实际上不可能使用它们的所有可能数据收集和训练DNN模型。因此，在这项工作中，我们利用DNN输出层的概率分布来过滤来自模型训练期间未考虑的应用程序的数据（即，未知数据）。所提出的框架使用基于时间窗口的方法来将活动的流量划分为多个部分，以便仅通过观察与活动相关的流量的一小部分来识别应用内活动。我们的测试表明，基于DNN的框架在识别先前训练的应用内活动方面的准确率为90%或更高，在使用该框架时，将先前未训练的应用内活动流量识别为未知数据的平均准确率为79%。
2022-03-25 cs.AI cs.CR cs.LG
Differentiable Grammars for Videos
Robotics at Google（谷歌机器人学（Robotics at Google））
本文提出了一种新的算法，从现实世界的连续数据，如视频学习一个正式的规则文法。直接从连续数据中学习潜在终端、非终端和产生式规则允许构建生成模型，该生成模型捕获具有多种可能性的序列结构。我们的模型是完全可微的，并提供了易于解释的结果，这对于理解学习的结构是很重要的。它在几个具有挑战性的数据集上的表现优于最先进的技术，并且在预测视频中的未来活动方面更加准确。我们计划将代码开源。https://sites.google.com/view/differentiable-grammars
2020-02-15 cs.CV cs.LG
Crime Prediction Using Machine Learning and Deep Learning: A Systematic Review and Future Directions
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Texas A&M University - Central Texas（德克萨斯农工大学中德克萨斯分校）
本文通过梳理150余篇相关文章，系统综述了机器学习与深度学习在犯罪预测领域的应用算法、数据集与主流方法，指出研究缺口与未来方向，为该领域研究及执法机构犯罪防控提供参考。
2023-03-28 cs.AI cs.CV cs.CY
Precipitaion Nowcasting using Deep Neural Network
Institut de Recherche Technologique Saint-Exupéry（圣埃克苏佩里技术研究院）；Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究院）；Météo-France（法国气象局）；Centre Européen de Recherche et de Formation Avancée en Calcul Scientifique（欧洲科学计算高级研究与培训中心）；Climate, Environment, Coupling and Uncertainties（气候、环境、耦合与不确定性研究所）
降水临近预报对于天气预报用户，从户外活动和体育比赛到机场交通管理都非常重要。与传统上通过数值模式获得的长期降水预报相比，降水临近预报需要非常快。因此，由于时间限制，获得该数据更具挑战性。近年来，基于机器学习的方法层出不穷。我们建议使用三种流行的深度学习模型（U-net，ConvLSTM和SVG-LP）在二维降水图上训练降水临近预报。提出了一种用于获取高分辨率降水图的斑块提取算法。提出了一种损失函数来解决图像模糊的问题，并减少了零值像素在降水图中的影响。
2022-03-24 cs.AI cs.LG
Word class representations spontaneously emerge in a deep neural network trained on next word prediction
University Hospital Hamburg（汉堡大学医院）；University Hospital Erlangen（埃尔兰根大学医院）；University Erlangen-Nuremberg（埃尔兰根-纽伦堡大学）
人类是如何学习语言的？第一语言到底能不能学会？这些基本问题仍在激烈辩论中。在当代语言学中，有两个主要的思想流派给出了完全相反的答案。根据乔姆斯基的普遍语法理论，语言不能被学习，因为儿童没有接触到足够的数据，在他们的语言环境。相反，基于使用的语言模型假设语言结构和语言使用之间存在深刻的关系。特别是，语境心理加工和心理表征被认为具有认知能力，以捕捉实际语言使用的复杂性在各个层面上。最好的例子是语法，即，单词组合成句子等更大单位的规则。典型地，句法规则被表示为词类的序列。然而，目前还不清楚是否词类是先天的，所暗示的普遍语法，或者他们是否出现在语言习得过程中，所建议的使用为基础的方法。在这里，我们从机器学习和自然语言处理的角度来解决这个问题。特别是，我们训练了一个人工深度神经网络来预测下一个单词，并提供了连续单词的序列作为输入。随后，我们分析了神经网络隐藏层中出现的激活模式。引人注目的是，我们发现，9个单词的输入序列的内部表示聚类根据第十个单词的词类预测输出，即使神经网络没有收到任何明确的信息，在训练过程中的语法规则或词类。这一令人惊讶的结果表明，在人类大脑中，抽象的表征类别（如词类）也可能是语言习得过程中预测编码和处理的结果。
2023-02-15 cs.AI cs.CL q-bio.NC
A Hierarchical Deep Learning Approach for Minority Instrument Detection
本文提出将分层结构集成到深度学习模型中的策略，利用MedleyDB数据集基于Hornbostel-Sachs分类法进行分层音乐预测，在细粒度标注有限的情况下实现了更可靠的粗粒度少数乐器检测。
2025-06-26 cs.AI cs.SD eess.AS
Human Stone Toolmaking Action Grammar (HSTAG): A Challenging Benchmark for Fine-grained Motor Behavior Recognition
Emory University（埃默里大学）；North Carolina A&T State University（北卡罗来纳A&T州立大学）；Stony Brook University（石溪大学）
本文提出了 Human Stone Toolmaking Action Grammar (HSTAG) 数据集，包含 18,739 个视频片段，用于细粒度运动行为识别，以解决现有基准在罕见领域和粗粒度标注上的不足。
2024-10-10 cs.CV
AOGNets: Compositional Grammatical Architectures for Deep Learning
North Carolina State University（北卡罗来纳州立大学）
神经网络结构是提高深度神经网络性能的基础。本文介绍了深度组合语法架构，它利用了两个世界中最好的：语法模型和DNN。所提出的架构集成了前者的组合性和可重构性，并以原则性的方式学习后者的丰富功能。我们利用与或文法（AOG）作为网络生成器在本文中，并呼吁所产生的网络AOGNets。AOGNet由许多阶段组成，每个阶段由许多AOG构建块组成。AOG构建块将其输入特征图沿着特征通道分成N组，然后将其视为N个单词的句子。然后，它联合实现了一个短语结构语法和依赖语法在自底向上的分析“句子”更好的功能探索和重用。它为在最先进的DNN中开发的最佳实践提供了统一的框架。在实验中，AOGNet在CIFAR-10、CIFAR-100和ImageNet-1 K分类基准以及MS-COCO目标检测和分割基准中进行了测试。在CIFAR-10、CIFAR-100和ImageNet-1 K中，AOGNet获得了比ResNet及其大多数变体、ResNeXt及其基于注意力的变体（如SENet、DenseNet和DualPathNet）更好的性能。AOGNet还使用网络解剖获得了最佳模型可解释性得分。AOGNet在对抗性防御中表现出更好的潜力。在MS-COCO中，AOGNet获得了比Mask R-CNN中的ResNet和ResNeXt骨干更好的性能。
2019-04-06 cs.CV
Deep Semantic Abstractions of Everyday Human Activities: On Commonsense Representations of Human Interactions
University of Bremen（不来梅大学）
我们提出了一个深层次的语义表征的空间和运动的范畴从接地体现人与物体的相互作用的观点。我们的重点是一个本体模型，这将是善于从常识知识表示，关系学习和定性推理的认知机器人设置的空间和运动的观点形式化。我们展示了空间和运动本体论的关键方面，并将其形式化为一个代表性的框架，从日常活动的数据集选择的例子的背景下。此外，专注于从RGBD传感器获得的人与物体的交互数据，我们还说明了如何声明（时空）推理（约束）逻辑编程家庭可以执行与开发的深层语义抽象。
2017-10-10 cs.AI cs.CV cs.RO
Predicting Daily Activities From Egocentric Images Using Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种方法来分析从被动自我中心的可穿戴相机拍摄的图像以及上下文信息，如时间和星期几，以学习和预测个人的日常活动。我们在6个月内收集了40，103张以自我为中心的图像数据集，其中包括19个活动类别，并展示了最先进的深度学习技术在学习和预测日常活动方面的优势。分类是使用卷积神经网络（CNN）进行的，我们引入了一种分类方法，称为后期融合集成。这种后期融合集成结合了相关的上下文信息，并提高了我们的分类精度。我们的技术在预测一个人在19个活动类别中的活动时达到了83.07%的总体准确率。我们还展示了一些有前途的结果，从两个额外的用户微调分类器与一天的训练数据。
2015-10-06 cs.CV
Recognition of Daily Activities through Multi-Modal Deep Learning: A Video, Pose, and Object-Aware Approach for Ambient Assisted Living
Alicante Institute for Health and Biomedical Research (ISABIAL)（阿利坎特健康与生物医学研究所（ISABIAL））；ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（瓦尔格AI——瓦伦西亚人工智能研究生院与研究网络）
本文提出一种多模态深度学习方法，结合视频、姿态和物体信息，用于老年人日常活动识别，提升环境辅助养老系统的准确性与实用性。
2026-03-04 cs.CV
Can Deep Learning Recognize Subtle Human Activities?
深度学习推动了计算机视觉最近令人兴奋的进展，灌输了这些算法可以解决任何视觉任务的信念。然而，通常用于训练和测试计算机视觉算法的数据集具有普遍的混杂因素。这种偏差使得人们很难真正估计这些算法的性能，以及计算机视觉模型在训练分布之外的外推效果如何。在这项工作中，我们提出了一个新的动作分类挑战，该挑战在人类身上表现良好，但在最先进的深度学习模型中表现不佳。作为原理的证明，我们考虑三个示范性任务：喝酒，阅读和坐着。使用最先进的计算机视觉模型达到的最佳准确率分别为61.7%、62.8%和76.8%，而人类参与者在这三项任务中的准确率超过90%。我们提出了一种严格的方法来减少创建数据集时的混淆，以及比较人类与计算机视觉性能时的混淆。源代码和数据集是公开的。
2020-03-30 cs.CV
Using Satellite Imagery for Good: Detecting Communities in Desert and Mapping Vaccination Activities
Information Technology University（信息技术大学）
深度卷积神经网络（CNN）已经超越了现有的对象识别和检测算法。另一方面，卫星图像捕捉到的景象是多种多样的。本文描述了一种深度学习方法，该方法分析地理参考卫星图像并有效地检测其中的建筑结构。为了实现最终结果，在低分辨率Google Earth卫星图像上训练全卷积网络（FCN）。然后将检测到的建成社区与提供了一些有用统计数据的疫苗接种活动相关联。
2017-05-12 cs.CV
Multi-perspective monitoring of wildlife and human activities from camera traps and drones with deep learning models
the University of Texas at Dallas（德克萨斯大学达拉斯分校）；Auburn University（奥本大学）；San Diego State University（圣地亚哥州立大学）；University of Florida（佛罗里达大学）
本研究在尼泊尔奇旺国家公园结合相机陷阱与无人机热红外影像，利用YOLOv11s和增强型Faster RCNN等深度学习模型自动检测野生动物与人类活动，并通过空间格局分析识别活动热点及潜在冲突区域，为保护管理和冲突缓解提供多视角监测支持。
2025-08-21 cs.CV
Measuring the Utilization of Public Open Spaces by Deep Learning: a Benchmark Study at the Detroit Riverfront
University of Michigan（密歇根大学）
体育活动和社会交往是确保健康生活方式的基本活动。公共开放空间（POS），如公园，广场和绿道，是鼓励这些活动的关键环境。为了评估POS，需要研究人类如何使用其中的设施。然而，传统的研究POS使用的方法是手动的，因此需要大量的时间和劳动力。它们也可能只提供定性的见解。利用监控摄像机并通过计算机视觉提取用户相关信息是很有吸引力的。本文提出了一种概念证明深度学习计算机视觉框架，用于定量测量POS中的人类活动，并使用底特律河滨保护协会（DRFC）监控摄像头网络演示了所提出的框架的案例研究。一个自定义的图像数据集，提出了训练的框架，数据集包括7826个完全注释的图像收集从18个摄像机在各种照明条件下的DRFC公园空间。还提供了数据集分析以及用于一步用户定位和活动识别的基线模型。对于{ \it行人}检测，mAP结果为77.5%，对于{ \it骑自行车者}检测，mAP结果为81.6%。该框架自主生成的行为地图定位不同的POS用户和行为定位的平均误差在10厘米以内。
2020-02-04 cs.CV
Integrating Features for Recognizing Human Activities through Optimized Parameters in Graph Convolutional Networks and Transformer Architectures
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本研究提出一种特征融合技术，将Transformer与参数优化的图卷积网络（PO-GCN）的最终层特征集成输入分类器，在四个公开数据集上验证了该方法显著提升了人类活动识别的准确率与F1分数。
2024-08-29 cs.AI cs.CV cs.RO
Sharing deep generative representation for perceived image reconstruction from human brain activity
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
近年来，通过功能磁共振成像（fMRI）解码人脑活动越来越受到关注。虽然在大脑状态分类任务中已经报告了令人鼓舞的结果，但重建人类视觉体验的细节仍然很困难。阻碍有效模型发展的两个主要挑战是令人困惑的fMRI测量噪声和有限数据实例的高维性。现有方法通常遭受这些问题中的一个或两个，并且产生不令人满意的结果。在本文中，我们解决了这个问题，铸造的视觉刺激的重建作为贝叶斯推理的缺失视图的多视图隐变量模型。共享一个共同的潜在表示，我们的联合生成模型的外部刺激和大脑反应不仅是“深”在提取视觉图像的非线性特征，但也强大的功能磁共振成像记录体素活动之间的相关性。非线性和深层结构赋予我们的模型强大的表示能力，而体素活动的相关性对于抑制噪声和提高预测能力至关重要。我们设计了一个有效的变分贝叶斯方法来推断潜变量和模型参数。为了进一步提高重建精度，通过后验正则化，测试实例的潜在表示被强制接近其来自训练集的邻居。在三个fMRI记录数据集上的实验表明，该方法可以更准确地重建视觉刺激。
2017-07-11 cs.AI cs.CV q-bio.NC
PovNet+: A Deep Learning Architecture for Socially Assistive Robots to Learn and Assist with Multiple Activities of Daily Living
University of Toronto（多伦多大学）
PovNet+是一种多模态深度学习架构，用于社交辅助机器人识别多种日常活动并主动发起辅助行为，提升了ADL分类准确率和人机交互能力。
2026-01-28 cs.CV cs.RO
Unsupervised Deep Learning-based clustering for Human Activity Recognition
University of Milano - Bicocca（米兰比可卡大学）
针对惯性传感器人类活动识别缺乏标注数据的问题，提出DISC无监督深度学习聚类架构，结合循环自编码器与聚类准则自动标注信号，在三个公开数据集上优于四种深度聚类方法。
2022-11-10 cs.CV cs.LG
Wearable-based behaviour interpolation for semi-supervised human activity recognition
Durham University（杜伦大学）；Newcastle University（纽卡斯尔大学）；Tencent YouTu Lab（腾讯优图实验室）；Chinese Academy of Sciences R&D Center for Internet of Things（中国科学院物联网研究发展中心）
提出深度半监督HAR方法MixHAR，通过线性插值混合标记与未标记数据，并设计校准机制解决活动入侵问题，显著提升识别性能。
2024-05-24 cs.CV
Paving the Way Towards Kinematic Assessment Using Monocular Video: A Preclinical Benchmark of State-of-the-Art Deep-Learning-Based 3D Human Pose Estimators Against Inertial Sensors in Daily Living Activities
University of Valladolid（巴利亚多利德大学）
该研究通过VIDIMU数据集对比单目视频3D姿态估计模型与IMU的运动学评估效果，发现MotionAGFormer性能最优，明确了视频方案的适用场景与不足，为远程医疗相关方案开发提供指导。
2025-10-02 cs.AI cs.CV cs.LG
Human-like Relational Models for Activity Recognition in Video
University of Surrey（萨里大学）；National Institute of Technology（国家理工学院）
深度神经网络的视频活动识别对于许多类来说都令人印象深刻。然而，它低于人类的表现，特别是在具有挑战性的歧视活动。人类通过识别明确识别的物体和部件之间的关键时空关系来区分这些复杂的活动，例如，物体进入容器的孔。深度神经网络很难有效地学习这些关键关系。因此，我们提出了一个更人性化的方法来识别活动，它解释了一个视频在连续的时间阶段，并提取特定的对象和手在这些阶段之间的关系。从这些提取的关系学习随机森林分类器。我们将该方法应用于一个具有挑战性的东西-东西数据集的子集，并在具有挑战性的活动上实现了对神经网络基线更强大的性能。
2022-01-11 cs.CV
HAR-GCNN: Deep Graph CNNs for Human Activity Recognition From Highly Unlabeled Mobile Sensor Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
从移动传感器数据中识别人类活动的问题适用于多个领域，例如健康监测、个人健身、日常生活记录和老年护理。训练人类活动识别模型的一个关键挑战是数据质量。获取包含准确活动标签的平衡数据集需要人类正确注释并实时潜在干扰受试者的正常活动。尽管可能存在不正确的注释或缺乏注释，但人类行为往往有一个内在的时间顺序。例如，我们在锻炼后洗澡。这种隐含的年表可以用来学习未知的标签和分类未来的活动。在这项工作中，我们提出了HAR-GCCN，这是一种深度图CNN模型，它利用按时间顺序相邻的传感器测量之间的相关性来预测具有至少一个活动标签的未分类活动的正确标签。我们提出了一种新的训练策略，通过利用已知的活动标签来预测缺失的活动标签。HAR-GCCN相对于以前使用的基线方法表现出优越的性能，在不同的数据集上将分类准确率提高了约25%和高达68%。代码可在\url{https://github.com/abduallahmohamed/HAR-GCNN}上获得。
2022-03-07 cs.AI cs.CV cs.HC
ZSTAD: Zero-Shot Temporal Activity Detection
Xi’an Jiaotong University（西安交通大学）；Monash University（莫纳什大学）；The University of Queensland（昆士兰大学）；Carnegie Mellon University（卡内基梅隆大学）
视频分析和监控的一个组成部分是时间活动检测，这意味着同时识别和定位长未修剪视频中的活动。目前，最有效的时间活动检测方法是基于深度学习的，并且它们通常在大规模注释视频的训练中表现得非常好。然而，这些方法在实际应用中受到限制，由于无法获得关于某些活动类的视频和耗时的数据注释。为了解决这个具有挑战性的问题，我们提出了一种新的任务设置称为zero-shot时间活动检测（ZSTAD），在训练中从未见过的活动仍然可以被检测到。我们设计了一个基于R-C3 D的端到端深度网络作为该解决方案的架构。所提出的网络进行了优化，创新的损失函数，认为嵌入的活动标签及其超类，同时学习的共同语义的可见和不可见的活动。在THUMOS 14和Charades数据集上进行的实验表明，在检测看不见的活动方面表现出良好的性能。
2020-03-12 cs.CV
Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression
School of Informatics and Computing, Indiana University（印第安纳大学信息学与计算学院）
我们设计了一种新的方法，允许机器人学习的新活动，从未标记的人类的例子视频。给定从人类的观点来看人类执行相同活动的视频（即，第一人称视频），我们的目标是让机器人学习活动的时间结构作为其未来的回归网络，并学习将这种模型转移到自己的运动执行中。我们提出了一个新的深度学习模型：我们扩展了最先进的卷积目标检测网络，用于训练视频中人手的表示/估计，并新引入了使用完全卷积网络进行回归的概念（即，预测）对应于未来帧的中间场景表示（例如，1-2秒后）。结合这些可以直接预测人手和物体的未来位置，这使得机器人能够使用我们的操纵网络来推断电机控制计划。我们通过实验证实，我们的方法可以从未标记的人类交互视频中学习机器人活动，并证明我们的机器人能够直接根据其相机输入实时执行学习的协作活动。
2017-07-24 cs.AI cs.CV cs.LG
On Attention Models for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
大多数基于穿戴式感知（HAR）的人类活动识别中的时间序列数据建模方法使用固定大小的时间上下文来表示不同的活动。然而，这可能不适合于具有单独变化的持续时间的活动集。我们将注意力模型引入HAR研究，作为探索相关时间背景的数据驱动方法。注意力模型在输入数据上学习一组权重，我们利用这些权重来对正在考虑的时间上下文进行加权，以对每个传感器读数进行建模。我们通过将注意力层添加到最先进的深度学习HAR模型（DeepConvLSTM）来构建HAR的注意力模型，并在基准数据集上评估我们的方法，以实现性能的显著提高。最后，我们将学习的权重可视化，以更好地理解是什么构成了相关的时间上下文。
2018-05-19 cs.AI cs.CV cs.LG
Deep Learning for Medical Image Analysis
Hasso Plattner Institute（哈索·普拉特纳研究院）
这份报告描述了我在哈索普拉特纳研究所的研究活动，并总结了我的博士学位。计划和几种新颖的端到端可训练方法，用于使用深度学习算法分析医学图像。在这份报告中，作为一个例子，我们探索了基于深度学习的不同新方法，用于大脑异常检测，识别和分割。本报告是为AIME-2017会议的博士生联盟编写的。
2017-08-17 cs.CV
ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications
Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
为了训练深度学习模型，用于基于视觉的老年人日常活动的动作识别，我们需要在各种日常生活环境和条件下获取的大规模活动数据集。然而，大多数用于人类行为识别的公共数据集在许多方面与老年人的活动不同或覆盖范围有限，使得仅利用现有数据集很好地识别老年人的日常活动具有挑战性。最近，通过从真实模拟环境生成合成数据并使用这些数据来训练深度学习模型，已经积极地补偿了可用数据集的这种限制。在本文中，基于这些想法，我们开发了ElderSim，一个行动模拟平台，可以生成合成数据的老年人的日常活动。对于55种常见的日常活动的老人，ElderSim生成逼真的运动的合成人物与各种可调的数据生成选项，并提供不同的输出方式，包括RGB视频，二维和三维骨骼轨迹。然后，我们生成KIST SynADL，一个大规模的老年人的日常生活活动的综合数据集，从ElderSim和使用的数据，除了真实的数据集训练三个国家的最先进的人类动作识别模型。根据几个新提出的假设不同的真实和合成数据集配置进行训练的场景的实验，我们观察到通过增加我们的合成数据可以显著提高性能。我们还提供指导和见解，以有效利用合成数据，帮助识别老年人的日常活动。
2020-10-28 cs.CV cs.LG eess.IV
Deep Learning for Metabolic Rate Estimation from Biosignals: A Comparative Study of Architectures and Signal Selection
Institute for Artificial Intelligence University of Stuttgart（人工智能研究所 斯图加特大学）；Institute for Adaptive Mechanical Systems University of Stuttgart（适应性机械系统研究所 斯图加特大学）；Intelligent Assistive Systems Lab University of Hildesheim（智能辅助系统实验室 赫尔德施泰特大学）
本研究针对生物信号代谢率估计，系统比较经典方法与深度学习架构在单信号、信号对及分组输入下的表现，发现分钟通气量预测性最强，Transformer模型RMSE最低，还揭示了活动强度和个体差异的影响，代码模型将公开。
2025-11-12 cs.CV
Language Identification Using Deep Convolutional Recurrent Neural Networks
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究院）
语言识别（LID）系统用于对来自给定音频样本的口头语言进行分类，并且通常是许多口头语言处理任务（诸如自动语音识别（ASR）系统）的第一步。如果没有自动语言检测，就无法正确解析语音发音，也无法应用语法规则，从而导致后续的语音识别步骤失败。我们提出了一个LID系统，解决了图像域中的问题，而不是音频域。我们使用一个混合卷积递归神经网络（CRNN），它对所提供的音频片段的频谱图图像进行操作。在大量的实验中，我们表明，我们的模型适用于一系列嘈杂的场景，可以很容易地扩展到以前未知的语言，同时保持其分类精度。我们向社区发布了我们的代码和LID系统的大规模训练集。
2017-08-16 cs.CV
ViLPAct: A Benchmark for Compositional Generalization on Multimodal Human Activities
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Technology Sydney（悉尼科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
我们介绍ViLPAct，一种新颖的视觉语言基准人类活动规划。它是为一项任务而设计的，在这项任务中，具体的人工智能智能体可以根据关于人类初始活动和文本意图的视频剪辑来推理和预测人类未来的行动。该数据集由来自\charades的2.9k个视频组成，通过众包扩展了意图，多项选择题测试集和四个强基线。其中一个基线实现了基于多模态知识库（MKB）的神经符号方法，而其他基线是从最新的最先进的（SOTA）方法改编的深度生成模型。根据我们广泛的实验，关键的挑战是组合泛化和有效地使用来自两种模式的信息。
2023-03-09 cs.CL cs.CV
Converting Your Thoughts to Texts: Enabling Brain Typing via Deep Feature Learning of EEG Signals
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；RMIT University（皇家墨尔本理工大学）
基于脑电（EEG）的脑机接口（BCI）使人们能够通过解释他们大脑的EEG信号来与诸如轮椅和智能机器人的设备进行交互，从而与外部世界进行通信。更具体地说，反映受试者主动意图的运动想象脑电（MI-EEG）在各种脑机接口应用中越来越受到关注。MI-EEG信号的准确分类虽然对于BCI系统的有效操作至关重要，但由于信号中固有的显著噪声以及信号与大脑活动之间缺乏信息相关性而具有挑战性。在本文中，我们提出了一种新的基于深度神经网络的学习框架，该框架可以对MI-EEG数据和大脑活动之间的关系提供洞察。我们设计了一个联合卷积递归神经网络，同时学习强大的高层次的功能表示，通过低维密集嵌入从原始MI-EEG信号。我们还采用了一个自动编码器层来消除各种工件，如背景活动。所提出的方法已经在我们实验室收集的大规模公共MI-EEG数据集和有限但易于部署的数据集上进行了广泛的评估。结果表明，我们的方法优于一系列基线和竞争的最先进的方法，产生95.53%的分类准确率。我们提出的方法的适用性进一步证明了一个实用的BCI系统分型。
2017-09-26 cs.CV cs.HC
Deep learning for multi-label classification of coral conditions in the Indo-Pacific via underwater photogrammetry
The University of Tokyo（东京大学）；New Heaven Reef Conservation Program（新天堂珊瑚礁保护项目）
本研究提出了一种基于集成学习的深度学习方法，用于通过水下摄影测量技术自动分类印度洋-太平洋珊瑚状况及其压力源，实现了对珊瑚健康状态的高效检测与生态信息提取。
2024-03-12 cs.CV
A Deep Structured Model with Radius-Margin Bound for 3D Human Activity Recognition
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Hefei University of Technology（合肥工业大学）；University of Rochester（罗切斯特大学）
即使使用最近开发的3D/深度传感器，了解人类活动也非常具有挑战性。为了解决这个问题，这项工作研究了一种新的深度结构化模型，该模型使用卷积神经网络（CNN）自适应地将活动实例分解为时间部分。我们的模型在两个方面对传统的深度学习方法进行了改进。首先，我们将潜在的时间结构纳入深层模型，解释各种人类活动的大时间变化。特别地，我们利用潜变量将输入活动分解为多个时间分段的子活动，并相应地将它们馈送到深度架构的部分（即子网络）中。其次，我们将半径边缘界限作为正则化项纳入我们的深度模型，这有效地提高了分类的泛化性能。对于模型训练，我们提出了一种原则性的学习算法，该算法迭代地（i）发现所有训练实例的最佳潜变量（即活动分解的方式），（ii）基于生成的特征{更新分类器}，以及（iii）更新多层神经网络的参数。在实验中，我们的方法在几个复杂的人类活动识别场景中进行了验证，并表现出优于其他国家的最先进的方法的性能。
2015-12-05 cs.CV
Diving Deep into the Motion Representation of Video-Text Models
University of Maryland, College Park（马里兰大学帕克分校）
本文利用GPT-4生成的细粒度运动描述，提出一种改善视频-文本模型运动理解的方法，并在两个动作数据集上验证其有效性，揭示了现有模型与人类专家在运动理解上的差距。
2024-06-07 cs.CV
ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly
Electronics and Telecommunications Research Institute（电子通信研究院）
深度学习是许多现代算法的基础，众所周知，它是数据饥渴的。特别是，很难获得适用于预期应用的数据集。为了应对这种情况，我们引入了一个新的数据集，称为ETRI-Activity 3D，专注于老年人在机器人视图中的日常活动。新数据集的主要特点是：1）从对老年人日常生活的近距离观察中选择实际行动类别; 2）真实的数据汇集，反映机器人的工作环境和服务情况; 3）克服当前3D活动分析基准数据集的局限性的大规模数据集。该数据集包含112，620个样本，包括RGB视频，深度图和骨架序列。在数据采集期间，要求100名受试者进行55项日常活动。此外，我们提出了一种新的网络称为四流自适应CNN（FSA-CNN）。提出的FSA-CNN具有三个主要特性：对时空变化的鲁棒性，输入自适应激活函数，以及传统双流方法的扩展。在实验部分，我们使用NTU RGB+D和ETRI-Activity 3D证实了所提出的FSA-CNN的优越性。此外，两个年龄组之间的域的差异进行了实验验证。最后，扩展FSA-CNN处理多模态数据进行了研究。
2020-03-11 cs.CV cs.RO
Data Fusion on Motion and Magnetic Sensors embedded on Mobile Devices for the Identification of Activities of Daily Living
Instituto de Telecomunicações, Universidade da Beira Interior（贝拉内政大学电信研究所）；Altranportugal（葡萄牙阿尔特兰公司）；Universidade Lusófona de Humanidades e Tecnologias（卢索福纳人文与科技大学）；Universidad de Alicante（阿利坎特大学）；Università Politecnica delle Marche（马尔凯理工大学）
几种类型的传感器已经在现成的移动设备中可用，包括运动传感器、磁传感器、视觉传感器、声学传感器和位置传感器。本文重点研究了运动传感器和磁传感器获取的数据的融合，即，加速度计、陀螺仪和磁力计传感器，用于使用模式识别技术识别日常生活活动（ADL）。本研究所开发之系统包含数据采集、资料处理、资料融合及人工智能方法。人工神经网络（ANN）是人工智能方法中的一种，本研究将其用于日常生活活动障碍的识别。本研究的目的是创建一个新的方法，使用人工神经网络的识别ADL，比较三种类型的人工神经网络，以实现具有可靠的准确性的结果。使用深度学习获得了最好的准确性，在对传感器数据应用L2正则化和归一化技术后，报告的准确率为89.51%。
2017-10-31 cs.CV cs.CY physics.data-an
