首页/论文/2004.13918

arXiv 2004.139182020-04-29eess.SPcs.LGstat.ML

EmbraceNet for Activity：一种用于活动识别的深度多模态融合架构

EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition

Yonsei University（延世大学）

Jun-Ho Choi, Jong-Seok Lee

备注：: Accepted in HASCA at ACM UbiComp/ISWC 2019, won the 2nd place in the SHL Recognition Challenge 2019
DOI：: 10.1145/3341162.3344871

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中，我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据，将特征与EmbraceNet架构相结合，并对融合的特征进行后处理以预测活动。此外，我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战，团队名称为“Yonsei-MCML”。"

英文摘要：

Human activity recognition using multiple sensors is a challenging but promising task in recent decades. In this paper, we propose a deep multimodal fusion model for activity recognition based on the recently proposed feature fusion architecture named EmbraceNet. Our model processes each sensor data independently, combines the features with the EmbraceNet architecture, and post-processes the fused feature to predict the activity. In addition, we propose additional processes to boost the performance of our model. We submit the results obtained from our proposed model to the SHL recognition challenge with the team name "Yonsei-MCML."

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

鲁棒多模态融合的人体活动识别

Robust Multimodal Fusion for Human Activity Recognition

University of Alberta（阿尔伯塔大学）

配备异构传感器的物联网和移动设备的激增使新的应用程序依赖于融合由具有不同模态的多个传感器生成的时间序列数据。虽然有很有前途的深度神经网络架构用于多模态融合，但在多个模态/传感器之间存在连续缺失数据和噪声的情况下，它们的性能会迅速下降，这些问题在现实世界中普遍存在。我们提出了Centaur，一个多模态融合模型，用于人类活动识别（HAR），对这些数据质量问题具有鲁棒性。Centaur结合了一个数据清理模块，这是一个带有卷积层的去噪自动编码器，以及一个多模态融合模块，这是一个带有自注意机制的深度卷积神经网络，用于捕获交叉传感器相关性。我们训练Centaur使用随机数据腐败计划，并评估它的三个数据集，包含多个惯性测量单元生成的数据。Centaur的数据清理模块优于2个最先进的基于自动编码器的模型，其多模态融合模块优于4个强大的基线。与2个相关的鲁棒融合架构相比，Centaur更鲁棒，在HAR中实现了11.59-17.52%的精度，特别是在多个传感器通道中存在连续缺失数据的情况下。

2023-03-08cs.LGeess.SP

可解释的多模态ECG信号深度神经网络：中间融合与后期融合的对比

Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion

Morgan State University（摩根州立大学）；Yale University（耶鲁大学）；Yale University School of Medicine（耶鲁大学医学院）

本研究比较了ECG多模态深度神经网络中的中间融合与后期融合策略，发现中间融合在准确率和可解释性上均表现更优，为心血管疾病分类提供了超越现有技术的医疗AI解决方案。

2025-10-12cs.LGeess.SP

潜在表示空间中的多模态传感器融合

Multimodal sensor fusion in the latent representation space

University of Bristol（布里斯托大学）

提出基于无标签数据构建生成模型的两阶段多模态传感器融合方法，将其作为重构先验与搜索流形，在分类、去噪及子采样观测恢复等任务中表现优异。

2022-08-03cs.AIcs.HCcs.LG

张量化光学多模融合网络

Tensorized Optical Multimodal Fusion Network

我们提出了第一个张量化光学多模融合网络架构，具有自注意机制和低秩张量融合。仿真结果表明，$51.3 \times$协议具有更低的硬件需求和$3.7\times 10^{13}$ MAC/J能量效率。

2023-02-17cs.AReess.SP

基于多模态融合的ECG心跳分类

ECG Heartbeat Classification Using Multimodal Fusion

Ryerson University（瑞尔森大学）

心电图（ECG）是诊断和应对心律失常和心肌梗死（MI）等严重心血管综合征的权威来源。当前的机器学习技术要么依赖于手动提取的特征，要么依赖于仅直接利用1D ECG信号的大型且复杂的深度学习网络。由于智能多模态融合可以在最先进的水平上使用高效的深度网络执行，因此，在本文中，我们提出了两种用于ECG心跳分类的计算高效的多模态融合框架，称为多模态图像融合（MIF）和多模态特征融合（MFF）。在这些框架的输入端，我们使用Gramian角场（GAF），递归图（RP）和马尔可夫转移场（MTF）将原始ECG数据转换为三种不同的图像。在MIF中，我们首先通过组合三种成像模态来执行图像融合，以创建单个图像模态，该图像模态用作卷积神经网络（CNN）的输入。在MFF中，我们从CNN的倒数第二层提取特征，并将它们融合，以获得更好的分类器性能所需的唯一且相互依赖的信息。这些信息特征最终被用来训练一个用于ECG心跳分类的支持向量机（SVM）分类器。我们通过在PhysioNets MIT-BIH数据集上进行实验来证明所提出的融合模型的优越性，该数据集用于五种不同的心律失常条件，这些心律失常条件与AAMI EC 57协议和PTB诊断数据集用于心肌梗死（MI）分类是一致的。我们在心律失常和MI分类上分别实现了99.7%和99.2%的分类准确率。

2021-07-21cs.LGcs.NEeess.SP

多模态遥感数据融合中的深度学习研究综述

Deep Learning in Multimodal Remote Sensing Data Fusion: A Comprehensive Review

Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Liaocheng University（聊城大学）

随着遥感技术的飞速发展，大量的地球观测数据呈现出复杂的非均匀性，这为研究人员提供了一种全新的方法来解决当前的地学应用问题。近年来，随着光电数据的联合利用，多模式遥感数据融合的研究取得了很大进展，但传统的融合算法由于缺乏对这些强异构数据的综合分析和解释能力，不可避免地遇到了性能瓶颈。因此，这种不可忽视的限制进一步引起了对具有强大处理能力的替代工具的强烈需求。深度学习（Deep Learning，DL）作为一种前沿技术，由于其在数据表示和重构方面的卓越能力，在众多计算机视觉任务中取得了显著的突破。自然，它已成功地应用于多模式遥感数据融合领域，与传统的方法相比，产生了很大的改善。本调查旨在提出一个系统的概述，在DL为基础的多模式遥感数据融合。更具体地说，首先给出了关于这个主题的一些基本知识。最后，通过文献综述分析了该领域的发展趋势。然后，根据待融合的数据模态，即，空间光谱、时空、光探测和测距-光学、合成孔径雷达-光学和RS-地理空间大数据融合。此外，我们还收集和总结了一些有价值的资源，为多模式遥感数据融合的发展提供参考。最后，强调了剩余的挑战和未来的潜在方向。

2022-05-03cs.CVcs.LGeess.SP

更多相关论文收起更多论文

融合框架与多模态用于贝叶斯神经网络的拉普拉斯近似

Fusion framework and multimodality for the Laplacian approximation of Bayesian neural networks

本文提出一种融合框架，利用贝叶斯神经网络的拉普拉斯近似量化不确定性，并扩展至多模态分布，以提高分类鲁棒性，在MNIST、CFAR10和相机陷阱图像上验证了有效性。

2023-10-12eess.SP

影像学与基因组学多模式融合预测肺癌复发

Multimodal fusion of imaging and genomics for lung cancer recurrence prediction

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）

肺癌在早期患者中的复发率很高。传统上，使用基因组学或放射学图像的单一模态信息来预测肺癌患者的手术后复发。我们调查这项任务的多模态融合的潜力。通过结合计算机断层扫描（CT）图像和基因组学，我们证明了使用线性Cox比例风险模型与弹性网络正则化的复发预测。我们研究了最近一个包含130名患者的非小细胞肺癌（NSCLC）放射基因组学数据集，观察到一致性指数值增加了10%。采用神经网络文献中的非线性方法，如多层感知器和视觉问答融合模块，并没有始终如一地提高性能。这表明需要更大的多模态数据集和融合技术更好地适应这种生物环境。

2020-02-05cs.LGeess.IVeess.SP

自监督多模态融合Transformer被动行为识别

Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition

University of Bristol（布里斯托大学）

Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达（PWR）和信道状态信息（CSI）数据，然而，当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中，我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术，从PWR和CSI数据中提取多个基于图像的特征，如频谱图，尺度图和马尔可夫转移场（MTF）。首先，我们提出了融合Transformer，注意力为基础的多模态和多传感器融合模型。实验结果表明，我们的融合Transformer的方法可以实现有竞争力的结果相比，ResNet架构，但更少的资源。为了进一步改进我们的模型，我们提出了一个简单有效的多模态和多传感器自监督学习（SSL）框架。自监督Fusion Transformer的性能优于基线，达到了95.9%的F1分数。最后，我们展示了这种方法在使用1%（2分钟）到20%（40分钟）的标记训练数据进行训练时，如何显着优于其他方法。

2022-08-15cs.CVcs.HCcs.LG

关于含噪多通道数据模型中信息传播的注记：多模态生物医学应用中传感器选择与融合的见解

Notes on Information Propagation in Noisy Multichannel Data Models: Insights into Sensor Selection and Fusion in Multimodal Biomedical Applications

本文从信息论角度研究多通道数据模型中的传感器选择与融合，利用多通道信噪比推导选择或融合有益或冗余的条件，为生物医学多模态系统设计提供理论指导。

2023-12-27cs.ITeess.SPmath.IT