MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei（华为）
在这项工作中，我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT，LSMDC，MSVD，YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合：弱监督的视频，人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程，提供了高的知识转移效率，并允许在训练过程中使用噪声数据集，而不会降低先验知识。此外，双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
City-VLM: Towards Multidomain Perception Scene Understanding via Multimodal Incomplete Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Zhejiang University（浙江大学）；Fudan University（复旦大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Terminus Technologies Co., Ltd.；Pengcheng Laboratory（鹏城实验室）
本文提出City-VLM模型和SVM-City多域室外场景数据集，通过不完全多模态学习在缺失模态时构建联合概率分布空间以融合2D与3D信息，在室外场景问答任务上平均超越现有LVLMs 18.14%。
2025-07-17 cs.AI cs.CV
Geometric Priors for Scientific Generative Models in Inertial Confinement Fusion
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在本文中，我们开发了一个Wasserstein自动编码器（WAE）与超球先验多模数据在惯性约束聚变的应用。与典型的超球面生成模型不同，它需要从von Mis Fisher等分布中进行计算效率低下的采样，我们从正态分布中采样，然后在生成器之前进行投影层。最后，为了确定生成的样本的有效性，我们利用数据集中模态之间的已知关系作为科学约束，并研究所提出的模型的不同属性。
2021-11-24 cs.CV cs.LG
Vision and Inertial Sensing Fusion for Human Action Recognition : A Review
University of Texas at Dallas（德克萨斯大学达拉斯分校）
人类动作识别被用于许多应用中，例如视频监控、人机交互、辅助生活和游戏。文献中出现的许多论文表明，与单独使用每种传感方式的情况相比，视觉和惯性传感的融合提高了识别精度。本文提供了一个调查的文件中，视觉和惯性传感同时使用的融合框架内，以执行人体动作识别。被调查的论文进行分类的融合方法，功能，分类器，以及多模态数据集考虑。挑战，以及可能的未来方向部署这两种传感模式的融合在现实条件下也陈述。
2020-08-02 cs.CV cs.HC cs.LG
Gimme Signals: Discriminative signal encoding for multimodal activity recognition
University of Koblenz-Landau（科布伦茨-兰道大学）
我们提出了一个简单的，但有效的和灵活的方法，动作识别支持多传感器模态。多变量信号序列被编码在图像中，然后使用最近提出的EfficientNet CNN架构进行分类。我们的重点是找到一种方法，可以很好地推广到不同的传感器模式，而无需特定的适应，同时仍然取得良好的效果。我们将我们的方法应用于4个动作识别数据集，其中包含骨架序列，惯性和运动捕获测量以及范围高达120个动作类的\wifi指纹。我们的方法在NTU RGB+D 120数据集上定义了当前最好的基于CNN的方法，将ARIL Wi-Fi数据集的最新技术水平提高了+6.78%，将UTD-MHAD惯性基线提高了+14.4%，将UTD-MHAD骨架基线提高了1.13%，并在模拟运动捕获数据上实现了96.11%（80/20分割）。我们进一步展示了实验，模态融合的信号水平和信号减少，以防止超载的表示。
2020-04-09 cs.CV cs.RO
CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors
卷积神经网络（CNN）提供了从其架构的所有层提取和融合特征的杠杆。然而，从CNN结构的不同层中提取和融合中间特征仍然没有被研究用于使用深度和惯性传感器的人类动作识别（HAR）。为了获得访问所有CNN层的最大好处，在本文中，我们提出了一种新型的多级门控平均融合（MGAF）网络，该网络使用我们的新型和计算效率高的门控平均融合（GAF）网络（MGAF的决定性组成部分）从CNN的所有层提取和融合特征。在建议的MGAF的输入，我们将深度和惯性传感器数据转换成深度图像，称为顺序前视图图像（SFI）和信号图像（SI）分别。这些SFI是根据由深度数据生成的前视图信息形成的。采用CNN从两种输入模态提取特征图。GAF网络有效地融合了提取的特征，同时保持了融合特征的维数。所提出的MGAF网络具有结构可扩展性，可以展开到两个以上的模态。在三个公开的多模态HAR数据集上的实验表明，所提出的MGAF在识别精度方面优于先前的深度-惯性HAR融合方法，同时计算效率更高。我们将精度平均提高了1.5%，同时将计算成本比以前的技术水平降低了约50%。
2020-10-29 cs.CV cs.LG cs.MM
Multiview Cauchy Estimator Feature Embedding for Depth and Inertial Sensor-Based Human Action Recognition
Kinect和惯性传感器的日益普及促使人们对人类动作识别进行了深入的研究。由于人的动作可以通过从Kinect和惯性传感器中提取的多个特征表示来表征，因此必须将多视图特征编码到用于人的动作识别的统一空间中。在本文中，我们提出了一种新的无监督特征融合方法称为多视图柯西估计特征嵌入（MCEFE）的人体动作识别。通过最小化经验风险，MCEFE集成多个视图中的编码互补信息，以找到统一的数据表示和投影矩阵。为了增强对异常值的鲁棒性，对重构误差施加Cauchy估计。此外，集成流形正则化的投影矩阵上进行编码不同的视图之间的相关性，并避免过拟合。在中国科学院-云南大学-多模态人体动作数据库（CAS-YNU-MHAD）上进行了实验，验证了MCEFE对人体动作识别的有效性和鲁棒性。
2016-09-04 cs.CV
GAITEX: Human motion dataset of impaired gait and rehabilitation exercises using inertial and optical sensors
AI for Sensor Data Analytics Research Group（人工智能传感器数据解析研究组）；Ulm University of Applied Sciences（乌尔姆应用科学大学）；Biomechatronic Research Group（生物机械研究组）；Institute of Computer Science（计算机科学研究所）
GAITEX数据集通过同步IMU与光学MoCap记录19名健康受试者的物理治疗及步态训练数据，提供全身运动学、OpenSim模型和逆运动学结果，支持训练评估、步态分类等机器学习任务。
2025-11-07 cs.AI cs.CV cs.HC
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Multi-level Stress Assessment Using Multi-domain Fusion of ECG Signal
Ryerson University（瑞尔森大学）
利用心电信号进行应激分析和情感心理状态评估是生物医学信号处理领域的一个热点研究课题。然而，现有文献仅提供了压力的二进制评估，而多个级别的评估可能更有利于医疗保健应用。此外，在目前的研究中，心电信号的应力分析是独立的检查在空间域或变换域，但融合这些域的优势没有得到充分利用。为了获得融合不同领域的最大优势，我们引入了一个具有多个应力水平的数据集，然后使用一种新的深度学习方法将ECG信号转换为基于R-R峰的信号图像，而无需任何特征提取来对这些水平进行分类。此外，我们还分别利用Gabor小波变换（GWT）和离散傅立叶变换（DFT）将信号图像变换到时频域和频域，从而使信号图像具有多峰性和多域性。采用卷积神经网络（CNN）对不同模态进行特征提取，然后进行决策级融合，以提高分类精度。实验结果表明，在一个内部的数据集上收集了15个用户与建议的融合框架和使用心电信号到图像的转换，我们达到了85.45%的平均准确率。
2020-08-12 cs.CV cs.LG
Learn-to-Race: A Multimodal Control Environment for Autonomous Racing
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；Pinterest；Arrival；Bosch Research（博世研究院）
现有的自动驾驶研究主要集中在城市驾驶，这不足以描述高速赛车背后的复杂驾驶行为。与此同时，现有的赛车模拟框架在捕捉现实主义方面的斗争，相对于视觉渲染，车辆动力学和任务目标，抑制学习代理转移到现实世界的背景。我们引入了一个新的环境，代理学习比赛（L2 R）在模拟的竞争风格的赛车，使用多模态信息-从虚拟相机的惯性测量传感器的全面阵列。我们的环境包括一个模拟器和一个接口训练框架，可以精确地模拟车辆动力学和比赛条件。在本文中，我们发布了用于自主赛车的Arrival模拟器。接下来，我们提出了具有挑战性指标的L2 R任务，其灵感来自于学习驾驶挑战、公式式赛车和自动驾驶的多模式轨迹预测。此外，我们还提供L2 R框架套件，便于在真实赛道的高精度模型上进行模拟比赛。最后，我们提供了一个官方的L2 R任务数据集的专家演示，以及一系列的基线实验和参考实现。我们提供所有代码：https://github.com/learn-to-race/l2r。
2021-08-18 cs.CV cs.LG cs.RO
MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus
The Ohio State University（俄亥俄州立大学）
本文提出MAESTRO，首个同时记录EEG、眼动、瞳孔、自我中心视频和头部IMU的多模态听觉注意解码数据集，通过四说话者基准证明融合行为与生理信号优于纯EEG方法。
2026-09-29 cs.HC cs.LG cs.SD
SL-DML: Signal Level Deep Metric Learning for Multimodal One-Shot Action Recognition
University of Koblenz-Landau（科布伦茨-兰道大学）
使用度量学习方法识别具有单个参考样本的活动是一个很有前途的研究领域。大多数Few-Shot方法集中在对象识别或面部识别上。我们提出了一种度量学习方法，将动作识别问题简化为嵌入空间中的最近邻搜索。我们将信号编码到图像中，并使用深度残差CNN提取特征。使用三重丢失，我们学习一个特征嵌入。由此产生的编码器将特征变换到嵌入空间中，在嵌入空间中，较近的距离编码相似的动作，而较高的距离编码不同的动作。我们的方法是基于一个信号水平的制定，并保持灵活的各种形式。它进一步优于大规模NTU RGB+D 120数据集上的One-Shot动作识别协议的基线5.6%。在只有60%的训练数据的情况下，我们的方法仍然比基线方法高出3.7%。对于40%的训练数据，我们的方法在第二次随访中表现良好。此外，我们表明，我们的方法在UTD-MHAD数据集的惯性，骨架和融合数据和模拟数据集的运动捕捉数据的实验中推广良好。此外，我们的关节间和传感器间实验表明，在以前看不见的设置良好的能力。
2020-10-19 cs.CV
A Multimodal Dataset for Enhancing Industrial Task Monitoring and Engagement Prediction
Academy of Scientific and Innovative Research（科学与创新研究院）；CSIR-Central Electronics Engineering Research Institute（CSIR中央电子工程研究所）
针对工业场景人机协作中操作人员行为与投入度监测的难题，提出包含多模态数据的MIAM数据集，并设计融合多模态信息的网络提升投入度预测准确率，为相关研究提供支撑。
2025-01-10 cs.CV
Hierarchical and Multimodal Data for Daily Activity Understanding
Georgia Institute of Technology（佐治亚理工学院）；Amazon Lab126（亚马逊Lab126）
DARai数据集通过多模态和层级注释，旨在理解现实环境中的人类活动，支持单模态和多模态传感器融合实验，揭示日常活动理解中的挑战。
2026-03-26 cs.AI cs.CV
Interpretable Multimodal Gesture Recognition for Drone and Mobile Robot Teleoperation via Log-Likelihood Ratio Fusion
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，RPTU凯撒斯劳滕-兰道）；Embedded Intelligence, German Research Center for Artificial Intelligence (DFKI)（嵌入式智能，德国人工智能研究中心（DFKI））
提出一种融合腕戴式Apple Watch惯性数据和定制手套电容传感信号的多模态手势识别框架，利用对数似然比后期融合策略提升性能并提供可解释性，在降低计算成本的同时达到与视觉基线相当的识别效果。
2026-05-31 cs.AI cs.RO
A Survey on Human Action Recognition
University of Electronic Science and Technology of China（电子科技大学）
人体动作识别（Human Action Recognition，HAR）是计算机视觉领域的重要研究课题之一，在近十年来得到了迅速发展，在健康监测、智能监控、虚拟现实、人机交互等领域有着广泛的应用。除了主流的基于单模态的HAR方法之外，由于多模态数据之间的互补性，越来越多的研究致力于多模态领域。本文根据输入方式的不同，对近年来HAR方法进行了综述。同时，考虑到大多数关于HAR的调查都集中在第三个角度，而这次调查旨在为HAR新手和研究人员提供更全面的介绍，因此，我们也调查了近年来从第一个角度的动作识别方法。最后，我们对HAR基准数据集做了简要的介绍，并对不同方法在这些数据集上的性能进行了比较。
2022-12-20 cs.CV
A New Dataset and Framework for Robust Road Surface Classification via Camera-IMU Fusion
Voxar Labs（Voxar实验室）；Centro de Informática（计算机中心）；Universidade Federal de Pernambuco（佩纳布卢克联邦大学）
本文提出了一种基于相机-IMU融合的新型数据集和框架，通过多模态注意力机制提升道路表面分类的鲁棒性和泛化能力。
2026-01-29 cs.AI cs.CV
ME-WARD: A multimodal ergonomic analysis tool for musculoskeletal risk assessment from inertial and video data in working plac
University of Valladolid（巴利亚多利德大学）
ME-WARD是一种多模态工具，利用惯性和视频数据评估人体工学风险，通过整合多种运动捕捉技术提供可靠且经济的解决方案。
2026-01-24 cs.CV cs.LG eess.SP
Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things
University of Bristol（布里斯托大学）
我们提出了一种新的方法，多模态传感器融合的环境辅助生活（AAL），利用学习使用特权信息（LUPI）。我们解决两个主要的缺点，标准的多式联运方法，有限的区域覆盖和可靠性降低。我们的新框架融合了模态幻觉的概念和三元组学习，训练一个具有不同模态的模型来处理推理时丢失的传感器。我们使用RGB视频和骨架作为特权模式，对来自可穿戴加速度计设备的惯性数据进行了评估，并显示UTD-MHAD数据集的平均精度提高了6.6%，Berkeley MHAD数据集的平均精度提高了5.5%，达到了这些数据集的惯性分类精度的最新水平。我们通过几项消融研究验证了我们的框架。
2022-07-14 cs.CV
MMG-Ego4D: Multi-Modal Generalization in Egocentric Action Recognition
Meta Reality Labs（Meta现实实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出多模态泛化（MMG）问题，构建MMG-Ego4D数据集，并引入新融合模块与训练策略，以提升第一人称动作识别在模态缺失或跨模态零样本下的泛化能力。
2023-05-12 cs.AI cs.CV
V-SenseDrive: A Privacy-Preserving Road Video and In-Vehicle Sensor Fusion Framework for Road Safety & Driver Behaviour Modelling
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST)（电气工程与计算机科学学院（SEECS），国立科学与技术大学（NUST））
本文提出V-SenseDrive，首个在巴基斯坦采集的隐私保护多模态驾驶行为数据集，融合智能手机惯性、GPS数据与道路视频，覆盖正常、激进和危险三类行为，为驾驶行为分类、交通安全分析及ADAS开发提供基础。
2025-09-18 cs.AI cs.CV
Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Dortmund（多特蒙德工业大学）；Ulm University（乌尔姆大学）
本文针对视觉-惯性定位问题，提出基于位姿图优化和注意力网络的深度多模态融合基准测试，利用辅助和贝叶斯学习提升APR-RPR与RPR-RPR任务的精度，并在多个数据集上验证了有效性。
2023-08-04 cs.CV
A Novel Two Stream Decision Level Fusion of Vision and Inertial Sensors Data for Automatic Multimodal Human Activity Recognition System
Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院）；CSIR-Central Electronics Engineering Research Institute (CEERI)（CSIR-中央电子工程研究所）；Birla Institute of Technology and Science Pilani（毕拉理工学院皮拉尼分校）；Edge Hill University（边山大学）
本文提出一种基于视觉与惯性传感器数据的双流决策级融合多模态人类活动识别系统，通过结合CNN与正则化LSTM提取时空特征，在四个基准数据集上取得了优于现有方法的准确率。
2023-06-27 cs.CV
Deep Fusion of Ultra-Low-Resolution Thermal Camera and Gyroscope Data for Lighting-Robust and Compute-Efficient Rotational Odometry
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）
本研究提出热陀螺融合方法，将超低分辨率热成像与陀螺仪数据结合，用轻量CNN实现光照鲁棒、计算高效的旋转里程计，适配资源受限机器人，并公开数据集。
2025-06-14 cs.AI cs.RO
Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
针对第一人称动作识别中IMU潜力挖掘不足、标注多模态数据稀缺的问题，提出融合穿戴式IMU与第一人称视频的方法，通过基于MAE的自监督预训练和图结构IMU建模实现多数据集SOTA，且在复杂场景下仍具鲁棒性。
2024-07-09 cs.CV
Human Motion Estimation with Everyday Wearables
Beijing Institute of Technology（北京理工大学）；Yangtze Delta Region Academy of Beijing Institute of Technology（北京理工大学长江三角洲地区学院）；Shenzhen MSU-BIT University（深圳MSU-BIT大学）
本文提出EveryWear，利用日常可穿戴设备实现轻量级人体运动估计，通过真实世界数据训练消除仿真到现实的差距，验证了其在实际应用中的有效性。
2025-12-24 cs.CV
Sensor Configuration Matters: A Systematic Evaluation of Multimodal SLAM on Quadruped Robots
Machine Intelligence and Robotics Lab, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院智能机器人实验室）；Institute for Intelligent Systems, Esslingen University of Applied Sciences（埃森堡应用科学大学智能系统研究所）；Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）
针对四足机器人运动中的传感器配置问题，系统评估了视觉、视觉-惯性和LiDAR-视觉-惯性SLAM方法，发现立体相机、全局快门和适当惯性集成能显著提升定位鲁棒性。
2026-06-18 cs.CV cs.RO
Learning Pose Estimation for UAV Autonomous Navigation andLanding Using Visual-Inertial Sensor Data
California Institute of Technology（加州理工学院）
在这项工作中，我们提出了一种新的学习方法的自主导航和着陆的无人机（UAV）。我们开发了一种用于视觉-惯性里程计的深度神经架构的多模态融合。我们以端到端的方式训练模型，以从视觉和惯性测量流中估计当前车辆姿态。我们首先评估我们的估计的准确性，通过比较模型的预测，传统的算法在公开的EuRoC MAV数据集。结果表明，$25 \%$在估计精度上优于基线。最后，我们将该架构集成到Airsim的闭环飞行控制系统中-虚幻引擎的插件模拟器-并提供自主导航和着陆的仿真结果。
2020-04-09 cs.CV cs.LG cs.RO
MMeViT: Multi-Modal ensemble ViT for Post-Stroke Rehabilitation Action Recognition
National Rehabilitation Center, Ministry of Health and Welfare, Korea（韩国卫生福利部国家康复中心）；Gachon University（高丽大学）
本文提出 MMeViT 多模态深度学习框架，融合 IMU 与 RGB-D 数据识别卒中患者居家上肢 ADL，并通过自建数据集验证其对难聚类动作特征的学习能力。
2025-09-27 cs.AI cs.CV
Sequence-to-Sequence Modeling for Action Identification at High Temporal Resolution
NYU Center for Data Science（纽约大学数据科学中心）；NYU School of Medicine（纽约大学医学院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
从视频和运动学数据中自动识别动作是一个重要的机器学习问题，其应用范围从机器人技术到智能健康。大多数现有的工作集中在识别粗糙的动作，如运行，攀爬，或切割蔬菜，具有相对较长的持续时间。这对于需要以高时间分辨率识别细微运动的应用来说是一个重要的限制。例如，在中风恢复中，量化康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此，我们引入了一个大规模的，多模式的数据集，中风康复，作为一个新的动作识别基准，其中包括微妙的短期动作标记在一个高的时间分辨率。这些短持续时间的动作被称为功能原语，包括到达、传输、重新定位、稳定和空闲。该数据集由高质量的惯性测量单元传感器和41名中风患者的视频数据组成，这些患者进行日常生活活动，如进食，刷牙等。我们表明，当前基于分割的最先进模型在应用于这些数据时会产生噪声预测，这通常会导致动作的过度计数。为了解决这个问题，我们提出了一种新的高分辨率动作识别方法，灵感来自语音识别技术，这是基于序列到序列模型，直接预测的动作序列。这种方法在StrokeRehab数据集以及标准基准数据集50Salads，Breakfast和Jigsaws上的性能优于当前最先进的方法。
2021-11-03 cs.CV q-bio.QM
Mojito: LLM-Aided Motion Instructor with Jitter-Reduced Inertial Tokens
ShanghaiTech University（上海科技大学）；Deemos Technology（德莫斯科技）
针对现有系统难以捕捉3D运动动态力且IMU数据流处理存在不稳定与噪声的问题，提出Mojito智能运动代理，集成惯性传感与LLM，实现交互式运动捕捉和行为分析。
2025-02-22 cs.AI cs.CV cs.GR
Vision-Depth Landmarks and Inertial Fusion for Navigation in Degraded Visual Environments
Autonomous Robots Lab, University of Nevada, Reno（内华达大学雷诺分校自主机器人实验室）
本文提出了一种视觉，深度和惯性数据的紧密融合的方法，以扩展机器人的导航能力，在GPS拒绝，照明不足，无纹理的环境。视觉和深度信息融合在特征检测和描述符提取水平，以增强一个传感模态与其他。这些多模态功能，然后进一步集成与惯性传感器的线索，使用扩展的卡尔曼滤波器估计的机器人姿态，传感器偏置项，和地标位置同时作为过滤器状态的一部分。通过一组手持式和微型飞行器实验证明，所提出的算法在具有挑战性的视觉退化环境中使用来自轻量级和低成本传感器的RGB-D信息和来自IMU的数据可靠地执行。
2019-03-05 cs.CV cs.RO
EMA-VIO: Deep Visual-Inertial Odometry with External Memory Attention
National University of Defense Technology（国防科技大学）
准确和鲁棒的定位是移动代理的基本需求。视觉惯性里程计（VIO）算法利用来自相机和惯性传感器的信息来估计位置和平移。最近基于深度学习的VIO模型吸引了人们的注意，因为它们以数据驱动的方式提供姿态信息，而不需要设计手工制作的算法。现有的基于学习的VIO模型依赖于递归模型来融合多模态数据和处理传感器信号，训练困难且效率不高。我们提出了一种新的基于学习的VIO框架与外部记忆的注意力，有效地和高效地结合了视觉和惯性特征的状态估计。我们提出的模型能够准确和鲁棒地估计姿态，即使在具有挑战性的场景中，例如，在阴天和积水的地面上，这是传统的VIO算法难以提取的视觉特征。实验结果表明，该算法在不同场景下的性能均优于传统的VIO基线和基于学习的VIO基线。
2022-09-18 cs.CV cs.RO
VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network
Beihang University（北航）；Peng Cheng Laboratory（鹏城实验室）；Capital University of Physical Education and Sports（首都体育学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
VIMCAN结合Mamba的高效序列建模与交叉注意力的空间推理，实现RGB关键点与穿戴式IMU数据的鲁棒融合，取得更优精度和实时推理性能。
2026-05-12 cs.CV
IMU2CLIP: Multimodal Contrastive Learning for IMU Motion Sensors from Egocentric Videos and Text
Meta Reality Labs（Meta现实实验室）
我们提出了IMU 2CLIP，这是一种新的预训练方法，通过将它们投影到对比图像预训练（CLIP）的联合表示空间中，将惯性测量单元（IMU）运动传感器记录与视频和文本对齐。所提出的方法允许IMU 2CLIP将人类运动（由IMU传感器测量）转换为相应的文本描述和视频-同时保留这些模态的传递性。我们探讨了几个新的基于IMU的应用程序，IMU 2CLIP使，如基于运动的媒体检索和自然语言推理任务与运动数据。此外，我们还证明了IMU 2CLIP在为每个应用程序（例如活动识别）进行微调时可以显着提高下游性能，证明了IMU 2CLIP作为一种新的预训练资源的普遍使用。我们的代码将公开提供。
2022-10-26 cs.CL cs.CV cs.LG
EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs
针对第一人称姿态估计中图像自遮挡和IMU漂移问题，本文提出首个融合HMD立体图像与身体IMU的真实VR多模态数据集EMHI，并设计基线方法MEPoser验证其有效性。
2025-11-06 cs.CV
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
MMTSA: Multimodal Temporal Segment Attention Network for Efficient Human Activity Recognition
Tsinghua University（清华大学）；Qinghai University（青海大学）；University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）
本文提出MMTSA网络，通过GAF图像变换、多模态稀疏采样和片段间注意力融合RGB与IMU数据，在MMAct数据集上实现11.13%的F1提升，并在边缘设备上兼顾高精度与低延迟。
2023-10-11 cs.CV cs.LG
Egocentric Action-aware Inertial Localization in Point Clouds with Vision-Language Guidance
The University of Tokyo（东京大学）；CyberAgent AI Lab（CyberAgent AI实验室）
针对 IMU 漂移与多样动作导致的定位难题，本文提出 EAIL 框架，借助视觉-语言引导将动作线索与点云环境特征对比对齐，并在定位同时识别动作。
2025-07-26 cs.CV
MARIO: Motion-Augmented Real-Time Multi-Sensor Inertial Odometry
Northwestern University（西北大学）；University of Chicago（芝加哥大学）
提出MARIO框架，通过学习IMU推断的人体姿态先验约束运动动力学，并结合多传感器融合（磁力计、气压计、辅助IMU），在Nymeria数据集上将位置漂移降低36%-42%，实现无相机人体跟踪的准确鲁棒惯性里程计。
2026-06-02 cs.CV cs.HC cs.RO
RevalExo: A Functional Daily-Activity Benchmark for Inertial and Visual Locomotion Mode Recognition in Older Adults and Clinical Cohorts
KU Leuven（鲁汶大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Delft University of Technology（代尔夫特理工大学）
RevalExo是一个面向老年人和临床人群的日常活动基准，提供惯性和视觉数据，评估运动模式识别，发现融合多模态有增益但转换识别和跨人群泛化仍具挑战。
2026-09-10 cs.AI cs.CV
BasketHAR: A Multimodal Dataset for Human Activity Recognition and Sport Analysis in Basketball Training Scenarios
Shanghai Jiao Tong University（上海交通大学）
本文提出BasketHAR数据集，用于解决现有HAR数据集在体育分析应用中的不足，通过多模态数据包括运动传感器和视频记录，提供先进的HAR任务研究资源。
2026-04-18 cs.CV
From Unimodal to Multimodal: improving sEMG-Based Pattern Recognition via deep generative models
School of Design Arts and Media, Nanjing University of Science and Technology（南京理工大学设计艺术与传媒学院）
本文提出利用深度生成模型从前臂sEMG信号生成虚拟IMU信号，并与sEMG信号共同输入多模态CNN进行手势识别，在六个数据库上验证其准确率显著优于单模态sEMG方法，且接近真实多模态性能，从而在不增加硬件成本的情况下弥合单模态与多模态HGR的差距。
2023-09-18 cs.CV
USTC FLICAR: A Sensors Fusion Dataset of LiDAR-Inertial-Camera for Heavy-duty Autonomous Aerial Work Robots
University of Science and Technology of China（中国科学技术大学）
本文提出USTC FLICAR数据集，基于高空作业车配备多传感器并利用SAM生成语义标注，填补了重型自主高空作业机器人SLAM与3D重建的数据空白。
2023-07-27 cs.CV cs.RO
MAND: Modality-Aware Novelty Detection for Open-World Egocentric Activity Recognition
Department of Computer Science and Engineering, Chung-Ang University（Chung-Ang大学计算机科学与工程系）
提出MAND框架，通过模态感知自适应评分和表示稳定训练，利用视觉和惯性模态互补信息，提升开放世界自我中心活动识别中的新颖性检测和已知类准确率。
2026-06-16 cs.AI cs.CV
Temporal Feature Alignment in Contrastive Self-Supervised Learning for Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人体活动自动识别一直是以人为中心的普适计算领域的研究热点。在过去的几年中，已经提出了大量基于深度神经网络的监督学习算法，以使用各种模态来解决这个问题。虽然每种模式都有其自身的局限性，但都存在一个共同的挑战。也就是说，监督学习需要大量的注释数据，这实际上是很难收集的。在本文中，我们受益于自监督学习范式（SSL），通常用于从未标记的数据中学习深度特征表示。此外，我们升级了一个对比SSL框架，即Simplified，广泛应用于各种应用程序中，通过引入一个时间特征对齐过程的人类活动识别。具体来说，我们建议在潜在空间中集成动态时间规整（DTW）算法，以强制在时间维度中对齐特征。已经进行了大量的实验，为单峰的情况下，惯性模态，以及在多模态设置使用惯性和骨架数据。根据所获得的结果，所提出的方法具有很大的潜力，在学习鲁棒的特征表示相比，最近的SSL基线，并明显优于监督模型在半监督学习。单峰情况的代码可通过以下链接获得：www.example.com。
2022-10-07 cs.AI cs.CV cs.MM
Thermo-LIO: A Novel Multi-Sensor Integrated System for Structural Health Monitoring
Thermo-LIO 通过融合热成像与高分辨率 LiDAR，提升大规模结构健康监测的精度和覆盖范围。
2026-01-13 cs.CV
OctoSense: Self-Supervised Learning for Multimodal Robot Perception
提出OctoSense传感器平台和数据集，通过“晚融合”掩码自编码器实现多模态自监督学习，在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。
2026-06-26 cs.CV cs.RO
A Real-time Human Pose Estimation Approach for Optimal Sensor Placement in Sensor-based Human Activity Recognition
Hasso Plattner Institute University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
本文提出利用实时2D人体姿态估计确定惯性传感器最优布置位置，并通过13种活动、10名受试者的实验验证其性能与深度学习方法相当，为人体活动识别提供了轻量级端侧解决方案。
2023-07-06 cs.CV cs.LG eess.SP
CIMI4D: A Large Multimodal Climbing Motion Dataset under Human-scene Interactions
Xiamen University（厦门大学）；ShanghaiTech University（上海科技大学）
针对攀岩等离地动作捕捉研究匮乏的问题，作者构建了包含约18万帧多模态数据的大型攀岩运动数据集CIMI4D，并通过混合优化校正姿态，实验证明该数据集对现有方法提出了巨大挑战并带来广泛研究机会。
2023-03-31 cs.CV
WatchHAR: Real-time On-device Human Activity Recognition System for Smartwatches
Northwestern University（西北大学）；University of Chicago（芝加哥大学）
针对智能手表端侧HAR系统缺失的问题，提出WatchHAR系统，通过端到端可训练架构整合预处理与推理，在手表端实现更快速度与更高准确率，推动端侧活动识别发展。
2025-09-05 cs.CV
Learning Selective Sensor Fusion for States Estimation
National University of Defense Technology（国防科技大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
自主车辆和移动机器人系统通常配备有多个传感器以提供冗余。通过整合来自不同传感器的观测，这些移动代理能够感知环境并估计系统状态，例如位置和方向。尽管用于多模态里程估计和定位的深度学习方法已经获得了关注，但它们很少关注鲁棒传感器融合的问题-这是处理现实世界中的噪声或不完整传感器观测的必要考虑因素。此外，目前的深度测距模型缺乏可解释性。为此，我们提出了SelectFusion，这是一种端到端的选择性传感器融合模块，可应用于有用的传感器模式对，如单目图像和惯性测量，深度图像和激光雷达点云。我们的模型是一个统一的框架，不限于特定的模态或任务。在预测过程中，该网络能够评估来自不同传感器模态的潜在特征的可靠性，并在尺度和全局姿态下估计轨迹。特别是，我们提出了两个融合模块-确定性软融合和随机硬融合，并提供了一个全面的研究相比，平凡的直接融合的新策略。我们广泛评估所有的融合策略在公共数据集和逐步退化的数据集，目前合成闭塞，噪声和丢失的数据和传感器之间的时间不对准，我们调查的有效性，不同的融合策略参加最可靠的功能，这本身，提供了洞察到各种模型的操作。
2022-05-18 cs.CV cs.LG cs.RO
