Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）
针对单目视频3D人体姿态估计的深度模糊与遮挡问题，提出RTOF框架，融合稀疏IMU与视觉数据，通过运动学细化与能量函数优化输出平滑合理的3D姿态，显著降低估计误差。
2024-04-27 cs.CV cs.HC
EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs
针对第一人称姿态估计中图像自遮挡和IMU漂移问题，本文提出首个融合HMD立体图像与身体IMU的真实VR多模态数据集EMHI，并设计基线方法MEPoser验证其有效性。
2025-11-06 cs.CV
Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors
University of Tübingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC）
我们介绍（HPS）人体姿势系统，一种方法来恢复全三维姿态的人注册与周围环境的三维扫描使用可穿戴传感器。HPS使用附在身体四肢上的IMU和头戴式摄像机向外看，将基于摄像机的自定位与基于IMU的人体跟踪融合在一起。前者提供无漂移但有噪声的位置和取向估计，而后者在短期内是准确的，但在较长的时间段内会发生漂移。我们表明，我们的优化为基础的集成利用两者的好处，从而在姿态精度漂移。此外，我们将3D场景约束集成到我们的优化中，例如脚与地面的接触，从而产生物理上合理的运动。HPS补充了更常见的基于第三人称的3D姿态估计方法。它允许捕获更大的记录量和更长的运动周期，并可用于VR/AR应用，其中人类与场景交互而不需要与外部摄像机直接视线，或用于训练基于第一人称视觉输入导航和与环境交互的代理，就像真实的人类一样。使用HPS，我们记录了一个人类与大型3D场景（300-1000平方米）交互的数据集，其中包括7个主题和超过3个小时的各种运动。数据集，代码和视频将在项目页面上提供：http://virtualhumans.mpi-inf.mpg.de/hps/。
2021-03-31 cs.CV
Validation of Human Pose Estimation and Human Mesh Recovery for Extracting Clinically Relevant Motion Data from Videos
School of Computer Science（计算机学院）；School of Psychology, Sport Science, and Wellbeing（心理学、运动科学与福祉学院）；University of Lincoln（林肯大学）
本研究对比传统运动捕捉工具与基于人体姿态估计、人体网格恢复的无标记动作捕捉技术，验证后者在临床低速动作运动学分析中的适用性，确认其结果准确且操作更简便。
2025-03-18 cs.CV
Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
针对现有稀疏惯性传感器人体姿态估计依赖合成数据的不足，提出含伪速度回归模型和部件级模型的DynaIP方法，利用多格式真实动捕数据提升泛化性，在五个公开数据集上实现性能突破。
2024-03-07 cs.CV
Point2Pose: A Generative Framework for 3D Human Pose Estimation with Multi-View Point Cloud Dataset
ECE, Seoul National University（首尔国立大学电子与计算机工程系）；CS, KAIST（韩国科学技术院计算机科学系）；Soulart Inc.（Soulart公司）
Point2Pose通过生成模型和大规模数据集提升3D人体姿态估计的准确性与鲁棒性。
2025-12-11 cs.CV
IMU-Assisted Learning of Single-View Rolling Shutter Correction
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
卷帘快门失真对于摄影和计算机视觉算法（例如，视觉SLAM），因为像素可能在不同的时间和姿态被捕获。在本文中，我们提出了一种深度神经网络来预测深度和逐行姿态从一个单一的图像滚动快门校正。我们在这项工作中的贡献是将惯性测量单元（IMU）的数据到姿态细化过程中，这相比，国家的最先进的，大大提高了姿态预测。提高的准确性和鲁棒性使许多视觉算法能够使用卷帘快门相机捕获的图像并产生高度准确的结果。我们还扩展了一个数据集，使其具有真实的卷帘快门图像、IMU数据、深度图、相机姿势和相应的全局快门图像，以进行卷帘快门校正训练。我们证明了所提出的方法的有效性，通过评估性能的直接稀疏里程（DSO）算法的卷帘快门图像校正使用所提出的方法。结果表明，DSO算法使用未经校正的图像，验证了所提出的方法有显着的改善。
2021-09-14 cs.CV
PoseAugment: Generative Human Pose Data Augmentation with Physical Plausibility for IMU-based Motion Capture
Tsinghua University（清华大学）；Qinghai University（青海大学）
提出PoseAugment流水线，结合基于VAE的姿态生成与物理优化，合成高质量IMU数据，有效缓解基于IMU动作捕捉的数据稀缺问题并提升模型精度。
2024-09-21 cs.CV cs.HC
MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）
MoBind通过层次对比学习框架实现IMU与视频姿态的细粒度对齐，提升跨模态检索与动作识别性能。
2026-02-22 cs.CV
IMUPoser: Full-Body Pose Estimation using IMUs in Phones, Watches, and Earbuds
Carnegie Mellon University（卡内基梅隆大学）
本文提出 IMUPoser，利用智能手机、手表和耳塞中任意可用的稀疏消费级 IMU 估计全身姿态，并构建含 10 名参与者的 IMUPoser Dataset 进行多数据集基准评估。
2023-04-25 cs.CV cs.HC
mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU
School of Software Engineering, Xi’an Jiaotong University（软件工程学院，西安交通大学）；School of Cyber Science and Engineering, Xi’an Jiaotong University（网络科学与工程学院，西安交通大学）；School of Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术学院，西安交通大学）；College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学）
mmEgoHand提出头戴式毫米波雷达与IMU融合的自我中心手部姿态估计系统，通过端到端Transformer实现时空对齐和3D关键点估计，在10人8手势3姿态下达到90.8%识别准确率。
2025-07-06 cs.CV
Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们展示了一种新的深度神经网络，能够从佩戴在用户身体上的6个惯性测量单元（IMU）实时重建人体全身姿势。在这样做的过程中，我们应对了几项艰巨的挑战。首先，由于多个姿态参数产生相同的IMU方向，因此该问题严重约束不足。其次，结合地面实况姿态捕获IMU数据是昂贵的，并且在许多目标应用场景中难以做到（例如，户外）。第三，通过非线性优化建模时间依赖性已被证明是有效的，在以前的工作，但使实时预测不可行。为了解决这个重要的限制，我们使用深度学习来学习时间姿态先验。为了从足够的数据中学习，我们从运动捕捉数据集中合成IMU数据。双向RNN架构利用了在训练时可用的过去和未来信息。在测试时，我们以滑动窗口的方式部署网络，保留实时的功能。为了评估我们的方法，我们记录了DIP-IMU，这是一个由佩戴17个IMU的$10$受试者组成的数据集，用于在具有$330\,000$时刻的$64$序列中进行验证;这构成了公开可用的最大IMU数据集。我们在多个数据集上定量评估了我们的方法，并显示了实时实施的结果。DIP-IMU和代码可用于研究目的。
2018-10-10 cs.CV cs.GR
Ground Reaction Inertial Poser: Physics-based Human Motion Capture from Sparse IMUs and Insole Pressure Sensors
Carnegie Mellon University（卡内基梅隆大学）；Keio University（庆应义塾大学）；Keio AI Research Center（庆应义塾大学人工智能研究中心）
GRIP利用四个可穿戴设备重建物理合理的人体动作，结合IMU信号和足压数据捕捉身体动态与地面交互，通过数字孪生合成人形在物理模拟器中重建真实动作，实验显示其在多个数据集上优于传统IMU和IMU-压力融合方法。
2026-03-27 cs.CV cs.RO
Enhancing Inertial Hand based HAR through Joint Representation of Language, Pose and Synthetic IMUs
DFKI（德国人工智能研究中心）；RPTU（莱茵兰-普法尔茨州工业大学）；HKUST(GZ)（香港科技大学（广州））
提出多模态对比学习框架Multi$^3$Net，通过联合学习文本、姿态和合成IMU表示，解决HAR标注数据稀缺问题，显著提升可穿戴设备对细微活动的识别性能。
2024-07-27 cs.AI cs.CV
ArmPoser: Real-Time, Calibration-Free Arm Pose Estimation from Smartwatch IMU
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Chicago（芝加哥大学）；Northwestern University（西北大学）
ArmPoser提出一种免校准的智能手表IMU手臂姿态估计方法，通过直接在设备原生参考系中训练模型，消除坐标变换和校准需求，在基准和用户研究中达到或超过校准基线。
2026-09-09 cs.CV cs.HC
MobilePoser: Real-Time Full-Body Pose Estimation and 3D Human Translation from IMUs in Mobile Consumer Devices
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
针对移动消费设备中低保真IMU导致的全身姿态估计问题，提出MobilePoser系统，利用设备中已有IMU子集实时估计全身姿态与全局平移，结合多阶段神经网络与物理优化器，实现高精度与实时性能，适用于多种应用场景。
2025-04-16 cs.CV cs.HC
WheelPoser: Sparse-IMU Based Body Pose Estimation for Wheelchair Users
Carnegie Mellon University（卡内基梅隆大学）
针对现有姿态追踪方法不适用于轮椅使用者的问题，提出仅用4个IMU的WheelPoser实时姿态估计系统，构建专用数据集训练，精度达同类稀疏IMU系统三倍以上，兼具实用性与应用潜力。
2024-09-13 cs.CV cs.GR cs.HC
IMU-HOI: A Symbiotic Framework for Coherent Human-Object Interaction and Motion Capture via Contact-Conscious Inertial Fusion
Shanghai Jiao Tong University（上海交通大学）
提出IMU-HOI框架，利用稀疏IMU同时恢复全身人体姿态和物体6-DoF轨迹，通过推断手-物接触并融合运动学与惯性推理，实现无漂移的人-物交互运动捕捉。
2026-06-26 cs.CV
One Sensor, Whole Body - 3D Body Pose from a Single Consumer Earbud IMU
University of Cambridge（剑桥大学）；Chalmers University of Technology（查尔姆斯理工大学）
本研究探究单个消费级耳塞IMU能否恢复3D身体姿态，通过构建多模态基准和适配两种循环模型，证明头部IMU可恢复下半身姿态且添加足部IMU无益，指出传感器可靠性而非数量是关键，耳塞为最佳选择。
2026-09-29 cs.CV cs.HC
LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程研究中心）
提出一种多传感器融合方法，仅用单个LiDAR和4个IMU即可在大规模场景中捕捉准确的3D人体动作，通过两阶段姿态估计器和姿态引导平移校正器优化局部与全局轨迹，并构建了多模态数据集LIPD验证其优越性。
2023-04-07 cs.CV
Transformer Inertial Poser: Real-time Human Motion Reconstruction from Sparse IMUs with Simultaneous Terrain Generation
Stanford University（斯坦福大学）；Meta Reality Labs Research（Meta现实实验室）
从稀疏的一组（例如六个）可穿戴IMU进行的实时的【形】人体运动重建提供了一种非侵入性且经济的运动捕捉方法。由于无法直接从IMU获取位置信息，最近的工作采用了数据驱动的方法，利用大型人体运动数据集来解决这个欠确定的问题。尽管如此，挑战仍然存在，如时间的一致性，漂移的全球和联合运动，和不同的覆盖范围的运动类型在各种地形。我们提出了一种新的方法，同时估计全身运动，并产生合理的访问地形只有六个IMU传感器在实时的【形】。我们的方法包括1。条件Transformer解码器模型通过显式推理预测历史给出一致的预测，2.简单而通用的学习目标，称为“静止身体点”（SBP），其可以由Transformer模型稳定地预测，并由分析例程用来校正关节和全局漂移，以及3.一种算法，从噪声SBP预测生成规则化的地形高度图，进而校正噪声全局运动估计。我们广泛评估我们的框架合成和真实的IMU数据，并与实时的【形】现场演示，并表现出优越的性能强基线方法。
2022-12-08 cs.CV cs.GR
SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions
University of Chicago（芝加哥大学）；Northwestern University（西北大学）；Northwestern University and Google（西北大学和谷歌）；Google（谷歌）
SurfaceXR通过融合智能手表IMU与第一人称手姿态数据，提升表面交互的准确性和舒适性，实验验证其在触控跟踪和8类手势识别上的显著优势。
2026-03-19 cs.CV cs.HC cs.LG
AVI-HT: Adaptive Vision-IMU Fusion for 3D Gloved Hand Tracking
Meta Reality Labs（Meta现实实验室）
本文提出AVI-HT，一种自适应视觉-IMU融合方法，通过联合建模第一人称视角图像与手套上的6自由度IMU信号，用于跟踪3D手部姿态。核心方法包括同步多模态训练数据配对和跨传感器深度注意力机制，主要贡献是提高了在手-物体交互场景中的准确性和可用性。
2026-11-13 cs.CV cs.RO
Gravity-aware partially calibrated absolute pose estimation from affine- or rotation-covariant features
Ericsson Research（爱立信研究院）；University of Zaragoza（萨拉戈萨大学）
该研究针对部分标定绝对位姿估计的空白，利用IMU重力向量与特征局部几何构建两种高效求解器，实现更少样本、更低成本的快速精准定位与焦距估计。
2026-08-21 cs.CV
Robotic Classification of Divers' Swimming States using Visual Pose Keypoints as IMUs
Department of Computer Science & Engineering（计算机科学与工程系）；Minnesota Robotics Institute (MnRI)（明尼苏达州机器人研究所）；University of Minnesota–Twin Cities（明尼苏达大学-双城分校）；Department of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）
提出利用三维姿态关键点构建“伪 IMU”并由 AUV 分类潜水员异常游泳状态，以克服水下无线信号衰减并提升潜水安全监测能力。
2025-10-15 cs.CV cs.RO
Fusing Monocular Images and Sparse IMU Signals for Real-time Human Motion Capture
Tsinghua University（清华大学）；OPPO Research Institute（OPPO研究院）
提出融合单目图像与稀疏IMU信号的双坐标策略及隐藏状态反馈机制，实现实时鲁棒的人体动作捕捉，显著优于现有视觉、IMU及组合方法。
2023-09-01 cs.CV
IMU Data Processing For Inertial Aided Navigation: A Recurrent Neural Network Based Approach
Alibaba Group（阿里巴巴集团）
在这项工作中，我们提出了一种新的方法来执行惯性辅助导航，通过使用深度神经网络（DNN）。到目前为止，大多数DNN惯性导航方法通过将陀螺仪和加速度计读数作为输入并回归集成IMU姿态（即，位置和方向）。虽然这种设计已经成功地应用在许多应用中，但除非涉及图案化运动，否则它不能保证理论性能。这不可避免地导致在某些用例中的准确性和鲁棒性显著降低。为了解决这个问题，我们设计了一个框架，使用DNN计算可观测的IMU积分项，然后进行数值姿态积分和传感器融合，以实现性能增益。具体而言，我们进行了详细的分析，在IMU运动学方程的运动项，提出了一个专门的网络设计，损失函数，和训练策略的IMU数据处理，并进行了广泛的实验。结果表明，我们的方法是普遍适用的，并优于传统和DNN方法的大幅度。
2021-03-26 cs.CV cs.RO
Tightly Coupled 3D Lidar Inertial Odometry and Mapping
RAM-LAB（机器人与自动化实验室）；Hong Kong University of Science and Technology（香港科技大学）
自我运动估计是大多数移动机器人应用的基本要求。通过传感器融合，我们可以弥补独立传感器的不足，并提供更可靠的估计。本文介绍了一种紧耦合的激光雷达-惯性测量组合融合方法。通过联合最大限度地减少来自激光雷达和IMU测量的成本，激光雷达-IMU测距法（LIO）可以在长期实验后以可接受的漂移表现良好，即使在激光雷达测量可能降级的挑战性情况下。此外，为了获得更可靠的激光雷达位姿估计，提出了一种旋转约束的细化算法（LIO映射），以进一步对准激光雷达位姿与全球地图。实验结果表明，该方法可以估计的姿态传感器对的IMU更新率与高精度，即使在快速运动条件下或不足的功能。
2019-04-15 cs.CV cs.RO
SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data
Carnegie Mellon University（卡内基梅隆大学）
针对现有手臂姿态追踪方案存在隐私问题或需额外硬件的不足，提出SmartPoser方法，利用现成手机与智能手表的UWB和IMU数据，无需训练数据即可实现11.0cm中位误差的腕肘姿态估计。
2025-09-03 cs.CV cs.GR cs.HC
DiffCap: Diffusion-based Real-time Human Motion Capture using Sparse IMUs and a Monocular Camera
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
本文提出 DiffCap，一种基于扩散的框架，通过将序列视觉信息作为整体条件嵌入、逐帧结合 IMU 测量与噪声姿态，融合稀疏 IMU 与单目相机信号，实现鲁棒的实时人体动作捕捉并达到 SOTA 性能。
2025-08-08 cs.CV
Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
以前的工作已经证明，使用跨模态传输方法（如IMUTube）从视频中提取的虚拟加速度测量数据有利于训练复杂和有效的人类活动识别（HAR）模型。像IMUTube这样的系统最初设计用于覆盖基于大量身体（部分）运动的活动。然而，生活是复杂的，日常生活的一系列活动仅基于相当微妙的运动，这就产生了一个问题，即像IMUTube这样的系统在多大程度上对细粒度HAR也有价值，即，IMUTube什么时候坏？在这项工作中，我们首先介绍了一种措施，以定量评估人类运动的细微之处，是潜在的活动的兴趣-运动细微指数（MSI）-它捕获本地像素运动和姿态变化的目标虚拟传感器位置附近，并将其与最终的活动识别精度。然后，我们在IMUTube上进行了一次“压力测试”，并探索了跨模态转移方法适用于哪些具有潜在微妙运动的活动，以及哪些不适用。因此，本文中提出的工作使我们能够在实际场景中绘制出IMUTube应用的前景。
2022-11-02 cs.CV
Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
本文提出 GaIP 方法，通过基于 Transformer 的扩散模型，利用服装感知数据合成并处理稀疏宽松佩戴的 IMU 传感器数据，实现全身姿态估计，在定量和定性上均优于现有最先进方法。
2025-08-13 cs.AI cs.CV cs.GR
Reliability-Gated Fusion of Consumer Head and Foot IMUs for Lower-Body 3D Pose
University of Cambridge（剑桥大学）；Chalmers University of Technology（查尔姆斯理工大学）
针对消费级IMU不可靠问题，提出通道级可靠性门控融合模型，在稀疏惯性下肢姿态估计中显著提升精度，优于静态融合和未门控方案，并有效应对传感器故障。
2026-09-29 cs.CV cs.HC
Trust Your IMU: Consequences of Ignoring the IMU Drift
Lund University（隆德大学）；Linköping University（林雪平大学）
在本文中，我们认为，现代预集成方法的惯性测量单元（IMU）是足够准确的忽略漂移的短时间间隔。这允许我们考虑简化的相机模型，这反过来又允许进一步的内在校准。我们开发了有史以来第一个求解器，以共同解决未知的和相等的焦距和径向畸变轮廓的相对位姿问题，同时利用IMU数据。此外，与最先进的算法相比，我们显示出显着的速度提高，对于部分校准的设置，精度损失很小或可以忽略不计。所提出的算法进行测试的合成和真实的数据，后者的重点是使用无人驾驶航空器（UAV）的导航。我们在不同的商用低成本无人机上评估了所提出的求解器，并证明了IMU漂移的新假设在实际应用中是可行的。与当前最先进的方法相比，扩展的内在自动校准使我们能够使用失真的输入图像，从而使繁琐的校准过程变得过时。
2021-03-16 cs.CV cs.RO
DeSPITE: Exploring Contrastive Deep Skeleton-Pointcloud-IMU-Text Embeddings for Advanced Point Cloud Human Activity Understanding
Telekooperation Lab, Technical University Darmstadt（德累斯顿技术大学电信协作实验室）；NTT DATA, Luxembourg（NTT DATA卢森堡）
本文提出多模态对比预训练模型DeSPITE，通过结合LIPD和Babel数据集学习LiDAR点云、骨架、IMU与文本的联合嵌入空间，实现了点云序列的新型人类活动理解任务，并验证了其作为点云HAR预训练策略的有效性。
2025-06-25 cs.CV
A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
Universität Hamburg（汉堡大学）；RWTH Aachen University（亚琛工业大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Tsinghua University（清华大学）
在本文中，我们提出了一个多模式的移动遥操作系统，包括一个新的基于视觉的手姿态回归网络（Transteleop）和基于IMU的手臂跟踪方法。Transteleop通过低成本的深度相机观察人手，不仅生成关节角度，还通过图像到图像转换过程生成配对机器人手姿势的深度图像。一个基于关键点的重建损失探索人类和机器人之间的外观和解剖结构的相似性，并丰富了重建图像的局部特征。可穿戴摄像头支架可实现同时的手臂控制，并促进整个遥操作系统的移动性。测试数据集和各种复杂的操作任务，超越简单的取放操作的网络评估结果表明，我们的多模式遥操作系统的效率和稳定性。
2020-03-11 cs.CV cs.HC cs.RO
Efficient Minimal Solvers for Visual-Inertial Relative Pose Estimation in Multi-Camera Systems
Naval Aviation University（海军航空大学）；National University of Defense Technology（国防科技大学）
提出两种基于IMU先验的最小求解器，仅需4个点对应，将多相机相对位姿问题简化为单变量6次多项式，显著降低计算复杂度，在RANSAC框架中表现优异。
2026-06-08 cs.CV
IMU-Free Body-Frame State Estimation with Sparse Scene Flow for Quadcopters
该研究提出一种无IMU的四旋翼仅视觉状态估计系统，采用扩展卡尔曼滤波与4视图光束平差法，生成机体坐标系状态估计与稀疏场景流，无需GPS等世界坐标系基础设施。
2026-08-24 cs.CV cs.RO
Shape-aware Inertial Poser: Motion Tracking for Humans with Diverse Shapes Using Sparse Inertial Sensors
Xiamen University（厦门大学）；Tsinghua University（清华大学）
针对稀疏 IMU 动作捕捉难以泛化到儿童等不同体型的问题，本文提出 SAIP，通过形状相关测量解耦、回归映射与物理优化实现全身运动及体型估计，并发布多体型数据集。
2025-10-20 cs.CV cs.GR
A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors
Shanghai Jiao Tong University（上海交通大学）；School of Electrical Information and Electrical Engineering（电子信息与电气工程学院）；Shanghai Key Laboratory of Navigation and Location-based Services（上海市导航与位置服务重点实验室）
基于传感器的人体活动识别是当前多个应用领域的研究热点。随着配备惯性测量单元（IMU）的智能可穿戴设备的兴起，研究人员开始利用IMU数据进行HAR。通过采用机器学习算法，早期基于IMU的HAR研究可以在传统的经典HAR数据集上实现准确的分类结果，这些数据集只包含简单和重复的日常活动。然而，这些数据集很少显示真实场景中丰富多样的信息。本文提出了一种基于深度学习的复杂HAR方法。特别是在离线训练阶段，创新性地采用了包含丰富人体姿态和虚拟IMU数据的AMASS数据集，增强了训练的多样性和多样性。此外，提出了一种带无监督惩罚的深度卷积神经网络，用于自动提取AMASS特征，提高鲁棒性。在在线测试阶段，利用迁移学习的优点，利用真实IMU数据对部分神经网络进行微调（优化全连接层的参数），得到最终结果。实验结果表明，该方法可以令人惊讶地收敛在几个迭代，并达到91.15%的准确率在一个真实的IMU数据集上，证明了所提出的方法的效率和有效性。
2020-03-06 cs.CV
Image as an IMU: Estimating Camera Motion from a Single Motion-Blurred Image
University of Oxford（牛津大学）；Department of Computer Science（计算机科学系）
本文提出了一种利用运动模糊估计相机运动的方法，通过预测运动流场和深度图，结合线性最小二乘问题恢复相机速度，实现高精度姿态估计。
2025-11-26 cs.CV
DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry using 3D Geometric Constraints
CloudMinds Technologies Inc.（达闼科技有限公司）
本文提出了一种用于单目视觉惯性测距的自监督深度学习网络（DeepVIO）。DeepVIO通过直接合并2D光流特征（OFF）和惯性测量单元（IMU）数据来提供绝对轨迹估计。该方法首先利用立体序列估计场景的深度和密集三维点云，然后获取三维光流和6自由度位姿等三维几何约束作为监控信号。注意，这样的3D光流示出了对动态对象和无纹理环境的鲁棒性和准确性。在DeepVIO训练中，2D光流网络受到其对应的3D光流投影的约束，并且通过最小化来自自我运动约束的损失函数来学习LSTM风格的IMU预积分网络和融合网络。此外，我们采用了一种IMU状态更新方案，通过更新额外的陀螺仪和加速度计的偏差，以改善IMU的姿态估计。在KITTI和EuRoC数据集上的实验结果表明，DeepVIO在准确性和数据适应性方面优于最先进的基于学习的方法。与传统方法相比，DeepVIO减少了不准确的相机-IMU校准，不同步和丢失数据的影响。
2019-06-28 cs.CV cs.RO
Group Inertial Poser: Multi-Person Pose and Global Translation from Sparse Inertial Sensors and Ultra-Wideband Ranging
Department of Computer Science, ETH Zürich（计算机科学系，苏黎世联邦理工学院）
提出Group Inertial Poser方法，融合IMU与UWB测距数据，通过结构化状态空间模型和两步优化，实现多人体姿态与全局轨迹的精确估计，并引入GIP-DB数据集，性能优于现有方法。
2025-10-24 cs.AI cs.CV cs.GR
MIMC-VINS: A Versatile and Resilient Multi-IMU Multi-Camera Visual-Inertial Navigation System
University of Delaware（特拉华大学）
随着相机和惯性传感器在移动设备和机器人中变得无处不在，设计用于高效通用3D运动跟踪的视觉惯性导航系统（VINS）具有很大的潜力，其利用任何（多个）可用相机和惯性测量单元（IMU）并且对传感器故障或测量耗尽具有弹性。为此，而不是标准的VINS范例使用一个最小的传感套件的一个摄像头和IMU，在本文中，我们设计了一个实时一致的多IMU多摄像头（MIMC）-VINS估计器，能够无缝融合多模态信息从任意数量的未校准的摄像头和IMU。在一个有效的多状态约束卡尔曼滤波器（MSCKF）的框架内，建议MIMC-VINS算法最佳融合所有传感器的异步测量，同时提供平滑，不间断，准确的三维运动跟踪，即使一些传感器失败。所提出的MIMC-VINS的关键思想是执行高阶流形上状态插值，以有效地处理所有可用的视觉测量，而不增加由于估计额外的传感器的姿态在异步成像时间的计算负担。为了融合来自多个IMU的信息，我们传播一个由所有IMU状态组成的联合系统，同时在滤波器更新阶段强制执行IMU之间的刚体约束。最后，我们在线估计时空的外在和视觉的内在参数，使我们的系统在以前的传感器校准的错误鲁棒性。所提出的系统在蒙特卡洛模拟和真实世界的实验中得到了广泛的验证。
2020-06-28 cs.CV cs.RO
DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map
Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Applications（深度学习技术及应用国家工程实验室）
对于自动驾驶等应用，自定位/相机姿态估计和场景解析是关键技术。在本文中，我们提出了一个统一的框架来同时解决这两个问题。我们的设计的独特之处是一个传感器融合方案，它集成了摄像头视频，运动传感器（GPS/IMU），和一个3D语义地图，以实现系统的鲁棒性和效率。具体来说，我们首先从消费级GPS/IMU获得一个初始的粗略相机姿态，基于此，可以从3D语义地图渲染标签地图。然后，将渲染的标签图和RGB图像共同馈送到姿势CNN中，从而产生校正的相机姿势。此外，结合时间信息，多层递归神经网络（RNN）进一步部署提高姿态精度。最后，基于来自RNN的姿态，我们渲染一个新的标签图，该标签图与RGB图像一起被馈送到一个片段CNN中，该片段CNN产生每像素的语义标签。为了验证我们的方法，我们用注册的3D点云和摄像机图像构建了一个数据集。点云和图像都是语义标记的。每个视频帧都有来自高精度运动传感器的地面真实姿态。我们表明，实际上，姿态估计仅仅依赖于像PoseNet图像可能会失败，由于街景混乱，它是重要的融合多个传感器。最后，各种消融研究进行，这表明所提出的系统的有效性。特别是，我们表明，场景解析和姿态估计是互利的，以实现更强大和准确的系统。
2018-05-13 cs.CV
VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation
DFKI（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）
本文提出VSMP-IMU框架，基于结构化SMP生成可控合成IMU数据，在五个公开IMU-HAR数据集的多场景评估中，显著提升了HAR模型的性能。
2026-08-07 cs.CV cs.LG
Multi-Visual-Inertial System: Analysis, Calibration and Estimation
University of Delaware（特拉华大学）
本文研究多视觉-惯性系统的状态估计与完整标定，提出ACI3解析组合IMU积分方法融合多惯性传感器，并通过可观测性分析揭示退化运动，实验验证其精度优于Kalibr。
2024-09-02 cs.CV cs.RO
UMotion: Uncertainty-driven Human Motion Estimation from Inertial and Ultra-wideband Units
Nara Institute of Science and Technology, Japan（奈良科学技术大学，日本）
本文提出 UMotion 框架，利用六个 IMU-UWB 可穿戴传感器和紧耦合 UKF 在线融合距离、惯性及人体形状约束，提升三维人体姿态估计的稳定性与精度。
2025-05-14 cs.AI cs.CV cs.GR
A Minimal Solver for Relative Pose Estimation with Unknown Focal Length from Two Affine Correspondences
School of Aerospace Science and Engineering, National University of Defense Technology（航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）；Global Navigation Satellite System Research Center（全球导航卫星系统研究中心）；School of Geodesy and Geomatics, Wuhan University（测绘学院，武汉大学）；School of Remote Sensing Information Engineering, Wuhan University（遥感信息工程学院，武汉大学）；School of Software, Henan University（软件学院，河南大学）
本文提出了一种基于两个仿射对应关系的最小求解器，用于估计未知焦距的相对姿态，通过多项式特征值方法提高了求解效率和精度。
2025-12-28 cs.CV
Inertial-Based Scale Estimation for Structure from Motion on Mobile Devices
Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Aalto University（阿尔托大学）；Centre for Machine Perception, Department of Cybernetics, Czech Technical University（捷克理工大学控制论系机器感知中心）
从运动恢复结构运动恢复结构算法具有固有的局限性，即重建只能被确定到未知的比例因子。现代移动设备配备有惯性测量单元（IMU），其可用于估计重建的规模。我们提出了一种方法，恢复度量尺度给定的惯性测量和相机姿势。在这个过程中，我们还执行相机和IMU的时间和空间对准。因此，我们的解决方案可以很容易地与任何现有的视觉重建软件相结合。该方法可以通过利用Rauch-Tung-Striebel（RTS）平滑器来处理通常由运动模糊或滚动快门伪影引起的噪声相机姿态估计。此外，尺度估计在频域中执行，这比先前使用的时域表示对不准确的传感器时间戳和有噪声的IMU样本提供了更强的鲁棒性。与以前的方法相比，我们的方法没有需要调整的参数，以实现良好的性能。在实验中，我们表明，该算法优于国家的最先进的精度和收敛速度的规模估计。根据记录，比例尺的精度与地面真实值相差约$1\%$。我们还表明，我们的方法可以提高项目探戈的内置运动跟踪的规模精度。
2017-08-11 cs.CV
Online Initialization and Extrinsic Spatial-Temporal Calibration for Monocular Visual-Inertial Odometry
Peking University（北京大学）
提出了一种基于优化的单目视觉-惯性里程计（VIO）在线初始化方法。该方法可以在线标定相机和IMU之间的相对变换（空间）和时间偏移（时间），并在初始化阶段估计度量尺度、速度、重力、陀螺仪偏差和加速度计偏差的初始值。为了补偿时间偏移的影响，我们的方法包括两个短期运动插值算法的相机和IMU姿态估计。此外，它包括一个三步过程，逐步估计参数从粗到细。首先，通过最小化相机和IMU之间的旋转差来估计外部旋转、陀螺仪偏差和时间偏移。其次，度量尺度，重力和外部平移近似估计通过使用补偿的相机姿势和忽略加速度计的偏差。第三，这些值通过考虑加速度计偏差和重力大小来细化。为了进一步优化系统状态，引入了一种考虑时间偏移的非线性优化算法，用于全局和局部优化。在公开数据集上的实验结果表明，该方法可以准确地估计出传感器的初始值、外参数以及传感器位姿。
2020-04-12 cs.CV cs.RO
A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors
Hong Kong University of Science and Technology（香港科技大学）
如今，越来越多的传感器被装备在机器人上，以提高机器人的鲁棒性和自主能力。我们已经看到了不同平台上配备的各种传感器套件，例如地面车辆上的立体相机，手机上带有IMU（惯性测量单元）的单目相机，以及空中机器人上带有IMU的立体相机。虽然过去已经提出了许多用于状态估计的算法，但是它们通常应用于单个传感器或特定的传感器组。它们中的一些可以与多个传感器选择一起使用。在本文中，我们提出了一个通用的基于优化的框架里程估计，它支持多个传感器集。在我们的框架中，每个传感器都被视为一个一般因素。共享公共状态变量的因素被加在一起以构建优化问题。我们进一步证明了与视觉和惯性传感器，形成三个传感器套件（立体相机，单目相机与IMU，和立体相机与IMU）的一般性。我们在公共数据集上验证了我们的系统的性能，并通过多个传感器的真实实验。结果与其他国家的最先进的算法进行比较。我们强调，我们的系统是一个通用的框架，它可以很容易地融合各种传感器的姿态图优化。我们的实现是开源的\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}。
2019-01-11 cs.CV
Deep Learning Based Speed Estimation for Constraining Strapdown Inertial Navigation on Smartphones
Aalto University（阿尔托大学）
捷联式惯性导航系统对加速度计和陀螺仪提供的数据质量很敏感。手持智能设备中的低级IMU对这些设备上的惯性里程计造成了问题。我们提出了一种通过基于CNN的深度学习模型补充非线性状态估计来约束惯性里程计问题的方案，该深度学习模型用于基于IMU样本的窗口推断瞬时速度。我们使用来自iPhone的广泛数据展示了该模型的可行性，并展示了该模型如何与惯性导航系统相结合进行三维惯性导航的概念验证结果。
2018-08-10 cs.CV
MARS: Mixed Virtual and Real Wearable Sensors for Human Activity Recognition with Multi-Domain Deep Learning Model
Shanghai Jiao Tong University（上海交通大学）
随着物联网（IoT）的快速发展，使用可穿戴惯性测量单元（IMU）的人体活动识别（HAR）成为许多研究领域的一项有前途的技术。最近，基于深度学习的方法为理解和执行HAR系统中的复杂数据的分析铺平了新的道路。然而，这些方法的性能主要取决于所收集数据的质量和数量。在本文中，我们创新性地提出了建立一个基于虚拟IMU的大型数据库，然后通过引入一个由三个技术部分组成的多域深度学习框架来解决技术问题。在第一部分中，我们提出了学习的单帧人类活动的噪声IMU数据与混合卷积神经网络（CNN）在半监督的形式。第二部分根据不确定性感知一致性原则对提取的数据特征进行融合，通过对特征重要性进行加权来降低不确定性。最后一部分基于最新发布的运动捕捉存档数据集（Archive of Motion Capture as Surface Practice，AMASS）进行迁移学习，该数据集包含丰富的合成人体姿态，增强了训练数据集的多样性，有利于该方法的训练和特征迁移过程。在实际的深惯性波（DIP）数据集上，验证了该方法的有效性。实验结果表明，所提出的方法可以令人惊讶地收敛在几个迭代和优于所有竞争的方法。
2020-10-09 cs.CV
