Conditional Motion In-betweening
Korea University(高丽大学);Dongguk University(东国大学);Meta
运动中间化(MIB)是在给定的起始和目标姿势之间生成中间骨骼运动同时保持运动的自然性的过程,例如行走时的周期性脚步运动。虽然国家的最先进的MIB方法是能够产生合理的运动给定稀疏的关键姿势,他们往往缺乏可控性,以产生满足在实际应用中所需的语义上下文的运动。我们专注于可以处理姿势或语义条件MIB任务使用一个统一的模型的方法。我们还提出了一种运动增强方法,通过定义一个分布在光滑的轨迹,以提高质量的姿态条件运动生成。我们提出的方法优于现有的国家的最先进的MIB方法在姿态预测误差,同时提供额外的可控性。
2022-10-06 cs.AI cs.CV cs.GR
Motion In-Betweening for Densely Interacting Characters
Durham University(杜伦大学);University of Bristol(布里斯托大学)
针对密集交互角色动作补间的长时序质量下降问题,提出跨空间补间方法结合对抗学习与潜空间修正,实现真实可控的双角色长时序交互动作合成。
2025-09-30 cs.CV cs.GR
Diverse Motion In-betweening with Dual Posture Stitching
Xiamen University(厦门大学);Communication University of China(中国传媒大学);Tencent Technology(腾讯科技);Cardiff University(卡迪夫大学)
中间过渡是一种用于在给定初始和目标角色状态的情况下生成过渡的技术。大多数现有的作品需要多个(通常是$>$ 10)帧作为输入,这并不总是可访问的。我们的工作涉及一个重点突出但具有挑战性的问题:当给定两个帧(只有第一个和最后一个)时生成过渡。为了应对这种具有挑战性的情况,我们实现了我们的双向方案,该方案使用两个对抗自回归网络从开始帧和结束帧生成向前和向后的过渡,并将它们缝合在过渡的中间,那里没有严格的地面真实。基于条件变分自编码器(CVAE)的自回归网络通过寻找一对最优潜码来优化,使其输出之间的新拼接损失最小.结果表明,我们的方法在LaFAN 1和Human3.6m数据集上都取得了比现有方法更高的运动质量和更多样化的结果。
2023-03-25 cs.AI cs.CV cs.GR
SceneMI: Motion In-betweening for Modeling Human-Scene Interactions
ECE, Seoul National University(电子工程系,首尔国立大学);Snap Inc(Snap公司)
该研究将人-场景交互建模重构为场景感知运动中间帧生成任务,提出 SceneMI 框架,通过双场景描述符与扩散去噪实现关键帧引导动画、含噪数据增强及真实数据集泛化。
2025-07-25 cs.CV
Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening
Shanghai Jiao Tong University(上海交通大学)
人体运动合成是一个长期存在的问题,在数字孪生和Metaverse中有各种应用。然而,现代基于深度学习的运动合成方法几乎不考虑合成运动的物理可扩展性,因此它们通常产生不真实的人体运动。为了解决这个问题,我们提出了一个系统“Ancheton2Humanoid”,它在测试时通过在物理模拟器中正则化合成的骨架运动来执行面向物理的运动校正。具体来说,我们的系统包括三个连续的阶段:(I)测试时间运动合成网络适应,(II)骨架人形匹配和(III)基于强化学习(RL)的运动模仿。阶段I引入了测试时自适应策略,该策略通过优化骨骼关节位置来提高合成的人体骨骼运动的物理可扩展性。第二阶段采用解析逆运动学策略,将优化后的人体骨骼运动转化为物理仿真器中的人形机器人运动,然后将转化后的人形机器人运动作为参考运动,供强化学习策略进行仿真。第三阶段介绍了一个课程的残余力控制策略,它驱动人形机器人模仿复杂的转换参考运动,按照物理定律。我们验证我们的系统上一个典型的人体运动合成任务,运动之间。在具有挑战性的LaFAN 1数据集上的实验表明,我们的系统在物理可扩展性和准确性方面都明显优于以前的方法。代码将在以下网站发布以供研究:https://github.com/michaelliyunhao/Skeleton2Humanoid
2022-10-09 cs.CV
Towards Synthesized and Editable Motion In-Betweening Through Part-Wise Phase Representation
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学);Zhejiang University(浙江大学);Wuhan University(武汉大学);University of Hong Kong(香港大学)
针对现有动作补间方法忽略身体部位表示的问题,提出在身体部位级别建模动作风格的框架,利用周期性自编码器提取部位相位并结合流形学习与条件生成技术,实现了更灵活可控且高质量的风格化动作合成。
2025-08-13 cs.CV
Feed-forward Motion In-betweening for Any 4D
Waseda University(早稻田大学);AIST(产业技术综合研究所);Durham University(杜伦大学)
提出一种基于关键帧条件的前馈插值框架,利用网格VAE和MMDiT骨干的整流流模型,实现任意4D网格的快速运动插值,在DyMesh16和DyMesh32上表现优异。
2026-06-23 cs.CV
Orientation-Aware Leg Movement Learning for Action-Driven Human Motion Prediction
Toyohashi University of Technology(丰桥技术科学大学);University of Fukui(福井大学)
本文提出一种朝向感知的腿部运动学习方法,通过动作条件下的中间插值生成自然过渡,解决动作驱动人体运动预测中朝向变化导致的过渡不自然问题,并在多个基准上达到最优性能。
2024-02-06 cs.CV cs.GR
Controllable Dance Generation with Style-Guided Motion Diffusion
本文提出Style-Guided Motion Diffusion方法,通过整合Transformer架构与风格调制模块,实现风格引导的舞蹈生成,提升舞蹈生成的可控性和风格一致性。
2026-02-10 cs.CV cs.MM cs.SD
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量的文献表明,基于学习的视觉感知模型是敏感的对抗性噪声,但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此,我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响,摄像机运动对机器人的感知。具体而言,我们提出了一种运动平滑技术,任意图像分类模型,其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证,使其适用于广泛的机器人应用。据我们所知,这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作,这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图,为整个房间,MetaRoom,介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验,以验证认证方法,通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内,该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性,在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
在这项研究中,我们提出了一种新的RGB-T跟踪框架,通过联合建模的外观和运动线索。首先,为了获得鲁棒的外观模型,我们开发了一种新的后期融合方法来推断RGB和热(T)模态的融合权重图。融合权值由离线训练的全局和局部多模态融合网络确定,并用于线性组合RGB和T模态的响应图。第二,当外观线索不可靠时,我们全面地采取动作线索,即,目标和摄像机运动,使跟踪器鲁棒。我们进一步提出一个追踪器切换器来灵活切换外观和运动追踪器。在最近的三个RGB-T跟踪数据集上的大量结果表明,该跟踪器的性能明显优于其他最先进的算法。
2020-07-04 cs.CV
GSLAM: Initialization-robust Monocular Visual SLAM via Global Structure-from-Motion
Simon Fraser University(西蒙弗雷泽大学);Adobe Research(Adobe 研究院)
许多单目视觉SLAM算法都是从增量式运动恢复结构(SfM)方法衍生而来的。这项工作提出了一种新的单目SLAM方法,集成了全球SfM的最新进展。特别是,我们提出了两个主要的贡献视觉SLAM。首先,我们解决了视觉里程计问题的一种新的秩1矩阵分解技术,这是更强大的地图初始化的错误。其次,我们采用了最近的全局SfM方法的姿态图优化,这导致了一个多阶段的线性配方,使L1优化更好的鲁棒性假循环。这两种方法的组合生成更鲁棒的重建,并且比最近最先进的SLAM系统快得多(4倍)。我们还提出了一个新的数据集记录与地面实况摄像机运动的Vicon运动捕捉室,并比较我们的方法,它和现有的基准数据集上的系统。
2017-10-19 cs.CV
Interaction-Merged Motion Planning: Effectively Leveraging Diverse Motion Datasets for Robust Planning
Visual Intelligence Lab., KAIST, Korea(韩国韩世科技大学视觉智能实验室);Intelligent Systems and Learning Lab., DGIST, Korea(韩国全南国立科学技术院智能系统与学习实验室)
针对多轨迹数据集利用中的领域不平衡、遗忘与高成本问题,提出IMMP,通过预融合与融合参数检查点迁移多样化交互,并在多个基准和模型上取得优于传统方法的规划性能。
2025-07-25 cs.AI cs.CV cs.LG
NeMF: Neural Motion Fields for Kinematic Animation
Yale University(耶鲁大学);Adobe Research(奥多比研究院)
我们提出了一个隐式神经表示学习运动的时空空间。与以前将运动表示为离散序列样本的工作不同,我们建议将巨大的运动空间表示为随时间变化的连续函数,因此命名为神经运动场(NeMF)。具体来说,我们使用神经网络来学习这个函数的杂项集的运动,这是一个生成模型的时间坐标$t$和随机向量$z$控制的风格。然后将模型训练为具有运动编码器的变分自编码器(VAE)以对潜在空间进行采样。我们训练我们的模型与不同的人类运动数据集和四足动物数据集,以证明其通用性,并最终部署它作为一个通用的运动之前,解决任务不可知的问题,并显示其优越性,在不同的运动生成和编辑应用程序,如运动插值,中间,和重新导航。更多细节可以在我们的项目页面上找到:https://cs.yale.edu/homes/che/projects/nemf/。
2022-10-09 cs.CV cs.GR
Retrieval Robust to Object Motion Blur
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司);Czech Technical University in Prague(捷克布拉格技术大学)
针对运动模糊物体检索问题,提出一种学习鲁棒表示以匹配模糊与去模糊物体的方法,并构建首个大规模模糊检索数据集,实验证明其优于现有方法。
2024-07-17 cs.CV
Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
从观测数据中学习行为模式已经成为运动预测的一种事实上的方法。然而,目前的范式有两个缺点:在分布偏移下的脆弱性和知识转移的效率。在这项工作中,我们建议从因果表征的角度来解决这些挑战。我们首先介绍了一个因果形式主义的运动预测,它铸造的问题作为一个动态的过程,三组潜在的变量,即不变变量,风格混淆,和虚假的功能。然后,我们引入了一个学习框架,分别对待每一组:(i)与混合从不同位置收集的数据集的常见做法不同,我们通过不变性损失的方式利用它们的微妙区别,鼓励模型抑制虚假的相关性;(ii)我们设计了一个模块化架构,将不变机制和风格混淆因素的表示分解为近似稀疏因果图;(iii)我们引入了一个风格对比损失,它不仅加强了风格表征的结构,而且还可以作为测试时间改进的自我监督信号。在合成数据集和真实数据集上的实验表明,该方法提高了学习运动表示的鲁棒性和可重用性,在分布外泛化和低镜头传输方面明显优于现有的最先进运动预测模型。
2022-04-05 cs.AI cs.CV cs.LG
Learning Motion-Robust Remote Photoplethysmography through Arbitrary Resolution Videos
Nanyang Technological University(南洋理工大学)
远程光电体积描记(rPPG)能够从面部视频中进行非接触式心率(HR)估计,与传统的基于接触的测量相比,这提供了显着的便利。在现实世界的长期健康监测场景中,参与者的距离和他们的头部运动通常随时间而变化,由于面部分辨率的变化和复杂的运动伪影,导致rPPG测量不准确。与之前针对摄像机和参与者之间的恒定距离设计的rPPG模型不同,在本文中,我们提出了两个即插即用块(即,生理信号特征提取块(PFE)和时间面部对准块(TFA)),以减轻变化的距离和头部运动的降级。一方面,在代表性区域信息的指导下,PFE自适应地将任意分辨率的人脸帧编码为固定分辨率的人脸结构特征。另一方面,利用估计的光流,TFA能够抵消由头部移动引起的rPPG信号混淆,从而有益于运动鲁棒的rPPG信号恢复。此外,我们还训练模型与交叉分辨率约束使用双流双分辨率框架,这进一步帮助PFE学习分辨率鲁棒的面部rPPG特征。在三个基准数据集(UBFC-rPPG、COHFACE和PURE)上的实验证明了该方法的优越性能。一个亮点是,使用PFE和TFA,现成的时空rPPG模型可以在不同的面部分辨率和严重的头部运动场景下预测更鲁棒的rPPG信号。这些代码可在https://github.com/LJW-GIT/Arbitrary_Resolution_rPPG上获得。
2022-12-02 cs.CV
Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition
Institute of High Performance Computing, Agency for Science, Technology and Research(高性能计算研究所,新加坡科技研究局)
本研究针对隐私感知课堂事件识别场景,提出轻量鲁棒的运动推理框架,通过知识蒸馏实现高效推理,性能优于大模型且泛化能力强,将公开相关基准与工具。
2026-08-06 cs.AI cs.CV cs.ET
CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships
Google Research(谷歌研究院);Waymo
随着机器学习模型在自动驾驶汽车(AV)的运动预测中变得越来越普遍,确保模型预测的安全性和可靠性至关重要。然而,详尽地收集和标记必要的数据,以充分测试罕见和具有挑战性的情况下的长尾是困难和昂贵的。在这项工作中,我们构建了一个新的基准评估和提高模型的鲁棒性,通过对现有数据的扰动。具体来说,我们在Waymo Open Motion Dataset(WOMD)中进行了广泛的标记工作,以识别因果代理,或者其存在以任何形式影响人类驾驶员行为的代理,我们使用这些标签通过从场景中删除非因果代理来扰乱数据。我们根据我们提出的基准评估了一组不同的最先进的深度学习模型架构,发现所有模型即使在非因果干扰下也会表现出很大的变化:我们观察到minADE与原始模型相比有25-38%的相对变化。我们还研究了提高模型鲁棒性的技术,包括增加训练数据集大小和使用有针对性的数据增强,在整个训练过程中随机丢弃非因果代理。最后,我们发布了因果代理标签(在https://github.com/google-research/cause-agents)作为WOMD的附加属性和鲁棒性基准,以帮助社区构建更可靠和安全的深度学习模型进行运动预测。
2022-10-07 cs.AI cs.LG cs.RO
HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models
ShanghaiTech University(上海科技大学);Tencent(腾讯)
针对现有手部数据集交互弱、数据稀缺的问题,提出HandDiffuse12.5M数据集和基于扩散模型的HandDiffuse方法,实现可控双手交互运动生成,性能优于现有技术。
2025-04-23 cs.CV
HuMoR: 3D Human Motion Model for Robust Pose Estimation
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);Brown University(布朗大学)
我们介绍了HuMoR:一个用于时间姿态和形状鲁棒估计的3D人体运动模型。虽然在从动态观测中估计3D人体运动和形状方面已经取得了实质性的进展,但在存在噪声和遮挡的情况下恢复合理的姿势序列仍然是一个挑战。为此,我们提出了一个有条件的变分自编码器,它学习的姿势在运动序列的每一步的变化的分布的形式表达生成模型。此外,我们引入了一种灵活的基于优化的方法,该方法利用HuMoR作为运动,然后从模糊的观察结果中稳健地估计合理的姿势和形状。通过广泛的评估,我们证明了我们的模型在大型运动捕捉数据集上训练后可以推广到不同的运动和身体形状,并可以从包括3D关键点和RGB(-D)视频在内的多种输入方式进行运动重建。
2021-08-18 cs.CV cs.LG
Robust 3D Human Motion Reconstruction Via Dynamic Template Construction
University of Delaware(特拉华大学);Plex-VR;Louisiana State University(路易斯安那州立大学);ShanghaiTech University(上海科技大学)
在多视图人体捕获系统中,由于遮挡、噪声、有限的视场等,恢复的3D几何形状甚至所获取的图像数据可能严重损坏。在这些低质量数据上直接估计3D姿态、身体形状或运动传统上具有挑战性。我们提出了一个基于图的非刚性形状配准框架,可以同时恢复3D人体几何形状和估计姿态/运动在高保真度。我们的方法首先生成一个全局的完整的,首先通过配准运动序列中的所有姿态,构造出人体模板,然后利用模板中的刚体成分构造出可变形图。我们直接将全局模板图扭曲回每个运动帧,以填充丢失的几何图形。具体来说,我们结合局部刚性和时间相干性约束,以保持几何和运动的连续性。各种场景的综合实验表明,我们的方法是准确的和强大的,即使在激烈的运动。
2018-01-31 cs.CV cs.GR
Robust Motion Averaging under Maximum Correntropy Criterion
Xi’an Jiaotong University(西安交通大学);Kyushu Institute of Technology(九州工业大学)
近年来,运动平均方法被引入作为解决多视点配准问题的有效手段。该方法旨在从一组相对运动中恢复全局运动,其中原始方法由于在优化中使用Frobenius范数误差而对离群值敏感。因此,本文提出了一种基于最大相关熵准则(MCC)的鲁棒运动平均方法。具体地说,相关熵的措施,而不是利用Frobenius范数误差,以提高运动平均对离群值的鲁棒性。根据半二次技术,基于相关熵测度的优化问题可以通过交替最小化过程来解决,该过程包括权重分配和加权运动平均操作。此外,我们设计了一个自适应核宽度的选择策略,以利用相关熵。在基准数据集上的实验结果表明,该方法具有较高的配准精度和鲁棒性。
2020-05-10 cs.CV
Robust Motion Segmentation from Pairwise Matches
Czech Institute of Informatics, Robotics and Cybernetics – Czech Technical University in Prague(捷克信息学、机器人与控制论研究所——布拉格捷克理工大学)
在本文中,我们解决了一个分类问题,以前没有考虑过,即运动分割只给成对匹配。我们的贡献,这一未探索的任务是一个新的制定运动分割作为一个两步的过程。首先,对图像对独立地执行运动分割。其次,我们将独立的成对分割结果以鲁棒的方式组合到最终的全局一致分割中。我们的方法受到平均方法成功的启发。我们在模拟以及在真实的实验中证明,我们的方法是非常有效的,在减少成对运动分割的错误,可以应付大量的不匹配。
2019-05-22 cs.CV
Adversarially Robust Video Perception by Seeing Motion
Columbia University(哥伦比亚大学)
尽管性能优异,但最先进的计算机视觉模型在遇到对抗性示例时往往会失败。视频感知模型在攻击下往往更脆弱,因为对手在高维数据中有更多的地方可以操纵。在本文中,我们发现视频模型脆弱的一个原因是它们在对抗性扰动下无法感知正确的运动。受大量证据表明运动是人类视觉系统的关键因素的启发,我们提出通过恢复感知到的运动信息来纠正模型所看到的内容。由于运动信息是视频数据的内在结构,因此可以在推理时恢复运动信号,而无需任何人工注释,这允许模型适应不可预见的最坏情况输入。在UCF-101和HMDB-51数据集上的可视化和经验实验表明,在深度视觉模型中恢复运动信息可以提高对抗鲁棒性。即使在适应性攻击的对手知道我们的防御,我们的算法仍然是有效的。我们的工作提供了新的见解强大的视频感知算法,通过使用数据的内在结构。我们的网页是https://motion4robust.cs.columbia.edu。
2022-12-13 cs.CV
Semantic Flow-guided Motion Removal Method for Robust Mapping
Harbin Institute of Technology(哈尔滨工业大学)
场景中的运动物体仍然是SLAM系统面临的严峻挑战。许多努力试图通过检测运动对象来去除图像中的运动区域。以这种方式,属于运动区域的关键点将在稍后的计算中被忽略。本文提出了一种新的运动去除方法,利用语义信息和光流提取运动区域。不同于以往的工作,我们不预测运动物体或运动区域直接从图像序列。我们计算刚性光流,由深度和姿态合成,并将其与估计的光流进行比较,以获得初始运动区域。然后,我们利用K-均值微调运动区域掩模与实例分割掩模。ORB-SLAM 2与所提出的运动消除方法相结合,在室内和室外动态环境中都取得了最佳的性能。
2020-10-14 cs.CV
RoMo: Robust Motion Segmentation Improves Structure from Motion
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学);Adobe Research(奥多比研究院);Simon Fraser University(西蒙菲莎大学)
针对SfM依赖静态-动态分割的问题,提出结合光流、极线线索与预训练分割模型的迭代方法RoMo,提升运动分割性能并大幅改进动态场景相机校准效果。
2024-11-27 cs.CV
Efficient Motion Prompt Learning for Robust Visual Tracking
本文提出一种高效运动提示学习方法,通过整合运动和视觉线索提升视觉跟踪的鲁棒性,实验表明其在多个基准测试中表现优异,且训练成本低。
2025-05-22 cs.CV
Fast and Robust Linear Motion Deblurring
Institute for Biomedical Image Analysis, University for Medical Informatics and Technology (UMIT)(医学信息与技术大学(UMIT)生物医学图像分析研究所);TOMAXX GmbH(TOMAXX 有限公司)
我们研究了有效的算法实现的鲁棒反卷积的灰度值图像与已知的空间不变的点扩散函数,重点是一维运动模糊的情况。目标是使反卷积适合作为具有严格时间约束的自动图像处理环境中的预处理步骤。候选的反卷积方法被选择为他们的恢复质量,鲁棒性和效率。合成和真实世界的测试图像的恢复质量和鲁棒性的评估,使我们专注于维纳滤波与几次迭代的强大和正规化的Richardson-Lucy反卷积的组合。我们将讨论针对特定场景的算法优化。在坐标方向上的均匀线性运动模糊的情况下,可以在对$256\times256$像素的图像的单线程CPU计算中实现实时性能(小于50 ms)。对于更一般的空间不变的模糊设置,仍然有利的计算时间获得。示例性并行实现表明,所提出的方法还实现了在多线程CPU设置中的一般1D运动模糊和在GPU上的一般2D模糊的实时性能。
2012-12-10 cs.CV
Motion-Robust T2* Quantification from Gradient Echo MRI with Physics-Informed Deep Learning
Institute of Machine Learning in Biomedical Imaging , Helmholtz Munich , Germany;School of Computation, Information \& Technology , Technical University of Munich , Germany;School of Medicine \& Health, Institute for Diagnostic;Interventional Neuroradiology , Technical University of Munich , Germany;School of Medicine \& Health, TUM-Neuroimaging Center , Technical University of Munich , Germany;Philips GmbH Market DACH , Germany;School of Medicine \& Health, Clinic of Neurology , Technical University of Munich , Germany;School of Biomedical Engineering \& Imaging Sciences , King’s College London , UK
本文提出扩展的物理信息运动校正方法PHIMO,利用采集知识增强重建,在T2*定量中优于学习基线,与最先进方法性能相当且采集时间减少超40%。
2025-02-24 cs.CV cs.LG eess.IV
Motion Estimation via Robust Decomposition with Constrained Rank
NICTA;Universidad de Murcia(穆尔西亚大学)
在这项工作中,我们通过使用现代稀疏低秩分解来解决鲁棒运动估计的离群点检测问题,即,稳健的PCA类方法,以施加全局秩约束。鲁棒分解已被证明是善于分裂一个腐败的矩阵到一个未损坏的低秩矩阵和稀疏矩阵,包含离群值。然而,该过程仅在矩阵相对于其周围空间具有相对低的秩时起作用,这是运动估计问题中不满足的属性。作为一种解决方案,我们建议利用分解中存在的部分信息来决定哪些匹配是离群值。我们提供的证据表明,即使它是不可能恢复一个未损坏的低秩矩阵,所得到的信息可以被利用离群值检测。为此,我们提出了鲁棒分解与约束秩(RD-CR),一个最接近的梯度为基础的方法,执行固有的运动估计的秩约束。我们还提出了一个通用的框架来执行立体视觉里程计的鲁棒估计,基于我们的RD-CR和一个简单但有效的压缩优化方法,实现高性能。我们对合成数据和KITTI数据集的评估证明了我们的方法在复杂场景中的适用性,并且它产生了最先进的性能。
2014-10-22 cs.CV
Robust Structure from Motion in the Presence of Outliers and Missing Data
University of Kansas(堪萨斯大学);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
从运动恢复运动恢复结构是计算机视觉的一个重要课题。虽然在理论和应用上都取得了很大的进展,但大多数算法只适用于静态场景和刚性物体。近年来,非刚性物体和动态场景的结构和运动恢复受到了广泛的关注。在本文中,国家的最先进的技术,非刚性物体的结构和运动因式分解进行了审查和讨论。首先,介绍了运动恢复结构问题,其次是非刚性运动恢复结构的一般制定。其次,提出了一种基于齐次表示的增广仿射因子分解框架,用于解决离群数据和缺失数据的配准问题。第三,基于离群点的重投影残差显著大于内点的重投影残差,提出了一种基于重投影残差的鲁棒因子分解策略,并进行了比较实验.最后对非刚性运动恢复结构的研究方向进行了展望。
2016-12-29 cs.CV
Robust Real-time RGB-D Visual Odometry in Dynamic Environments via Rigid Motion Model
Seoul National University(首尔大学)
本文提出了一种基于场景流更新刚体运动模型的动态环境下鲁棒实时的【形】视觉里程计。该算法包括空间运动分割和时间运动跟踪。空间分割首先通过使用基于网格的场景流生成几个运动假设,并对提取的运动假设进行聚类,分离彼此独立移动的对象。此外,我们使用一个双模式的运动模型,始终区分静态和动态部分的时间运动跟踪阶段。最后,该算法估计的相机的姿态,利用该区域分类为静态部分。为了评估动态刚性物体存在下的视觉里程计的性能,我们使用包含RGB-D图像和运动捕获数据的自收集数据集作为地面实况。我们比较我们的算法与最先进的视觉里程计算法。验证结果表明,该算法可以在动态环境中鲁棒和准确地估计相机的位姿。
2019-07-19 cs.CV cs.RO
Temporally Robust Global Motion Compensation by Keypoint-based Congealing
Michigan State University(密歇根州立大学)
全局运动补偿(GMC)消除了摄像机运动的影响,并创建了一个视频,其中背景随着时间的推移呈现静态。各种视觉问题,如人类活动识别,背景重建,和多目标跟踪可以受益于GMC。现有的GMC算法依赖于顺序处理连续帧,通过估计变换映射的两个帧,并获得一个复合变换的全局运动补偿坐标。顺序GMC遭受帧从精确的全局坐标的时间漂移,由于误差积累或在几个帧处的运动估计的偶发故障。我们提出了一个时间上鲁棒的全局运动补偿(TRGMC)算法,执行准确和稳定的GMC,尽管复杂和长期的相机运动。TRGMC通过匹配每个帧的局部关键点来密集地连接帧对。这些帧的联合对齐被公式化为一种新的基于关键点的凝固问题,其中每个帧的变换被迭代地更新,使得匹配的关键点的起点和终点的空间坐标是相同的。实验结果表明,TRGMC具有优越的性能,在广泛的场景。
2016-03-12 cs.CV
Robust Motion Averaging for Multi-view Registration of Point Sets Based Maximum Correntropy Criterion
Tianjin University(天津大学)
运动平均(MA)算法作为解决多视点配准问题的一种有效算法,得到了广泛的研究,并提出了许多基于MA的配准算法。它们的目标是从相对运动中恢复全局运动,并利用信息冗余来平均累积误差。然而,这些方法的一个特点是,他们使用高斯-牛顿方法来解决全局运动增量的最小二乘问题,这可能会导致效率低,对离群点的鲁棒性差。在本文中,我们提出了一种新的运动平均框架的多视图注册与拉普拉斯核为基础的最大相关熵准则(LMCC)。利用李代数运动框架和相关熵测度,我们提出了一个新的成本函数,考虑到相对运动提供的所有约束。获得用于校正全局运动的增量可以进一步被公式化为旨在最大化成本函数的优化问题。借助于二次技术,优化问题可以通过分成两个子问题来解决,即,根据当前残差计算每个相对运动的权重,并为下一次迭代中的增量求解二阶锥规划问题(SOCP)。我们还提供了一种新的策略,用于确定内核的宽度,确保我们的方法可以有效地利用信息冗余提供的相对运动中存在许多离群值。最后,我们将所提出的方法与其他基于MA的多视图配准方法进行了比较,以验证其性能。对合成数据和真实数据的实验测试表明,我们的方法在效率,准确性和鲁棒性方面取得了优异的性能。
2022-08-24 cs.CV
Blur Robust Optical Flow using Motion Channel
University College London(伦敦大学学院);University of Bath(巴斯大学);Imperial College London(帝国理工学院);Xiamen University of Technology(厦门理工学院)
给定具有相机抖动和其他运动模糊的真实世界视频序列,难以估计光流。在本文中,我们首先研究模糊参数化的视频镜头使用近线性运动元素。然后,我们将商用3D姿态传感器与RGB相机组合,以便将感兴趣的视频片段与相机运动一起拍摄。我们说明,这个额外的相机运动/轨迹通道可以嵌入到一个混合框架,通过交错的迭代盲反卷积和翘曲的光流计划。我们的方法在其他三个最先进的基线内产生了更高的精度,给出了我们提出的地面真实模糊序列;以及我们的成像系统拍摄的其他几个真实世界序列。
2016-03-07 cs.CV
Sparkle: A Robust and Versatile Representation for Point Cloud based Human Motion Capture
ShanghaiTech University(上海科技大学);Digital Trust Centre, Nanyang Technological University(南洋理工大学数字信任中心)
本文提出Sparkle,一种结合骨骼关节和表面锚点的结构化表示,通过层次模块学习几何连续性和运动学约束,实现高精度、鲁棒性和泛化能力。
2026-04-01 cs.CV
Counterfactual Motion Reliability Learning for Robust UAV Tracking
Institute for Low-Altitude Regulation, Xi’an Jiaotong University(西安交通大学低空调控研究所);Lanzhou University(兰州大学)
针对红外无人机跟踪难题,提出CMRTrack框架,通过轻量级编码器提取时间证据,利用反事实目标擦除历史分支构建运动参考,经运动引导令牌调制和可靠性感知分数融合,提升跟踪性能,优于现有跟踪器。
2026-07-28 cs.CV
EgoForce: Robust Online Egocentric Motion Reconstruction via Diffusion Forcing
Seoul National University(首尔国立大学)
本文提出EgoForce框架,通过扩散强迫方法实现从噪声自体视角输入中鲁棒的长时间全身体运动重建,优于现有在线和离线方法。
2026-05-13 cs.CV
Robust Isometric Non-Rigid Structure-from-Motion
CNRS/Université Clermont Auvergne(法国国家科学研究中心/克莱蒙奥弗涅大学);Universidad de Alcalá(阿尔卡拉大学)
非刚性运动恢复结构(NRSfM)从单目2D图像之间建立的对应关系重建可变形的3D对象。目前的NRSfM方法缺乏统计鲁棒性,即处理对应错误的能力。这阻止了人们使用容易出错的自动建立的对应,从而严重限制了NRSfM的范围。我们提出了一个三步自动流水线解决NRSfM鲁棒利用等距。步骤1根据对应关系计算光流,步骤2使用多个参考图像重建每个3D点的法向量,并将它们整合以形成具有最佳参考的表面,步骤3拒绝在其局部邻域中破坏等距的3D点。重要的是,每个步骤都被设计为丢弃或标记错误的对应关系。我们的贡献包括稳健的光流的翘曲估计,新的快速解析解的本地正常的重建和他们的鲁棒性,和一个新的尺度无关的措施的三维局部等距相干。实验结果表明,我们强大的NRSfM方法始终优于现有的方法在合成和真实数据集。
2021-06-02 cs.CV
Match-Any-Events: Zero-Shot Motion-Robust Feature Matching Across Wide Baselines for Event Cameras
Johns Hopkins University(约翰霍普金斯大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(Archimedes,Athena RC)
本文提出首个零样本事件匹配模型,通过运动鲁棒且高效的注意力骨干网络和稀疏感知事件token选择,实现跨数据集大基线对应。实验显示比现有方法提升37.7%。
2026-07-01 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU(澳大利亚国立大学);EPFL(洛桑联邦理工学院)
特征跟踪是计算机视觉中的一个基本问题,在许多计算机视觉任务中有应用,例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器,利用多体刚性假设,以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替:运动分割和每个段的刚性约束下的特征跟踪。然而,这种方法需要知道运动的数量,以及将点分配给运动组,这通常对运动估计敏感。相比之下,在这里,我们引入了一个无分割的多体特征跟踪解决方案,绕过了运动分配步骤,并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
RED: Robust Event-Guided Motion Deblurring with Modality-Specific Disentanglement
Xidian University(西安电子科技大学);vivo Mobile Communication Co., Ltd.(vivo移动通信有限公司)
RED通过事件引导的鲁棒运动去模糊化方法,结合模态特定解耦与选择性融合,提升模糊图像的清晰度和鲁棒性。
2026-03-06 cs.CV cs.IR
LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment
ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
针对现有基于LiDAR的人体动作捕捉方法依赖清晰分割点云、抗噪性差的问题,提出带三个精心设计模块的LiveHPS++方法,可在开放环境精准捕捉连贯动作,性能超越现有SOTA并树立新基准。
2024-07-13 cs.CV
HybridReg: Robust 3D Point Cloud Registration with Hybrid Motions
University of Electronic Science and Technology of China(电子科技大学);Megvii Technology(旷视科技)
本文提出HybridReg,通过不确定性掩码学习处理背景刚性与前景非刚性/刚性混合运动,并构建HybridMatch场景级数据集,在室内外数据集上实现最先进的鲁棒点云配准性能。
2025-03-10 cs.CV
A Robust Background Initialization Algorithm with Superpixel Motion Detection
City University of Hong Kong(香港城市大学)
场景背景初始化允许从视频序列中恢复没有前景对象的清晰图像,这通常是许多计算机视觉和视频处理应用中的第一步。该过程可能会受到一些挑战,如光照变化,前景杂波,间歇性运动等,在本文中,提出了一种强大的背景初始化方法基于超像素运动检测的强烈影响。该方法利用帧的空间和时间特性,有效地消除了前景目标。首先选择光照条件稳定的子序列进行背景估计。该方法将图像分割成超像素以保留空间纹理信息,并通过超像素运动滤波去除前景物体。然后执行低复杂度的基于密度的聚类以生成用于最终背景确定的可靠背景候选。该方法已经在SBMnet数据集上进行了评估,它实现了优于或可与其他最先进的作品相比的性能,具有更快的处理速度。此外,在那些复杂和动态的类别中,该算法产生了最好的结果,显示出对非常具有挑战性的场景的鲁棒性。
2018-05-17 cs.CV
Robust Ego and Object 6-DoF Motion Estimation and Tracking
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学)
利用摄像机的信息跟踪场景中物体的自运动和运动的问题被称为多体视觉里程计,是一项具有挑战性的任务。针对动态多体视觉里程计,提出了一种鲁棒的估计和跟踪方法。一个紧凑和有效的框架,提出了利用语义实例级分割和准确的光流估计的最新进展。提出了一种新的公式,联合优化SE(3)运动和光流,提高了跟踪点的质量和运动估计精度。该方法在虚拟KITTI数据集上进行了评估,并在真实KITTI数据集上进行了测试,证明了其对自动驾驶应用的适用性。为了社区的利益,我们将源代码公开。
2020-07-28 cs.CV cs.RO
Motion Robust High-Speed Light-Weighted Object Detection With Event Camera
Wuhan University(武汉大学)
本文提出一种基于事件相机的运动鲁棒高速轻量级目标检测流水线,通过设计TAF表示、BFM模块和AED检测器,在保证精度与效率的同时显著减少了模型参数。
2023-06-26 cs.CV
Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics
The University of Sydney(悉尼大学)
近年来,无监督单目深度和自我运动估计引起了广泛的研究关注。虽然目前的方法已经达到了很高的精度,但由于单目序列训练中固有的尺度模糊性,它们通常无法学习真正的尺度度量。在这项工作中,我们解决了这个问题,并提出了DynaDepth,一种新的尺度感知框架,集成了视觉和IMU运动动力学的信息。具体来说,我们首先提出了一个IMU光度损失和跨传感器光度一致性损失,以提供密集的监督和绝对规模。为了充分利用来自两个传感器的互补信息,我们进一步驱动以相机为中心的可微分扩展卡尔曼滤波器(EKF),以更新IMU预集成运动时,观察视觉测量。此外,EKF公式能够学习自我运动不确定性度量,这对于无监督方法来说是不平凡的。通过在训练过程中利用IMU,DynaDepth不仅可以学习绝对比例,而且还可以提供更好的泛化能力和鲁棒性,以应对照明变化和移动物体等视觉退化。我们通过在KITTI和Make3D数据集上进行广泛的实验和模拟来验证DynaDepth的有效性。
2022-07-21 cs.CV
Free-T2M: Robust Text-to-Motion Generation for Humanoid Robots via Frequency-Domain
Shandong University(山东大学);Griffith University(格里菲斯大学);Data61/CSIRO;Tongji University(同济大学)
本文提出Free-T2M框架,从频域视角将文本到动作生成分解为低频语义规划与高频细节执行两个阶段,并通过阶段特定的频域一致性对齐和频域时间自适应模块提升运动质量与语义正确性,在StableMoFusion上FID从0.152降至0.060,达到扩散架构新最优。
2025-11-10 cs.CV
A Robust Visual System for Small Target Motion Detection Against Cluttered Moving Backgrounds
Guangzhou University(广州大学);University of Lincoln(林肯大学);Institute of Microelectronics of the Chinese Academy of Sciences(中国科学院微电子研究所)
在杂乱的运动背景下监视小物体是未来机器人视觉系统面临的一个巨大挑战。作为灵感的来源,昆虫非常善于寻找配偶和追踪猎物--它们总是在视野中呈现为小而暗的斑点。最近发现,昆虫对小目标运动的敏感性来自一类称为小目标运动检测器(STMD)的特定神经元。虽然已经提出了一些基于STMD的模型,这些现有的模型只使用运动信息的小目标检测和不能区分小目标的背景特征(称为假特征)的小目标。针对这一问题,提出了一种新的小目标运动检测视觉系统模型(STMD+),该模型由小眼、运动通道、对比度通道和蘑菇体4个子系统组成。与现有的基于STMD的模型相比,额外的对比度路径从亮度信号中提取方向对比度,以消除假阳性背景运动。蘑菇体将方向对比度和运动路径提取的运动信息集成在一起,用于小目标识别。大量的实验表明,显着的和一致的改进,建议的视觉系统模型比现有的STMD为基础的模型对假功能。
2019-04-08 cs.CV
Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion
State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);Hangzhou Innovation Institute(杭州创新院);Beihang University(北京航空航天大学)
MoMADiff通过结合掩码建模与扩散过程,实现鲁棒且可控的文本到运动生成,优于现有方法。
2025-07-25 cs.CV cs.MM
Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation
SIGS, Tsinghua University(清华大学深圳国际研究生院);University of Electronic Science and Technology of China(电子科技大学);New York University Shanghai(上海纽约大学)
针对视频流特征匹配在噪声、跨模态等场景下的鲁棒性问题,提出Flow Intelligence方法,通过提取视频时间运动特征实现匹配,无需预训练数据和空间特征检测,在复杂场景中性能优于现有方法。
2025-04-16 cs.CV
Robust Video Background Identification by Dominant Rigid Motion Estimation
Advanced Digital Sciences Center (ADSC), Singapore(新加坡先进数字科学中心);National University of Singapore, Singapore(新加坡国立大学);Shenzhen Cloudream Technology, China(深圳云从科技有限公司)
识别由移动摄像机捕获的视频中的静态背景的能力是许多视频应用(例如,视频稳定、拼接和分割)的重要先决条件。当图像中的前景物体比背景占据更大的区域时,现有的方法通常面临困难。许多方法也无法扩展到处理密集采样的特征轨迹。在本文中,我们提出了一种有效的局部到全局的方法来识别背景,基于这样的假设,即只要有足够的相机运动,累积的背景特征将具有最大量的轨迹。我们的运动模型在两帧的水平是基于对极几何,使不会有过分割的问题,另一个问题,困扰的二维运动分割方法。由于间歇性运动而被错误标记的前景对象也通过检查它们与最终估计的背景运动的全局一致性来处理。最后,凭借其效率,我们的方法可以处理密集采样的轨迹。它在公共数据集上的性能优于几种最先进的运动分割方法,无论是定量还是定性。
2019-03-06 cs.CV