Control and Dynamic Motion Planning for a Hybrid Air-Underwater Quadrotor: Minimizing Energy Use in a Flooded Cave Environment
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种动态路径规划算法,通过一个凹的时不变障碍物领域,同时试图最大限度地减少能源的使用,两栖旋翼船导航。我们建立了一个非线性四元数状态模型,代表了旋翼机动力学以上和以下的水。在分层架构中使用6自由度动力学来生成车辆遵循的运动路径和所需的控制输入。旋翼飞行器具有其周围环境的三维地图,该三维地图通过当前介质(空气或水)内的有限范围机载传感器读数来更新。路径规划通过PRM和D* Lite完成。
2023-01-03 cs.RO cs.SY eess.SY
QuaMo: Quaternion Motions for Vision-based 3D Human Kinematics Capture
Linköping University(林雪平大学)
QuaMo利用四元数微分方程和自适应加速增强,实现更准确的3D人体运动学捕捉。
2026-01-27 cs.CV
Representation-Free Model Predictive Control for Dynamic Motions in Quadrupeds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出了一种新的无表示模型预测控制(RF-MPC)框架,用于控制四足机器人在三维(3D)空间中的各种动态运动。我们的配方直接表示的旋转动力学使用的旋转矩阵,这使我们从使用欧拉角和四元数作为方向表示的相关问题。基于变分的线性化方案和精心构造的成本函数,MPC控制律被转录为标准的二次规划(QP)的形式。MPC控制器可以在四足机器人上以250 Hz的实时速率操作。包括周期性四足步态和受控后空翻的实验结果验证了我们的控制策略可以稳定的动态运动,涉及奇异的三维机动。
2020-12-18 cs.RO
Extending the Cooperative Dual-Task Space in Conformal Geometric Algebra
Idiap Research Institute(Idiap研究机构);EPFL(瑞士联邦理工学院)
本研究将基于对偶四元数的协作双任务空间(CDTS)扩展至共形几何代数框架,保留原有优势的同时提升几何建模能力,可与现有最优控制框架集成,并通过双Franka Emika机器人实验验证了方法的有效性。
2023-10-29 cs.RO
QuaterNet: A Quaternion-based Recurrent Model for Human Motion
Facebook AI Research (FAIR)(Facebook人工智能研究院)
用于预测或生成3D人体姿势序列的深度学习是一个活跃的研究领域。以前的工作回归关节旋转或关节位置。前者的策略是容易沿着运动链的误差积累,以及不连续时,使用欧拉角或指数映射参数化。后者需要重新投影到骨架约束上,以避免骨骼拉伸和无效配置。这项工作解决了这两个限制。我们的递归网络QuaterNet用四元数表示旋转,我们的损失函数在骨架上执行正运动学,以惩罚绝对位置误差而不是角度误差。在短期预测方面,QuaterNet在数量上改进了最先进的技术。对于长期的一代,我们的方法被定性判断为现实的最近的神经策略,从图形文献。
2018-07-31 cs.CV
Quaternion-based dynamic mode decomposition for background modeling in color videos
University of Macau(澳门大学)
场景背景识别是计算机视觉中的一个具有挑战性的问题。动态模式分解(DMD)是最近提出的一种将视频序列鲁棒地分解为背景模型和相应的前景部分的方法。但该方法需要将彩色图像转换为灰度图像进行处理,导致忽略了彩色图像三个通道之间的耦合信息。在这项研究中,我们提出了一个基于四元数的DMD(Q-DMD),它扩展了DMD的四元数矩阵分析,从而完全保留了固有的彩色图像和彩色视频的颜色结构。我们利用四元数矩阵的标准特征值计算其谱分解,并计算相应的Q-DMD模式和特征值。在公开的基准数据集上的实验结果表明,Q-DMD方法的性能优于精确DMD方法,实验结果也表明,该方法的性能与现有方法相当。
2021-12-28 cs.CV eess.IV
Quaternion Tensor Modeling for Joint Color-Polarization Demosaicking
Yunnan University(云南大学);University of Macau(澳门大学);Southwestern University of Finance and Economics(西南财经大学)
针对焦平面分割颜色偏振相机的去马赛克伪影问题,提出结合斯托克斯域全变分正则化的四元数张量建模方法,通过挖掘偏振通道相关性与全局冗余,实现了更优的去马赛克性能。
2026-08-04 cs.CV
Vision-Informed Flow Image Super-Resolution with Quaternion Spatial Modeling and Dynamic Flow Convolution
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology, Ningbo(宁波东方理工大学(暂名))
针对现有流场图像超分辨率方法忽略流场视觉特性导致性能受限的问题,提出结合四元数空间建模与动态流卷积的算法,在新数据集上取得了最优性能。
2024-01-29 cs.CV cs.LG eess.IV
QEAN: Quaternion-Enhanced Attention Network for Visual Dance Generation
Guangdong University of Technology(广东工业大学);Huizhou University(惠州学院);Guangdong Mechanical and Electrical College(广东机电职业技术学院);University of Western Australia(西澳大学)
提出四元数增强注意力网络(QEAN),通过旋转位置嵌入和四元数旋转注意力模块,解决音乐生成舞蹈中时间序列预测的挑战,在AIST++数据集上实现更准确、稳健的舞蹈生成。
2024-03-18 cs.AI cs.CV cs.GR
Probabilistic Regression of Rotations using Quaternion Averaging and a Deep Multi-Headed Network
University of Toronto(多伦多大学)
旋转的准确估计对于增强现实和机器人中基于视觉的运动估计是至关重要的。在这项工作中,我们提出了一种从深度回归模型中提取旋转概率估计的方法。首先,我们建立在以前的工作,并认为我们命名为HydraNet的多头网络结构提供了更好的校准不确定性估计比依赖于随机向前传递的方法。其次,我们将HydraNet扩展到属于旋转组SO(3)的目标,通过回归单位四元数并使用旋转平均和不确定性注入到流形上的工具来产生三维协方差。最后,我们提出了一个合成数据集的结果和分析,学习一致的方向估计的7场景数据集,并显示我们如何使用我们学到的协方差融合深度估计的相对方向与经典的立体视觉里程计,以提高本地化的KITTI数据集。
2020-05-08 cs.CV cs.LG cs.RO
Adaptive Covariance and Quaternion-Focused Hybrid Error-State EKF/UKF for Visual-Inertial Odometry
本文提出一种自适应协方差与四元数聚焦混合误差状态EKF/UKF方法,用于提升无人机在复杂环境下的视觉-惯性里程计性能,实现高精度姿态估计与低计算成本的平衡。
2025-12-19 cs.CV cs.RO
CQF-HMR: Continuous Quaternion Flows for Probabilistic 3D Human Mesh Recovery from a Single Image
Linköping University(林雪平大学)
本研究提出CQF-HMR方法,采用受四元数约束的连续归一化流,从单张图像实现概率3D人体网格恢复,在Human3.6M等数据集上取得先进结果。
2026-09-02 cs.CV
PVRED: A Position-Velocity Recurrent Encoder-Decoder for Human Motion Prediction
Qihoo 360(奇虎360);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);National University of Singapore(新加坡国立大学)
人体运动预测,其目的是预测未来的人类姿势给定过去的姿态,最近已经看到了越来越多的兴趣。最近的许多方法都是基于递归神经网络(RNN)的模型与指数地图的人体姿势。这些方法忽略了姿态速度以及不同姿态之间的时间关系,并且倾向于收敛到平均姿态或无法生成看起来自然的姿态。因此,我们提出了一种新的位置-速度递归编解码器(PVRED)的人体运动预测,它充分利用姿态速度和时间的位置信息。提出了一种时间位置嵌入方法,并提出了一种位置-速度回归神经网络(PVRNN)。我们还强调了姿态的四元数参数化的好处,并设计了一个新的可训练的四元数变换(QT)层,该层在训练过程中与鲁棒的损失函数相结合。我们为未来0.5秒的短期预测和未来0.5至1秒的长期预测提供了定量结果。几个基准测试的实验表明,我们的方法大大优于国家的最先进的方法。此外,未来4秒的定性可视化表明,我们的方法可以在很长的时间范围内预测未来的人类和有意义的姿势。代码在GitHub上公开:\textcolor{red}{https://github.com/hongsong-wang/PVRNN}。
2021-06-13 cs.CV
MotionLM: Multi-Agent Motion Forecasting as Language Modeling
Waymo(Waymo公司)
本文提出 MotionLM,将多智能体连续轨迹离散为 token 并以标准语言建模目标自回归生成联合未来分布,在 Waymo 交互式运动预测挑战中取得第一。
2023-09-28 cs.AI cs.CV cs.LG
Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling
School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院)
本文针对非刚性运动恢复结构中的运动模糊和低秩建模过度惩罚剧烈变形问题,提出时间平滑普氏对齐模块和空间加权低秩约束方法,有效提升了3D变形重建效果。
2025-03-04 cs.AI cs.CV
Motion Matters: A Novel Motion Modeling For Cross-View Gait Feature Learning
Fudan University(复旦大学)
针对跨视角与衣着变化下的步态识别问题,本文提出可嵌入任意骨干网络的浅层提取、深层增强运动建模方法,并以 GaitGL-M 验证其达到最先进性能。
2023-01-19 cs.CV
DragMesh: Interactive 3D Generation Made Easy
School of Computer Science, Peking University(北京大学计算机学院)
DragMesh通过解耦运动学推理和运动生成,实现实时交互式3D生成,无需重新训练即可在新对象上生成合理运动。
2025-12-06 cs.CV
Generalizable Implicit Motion Modeling for Video Frame Interpolation
Nanyang Technological University(南洋理工大学);S-Lab
针对现有视频帧插值运动建模缺乏有效时空动态建模能力的问题,提出可泛化隐式运动建模方法,通过运动编码流水线和自适应坐标神经网络实现精确运动建模,在标准基准上优于现有技术。
2025-02-10 cs.CV
Human Motion Modeling using DVGANs
SRI International(SRI国际公司(SRI International))
我们提出了一种新的生成模型的人体运动建模使用生成对抗网络(GANs)。我们在每个时间尺度上使用密集验证来制定GAN模型,并扰动模型输入以使其平移不变。我们的模型是能够运动生成和完成。我们通过我们的评估显示的弹性噪声,泛化的行动,并产生长的不同的序列。我们评估我们的方法在人类3.6M和CMU运动捕捉数据集使用初始分数。
2018-05-18 cs.CV
Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
人体运动预测的目的是根据观察到的骨架序列生成未来的人体运动帧。最近的方法采用递归神经网络(RNN)的最新隐藏状态来编码历史骨架,这只能解决短期预测问题。在这项工作中,我们提出了一个运动上下文建模总结历史的人类运动相对于当前的预测。提出了一种改进的高速公路单元(MHU),用于有效地消除不动的关节和估计下一个姿态给定的运动上下文。此外,我们通过最小化用于长期运动预测的克矩阵损失来增强运动动态性。实验结果表明,该模型可以很好地预测人类的未来运动,这产生了优于相关的国家的最先进的方法的性能。此外,指定的运动上下文与活动标签,使我们的模型执行人体运动转移。
2018-05-07 cs.CV
TriC-Motion: Tri-Domain Causal Modeling Grounded Text-to-Motion Generation
Inclusion AI, Ant Group, Beijing, China(蚂蚁集团Inclusion AI北京);Whiting School of Engineering, Johns Hopkins University, Baltimore, Maryland, USA(约翰霍普金斯大学工程学院)
TriC-Motion通过整合空间-时间-频域建模与因果干预,提出一种基于扩散的文本到动作生成框架,实现高质量、连贯且与文本对齐的动作序列生成。
2026-02-09 cs.CV
TwoStreamVAN: Improving Motion Modeling in Video Generation
Boston University(波士顿大学);University of California Berkeley(加州大学伯克利分校)
视频生成是一个固有的挑战性任务,因为它需要建模逼真的时间动态以及空间内容。现有方法在单个生成器网络中纠缠运动和内容创建这两个本质上不同的任务,但这种方法难以同时生成合理的运动和内容。为了改进视频生成任务中的运动建模,我们提出了一种双流模型,将运动生成与内容生成分开,称为双流变分对抗网络(TwoStreamVAN)。给定动作标签和噪声向量,我们的模型能够创建清晰和一致的运动,从而产生逼真的视频。其核心思想是逐步生成和融合多尺度运动与其相应的空间内容。我们的模型在标准的Weizmann人类动作,MUG面部表情和VoxCeleb数据集以及我们具有挑战性和复杂运动的各种人类动作的新数据集上显着优于现有方法。我们的代码可在https://github.com/sunxm2357/TwoStreamVAN/上获得。
2020-01-10 cs.CV
DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding
Huawei Central Media Technology Institute(华为中央媒体技术研究所);Huawei Technologies Co., Ltd.(华为技术有限公司)
DiMo提出了一种离散扩散式框架,实现双向文本-运动理解和生成,通过迭代掩码标记细化提升运动质量和可控性。
2026-02-06 cs.CV
Motion Similarity Modeling -- A State of the Art Report
Vienna University of Technology(维也纳技术大学)
对人体运动的分析开辟了广泛的可能性,例如逼真的训练模拟或机器人或动画中的真实运动。运动分析的基本问题之一是基于相似性度量的有意义的动作比较。由于运动分析是依赖于应用程序的,因此必须为特定用例找到合适的运动相似性方法。这份最新报告概述了人体运动分析和不同的相似性建模方法,同时主要关注使用3D运动数据的方法。该调查总结了各种相似的方面和运动的特点,并描述了方法来衡量两个动作之间的相似性。
2020-08-13 cs.CV cs.GR cs.HC
Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion
UC Berkeley(加州大学伯克利分校);Seoul National University(首尔国立大学);Pinscreen
我们提出了一个框架,用于在二元对话中建模international通信:给定扬声器的多模态输入,我们自回归输出相应的听者运动的多种可能性。我们使用运动-音频交叉注意Transformer将说话者的运动和语音音频结合起来。此外,我们使非确定性的预测,通过学习一个离散的潜在代表性的现实听众运动与一个新的运动编码VQ-VAE。我们的方法有机地捕捉非语言的二元互动的多模态和非确定性的性质。此外,它产生与扬声器同步的逼真的3D听众面部运动(见视频)。我们证明了我们的方法优于基线定性和定量通过一套丰富的实验。为了促进这一系列的研究,我们引入了一个新的和大型的野生数据集的二元对话。代码、数据和视频可在https://evonneng.github.io/learning2listen/获得。
2022-04-18 cs.CV
Human Leg Motion Tracking by Fusing IMUs and RGB Camera Data Using Extended Kalman Filter
Sharif University of Technology(谢里夫理工大学)
人体运动捕捉经常用于研究康复和临床问题,以及为娱乐业提供逼真的动画。基于IMU的系统以及基于标记的运动跟踪系统是最流行的跟踪运动的方法,因为它们的实现成本低并且重量轻。本文提出了一种基于四元数的扩展卡尔曼滤波器方法来恢复一组IMU传感器数据与摄像机标记系统数据融合的人腿段运动。本文提出了一种扩展卡尔曼滤波器的方法来融合两个惯性测量单元和一个RGB摄像机的数据,用于人体腿部运动跟踪。基于惯性传感器和摄像标记系统的互补特性,在引入的新测量模型中,通过三个测量方程更新大腿和小腿的姿态数据。通过摄像机标记系统跟踪骨盆关节的位置,可以对人体进行定位。一个数学模型已被用来估计关节的深度在2D图像。所提出的算法的效率进行评估的光学运动跟踪系统。
2020-12-07 cs.CV
Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
在这项研究中,我们提出了一种新的RGB-T跟踪框架,通过联合建模的外观和运动线索。首先,为了获得鲁棒的外观模型,我们开发了一种新的后期融合方法来推断RGB和热(T)模态的融合权重图。融合权值由离线训练的全局和局部多模态融合网络确定,并用于线性组合RGB和T模态的响应图。第二,当外观线索不可靠时,我们全面地采取动作线索,即,目标和摄像机运动,使跟踪器鲁棒。我们进一步提出一个追踪器切换器来灵活切换外观和运动追踪器。在最近的三个RGB-T跟踪数据集上的大量结果表明,该跟踪器的性能明显优于其他最先进的算法。
2020-07-04 cs.CV
Disentangled Motion Modeling for Video Frame Interpolation
Seoul National University(首尔国立大学);Soongsil University(崇实大学)
本文提出基于扩散模型的解耦运动建模方法MoMo用于视频帧插值,通过两阶段训练专注中间运动建模并引入新型U-Net生成双向光流,以更低计算成本实现卓越感知质量。
2024-12-19 cs.CV
EchoMask: Speech-Queried Attention-based Mask Modeling for Holistic Co-Speech Motion Generation
Wuhan University(武汉大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
本研究提出EchoMask框架,通过MAM和SQA实现动作对齐的语音特征引导的掩码建模,生成高质量同步语音动作,性能优于现有最先进方法。
2026-08-18 cs.CV cs.GR cs.SD
SeMoCo: A Semantic-First Motion Codec for Motion Language Modeling
Jilin University(吉林大学);Frontier Robotics(前沿机器人公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
SeMoCo是面向运动语言建模的语义优先运动编解码器,搭配双轴运动生成器,构建了Ω-MotionVerse数据集,在重构精度与文本到运动生成任务中表现优异。
2026-08-31 cs.CL cs.CV cs.GR