McSc: Motion-Corrective Preference Alignment for Video Generation with Self-Critic Hierarchical Reasoning
Tongyi Lab, Alibaba Group(阿里集团通义实验室)
McSc通过自批评分层推理框架,提升视频生成中对人类偏好的对齐精度,减少对低运动内容的偏见。
2025-11-28 cs.CV
COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models
Purdue University(普渡大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出COLLAGE框架,结合大语言模型与分层VQ-VAE潜在扩散模型,通过LLM运动规划线索引导去噪过程,在CORE-4D和InterHuman数据集上实现了优于现有方法的协作式人-物体-人交互生成。
2024-09-30 cs.AI cs.CV cs.GR
X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention
ByteDance(字节跳动)
提出X-Portrait条件扩散模型,利用ControlNet框架和分层运动注意力机制,从单张肖像和驱动视频生成具有表现力且身份一致的肖像动画。
2024-07-25 cs.AI cs.CV
Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation
Mogo AI
针对Bert型文本生成运动模型缺流式能力、分布外生成弱,GPT型质量不足的问题,提出仅含RVQ-VAE与分层因果Transformer的Mogo架构,单模型生成高质量3D人体运动,在HumanML3D上FID达0.079,支持更长序列且分布外生成性能最优。
2024-12-05 cs.CV
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室);Xi’an Jiao Tong University(西安交通大学)
针对现有文本到动作扩散模型存在的模态不一致或细节匮乏问题,提出基础到进阶层次扩散模型B2A-HDM,结合低维基础扩散与高维进阶多去噪器扩散,在两个基准上实现了保真度、模态一致性和多样性的提升。
2023-12-18 cs.CV
Hierarchical Generation of Human-Object Interactions with Diffusion Probabilistic Models
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对现有方法难以生成高质量长程多样化人-物交互3D运动的问题,提出基于扩散概率模型的分层生成框架,先生成里程碑再合成短序列,在多个数据集上性能显著提升。
2023-10-03 cs.CV cs.GR
Pressure2Motion: Hierarchical Human Motion Reconstruction from Ground Pressure with Text Guidance
Nanjing University(南京大学);Snap Inc.;Concordia University
Pressure2Motion通过结合地面压力数据和文本提示,实现低成本、隐私保护的人体运动重建,首次在该领域取得突破。
2025-11-22 cs.CV
HINT: Hierarchical Interaction Modeling for Autoregressive Multi-Human Motion Generation
Tsinghua University(清华大学)
HINT通过分层交互建模提出了一种自回归框架,实现多人体运动生成,提升了交互建模的精度和长序列的连贯性。
2026-01-28 cs.CV
Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding
University of Oxford(牛津大学);University of Glasgow(格拉斯哥大学)
由于角色之间的交互复杂多样,合成多角色交互是一项具有挑战性的任务。特别是,角色之间的精确时空对齐需要产生紧密的互动,如舞蹈和战斗。在生成多角色交互中的现有工作集中于针对给定序列生成单一类型的反应性运动,这导致合成运动缺乏多样性。在本文中,我们提出了一种新的方法来创建现实的人类反应运动,这是不存在于给定的数据集混合和匹配不同类型的密切的相互作用。我们提出了一个条件层次生成对抗网络与多热类嵌入生成混合和匹配反应运动的追随者从一个给定的运动序列的领导者。实验进行噪声(基于深度)和高质量(MoCap为基础的)的相互作用数据集。定量和定性的结果表明,我们的方法优于国家的最先进的方法在给定的数据集。我们还提供了一个增强的数据集与现实的反应运动,以刺激未来在这一领域的研究。代码可在https://github.com/Aman-Goel1/IMM上获得
2022-08-04 cs.CV cs.GR
HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);CentraleSupélec(巴黎中央理工-高等电力学院);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(加泰罗尼亚理工大学-西班牙国家研究委员会工业机器人与信息技术研究所)
三维人体姿态数据自动处理的研究近年来蓬勃发展。在本文中,我们感兴趣的是在一个观察到的三维姿态序列的产生合理的和不同的未来人类构成。目前的方法通过将来自单个潜在空间的随机变量注入到确定性运动预测框架中来解决这个问题,这排除了人体运动生成中固有的多模态。此外,以前的作品很少探索使用注意力来选择哪些帧被用来通知生成过程,据我们所知。为了克服这些限制,我们提出了分层Transformer动态变分自编码器,HiT-DVAE,实现自回归生成与变压器一样的注意力机制。HiT-DVAE同时学习数据的演变和具有时间相关概率依赖性的潜在空间分布,从而使生成模型能够学习更复杂和时变的潜在空间以及多样化和逼真的人体运动。此外,自回归生成在观察和预测方面带来了更大的灵活性,即,可以具有任何长度的观察,并使用单个预训练模型预测任意大的姿势序列。我们用各种评估方法在HumanEva-I和Human3.6M上评估了所提出的方法,并且在大多数指标上都优于最先进的方法。
2022-04-04 cs.CV
EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)(智能信息处理重点实验室,计算技术研究所(ICT),中国科学院(CAS));Jilin University (JLU)(吉林大学(JLU));Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学(BUPT));University of the Chinese Academy of Sciences(中国科学院大学)
本文提出EgoMotion框架,通过层次推理和扩散模型生成基于第一视角视觉和语言指令的3D人类运动,解决语义推理与运动建模的协同优化问题,提升多模态接地和运动质量。
2026-04-21 cs.CV
MIRRORTALK: Forging Personalized Avatars Via Disentangled Style and Hierarchical Motion Control
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
MirrorTalk通过解耦风格与运动控制生成个性化虚拟形象,提升嘴唇同步准确性和个性化表达。
2026-01-30 cs.CV cs.SD
Evidential Reasoning in Parallel Hierarchical Vision Programs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
本文提出了一种有效的适应和应用的证据理论,一个可以有效地用于大规模并行层次系统的视觉模式感知的Dempster-Shafer。它描述了所使用的技术,并在一个扩展的示例中显示了它们如何在应用多层次的过程集时提高系统的性能。
2013-03-27 cs.AI cs.CV
Hierarchical Graph-Convolutional Variational AutoEncoding for Generative Modelling of Human Motion
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
人体运动模型通常集中在轨迹预测或动作分类,但很少两者兼而有之。人类运动的显著异质性和复杂的组合性使得每个任务都容易受到现实世界场景中常见的数据退化和分布变化的影响。一个充分表达的生成性行动模型在理论上可以在一个适用于这两项任务的统一框架内实现数据调节和分布弹性。在这里,我们提出了一种基于分层变分自编码器和深度图卷积神经网络的新架构,用于在多个时间尺度上生成整体动作模型。我们展示了这种分层图卷积变分自编码器(HG-VAE)能够生成连贯的动作,检测分布外的数据,并通过模型后验的梯度上升来估算缺失的数据。在H3.6M和最大的开源人体运动数据集AMASS上进行训练和评估后,我们发现HG-VAE可以比基线模型更好地促进下游判别学习。
2022-06-06 cs.AI cs.CV cs.LG
DynaSplat: Dynamic-Static Gaussian Splatting with Hierarchical Motion Decomposition for Scene Reconstruction
Communication University of China(中国通信大学);Beihang University(北京航空航天大学)
针对动态场景重建难题,提出融合动静态分离、分层运动建模与物理不透明度估计的DynaSplat方法,在准确性和真实感上超越现有最优方案,提供更高效的动态场景重建路径。
2025-06-11 cs.AI cs.CV
HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning
Queen’s University Belfast(贝尔法斯特女王大学);AMD(AMD公司);Queen Mary University of London(伦敦玛丽女王大学)
提出HPP框架,通过将长视频理解重构为分层视频的迭代程序化探索,解耦语义感知与高阶时序推理,在LongVideoBench等基准上取得显著提升。
2026-06-23 cs.AI cs.CV
MotionStrata: Hierarchical Motion Latents for Compact Video Autoencoding
University of Chinese Academy of Sciences(中国科学院大学);Li Auto;Zhejiang Lab(浙江实验室);State Key Lab of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)
MotionStrata将运动预算分为全局与详细运动,在不增维度下实现分层表示,压缩时重建质量优于其他方法,为紧凑视频自编码提供新设计原则。
2026-08-10 cs.CV
Hierarchical Motion Encoder-Decoder Network for Trajectory Forecasting
Southeast University(东南大学)
轨迹预测在智能车辆或社交机器人领域中起着举足轻重的作用。近年来的研究主要集中在对空间社会影响或时间运动注意力的建模上,而忽略了运动的内在属性,即运动趋势和驾驶意图。提出了一种上下文无关的分层运动编码解码网络(HMNet)用于车辆轨迹预测。HMNet首先推断运动的层次差异,以编码具有高运动趋势和驾驶意图表现力的物理兼容模式。然后,一个目标(端点)嵌入式解码器分层结构的位置-速度-加速度相关的模式,根据多模式预测。此外,我们提出了一个修改后的社会汇集模块,考虑某些运动属性来表示社会互动。HMNet能够做出准确的,单峰/多峰和物理社会兼容的预测。在NGSIM、HighD和Interaction三个公共轨迹预测数据集上的实验表明,该模型在定量和定性上都达到了最先进的性能。我们将在这里发布我们的代码:https://github.com/xuedashuai/HMNet。
2021-11-26 cs.CV
Hierarchical Contrastive Motion Learning for Video Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达);Google(谷歌)
视频动作识别的一个核心问题是如何对运动进行建模。在本文中,我们提出了层次对比运动学习,一个新的自监督学习框架,以提取有效的运动表示从原始视频帧。我们的方法逐步学习对应于网络中不同抽象级别的运动特征层次。这种层次化的设计弥合了低层运动线索和高层识别任务之间的语义鸿沟,促进了外观和运动信息在多个层次上的融合。在每个级别上,通过对比学习提供显式运动自我监督,以执行当前级别的运动特征,以预测上一级别的未来运动特征。因此,在更高级别的运动特征被训练以逐渐捕获语义动态并进化为更有区别的动作识别。我们的运动学习模块是轻量级的,灵活的嵌入到各种骨干网络。在四个基准上的大量实验表明,该方法始终取得优异的结果。
2022-01-17 cs.CV
Task-Generic Hierarchical Human Motion Prior using VAEs
USC Institute for Creative Technologies(南加州大学创意技术研究所);Adobe Research(Adobe研究院);Pinscreen(Pinscreen公司);UC Berkeley(加州大学伯克利分校)
描述人体运动的深度生成模型可以使广泛的基本计算机视觉和图形任务受益,例如为基于视频的人体姿势估计提供鲁棒性,在遮挡期间预测运动捕捉系统的完整身体运动,以及通过合理的运动辅助关键帧动画。在本文中,我们提出了一种学习复杂的人体运动独立于特定的任务,使用相结合的全球和本地的潜在空间,以促进粗粒度和细粒度的建模方法。具体来说,我们提出了一个分层运动变分自编码器(HM-VAE),由一个2级分层潜在空间。当全局潜在空间捕获整体全局身体运动时,局部潜在空间使得能够捕获不同身体部位的精细姿态。我们证明了我们的分层运动变分自编码器的有效性,在各种任务,包括基于视频的人体姿态估计,运动完成部分观察,从稀疏的关键帧的运动合成。尽管我们的模型没有专门针对任何这些任务进行训练,但它提供了比特定于任务的替代方案更好的性能。我们的通用人体运动先验模型可以修复损坏的人体动画,并从不完整的观察中生成完整的运动。
2021-06-07 cs.CV cs.GR
Learning to Sit: Synthesizing Human-Chair Interactions via Hierarchical Control
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
基于物理的角色动画的最新进展显示了通过深度强化学习模仿运动捕捉数据在人体运动合成方面的令人印象深刻的突破。然而,结果大多是模仿一个独特的运动模式,并没有推广到交互式任务,需要灵活的运动模式,由于不同的人-物体的空间配置。为了弥合这一差距,我们专注于一类互动任务-坐在椅子上。我们提出了一个分层的强化学习框架,它依赖于一个集合的子任务控制器训练模仿简单的,可重复使用的mocap运动,和一个Meta控制器训练正确地执行子任务,完成主要任务。我们通过实验证明了我们的方法在不同的非分层和分层基线上的优势。我们还表明,我们的方法可以应用于运动预测给定的图像输入。补充视频可以在https://youtu.be/3CeN0OGz2cA上找到。
2020-12-16 cs.CV
HMC: Hierarchical Mesh Coarsening for Skeleton-free Motion Retargeting
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);Tencent(腾讯)
我们提出了一个简单而有效的方法无障碍运动重定向。以前的方法在高分辨率网格之间传递运动,不能保持网格中固有的局部运动。为了解决这个问题,我们提出的方法通过将重定向过程与网格粗化管道集成,以粗到细的方式学习对应关系。首先,我们提出了一个网格粗化模块,粗化的网格表示更好的运动传输。该模块提高了处理小部件运动的能力,并保留了相邻网格顶点之间的局部运动相互依赖性。此外,我们利用一个分层细化过程,以补充丢失的网格细节,逐步提高低分辨率的网格输出与更高的分辨率。我们在几个著名的3D字符数据集上评估了我们的方法,它在逐点网格欧氏距离(PMD)上比最新方法平均提高了25%。此外,我们的定性结果表明,我们的方法是显着有助于保持不同的身体部位对目标字符的运动一致性,由于解开身体部位的结构和网格的细节,在一个层次的方式。
2023-03-20 cs.CV cs.GR
Hierarchical structure-and-motion recovery from uncalibrated images
Dflow s.r.l.(3Dflow公司);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室);Università di Verona(维罗纳大学);eVS s.r.l.(eVS公司);University of Udine(乌迪内大学)
本文讨论了结构和运动问题,即需要从点匹配中找到摄像机运动和3D结构。一个新的管道,被称为萨曼莎,提出,从流行的顺序范式出发,而不是一个层次的方法。这种方法有几个优点,如可证明的较低的计算复杂性,这是实现真正的可扩展性所必需的,以及更好的错误遏制,导致更大的稳定性和更少的漂移。此外,一个实用的自动校准程序允许处理图像没有辅助信息。用真实数据进行的实验验证了该方法的准确性和计算效率。
2015-06-01 cs.CV
Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting
NVIDIA(英伟达);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
我们提出了HIPNet,这是一种神经隐式姿势网络,在多个姿势的多个主题上进行训练。HIPNet可以将特定于主体的细节与特定于姿势的细节分开,有效地使我们能够将运动从一个主体重定向到另一个主体,或者通过潜在空间插值在关键帧之间进行动画。为此,我们采用基于骨架的分层表示来学习规范不定置空间上的符号距离函数。这种基于关节的分解使我们能够表示身体关节周围空间局部的细微细节。与以前需要地面实况SDF进行训练的神经隐式方法不同,我们的模型只需要一个姿势骨架和点云进行训练,并且我们不依赖于传统的参数模型或传统的蒙皮方法。我们在各种单一主题和多主题基准上取得了最先进的结果。
2021-12-02 cs.CV cs.GR cs.LG
Towards Arbitrary Motion Completing via Hierarchical Continuous Representation
Hohai university(河海大学);School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Institute for Infocomm Research (I 2 R), A*STAR(信息通信研究院(I2R),A*STAR)
本文提出NAME框架,通过分层连续表示实现任意帧率下的运动补全,提升运动序列的连续性和准确性。
2025-12-24 cs.CV
Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network
School of Big Data & Software Engineering, Chongqing University(重庆大学大数据与软件工程学院);Chongqing University(重庆大学)
骨骼运动预测的主要目标是通过观察一系列3D骨骼来生成未来的运动。运动预测中的一个关键挑战是,运动通常可以以几种不同的方式执行,每种方式都由其自身的姿势配置及其时空依赖性组成,因此,预测的姿势通常会收敛到长期预测中的静止姿势或非人类运动。这导致我们定义一个层次递归网络模型,明确表征这些内部配置的姿势和他们的本地和全球的时空依赖性。该模型从李代数中引入了一个隐向量变量来同时表示空间和时间关系。此外,一个结构化的堆栈LSTM为基础的解码器被设计来解码的预测姿态与一个新的损失函数定义估计的量化权重的每个身体部位的姿态。对基准数据集的实证评估表明,我们的方法在短期和长期运动预测方面都显着优于最先进的方法。
2020-02-17 cs.CV
MotionPyramid: Hierarchical Motion Representation and Residual Interfaces
UC Davis(加州大学戴维斯分校)
提出MotionPyramid,一种从运动数据中学习层次化动作表示的方法,通过冻结预训练层次为下游强化学习提供多分辨率控制接口,并引入残差接口实现粗细粒度协同控制。
2026-06-23 cs.AI cs.CV cs.RO
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
Waseda University(早稻田大学);Preferred Networks, Inc.(Preferred Networks公司)
HiMoR 提出基于树结构的层次运动表示,用浅层节点建模粗粒度运动、深层节点捕捉精细运动,并结合共享运动基实现结构化形变,从而提升单目动态三维重建与新视角合成质量。
2025-04-08 cs.CV
Learning recurrent representations for hierarchical behavior modeling
California Institute of Technology(加州理工学院);Janelia Research Campus HHMI(霍华德·休斯医学研究所珍妮利亚研究园区)
我们提出了一个框架,从运动序列中检测动作模式和动物的感觉运动关系建模,使用生成递归神经网络。该网络有一个判别部分(分类动作)和一个生成部分(预测运动),其递归细胞横向连接,允许更高级别的网络代表高级现象。我们使用两种类型的数据来测试我们的框架:果蝇行为和在线手写。我们的研究结果表明:1)利用未标记的序列,通过预测未来的运动,在训练标签稀缺时显着提高了动作检测性能,2)网络学习表示高级现象,如作家身份和苍蝇性别,而无需监督,以及3)模拟运动轨迹,通过将运动预测视为网络的输入生成,看起来很逼真,可用于定性评估模型是否已学习生成控制规则。
2016-11-15 cs.AI cs.CV
Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling
Zhejiang University(浙江大学);Beijing University of Posts and Telecommunications(北京邮电大学);Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院)山东省人工智能研究院)
针对现有手物交互3D粗略手部运动存在噪声抖动的问题,提出以手为中心的表示和分层时空建模架构的数据驱动优化方法,性能显著优于已有方法。
2024-01-29 cs.CV
Unsupervised Learning of a Hierarchical Spiking Neural Network for Optical Flow Estimation: From Events to Global Motion Perception
Delft University of Technology(代尔夫特理工大学)
脉冲神经网络和基于事件的视觉传感器的组合具有高效和高带宽光流估计的潜力。本文提出了第一个层次尖峰架构中,运动(方向和速度)的选择性出现在一个无监督的方式从原始刺激与基于事件的相机。一种新的自适应神经元模型和稳定的尖峰时间依赖的可塑性制定的核心,这个神经网络管理其基于尖峰的处理和学习,分别。收敛后的神经结构表现出生物视觉运动系统的主要特性,即特征提取以及局部和全局运动感知。卷积层与输入突触的特点是单一和多个传输延迟的功能和局部运动感知,分别采用,而全球运动选择性出现在一个最终的全连接层。使用合成和真实事件序列验证了所提出的解决方案。随着本文,我们提供了cuSNN库,一个框架,使GPU加速模拟大规模脉冲神经网络。源代码和示例可在https://github.com/tudelft/cuSNN上获得。
2019-03-28 cs.CV
Hierarchical Style-based Networks for Motion Synthesis
Shanghai Jiao Tong University(上海交通大学);University of California, Berkeley(加利福尼亚大学伯克利分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
生成多样化和自然的人体运动是在动画世界中创建智能角色的长期目标之一。在本文中,我们提出了一种自我监督的方法,用于生成远程,多样化和合理的行为,以实现特定的目标位置。我们所提出的方法学习,以分层的方式分解一个远程生成任务,以模拟人体的运动。给定起始和结束状态,使用存储体来检索运动参考作为用于短距离剪辑生成的源材料。我们首先建议明确地解开所提供的运动材料到风格和内容对应物通过双线性变换建模,其中多样化的合成是通过这两个组件的自由形式的组合来实现的。然后连接短距离剪辑以形成长距离运动序列。在没有地面实况注释的情况下,我们提出了一种参数化的双向插值方案,以保证生成结果的物理有效性和视觉自然性。在大规模的骨架数据集上,我们证明了所提出的方法能够合成长距离,多样化和合理的运动,这也是在测试过程中不可见的运动数据推广。此外,我们证明生成的序列是有用的子目标,在动画世界中的实际物理执行。
2020-08-24 cs.CV
Decoupling Static and Hierarchical Motion Perception for Referring Video Segmentation
Nanyang Technological University(南洋理工大学);Institute of Big Data, Fudan University(复旦大学大数据研究院)
针对指代表达视频分割中静态与运动线索混淆的问题,本文提出表达解耦、分层运动感知和对比学习方法,在五个数据集上达到最先进性能。
2024-04-04 cs.CV
HEIR: Learning Graph-Based Motion Hierarchies
Princeton University(普林斯顿大学);Torc Robotics(Torc机器人公司)
提出一种通用的层次化运动建模方法,通过可微图学习将全局运动分解为父级继承模式与局部残差,在1D、2D及动态3D场景形变中展现出更真实且可解释的重建效果。
2025-10-30 cs.CV cs.GR cs.LG
HUMAN-TCI: Hierarchical Multi-Stream Motion-Aware Network with Torso-Centered Interaction for Text-to-Motion Retrieval
James Cook University(詹姆斯·库克大学);Macquarie University(麦考瑞大学)
提出HUMAN-TCI层次化多流运动感知网络,通过三流架构显式建模躯干交互,高效实现文本到运动检索,支持复杂多动作描述。
2026-09-29 cs.CV
Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for Scene Flow
Huazhong University of Science and Technology(华中科技大学);School of Artificial Intelligence and Automation(人工智能与自动化学院)
针对RGB与LiDAR直接融合场景流存在模态差距的问题,提出以事件为桥梁的分层视觉-运动融合框架,通过视觉、运动两阶段的同构空间互补融合提升场景流效果,经实验验证具有优越性。
2024-03-12 cs.CV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University(科奇大学);KUIS AI Center(KUIS人工智能中心)
本文介绍了改进和新的补充,我们最近的工作,端到端的优化分层双向视频压缩,以进一步推进国家的最先进的学习视频压缩。作为一种改进,我们结合了运动估计和预测模块,并压缩改进的残差运动矢量,以提高率失真性能。作为新的补充,我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面:第一,增益单元使一个单一的编码器模型在多个率失真操作点操作;第二,我们利用增益单元控制帧内编码与双向编码帧之间的比特分配,通过微调相应的模型,真正灵活的速率学习视频编码。实验结果表明,我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Video Tracking Using Learned Hierarchical Features
Nanyang Technological University(南洋理工大学);Advanced Digital Science Center(先进数字科学中心);City University of Hong Kong(香港城市大学)
在本文中,我们提出了一种方法来学习视觉对象跟踪的层次特征。首先,我们离线学习功能强大的辅助视频序列不同的运动模式。通过两层卷积神经网络学习分层特征。在堆叠结构中嵌入时间慢度约束使得学习的特征对复杂的运动变换具有鲁棒性,这对于视觉对象跟踪是重要的。然后,给定一个目标视频序列,我们提出了一个领域自适应模块,根据特定的目标对象在线适应预先学习的特征。在深度特征学习模块的两个层中进行适配,以便包括特定目标对象的外观信息。因此,学习的层次特征可以对目标对象的复杂运动变换和外观变化具有鲁棒性。我们将我们的特征学习算法集成到三种跟踪方法中。实验结果表明,使用我们学习的层次特征,可以实现显着的改善,特别是在视频序列与复杂的运动变换。
2015-11-25 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology(快手科技);The Hong Kong University of Science and Technology(香港科技大学)
随着神经网络技术的迅速发展,近年来的视频帧内插(VFI)方法取得了显著的进步。然而,对于包含大运动的真实世界视频,它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中,我们提出了一个简单而有效的解决方案,H-VFI,以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer(HVIT),用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积,以预测内插帧。H-VFI算法从最小尺度开始,根据前一次预测核、中间插值结果和Transformer的层次特征,通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于,大运动帧插值问题可以被分解成几个相对简单的子任务,这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集,YouTube 200 K,其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法,特别是对于具有大运动的视频。
2022-11-21 cs.CV
Efficient Motion Modelling with Variable-sized blocks from Hierarchical Cuboidal Partitioning
Federation University Australia(澳大利亚联邦大学);Charles Sturt University(查尔斯特大学);University of New South Wales(新南威尔士大学)
具有基于块的架构的运动建模已广泛用于视频编码中,其中帧被划分为独立地进行运动补偿的固定大小的块。这通常会导致编码效率低下,因为固定大小的块很难与对象边界对齐。尽管已经引入了分层块分割来解决这个问题,但是运动矢量的增加的数量限制了益处。最近,近似分割的图像与立方体分区已经得到普及。可变大小的矩形段(长方体)不仅易于适用于基于块的图像/视频编码技术,而且它们还能够与对象边界很好地对齐。这是因为立方体划分是基于均匀性约束,最小化平方误差和(SSE)。在本文中,我们已经调查了长方体的运动建模对可伸缩视频编码中使用的固定大小的块的潜力。具体来说,我们已经构建了运动补偿的当前帧使用的立方体分割信息的锚帧在一组图片(GOP)。然后,预测的当前帧被用作基础层,同时使用可伸缩HEVC编码器将当前帧编码为增强层。实验结果证实,4K视频序列的比特率节省6.71%-10.90%。
2022-08-28 cs.CV cs.MM
Hierarchical Feature Alignment Network for Unsupervised Video Object Segmentation
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学)
光流是一个容易构思和宝贵的线索,推进无监督视频对象分割(UVOS)。以往的方法大多是在UVOS环境下直接提取和融合运动和外观特征来分割目标对象。然而,光流本质上是连续帧中所有像素的瞬时速度,因此使得运动特征与对应帧中的主要对象不对准。为了解决上述挑战,我们提出了一个简洁,实用,高效的外观和运动特征对齐的架构,被称为分层特征对齐网络(HFAN)。具体地说,HFAN的关键优点是顺序特征对齐(FAM)模块和特征自适应(FAT)模块,它们用于分层处理外观和运动特征。FAM能够分别将外观和运动特征与主要对象语义表示对齐。此外,FAT是明确设计的外观和运动功能的自适应融合,以实现跨模态功能之间的理想的权衡。大量的实验证明了所提出的HFAN的有效性,其在DAVIS-16上达到了新的最先进的性能,达到88.7 $\mathcal{J}\&\mathcal{F}$平均值,即,比最佳公布结果相对改善3.5%。
2022-07-19 cs.CV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research(高通人工智能研究院)
在视频压缩中,通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余:1)一阶:像素空间中的冗余,即,跨相邻帧的像素值的相似性,这是使用运动和残差补偿有效地捕获的,2)二阶:由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余,我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测,学习从以前解码的数据外推。这些预测器是轻量级的,可以与大多数神经视频编解码器一起使用,以提高其率失真性能。此外,虽然RGB是神经视频编码文献中的主要色彩空间,但我们介绍了神经视频编解码器的一般修改,以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明,使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Multi-hierarchical Independent Correlation Filters for Visual Tracking
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);Beijing FaceAll Co.(北京飞搜科技有限公司)
在视觉跟踪中,传统的基于相关滤波器(CF)的跟踪方法存在特征冗余和缺乏运动信息的瓶颈。在本文中,我们设计了一种新的跟踪框架,称为多层独立相关滤波器(MHIT)。该框架包括运动估计模块、分层特征选择、独立CF在线学习和自适应多分支CF融合。具体地说,运动估计模块被引入来捕获运动信息,这有效地消除了时间视频中的对象部分遮挡。充分挖掘CNN代表不同语义信息的多层次深度特征,实现多尺度目标跟踪。为了更好地克服深度特征冗余,每个层次特征被独立地馈送到单个分支中以实现参数的在线学习。最后,一个自适应的权重计划被集成到框架中,以融合这些独立的多分支CF更好和更强大的视觉目标跟踪。在OTB和VOT数据集上的大量实验表明,所提出的MHIT跟踪器可以显着提高跟踪性能。特别是,与VOT2017挑战赛中的顶级追踪器相比,它获得了20.1%的相对性能增益,并且在VOT2018挑战赛中也实现了新的最先进性能。
2018-11-27 cs.CV
EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception
提出首个联合欧氏与双曲空间建模的双空间事件感知方法EHGCN,通过多尺度体素事件筛选、MRF优化的运动感知超边生成及双空间GCN融合,在事件检测等任务中展现有效性。
2026-07-31 cs.CV
FrameONE: Hierarchical Motion Modeling for Universal Multi-View Echocardiographic Keyframe Detection
Medical Ultrasound Image Computing (MUSIC) Lab, Shenzhen University(深圳大学医学超声图像计算实验室);Centre for Artificial Intelligence and Robotics (CAIR), Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人创新中心);School of Biomedical Engineering and Informatics, Nanjing Medical University(南京医科大学生物医学工程与信息学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学大数据系统计算技术国家工程实验室)
提出FrameONE统一框架,通过层次化运动建模(视角内多任务学习减少外观偏差、视角间通用运动学习分离动态模式)实现多视角超声心动图ES/ED关键帧检测,在25,872个视频上取得最优精度和强跨视角泛化。
2026-07-02 cs.CV
Spatially-Attentive Patch-Hierarchical Network for Adaptive Motion Deblurring
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文研究动态场景的运动去模糊问题。尽管端到端全卷积设计最近在非均匀运动去模糊方面取得了最新进展,但其性能-复杂度权衡仍然是次优的。现有的方法通过增加通用卷积层的数量和内核大小来实现大的感受野,但这是以增加模型大小和推理速度为代价的。在这项工作中,我们提出了一个有效的像素自适应和功能注意的设计,处理大的模糊变化在不同的空间位置和处理每个测试图像自适应。我们还提出了一个有效的内容感知的全局-局部过滤模块,不仅考虑全局依赖关系,而且通过动态利用相邻像素信息,显着提高性能。我们使用由上述模块组成的补丁分层注意架构,该模块隐式地发现输入图像中存在的模糊中的空间变化,进而执行中间特征的局部和全局调制。广泛的定性和定量比较与现有技术的去模糊基准表明,我们的设计提供了显着的改进,在国家的最先进的精度以及速度。
2020-04-11 cs.CV eess.IV
A Hierarchical Pose-Based Approach to Complex Action Understanding Using Dictionaries of Actionlets and Motion Poselets
P. Universidad Catolica de Chile(智利天主教大学);Stanford University(斯坦福大学);Universidad del Norte(北方大学)
在本文中,我们介绍了一个新的层次模型,人体动作识别使用身体关节位置。我们的模型可以对视频中的复杂动作进行分类,并对组成正在执行的复杂动作的原子动作执行时空注释。也就是说,对于每个原子动作,模型通过估计其开始和结束时间来生成时间动作注释,以及通过推断执行动作所涉及的人体部位来生成空间注释。我们的模型包括三个关键的新特性:(i)它可以在没有空间监督的情况下进行训练,因为它可以仅从时间动作注释中自动发现活动的身体部位;(ii)它联合学习对身体部位和原子动作的视觉可变性进行编码的运动possible和actionlet的灵活表示;(iii)丢弃空闲或无信息的身体部位的机制,这增加了其对常见姿态估计误差的鲁棒性。我们使用多个动作识别基准评估我们的方法的性能。我们的模型始终优于基线和最先进的动作识别方法。
2016-06-15 cs.CV
Hierarchical Motion Consistency Constraint for Efficient Geometrical Verification in UAV Image Matching
Wuhan University(武汉大学)
提出了一种无人机图像匹配中的有效几何验证策略。首先,考虑到图像空间中对应集之间的复杂变换模型,利用无人机飞行控制数据和摄像机安装角度,将初始候选匹配的特征点投影到物空间中的一个高程平面上。空间关系被简化为2D平移,其中运动建立两个对应点的关系。其次,设计了一种分层运动一致性约束(HMCC)来消除初始候选匹配中的离群点,该约束包括三个主要步骤:全局方向一致性约束、局部方向变化一致性约束和全局长度一致性约束。为了应对具有高离群值比率的场景,通过使用投票方案来实现HMCC。最后,提出了一种有效的几何验证策略,通过使用HMCC作为预处理步骤,以增加内点比率之前,随之而来的基本RANSAC算法的应用。通过对不同摄影测量系统采集的真实无人机数据集进行综合比较和分析,验证了所提策略的性能。实验结果表明,生成的运动具有明显的分离能力,基于运动一致性约束的HMCC-RANSAC算法能够有效地剔除离群点,对倾斜无人机图像的加速比达到6。尽管从图像定向测试中观察到约7%的点的完整性牺牲,但从所有使用的数据集都实现了具有竞争力的定向精度。对于天底和倾斜无人机图像的几何验证,所提出的方法可以是一个更有效的解决方案。
2018-01-12 cs.CV
Unsupervised Hierarchical Domain Adaptation for Adverse Weather Optical Flow
National Key Laboratory of Science and Technology on Multispectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
光流估计已经取得了很大的进展,但通常遭受不利天气下的退化。虽然半/全监督方法已经做出了很好的尝试,合成和真实的不利天气图像之间的域移动会恶化其性能。为了缓解这个问题,我们的出发点是无监督地将知识从源清洁域转移到目标退化域。我们的关键见解是,不利的天气不会改变固有的光流的场景,但会导致一个显着的差异,为清洁和退化的图像之间的翘曲误差。在这项工作中,我们提出了第一个无监督的框架,不利的天气光流通过分层运动边界适应。具体来说,我们首先采用图像平移来构建清洁和退化域之间的转换关系。在运动自适应中,我们利用光流一致性知识将跨域光流对齐到一个运动不变性的公共空间中,在该公共空间中,利用来自于晴朗天气的光流作为指导知识,获得不利天气下的初步光流。此外,我们利用翘曲误差的不一致性,它衡量的清洁和退化域之间的边界的运动错位,并提出了一个联合的场景内和场景间的边界对比自适应细化运动边界。分层运动和边界自适应共同促进光流在一个统一的框架。大量的定量和定性实验已经进行了验证所提出的方法的优越性。
2023-03-24 cs.CV
View Vertically: A Hierarchical Network for Trajectory Prediction via Fourier Spectrums
Huazhong University of Science and Technology(华中科技大学);JD Explore Academy(京东探索研究院)
理解和预测智能体的未来轨迹对于行为分析、机器人导航、自动驾驶汽车和其他相关应用至关重要。以往的方法大多将轨迹预测视为时间序列生成。与他们不同的是,这项工作是在一个“垂直”的角度来研究代理人的轨迹,即,从谱域建模和预测轨迹。轨迹谱中的不同频段可以分层反映智能体在不同尺度上的运动偏好。低频和高频部分可以分别表示它们的粗运动趋势和细运动变化。因此,我们提出了一个分层网络V $^2$ -Net,它包含两个子网络,分层建模和预测智能体的轨迹与轨迹谱。粗级关键点估计子网络首先预测智能体轨迹在几个“关键”频率部分上的“最小”谱。然后,精细级频谱插值子网络对频谱进行插值,以重建最终的预测。在ETH-UCY基准测试和斯坦福无人机数据集上的实验结果显示了V $^2$ -Net的竞争力和优越性。
2022-07-13 cs.CV
Rheos: Modelling Continuous Motion Dynamics in Hierarchical 3D Scene Graphs
University of Turku(图尔库大学);Centre for Artificial Intelligence, Zürich University of Applied Sciences(应用科学大学人工智能中心);Instituto Tecnológico de Aragón (ITA) and the University of Zaragoza(阿拉贡理工大学和萨拉戈萨大学);University of Zaragoza(萨拉戈萨大学);School of Electrical Engineering, Aalto University(艾尔沃斯大学电气工程学院)
提出Rheos框架,将连续方向运动模型嵌入分层3D场景图的动态层,通过半包裹高斯混合模型捕获多模态方向流,并采用水库采样和贝叶斯信息准则实现在线操作,优于离散基线方法。
2026-06-29 cs.CV cs.RO