Reconstruction of Manipulated Garment with Guided Deformation Prior
EPFL(洛桑联邦理工学院)
本文提出利用隐式缝纫图案模型结合基于扩散的变形先验,从折叠服装的不完整3D点云中恢复3D形状,在处理大非刚性变形时重建精度优于现有方法。
2024-10-13 cs.CV
GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon
提出基于图的服装变形与注意力引导反演的虚拟试衣框架GraVITON,通过遮挡感知约束生成密集变形服装,并利用解耦交叉注意力扩散模型完成图像修复,在VITON-HD和Dresscode上取得SOTA效果。
2024-06-04 cs.CV
Normal-guided Garment UV Prediction for Human Re-texturing
University of Minnesota(明尼苏达大学);Adobe Research(奥多比研究院)
衣服会经历复杂的几何变形,从而导致外观变化。为了以物理上合理的方式编辑人类视频,纹理映射不仅必须考虑由身体运动和衣服拟合引起的服装变换,而且还必须考虑其3D细粒度表面几何形状。然而,这提出了从图像或视频进行动态衣服的3D重建的新挑战。在本文中,我们表明,它是可以编辑穿着的人的图像和视频没有3D重建。我们估计一个几何感知的纹理映射之间的服装区域的图像和纹理空间,又名,UV图。我们的UV贴图被设计成通过利用从图像预测的3D表面法线来保持与底层3D表面的等距。我们的方法捕获的基本几何形状的服装在一个自我监督的方式,不需要地面实况注释的UV地图,可以很容易地扩展到预测时间相干的UV地图。我们证明,我们的方法优于国家的最先进的人类紫外线地图估计方法的真实和合成数据。
2023-03-11 cs.CV
ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians
Shanghai University(上海大学);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Tencent Youtu Laboratory(腾讯优图实验室)
针对文本生成3D高保真服装的难题,提出基于3D高斯的ClotheDreamer方法,通过解耦服装高斯表征、双向SDS监督及新剪枝策略,生成可复用、可用于虚拟试穿与物理动画的优质服装资产,性能表现优异。
2024-06-24 cs.CV
Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off
University of Modena(摩德纳大学);University of Trento(特伦托大学);University of Pisa(比萨大学)
本文提出Dress-ED数据集,首次统一了虚拟试穿、试脱和文本引导的服装编辑,包含146k个样本,涵盖外观和结构修改,提供统一的多模态扩散框架作为指令驱动的VTON和VTOFF基线。
2026-07-07 cs.CV
Neural Garment Dynamic Super-Resolution
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对高分辨率服装仿真计算成本高的问题,提出基于学习的轻量级动态超分辨率方法,结合网格图网络与超网络生成细粒度褶皱,泛化性强且效果优于现有方法。
2024-12-09 cs.CV cs.GR
Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks
Zhejiang University(浙江大学);Tencent(腾讯)
我们提出了一种学习算法,它使用骨骼驱动的运动网络来预测交互速率下的宽松服装网格的变形。给定一件衣服,我们生成一个模拟数据库,并使用皮肤分解从模拟网格序列中提取虚拟骨骼。在运行时,我们以顺序的方式分别计算低频和高频变形。通过将人体运动转化为虚拟骨骼的运动来预测低频变形,并利用虚拟骨骼运动的全局信息和低频网格中提取的局部信息来估计高频变形。此外,我们的方法可以估计由模拟参数的变化引起的服装变形(例如,织物的弯曲刚度),使用RBF核集成训练的网络,用于不同的模拟参数集。通过广泛的比较,我们表明,我们的方法优于国家的最先进的方法在预测精度方面的网格变形约20%的RMSE和10%的Hausdorff距离和STED。代码和数据可在https://github.com/non-void/VirtualBones上获得。
2022-05-28 cs.CV cs.GR cs.LG
Dynamic Neural Garments
University College London(伦敦大学学院);Adobe Research(奥多比研究院)
更广泛的数字人类努力的一个重要任务是在数字化身上创建逼真的服装,无论是在静态帧中的特征折叠图案和皱纹的形式,还是在化身运动下的服装动态的丰富性。现有的建模、模拟和渲染工作流紧密地复制了真实服装背后的物理特性,但是是繁琐的,并且需要在角色的运动、相机角度或服装裁剪的变化下重复大部分工作流。虽然存在数据驱动的解决方案,但它们要么专注于静态场景,要么只处理紧身服装的动态。我们提出了一个解决方案,在测试时,需要在身体关节运动,直接产生逼真的动态服装图像序列。具体来说,给定化身的目标关节运动序列,我们提出了动态神经服装,从一个看不见的观点,共同模拟和渲染似是而非的动态服装外观。从技术上讲,我们的解决方案生成一个粗略的服装代理序列,学习附加到该模板的深度动态特征,并通过神经渲染这些特征以产生外观变化,如褶皱、皱纹和轮廓。我们证明泛化行为看不见的运动和看不见的相机视图。此外,我们的网络可以进行微调,以适应新的体型和/或背景图像。我们还提供了对现有的神经渲染和图像序列翻译方法的比较,并报告明确的定量改进。
2021-02-23 cs.CV
Garment Animation NeRF with Color Editing
Nanjing University of Science and Technology(南京理工大学)
本文提出一种无需显式服装代理、直接从身体动作序列合成服装动画的神经辐射场方法,通过融合动态特征与预训练图像生成的细节特征实现高保真渲染,并支持基于视觉元素分解的颜色编辑,在动态与褶皱细节建模上取得显著提升。
2024-07-29 cs.CV
AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室)
针对现有方法难以从稀疏视图构建宽松服装可动画化身的问题,本文提出AniDress方法,结合基于虚拟骨骼的服装绑定模型与姿态驱动可变形NeRF,实现自然服装动态渲染,性能优于现有方法。
2024-01-27 cs.CV cs.GR
Neural Garment Dynamics via Manifold-Aware Transformers
ETH Zurich(苏黎世联邦理工学院);Adobe Research(奥多比研究院)
本文提出利用局部服装—身体碰撞驱动变形,并结合与网格无关的服装表示和流形感知 Transformer,实现对未见服装与人体几何的动力学泛化。
2024-05-13 cs.CV cs.GR
Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
本文提出 GaIP 方法,通过基于 Transformer 的扩散模型,利用服装感知数据合成并处理稀疏宽松佩戴的 IMU 传感器数据,实现全身姿态估计,在定量和定性上均优于现有最先进方法。
2025-08-13 cs.AI cs.CV cs.GR
HyperBones: Realtime Bone-driven Neural Garment Simulation with Hypernetwork Conditioning
Meta Reality Labs(Meta现实实验室)
提出一种结合虚拟骨骼驱动粗粒度模拟和卷积神经映射恢复细粒度褶皱的实时神经服装模拟方法,通过超网络调节实现高效物理监督,无需外部模拟器。
2026-09-07 cs.CV cs.GR
Garment Inertial Denoiser (GID): Endowing Accurate Motion Capture via Loose IMU Denoiser
Xiamen University(厦门大学);Zhejiang University(浙江大学)
GID通过松散IMU去噪实现准确运动捕捉,利用位置感知专家架构和轻量级融合模块,提升惯性MoCap的准确性和泛化能力。
2026-01-04 cs.CV cs.HC
Pattern Guided UV Recovery for Realistic Video Garment Texturing
State Key Lab of CAD & CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Adobe Research(奥多比研究院);FaceUnity Joint Lab of Intelligent Graphics, Zhejiang University(浙江大学FaceUnity智能图形联合实验室)
针对时尚电商中同款式不同纹理服装虚拟展示成本高的问题,提出基于图案引导的UV与明暗恢复方法,通过混合权重MLP逐像素回归UV、雅可比损失优化接缝、时序约束保证帧间一致性,实现高质量自动纹理替换,效果优于基线方法。
2024-07-14 cs.CV
D-Garment: Physically Grounded Latent Diffusion for Dynamic Garment Deformations
Inria Centre at the University Grenoble Alpes(格勒诺布尔阿尔卑斯大学Inria研究中心);Inria, University of Rennes, CNRS, IRISA-UMR 6074(雷恩大学Inria、CNRS、IRISA-UMR 6074);InterDigital Inc.(InterDigital公司)
本文提出D-Garment,通过基于物理的模拟器生成新数据,学习基于物理材料属性的3D生成模型,实现更准确的服装变形和动态皱纹模拟。
2026-04-08 cs.CV
Selecting the motion ground truth for loose-fitting wearables: benchmarking optical MoCap methods
University of Kaiserslautern(凯泽斯劳滕大学)
本研究提出DrapeMoCapBench基准,针对不同垂坠度服装、运动强度和体型,测试光学标记点与无标记点动作捕捉方法性能,发现日常宽松服装场景下无标记点方法略优且成本更低,为可穿戴设备研究提供真值方法选择参考。
2023-07-25 cs.CV cs.GR
CrossVTON: Mimicking the Logic Reasoning on Cross-category Virtual Try-on guided by Tri-zone Priors
Fudan University(复旦大学);Tencent(腾讯);Xiamen University(厦门大学)
针对跨类别虚拟试穿缺乏类人推理的问题,本文提出CrossVTON,通过迭代数据构造与三区域先验生成引导试穿、重建和想象,取得SOTA效果。
2025-02-20 cs.CV
DiT-Garment: Garment Dynamics with Diffusion Transformers
Inria Centre at the University Grenoble Alpes(格勒诺布尔阿尔卑斯大学Inria中心);InterDigital Inc.(InterDigital公司);Inria, University of Rennes, CNRS, IRISA-UMR 6074(Inria、雷恩大学、法国国家科学研究中心、IRISA-UMR 6074)
提出DiT-Garment,利用2D扩散变换器在UV空间学习3D服装变形,支持任意姿态、未见设计和物理材质,训练于合成数据,泛化至真实服装。
2026-09-17 cs.CV
Learning Anchor Transformations for 3D Garment Animation
Tencent AI Lab(腾讯人工智能实验室);ETH Zurich(苏黎世联邦理工学院);Nanjing University of Science and Technology(南京理工大学)
本文提出基于锚点的形变模型AnchorDEF,通过刚性变换与非线性位移结合,并引入自适应锚点更新,从身体运动序列预测3D服装动画,在宽松服装形变预测上达到SOTA。
2023-04-03 cs.CV
Forwardrobe: Garment-Aware Gaussian Avatars from a Single Image
Nanyang Technological University(南洋理工大学);The University of Queensland(昆士兰大学)
该研究提出Forwardrobe框架,通过在高斯空间分离衣物与身体,实现单张图像的衣物感知高斯化身重建,提升了衣物重建质量与操作灵活性,支持衣物编辑等应用。
2026-08-03 cs.CV
Towards Loose-Fitting Garment Animation via Generative Model of Deformation Decomposition
Alibaba(阿里巴巴)
针对线性蒙皮难以处理宽松服装复杂形变的问题,提出基于形变分解的服装生成模型,解耦潜在表示以生成姿态驱动形变,并引入细节增强模块,实验证明优于现有方法。
2023-12-22 cs.CV
UNIC: Neural Garment Deformation Field for Real-time Clothed Character Animation
HKUST(香港科技大学);Waseda(早稻田大学);MIT(麻省理工学院);CMU(卡内基梅隆大学);HKU(香港大学);NTU(南洋理工大学);TAMU(德克萨斯农工大学)
本文提出UNIC方法,通过实例特定的神经变形场实时动画角色服装,无需泛化到新服装,提升变形质量和训练效率。
2026-03-26 cs.CV
ODPG: Outfitting Diffusion with Pose Guided Condition
Korea University(高丽大学)
针对传统虚拟试穿方法真实感不足、难处理动态姿态的问题,提出带姿态引导条件的ODPG扩散模型,通过多潜在特征融合实现非显式服装合成,在相关数据集上生成了具精细纹理的逼真多姿态试穿图像。
2025-01-12 cs.CV
ClothCode: Generative Modeling for Garment State Estimation and Dynamics Prediction
University of Glasgow(格拉斯哥大学)
研究人员提出ClothCode统一生成框架,通过材料对齐分词器与掩码生成Transformer实现服装状态估计和动作条件动力学预测,在三种服装模板上显著降低误差、提升速度,集成后将现实折叠展平成功率从56.7%提至78.9%
2026-10-14 cs.CV cs.RO
DiffusedWrinkles: A Diffusion-Based Model for Data-Driven Garment Animation
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
本研究提出DiffusedWrinkles方法,通过将3D服装形变转为2D布局一致纹理,训练条件扩散模型生成高质量、拓扑无关的服装动画,支持多样形变与时间连贯序列生成。
2025-03-24 cs.CV
Self-Supervised Collision Handling via Generative 3D Garment Models for Virtual Try-On
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的三维服装变形生成模型,使我们能够第一次学习一种数据驱动的虚拟试穿方法,有效地解决了服装与身体的碰撞。与现有的方法,需要一个不希望的后处理步骤,以固定在测试时的衣服身体的相互渗透,我们的方法直接输出3D服装配置,不与底层的身体碰撞。我们成功的关键是一个新的服装规范空间,它删除了新的扩散人体模型已经捕获的姿势和形状变形,该模型将身体表面属性(如蒙皮权重和混合形状)外推到任何3D点。我们利用这种表示训练一个生成模型与一个新的自我监督的碰撞项,学习可靠地解决衣服身体的相互渗透。我们广泛地评估和比较我们的结果与最近提出的数据驱动的方法,并表明我们的方法是第一个成功地解决衣服身体接触看不见的身体形状和运动,而不影响现实主义和细节。
2021-05-13 cs.CV
USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency
Shanghai Jiaotong University(上海交通大学)
从图像中重建服装人物是一个热门的任务,在创意媒体和游戏行业有很好的应用前景。然而,大多数现有的方法重建人体和服装作为一个整体的监督三维模型,这阻碍了下游的交互任务,并需要难以获得的数据。为了解决这些问题,我们提出了一个无监督的分离的3D服装和人体重建模型(USR),重建人体和真实的纹理衣服层没有3D模型。更具体地说,我们的方法提出了一个广义的表面感知神经辐射场学习稀疏多视图图像和穿着的人的几何形状之间的映射。基于完整的几何形状,我们引入了语义和置信度引导分离策略(SCGS)来检测,分割和重建衣服层,利用2D语义和3D几何形状之间的一致性。此外,我们提出了一个几何微调模块来平滑边缘。在我们的数据集上进行的大量实验表明,与现有的方法相比,USR在几何和外观重建方面都有改进,同时支持实时的推广到看不见的人。此外,我们还介绍了SMPL-D模型,以显示服装和人体的分离建模,允许交换衣服和虚拟试穿的好处。
2023-03-02 cs.CV
3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models
DAMO Academy, Alibaba Group(阿里达摩院);Hupan Lab(虎斑实验室);Zhejiang University(浙江大学)
提出3DV-TON,利用纹理化3D网格引导扩散模型,实现高保真、时间一致的视频试穿,并引入HR-VVT基准数据集验证优越性。
2025-04-24 cs.CV
The devil is in the details: Enhancing Video Virtual Try-On via Keyframe-Driven Details Injection
Tencent Youtu Lab(腾讯优图实验室);TU Delft(代尔夫特理工大学);Fudan University(复旦大学);Western University(西部大学)
本文提出KeyTailor框架和ViT-HD数据集,通过关键帧驱动的细节注入策略提升视频虚拟试衣的服装真实性和背景完整性,实验表明其在动态和静态场景中表现更优。
2026-04-29 cs.CV
Latent Dynamics for Full Body Avatar Animation
Simon Fraser University(西蒙弗雷泽大学);Codec Avatars Lab, Meta(Meta编码化身实验室)
本文提出了一种基于潜在动态的全身动画 avatar 方法,通过引入 transformer 解码器和动态残差潜在变量,实现了更精确的动态模拟,提高了动画质量。
2026-05-20 cs.CV cs.GR
Spatio-Temporal Garment Reconstruction Using Diffusion Mapping via Pattern Coordinates
CVLab, École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL)计算机视觉实验室);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫人工智能大学);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Pinscreen and Mohamed bin Zayed University of Artificial Intelligence(Pinscreen和马尔代夫人工智能大学)
本文提出了一种基于模式坐标扩散映射的时空服装重建方法,结合隐式缝合模式与生成扩散模型,实现高保真3D服装重建,适用于虚拟试穿和动画等领域。
2026-08-26 cs.CV
UniFit: Towards Universal Virtual Try-on with MLLM-Guided Semantic Alignment
UniFit通过多模态大语言模型引导的语义对齐模块,解决虚拟试衣中语义差距和数据稀缺问题,实现通用且高性能的试衣框架。
2026-02-10 cs.CV
ART-VITON: Measurement-Guided Latent Diffusion for Artifact-Free Virtual Try-On
Department of Computer Science & Artificial Intelligence, Dongguk University(东国大学计算机科学与人工智能系)
ART-VITON通过测量引导的扩散框架解决虚拟试穿中非试穿区域的保真度问题,结合残差先验初始化和无瑕疵测量引导采样,提升视觉保真度和鲁棒性。
2025-10-16 cs.AI cs.CV
Landmark-Guided Elastic Shape Analysis of Human Character Motions
University of Vienna(维也纳大学);NTNU Trondheim(挪威科技大学)
电影或视频游戏中的虚拟角色的运动通常由使用运动捕捉方法记录演员来生成。以这种方式生成的动画通常需要后处理,例如提高循环动画的周期性或通过对现有运动的插值来生成全新的运动。此外,随着记录的运动数据量的增长,对记录的运动的搜索和分类变得越来越重要。在本文中,我们将从形状分析的方法,动画的处理。更确切地说,我们将使用到现在的经典弹性度量模型中使用的形状匹配,并通过纳入额外的不精确的特征点信息,这导致改进的时间对齐不同的动画扩展它。
2015-02-03 cs.CV cs.GR
PhysXNet: A Customizable Approach for LearningCloth Dynamics on Dressed People
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(加泰罗尼亚理工大学-西班牙国家研究委员会工业机器人与计算机视觉研究所)
我们介绍了PhysXNet,一种基于学习的方法来预测可变形衣服的动态,给出了穿着这些衣服的人的3D骨架运动序列。该模型适用于各种服装和不断变化的拓扑结构,而不需要重新训练。这种模拟通常由物理引擎进行,需要人工的人类专业知识,并受到计算密集型计算。相比之下,PhysXNet是一个完全可微分的深度网络,在推理时能够在几毫秒内估计密集布网格的几何形状,因此可以很容易地部署为更大的深度学习架构的一层。这种效率的实现得益于我们考虑的衣服的特定参数化,基于编码空间服装位移的3D UV图。然后,将问题公式化为人体运动学空间(也由未穿衣的身体网格的3D UV贴图表示)到衣服位移UV贴图之间的映射,我们使用具有强制可行变形的约束的条件GAN来学习该映射。我们同时训练我们的模型为三个服装模板,上衣,下装和连衣裙,我们模拟变形下50个不同的人类行动。尽管如此,我们考虑的UV贴图表示允许封装许多不同的布料拓扑,并且在测试中,即使我们没有专门为它们进行训练,我们也可以模拟服装。一项全面的评估表明,PhysXNet提供的布料变形非常接近物理引擎计算的变形,为有效集成到深度学习管道中打开了大门。
2021-11-13 cs.CV
FlowVVTON: Flow-Guided Mask-Free Video Virtual Try-On
Shanghai Jiao Tong University(上海交通大学)
FlowVVTON是一种无掩码视频虚拟试穿框架,以光流为训练监督,通过两阶段训练实现多尺度时间一致性,在TikTokDress数据集上较基线方法(如SwiftTry)时间一致性提升显著,无需额外标注。
2026-09-01 cs.CV
InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors
InstructVVT是基于DiT的视频虚拟试穿框架,通过双层级参考调控方案无需推理时空间先验,在ViViD-S等数据集上优于现有开源方法,解决了现有方法依赖辅助先验的问题。
2026-08-17 cs.CV
Past and Future Motion Guided Network for Audio Visual Event Localization
近年来,视听事件本地化备受关注。它的目的是检测包含视听事件的片段,并从未经修剪的视频中识别事件类别。现有的方法利用音频引导的视觉注意力,使模型关注正在进行的事件的空间区域,致力于音频和视觉信息之间的相关性,而忽略了音频和空间运动之间的相关性。我们提出了一个过去和未来的运动提取(pf-ME)模块来挖掘视频中的视觉运动,嵌入到过去和未来的运动引导网络(PFAGN),和运动引导音频注意(MGAA)模块,以实现通过过去和未来的视觉运动聚焦在音频模态中的感兴趣的事件相关的信息。我们选择AVE作为实验验证数据集,实验表明,我们的方法在监督和弱监督设置中的性能优于最先进的。
2022-05-08 cs.CV
Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems
Institute of Smart Systems Technologies(智能系统技术研究所);University of Klagenfurt(克雷格弗特大学);AAU SAL USE Laboratory(AAU SAL USE实验室);Silicon Austria Labs(硅 Austria 实验室)
提出一种数字孪生驱动的机器人分拣系统,结合抓取预测、多模态感知和视觉语言模型,实现纺织品分类与异物检测,Qwen模型准确率达87.9%。
2026-06-15 cs.CV cs.RO
MOVE: Motion-Guided Few-Shot Video Object Segmentation
Fudan University(复旦大学)
针对现有小样本视频对象分割方法忽略运动动态的问题,研究者构建了运动引导的大规模数据集MOVE,评估6种主流方法后提出基线方法DMA,提升了小样本运动理解性能,为相关研究奠定基础。
2025-07-29 cs.CV
MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation
MotionPhysics通过自然语言引导模拟,利用可学习的运动蒸馏损失实现对3D物体物理参数的自动学习,提升动态模拟的逼真度和效率。
2026-01-01 cs.AI cs.CV cs.GR
ReAlign: Text-to-Motion Generation via Step-Aware Reward-Guided Alignment
ReAlign通过步感知奖励模型和引导策略提升文本到动作生成的对齐和质量。
2025-11-24 cs.CV
Motion Guided 3D Pose Estimation from Videos
The Chinese University of Hong Kong(香港中文大学);AWS/Amazon AI(AWS/亚马逊人工智能)
针对单目三维姿态估计问题,提出了一种新的损失函数,称为运动损失。在计算运动损失时,引入了一种简单而有效的关键点运动表示,称为成对运动编码。设计了一种新的图卷积网络结构-U形GCN(UGCN)。它捕获短期和长期运动信息,以充分利用运动损失的额外监督。我们在两个大规模的基准测试:Human3.6M和MPI-INF-3DHP上进行了运动损失的UGCN训练实验。我们的模型远远超过其他最先进的模型。它还展示了强大的能力,产生平滑的3D序列和恢复关键点运动。
2020-04-29 cs.CV
BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions
KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院);Chung-Ang University(中央大学)
针对非均匀运动视频导致现有VFI模型插值帧模糊的问题,提出BiM-VFI模型,通过双向运动场、BiMFN网络及KDVCF蒸馏策略提升光流估计精度,在LPIPS和STLPIPS指标上较SOTA分别提升26%和45%。
2025-03-24 cs.CV
Motion Matters: Motion-guided Modulation Network for Skeleton-based Micro-Action Recognition
University College London(伦敦大学学院);ReLER, CCAI, Zhejiang University(ReLER、CCAI、浙江大学);Hefei University of Technology(合肥工业大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(人工智能研究院、合肥综合性国家科学中心);Intelligent Interconnected Systems Laboratory of Anhui Province(安徽省智能互联系统实验室)
本文提出运动引导调制网络MMN,通过骨骼和帧级运动线索调制提升微动作识别的准确性。
2025-11-27 cs.CV
Edit as You See: Image-guided Video Editing via Masked Motion Modeling
AMD(超威半导体公司);Peking University(北京大学);Tsinghua University(清华大学)
针对图像引导视频编辑,本文提出 IVEDiff,通过可学习运动模块、掩码运动建模微调和光流引导运动参考网络保持时序一致性,并构建基准验证其高质量鲁棒编辑效果。
2025-01-08 cs.CV
Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn(帕德博恩大学)
基于区域的人工注意力构成了一个框架,生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而,对于许多后注意任务,例如识别或跟踪对象,单个片段是不够的。在这里,我们提出了一个显着性指导的方法,分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果,通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis
Adobe Research(Adobe研究院);University College London(伦敦大学学院)
在AR/VR和视频编辑等应用中,合成运动中的人的动态外观起着核心作用。虽然最近已经提出了许多方法来解决这个问题,但处理具有复杂纹理和高动态运动的松散服装仍然具有挑战性。在本文中,我们提出了一种基于视频的外观合成方法,该方法可以解决这些挑战,并为以前从未显示过的野外视频展示高质量的结果。具体来说,我们采用基于StyleGAN的架构来执行基于特定人视频的运动重定向任务。我们引入了一种新的运动签名,用于调制生成器权重以捕获动态外观变化,以及正则化基于单帧的姿势估计以提高时间相干性。我们评估我们的方法在一组具有挑战性的视频,并表明我们的方法实现了最先进的性能在定性和定量。
2021-11-10 cs.CV
Object Discovery from Motion-Guided Tokens
CMU(卡内基梅隆大学);Toyota Research Institute(丰田研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对象发现--无需手动标记就能将对象从背景中分离出来--是计算机视觉中一个基本的开放性挑战。以前的方法难以超越低级别线索的聚类,无论是手工制作的(例如,颜色、纹理)或学习(例如,从自动编码器)。在这项工作中,我们增加了自动编码器表示学习框架的两个关键组成部分:运动指导和中级特征标记。虽然这两个已经分别进行了研究,我们介绍了一个新的Transformer解码器显示,他们的好处可以复合感谢运动引导矢量量化。我们表明,我们的架构有效地利用了运动和标记化之间的协同作用,改善了合成和真实数据集的最新技术水平。我们的方法使可解释的对象特定的中级功能的出现,展示了运动指导(无标签)和量化(可解释性,内存效率)的好处。
2023-03-27 cs.CV
Motion Guided LIDAR-camera Self-calibration and Accelerated Depth Upsampling for Autonomous Vehicles
Ford Motor Company(福特汽车公司)
提出了一种新的运动引导方法,用于LiDAR和相机的无目标自校准,并使用LiDAR点到图像参考帧上的重新投影进行实时深度上采样。通过优化目标函数来估计校准参数,该目标函数惩罚从时间同步的图像和点云序列获得的2D和重新投影的3D运动矢量之间的距离。对于上采样,提出了一种简单,但有效和时间效率的配方,最大限度地减少深度梯度的等式约束,涉及激光雷达测量。从城市环境中记录的真实数据进行验证和演示,我们的两种方法是有效的,适用于移动机器人和自动驾驶汽车应用施加实时要求。
2020-07-02 cs.CV
MOSA: Motion-Guided Semantic Alignment for Dynamic Scene Graph Generation
School of Computer Science and Technology, East China Normal University, Shanghai, China(东华大学计算机科学与技术学院);School of Data Science and Engineering, East China Normal University, Shanghai, China(东华大学数据科学与工程学院)
本文提出MOSA方法,通过融合运动特征与空间关系,提升动态场景图生成中细粒度关系建模和语义表示利用能力,优化尾部关系学习。
2026-04-21 cs.CV
Language-guided Human Motion Synthesis with Atomic Actions
University at Buffalo(布法罗大学)
针对语言引导人体运动生成难以泛化到新动作的问题,提出 ATOM,通过原子动作分解与渐进掩码课程学习实现可组合、连贯的运动合成。
2023-08-18 cs.CV
Semantic Flow-guided Motion Removal Method for Robust Mapping
Harbin Institute of Technology(哈尔滨工业大学)
场景中的运动物体仍然是SLAM系统面临的严峻挑战。许多努力试图通过检测运动对象来去除图像中的运动区域。以这种方式,属于运动区域的关键点将在稍后的计算中被忽略。本文提出了一种新的运动去除方法,利用语义信息和光流提取运动区域。不同于以往的工作,我们不预测运动物体或运动区域直接从图像序列。我们计算刚性光流,由深度和姿态合成,并将其与估计的光流进行比较,以获得初始运动区域。然后,我们利用K-均值微调运动区域掩模与实例分割掩模。ORB-SLAM 2与所提出的运动消除方法相结合,在室内和室外动态环境中都取得了最佳的性能。
2020-10-14 cs.CV