You Think, You ACT: The New Task of Arbitrary Text to Motion Generation
National Engineering Research Center for Multimedia Software, Wuhan University(武汉大学多媒体软件国家工程研究中心);School of Computer Science, Wuhan University(武汉大学计算机学院);StepFun;University of Maryland College Park(马里兰大学学院市分校)
本文将文本到动作任务扩展至任意文本,构建了HUMANML3D++数据集,提出从任意文本提取动作指令并生成动作的框架,并引入多解指标进行基准测试,促进该实用方向的新研究。
2025-06-28 cs.CV
Human Motion Prediction, Reconstruction, and Generation
AI Geeks
本报告综述人体运动预测、重建与生成的最新进展,涵盖关键方法、数据集、挑战及未来方向,推动机器人、游戏和虚拟化身等应用。
2025-02-21 cs.CV
TwoStreamVAN: Improving Motion Modeling in Video Generation
Boston University(波士顿大学);University of California Berkeley(加州大学伯克利分校)
视频生成是一个固有的挑战性任务,因为它需要建模逼真的时间动态以及空间内容。现有方法在单个生成器网络中纠缠运动和内容创建这两个本质上不同的任务,但这种方法难以同时生成合理的运动和内容。为了改进视频生成任务中的运动建模,我们提出了一种双流模型,将运动生成与内容生成分开,称为双流变分对抗网络(TwoStreamVAN)。给定动作标签和噪声向量,我们的模型能够创建清晰和一致的运动,从而产生逼真的视频。其核心思想是逐步生成和融合多尺度运动与其相应的空间内容。我们的模型在标准的Weizmann人类动作,MUG面部表情和VoxCeleb数据集以及我们具有挑战性和复杂运动的各种人类动作的新数据集上显着优于现有方法。我们的代码可在https://github.com/sunxm2357/TwoStreamVAN/上获得。
2020-01-10 cs.CV
Semantic-Human: Neural Rendering of Humans from Monocular Video with Human Parsing
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局信息通信研究院)
针对现有神经渲染忽略人体解析、运动场泛化性差的问题,提出Semantic-Human方法,扩展NeRF联合编码语义等信息,结合SMPL约束,在ZJU-MoCap数据集上取得优异效果并支持多种应用。
2023-08-19 cs.CV
Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction
Australian National University(澳大利亚国立大学);EPFL(洛桑联邦理工学院);ClearSpace
我们介绍了行动驱动的随机人体运动预测的任务,其目的是预测多个合理的未来运动给定一系列的行动标签和一个短的运动历史。这与现有的作品不同,这些作品预测的运动要么不尊重任何特定的动作类别,要么遵循单个动作标签。特别是,解决这个任务需要解决两个挑战:不同动作之间的过渡必须平滑;预测运动的长度取决于动作序列,并且在样本之间变化很大。由于我们无法实际期望训练数据覆盖足够多样化的动作转换和动作长度,因此我们提出了一种有效的训练策略,该策略包括组合来自不同动作的多个动作,并引入弱形式的监督以鼓励平滑转换。然后,我们设计了一个基于VAE的模型条件上观察到的运动和动作标签序列,使我们能够生成多个合理的未来运动的不同长度。我们说明了我们的方法的一般性,探索其使用两种不同的时间编码模型,即RNN和Transformers。我们的方法优于基线模型构建的适应国家的最先进的单一动作条件运动生成方法和随机人体运动预测方法,我们的新任务的动作驱动的随机运动预测。我们的代码可在https://github.com/wei-mao-2019/WAT上获得。
2022-05-31 cs.AI cs.CV
Orientation-Aware Leg Movement Learning for Action-Driven Human Motion Prediction
Toyohashi University of Technology(丰桥技术科学大学);University of Fukui(福井大学)
本文提出一种朝向感知的腿部运动学习方法,通过动作条件下的中间插值生成自然过渡,解决动作驱动人体运动预测中朝向变化导致的过渡不自然问题,并在多个基准上达到最优性能。
2024-02-06 cs.CV cs.GR
D-LORD for Motion Stylization
Nanyang Technological University(南洋理工大学);School of Computing, NUS(新加坡国立大学计算机学院);School of Biological Sciences, NTU(南洋理工大学生物科学学院);International Research Laboratory on Artificial Intelligence(国际人工智能研究实验室);A* Centre for Frontier AI Research (CFAR)(A*STAR前沿人工智能研究中心)
本文提出D-LORD框架,通过双潜在优化解耦运动序列的类别(风格)与内容信息,无需配对数据即可实现运动风格迁移与重定向,在三个数据集验证了有效性,是首个通用框架。
2024-12-05 cs.AI cs.CV
Recurrent Semi-supervised Classification and Constrained Adversarial Generation with Motion Capture Data
Polytechnique Montréal(蒙特利尔高等理工学院);The Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
我们探讨了半监督序列分类和重建的递归编码器多解码器神经网络架构。我们发现,当只有少量标记数据可用时,使用多个重建模块可以帮助模型在分类任务中进行概括,这在实践中经常出现。这样的模型提供了有用的运动的高级表示,允许聚类,搜索和更快地标记新的序列。我们还提出了一个新的,现实的分区一个众所周知的,高质量的运动捕捉数据集更好的评价。我们进一步探索了一种基于条件递归生成对抗网络的未来预测解码器的新配方,为此,我们提出了软约束和硬约束,用于从合成的未来运动和期望的动画目标的所需物理特性中产生的过渡生成。我们发现,使用这样的约束可以稳定用于动画生成的循环对抗架构的训练。
2018-07-11 cs.CV cs.LG
Label-Efficient Data Augmentation with Video Diffusion Models for Guidewire Segmentation in Cardiac Fluoroscopy
United Imaging Intelligence(联影智能)
提出分割引导的帧一致性视频扩散模型(SF-VD),通过独立建模场景与运动分布生成大量带标签透视视频,有效增强导丝分割网络训练数据并显著提升分割性能。
2025-01-27 cs.AI cs.CV
PP-Motion: Physical-Perceptual Fidelity Evaluation for Human Motion Generation
Tsinghua University(清华大学);University at Buffalo(布法罗大学);BNRist, Tsinghua University(清华大学BNRist研究所);Key Laboratory of Pervasive Computing, Ministry of Education(教育部 pervasive 计算重点实验室);Eastern Institute of Technology, Ningbo(宁波东部技术研究所);University of Rochester(罗切斯特大学)
PP-Motion是一种新的数据驱动度量,通过物理和感知保真度评估提升人类运动生成的准确性与真实性。
2026-02-19 cs.CV cs.MM
SImpHAR: Advancing impedance-based human activity recognition using 3D simulation and text-to-motion models
Korea University(韩国大学)
SImpHAR框架通过3D模拟和文本到动作模型生成生物阻抗数据,并采用两阶段解耦训练策略,在多个数据集上显著提升基于阻抗的人体活动识别准确率与F1分数。
2025-07-08 cs.AI cs.CV
GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction
City University of Hong Kong(香港城市大学);Durham University(杜伦大学);Northumbria University(诺森比亚大学)
创建能够对用户或另一个角色的运动做出反应的逼真角色可以使计算机图形学、游戏和虚拟现实受益匪浅。然而,由于两个人可以以许多不同的方式进行交互,因此在人与人的交互中合成这种反应性运动是一项具有挑战性的任务。虽然有一些成功的研究在适应生成对抗网络(GAN)合成单一的人类行为,有很少的建模人与人之间的互动。在本文中,我们提出了一个半监督的GAN系统,该系统综合了一个角色的反应运动,给出了另一个角色的主动运动。我们的主要见解有两个方面。首先,为了有效地编码人体运动的复杂时空信息,我们为生成器提供了基于部分的长短期记忆(LSTM)模块,从而可以有效地模拟不同肢体的时间运动。我们还包括一个注意力模块,以便可以学习交互的时间意义,这增强了主动-反应运动对的时间对齐。其次,由于不同类型的交互的反应性运动可能会有很大的不同,我们引入了一个参数,它不仅可以告诉生成的运动是否真实,还可以告诉交互的类标签。这允许在监督发生器的训练中使用这种标签。我们使用SBU和HHOI数据集进行实验。高质量的合成运动证明了我们的发生器的有效设计,合成的可辨别性也证明了我们的能力。
2021-10-01 cs.CV cs.GR
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务,并且倾向于更适用于实际应用。然而,这种合成从图像到图像到视频到视频的扩展并不是微不足道的,特别是在捕获视频中的时空结构时。困难源于这样的方面,即不仅在每个帧中的视觉外观,而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中,我们提出了一个新的运动引导循环GAN,被称为Mocycle-GAN,新颖地将运动估计集成到不成对的视频翻译。从技术上讲,MoCycle-GAN利用了三种类型的约束:区分合成帧和真实帧的对抗性约束,鼓励帧和运动的逆平移的循环一致性,以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验,并报告了优越的结果相比,国家的最先进的方法。更值得注意的是,我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
Exploring Text-to-Motion Generation with Human Preference
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);Shanghai AI Lab(上海人工智能实验室)
该研究探索文本生成动作领域的人类偏好学习,标注3528个MotionGPT生成的偏好对,明确偏好数据使用的关键设计选择,证明偏好学习可大幅提升生成模型性能并公开相关资源。
2024-04-15 cs.AI cs.CV cs.LG
GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Fudan University(复旦大学)
GeoLAM从无标注人类视频中学习几何基础的潜在动作,结合几何特征与4D教师监督,提升机器人操作性能。
2026-09-16 cs.CV cs.RO
Motion Puzzle: Arbitrary Motion Style Transfer by Body Part
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文介绍了一种新的运动风格的传输网络,在几个重要方面的国家先进的运动拼图。该运动拼图是第一个可以控制个别身体部位的运动风格,允许本地风格编辑和显着增加风格化运动的范围。为了保持人体的运动学结构,我们的框架提取风格特征,从多个风格运动不同的身体部位,并将它们本地传输到目标身体部位。另一个主要的优点是,它可以通过集成自适应实例规范化和注意力模块,同时保持骨架拓扑结构的运动风格的全局和局部特性。因此,它可以捕捉动态运动所表现出的风格,如拍打和蹒跚,显着优于以前的工作。此外,我们的框架允许任意的运动风格传输,而不需要带有风格标签或运动配对的数据集,使得许多公开的运动数据集可用于训练。我们的框架可以轻松地与运动生成框架集成,以创建许多应用程序,例如实时运动传输。我们展示了我们的框架的优势,一些例子和比较与以前的工作。
2022-07-11 cs.CV cs.GR
Bimanual 3D Hand Motion and Articulation Forecasting in Everyday Images
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种从单张日常图像预测双手3D运动与关节的方法,利用扩散模型标注流程和扩散损失,在6个数据集上显著优于基线,尤其在零样本泛化中表现突出。
2026-09-22 cs.AI cs.CV cs.LG
Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction
The University of Tokyo(东京大学)
每一次手与物体的互动都始于接触。尽管预测手和物体之间的接触状态在理解手-物体交互中是有用的,但是关于手-物体分析的现有方法已经假设交互的手和物体是已知的,并且没有详细研究。在这项研究中,我们介绍了一种基于视频的方法来预测手和物体之间的接触。具体来说,给定一个视频和一对手和物体的轨迹,我们预测每帧的二进制接触状态(接触或无接触)。然而,注释大量的手对象轨迹和接触标签是昂贵的。为了克服这个困难,我们提出了一个半监督框架,包括(i)自动收集训练数据与基于运动的伪标签和(ii)引导渐进式标签校正(gPLC),纠正嘈杂的伪标签与少量的可信数据。我们验证了我们的框架的有效性在一个新建立的基准数据集的手物体接触预测,并显示出优越的性能对现有的基线方法。代码和数据可在https://github.com/takumayagi/hand_object_contact_prediction上获得。
2021-10-19 cs.CV
Enhancing Label-Driven Deep Deformable Image Registration with Local Distance Metrics for State-of-the-Art Cardiac Motion Tracking
Fraunhofer MEVIS(弗劳恩霍夫医学图像计算研究所);Radboud UMC(拉德堡德大学医学中心);University of Lübeck(吕贝克大学)
虽然深度学习在医学图像分割的准确性方面取得了显著进步,但其对可变形图像配准的益处迄今为止仍限于减少计算时间。以前的工作要么集中在用CNN层替换距离和平滑度项的迭代优化,要么使用由标签驱动的监督方法。我们的方法是第一个将全局语义信息(由分割标签表示)和有助于对齐周围结构的局部距离度量的互补优势相结合的方法。与经典配准(79.0\%)以及标签驱动的深度学习框架(83.4\%)相比,我们证明了可变形心脏图像配准的Dice分数(86.5\%)显著更高。
2018-12-05 cs.CV
Learning Emotion from Motion: Kinetic Multi-Stream Skeleton Modeling with Metadata-Conditioned Weak Label Distributions
针对基于身体运动的骨架情感识别难题,在MMAC ACII 2026挑战赛DIEM - A任务中,提出多分支框架,含基于6D旋转、部分感知动力学多流及元数据条件弱标签分布学习分支,经独立训练与概率级融合,提升了准确率和宏F1,揭示重要运动线索。
2026-07-21 cs.CV
Pseudo-labels for Supervised Learning on Dynamic Vision Sensor Data, Applied to Object Detection under Ego-motion
DSO National Laboratories(新加坡国防科技研究院)
近年来,动态视觉传感器(DVS),也称为基于事件的相机或神经形态传感器,由于比传统的基于帧的相机具有各种优点,已经看到越来越多的使用。利用受视网膜启发的原理,其高时间分辨率克服了运动模糊,其高动态范围克服了极端照明条件,其低功耗使其成为无人机和自动驾驶汽车等平台上嵌入式系统的理想选择。然而,基于事件的数据集是稀缺的,标签更是罕见的任务,如目标检测。我们通过中间伪标签将判别知识从最先进的基于帧的卷积神经网络(CNN)转移到基于事件的模态,中间伪标签用作监督学习的目标。我们第一次展示了在真实环境中以每秒100帧的速度在自我运动下进行基于事件的汽车检测,相对于我们注释的地面事实,测试平均精度为40.3%。基于事件的汽车检测器处理运动模糊和不良照明条件,尽管没有明确训练这样做,甚至补充了基于帧的CNN检测器,这表明它已经学习了广义的视觉表示。
2018-03-14 cs.CV
Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix
Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学);SenseTime Research(商汤科技研究院)
针对类别无关运动预测全监督训练标注成本高的问题,提出含运动选择再生模块、时间采样与BEVMix增强的半监督框架,仅用少量标注数据性能就远超自监督方法,可平衡标注成本与性能。
2023-12-14 cs.CV
Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition
Shanghai Jiao Tong University(上海交通大学)
静态图像动作识别的目的是基于单个图像识别动作,通常依赖于昂贵的人工标记工作,例如足够的标记动作图像和大规模的标记图像数据集。相比之下,可以经济地获得大量未标记的视频。因此,一些工作已经探索使用未标记的视频,以促进图像动作识别,这可以分为以下两类:(a)增强视觉表示的动作图像上的未标记的视频,这属于自监督学习的范围内设计的代理任务;(b)生成辅助表示的动作图像从未标记的视频学习。在本文中,我们将上述两种策略集成在一个统一的框架中,该框架由视觉表示增强(VRE)模块和运动表示增强(MRA)模块组成。具体地说,VRE模块包括一个代理任务,该任务对未标记视频施加伪运动标签约束和时间相干性约束,而MRA模块则利用未标记视频预测静态动作图像的运动信息。我们证明了我们的框架的优势,基于四个基准人类动作数据集有限的标记数据。
2019-12-01 cs.CV
Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior
提出基于局部刚性先验的自监督3D场景流估计方法,通过分段刚性运动生成伪标签并利用有效性掩码训练,在多个数据集上达到最先进性能。
2023-10-17 cs.CV
Auto4D: Learning to Label 4D Objects from Sequential Point Clouds
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
在过去的几年里,由于深度学习方法,我们看到了物体感知(特别是在4D时空维度)的巨大进步。然而,它们通常依赖于大量高质量的标签来实现良好的性能,这通常需要人工注释者进行耗时且昂贵的工作。为了解决这个问题,我们提出了一种自动注释流水线,它在3D空间中生成准确的对象轨迹(即,4D标签)。其关键思想是将4D对象标签分解为两部分:3D中的对象大小(对于刚性对象来说,它是固定的)和运动路径(描述对象姿态随时间的演变)。而不是在一个镜头中生成一系列的标签,我们采用了一个迭代的细化过程,在线生成的目标检测跟踪通过时间作为初始化。考虑到廉价但有噪声的输入,我们的模型通过重新估计对象大小和平滑运动路径来产生更高质量的4D标签,其中通过利用整个轨迹上的聚合观察和运动线索来实现改进。我们在一个大规模的驾驶数据集上验证了所提出的方法,并显示出减少了25%的人类注释工作。我们还展示了我们的方法在注释器在循环设置中的好处。
2021-03-11 cs.CV
Un-EVIMO: Unsupervised Event-Based Independent Motion Segmentation
University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(阿基米德、阿泰纳RC)
本研究提出首个利用几何约束生成IMO伪标签的无监督事件框架,在EVIMO数据集上评估显示其IMO分割性能与监督方法相当,可处理任意非预定物体且易扩展至无昂贵标注的数据集。
2026-08-13 cs.CV
Motion-example-controlled Co-speech Gesture Generation Leveraging Large Language Models
State Key Lab of CAD\&CG, Zhejiang University Hangzhou China;State Key Lab of CAD\&CG, Zhejiang University
本文提出 MECo 框架,利用微调后的 LLM 将动作样例作为显式提示上下文,生成兼具样例特征与语音一致性的协同语音手势,并在三项指标上达到最优。
2025-07-27 cs.CV
Human Motion Anticipation with Symbolic Label
University of Bonn(波恩大学)
预测人体运动取决于两个因素:过去的运动和人的意图。虽然第一个因素已被广泛用于预测人体运动的短序列,第二个仍然难以捉摸。在这项工作中,我们通过符号表示来近似一个人的意图,例如细粒度的动作标签,如步行或坐下。预测符号表示比预测具有复杂相互依赖性的全身姿势容易得多。然而,知道未来的动作使得预测人体运动更容易。我们利用这种连接,首先预计符号标签,然后生成人体运动,条件是人体运动输入序列以及预测标签。这允许模型提前许多步预测运动变化并相应地调整姿势。我们在短期和长期人体运动预测方面取得了最先进的成果。
2019-12-13 cs.CV cs.LG
Improved Handling of Motion Blur in Online Object Detection
University College London(伦敦大学学院)
我们希望检测特定类别的对象,在线视觉系统,将在现实世界中运行。目标检测已经非常具有挑战性。当图像模糊时,从汽车或手持电话中的相机中获取图像就更难了。大多数现有的努力要么集中在清晰的图像上,容易标记地面真相,要么将运动模糊视为许多通用腐败之一。相反,我们特别关注自运动引起的模糊的细节。我们探讨了五类补救措施,每一类都针对清晰和模糊图像之间性能差距的不同潜在原因。例如,首先对图像进行去模糊会改变其人类可解释性,但目前,仅部分改善了目标检测。其他四类补救措施涉及多尺度纹理、分布外测试、标签生成和模糊类型调节。令人惊讶的是,我们发现,自定义标签生成旨在解决空间模糊性,在所有其他人之前,显着提高目标检测。此外,与分类的结果相反,我们看到了一个值得注意的提升,通过调整我们的模型对运动模糊的定制类别。我们在模糊的COCO图像和真实世界的模糊数据集上验证和交叉实验不同的补救措施,产生一个简单实用的最受欢迎的模型,具有优越的检测率。
2021-03-30 cs.CV
Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos
Applied Intuition;Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出一种无标签、教师引导的框架,通过未经处理的现实视频学习自动驾驶表示,无需姿态、标签或LiDAR,实现高效的自动驾驶感知和规划。
2026-03-04 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);Allen Institute for AI(艾伦人工智能研究所);Comcast Labs, DC(康卡斯特实验室(华盛顿特区))
即使卷积神经网络(CNN)在各种视觉识别任务中的最新进展,最先进的动作识别系统仍然依赖于手工制作的运动特征(诸如光流)来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet,直接从原始像素训练单流网络,以联合估计光流,同时用卷积神经网络识别动作,在单个模型中捕获外观和运动。此外,我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比,我们的模型显著提高了动作识别的准确性,提高了31%。在没有对大型外部标记数据集进行预训练的情况下,我们的模型通过充分利用运动信息,实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
Self-supervised HDR Imaging from Motion and Exposure Cues
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的高动态范围(HDR)技术扩展了当前相机的能力,其中具有宽范围照明的场景不能用单个低动态范围(LDR)图像准确地捕获。这通常通过捕获具有变化的曝光值的若干LDR图像来实现,然后将其信息并入合并的HDR图像中。虽然这种方法对于静态场景工作良好,但动态场景提出了若干挑战,主要涉及难以找到可靠的像素对应。数据驱动的方法通过利用成对的LDR-HDR训练数据学习端到端映射来解决该问题,但是在实践中,生成用于动态场景的这样的HDR地面实况标签是耗时的,并且需要复杂的过程,该过程假定对场景的某些动态元素(例如,演员姿势)和可重复的照明条件(定格捕捉)的控制。在这项工作中,我们提出了一种新的自监督方法,用于可学习的HDR估计,该方法消除了对HDR地面真实标签的需求。我们建议利用LDR图像的内部统计数据来创建HDR伪标签。我们分别利用输入图像的静态和曝光良好的部分,结合合成照明裁剪和运动增强,提供高质量的训练样本。实验结果表明,使用我们提出的自我监督方法训练的HDR模型与在完全监督下训练的模型相比,性能具有竞争力,并且在很大程度上优于以前同样不需要任何监督的方法。
2022-03-23 cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University(迪肯大学);Champion Data(冠军数据公司);Paralympics Australia(澳大利亚残奥委员会)
研究体育视频中精确事件定位问题,提出时间特征蒸馏半监督目标及Transformer Gate Shift模块,通过对齐主干特征保留关键线索,实验显示在多数据集上相比基线有显著提升,减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Sim2real transfer learning for 3D human pose estimation: motion to the rescue
Deepmind(深度思维);University of Oxford(牛津大学)
合成视觉数据可以提供几乎无限的多样性和丰富的标签,同时避免隐私和偏见的道德问题。然而,对于许多任务,目前在合成数据上训练的模型对真实数据的泛化能力很差。3D人体姿势估计任务是这个sim2real问题的一个特别有趣的例子,因为基于学习的方法在给定真实训练数据的情况下表现相当好,但标记的3D姿势在野外非常难以获得,限制了可扩展性。在本文中,我们表明,标准的神经网络方法,在合成RGB图像上训练时表现不佳,当数据经过预处理以提取有关人的运动的线索时,可以表现良好,特别是光流和2D关键点的运动。因此,我们的研究结果表明,当视频可用时,运动可以是弥合sim2real差距的简单方法。我们在Wild数据集中的3D Poses上进行了评估,这是3D姿态估计最具挑战性的现代基准,在那里我们展示了完整的3D网格恢复,与在真实3D序列上训练的最先进的方法不相上下,尽管只在SURREAL数据集的合成人上进行了训练。
2019-11-14 cs.CV
Recurrent Network Models for Human Dynamics
University of California, Berkeley(加州大学伯克利分校)
我们提出了编码器-递归-解码器(ERD)模型,用于识别和预测视频和运动捕捉中的人体姿势。ERD模型是一个递归神经网络,在递归层之前和之后合并了非线性编码器和解码器网络。我们测试ERD架构的实例化的任务中的运动捕捉(mocap)生成,身体姿势标签和身体姿势预测的视频。我们的模型处理跨多个主题和活动域的mocap训练数据,并合成新颖的运动,同时避免长时间漂移。对于人体姿势标记,ERD通过解决左右身体部位混淆而优于每帧身体部位检测器。对于视频姿态预测,ERD预测跨越400 ms的时间范围的身体关节位移,并且优于基于光流的一阶运动模型。ERD扩展了文献中以前的长短期记忆(LSTM)模型,以共同学习表示及其动态。我们的实验表明,这种表示学习对于时空中的标记和预测都至关重要。我们发现这是时空视觉域与1D文本,语音或手写体相比的一个区别特征,其中直接的硬编码表示在直接与经常性单元结合时显示出出色的结果。
2015-09-29 cs.CV
Generative Human Motion Stylization in Latent Space
University of Alberta(阿尔伯塔大学)
本文提出在预训练自编码器潜空间中分解运动的内容码与概率风格码,并通过生成模型实现多样化的人体运动风格化,在轻量设计下取得了优于现有方法的风格重现与内容保持效果。
2024-02-24 cs.CV
From Sharp to Blur: Unsupervised Domain Adaptation for 2D Human Pose Estimation Under Extreme Motion Blur Using Event Cameras
KAIST(韩国科学技术院)
针对运动模糊导致人体姿态估计性能下降的问题,提出利用事件相机的无监督域适应方法,结合事件增强生成运动感知模糊图像与学生-教师伪标签迭代框架,实现目标域无标注下的鲁棒姿态估计。
2025-07-30 cs.CV
MLP: Motion Label Prior for Temporal Sentence Localization in Untrimmed 3D Human Motions
College of Computer Science, Sichuan University(四川大学计算机学院)
本文针对3D人体运动时序句子定位问题,提出两种标签先验辅助训练方案以解决数据语义模糊导致的预测粗糙问题,其MLP模型在BABEL和HumanML3D数据集上高IoU指标均超越先前工作。
2024-04-21 cs.AI cs.CV
Classification of Human Whole-Body Motion using Hidden Markov Models
Karlsruher Instituts für Technologie(卡尔斯鲁厄理工学院)
人体运动在许多领域都起着重要的作用。大型数据库存储并提供人类运动的记录。然而,用多个标签注释每个运动是一个繁琐且容易出错的过程。这篇学士学位论文提出了不同的方法来解决多标签分类问题,使用隐马尔可夫模型(HMM)。首先,介绍了可以直接从原始数据中获得的不同特征。接下来,得到额外的特征以提高分类性能。然后使用这些特征来使用两种不同的方法执行多标签分类。第一种方法简单地将多标签问题转化为多类问题。第二种新颖的方法解决了同样的问题,而不需要通过直接从似然分数预测标签来构建转换。第二种方法与标签的数量呈线性关系,而第一种方法则会受到组合爆炸的影响。在由454个运动组成的数据集上评估分类过程的所有方面。在测试集上,系统1的准确度为98.02%,系统2的准确度为93.39%。
2016-05-05 cs.CV cs.LG
Learning to Generate Diverse Pedestrian Movements from Web Videos with Noisy Labels
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出从网络视频中学习生成多样化行人运动,构建了CityWalkers数据集并提出了PedGen生成模型,通过自动标签过滤、掩码嵌入和3D上下文编码器利用噪声标签与上下文因素,在真实与模拟环境中实现了优于基线方法的性能及零样本泛化。
2024-10-10 cs.CV
Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition
Zhejiang University(浙江大学);Harvard Medical School(哈佛医学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
基于手势的动作识别被广泛应用于各种领域,例如,监控和人机交互。现有的模型主要是以监督的方式学习的,因此严重依赖于大规模的标记数据,当标签过于昂贵时,这可能是不可行的。在本文中,我们提出了一种新的对比度重建表示学习网络(CRRL),同时捕捉姿势和运动动态的无监督的基于动作识别。它主要由三部分组成:序列重构器、对比运动学习器和信息融合器。序列重构器通过重构从骨架坐标序列中学习表示,因此所学习的表示倾向于关注琐碎的姿势坐标,并且在运动学习中犹豫不决。为了增强运动的学习,对比运动学习器分别在从坐标序列和附加速度序列学习的表示之间执行对比学习。最后,在信息融合器中,我们探索了多种策略来结合序列重建器和对比运动学习器,并提出通过基于知识蒸馏的融合策略将运动学习从对比运动学习器转移到序列重建器来同时捕获姿势和运动。几个基准上的实验结果,即,NTU RGB+D 60、NTU RGB+D 120、CMU mocap和NW-UCLA证明了所提出的CRRL方法的前景,其性能远远优于最先进的方法。
2023-02-11 cs.CV
Human Motion Detection Using Sharpened Dimensionality Reduction and Clustering
Bernoulli Institute/Department of Computer Science, University of Groningen(格罗宁根大学伯努利学院/计算机科学系);University of Groningen(格罗宁根大学);Bernoulli Institute(伯努利学院);Department of Computer Science(计算机科学系);Groningen(格罗宁根)
锐化降维(SDR),这属于多维投影技术的类,最近被引入到解决的挑战,在探索性和可视化分析的高维数据。SDR已被应用于各种现实世界的数据集,如人类活动的感官数据和天文数据集。然而,从生成的投影手动标记样本是昂贵的。为了解决这个问题,我们在这里提出使用聚类方法,如k-means,层次聚类,基于密度的空间聚类的应用程序与噪声(DBSCAN),和谱聚类很容易标记的二维投影的高维数据。我们在一系列合成和真实世界的数据集上测试了我们的SDR管道和聚类方法,包括从智能手机加速度计或陀螺仪记录的各种运动中提取的两个不同的公共人类活动数据集。我们应用聚类来评估SDR的视觉聚类分离,定性和定量。我们的结论是,聚类SDR的结果产生更好的标记结果比聚类普通DR,和k-means是SDR的聚类精度,易用性和计算的可扩展性方面的建议聚类方法。
2022-02-23 cs.CV
Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
人体运动预测的目的是根据观察到的骨架序列生成未来的人体运动帧。最近的方法采用递归神经网络(RNN)的最新隐藏状态来编码历史骨架,这只能解决短期预测问题。在这项工作中,我们提出了一个运动上下文建模总结历史的人类运动相对于当前的预测。提出了一种改进的高速公路单元(MHU),用于有效地消除不动的关节和估计下一个姿态给定的运动上下文。此外,我们通过最小化用于长期运动预测的克矩阵损失来增强运动动态性。实验结果表明,该模型可以很好地预测人类的未来运动,这产生了优于相关的国家的最先进的方法的性能。此外,指定的运动上下文与活动标签,使我们的模型执行人体运动转移。
2018-05-07 cs.CV
PseudoProp: Robust Pseudo-Label Generation for Semi-Supervised Object Detection in Autonomous Driving Systems
University at Buffalo, SUNY(纽约州立大学布法罗分校);Bosch Center for Artificial Intelligence(博世人工智能中心);University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Amazon(亚马逊)
半监督目标检测方法广泛应用于自动驾驶系统中,其中仅标记一小部分对象。为了将信息从标记的对象传播到未标记的对象,必须为未标记的对象生成伪标签。虽然伪标签已被证明可以显著提高半监督目标检测的性能,但将基于图像的方法应用于视频帧会导致使用这种生成的伪标签的大量未命中或错误检测。在本文中,我们提出了一种新的方法,伪Prop,产生强大的伪标签,利用运动连续性的视频帧。具体来说,PseudoProp使用一种新的双向伪标签传播方法来补偿误检测。基于特征的融合技术也被用来抑制推理噪声。在大规模Cityscapes数据集上进行的大量实验表明,我们的方法在mAP 75上的性能比最先进的半监督目标检测方法高出7.4%。
2022-04-16 cs.CV
Beyond Label Semantics: Language-Guided Action Anatomy for Few-shot Action Recognition
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能教育部重点实验室);The University of Tokyo(东京大学);Shanghai AI Laboratory(上海人工智能实验室);E-surfing Vision Technology Co., Ltd(亿欧视觉科技有限公司)
针对少样本动作识别中标签无法充分利用动作固有知识的问题,提出语言引导动作解剖(LGA)框架,利用LLM分解标签为原子动作描述、视觉模块分割视频为原子阶段并细粒度融合特征,结合多模态匹配机制,在多个基准上取得最优性能。
2025-08-24 cs.CV
Joint Optimization for 4D Human-Scene Reconstruction in the Wild
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出JOSH方法,通过联合优化场景、相机姿态和人体运动,从单目视频中实现野外4D人体-场景重建,优于现有方法。
2026-07-01 cs.CV
Consistency Prototype Module and Motion Compensation for Few-Shot Action Recognition (CLIP-CP$\mathbf{M^2}$C)
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院)
针对少样本动作识别中标签利用不足和运动信息缺失问题,提出CLIP-CP$M^2$C网络,通过CLIP多模态比较、查询文本信息补偿和双向差分运动特征,在标准基准上取得与最先进方法相当的性能。
2023-12-02 cs.CV
Unsupervised Learning of View-invariant Action Representations
Graduate School for Integrative Sciences and Engineering(整合科学与工程研究生院);National University of Singapore(新加坡国立大学);Smart Systems Institute(智能系统研究所);Department of Computer Science and Engineering(计算机科学与工程系);University of Minnesota(明尼苏达大学);School of Computing(计算学院)
最近成功的人类动作识别与深度学习方法大多采用监督学习范式,这需要大量的手动标记的数据,以实现良好的性能。然而,标签收集是一个昂贵且耗时的过程。在这项工作中,我们提出了一个无监督学习框架,利用未标记的数据来学习视频表示。与以往的视频表示学习不同,我们的无监督学习任务是使用来自源视图的视频表示来预测多个目标视图中的3D运动。通过学习外推跨视图运动,该表示可以捕获对动作有区别的视图不变运动动态。此外,我们提出了一种视图对抗训练方法来增强视图不变特征的学习。我们证明了在多个数据集上学习的动作识别表示的有效性。
2018-09-06 cs.CV
Towards an Unequivocal Representation of Actions
University of Bristol(布里斯托尔大学)
这项工作介绍了动词只表示动作和交互;描述类似的运动(例如“开门”,“打开橱柜”)的问题,并区分不同的(例如“开门”与“开瓶”)使用动词只标签。当前的动作识别方法忽略了动词之间合理的语义歧义和类重叠(图1),依赖于对象来消除交互的歧义。我们偏离了单动词标签,并引入了观察和多个动词标签之间的映射-为了创建一个明确的动作表示。新的表示受益于增加的词汇量和软分配到丰富的动词标签空间。我们使用双流融合CNN将这些表示作为多输出回归进行学习。所提出的方法优于传统的单动词标签(也称为多数表决)的三个自我中心的数据集的识别和检索。
2018-05-10 cs.CV
MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild
Northwestern Polytechnical University(西北工业大学);Maniformer
MEgoVista提出一种离线流程,从单个未准备的自我中心视频重建公制双手和头部运动,利用校准立体视觉设定尺度,并在运动捕捉体积内独立验证,为操作学习提供可扩展的标签来源。
2026-10-23 cs.CV
Towards Learning Monocular 3D Object Localization From 2D Labels using the Physical Laws of Motion
University of Augsburg(奥格斯堡大学)
本文提出仅用二维标签和运动物理定律训练单目三维定位模型,无需三维标注,在真实数据上平均距离误差仅6厘米,为难以获取三维训练数据的场景提供了可行方案。
2023-11-29 cs.AI cs.CV cs.LG
LangPose: Language-Aligned Motion for Robust 3D Human Pose Estimation
McMaster University(麦斯特大学)
针对2D到3D人体姿态提升因深度模糊和遮挡导致的不适定问题,提出LangPose框架,通过对齐运动嵌入与细粒度动作文本嵌入利用语义信息,经预训练和微调优化,在Human3.6M等数据集上实现SOTA性能。
2025-11-12 cs.CV
Language-Assisted Human Part Motion Learning for Skeleton-Based Temporal Action Segmentation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳校区机器人学国家重点实验室);e-Media Research Lab, KU Leuven(鲁汶大学电子媒体研究实验室);Peng Cheng Laboratory(鹏城实验室)
本文提出语言辅助人体部位运动表示学习方法LPL,通过解耦部位运动编码和语言辅助分布对齐,在基于骨架的时间动作分割中实现部位级与全身级运动表示学习,并在多个数据集上取得最先进性能。
2024-10-08 cs.CV
Fine-Grained Semantic Segmentation of Motion Capture Data using Dilated Temporal Fully-Convolutional Networks
German Research Center for Artificial Intelligence (DFKI) Saarbrücken(德国人工智能研究中心(DFKI)萨尔布吕肯);Saarland University(萨尔大学);Max-Planck Institute for Informatics(马克斯-普朗克计算机科学研究所)
人体运动捕捉数据在数据驱动的角色动画中得到了广泛的应用。为了生成逼真、自然的运动,大多数数据驱动的方法需要相当大的预处理工作,包括运动分割和注释。现有的(半)自动解决方案要么需要手工制作的功能,运动分割或不产生所需的运动合成和建立大规模的运动数据库的语义注释。此外,人类标记的注释数据由于设计而遭受标记器间和标记器内的不一致。我们提出了一个半自动的框架,语义分割的运动捕捉数据的基础上监督机器学习技术。它首先将运动捕捉序列转换为"运动图像“,并应用卷积神经网络进行图像分割。扩展的时间卷积使得能够从大的感受野提取时间信息。我们的模型优于两种最先进的动作分割模型,以及流行的序列建模网络。最重要的是,我们的方法在嘈杂和不准确的训练标签下非常强大,因此可以处理标记过程中的人为错误。
2019-03-02 cs.CV cs.GR cs.LG