DeMoGen: Towards Decompositional Human Motion Generation with Energy-Based Diffusion Models
ReLER, AAII, University of Technology Sydney(技术悉尼大学);CCAI, Zhejiang University(浙江大学)
DeMoGen通过能量扩散模型实现动作分解生成,提出三种训练变体以促进动作分解学习,并构建文本分解数据集支持组合训练。
2025-12-26 cs.CV
Seamless Human Motion Composition with Blended Positional Encodings
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本文提出 FlowMDM,通过混合位置编码和姿态中心交叉注意力实现无需后处理的无缝长时人体运动合成,并在 Babel 和 HumanML3D 上取得最优效果,同时提出新的过渡平滑度指标。
2024-02-23 cs.CV
MixerMDM: Learnable Composition of Human Motion Diffusion Models
Universidad de Alicante(阿利坎特大学);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);King’s College London(伦敦国王学院)
提出MixerMDM,首个可学习的模型组合技术,通过动态混合策略结合预训练文本条件人体运动扩散模型,实现单人与多人运动的细粒度控制,并引入新评估技术衡量交互与个体质量。
2025-04-01 cs.CV
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
Deep Compositional Phase Diffusion for Long Motion Sequence Generation
Hong Kong Baptist University(香港 Baptist 大学)
针对多语义运动片段组合生成中的过渡不连续问题,提出组合相位扩散框架,利用SPDM和TPDM在潜在频域整合语义与相位信息,实现语义对齐且过渡连续的长运动序列生成,并支持运动插值。
2025-10-16 cs.CV cs.MM
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出一种快速自回归框架,通过解耦控制学习并保持统一视频先验,实现人体运动和相机轨迹的组合控制,支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
Human Motion Diffusion as a Generative Prior
Tel-Aviv University(特拉维夫大学)
本文提出基于扩散先验的顺序、并行和模型三种组合方式,分别解决长序列生成、双人交互和细粒度控制问题,并引入DoubleTake、ComMDM和DiffusionBlending方法,实验验证其有效性。
2023-08-30 cs.CV cs.GR
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore(新加坡国立大学);Baidu Inc.(百度公司)
本文提出ONE-SHOT框架,通过空间解耦运动注入和混合上下文整合,实现高效的人类-环境视频合成,优于现有方法,具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
Generation of Complex 3D Human Motion by Temporal and Spatial Composition of Diffusion Models
Florence University(佛罗伦萨大学)
针对训练阶段未见过的复杂3D人体动作生成难题,提出利用GPTs知识分解复杂动作、结合扩散模型时空重组简单动作的推理阶段方法,可适配任意预训练扩散模型,在基准数据集上性能优于现有最优方法。
2024-09-18 cs.CV cs.LG
Dynamic Motion Blending for Versatile Motion Editing
Institute for AI, Peking University(人工智能研究院,北京大学);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI);Yuanpei College, Peking University(元培学院,北京大学)
本文提出MotionCutMix数据增强与MotionReFit自回归扩散模型,实现从文本指令直接进行空间和时间运动编辑,无需额外规格或大语言模型,达到最先进性能。
2025-09-12 cs.CV
GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));University of Bern(伯尔尼大学);Swiss Data Science Center(瑞士数据科学中心);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
GEM是一种可泛化的自我视觉多模态世界模型,通过参考帧、稀疏特征、人体姿态和自我轨迹控制未来帧生成,实现细粒度物体动态、自我运动和场景组成控制,并开源全部资源。
2024-12-15 cs.CV
CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities
Zhejiang University(浙江大学);Tencent AI Lab(腾讯人工智能实验室);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出CustomCrafter框架,通过即插即用主体学习模块和动态加权视频采样策略,在无需额外视频和恢复性微调的情况下,同时保持视频扩散模型的运动生成能力和概念组合能力,显著提升定制化视频生成质量。
2024-12-27 cs.CV
Encapsulated Composition of Text-to-Image and Text-to-Video Models for High-Quality Video Synthesis
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算);South China University of Technology(华南理工大学)
本文提出无需训练的封装式视频合成器EVS,通过将T2V时序先验封装进T2I生成过程,组合两类模型以提升视频画质与运动平滑性,并实现1.6至4.5倍推理加速。
2025-07-18 cs.CV
Synthesizing Long-Term Human Motions with Diffusion Models via Coherent Sampling
Renmin University of China(中国人民大学)
针对现有长期运动生成方法无法直接生成连贯动作且忽略未来动作影响的问题,提出基于过去条件的扩散模型及两种连贯采样方法,实现了由长文本流控制的连贯长期3D人体运动生成。
2023-08-03 cs.AI cs.CV
Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling
Dartmouth College(达特茅斯学院)
针对动作捕捉数据多样性不足导致运动表示受限的问题,提出利用大规模合成人体运动扩展运动表示空间,并重新设计VQ-VAE分词器以适应扩展空间,显著提升运动词汇覆盖率和组合性,在文本到运动等任务上取得一致提升。
2026-06-29 cs.CV
T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本研究首次针对组合式文本生成视频展开系统研究,提出涵盖7类组合维度、含1400条文本提示的基准T2V-CompBench,设计三类评估指标并验证其有效性,经多模型基准测试发现当前模型在该任务上仍具挑战,为后续研究提供参考。
2025-01-15 cs.CV
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题,本文提出DreamRunner方法,结合脚本结构化规划、检索增强运动自适应与SR3AI模块,实现细粒度故事转视频生成,性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
Spatial-Temporal Multi-Scale Quantization for Flexible Motion Generation
School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);State Key Laboratory of General Artificial Intelligence, BIGAI(一般人工智能国家重点实验室,BIGAI);Department of Automation, Tsinghua University(清华大学自动化系);Yangtze Delta Region Academy of Beijing Institute of Technology, Jiaxing(北京理工大学长江三角洲地区研究院,嘉兴)
本文提出MSQ方法,通过在空间和时间维度将动作序列压缩为多尺度离散tokens,并建立生成式掩码建模模型,有效解决了动作生成中多尺度建模与组合灵活性不足的问题,在多基准上超越现有方法。
2025-08-12 cs.CV
Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization
Nanjing University of Posts and Telecommunications(南京邮电大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
提出Disco-LoRA框架,通过两阶段解耦和重组内容、风格和运动概念,实现多概念视频定制,并采用Z-score正则化协调LoRA权重分布。
2026-06-26 cs.AI cs.CV
MVOC: a training-free multiple video object composition method with diffusion models
Sobey Media Intelligence Laboratory(索贝媒体智能实验室);University of Electronic Science and Technology of China(电子科技大学)
针对视频对象合成需兼顾交互效果与运动身份一致性的难题,提出免训练的MVOC方法,通过DDIM反演、首帧编辑及带视频对象依赖模块的图生视频,性能优于现有SOTA方法。
2024-06-22 cs.CV
CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
University of Bern(伯尔尼大学);LMU Munich(慕尼黑大学)
本研究提出无监督视频生成模型CAGE,无需标注即可通过自监督局部特征约束训练,实现可控的场景组合与物体动画生成,经实验验证可生成高质量、符合控制要求的视频。
2025-03-24 cs.CV
FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);SenseTime Research(商汤科技研究院)
针对文本驱动运动生成中细粒度控制不足的问题,提出基于扩散模型与时空混合注意力(SAMI)的FineMoGen框架,实现高质量细粒度运动生成与零样本编辑,并构建了HuMMan-MoGen数据集。
2023-12-22 cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China(中国科学技术大学);Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院);Shanghai Jiao Tong University(上海交通大学)
提出一种由 LLM 导演的组合式 3D 感知视频生成范式,通过分解文本提示生成各概念 3D 表示并组合优化,实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用,实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
Compositional Video Generation via Inference-Time Guidance
Tel-Aviv University(特拉维夫大学);Bar Ilan University(巴伊兰大学);NVIDIA Research(NVIDIA研究)
本文提出CVG方法,通过利用交叉注意力图中的空间时间接地信号,提升冻结文本到视频模型的组合忠实度,无需修改模型结构或微调生成器。
2026-05-14 cs.CV
VideoTetris: Towards Compositional Text-to-Video Generation
Peking University(北京大学);Kuaishou Technology(快手科技)
针对复杂长视频生成中多对象及数量动态变化的挑战,提出VideoTetris框架,通过时空组合扩散和增强型视频数据预处理及参考帧注意力机制,实现高质量的组合式文本到视频生成。
2024-10-14 cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology(快手科技)
SingDance是统一视频扩散框架,将语音表达设为语义角色,通过硬紧凑路由等技术实现组合式零样本歌舞视频生成,参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
TPC: Test-time Procrustes Calibration for Diffusion-based Human Image Animation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对基于扩散的人体图像动画系统因参考图像与目标姿态帧人体形状组成错位导致输出质量下降的问题,提出测试时普罗克拉斯提斯校准(TPC),增强系统鲁棒性,无需额外训练即可提升测试时有效性。
2025-04-14 cs.CV
Comp4D: LLM-Guided Compositional 4D Scene Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
提出Comp4D框架,利用LLM分解文本提示并规划轨迹,分别构建场景中各4D物体,结合组合式分数蒸馏技术,实现了高质量且具备丰富物体交互的组合式4D场景生成。
2024-03-25 cs.CV
OmniMoGen: Unifying Human Motion Generation via Learning from Interleaved Text-Motion Instructions
Zhejiang University(浙江大学);HiThink Research(HiThink研究院)
OmniMoGen通过学习交错的文本-运动指令,实现了人类运动生成的统一框架,展示了在文本到运动、运动编辑和AnyContext任务上的卓越性能。
2025-12-22 cs.CV
DC-Motion: Decoupling Structure and Details via Discrete-Continuous Tokens for Human Motion Generation
Wuhan University(武汉大学)
提出DC-Motion框架,通过离散-连续VAE将运动分解为语义离散令牌和细节连续残差,结合掩码自回归模型和残差扩散模型,实现复杂文本指令下的高质量运动生成。
2026-07-07 cs.CV cs.GR cs.RO
Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model
Michigan State University(密歇根州立大学);Baidu Research (USA)(百度研究院(美国))
本文提出利用去噪扩散概率模型从复杂自然语言描述生成3D人体运动,通过无分类器引导融合文本嵌入,在HumanML3D上取得有竞争力结果并支持零样本生成。
2023-04-14 cs.CV
VideoMage: Multi-Subject and Motion Customization of Text-to-Video Diffusion Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
VideoMage提出统一框架,通过主体与运动LoRA及外观无关运动学习,实现多主体交互运动的视频定制,实验证明其生成连贯可控视频优于现有方法。
2025-03-27 cs.CV
RoboDream: Compositional World Models for Scalable Robot Data Synthesis
USC Physical Superintelligence (PSI) Lab(USC物理超智能实验室);Toyota Research Institute(丰田研究院)
提出一种以具身为中心的组合世界模型,通过将轨迹执行与环境合成解耦,实现从新视角、新场景和新物体中合成逼真演示数据,并展示其在数据扩展和减少真实数据需求方面的有效性。
2026-06-01 cs.CV cs.RO
AdaHuman: Animatable Detailed 3D Human Generation with Compositional Multiview Diffusion
NVIDIA
提出AdaHuman框架,通过姿态条件3D联合扩散模型和组合式3DGS细化模块,从单张自然图像生成高保真可动3D虚拟人,显著优于现有方法。
2025-05-30 cs.CV
Let Your Image Move with Your Motion! -- Implicit Multi-Object Multi-Motion Transfer
Tianjin University(天津大学);University of New South Wales(新南威尔士大学);University of Electronic Science and Technology of China(电子科技大学);Hainan University(海南大学);University of Auckland(奥克兰大学)
本文提出FlexiMMT框架,实现多对象多动作的隐式图像到视频转换,通过解耦注意力机制和改进的掩码传播机制,实现精确且高质量的多对象动作迁移。
2026-03-13 cs.CV
SimDiff: Simulator-constrained Diffusion Model for Physically Plausible Motion Generation
Waseda University(早稻田大学);Nanyang Technological University(南洋理工大学);Institute of Science Tokyo(东京科学研究所)
SimDiff提出一种模拟器约束的扩散模型,将环境参数直接融入去噪过程,无需推理时重复调用模拟器,高效生成物理合理的人体运动,并支持细粒度控制与组合泛化。
2025-09-25 cs.CV
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World(Lica世界);San Francisco, United States of America(美国旧金山);ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea(ICML’26 人类-人工智能协同创作研讨会,韩国首尔)
本文提出一个自动化评估框架,用于评估设计动画中布局、动作正确性、时间质量和内容保真度,以替代主观人类评估,为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
SMooGPT: Stylized Motion Generation using Large Language Models
University of Edinburgh(爱丁堡大学)
SMooGPT通过利用大语言模型的推理、组合和生成能力,实现风格化动作生成,提升动作控制和泛化能力。
2026-01-26 cs.CV cs.GR
InteractPro: A Unified Framework for Motion-Aware Image Composition
College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);DAMO Academy, Alibaba Group(阿里达摩院)
InteractPro提出一个统一框架,通过LVLM规划器结合物理模拟与视频扩散,实现可控且连贯的运动感知图像合成,克服传统方法需手动规划且输出静态的局限。
2025-09-09 cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣地亚哥分校);NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学)
动作视频是一种复杂的信号,在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战,我们建议在一个称为动作图的图形结构中表示动作,并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务(AG 2 Vid)解开运动和外观功能,并通过纳入行动的调度机制,促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估,结果表明,与基线相比,生成的视频具有更好的视觉质量和语义一致性。最后,我们的模型展示了zero-shot的能力,通过合成新的成分的学习行动。有关代码和预训练模型,请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
MoRAG -- Multi-Fusion Retrieval Augmented Generation for Human Motion
CVIT, IIIT Hyderabad(印度理工学院海得拉巴分校CVIT);University of California San Diego(加州大学圣迭戈分校)
本研究提出MoRAG多部件融合检索增强生成策略,通过LLM优化检索、多部件检索及空间组合生成样本,可作为即插即用模块提升文本驱动人体运动扩散模型的性能。
2024-12-10 cs.CV cs.MM
MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent
Nanyang Technological University(南洋理工大学);StepFun;Westlake University(西湖大学)
提出MotionAgent,通过运动场智能体将文本运动信息转为显式运动场,结合光流合成与适配器控制扩散模型,实现细粒度视频运动生成,在VBench上取得领先性能。
2025-10-15 cs.CV cs.GR
MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance
Virginia Tech(弗吉尼亚理工大学)
本研究提出基于分数混合引导的扩散Transformer运动迁移方法MSG,可零样本作用于预训练视频扩散模型,适配多类运动迁移场景,同时推出首个专用运动迁移数据集MotionBench。
2024-12-06 cs.AI cs.CV
More Motion Is Not Always Better Motion: Corpus Composition Governs Whether Augmentation Helps SMPL-Based Parkinsonian Gait Severity Estimation
Credence(克瑞登斯公司)
该研究针对基于SMPL的帕金森病步态严重程度估计,发现动作语料库的速度对比而非数据量决定数据增强效果,合成动作与网络视频无法提升性能,修改表示本身的尝试均失败。
2026-08-28 cs.CV
DisCo: Disentangled Control for Realistic Human Dance Generation
Nanyang Technological University(南洋理工大学);Microsoft(微软公司);University at Buffalo(布法罗大学);Skywork AI(智源人工智能(Skywork AI));Advanced Micro Devices(超威半导体(AMD))
本文提出 DisCo 框架,通过解耦控制架构与人物属性预训练增强真实人物舞蹈生成的组合性和泛化性,可生成外观多样、动作灵活的高质量图像与视频。
2024-04-04 cs.AI cs.CV
Talking-head Generation with Rhythmic Head Motion
University of Rochester(罗切斯特大学);OPPO US Research Center(OPPO美国研究中心)
当人们发表演讲时,他们自然地移动头部,这种有节奏的头部运动传达了韵律信息。然而,在自然移动头部的同时生成唇同步视频是具有挑战性的。虽然非常成功,现有的作品要么生成静止的talkingface视频或依赖于地标/视频帧作为稀疏/密集映射指导来生成头部运动,这导致不切实际或不可控的视频合成。为了克服这些限制,我们提出了一个3D感知的生成网络,以及一个混合嵌入模块和一个非线性合成模块。通过明确地建模头部运动和面部表情,仔细地操纵3D动画,并动态地嵌入参考图像,我们的方法实现了可控的,照片般逼真的,时间上连贯的说话头部视频与自然的头部运动。在几个标准基准上的实验表明,我们的方法在定量和定性比较方面都比最先进的方法取得了更好的结果。该代码可在https://github.com/ lelechen 63/Talking-head-Generation-with-Rhythmic-Head-Motion上获得。
2020-07-16 cs.CV cs.GR
Hierarchical Motion Understanding via Motion Programs
Stanford University(斯坦福大学);MIT(麻省理工学院)
目前的人体运动视频分析方法主要集中在原始像素或关键点作为推理的基本单位。我们认为,添加更高级别的运动原语,可以捕捉自然的粗糙运动单元,如后摆或后续通过,可以用来改善下游的分析任务。这种更高级别的抽象还可以捕获关键特征,例如重复原语的循环,这些特征目前在较低级别的表示中无法访问。因此,我们引入运动程序,神经符号,程序一样的表示,表示运动作为一个组成的高级原语。我们还提出了一个系统,用于自动诱导人体运动的视频和利用运动程序在视频合成的运动程序。实验表明,运动程序可以准确地描述一组不同的人类运动和推断程序包含语义有意义的运动原语,如手臂摆动和跳跃千斤顶。我们的表示也有利于下游任务,如视频插值和视频预测,并优于现成的模型。我们进一步展示了这些程序如何检测各种重复运动,并促进交互式视频编辑。
2021-04-22 cs.AI cs.CV cs.LG
Dynamic Compositional Graph Convolutional Network for Efficient Composite Human Motion Prediction
Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Sony R&D Center China(索尼中国研发中心);Peking University(北京大学)
针对复合人体动作预测任务,本文提出CAG模块生成合成训练数据,并设计DC-GCN模型以高效处理复合动作,在极低额外计算成本下实现了最先进的预测精度。
2023-11-23 cs.CV
H4D: Human 4D Modeling by Learning Neural Compositional Representation
Fudan University(复旦大学);Google(谷歌)
尽管基于深度学习的3D重建取得了令人印象深刻的结果,但直接学习以详细几何形状对4D人体捕获进行建模的技术研究较少。这项工作提出了一种新的框架,可以有效地学习一个紧凑的和组成的表示动态人体利用人体之前,从广泛使用的SMPL参数模型。特别是,我们的表示,命名为H4D,代表了一个动态的三维人类在一个时间跨度与SMPL参数的形状和初始姿态,和潜在的代码编码的运动和辅助信息。提出了一种简单而有效的线性运动模型,以提供粗略和正则化的运动估计,然后利用辅助代码中编码的残差对姿态和几何细节进行逐帧补偿。在技术上,我们引入了新的基于GRU的体系结构,以促进学习和提高表示能力。大量的实验表明,我们的方法不仅是有效的恢复动态人体准确的运动和详细的几何形状,但也适合各种4D人体相关的任务,包括运动重定向,运动完成和未来的预测。请查看项目页面的视频和代码:https://boyanjiang.github.io/H4D/。
2022-04-19 cs.CV
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore(国立新加坡大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
TTOM通过测试时优化与记忆化机制,提升组合视频生成的跨模态对齐能力,实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
TEACH: Temporal Action Composition for 3D Humans
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
给定一系列自然语言描述,我们的任务是生成与文本语义相对应的三维人体运动,并遵循指令的时间顺序。特别是,我们的目标是使一系列的行动,我们称之为时间的行动组成的合成。当前的文本条件运动合成技术仅将单个动作或单个句子作为输入。这部分是由于缺乏包含动作序列的合适的训练数据,但也由于其非自回归模型公式化的计算复杂性,其不能很好地扩展到长序列。在这项工作中,我们解决这两个问题。首先,我们利用最近的BABEL运动文本集合,它有广泛的标记动作,其中许多发生在它们之间的过渡序列。接下来,我们设计了一个基于transformer的方法,它在一个动作中非自回归地操作,但在动作序列中自回归地操作。在我们的实验中,与多个基线相比,这种分层公式证明是有效的。我们的方法,被称为“TEACH为人类运动的临时动作组成”,产生逼真的人类运动的各种各样的行动和时间组成的语言描述。为了鼓励在这个新任务上的工作,我们在我们的$\href{teach.is.tue.mpg.de}{\text{website}}$上提供我们的代码用于研究目的。
2022-09-12 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada(滑铁卢大学视觉与图像处理实验室)
提出CoGS框架,通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支,并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV