AdaHuman: Animatable Detailed 3D Human Generation with Compositional Multiview Diffusion
NVIDIA
提出AdaHuman框架，通过姿态条件3D联合扩散模型和组合式3DGS细化模块，从单张自然图像生成高保真可动3D虚拟人，显著优于现有方法。
2025-05-30 cs.CV
CapTalk: Text-Guided Stylization and Speech-Driven 3D Head Animation
The University of Tokyo（东京大学）；Snap Research, Snap Inc.；RIKEN AIP（理化学研究所AIP）
提出CapTalk框架，通过文本描述控制说话风格和情感，结合语音驱动生成同步唇动和面部表情，支持动态情感变化。
2026-05-28 cs.CV
Multi-Object Sketch Animation by Scene Decomposition and Motion Planning
Renmin University of China（中国人民大学）
针对多对象草图动画的挑战，提出基于场景分解与运动规划的MoSketch方法，通过SDS迭代优化实现无需训练数据的动画生成，实验证明其优越性。
2025-08-02 cs.CV
PMMTalk: Speech-Driven 3D Facial Animation from Complementary Pseudo Multi-modal Features
Macau University of Science and Technology（澳门科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology Beijing（北京科技大学）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
本文提出PMMTalk框架，通过从语音中提取互补的伪视觉和文本特征并进行跨模态对齐，仅需额外一张随机参考人脸图像即可预测面部blendshape系数，实现更准确的语音驱动3D面部动画，并构建了大规模3D-CAVFA数据集。
2023-12-05 cs.AI cs.CV
Text2Scene: Generating Compositional Scenes from Textual Descriptions
University of Virginia（弗吉尼亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了Text2 Scene，这是一个从自然语言描述生成各种形式的组合场景表示的模型。与最近的工作不同，我们的方法不使用生成对抗网络（GANs）。相反，Text2Scene通过关注输入文本的不同部分和生成场景的当前状态，学习在每个时间步长顺序生成对象及其属性（位置，大小，外观等）。我们表明，根据微小的修改，所提出的框架可以处理不同形式的场景表示，包括卡通场景，对应于真实图像的对象布局，和合成图像的生成。与使用自动度量的最先进的基于GAN的方法相比，我们的方法不仅具有竞争力，而且具有产生可解释结果的优势。
2019-06-09 cs.CL cs.CV
A New Method to Capturing Compositional Knowledge in Linguistic Space
School of Computer Science（计算机科学学院）；South-Central Minzu University（西南民族大学）
提出YUKINO方法，通过文本反转和“no”逻辑正则化，在无需硬负样本的情况下提升视觉语言模型的组合理解能力，在SugarCREPE基准上超越现有多模态SOTA模型8%以上。
2024-12-20 cs.CV
One-shot Compositional 3D Head Avatars with Deformable Hair
Xi'an Jiaotong University（西安交通大学）
本文提出一种单张图像生成完整3D头部化身的方法，通过分离头发与面部区域，结合图像到3D提升技术，实现更逼真的头发动态和面部细节。
2026-04-16 cs.CV
PTTA: A Pure Text-to-Animation Framework for High-Quality Creation
Sun Yat-sen University（中山大学）
PTTA是一种纯文本到动画框架，通过微调HunyuanVideo模型实现高质量动画生成，优于现有基线方法。
2025-12-21 cs.AI cs.CV
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World（Lica世界）；San Francisco, United States of America（美国旧金山）；ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
Compositional Entailment Learning for Hyperbolic Vision-Language Models
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马第一大学）；ItalAI（意大利人工智能研究院）；Procederai（普罗塞代莱公司）
本文提出面向双曲视觉-语言模型的组合蕴含学习方法，通过分层组织图像、目标框及文本描述，显著提升了零样本检索与层次化性能。
2025-03-01 cs.AI cs.CV cs.LG
Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video
我们提出了HandAvatar，一种新的表示手部动画和渲染，它可以生成平滑的组成几何和自遮挡感知纹理。具体来说，我们首先开发一个MANO-HD模型作为一个高分辨率的网格拓扑结构，以适应个性化的手形。接着，我们将手部几何结构分解成每一个骨骼的刚性部分，然后重新组合成对的几何编码，以获得一个跨部分一致的占有场。在纹理建模方面，我们提出了一种自遮挡感知的阴影场（SelF）。在SelF中，可驾驶的锚点铺设在MANO-HD表面上，以记录各种手部姿势下的手势信息。此外，定向软占用被设计为描述光线到表面的关系，这是杠杆作用，以产生一个照明场的解纠缠的姿态无关的非线性和姿态相关的照明。从单眼视频数据训练，我们的HandAvatar可以执行自由姿势的手动画和渲染，同时实现卓越的外观保真度。我们还证明，HandAvatar提供了一个路线的手外观编辑。项目网址：https://seanchenxy.github.io/HandAvatarWeb。
2023-03-22 cs.CV cs.GR
SkyReels-A1: Expressive Portrait Animation in Video Diffusion Transformers
Cranberry-Lemon University（蔓越莓柠檬大学）
针对现有肖像动画方法存在的身份失真、背景不稳定等问题，提出基于视频扩散Transformer的SkyReels-A1框架，通过表情感知条件模块、面部图像-文本对齐模块及多阶段训练，提升运动迁移精度、身份保留与时间连贯性，适用于虚拟化身等领域。
2025-02-15 cs.CV
Pose-Guided Human Animation from a Single Image in the Wild
University of Minnesota（明尼苏达大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了一种新的姿势转移方法，从一个单一的图像控制的身体姿势序列的人合成的人类动画。现有的姿势转移方法表现出显着的视觉伪影时，适用于一个新的场景，导致在时间上的不一致性和失败，在保留的身份和纹理的人。为了解决这些限制，我们设计了一个组合神经网络，预测的轮廓，服装标签，和纹理。每个模块化网络明确专用于可以从合成数据学习的子任务。在推理时，我们利用经过训练的网络在UV坐标中生成外观及其标签的统一表示，该表示在各个姿势中保持不变。统一表示提供了不完整但强有力的指导，以响应于姿势变化生成外观。我们使用经过训练的网络来完成外观并将其与背景一起渲染。通过这些策略，我们能够合成人类动画，这些动画可以以时间连贯的方式保留人的身份和外观，而无需对测试场景中的网络进行任何微调。实验表明，我们的方法优于国家的最先进的合成质量，时间一致性，和泛化能力。
2021-11-22 cs.CV
SCAIL-2: Unifying Controlled Character Animation with End-to-End In-Context Conditioning
Z.ai；Tsinghua University（清华大学）
提出SCAIL-2框架，通过端到端上下文条件统一受控角色动画，绕过中间表示直接利用驱动视频，并合成MotionPair-60K数据集，采用上下文掩码和模式RoPE实现统一，结合Bias-Aware DPO减少误差，显著优于现有方法。
2026-08-06 cs.CV
ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
本文提出ReplicateAnyScene框架，通过五阶段流水线实现视频到结构化3D场景的零样本合成，引入C3DR基准评估重建质量，实验表明其在生成高质量3D场景方面优于现有方法。
2026-04-12 cs.CV
Iterative Motion Editing with Natural Language
Stanford University（斯坦福大学）；Snap, Inc.（Snap公司）
本文提出一种使用自然语言迭代编辑角色动画的方法，通过运动学运动编辑算子（MEOs）和预训练语言模型将文本转换为关键帧约束，利用扩散模型生成符合编辑意图且忠实于原始动画的逼真运动。
2024-06-03 cs.CV cs.GR
Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions
Queen Mary University of London（伦敦女王大学）；Samsung AI Centre（三星人工智能中心）；Technical University of Iași（伊阿苏技术大学）
本文提出一种无视觉的单编码器文本到文本检索方法，利用VLLM生成图像描述替代视觉编码器，显著缩小模态差距并提升组合性，在多个基准上以0.3B参数模型取得最先进的零样本性能。
2025-09-23 cs.CV
Dynamic Typography: Bringing Text to Life via Video Diffusion Prior
HKUST（香港科技大学）；Ant Group（蚂蚁集团）；Tel-Aviv University（特拉维夫大学）
本文提出“动态排版”自动化文本动画方案，利用矢量图形和神经位移场，结合形状保持与感知损失，生成语义连贯且可读的动画，优于基线方法。
2024-11-05 cs.CV
Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models
Monash University（莫纳什大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）
提出Cinemo图像动画方法，通过学习运动残差分布、基于结构相似性指数控制运动强度及离散余弦变换噪声细化技术，实现了高一致性、平滑且可控性更强的图像动画生成。
2024-07-23 cs.CV
WARM-CAT: Warm-Started Test-Time Comprehensive Knowledge Accumulation for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学）
WARM-CAT通过温启动测试时综合知识积累，提升组合零样本学习的性能。
2026-02-27 cs.CV
AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对现有4D人-物交互生成方法数据稀缺的问题，提出AvatarGO框架，通过LLM引导接触重定向、对应感知动作优化，实现文本驱动的零样本4D HOI生成，效果优于现有方法，为4D内容创作提供新思路。
2024-10-09 cs.CV
TEMOS: Generating diverse human motions from textual descriptions
École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们解决的问题，从文本描述生成不同的三维人体运动。这项具有挑战性的任务需要两种模式的联合建模：从文本中理解和提取有用的以人为中心的信息，然后生成合理和逼真的人体姿势序列。与大多数以前的工作，重点是从文本描述中生成一个单一的，确定性的，运动，我们设计了一个变分的方法，可以产生多种多样的人体运动。我们提出TEMOS，一个文本条件生成模型，利用变分自编码器（VAE）与人体运动数据的训练，结合文本编码器，产生与VAE潜在空间兼容的分布参数。我们展示了TEMOS框架可以像以前的工作一样产生基于双头动物的动画，以及更具表现力的SMPL身体运动。我们在KIT Motion-Language基准测试中评估了我们的方法，尽管相对简单，但与最先进的方法相比，我们的方法有了显著的改进。代码和模型可在我们的网页上找到。
2022-07-22 cs.CL cs.CV
No MoCap Needed: Post-Training Motion Diffusion Models with Reinforcement Learning using Only Textual Prompts
University of Florence（佛罗伦萨大学）
提出基于强化学习的后训练框架，仅用文本提示微调预训练运动扩散模型，无需动作捕捉数据，通过检索网络奖励和去噪扩散策略优化提升生成质量与多样性。
2025-10-08 cs.CV
AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models
Beihang University（北航）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
AnimaX提出一种前馈3D动画框架，利用联合视频-姿态扩散模型将视频运动先验迁移至任意骨骼网格，通过多视图姿态三角测量和逆运动学实现高效、类别无关的3D动画，在VBench上达到最优性能。
2025-06-24 cs.CV
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University（于默奥大学）；Örebro University（厄勒布鲁大学）
我们介绍CLEVR-Math，一个多模态数学单词问题数据集，由涉及加法/减法的简单数学单词问题组成，部分由文本描述表示，部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景，而是关于应用动作之前或之后的场景状态，因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明，这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Can Large Models Fool the Eye? A New Turing Test for Biological Animation
本文提出BioMotion Arena框架，通过视觉动画和点光源成像对LLMs和MLLMs进行成对比较评估，发现超90%的主流模型无法生成基本人形点光组，为模型性能差异提供了直观判别性反馈。
2025-08-08 cs.AI cs.CV
AnyTop: Character Animation Diffusion with Any Topology
Tel Aviv University（特拉维夫大学）
本文提出 AnyTop 扩散模型，通过融合拓扑信息与关节文本描述的 transformer 去噪网络，实现任意骨骼角色的运动生成，并支持多种下游任务。
2025-06-05 cs.AI cs.CV cs.GR
LivePhoto: Real Image Animation with Text-guided Motion Control
The University of Hong Kong（香港大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出 LivePhoto 系统，通过运动模块、运动强度估计和文本重加权机制，实现由文本控制真实图像的时间运动动画生成。
2023-12-05 cs.CV
DALL-E for Detection: Language-driven Compositional Image Synthesis for Object Detection
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们提出了一种新的范例，使用文本到图像合成框架（例如，DALL-E、稳定扩散等）。所提出的方法将训练数据生成解耦为前景对象掩模生成和背景（上下文）图像生成。对于前景对象掩模生成，我们使用具有对象类名的简单文本模板作为DALL-E的输入来生成一组不同的前景图像。然后使用前景-背景分割算法来生成前景对象掩模。接下来，为了生成上下文图像，首先通过对表示上下文的一小组图像应用图像描述方法来生成上下文的语言描述。这些语言描述，然后使用DALL-E框架生成不同的上下文图像集。然后将这些与第一步中生成的对象掩码合成，以提供用于分类器的增强训练集。我们证明了我们的方法的优势，四个目标检测数据集，包括Pascal VOC和COCO目标检测任务。此外，我们还强调了我们的数据生成方法的组成性质的分布和zero-shot的数据生成方案。
2022-12-22 cs.CV
Causal Graphical Models for Vision-Language Compositional Understanding
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；ImageLab（图像实验室）
针对视觉-语言模型在组合任务中表现不佳的问题，本文提出基于因果图模型建模文本与视觉标记依赖关系的方法，实验表明该方法显著优于现有组合方法及使用更大数据集训练的方法。
2025-04-15 cs.AI cs.CL cs.CV
Every Painting Awakened: A Training-free Framework for Painting-to-Animation Generation
School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件学院）；School of Computer and Information Science, Hefei University of Technology（合肥工业大学计算机与信息学院）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）
本文提出一个免训练的图像到视频合成框架，通过双路径分数蒸馏和混合潜在融合技术，利用预训练模型将静态画作转化为动态动画，在保持原作保真度的同时实现与文本提示的语义对齐。
2025-03-31 cs.CV cs.MM
Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models
OPPO Research Institute（OPPO研究院）
针对文本到图像扩散模型组合能力不足导致的生成图像与提示语义不对齐问题，提出基于BoxNet预测目标框的注意力掩码控制策略，约束提示词元注意力区域，可即插即用提升合成语义准确性。
2023-12-13 cs.CV
EnergyMoGen: Compositional Human Motion Generation with Energy-Based Diffusion Model in Latent Space
ReLER, AAII, University of Technology Sydney（技术悉尼大学）；CCAI, Zhejiang University（浙江大学）
本文提出 EnergyMoGen，通过隐空间感知能量模型与语义感知能量模型的协同能量融合，解决隐扩散模型在多语义概念组合动作生成中的不一致与失真问题，在文本到动作、组合式及多概念动作生成任务上超越现有最先进模型，并可用于扩展动作数据集。
2025-06-04 cs.CV
AnimaSpark: A Feed-Forward Method for Animating Arbitrary 3D Objects
Bytedance（字节跳动）
提出AnimaSpark管道，通过将带骨骼的3D模型渲染为多层图像表示，输入视频生成模型，再提取2D关键点运动并提升至3D空间，实现类别无关的3D动画生成，在文本-运动对齐、运动质量和计算效率上优于现有方法。
2026-06-09 cs.CV cs.GR
STPro: Spatial and Temporal Progressive Learning for Weakly Supervised Spatio-Temporal Grounding
BITS Pilani（毕拉尼理工学院）；University of Central Florida（中佛罗里达大学）
本文针对弱监督时空视频定位任务提出STPro渐进式学习框架，通过子动作时间课程学习与拥挤度引导空间课程学习两个模块，有效解决了组合动作理解与复杂场景适应问题，在多个基准数据集上取得最优性能。
2025-04-05 cs.CV
Compositional Machine Design as Program Synthesis with LLMs
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本研究提出基于物理模拟的组合式机器设计任务，构建BesiegeField测试平台，测试LLM智能体的机器程序合成能力，并用模拟奖励微调Qwen2.5-14B提升了机器性能，为相关研究提供参考。
2026-10-14 cs.AI cs.CL cs.CV
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
针对现有视频虚拟形象缺乏语义理解的问题，提出OmniHuman-1.5框架，利用多模态大语言模型生成结构化语义指导，并引入多模态DiT架构与伪最后一帧设计，实现动作的语义连贯与表达，在多项指标上达到领先性能。
2025-08-26 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出组合式视频生成框架 VideoComposer，通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件，实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）
提出一种由 LLM 导演的组合式 3D 感知视频生成范式，通过分解文本提示生成各概念 3D 表示并组合优化，实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
Textual Decomposition Then Sub-motion-space Scattering for Open-Vocabulary Motion Generation
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；East China Normal University（华东师范大学）；Zhejiang University（浙江大学）
本文提出DSO-Net，通过文本分解和子运动空间散射，将开放词汇运动生成从外推转为插值，显著提升泛化性能。
2024-11-06 cs.CV
T3M: Text Guided 3D Human Motion Synthesis from Speech
OpenGVLab；Shanghai AI Laboratory（上海人工智能实验室）；New York University（纽约大学）
针对现有语音驱动3D动作合成方法仅依赖音频导致结果不准确且不灵活的问题，提出文本引导的方法T3M，通过文本输入实现精确控制，在定量与定性评估上均大幅超越现有方法。
2024-08-23 cs.CV
T2M Mamba: Motion Periodicity-Saliency Coupling Approach for Stable Text-Driven Motion Generation
Shenzhen University（深圳大学）；Jinan University（济南大学）
T2M Mamba通过周期性-显著性耦合方法，解决文本驱动运动生成中的周期性漂移和语义脆弱性问题，实现更稳定的运动生成。
2026-10-12 cs.CV
MUSE: Multi-Subject Unified Synthesis via Explicit Layout Semantic Expansion
Beijing University of Posts and Telecommunications（北京邮电大学）；Kuaishou Technology（快手科技）
针对现有方法难以同时满足多主体组合合成中空间精度与身份保留的问题，提出MUSE框架，通过串联交叉注意力（CCA）集成布局与文本引导，结合两阶段训练策略，实现更优的零样本端到端生成效果。
2025-08-20 cs.CV
EmoteGPT: 3D Human Facial Expressions from Natural Language Descriptions
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰信息学园区）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
研究如何从文本精确控制3D面部表情，将其转化为3D可变形模型解缠参数空间中的回归问题。引入Txt2Emote数据集，提出EmoteGPT框架，经大规模数据增强训练，在表情识别等方面超越现有方法。
2026-07-07 cs.CV
