Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University（科奇大学）；KUIS AI Center（科奇大学智能系统中心）
提出将 SlotAdapt 扩展至视频的时间对象中心框架，通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出多智能体协作框架 GenMAC，通过设计、生成与迭代重新设计流程及自路由修正机制，提升复杂组合文本提示下的视频生成质量。
2024-12-05 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出组合式视频生成框架 VideoComposer，通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件，实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University（浙江大学）
提出免训练框架DyST-XL，通过动态布局规划、双提示注意力控制和实体一致性约束，显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
CoMo: Compositional Motion Customization for Text-to-Video Generation
Zhejiang University（浙江大学）；HKUST（香港科技大学）；Xmax.AI Ltd（Xmax人工智能有限公司）；HIT (SZ)（哈尔滨工业大学（深圳））
CoMo提出两阶段框架，通过解耦运动与外观并采用分而治之合并策略，实现文本到视频生成中的多主体组合运动定制，达到最先进性能。
2025-10-27 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）
本文提出ONE-SHOT框架，通过空间解耦运动注入和混合上下文整合，实现高效的人类-环境视频合成，优于现有方法，具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。
2025-12-15 cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University（特拉维夫大学）；UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA Research（英伟达研究院）；Bar-Ilan University（巴伊兰大学）
动作视频是一种复杂的信号，在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战，我们建议在一个称为动作图的图形结构中表示动作，并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务（AG 2 Vid）解开运动和外观功能，并通过纳入行动的调度机制，促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估，结果表明，与基线相比，生成的视频具有更好的视觉质量和语义一致性。最后，我们的模型展示了zero-shot的能力，通过合成新的成分的学习行动。有关代码和预训练模型，请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
Training-free Motion Factorization for Compositional Video Generation
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）；Beijing Institute of Technology（北京理工大学）
本文提出一种无需训练的运动因子分解框架，将复杂运动分解为静止、刚体和非刚体运动三类，通过规划先于生成的范式，提升视频生成中运动多样性的表现。
2026-03-30 cs.CV
Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons
Xidian University（西安电子科技大学）
针对多人复杂背景下人类舞蹈生成泛化不足的问题，提出cHDG基准与零样本框架MultiDance-Zero，通过姿态感知反演、组合增强和一致性引导采样提升多人视频生成质量。
2024-01-24 cs.CV
BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations
UC Santa Barbara（加州大学圣巴巴拉分校）；NVIDIA（英伟达公司）
针对现有视频生成模型可控性不足的问题，提出基于blob视频表示的BlobGEN-Vid框架，通过掩码3D注意力、文本嵌入插值等模块实现多物体运动与外观的精准控制，在多个基准上布局可控性达SOTA，结合LLM时组合准确性优于专有生成器。
2025-01-13 cs.AI cs.CV
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Waterloo（滑铁卢大学）
本文提出 TC-Bench 基准，通过状态化提示、对齐真实视频与新指标评估文生视频和图生视频的时间组合性，发现现有模型仅能完成不足 20% 的组合变化。
2024-06-12 cs.AI cs.CL cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）
提出一种由 LLM 导演的组合式 3D 感知视频生成范式，通过分解文本提示生成各概念 3D 表示并组合优化，实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
University of Bern（伯尔尼大学）；LMU Munich（慕尼黑大学）
本研究提出无监督视频生成模型CAGE，无需标注即可通过自监督局部特征约束训练，实现可控的场景组合与物体动画生成，经实验验证可生成高质量、符合控制要求的视频。
2025-03-24 cs.CV
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore（国立新加坡大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
TTOM通过测试时优化与记忆化机制，提升组合视频生成的跨模态对齐能力，实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology（快手科技）
SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
Comp-Attn: Present-and-Align Attention for Compositional Video Generation
School of Electronic and Computer Engineering, Peking University, Shenzhen, China（北京大学电子与计算机工程学院）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）；Tsinghua University, Beijing, China（清华大学）
Comp-Attn通过呈现与对齐范式解决T2V生成中主体存在与关系对齐问题，提升生成质量与效率。
2025-12-21 cs.AI cs.CV
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World（Lica世界）；San Francisco, United States of America（美国旧金山）；ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing
本文提出Omni-Video 2，通过连接预训练多模态大语言模型与视频扩散模型，实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程，并通过轻量适配器高效注入多模态条件token，提升复杂编辑任务性能。
2026-03-13 cs.CV
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University（南京大学）；Kuaishou Technology（快手科技）
提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
University of Electronic Science and Technology of China (UESTC)（电子科技大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
提出编织强制框架，通过语义槽路由和掩码记忆编织实现组合记忆重用，提升交互式长视频生成的跨镜头一致性。
2026-10-05 cs.AI cs.CV
Dreamweaver: Learning Compositional World Models from Pixels
KAIST（韩国科学技术院）；Rutgers University（罗格斯大学）；New York University（纽约大学）
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标，从原始视频中学习分层组合表示，实现无需辅助数据的组合式未来视频生成，并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题，本文提出DreamRunner方法，结合脚本结构化规划、检索增强运动自适应与SR3AI模块，实现细粒度故事转视频生成，性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL
Northwestern University（西北大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Oxford（牛津大学）
本文提出CreFlow框架，通过信用感知NFT损失和纠正回流损失提升高维视频生成性能，有效解决稀疏奖励下的具身任务执行问题。
2026-05-14 cs.CV
ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts
College of AI, Tsinghua University（清华大学人工智能学院）；Tencent Hy（腾讯Hy）
提出ORAV基准，含380个多参考音视频生成任务，并开发参考感知成对评估协议，以衡量生成的可控性、组合性和参考忠实度。
2026-09-29 cs.CV
NoisEasier: Test-Time Noise Optimization for Text-to-Video Generation
Michigan State University（密歇根州立大学）
本研究提出NoisEasier框架，通过测试时噪声优化提升文本到视频生成的组合对齐效果，在多数据集实验中取得超10%平均增益，为可控文本到视频生成提供有效新范式。
2026-09-01 cs.CV
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft（微软）
针对文本到视频生成中的时间一致性和细粒度控制问题，提出MOVAI分层框架，通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块，在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR
Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）
针对现有4D生成方法难以合成复杂4D过渡中显著物体形变与场景交互的问题，提出Trans4D文本到4D合成框架，结合MLLMs的物理感知规划与几何感知过渡网络，实现逼真复杂场景4D过渡，性能优于现有SOTA方法。
2024-10-09 cs.CV
Comp4D: LLM-Guided Compositional 4D Scene Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
提出Comp4D框架，利用LLM分解文本提示并规划轨迹，分别构建场景中各4D物体，结合组合式分数蒸馏技术，实现了高质量且具备丰富物体交互的组合式4D场景生成。
2024-03-25 cs.CV
One-Shot Learning Meets Depth Diffusion in Multi-Object Videos
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种新颖的深度条件化方法，利用预训练T2I模型和定制注意力机制，仅需单个文本-视频对即可生成连贯且深度可控的多目标交互视频，同时保持多种艺术风格的概念生成能力。
2024-08-29 cs.CV
Layer-Aware Video Composition via Split-then-Merge
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
StM通过分割未标注视频并融合动态前景与背景层，提升生成视频合成的控制能力和数据效率。
2026-08-26 cs.CV
RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
RAPO++通过数据对齐和测试时缩放，结合训练数据对齐、测试时迭代缩放和大语言模型微调，提升文本到视频生成效果，无需修改生成基础模型。
2026-05-14 cs.CV
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Dense but Efficient VideoQA for Intricate Compositional Reasoning
Kakao Brain；Hanyang University（汉阳大学）
众所周知，大多数传统的视频问答（VideoQA）数据集由需要简单推理过程的简单问题组成。然而，长视频不可避免地包含复杂的组合语义结构以及时空轴，这需要一个模型来理解视频中固有的组合结构。在本文中，我们提出了一种新的组合视频问答方法的基础上Transformer架构与变形注意力机制，以解决复杂的视频问答任务。引入可变形注意力，从密集的视觉特征图中采样信息丰富的视觉特征子集，以有效地覆盖时间上长范围的帧。此外，复杂问句中的依存结构也与语言嵌入相结合，以便于理解疑问词之间的关系。大量的实验和烧蚀研究表明，建议的密集，但有效的模型优于其他基线。
2022-10-19 cs.CV
PreCoG: Preview-Edit for Efficient Video Correction in Generation-Time
The University of Hong Kong（香港大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
PreCoG是一种视频生成时的高效迭代修正框架，通过PreQA诊断缺陷、PreEdit编辑缓存轨迹，在减少冗余计算的同时提升视频质量，推理效率优于VSR、GENMAC等方法。
2026-10-12 cs.CV
CompSlider: Compositional Slider for Disentangled Multiple-Attribute Image Generation
University at Buffalo（布法罗大学）；Adobe Inc. (ASML)（Adobe公司）
针对文本生成图像中多属性控制易相互干扰的问题，提出CompSlider组合式滑块方法，通过条件先验与新型损失函数实现属性解耦控制，无需重训基础模型，可扩展至视频生成。
2025-09-03 cs.CV
ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院）；Future Network of Intelligence Institute, CUHK-Shenzhen, China（CUHK-深圳智能网络研究院）
本文提出通过图像优先合成方法，结合预训练图像模型与SMPL-X运动引导，生成高质量且时间一致的视频，同时释放人类数据集与辅助模型。
2026-04-21 cs.CV
OSCBench: Benchmarking Object State Change in Text-to-Video Generation
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）
本文提出OSCBench基准，用于评估文本到视频模型在对象状态变化上的性能，揭示当前模型在处理新场景时的不足。
2026-04-17 cs.AI cs.CL cs.CV
COMBO: Compositional World Models for Embodied Multi-Agent Cooperation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IIIS, Tsinghua University（清华大学信息科学技术学院）；Peking University（北京大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Honda Research Institute USA（美国本田研究所）；MIT（麻省理工学院）
针对具身多智能体仅靠自我中心视角协作的问题，提出组合式世界模型：先基于部分观测估计世界状态，再分解联合行动并组合生成视频，结合视觉语言模型推断他者行动，经树搜索实现高效协作，在多基准上验证了有效性与扩展性。
2025-04-16 cs.AI cs.CV cs.MA
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出神经符号框架 NS-VideoQA，通过 SPN 将视频结构化为符号表示，并用 SRM 与多态执行器完成组合式时空推理，在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
Align and Aggregate: Compositional Reasoning with Video Alignment and Answer Aggregation for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
本文提出模型无关的 VA³ 框架，通过视频对齐、答案聚合和问题分解提升视频问答的组合一致性与准确性，并引入新指标和 LLM 自动分解流程验证其有效性。
2024-07-03 cs.CV
ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation
CUHK-Shenzhen（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；Shanghai Jiao Tong University（上海交通大学）；USTC（中国科学技术大学）；The University of Hong Kong（香港大学）；University of Oxford（牛津大学）；Harvard University（哈佛大学）
本文提出Compositional Simulation方法，结合经典模拟与神经模拟生成准确的动作-视频对，通过闭环数据增强管道生成大规模高质量训练数据，减少仿真到现实的域差距，提升现实环境中的政策模型性能。
2026-04-13 cs.CV cs.RO
Video-adverb retrieval with compositional adverb-action embeddings
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）
提出在联合嵌入空间中对齐视频与组合式副词-动作文本嵌入的检索框架，结合残差门控、三元组损失和回归目标，在五个基准及未见组合泛化任务上达到最优。
2023-09-26 cs.CV
PhyPrompt: RL-based Prompt Refinement for Physically Plausible Text-to-Video Generation
Northwestern University（西北大学）；Dolby Laboratories（杜比实验室）
PhyPrompt通过强化学习优化提示，提升文本到视频生成的物理合理性，优于GPT-4o和DeepSeek-V3，实现更高效的物理常识和语义忠实度提升。
2026-03-03 cs.AI cs.CV
Measuring Compositional Consistency for Video Question Answering
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
最近的视频问答基准测试表明，最先进的模型很难回答组合问题。然而，目前还不清楚哪些类型的组合推理导致模型预测错误。此外，很难辨别模型是使用组合推理还是利用数据偏差来得出答案。在本文中，我们开发了一个问题分解引擎，以编程方式解构成一个有向无环图的子问题的组成问题。该图被设计成使得每个父问题是其子问题的组合。我们提出AGQA分解，一个基准包含$2.3M$问题图，平均每个图的$11.49$子问题，和$4.55M$总新的子问题。使用问题图，我们评估了三个国家的最先进的模型与一套新的组成一致性指标。我们发现，模型要么不能通过大多数组合正确推理，要么依赖于不正确的推理来获得答案，经常自相矛盾，或者在中间推理步骤失败时达到高准确度。
2022-05-24 cs.CV
GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力，发现VQAScore指标优于现有方法，可通过黑盒排序提升生成效果，并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
利用大规模预训练的视觉语言模型进行提示微调，可以在有限的基本类别上训练开放词汇预测，例如，目标分类和检测。在本文中，我们提出了组成提示微调与运动线索：一个扩展的提示微调模式的组成预测的视频数据。特别是，我们提出了用于开放词汇视频视觉关系检测（Open-VidVRD）的关系提示（RePro），其中传统的提示微调很容易偏向于某些主体-对象组合和运动模式。为此，RePro解决了Open-VidVRD的两个技术挑战：1）提示标记应该尊重主体和客体的两个不同语义角色，以及2）调整应该考虑主体-客体组合的不同时空运动模式。没有花里胡哨的东西，我们的RePro在两个VidVRD基准测试上实现了最先进的性能，不仅包括基本训练对象和谓词类别，还包括看不见的类别。广泛的消融也证明了建议的成分和多模式设计的提示的有效性。代码可在https://github.com/Dawn-LX/OpenVoc-VidVRD上获得。
2023-02-01 cs.CV
Compositional Video Prediction
Verisk Analytics（Verisk分析公司）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一个像素级的未来预测给定的场景的输入图像的方法。我们观察到，一个场景是由不同的实体，经历运动，并提出了一种方法，操作化这一见解。我们隐式地预测独立实体的未来状态，同时推理它们的相互作用，并使用这些预测的状态组成未来的视频帧。我们克服了固有的多模态的任务，使用一个全球性的概率水平的潜在随机变量，并表明，这使我们能够样本多样化和合理的未来。我们经验验证我们的方法对替代表示和方式，将多模态。我们检查了两个数据集，一个包含可能会掉落的堆叠对象，另一个包含人类在健身房进行活动的视频，并表明我们的方法允许在这些不同的设置中进行逼真的随机视频预测。有关视频预测，请参见https://judyye.github.io/CVP/。
2019-08-22 cs.CV
COMPOSER: Compositional Reasoning of Group Activity in Videos with Keypoint-Only Modality
Rutgers University（罗格斯大学）；NEC Laboratories America, Inc.（美国NEC实验室）；Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）
群体活动识别检测由一组参与者共同执行的活动，这需要参与者和对象的组合推理。我们通过将视频建模为表示视频中的多尺度语义概念的令牌来完成任务。我们提出了组合，多尺度Transformer为基础的架构，执行基于注意力的推理令牌在每个规模和学习组活动组成。此外，先前的作品遭受场景偏见与隐私和道德问题。我们只使用关键点模态，这减少了场景偏差，并防止获取可能包含用户隐私或偏见信息的详细视觉数据。我们通过聚类中间尺度表示，同时保持尺度之间一致的聚类分配，改进了COMPOSER中的多尺度表示。最后，我们使用辅助预测和针对关键点信号定制的数据增强等技术来辅助模型训练。我们证明了模型的强度和可解释性两个广泛使用的数据集（排球和集体活动）。仅使用关键点模态，COMPOSER就实现了高达+5.4%的改进。代码可在https://github.com/hongluzhou/composer上获得
2022-07-25 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
Generating Videos of Zero-Shot Compositions of Actions and Objects
Borealis AI；Simon Fraser University（西蒙菲莎大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
人类活动视频涉及人与物体之间丰富多样的交互。在本文中，我们开发的方法生成这样的视频-取得进展，解决重要的，开放的问题，视频生成在复杂的场景。特别地，我们介绍了在zero-shot合成设置中生成人-对象交互视频的任务，即，生成在训练期间未看到的动作-对象组合的视频，已经分别看到了目标动作和目标对象。这种设置对于人类活动视频生成中的泛化特别重要，避免了在训练中观察每个可能的动作对象组合的需要，从而避免了复杂场景建模中涉及的组合爆炸。为了生成人机交互视频，我们提出了一种新的对抗框架HOI-GAN，它包括多个专注于视频不同方面的鉴别器。为了证明我们提出的框架的有效性，我们对两个具有挑战性的数据集进行了广泛的定量和定性评估：EPIC-Kitterfly和20 BN-Something-Something v2。
2020-07-17 cs.CV cs.LG eess.IV
Towards Temporal Compositional Reasoning in Long-Form Sports Videos
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。
2026-07-14 cs.CV
SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding
Queen Mary University of London（伦敦玛丽女王大学）；Michigan State University（密歇根州立大学）
针对组合式时序定位中现有方法负样本语义不合理、DETR类方法显著性响应异常的问题，提出SHINE框架，通过大模型生成合理难负样本并结合由粗到细的显著性排序策略，有效提升模型组合泛化能力，经基准实验验证了有效性。
2024-07-15 cs.CV
