CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent（腾讯）
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K，构建基准CoinVE-Bench及22B参数模型CoinVE-Edit，在基准测试中表现优异。
2026-08-26 cs.CV
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用，实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
Video-adverb retrieval with compositional adverb-action embeddings
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）
提出在联合嵌入空间中对齐视频与组合式副词-动作文本嵌入的检索框架，结合残差门控、三元组损失和回归目标，在五个基准及未见组合泛化任务上达到最优。
2023-09-26 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University（科奇大学）；KUIS AI Center（科奇大学智能系统中心）
提出将 SlotAdapt 扩展至视频的时间对象中心框架，通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Compositional Video Generation as Flow Equalization
National University of Singapore（新加坡国立大学）
针对文本到视频扩散模型中概念影响失衡的问题，本文提出 Vico 框架，通过时空注意力图与最大流估计引导潜变量更新，显著提升组合视频生成与编辑的准确性。
2024-06-10 cs.CV
Measuring Compositional Consistency for Video Question Answering
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
最近的视频问答基准测试表明，最先进的模型很难回答组合问题。然而，目前还不清楚哪些类型的组合推理导致模型预测错误。此外，很难辨别模型是使用组合推理还是利用数据偏差来得出答案。在本文中，我们开发了一个问题分解引擎，以编程方式解构成一个有向无环图的子问题的组成问题。该图被设计成使得每个父问题是其子问题的组合。我们提出AGQA分解，一个基准包含$2.3M$问题图，平均每个图的$11.49$子问题，和$4.55M$总新的子问题。使用问题图，我们评估了三个国家的最先进的模型与一套新的组成一致性指标。我们发现，模型要么不能通过大多数组合正确推理，要么依赖于不正确的推理来获得答案，经常自相矛盾，或者在中间推理步骤失败时达到高准确度。
2022-05-24 cs.CV
Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
利用大规模预训练的视觉语言模型进行提示微调，可以在有限的基本类别上训练开放词汇预测，例如，目标分类和检测。在本文中，我们提出了组成提示微调与运动线索：一个扩展的提示微调模式的组成预测的视频数据。特别是，我们提出了用于开放词汇视频视觉关系检测（Open-VidVRD）的关系提示（RePro），其中传统的提示微调很容易偏向于某些主体-对象组合和运动模式。为此，RePro解决了Open-VidVRD的两个技术挑战：1）提示标记应该尊重主体和客体的两个不同语义角色，以及2）调整应该考虑主体-客体组合的不同时空运动模式。没有花里胡哨的东西，我们的RePro在两个VidVRD基准测试上实现了最先进的性能，不仅包括基本训练对象和谓词类别，还包括看不见的类别。广泛的消融也证明了建议的成分和多模式设计的提示的有效性。代码可在https://github.com/Dawn-LX/OpenVoc-VidVRD上获得。
2023-02-01 cs.CV
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出多智能体协作框架 GenMAC，通过设计、生成与迭代重新设计流程及自路由修正机制，提升复杂组合文本提示下的视频生成质量。
2024-12-05 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出组合式视频生成框架 VideoComposer，通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件，实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
COMPOSER: Compositional Reasoning of Group Activity in Videos with Keypoint-Only Modality
Rutgers University（罗格斯大学）；NEC Laboratories America, Inc.（美国NEC实验室）；Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）
群体活动识别检测由一组参与者共同执行的活动，这需要参与者和对象的组合推理。我们通过将视频建模为表示视频中的多尺度语义概念的令牌来完成任务。我们提出了组合，多尺度Transformer为基础的架构，执行基于注意力的推理令牌在每个规模和学习组活动组成。此外，先前的作品遭受场景偏见与隐私和道德问题。我们只使用关键点模态，这减少了场景偏差，并防止获取可能包含用户隐私或偏见信息的详细视觉数据。我们通过聚类中间尺度表示，同时保持尺度之间一致的聚类分配，改进了COMPOSER中的多尺度表示。最后，我们使用辅助预测和针对关键点信号定制的数据增强等技术来辅助模型训练。我们证明了模型的强度和可解释性两个广泛使用的数据集（排球和集体活动）。仅使用关键点模态，COMPOSER就实现了高达+5.4%的改进。代码可在https://github.com/hongluzhou/composer上获得
2022-07-25 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University（浙江大学）
提出免训练框架DyST-XL，通过动态布局规划、双提示注意力控制和实体一致性约束，显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
CoMo: Compositional Motion Customization for Text-to-Video Generation
Zhejiang University（浙江大学）；HKUST（香港科技大学）；Xmax.AI Ltd（Xmax人工智能有限公司）；HIT (SZ)（哈尔滨工业大学（深圳））
CoMo提出两阶段框架，通过解耦运动与外观并采用分而治之合并策略，实现文本到视频生成中的多主体组合运动定制，达到最先进性能。
2025-10-27 cs.CV
Towards Temporal Compositional Reasoning in Long-Form Sports Videos
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。
2026-07-14 cs.CV
SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding
Queen Mary University of London（伦敦玛丽女王大学）；Michigan State University（密歇根州立大学）
针对组合式时序定位中现有方法负样本语义不合理、DETR类方法显著性响应异常的问题，提出SHINE框架，通过大模型生成合理难负样本并结合由粗到细的显著性排序策略，有效提升模型组合泛化能力，经基准实验验证了有效性。
2024-07-15 cs.CV
Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
视频中的时间基础旨在定位一个语义上对应于给定查询语句的目标视频片段。由于自然语言描述的语义多样性，时间接地允许活动接地超出预定义的类，近年来受到越来越多的关注。语义的多样性源于语言学中的组合性原则，其中新的语义可以通过以新的方式组合已知的词（组合概括）来系统地描述。然而，目前的时间接地数据集没有专门测试的组成概括性。为了系统地测量时间基础模型的组成概括性，我们引入了一个新的组成时间基础任务，并构建了两个新的数据集分割，即，Charades-CG和ActivityNet-CG。评估我们新数据集分割的最先进方法，我们根据经验发现它们无法推广到具有所见单词的新颖组合的查询。为了应对这一挑战，我们提出了一个变分交叉图推理框架，明确地将视频和语言分解成多个结构化层次结构，并学习它们之间的细粒度语义对应。实验表明，我们的方法优越的组成的概括性。本作品的知识库位于https://github.com/YYJMJC/ Compositional-Temporal-Grounding。
2022-03-28 cs.CV
A Grammatical Compositional Model for Video Action Detection
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Northwestern University（西北大学）
针对视频交互动作的类内差异与细粒度类间区别，提出基于与或图的语法组合模型 GCM，并以端到端神经网络融合语法结构与 DNN 特征，在 AVA 和 Something-Else 上验证优势及可解释性。
2023-10-04 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）
本文提出ONE-SHOT框架，通过空间解耦运动注入和混合上下文整合，实现高效的人类-环境视频合成，优于现有方法，具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind（谷歌DeepMind）
本文提出 VideoComp 基准与学习框架，通过构建多事件视频组合性基准和分层成对偏好损失，提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
Tsinghua University（清华大学）；Galbot Project（Galbot项目）
SimRecon通过引入主动视角优化和场景图合成器，解决了从真实视频中重建复杂场景时的视觉和物理真实性问题，实现了感知-生成-模拟的全流程流水线。
2026-03-03 cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University（特拉维夫大学）；UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA Research（英伟达研究院）；Bar-Ilan University（巴伊兰大学）
动作视频是一种复杂的信号，在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战，我们建议在一个称为动作图的图形结构中表示动作，并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务（AG 2 Vid）解开运动和外观功能，并通过纳入行动的调度机制，促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估，结果表明，与基线相比，生成的视频具有更好的视觉质量和语义一致性。最后，我们的模型展示了zero-shot的能力，通过合成新的成分的学习行动。有关代码和预训练模型，请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。
2025-12-15 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
Compositional Physical Reasoning of Objects and Events from Videos
MIT-IBM Watson AI lab（MIT-IBM沃森人工智能实验室）；New York University（纽约大学）；Harvard University（哈佛大学）；UIUC（伊利诺伊大学）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出组合式物理推理（ComPhy）数据集和神经符号框架PCR，从视频中推断物体隐藏物理属性（如质量、电荷）并预测动态，实验表明现有模型能力有限，而PCR能有效推理并回答复杂问题。
2025-05-26 cs.CV
CATER: A diagnostic dataset for Compositional Actions and TEmporal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
计算机视觉在性能上经历了一场戏剧性的革命，这在很大程度上是由在大规模监督数据集上训练的深度特征驱动的。然而，这些改进大多集中在静态图像分析上;视频理解的改进相当有限。即使已经提出了新的数据集和时空模型，简单的逐帧分类方法通常仍然具有竞争力。我们认为，目前的视频数据集受到场景和对象结构的隐含偏见的困扰，这可能会使时间结构的变化相形见绌。在这项工作中，我们建立了一个视频数据集，具有完全可观察和可控的对象和场景偏差，并且真正需要时空理解才能解决。我们的数据集，名为CATER，综合使用标准的3D对象库，并测试识别需要长期推理的对象运动组合的能力。除了是一个具有挑战性的数据集，CATER还提供了大量的诊断工具，通过完全可观察和可控制来分析现代时空视频架构。使用CATER，我们可以深入了解一些最新的最先进的深度视频架构。
2020-04-05 cs.CV
Learning to Decode Against Compositional Hallucination in Video Multimodal Large Language Models
Sun Yat-sen University（中山大学）；Huaqiao University（华侨大学）；Shenzhen University（深圳大学）；Guangming Laboratory（光明实验室）；Shanghai Jiao Tong University（上海交通大学）
针对视频多模态大语言模型中的组合性幻觉问题，提出TriCD框架，通过对比解码和三路径校准机制提升模型在对抗幻觉时的准确率。
2026-01-31 cs.AI cs.CV
Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos
New York University Abu Dhabi（纽约大学阿布扎比分校）；The University of Auckland（奥克兰大学）
针对装配动作理解难题，提出组合上下文微调方法及层划分交替训练方法，将动作分解为语义元素并微调视觉语言模型，创建相关数据集，实验证明该方法优于基线且能提供可解释预测，助力人机协作装配。
2026-07-14 cs.CV
BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations
UC Santa Barbara（加州大学圣巴巴拉分校）；NVIDIA（英伟达公司）
针对现有视频生成模型可控性不足的问题，提出基于blob视频表示的BlobGEN-Vid框架，通过掩码3D注意力、文本嵌入插值等模块实现多物体运动与外观的精准控制，在多个基准上布局可控性达SOTA，结合LLM时组合准确性优于专有生成器。
2025-01-13 cs.AI cs.CV
STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出STEP方法，利用时空场景图引导视频大语言模型自生成推理数据，通过思维链监督提升多步组合推理能力，实验显示在复杂推理任务上提升21.3%。
2025-03-30 cs.CV cs.LG
Training-free Motion Factorization for Compositional Video Generation
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）；Beijing Institute of Technology（北京理工大学）
本文提出一种无需训练的运动因子分解框架，将复杂运动分解为静止、刚体和非刚体运动三类，通过规划先于生成的范式，提升视频生成中运动多样性的表现。
2026-03-30 cs.CV
ICSVR: Investigating Compositional and Syntactic Understanding in Video Retrieval Models
Intel Labs（英特尔实验室）
本文系统评估了视频检索模型中对象与属性、动作和句法三类成分的影响，发现动作与句法作用较小，且基于CLIP图像-文本预训练表示的模型在句法和组合理解上优于视频-文本预训练模型。
2024-06-10 cs.AI cs.CL cs.CV
MoCRA: Mixture of Compositional Rank-1 Atoms for 4K All-in-One Video Restoration
MoCRA是一种360万参数的4K全合一视频恢复模型，通过频带匹配组合条件与秩1原子字典，无需光流，在UHV-4K-AIO基准上实现了优于基线的PSNR、低扭曲误差与快速4K恢复。
2026-08-04 cs.CV
RAVU: Retrieval Augmented Video Understanding with Compositional Reasoning over Graph
Fujitsu Research of India Private Limited（日本富士通印度研究私有限公司）
RAVU提出通过时空图构建视频长期记忆，并将查询分解为组合推理步骤进行检索增强，从而在仅使用5-10帧的情况下显著提升长视频多跳推理与对象跟踪的问答性能。
2025-05-06 cs.AI cs.CV
Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons
Xidian University（西安电子科技大学）
针对多人复杂背景下人类舞蹈生成泛化不足的问题，提出cHDG基准与零样本框架MultiDance-Zero，通过姿态感知反演、组合增强和一致性引导采样提升多人视频生成质量。
2024-01-24 cs.CV
Compositional Structure Learning for Sequential Video Data
Seoul National University（首尔国立大学）；Kakao Brain
传统的顺序学习方法，如递归神经网络（RNN），专注于连续输入之间的相互作用，即一阶马尔可夫依赖。然而，大多数序列数据，如视频中所见，具有复杂的时间依赖性，这意味着可变长度的语义流及其组成，并且这些很难被传统方法捕获。在这里，我们提出了时间依赖网络（TDNs），通过发现视频的这些复杂结构来学习视频数据。TDNs将视频表示为图，其节点和边分别对应于视频的帧及其依赖性。通过一个参数化的内核与图形切割和图形卷积，TDNs发现组成的时间依赖的数据在多级图形的形式。我们在大规模视频数据集Youtube-8M上对所提出的方法进行了评估。实验结果表明，我们的模型有效地学习视频数据的复杂语义结构。
2019-07-03 cs.CV cs.LG eess.IV
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
针对现有时间定位模型组合泛化能力不足的问题，本文提出新任务与数据集划分，并采用变分跨图推理及自适应结构化语义学习，实现视频与语言层次化语义图的细粒度对应，显著提升组合泛化性能。
2023-01-22 cs.CV
Cut-Based Graph Learning Networks to Discover Compositional Structure of Sequential Video Data
Seoul National University（首尔国立大学）；Kakao Brain
传统的顺序学习方法，如递归神经网络（RNN），专注于连续输入之间的相互作用，即一阶马尔可夫依赖。然而，大多数序列数据，如视频，具有复杂的依赖结构，这意味着可变长度的语义流和它们的组成，这些是很难被捕获的传统方法。在这里，我们提出了基于割的图学习网络（CB-GLN），通过发现视频的这些复杂结构来学习视频数据。CB-GLN将视频数据表示为图形，其中节点和边分别对应于视频的帧及其依赖性。CB-GLN通过具有图切割的参数化内核和消息传递框架找到多级图形式的数据的组合依赖关系。我们评估所提出的方法上的两个不同的任务视频理解：视频主题分类（Youtube-8 M数据集）和视频问题和问答（TVQA数据集）。实验结果表明，我们的模型有效地学习视频数据的语义组成结构。此外，与其他基线方法相比，我们的模型实现了最高的性能。
2020-01-17 cs.CV cs.LG eess.IV
TVQA: Localized, Compositional Video Question Answering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
近年来，人们对基于图像的问答（QA）任务越来越感兴趣。然而，由于数据的限制，基于视频的QA的工作要少得多。在本文中，我们提出了TVQA，一个大规模的视频问答数据集的基础上，6个流行的电视节目。TVQA由21，793个剪辑中的152，545个问答对组成，跨越460多个小时的视频。问题被设计为本质上是合成的，需要系统联合定位剪辑中的相关时刻，理解基于字幕的对话，并识别相关的视觉概念。我们提供了对这个新数据集的分析，以及几个基线和一个多流端到端可训练的神经网络框架，用于TVQA任务。该数据集可在http://tvqa.cs.unc.edu上公开获得。
2019-05-07 cs.AI cs.CL cs.CV
VELOCITI: Benchmarking Video-Language Compositional Reasoning with Strict Entailment
IIIT Hyderabad（印度国际信息技术研究所）；CVIT（计算机视觉与图像技术中心）；Inria（法国国家信息与自动化研究所）
研究短视频组合推理问题，提出VELOCITI基准及StrictVLE分类方法评估Video-LLMs，发现当前最优模型远低于人类准确率，验证了多帧视觉输入的必要性。
2025-03-30 cs.AI cs.CV cs.LG
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia（Salesforce亚洲研究院）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）
本文提出组合式反事实对比学习（$C^3$），通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成，并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
ANetQA: A Large-scale Benchmark for Fine-grained Compositional Reasoning over Untrimmed Videos
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；AI Lab at Lenovo Research（联想研究院人工智能实验室）
针对现有视频问答基准细粒度语义推理能力不足的问题，提出基于ActivityNet非修剪视频的大规模细粒度组合推理基准ANetQA，规模远超同类基准，实验显示现有最优模型与人类表现差距显著。
2023-05-04 cs.CL cs.CV
WorldSculpt: Generating Compositional Worlds from Grounded Videos
Alaya Lab（阿里达摩院Alaya实验室）；The University of Tokyo（东京大学）
本研究提出WorldSculpt，通过适配单物体3D生成先验到多视图观测，实现从接地视频生成含数百物体的复杂组合式3D世界，所提Pixal3D方法在基准测试中优于现有技术，还可转换3DGS世界为组合网格场景。
2026-09-09 cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）
提出一种由 LLM 导演的组合式 3D 感知视频生成范式，通过分解文本提示生成各概念 3D 表示并组合优化，实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
Extending Compositional Attention Networks for Social Reasoning in Videos
National Technical University of Athens（雅典国立技术大学）；Institute for Speech and Language Processing（言语与语言处理研究所）
我们提出了一种新的深度架构，用于推理视频中的社交互动。我们利用组合注意力网络（MAC）的多步推理能力，并提出了一个多模态扩展（MAC-X）。MAC-X是基于一个循环的细胞，执行迭代中级融合的输入模态（视觉，听觉，文本）在多个推理步骤，通过使用时间注意力机制。然后，我们将MAC-X与LSTM结合起来，在端到端架构中进行时间输入处理。我们的消融研究表明，建议的MAC-X架构可以有效地利用多模态输入线索使用中级融合机制。我们将MAC-X应用于Social IQ数据集中的社交视频问答任务，并在当前最先进的技术水平上获得了2.5%的二进制准确度绝对提高。
2022-10-03 cs.AI cs.CL cs.CV
ComPhy: Compositional Physical Reasoning of Objects and Events from Videos
MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；Harvard University（哈佛大学）；MIT（麻省理工学院）；The University of Hong Kong（香港大学）
自然界中物体的运动是由复杂的相互作用及其性质决定的。虽然一些属性，如形状和材料，可以通过物体的视觉外观来识别，但其他属性，如质量和电荷，则无法直接看到。可见和隐藏属性之间的组合性对人工智能模型从物理世界进行推理提出了独特的挑战，而人类可以毫不费力地通过有限的观察来推断它们。现有的视频推理研究主要集中在视觉上可观察的元素，如对象的外观，运动，接触互动。在本文中，我们首先通过引入组合物理推理（ComPhy）数据集来强调推断隐藏的物理特性的重要性。对于给定的一组对象，ComPhy包括一些在不同初始条件下移动和交互的视频。该模型的评估是基于其解开组成隐藏属性（如质量和电荷）的能力，并使用这些知识来回答其中一个视频上发布的一组问题。几个国家的最先进的视频推理模型在ComPhy的评估结果显示不令人满意的性能，因为他们无法捕捉这些隐藏的属性。我们进一步提出了一个名为Compositional Physics Learner（CPL）的Oracle神经符号框架，将视觉感知，物理属性学习，动态预测和符号执行结合到一个统一的框架中。CPL可以有效地识别物体的物理特性，从他们的相互作用和预测他们的动态回答问题。
2022-05-02 cs.AI cs.CV cs.LG
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore（国立新加坡大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
TTOM通过测试时优化与记忆化机制，提升组合视频生成的跨模态对齐能力，实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
University of Bern（伯尔尼大学）；LMU Munich（慕尼黑大学）
本研究提出无监督视频生成模型CAGE，无需标注即可通过自监督局部特征约束训练，实现可控的场景组合与物体动画生成，经实验验证可生成高质量、符合控制要求的视频。
2025-03-24 cs.CV
ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
本文提出ReplicateAnyScene框架，通过五阶段流水线实现视频到结构化3D场景的零样本合成，引入C3DR基准评估重建质量，实验表明其在生成高质量3D场景方面优于现有方法。
2026-04-12 cs.CV
Distributed Implicit Harm: A Compositional Safety Blind Spot in MLLM-Based Video Moderation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；State University of New York at Buffalo（纽约州立大学布法罗分校）；Kuaishou Technology（快手科技）
该研究发现基于 MLLM 的视频 moderation 存在分布式隐含危害（DIH）这一组合安全盲点，开发多智能体合成框架构建含超9000个视频的数据集，测试30余种MLLM发现其检测DIH存在显著缺陷。
2026-09-02 cs.AI cs.CV
ShowMak3r: Compositional TV Show Reconstruction
Seoul National University（首尔国立大学）
本文提出ShowMak3r，一种能够对电视节目场景进行动态重建的综合管道，通过编辑场景实现类似影视制作控制室中的剪辑效果，解决了动态光场重建中的遮挡、杂乱舞台和视角变化等挑战。
2026-05-20 cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology（快手科技）
SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World（Lica世界）；San Francisco, United States of America（美国旧金山）；ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
