Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University（马凯特大学）
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略，将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法，使用卷积和完全连接的自动编码器，我们称之为深度异构自动编码器，从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框，并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后，我们构建约束图，鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明，我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Dense but Efficient VideoQA for Intricate Compositional Reasoning
Kakao Brain；Hanyang University（汉阳大学）
众所周知，大多数传统的视频问答（VideoQA）数据集由需要简单推理过程的简单问题组成。然而，长视频不可避免地包含复杂的组合语义结构以及时空轴，这需要一个模型来理解视频中固有的组合结构。在本文中，我们提出了一种新的组合视频问答方法的基础上Transformer架构与变形注意力机制，以解决复杂的视频问答任务。引入可变形注意力，从密集的视觉特征图中采样信息丰富的视觉特征子集，以有效地覆盖时间上长范围的帧。此外，复杂问句中的依存结构也与语言嵌入相结合，以便于理解疑问词之间的关系。大量的实验和烧蚀研究表明，建议的密集，但有效的模型优于其他基线。
2022-10-19 cs.CV
Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford（牛津大学）；TwentyBN；UC Berkeley（加州大学伯克利分校）；Tel Aviv University（特拉维夫大学）
人类的动作是自然合成的：人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中，我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型，可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型，我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务，其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象，可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用，我们依赖于基线场景级的时空表示。我们表明，我们的方法的有效性，不仅在建议的组成动作识别任务，但也在一个Few-Shot组成设置，需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
Encoding Surgical Videos as Latent Spatiotemporal Graphs for Object and Anatomy-Driven Reasoning
University of Strasbourg（斯特拉斯堡大学）；IHU-Strasbourg, Institute of Image-Guided Surgery（斯特拉斯堡图像引导外科研究所（IHU-Strasbourg））；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；Institute for Research Against Digestive Cancer (IRCAD)（消化道癌症研究所（IRCAD））
本研究提出将手术视频编码为融合长期时间边的潜在时空图，并引入结合先验知识与时间一致性的图编辑模块修正误差，在安全关键视图预测和手术阶段识别任务中取得优异结果，验证了表示的有效性。
2023-12-11 cs.CV
AGQA 2.0: An Updated Benchmark for Compositional Spatio-Temporal Reasoning
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
之前的基准测试分析了模型对视频问题的回答，以衡量视觉组合推理。行动基因组问答（AGQA）就是这样一个基准。AGQA提供了一个训练/测试分裂与平衡的答案分布，以减少语言偏见的影响。然而，在《澳大利亚质量评估》的几个类别中仍然存在一些偏见。我们引入AGQA 2.0，这个基准测试的一个版本，有几个改进，最重要的是一个更严格的平衡过程。然后，我们报告所有实验的更新基准的结果。
2022-04-12 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
Exploring Compositional Visual Generation with Latent Classifier Guidance
University of California, San Diego（加州大学圣地亚哥分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（NEC美国实验室）；Northwestern University（西北大学）
本文提出在潜在语义空间中使用扩散模型和潜在分类器引导进行组合视觉生成，通过训练辅助分类器实现非线性导航并最大化条件对数概率下界，同时引入新引导项保持语义，在图像生成和操纵任务中取得有竞争力的结果。
2023-05-24 cs.CV
CoLa: Chinese Character Decomposition with Compositional Latent Components
Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机学院）
本文提出CoLa深度潜变量模型，不依赖人工定义的部首或笔画分解方案，通过学习汉字的组合式潜在成分实现零样本汉字识别，并在汉字和部首零样本任务中优于现有方法，且能跨数据集分析甲骨文。
2025-06-04 cs.CV
StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis
NEC Laboratories America（NEC美国实验室）；University of Rochester（罗切斯特大学）
虽然已经取得了进展，文本到图像的合成，以前的方法没有推广到看不见的或代表性不足的属性组成的输入文本。缺乏组合性可能对鲁棒性和公平性产生严重影响，例如，无法合成代表性不足的人口群体的面部图像。在本文中，我们引入了一个新的框架，StyleT 2 I，以提高文本到图像合成的组合性。具体来说，我们提出了一个CLIP引导的对比损失，以更好地区分不同的句子之间的不同成分。为了进一步提高组合性，我们设计了一种新的语义匹配损失和空间约束，以确定属性的潜在方向，为预期的空间区域操作，从而更好地解开属性的潜在表示。在此基础上，提出了组合属性调整算法，对图像的潜在编码进行调整，提高了图像合成的组合性。此外，我们利用$\ell_2$ -范数正则化的识别潜在的方向（范数惩罚），以取得一个很好的平衡之间的图文对齐和图像保真度。在实验中，我们设计了一个新的数据集分裂和评价指标来评估文本到图像合成模型的组合性。实验结果表明，StyleT 2 I在输入文本与合成图像的一致性方面优于以往的方法，并实现了更高的保真度。
2022-03-29 cs.CV
EnergyMoGen: Compositional Human Motion Generation with Energy-Based Diffusion Model in Latent Space
ReLER, AAII, University of Technology Sydney（技术悉尼大学）；CCAI, Zhejiang University（浙江大学）
本文提出 EnergyMoGen，通过隐空间感知能量模型与语义感知能量模型的协同能量融合，解决隐扩散模型在多语义概念组合动作生成中的不一致与失真问题，在文本到动作、组合式及多概念动作生成任务上超越现有最先进模型，并可用于扩展动作数据集。
2025-06-04 cs.CV
Learning Additively Compositional Latent Actions for Embodied AI
Wuhan University（武汉大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出AC-LAM模型，通过强制潜在动作空间上的可加性组合结构，提升动作表示的结构性和准确性，优于现有方法。
2026-04-03 cs.AI cs.CV
The Pictorial Cortex: Zero-Shot Cross-Subject fMRI-to-Image Reconstruction via Compositional Latent Modeling
Institute of Science and Technology for Brain-inspired Intelligence (ISTBI), Fudan University（脑启发智能科学与技术研究院，复旦大学）；School of Data Science, Fudan University（复旦大学数据科学学院）；Fudan ISTBI–ZJNU Algorithm Centre for Brain-Inspired Intelligence, Zhejiang Normal University（复旦ISTBI-浙师大脑启发智能算法中心，浙江师范大学）；Shanghai Innovation Institute（上海创新研究院）；Nanyang Technological University（南洋理工大学）
本文提出PictorialCortex模型，通过组合潜在建模和多数据集训练，实现零样本跨主体fMRI到图像重建。
2026-01-21 cs.CV
CATER: A diagnostic dataset for Compositional Actions and TEmporal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
计算机视觉在性能上经历了一场戏剧性的革命，这在很大程度上是由在大规模监督数据集上训练的深度特征驱动的。然而，这些改进大多集中在静态图像分析上;视频理解的改进相当有限。即使已经提出了新的数据集和时空模型，简单的逐帧分类方法通常仍然具有竞争力。我们认为，目前的视频数据集受到场景和对象结构的隐含偏见的困扰，这可能会使时间结构的变化相形见绌。在这项工作中，我们建立了一个视频数据集，具有完全可观察和可控的对象和场景偏差，并且真正需要时空理解才能解决。我们的数据集，名为CATER，综合使用标准的3D对象库，并测试识别需要长期推理的对象运动组合的能力。除了是一个具有挑战性的数据集，CATER还提供了大量的诊断工具，通过完全可观察和可控制来分析现代时空视频架构。使用CATER，我们可以深入了解一些最新的最先进的深度视频架构。
2020-04-05 cs.CV
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
Peking University（北京大学）；ByteDance（字节跳动）；Carnegie Mellon University（卡内基梅隆大学）
PartCrafter提出首个从单张RGB图像端到端生成多部件结构化3D网格的组合式潜在扩散Transformer模型，通过解耦潜在token和层次化注意力实现部件级生成，无需预分割输入，并在可分解3D网格生成任务上优于现有方法。
2025-06-05 cs.CV
Compositional Semantics for Open Vocabulary Spatio-semantic Representations
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Ludolab；TIER IV
提出潜在组合语义嵌入z*作为可查询时空语义记忆的知识表示，证明其存在性、最优性及可发现性，并引入充分相似性推理方法提升重叠语义推理性能。
2026-05-22 cs.CV cs.LG
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出了一种新的神经网络模型，用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学，提出了多时空尺度递归神经网络（MSTRNN）模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理，假设网络在学习过程中可以利用这些约束来发展有意义的结构，如功能层次结构。为了评估模型的特性，本研究使用了三种类型的人类动作视频数据集，包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Compositional Law Parsing with Latent Random Functions
Fudan University（复旦大学）
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景（例如，物体的形状和位置），并学习这些概念的各自规律，这些规律可以是自然的（例如，运动定律）或人为的（例如，游戏规则）。这些法律的自动解析表明模型的理解场景的能力，这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析（CLAP）的深层潜变量模型，该模型通过编码-解码架构将场景中的概念表示为潜变量，实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明，CLAP优于基线方法在多个视觉任务，如直观的物理，抽象的视觉推理，场景表示。通过修改样本上的特定潜在随机函数，法律操作实验说明了CLAP的可解释性。例如，CLAP从场景中移动的球中学习位置变化和外观恒定性的规律，从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
TimeBlind通过细粒度时空理解基准揭示视频大语言模型对时间动态理解的不足，展示其在实例准确率上的显著劣势，强调对静态视觉捷径的依赖。
2026-09-09 cs.AI cs.CV
LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving
LaST-VLA通过潜在空间-时间推理框架，结合双特征对齐机制和渐进式SFT训练策略，提升自动驾驶中的视觉-语言-动作处理能力，实现更安全的物理基础推理。
2026-03-12 cs.CV
AnaDiffusion: Anatomically Compositional Latent Diffusion for Controllable 3D Brain MRI Generation
Stanford University（斯坦福大学）；Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Johns Hopkins University（约翰霍普金斯大学）；UTHealth Houston（休斯顿健康科学中心）；Stony Brook University（纽约州立大学石溪分校）
AnaDiffusion是一种解剖学组成式潜在扩散框架，通过分解3D脑部MRI生成为解剖区域并组装细化，在ADNI测试集上实现低FID与高Cohen's d值，支持无需密集分割图的可控部分编辑。
2026-10-14 cs.CV
SceneTransporter: Optimal Transport-Guided Compositional Latent Diffusion for Single-Image Structured 3D Scene Generation
Xi’an Research Institute of Hi-Tech（西安高新技术研究院）；Tsinghua University（清华大学）；SkyWork AI；Tongji University（同济大学）；Fudan University（复旦大学）；Beijing Normal University（北京师范大学）
SceneTransporter通过最优传输引导的组合潜在扩散模型，提升单图像结构化3D场景生成的实例连贯性和几何保真度。
2026-02-26 cs.CV
Controllable and Compositional Generation with Latent-Space Energy-Based Models
NVIDIA（英伟达）；Caltech（加州理工学院）
可控生成是在现实世界应用中成功采用深度生成模型的关键要求之一，但它仍然是一个巨大的挑战。特别是，组合能力，以产生新的概念组合是遥不可及的大多数目前的模型。在这项工作中，我们使用基于能量的模型（EBM）来处理一组属性的合成生成。为了使它们可扩展到高分辨率图像生成，我们在预训练的生成模型（如StyleGAN）的潜在空间中引入了EBM。我们提出了一种新的EBM配方代表联合分布的数据和属性在一起，我们展示了如何从它的采样制定为解决一个常微分方程（ODE）。给定一个预先训练好的生成器，我们所需要的可控生成就是训练一个属性分类器。用常微分方程采样在潜在空间中有效地完成，并且对超参数具有鲁棒性。因此，我们的方法是简单的，快速训练，和有效的样品。实验结果表明，我们的方法优于国家的最先进的条件采样和顺序编辑。在合成生成中，我们的方法擅长于zero-shot生成看不见的属性组合。此外，通过将能量函数与逻辑运算符组合，这项工作是第一次在生成分辨率为1024x1024的照片级逼真图像时实现这种组合性。代码可在https://github.com/NVlabs/LACE上获得。
2021-12-04 cs.AI cs.CV cs.LG
UniSplat: Unified Spatio-Temporal Fusion via 3D Latent Scaffolds for Dynamic Driving Scene Reconstruction
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Voyager Research, Didi Chuxing；The University of Hong Kong（香港大学）
UniSplat提出基于三维潜在支架的统一时空融合框架，结合双分支解码器与静态高斯持久记忆，解决稀疏多相机动态驾驶场景重建问题，在新视角合成上达到最优性能。
2025-11-06 cs.CV
SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing
ByteDance Inc.（字节跳动公司）
最近的研究表明，StyleGAN为图像合成和编辑的下游任务提供了有前途的先验模型。然而，由于StyleGAN的潜在代码旨在控制全局样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStyleGAN，其中一个生成器被训练为单独对局部语义部分进行建模，并以合成的方式合成图像。不同局部的结构和纹理由相应的潜码控制。实验结果表明，我们的模型提供了一个强大的解纠缠不同的空间区域之间。当与为StyleGAN设计的编辑方法相结合时，它可以实现更细粒度的控制来编辑合成或真实图像。该模型还可以通过迁移学习扩展到其他领域。因此，作为一个内置解纠缠的通用先验模型，它可以促进基于GAN的应用程序的开发，并实现更多潜在的下游任务。
2022-03-29 cs.CV
Spatio-temporally separable non-linear latent factor learning: an application to somatomotor cortex fMRI data
TReNDS Center（TReNDS中心）；Georgia Institute of Technology（佐治亚理工学院）；Charite University Hospital（夏里特大学医院）；Georgia State University（佐治亚州立大学）
功能性磁共振成像（fMRI）数据包含复杂的时空动力学，因此研究人员已经开发出在提取相关和可解释动力学的同时降低信号维数的方法。功能磁共振成像数据模型，可以执行全脑发现的动态潜在因素的研究不足。线性独立分量分析模型等方法的优点已得到广泛认可，然而，这些模型的非线性扩展在识别方面提出了挑战。深度学习方法提供了一条前进的道路，但有效的空间权重共享的新方法对于处理高维数据和噪声的存在至关重要。我们的方法概括了非欧几里德神经影像数据的权重共享，首先进行光谱聚类体素之间的结构和功能的相似性的基础上。然后，可以将谱簇及其分配用作自适应多层感知器（MLP）混合器模型中的补丁，以在输入点之间共享参数。为了鼓励时间独立的潜在因素，我们在损失中使用了额外的总相关项。我们的方法进行评估的数据与多个电机子任务，以评估该模型是否捕捉到解开的潜在因素，对应于每个子任务。然后，为了评估我们进一步发现的潜在因素，我们将每个潜在因素的空间位置与运动侏儒进行比较。最后，我们表明，我们的方法捕捉任务效果优于目前的黄金标准的源信号分离，独立分量分析（ICA）。
2022-05-26 cs.CV
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields
TU Berlin（柏林工业大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
提出了一种基于隐式对象编码器、神经辐射场（NeRFs）和图神经网络从图像观测中学习组合多对象动力学模型的方法。NeRF由于其强大的3D先验，已成为表示场景的流行选择。然而，大多数NeRF方法都是在单个场景上训练的，用全局模型来表示整个场景，对包含不同数量对象的新场景进行泛化，这是一个挑战。相反，我们提出了一个组合，以对象为中心的自动编码器框架，将场景的多个视图映射到一组分别代表每个对象的潜在向量。潜在向量参数化个体NeRF，场景可以从个体NeRF重建。在此基础上，我们在潜空间中训练了一个图神经网络动力学模型，实现了动力学预测的组合性。我们的方法的一个关键特征是，通过NeRF解码器强制潜向量对3D信息进行编码，这使我们能够在学习动态模型时结合结构先验，使长期预测与几个基线相比更加稳定。模拟和真实世界的实验表明，我们的方法可以建模和学习的动态组成的场景，包括刚性和可变形的对象。视频：https://dannydriess.github.io/compnerfdyn/
2022-07-27 cs.CV cs.LG cs.RO
Compositional Structure Learning for Action Understanding
SUNY at Buffalo（纽约州立大学布法罗分校）；UCLA（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
动作理解文献的焦点主要是分类，然而，有许多应用需要更丰富的动作理解，例如移动机器人和视频搜索，以及分类，定位和检测的解决方案。在本文中，我们提出了一个组成模型，利用一个新的中级表示称为组成轨迹和一个局部铰接时空变形部分模型（LALSDPM）的充分行动的理解。我们的方法在捕捉动态人类活动的可变结构方面是有利的。首先，组成轨迹捕获空间时间中长范围的，经常共同出现的轨迹组，并将它们表示在有区别的层次结构中，其中人体运动在很大程度上与相机运动分离;其次，LASTARCHIVE学习具有多层可变形部分的结构化模型，以捕获多个层次的关节运动。我们实现了我们的方法，并在所有三个问题上展示了最先进的性能：动作检测，定位和识别。
2014-10-21 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map
Sun Yat-sen University（中山大学）
本文提出LASAR架构，通过双记忆系统维护事件经历和语义认知图，并引入ST-CRL对比目标训练该架构，以提升长距离碎片化经验中对细粒度空间关系的编码能力，在标准VLN-CE和VSI-Bench基准上实现了零样本泛化能力的2%-3.5%提升。
2026-05-16 cs.CV
HyperVis: Continuous Latent Visual Relational Graphs on the Lorentz Hyperboloid for Compositional Reasoning
Data Science and AI, University of Doha for Science and Technology, Qatar（数据科学与人工智能，多哈科学技术大学，卡塔尔）；Pluralis Research, Australia（Pluralis研究，澳大利亚）；Department of Electrical and Computer Engineering, North South University, Bangladesh（电气与计算机工程系，北南大学，孟加拉国）
针对视觉语言模型在组合推理中理解物体间关系的困难，提出HyperVis方法，通过计算密集视觉关系张量并投影到洛伦兹双曲面，利用空间物理（IoA驱动的蕴含锥和外部角排斥）增强层次结构，在训练时作为正则化器提升生成式VQA性能，在推理时作为关系编码器提升判别式组合评分。
2026-06-04 cs.CV
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models
Zhejiang University（浙江大学）；Ant Research（蚂蚁研究院）
本文提出Diffuman4D方法，通过滑动迭代去噪过程增强4D扩散模型的时空一致性，在稀疏视角视频输入下实现高质量且一致的人体新视角视频合成，并在DNA-Rendering和ActorsHQ数据集上显著优于现有方法。
2025-07-17 cs.CV
Compositional Discrete Latent Code for High Fidelity, Productive Diffusion Models
Mila, Université de Montréal（蒙特利尔大学）
本文提出离散潜在代码（DLC）以提升扩散模型的生成保真度，通过组合性实现分布外样本生成，并展示其在图像生成和文本到图像生成中的应用。
2026-01-05 cs.AI cs.CV cs.LG
Generative Hierarchical Models for Parts, Objects, and Scenes
Rutgers University（罗格斯大学）；Xi’an Jiaotong University（西安交通大学）
部件和对象之间的组成结构是自然场景中固有的。通过无监督学习对这种组合层次结构进行建模可以带来各种好处，例如可解释性和可转移性，这在许多下游任务中非常重要。在本文中，我们提出了第一个深度潜变量模型，称为RICH，用于学习可解释组成层次的表示。RICH的核心是一个潜在的场景图表示，它根据场景实体的组成关系将它们组织成一个树结构。在推理过程中，采用自顶向下的方法，RICH能够使用更高级别的表示来指导更低级别的分解。这避免了自底向上方法所面临的部件和对象之间布线的难题。在包含多个对象与不同部分组成的图像上的实验中，我们证明了RICH能够学习潜在的组成层次结构，并生成想象中的场景。
2019-10-21 cs.CV cs.LG stat.ML
Language-free Compositional Action Generation via Decoupling Refinement
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Oxford（牛津大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Central Florida（中佛罗里达大学）
本研究提出一种无需语言辅助的组合动作生成框架，包含动作耦合、条件生成和解耦精炼三个组件，并创建新数据集验证其有效性。
2024-01-08 cs.CV
WorldComp2D: Spatio-semantic Representations of Object Identity and Location from Local Views
Department of Semiconductor Engineering, Hanyang University, Republic of Korea（韩世半导体工程系，翰阳大学，大韩民国）
本文提出WorldComp2D框架，通过多尺度局部感受野显式构建潜在空间几何，实现高效的时空语义推理，相比现有轻量模型在参数和FLOPs上减少4.0X和2.2X，保持实时性能。
2026-05-12 cs.CV cs.LG
Revisiting Classifier-Free Guidance Methods in Latent Diffusion Models
HSE University（高等经济大学）；Yandex（Yandex公司）
本文重新评估了八种源于无分类器引导（CFG）的无训练技术，发现无一种方法始终优于CFG，APG仅获名义最佳分数，注意力扰动方法在不同模型上表现有差异，CFG仍是低成本竞争基线。
2026-08-18 cs.CV
COSY: Compositional 3DGS Synthesis for Disentangled Human Head Editing
Fraunhofer Heinrich-Hertz Institute, Germany（弗劳恩霍夫 Heinrich-Hertz 研究所，德国）；Humboldt University Berlin, Germany（柏林洪堡大学，德国）；NVIDIA, USA（NVIDIA，美国）
提出一种组合式3DGS生成器架构，通过独立合成头发、皮肤、眼镜和躯干等组件实现语义属性的精确解耦编辑，无需分割掩码或几何先验。
2026-10-12 cs.CV
Dance Your Latents: Consistent Dance Generation through Spatial-temporal Subspace Attention Guided by Motion Flow
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出Dance-Your-Latents框架，通过时空子空间注意力模块和运动流引导的子空间对齐与恢复方法，有效缓解长程注意力分散问题，显著提升生成舞蹈视频的时空一致性。
2023-10-20 cs.CV
Compositional Cross-Modality Translation via Whole-Volume Multitask Latent Flow Matching
Università Campus Bio-Medico di Roma（罗马 Campus Bio-Medico 大学）；Umeå University（于默奥大学）；UniCamillus – Saint Camillus International University of Health Sciences（UniCamillus – 圣卡米勒斯国际健康科学大学）
该研究提出基于全容积多任务潜在流匹配的方法，解耦容积先验与跨模态映射目标，训练单个多任务模型实现跨/模态内转换，在全容积处理、零样本泛化等方面优于基线，为合成系统泛化提供可扩展途径。
2026-08-11 cs.AI cs.CV
Robust Event Detection based on Spatio-Temporal Latent Action Unit using Skeletal Information
Technical University of Munich（慕尼黑工业大学）
本文提出了一种新的字典学习方法来检测事件的动作，从RGBD视频提取的骨架信息。事件行为被表示为多个潜在原子，由潜在的空间和时间属性组成。我们在跌倒事件检测的例子中执行该方法。骨架帧聚类的初始K-均值方法。每个骨架帧都被分配了一个不同的权重参数，并被输入到我们的渐进在线字典学习（GODL）算法中。在训练过程中，离群帧将通过减少与成本成反比的权重来逐渐过滤。为了严格区分事件动作和相似动作，鲁棒地获取其动作单元，我们为每个子动作建立了一个潜在的单元时间结构。我们在NTURGB+D数据集的部分数据上评估了所提出的方法，该数据集包括209个跌倒视频，405个地面提升视频，420个坐下视频和280个46个其他动作的视频。我们提出的实验验证所取得的准确率，召回率和精度。与其他现有的字典学习方法相比，我们的方法在人体跌倒事件检测的精确度和准确度上取得了最好的性能。随着噪声比的增加，我们的方法仍然是最高的精度和最低的方差。
2021-10-01 cs.CV cs.HC
Timeripple: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qizhi Institute（上海启智研究院）；Huawei Technologies Co.,Ltd（华为技术有限公司）；Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
针对视频生成中vDiT模型推理延迟问题，利用潜在空间时空相关性，提出轻量级自适应重用策略，通过重用相关令牌部分注意力分数近似计算，相比现有技术计算节省85%，且视频质量损失小。
2026-07-22 cs.AR cs.CV
STLDM: Spatio-Temporal Latent Diffusion Model for Precipitation Nowcasting
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Observatory（香港天文台）
STLDM通过结合变分自编码器和条件网络，提出了一种基于扩散的模型，用于提升降水现在预测的精度和效率。
2025-12-24 cs.AI cs.CV cs.LG
CoSE: Compositional Stroke Embeddings
ETH Zurich（苏黎世联邦理工学院）；Apple Switzerland（苹果瑞士公司）；Google Research（谷歌研究院）
我们提出了一个生成模型，复杂的自由形式的结构，如基于笔划的绘图任务。虽然以前的方法依赖于基于序列的模型来绘制基本对象或手写文本，但我们提出了一种模型，该模型将绘图视为可以组成复杂结构（例如，流程图）。该方法的核心是一种新颖的自动编码器，它将可变长度的笔划投影到固定尺寸的潜在空间中。该表示空间允许在潜在空间中操作的关系模型更好地捕获笔划之间的关系并预测后续笔划。我们定性和定量地证明，我们提出的方法是能够模拟的外观，个别笔画，以及组成结构的较大的图表图纸。我们的方法适用于交互式用例，如自动完成图。我们在https://eth-ait.github.io/cose上公开代码和模型。
2020-11-30 cs.CV cs.LG stat.ML
An Enhanced Adversarial Network with Combined Latent Features for Spatio-Temporal Facial Affect Estimation in the Wild
Pompeu Fabra University（庞培法布拉大学）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
情感计算由于其在不同领域的大量应用，近年来引起了研究界的关注。在这种情况下，视频数据的出现，使人们能够丰富广泛使用的空间特征，包括时间信息。然而，这种时空建模通常会导致非常高维的特征空间和大量的数据，使得训练困难且耗时。本文针对这些缺点，提出了一种新的模型，有效地提取空间和时间的数据特征，通过其增强的时间建模的基础上的潜在功能。我们提出的模型由三个主要的网络组成，即生成器、鉴别器和组合器，它们在对抗环境中进行训练，并结合课程学习，以实现我们的自适应注意力模块。在我们的实验中，我们通过报告我们在AFEW-VA和SEWA数据集上的竞争结果来展示我们方法的有效性，这表明时间建模在定性和定量方面都提高了影响估计。此外，我们发现，包括注意力机制导致最高的精度提高，因为它的权重似乎与面部运动的外观，无论是在时间定位和强度。最后，我们观察到约160 ms的序列长度是时间建模的最佳序列长度，这与利用类似长度的其他相关发现一致。
2021-02-18 cs.CV cs.HC
Identifying Latent Concepts and Structures for Generalized Category Discovery
The University of Hong Kong（香港大学）；Shenzhen University（深圳大学）
提出组合基元场（CPF-GCD）框架，通过低秩组合组织重塑特征空间，使潜在结构可识别，从而提升广义类别发现性能。
2026-07-02 cs.AI cs.CV
LAtent Phase Inference from Short time sequences using SHallow REcurrent Decoders (LAPIS-SHRED)
University of Washington（华盛顿大学）；Autodesk Research（欧特克研究院）
本文提出LAPIS-SHRED，通过三阶段流程从稀疏传感器观测中重建和预测完整的时空动态，支持双向推断和多尺度重建，适用于观测受限的运营环境。
2026-04-01 cs.AI cs.CV cs.LG
