Compositional Learning in Transformer-Based Human-Object Interaction Detection
Tongji University（同济大学）
本文针对HOI检测中的长尾分布问题，提出一种不依赖辅助信息的Transformer组合学习框架，通过跨实例重组人物对与交互表示提升泛化能力，在稀有类别上取得最优性能。
2023-08-11 cs.CV
Learning Compositional Neural Information Fusion for Human Parsing
Inception Institute of Artificial Intelligence（人工智能研究院）；Tianjin University（天津大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作提出将神经网络与人体的组成层次结构相结合，以实现高效和完整的人体解析。我们制定的方法作为一个神经信息融合框架。我们的模型通过层次结构从三个推理过程中收集信息：直接推理（使用图像信息直接预测人体的每个部分），自底向上推理（从组成部分收集知识）和自顶向下推理（利用来自父结点的上下文）。自下而上和自上而下的推理分别明确地模拟了人体的组成和分解关系。此外，多源信息的融合取决于输入，即，通过估计和考虑来源的置信度。整个模型是端到端可区分的，明确地建模信息流和结构。我们的方法在四个流行的数据集上进行了广泛的评估，在所有情况下都优于最先进的技术，具有23fps的快速处理速度。我们的代码和结果已经发布，以帮助简化未来在这个方向的研究。
2020-01-19 cs.CV
Compositional Human-Scene Interaction Synthesis with Semantic Control
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
在虚拟人和他们的3D环境之间合成自然交互对于许多应用来说是至关重要的，例如计算机游戏和AR/VR体验。我们的目标是合成与由高级语义规范控制的给定3D场景交互的人类，作为动作类别和对象实例对，例如，“坐在椅子上”。将交互语义纳入生成框架的关键挑战是学习有效捕获异构信息的联合表示，包括人体关节，3D对象几何形状和交互的意图。为了解决这个问题，我们设计了一种新的基于变换的生成模型，其中关节的三维人体表面点和三维物体被联合编码在一个统一的潜在空间，和语义的人和物体之间的相互作用是通过位置编码嵌入。此外，受人类可以同时与多个对象进行交互的组合性质的启发，我们将交互语义定义为不同数量的原子动作对象对的组合。我们提出的生成模型可以自然地结合不同数量的原子交互，这使得合成合成的人的场景交互，而不需要复合交互数据。我们扩展的PROX数据集与交互语义标签和场景实例分割来评估我们的方法，并证明我们的方法可以生成逼真的人与场景的交互与语义控制。我们的感知研究表明，我们合成的虚拟人可以自然地与3D场景进行交互，大大优于现有的方法。我们将我们的方法命名为COINS，用于具有语义控制的组合交互合成。代码和数据可在https://github.com/zkf1997/COINS上获得。
2022-07-26 cs.CV
Human-like compositional learning of visually-grounded concepts using synthetic environments
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文在3D合成环境中研究多模态强化学习智能体如何通过试错学习将限定词和介词等复杂概念与视觉目标组合基础化，并证明课程学习可减少15%训练回合、提升学习效率，使智能体能够分解未见指令并快速适应新视觉组合。
2025-04-09 cs.CV
Human Pose as Compositional Tokens
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
人体姿势通常由身体关节的坐标向量或其热图嵌入表示。虽然易于数据处理，不切实际的姿态估计承认，由于缺乏身体关节之间的依赖建模。在本文中，我们提出了一个结构化的表示，命名为姿势组成令牌（PCT），探索联合依赖。它由M个离散令牌表示姿态，每个令牌表征具有若干相互依赖的关节的子结构。组合设计使其能够以低成本实现小的重建误差。然后，我们投姿态估计作为一个分类任务。特别是，我们学习一个分类器来预测图像中M个标记的类别。预先学习的解码器网络用于从令牌恢复姿态，而无需进一步的后处理。我们表明，它实现了更好的或可比的姿态估计结果，现有的方法在一般情况下，但继续工作时，发生遮挡，这是普遍存在的实践。代码和模型可在https://github.com/Gengzigang/PCT上公开获取。
2023-03-21 cs.CV
Learning visual representations for compositional analysis of artworks and photographs
KU Leuven University（KU Leuven大学（荷语鲁汶大学））
该研究对比了受人类启发的构图分析方法与微调基础模型两种范式，在三类任务上评估性能，发现前者冻结编码器时具竞争力且可解释，后者微调后性能更优但可解释性与泛化性下降。
2026-08-17 cs.CV
Visual Compositional Learning for Human-Object Interaction Detection
The University of Sydney（悉尼大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
人-物交互检测的目的是定位和推断图像中人与物体之间的关系。它之所以具有挑战性，是因为大量的宾语和动词类型的可能组合形成了一个长尾分布。我们设计了一个深度视觉组合学习（VCL）框架，这是一个简单而有效的框架，可以有效地解决这个问题。VCL首先将HOI表示分解为对象和动词特定的特征，然后通过拼接分解的特征在特征空间中组成新的交互样本。分解和合成的集成使VCL能够在不同的HOI样本和图像之间共享对象和动词特征，并生成新的交互样本和新类型的HOI，从而在很大程度上解决了长尾分布问题，并有利于低拍摄或zero-shot HOI检测。大量的实验表明，所提出的VCL可以有效地提高HICO-DET和V-COCO上的HOI检测的泛化能力，并且优于目前最先进的HICO-DET方法。代码可在https://github.com/zhihou7/VCL上获得。
2020-10-04 cs.CV
Dynamic Compositional Graph Convolutional Network for Efficient Composite Human Motion Prediction
Sun Yat-Sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Sony R&D Center China（索尼中国研发中心）；Peking University（北京大学）
针对复合人体动作预测任务，本文提出CAG模块生成合成训练数据，并设计DC-GCN模型以高效处理复合动作，在极低额外计算成本下实现了最先进的预测精度。
2023-11-23 cs.CV
Learning Compositional Representations for Few-Shot Recognition
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人学院）
现代深度学习方法的一个关键限制在于训练它们所需的数据量。相比之下，人类可以从几个例子中学习识别新的类别。这种快速学习能力的工具是人脑中概念表征的组成结构--这是深度学习模型所缺乏的。在这项工作中，我们通过引入一个简单的正则化技术，允许学习的表示可分解为部分，从而朝着弥合人类和机器学习之间的差距迈出了一步。我们的方法使用类别级别的属性注释来将网络的特征空间分解为与属性对应的子空间。这些属性可以是纯视觉的，如物体的部分，也可以是更抽象的，如开放性和对称性。我们在三个数据集上展示了组合表示的价值：CUB-200-2011，SUN 397和ImageNet，并表明它们需要更少的例子来学习新类别的分类器。
2019-08-17 cs.CV
Modeling Relationships in Referential Expressions with Compositional Modular Networks
University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
人们经常根据实体与其他实体的关系来指代图像中的实体。例如，“坐在桌子下面的黑猫”指的是“黑猫”实体及其与另一“桌子”实体的关系。理解这些关系对于解释和建立这种自然语言表达是必不可少的。大多数先前的工作集中在将整个指称表达式整体地接地到一个区域，或者基于一组固定的类别来本地化关系。在本文中，我们提出了一个模块化的深度架构，能够将引用表达式分析为它们的组成部分，识别输入表达式中提到的实体和关系，并将它们全部置于场景中。我们称这种方法为组合模块化网络（CMNs）：一种端到端学习语言分析和视觉推理的新型架构。我们的方法是建立在两种类型的神经模块，检查局部区域和区域之间的成对相互作用。我们在多个参考表达式数据集上评估CMN，在所有任务上都优于最先进的方法。
2016-11-30 cs.CV
Compositional Scene Understanding through Inverse Generative Modeling
Harvard University（哈佛大学）
本文提出将场景理解视为逆生成建模问题，通过组合式构建生成模型以推断物体集合和全局场景因子，实现对新场景的稳健泛化，并可直接应用于预训练文本到图像模型进行零样本多物体感知。
2025-06-23 cs.CV
Compositional Scene Modeling with Global Object-Centric Representations
Fudan University（复旦大学）
由于对象之间的透视和遮挡，同一对象的外观在不同场景图像中可能不同。人类可以很容易地识别同一个对象，即使存在遮挡，通过完成基于其在内存中的规范图像的遮挡部分。实现这种能力对于机器学习来说仍然是一个挑战，特别是在无监督学习的设置下。受人类这种能力的启发，本文提出了一种组合场景建模方法，可以在没有任何监督的情况下推断对象的规范图像的全局表示。每个对象的表示被分成表征全局不变信息（即对象的规范表示）的内在部分和表征场景相关信息（例如，位置和大小）。为了推断每个对象的内在表示，我们采用了补丁匹配策略，以对齐的对象的典型表示的一个潜在的被遮挡的对象的表示，并采样的最可能的典型表示的基础上，由摊销变分推理确定的对象的类别。在四个以对象为中心的学习基准上进行了大量的实验，实验结果表明，该方法不仅在分割和重建方面优于现有技术，而且具有良好的全局对象识别性能。
2022-11-24 cs.CV
CoMA: Compositional Human Motion Generation with Multi-modal Agents
University of California, Irvine（加利福尼亚大学欧文分校）；Stony Brook University（石溪大学）；Southeast University（东南大学）；Chongqing University（重庆大学）；Huazhong University of Science and Technology（华中科技大学）；Northeastern University（东北大学）
本文提出 CoMA，通过协作式多模态大模型智能体与带部位编码器和码本的 mask transformer 生成器，实现复杂人体动作的生成、文本编辑、理解与自校正。
2025-01-07 cs.CV
Local Compositional Complexity: How to Detect a Human-readable Messsage
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对数据复杂性缺乏严格可计算定义的问题，本文提出基于最短描述结构化部分占比的通用衡量框架，推导出面向人类交流的局部组合复杂性可计算定义，实验验证其可跨域区分有效信号与噪声，还可应用于统计力学及地外信号检测。
2025-03-20 cs.CV
Face Images as Jigsaw Puzzles: Compositional Perception of Human Faces for Machines Using Generative Adversarial Networks
Carleton University（卡尔顿大学）
人机交互（HRI）的一个重要目标是让机器实现接近人类水平的人脸感知。机器学习和人类智能之间的一个重要区别是缺乏组合性。本文介绍了一种新的方案，使生成对抗网络能够学习由更小部分组成的人脸图像的分布。这导致更灵活的机器面感知和更容易推广到外部训练样本。我们证明，该模型是能够产生逼真的高品质的人脸图像，通过生成和拼凑的部分。此外，我们证明了该模型学习面部部位及其分布之间的关系。因此，特定面部部分在所生成的面部图像之间是可互换的。
2021-03-10 cs.CV cs.LG
Modelling Spatio-Temporal Interactions For Compositional Action Recognition
Centre for Frontier AI Research（前沿人工智能研究中心）；Institute of High Performance Computing（高性能计算研究所）
本文面向组合式动作识别，提出融合逐帧手物细粒度交互、长程时空交互及全局运动信息的 token 建模方法，并在 Something-Else 上取得最优性能。
2024-09-19 cs.CV
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室）；Independent Researcher（独立研究员）
提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
Compositional Structure Learning for Action Understanding
SUNY at Buffalo（纽约州立大学布法罗分校）；UCLA（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
动作理解文献的焦点主要是分类，然而，有许多应用需要更丰富的动作理解，例如移动机器人和视频搜索，以及分类，定位和检测的解决方案。在本文中，我们提出了一个组成模型，利用一个新的中级表示称为组成轨迹和一个局部铰接时空变形部分模型（LALSDPM）的充分行动的理解。我们的方法在捕捉动态人类活动的可变结构方面是有利的。首先，组成轨迹捕获空间时间中长范围的，经常共同出现的轨迹组，并将它们表示在有区别的层次结构中，其中人体运动在很大程度上与相机运动分离;其次，LASTARCHIVE学习具有多层可变形部分的结构化模型，以捕获多个层次的关节运动。我们实现了我们的方法，并在所有三个问题上展示了最先进的性能：动作检测，定位和识别。
2014-10-21 cs.CV
Human Re-identification by Matching Compositional Template with Cluster Sampling
Sun Yat-Sen University（中山大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文针对视觉监控中一个新提出的任务：通过匹配人体信息来重新识别远距离的人，并给出了几个参考实例。大多数现有的工作解决了这个任务，通过匹配的参考模板与目标个人，但往往遭受大的人类外观的变化（例如，不同的姿势/视图，照明）和高误报匹配所造成的连接，闭塞或周围的混乱。针对这些问题，我们构建了一个简单而富有表现力的模板，从一些参考图像的某个人，它代表了身体作为一个关节组装的组成和替代部分，并提出了一个有效的匹配算法与聚类采样。该算法在候选图中设计，候选图的顶点是匹配的候选者（即，一对源和目标身体部位），并且在两个步骤中迭代以实现收敛。(i)它基于身体部位之间的兼容和竞争关系生成可能的部分匹配。(ii)它确认部分匹配，以产生一个新的匹配解决方案，这是接受的马尔可夫链蒙特卡罗（MCMC）机制。在实验中，我们证明了我们的方法在三个公共数据库相比，现有的方法的优越性能。
2015-02-01 cs.CV
CoLa: Chinese Character Decomposition with Compositional Latent Components
Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机学院）
本文提出CoLa深度潜变量模型，不依赖人工定义的部首或笔画分解方案，通过学习汉字的组合式潜在成分实现零样本汉字识别，并在汉字和部首零样本任务中优于现有方法，且能跨数据集分析甲骨文。
2025-06-04 cs.CV
Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford（牛津大学）；TwentyBN；UC Berkeley（加州大学伯克利分校）；Tel Aviv University（特拉维夫大学）
人类的动作是自然合成的：人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中，我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型，可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型，我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务，其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象，可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用，我们依赖于基线场景级的时空表示。我们表明，我们的方法的有效性，不仅在建议的组成动作识别任务，但也在一个Few-Shot组成设置，需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons
Xidian University（西安电子科技大学）
针对多人复杂背景下人类舞蹈生成泛化不足的问题，提出cHDG基准与零样本框架MultiDance-Zero，通过姿态感知反演、组合增强和一致性引导采样提升多人视频生成质量。
2024-01-24 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization
Xi’an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文研究解耦与组合泛化的关系，发现基于向量的概念表示是实现良好解耦和强组合泛化的关键，并提出将 β-TCVAE 和 FactorVAE 改造为向量表示以同时提升两种能力。
2023-05-29 cs.CV
A Grammatical Compositional Model for Video Action Detection
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Northwestern University（西北大学）
针对视频交互动作的类内差异与细粒度类间区别，提出基于与或图的语法组合模型 GCM，并以端到端神经网络融合语法结构与 DNN 特征，在 AVA 和 Something-Else 上验证优势及可解释性。
2023-10-04 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）
本文提出ONE-SHOT框架，通过空间解耦运动注入和混合上下文整合，实现高效的人类-环境视频合成，优于现有方法，具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
AdaHuman: Animatable Detailed 3D Human Generation with Compositional Multiview Diffusion
NVIDIA
提出AdaHuman框架，通过姿态条件3D联合扩散模型和组合式3DGS细化模块，从单张自然图像生成高保真可动3D虚拟人，显著优于现有方法。
2025-05-30 cs.CV
Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven（鲁汶大学）
识别人类行为从根本上说是一个时空推理问题，并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设，在这项工作中，我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置，但仍不清楚（i）精心制作的基于时空布局的方法可以识别人类行为的程度，以及（ii）如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别，其中我们提倡在时空布局上使用多头注意力（已被证明对空间推理有效），即，对象边界框的配置。我们评估不同的方案，以注入视频外观信息的系统，并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上，我们演示了（i）如何扩展多头注意力用于基于时空布局的动作识别，（ii）如何通过与基于布局的模型融合来提高基于外观的模型的性能，（iii）即使在非合成背景杂乱的视频数据集上，基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
EnergyMoGen: Compositional Human Motion Generation with Energy-Based Diffusion Model in Latent Space
ReLER, AAII, University of Technology Sydney（技术悉尼大学）；CCAI, Zhejiang University（浙江大学）
本文提出 EnergyMoGen，通过隐空间感知能量模型与语义感知能量模型的协同能量融合，解决隐扩散模型在多语义概念组合动作生成中的不一致与失真问题，在文本到动作、组合式及多概念动作生成任务上超越现有最先进模型，并可用于扩展动作数据集。
2025-06-04 cs.CV
ViLPAct: A Benchmark for Compositional Generalization on Multimodal Human Activities
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Technology Sydney（悉尼科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
我们介绍ViLPAct，一种新颖的视觉语言基准人类活动规划。它是为一项任务而设计的，在这项任务中，具体的人工智能智能体可以根据关于人类初始活动和文本意图的视频剪辑来推理和预测人类未来的行动。该数据集由来自\charades的2.9k个视频组成，通过众包扩展了意图，多项选择题测试集和四个强基线。其中一个基线实现了基于多模态知识库（MKB）的神经符号方法，而其他基线是从最新的最先进的（SOTA）方法改编的深度生成模型。根据我们广泛的实验，关键的挑战是组合泛化和有效地使用来自两种模式的信息。
2023-03-09 cs.CL cs.CV
The Pictorial Cortex: Zero-Shot Cross-Subject fMRI-to-Image Reconstruction via Compositional Latent Modeling
Institute of Science and Technology for Brain-inspired Intelligence (ISTBI), Fudan University（脑启发智能科学与技术研究院，复旦大学）；School of Data Science, Fudan University（复旦大学数据科学学院）；Fudan ISTBI–ZJNU Algorithm Centre for Brain-Inspired Intelligence, Zhejiang Normal University（复旦ISTBI-浙师大脑启发智能算法中心，浙江师范大学）；Shanghai Innovation Institute（上海创新研究院）；Nanyang Technological University（南洋理工大学）
本文提出PictorialCortex模型，通过组合潜在建模和多数据集训练，实现零样本跨主体fMRI到图像重建。
2026-01-21 cs.CV
FashionComposer: Compositional Fashion Image Generation
The University of Hong Kong（香港大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Zhejiang University（浙江大学）
提出FashionComposer框架，通过多模态输入和主体绑定注意力机制，实现高度灵活的组合式时尚图像生成，支持个性化外观及多服装分配。
2024-12-19 cs.CV
Compositional Generative Modeling: A Single Model is Not All You Need
MIT（麻省理工学院）
本文主张通过组合较小的生成模型来构建大型生成系统，该方法能提升数据效率、泛化至未见数据分布、为全新任务构建模型，并从数据中发现独立组合成分。
2024-06-03 cs.AI cs.CV cs.LG
Iterated Learning Improves Compositionality in Large Vision-Language Models
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
针对大型视觉-语言模型组合性不足且无法随规模提升的问题，受认知科学文化传递启发，提出迭代训练算法，将对比学习重构为Lewis信号博弈并迭代重置智能体权重，在SugarCrepe基准上取得显著提升。
2024-04-17 cs.CV
Learning Compositional Radiance Fields of Dynamic Human Heads
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook Reality Labs（Facebook现实实验室）
动态人的真实感绘制是远程呈现系统、虚拟购物、合成数据生成等的重要能力。最近，结合计算机图形学和机器学习技术的神经渲染方法已经创建了人类和物体的高保真模型。其中一些方法不能为可驾驶的人体模型（Neural Model）产生足够高保真的结果，而另一些方法的渲染时间非常长（NeRF）。我们提出了一种新的组合3D表示，结合了以前的方法，以产生更高的分辨率和更快的结果。我们的表示桥接离散和连续体积表示之间的差距，通过将动画代码的粗糙3D结构感知网格与连续学习场景函数相结合，将每个位置及其相应的局部动画代码映射到其视图相关的发射辐射和局部体积密度。微分体渲染计算照片逼真的新的意见，人类的头部和上身，以及训练我们的新的表示端到端，只使用2D的监督。此外，我们表明，学习的动态辐射场可用于合成新的看不见的表情的基础上的全球动画代码。我们的方法实现了国家的最先进的结果，用于合成动态的人类头部和上身的新观点。
2020-12-17 cs.CV cs.GR
Few-Shot Learning of Visual Compositional Concepts through Probabilistic Schema Induction
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Air Force Research Laboratory（空军研究实验室）
提出概率模式归纳（PSI）模型，利用深度学习在少量结构化视觉示例上进行类比映射，形成组合概念，并证明其类人少样本学习优势。
2025-05-14 cs.CV
Learning Latent Spatio-Temporal Compositional Model for Human Action Recognition
Sun Yat-Sen University（中山大学）；IBM Research（IBM研究院）
动作识别是多媒体理解中的一个重要问题。本文通过建立一个表达性的组合动作模型来解决这个问题。我们在视频中的一个动作实例建模与合奏的时空组成：一些离散的时间锚帧，其中每一个被进一步分解到一个布局的可变形部分。通过这种方式，我们的模型可以识别时空与或图（STAOG）来表示动作的潜在结构，例如三级跳远，摇摆和跳高。STAOG模型包括四层：（i）底部的一批叶节点，用于检测视频补丁内的各种动作部分;（ii）底部的或节点，即开关变量，以激活它们的子叶节点用于结构可变性;（iii）锚定帧内的与节点，用于验证空间组成;以及（iv）顶部的根节点，用于聚合时间锚定帧上的分数。此外，上下文之间的相互作用被定义在空间和时间域的叶节点。对于模型训练，我们开发了一种新的弱监督学习算法，该算法迭代地确定结构配置（例如，与或节点相关联的叶节点的产生）以及多层参数的优化。通过充分利用时空组合和相互作用，我们的方法很好地处理大的类内动作方差（例如，不同的视图，个人外观，时空结构）。具有挑战性的数据库上的实验结果表明，我们的方法优于其他竞争方法的性能。
2015-02-01 cs.CV
A Benchmark for Compositional Visual Reasoning
Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）；Centre de Recherche Cerveau et Cognition（脑与认知研究中心）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
人类视觉的一个基本组成部分是我们解析复杂视觉场景并判断其组成对象之间关系的能力。近年来，视觉推理的人工智能基准测试推动了快速发展，最先进的系统现在在其中一些基准测试上达到了人类的准确性。然而，在人类和人工智能系统学习新的视觉推理任务的样本效率方面仍然存在重大差距。人类在学习方面的非凡效率至少部分归因于他们利用组合性的能力-这样他们就可以在学习新任务时有效地利用以前获得的知识。在这里，我们介绍了一种新的视觉推理基准，组合视觉关系（CVR），以推动更数据有效的学习算法的发展。我们从流体智能和非语言推理测试中获得灵感，并描述了一种用于大规模创建抽象规则和相关图像数据集组合的新方法。我们提出的基准测试包括样本效率，泛化和跨任务规则的传输，以及利用组合性的能力。我们系统地评估了现代神经架构，并发现令人惊讶的是，在大多数数据体系中，卷积架构在所有性能指标上都超过了基于transformer的架构。然而，所有的计算模型都比人类的数据效率低得多，即使在使用自我监督学习信息丰富的视觉表示之后。总的来说，我们希望我们的挑战将激发人们对开发神经架构的兴趣，这些神经架构可以学会利用组合性实现更有效的学习。
2022-06-11 cs.AI cs.CV
Flexible Compositional Learning of Structured Visual Concepts
New York University（纽约大学）
人类是高效的学习者，能够从几个例子中掌握一个新概念的含义。与流行的计算机视觉系统不同，人类可以灵活地利用视觉世界的组成结构，将新概念理解为现有概念的组合。在本文中，我们研究人们如何学习不同类型的视觉组成，使用抽象的视觉形式与丰富的关系结构。我们发现人们可以在各种场景中仅通过几个示例做出有意义的组合概括，并且我们开发了一个贝叶斯程序归纳模型，该模型提供了与行为数据的密切拟合。与过去的工作，研究特殊情况下的组合性，我们的工作表明，一个单一的计算方法可以解释许多不同类型的组合概括。
2021-05-20 cs.CV cs.LG
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出了一种新的神经网络模型，用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学，提出了多时空尺度递归神经网络（MSTRNN）模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理，假设网络在学习过程中可以利用这些约束来发展有意义的结构，如功能层次结构。为了评估模型的特性，本研究使用了三种类型的人类动作视频数据集，包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Open Vocabulary Compositional Explanations for Neuron Alignment
Department of Computer Science and Engineering University of California, Santa Cruz（计算机科学与工程系加州大学圣克ruz分校）
本文提出了一种开放词汇组合解释框架，通过语义分割生成掩码来实现神经元对齐，提升解释的灵活性和适用性。
2025-11-25 cs.AI cs.CV cs.LG
Compositionally Equivariant Representation Learning
University of Edinburgh（爱丁堡大学）；Moverse；Canon Medical Research Europe Ltd.（佳能医疗欧洲研究有限公司）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出组合等变表示学习，利用可学习vMF核建模医学图像分割中的组合结构，在无/弱/半监督下提升表示的可解释性与泛化性，并在半监督域泛化分割任务上取得最优性能。
2023-06-17 cs.CV cs.LG
Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；University of Denver（丹佛大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对开放世界中对象视觉信息缺失及属性数量无界的挑战，本文提出基于属性的组成式零样本学习方法，在MIT-States和Clothing 16K数据集上验证了机器人能正确识别人类指令所指对象。
2023-12-21 cs.AI cs.CL cs.CV
Evaluating the Evaluators: Metrics for Compositional Text-to-Image Generation
Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）
本文系统研究了组合式文本到图像生成中的自动化评估指标，发现没有单一指标能在所有组合任务上一致表现，VQA类指标并非普遍最优，而某些嵌入类指标在特定场景下更强，强调了谨慎选择指标对可信评估和奖励模型的重要性。
2025-11-07 cs.CL cs.CV
Discovering Human-Object Interaction Concepts via Self-Compositional Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
对人-物体交互（HOI）的全面理解不仅需要检测预定义的HOI概念（或类别）的一小部分，而且还需要检测其他合理的HOI概念，而当前的方法通常无法探索未知HOI概念的大部分（即，动词和宾语的未知但合理的组合）。在本文中，1）我们介绍了一个新的和具有挑战性的任务，全面的HOI理解，这是被称为HOI概念发现;和2）我们设计了一个自组合学习框架（或SCL）的HOI概念发现。具体来说，我们在训练期间维护在线更新的概念置信度矩阵：1）我们根据用于自训练的概念置信度矩阵为所有复合HOI实例分配伪标签;以及2）我们使用所有复合HOI实例的预测来更新概念置信度矩阵。因此，所提出的方法能够学习已知和未知的HOI概念。我们在几个流行的HOI数据集上进行了大量的实验，以证明所提出的方法对HOI概念发现，对象启示识别和HOI检测的有效性。例如，所提出的自组合学习框架显著地提高了以下性能：1）在HICO-DET上HOI概念发现超过10%，在V-COCO上超过3%; 2）在MS-COCO和HICO-DET上对象示能表示识别超过9% mAP;以及3）稀有优先和非稀有优先未知HOI检测分别相对超过30%和20%。代码可在https://github.com/zhihou7/HOI-CL上公开获取。
2022-07-24 cs.CV cs.LG cs.RO
Compositional Few-Shot Class-Incremental Learning
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本类增量学习挑战，提出认知启发的组合模型，通过基元组合与重用模块，利用CKA相似性实现有效且可解释的增量学习，在三个数据集上超越现有方法。
2024-05-27 cs.AI cs.CV
Learning Compositional Representations for Effective Low-Shot Generalization
Boston University（波士顿大学）
我们提出了识别部分组成（RPC），图像编码方法的灵感来自人类认知。它基于认知理论，即人类通过组件来识别复杂对象，并且他们构建了一个小型紧凑的概念词汇表来表示每个实例。RPC通过首先将图像分解为突出部分，然后将每个部分编码为少量原型的混合，每个原型代表某个概念。我们发现，这种受人类认知启发的学习可以克服深度卷积网络在低拍摄泛化任务中面临的障碍，如零样本学习，少样本学习和无监督领域自适应。此外，我们发现使用RPC图像编码器的分类器对对抗攻击相当鲁棒，而深度神经网络是已知的。鉴于我们的图像编码原理是基于人类认知的，人们会期望编码是人类可以解释的，我们通过众包实验发现了这种情况。最后，我们提出了一个应用程序，这些可解释的编码生成合成属性注释的形式评估新的数据集上的零样本学习方法。
2022-04-17 cs.AI cs.CV cs.LG
Unsupervised Learning of Compositional Scene Representations from Multiple Unspecified Viewpoints
Shanghai Key Laboratory of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）
视觉场景具有极其丰富的多样性，这不仅是因为存在着物体和背景的无限组合，而且还因为同一场景的观察结果可能会随着视点的变化而发生很大的变化。当从多个视点观察包含多个对象的视觉场景时，人类能够从每个视点以合成的方式感知场景，同时在不同的视点之间实现所谓的“对象恒定性”，即使确切的视点是未知的。这种能力对于人类在移动时识别同一物体并有效地从视觉中学习至关重要。设计具有类似能力的模型是有趣的。在本文中，我们考虑了一个新的问题，学习组成场景表示从多个未指定的观点，而不使用任何监督，并提出了一个深度生成模型，分离潜在的表示为一个视点无关的部分和视点相关的部分来解决这个问题。为了推断潜在表征，包含在不同视点中的信息由神经网络迭代地整合。在几个专门设计的合成数据集上的实验表明，该方法能够有效地从多个未指定的视点进行学习。
2021-12-12 cs.CV cs.LG
Teaching Compositionality to CNNs
Vicarious FPC
卷积神经网络（CNN）在计算机视觉中取得了巨大成功，当通过特定于应用的损失函数针对特定任务进行训练时，其性能接近人类水平。在本文中，我们提出了一种增强和训练CNN的方法，使它们的学习特征是组合的。它鼓励网络形成表征，将对象从周围环境和彼此中分离出来，从而促进更好的泛化。我们的方法不知道它所应用的底层CNN的具体细节，原则上可以与任何CNN一起使用。正如我们在实验中所展示的那样，学习到的表示导致了特征激活，这些特征激活更加本地化，并且在对象识别任务中提高了非组合基线的性能。
2017-06-14 cs.CV cs.LG
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
Compositional diversity in visual concept learning
New York University（纽约大学）
本文研究人类在视觉概念学习中的组合泛化能力，提出贝叶斯程序归纳模型和神经符号程序归纳模型，在少样本分类与生成任务中揭示人类和模型如何从已有部件组合出新概念并产生多样化行为。
2023-05-30 cs.AI cs.CV cs.LG
GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力，发现VQAScore指标优于现有方法，可通过黑盒排序提升生成效果，并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC
MIT（麻省理工学院）；Google Deepmind（谷歌DeepMind）
针对现有扩散模型组合生成失效的问题，提出基于MCMC的新型采样器及扩散模型的能量参数化方法，在多类组合生成任务中实现性能显著提升。
2024-09-14 cs.AI cs.CV cs.LG
Dreamweaver: Learning Compositional World Models from Pixels
KAIST（韩国科学技术院）；Rutgers University（罗格斯大学）；New York University（纽约大学）
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标，从原始视频中学习分层组合表示，实现无需辅助数据的组合式未来视频生成，并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
