CompoSuite: A Compositional Reinforcement Learning Benchmark
University of Pennsylvania(宾夕法尼亚大学)
我们提出了CompoSuite,一个开源的模拟机器人操作基准组合多任务强化学习(RL)。每个CompoSuite任务都需要一个特定的机器人手臂来操纵一个单独的物体,以实现任务目标,同时避免障碍物。这种任务的组合定义赋予了CompoSuite两个显著的属性。首先,改变机器人/物体/目标/障碍物元素会导致数百个RL任务,每个任务都需要有意义的不同行为。第二,RL方法可以专门评估其学习任务组成结构的能力。后一种功能分解问题的能力将使智能代理能够识别和利用学习任务之间的共性,以处理各种各样的高度多样化的问题。我们对现有的单任务、多任务和组合学习算法在各种训练环境下进行了基准测试,并评估了它们在组合上推广到看不见的任务的能力。我们的评估暴露了现有的RL方法的缺点方面的组合性,并开辟了新的途径进行调查。
2022-07-08 cs.AI cs.LG cs.RO
Successes and Limitations of Object-centric Models at Compositional Generalisation
IT University of Copenhagen(哥本哈根信息技术大学);University of Bristol(布里斯托尔大学);SUNY Albany(纽约州立大学奥尔巴尼分校)
本文验证了以对象为中心的模型能够将组合泛化能力从场景中对象的新组合扩展到对象属性的新组合,分析了该能力的来源与训练改进方法,并指出现有局限以启发未来研究。
2024-12-25 cs.AI cs.CV cs.LG
ComPhy: Compositional Physical Reasoning of Objects and Events from Videos
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);Harvard University(哈佛大学);MIT(麻省理工学院);The University of Hong Kong(香港大学)
自然界中物体的运动是由复杂的相互作用及其性质决定的。虽然一些属性,如形状和材料,可以通过物体的视觉外观来识别,但其他属性,如质量和电荷,则无法直接看到。可见和隐藏属性之间的组合性对人工智能模型从物理世界进行推理提出了独特的挑战,而人类可以毫不费力地通过有限的观察来推断它们。现有的视频推理研究主要集中在视觉上可观察的元素,如对象的外观,运动,接触互动。在本文中,我们首先通过引入组合物理推理(ComPhy)数据集来强调推断隐藏的物理特性的重要性。对于给定的一组对象,ComPhy包括一些在不同初始条件下移动和交互的视频。该模型的评估是基于其解开组成隐藏属性(如质量和电荷)的能力,并使用这些知识来回答其中一个视频上发布的一组问题。几个国家的最先进的视频推理模型在ComPhy的评估结果显示不令人满意的性能,因为他们无法捕捉这些隐藏的属性。我们进一步提出了一个名为Compositional Physics Learner(CPL)的Oracle神经符号框架,将视觉感知,物理属性学习,动态预测和符号执行结合到一个统一的框架中。CPL可以有效地识别物体的物理特性,从他们的相互作用和预测他们的动态回答问题。
2022-05-02 cs.AI cs.CV cs.LG
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CounterCurate框架通过物理基础数据增强和语义反事实微调,显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
Constellation: Learning relational abstractions over objects for compositional imagination
University of Oxford(牛津大学);DeepMind(深度思维);Wayve
学习视觉场景的结构化表示是目前连接感知和推理的主要瓶颈。虽然基于槽的模型已经取得了令人兴奋的进展,它学会了将场景分割成对象集,但学习整个对象组的配置属性仍然没有得到充分的探索。为了解决这个问题,我们引入星座,一个网络,学习静态视觉场景的关系抽象,并概括这些抽象的感官特性,从而提供了一个潜在的基础抽象关系推理。我们进一步表明,这个基础,随着语言联想,提供了一种手段,以新的方式想象感官内容。这项工作是明确表示视觉关系并将其用于复杂认知程序的第一步。
2021-07-23 cs.AI cs.LG stat.ML
Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
Kyung Hee University(庆熙大学);NAVER Cloud(NAVER云)
本文针对零样本组合动作识别中对象驱动的快捷方式问题,提出RCORE方法,通过引入共现先验正则化和时间顺序正则化提升组合泛化能力。
2026-07-03 cs.AI cs.CV
Compositional Mixture Representations for Vision and Text
University of Tübingen(蒂宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Amsterdam(阿姆斯特丹大学)
通过学习视觉和语言之间的共同表征空间,深度网络可以将图像中的对象与相应的语义联系起来。我们提出了一个模型,学习一个共享的高斯混合表示施加到视觉域的文本的组合性,而没有明确的位置监督。通过将空间Transformer与表示学习方法相结合,我们学会将图像拆分为单独编码的补丁,以便以可解释的方式将视觉和文本表示关联起来。在MNIST和CIFAR10的变体上,我们的模型能够执行弱监督目标检测,并证明了其外推到看不见的对象组合的能力。
2022-06-13 cs.AI cs.CV cs.LG
Defining and Generating Compositional Structure
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Google(谷歌);LawZero(洛零)
该研究通过算法信息论形式化组合结构的定义,提出可反转框架生成组合对象,为机器学习提供神经架构深度新视角与组合数据课程构建原则。
2026-10-16 cs.AI cs.IT cs.LG
Dreamweaver: Learning Compositional World Models from Pixels
KAIST(韩国科学技术院);Rutgers University(罗格斯大学);New York University(纽约大学)
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标,从原始视频中学习分层组合表示,实现无需辅助数据的组合式未来视频生成,并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics
University of Birmingham(伯明翰大学);Jilin University(吉林大学);Dongguk University(东国大学)
针对现有手物动作识别方法泛化性差的问题,提出用超二次曲面替代3D边界框表示物体,构建协同学习框架推理手物几何关系,在组合动作识别上超越现有最优水平。
2025-01-13 cs.AI cs.CV
OC-NMN: Object-centric Compositional Neural Module Network for Generative Visual Analogical Reasoning
Mila(米拉研究所);ServiceNow Research(ServiceNow研究院)
本文提出OC-NMN,通过模块化将视觉生成推理任务分解为对象原语组合,无需领域特定语言即可生成新训练任务,从而提升模型在MNIST数字算术运算基准上的分布外泛化能力。
2023-10-28 cs.AI cs.CV
LayoutAgent: A Vision-Language Agent Guided Compositional Diffusion for Spatial Layout Planning
Personalization Team, Walmart Global Tech(Walmart全球科技个性化团队)
本文提出 LayoutAgent 框架,结合视觉-语言模型预处理与机器人学中的组合扩散生成尊重语义和物理关系的边界框,并由前景条件生成器合成完整场景,在布局连贯性、空间真实性和美学对齐上优于现有模型。
2025-09-24 cs.AI cs.CV cs.LG
Separated Inter/Intra-Modal Fusion Prompts for Compositional Zero-Shot Learning
Hanyang University(汉阳大学)
针对组合零样本学习难以准确识别细微语义差异及状态与对象组合的问题,提出利用多样化提示学习结合跨模态/模态内融合合成器来提升属性识别性能的高效方法。
2025-01-22 cs.AI cs.CV cs.LG
Compositional GAN: Learning Image-Conditional Binary Composition
University of California, Berkeley(加州大学伯克利分校)
生成对抗网络(GANs)可以生成非常复杂和真实的图像,但通常被构造为从单个潜在源中采样,忽略了场景中可能存在的多个实体之间的显式空间交互。捕捉世界上不同对象之间的复杂交互,包括它们的相对缩放、空间布局、遮挡或视点变换,是一个具有挑战性的问题。在这项工作中,我们提出了一种新的自洽分解合成(Code-composition-by-Decomposition)网络来组成一对对象。给定来自两个不同分布的对象图像,我们的模型可以根据输入对象的纹理和形状从它们的联合分布生成逼真的合成图像。我们通过定性实验和用户评估来评估我们的方法。我们的研究结果表明,学习模型捕捉两个对象域之间的潜在相互作用,并在测试时生成逼真的合成场景。
2019-03-28 cs.AI cs.CV cs.LG
LAYOUTDREAMER: Physics-guided Layout for Text-to-3D Compositional Scene Generation
ShangHai University(上海大学)
LayoutDreamer通过结合3D高斯点云和物理引导,实现了高质量的文本到3D组合场景生成,提升了场景的真实性和可控性。
2025-03-22 cs.AI cs.CV cs.GR
Learning Primitive Relations for Compositional Zero-Shot Learning
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出学习原始关系(LPR)框架,利用交叉注意力捕捉状态与对象间关系,提升组合零样本学习在三个基准数据集上的性能。
2025-01-24 cs.AI cs.CV
Interact3D: Compositional 3D Generation of Interactive Objects
Zhejiang University(浙江大学);Shanghai Innovation Institute(上海创新研究院);Westlake University(西湖大学);Adobe;Fudan University(复旦大学)
提出Interact3D框架,通过统一3D引导场景、两阶段组合流水线(全局到局部几何对齐和基于SDF的优化)以及闭环智能体修正策略,从单张图像生成物理合理的交互式3D组合物体,解决遮挡和空间关系保持问题。
2026-07-02 cs.AI cs.CV
Learning Attention as Disentangler for Compositional Zero-shot Learning
The University of Hong Kong(香港大学)
构图零样本学习(CNOML)旨在学习视觉概念(即,属性和对象),并将概念知识组合到看不见的组合中。CNOML的关键是学习如何解开属性-对象组合的纠缠。为此,我们建议利用交叉注意作为成分解缠器来学习解缠的概念嵌入。例如,如果我们想识别一个看不见的成分“黄色的花”,我们可以分别从不同的黄色对象和不同的花中学习属性概念“黄色”和对象概念“花”。为了进一步约束解缠器学习兴趣的概念,我们在注意力水平上采用了正则化。具体来说,我们适应推土机的距离(EMD)作为一个特征相似性度量的交叉注意力模块。此外,受益于概念解纠缠,我们改进了推理过程,并通过组合多个概念概率来调整预测得分。在三个CNOGL基准数据集上的综合实验表明,我们的方法在封闭和开放世界环境中的性能都明显优于以前的作品,建立了一个新的最先进的技术。
2023-03-27 cs.AI cs.CV
ShadowDraw: From Any Object to Shadow-Drawing Compositional Art
Cornell University(康奈尔大学)
ShadowDraw通过预测场景参数和生成阴影笔触,将3D物体转化为阴影绘画艺术,扩展了计算视觉艺术的设计空间。
2025-12-04 cs.AI cs.CV cs.GR
Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction
DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);University of Denver(丹佛大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对开放世界中对象视觉信息缺失及属性数量无界的挑战,本文提出基于属性的组成式零样本学习方法,在MIT-States和Clothing 16K数据集上验证了机器人能正确识别人类指令所指对象。
2023-12-21 cs.AI cs.CL cs.CV
Compositional Hierarchical Tensor Factorization: Representing Hierarchical Intrinsic and Extrinsic Causal Factors
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Tensor Vision Technologies(张量视觉技术公司)
视觉对象是由一个递归层次的知觉整体和部分,其属性,如形状,反射率和颜色,构成了一个层次的内在因果因素的对象外观。然而,物体外观是物体的内在和外在因果因素的组成结果,其中外在因果因素与照明和成像条件有关。因此,本文提出了一个统一的张量模型的整体和部分,并介绍了一个组成层次张量分解,解开层次因果结构的对象图像形成,并纳入多线性块张量分解作为一个特殊情况。所得到的对象表示是整体和部分表示的可解释的组合选择,其使得对象识别对遮挡鲁棒并且减少训练数据要求。我们通过在一个极其简化的合成图像数据集上进行训练,在人脸识别的背景下演示了我们的方法,并在两个数据集上报告了人脸验证结果-Freiburg数据集和由真实世界图像组成的Labeled Face in the Wild(LFW)数据集,从而证实了我们的方法适用于数据匮乏的领域。
2020-01-01 cs.AI cs.CV cs.LG
Flame3D: Zero-shot Compositional Reasoning of 3D Scenes with Agentic Language Models
Carnegie Mellon University(卡内基梅隆大学)
Flame3D通过可组合的空间工具和训练自由框架,实现3D场景的零样本组合推理,支持动态空间合成和外部数据整合,展示了在ScanQA和Compose3D上的竞争力。
2026-05-09 cs.AI cs.CV cs.LG
Compositional Machine Design as Program Synthesis with LLMs
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
本研究提出基于物理模拟的组合式机器设计任务,构建BesiegeField测试平台,测试LLM智能体的机器程序合成能力,并用模拟奖励微调Qwen2.5-14B提升了机器性能,为相关研究提供参考。
2026-10-14 cs.AI cs.CL cs.CV
Prompt-Based Continual Compositional Zero-Shot Learning
Intelligent Machines Lab(智能机器实验室);Information Technology University(信息技术大学);Visual Computing Lab(视觉计算实验室);Ontario Tech University(安大略技术大学)
PromptCCZSL通过多教师蒸馏和正交投影损失,实现持续组成零样本学习中的知识保留与泛化提升。
2026-09-28 cs.AI cs.CV
Energy-based Models are Zero-Shot Planners for Compositional Scene Rearrangement
Carnegie Mellon University(卡内基梅隆大学)
提出用能量函数表示语言空间约束并经梯度下降推断目标布局,使机器人能零样本泛化执行长组合式场景重排指令。
2024-01-23 cs.AI cs.CL cs.CV
CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting
University of California Los Angeles(加州大学洛杉矶分校)
CG3D利用可组合的高斯辐射场表示,解决了文本到3D生成中多物体场景、文本控制组合和物理真实性问题,在物体组合与物理精度上超越扩散模型。
2023-11-29 cs.AI cs.CV
Decomposed Soft Prompt Guided Fusion Enhancing for Compositional Zero-Shot Learning
Northwestern Polytechnical University(西北工业大学);The Hong Kong Polytechnic University(香港理工大学)
组合零次学习(Compositional Zero-Shot Learning,CNOL)的目的是在训练过程中识别由已知状态和对象形成的新概念。现有的方法要么学习组合的状态-对象表示,挑战看不见的组合物的推广,或设计两个分类器来识别状态和对象分别从图像特征,忽略它们之间的内在关系。为了共同消除上述问题,构建一个更强大的CNOML系统,我们提出了一个新的框架,称为分解融合软提示(DFSP)1,涉及视觉语言模型(VLM)看不见的成分识别。具体地说,DFSP构造了一个矢量组合的可学习的软提示与状态和对象,以建立他们的联合表示。此外,在语言分支和图像分支之间设计了跨模态分解融合模块,将状态和对象分解为语言特征而不是图像特征。值得注意的是,与分解的特征相融合,图像特征可以更有表现力地分别学习与状态和对象的关系,以改善对空间中看不见的成分的响应,从而缩小可见和不可见集合之间的域间隙。三个具有挑战性的基准测试的实验结果表明,我们的方法显着优于其他国家的最先进的方法的大利润率。
2022-11-19 cs.AI cs.CV
Beyond Bag-of-Words: Diagnosing Compositional Binding Failures in Vision-Language Models
Politecnico di Milano(米兰理工学院);The University of Tokyo(东京大学)
Auto-Comp通过自动化生成可扩展基准,揭示了对比视觉-语言模型在组合推理中的普遍缺陷及视觉-语言上下文的权衡问题。
2026-09-28 cs.AI cs.CV
Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models
CMU(卡内基梅隆大学);Adobe Research(奥多比研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对文本生成图像扩散模型多目标组合生成与提示对齐不佳的问题,提出结合Separate与Enhance损失的微调方法,提升了图像真实感、对齐度与适应性。
2024-01-31 cs.AI cs.CV
Hybrid Discriminative Attribute-Object Embedding Network for Compositional Zero-Shot Learning
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Tsinghua University(清华大学)
针对CZSL中属性-对象交互复杂及长尾标签分布问题,提出HDA-OE网络,通过ADDS合成多样属性样本并利用SDDE增强细粒度子类判别,在三个基准数据集上验证了有效性。
2024-11-28 cs.AI cs.CV
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles(加州大学洛杉矶分校心理学系);Microsoft Research, NYC(微软研究院纽约分部);Air Force Research Laboratory(美国空军研究实验室);Department of Statistics, University of California, Los Angeles(加州大学洛杉矶分校统计学系)
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力,发现其较前代有所提升,但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
University College London(伦敦大学学院);Alan Turing Institute(阿兰·图灵研究所);Reality Labs Research, Meta(元现实实验室研究部门)
该研究提出文本引导的3D场景编辑模型ReplaceAnything3D(RAM3D),采用“擦除-替换”方法,可基于文本提示替换场景中特定物体,同时保持多视图3D一致性,在多种真实场景中实现了前景物体与场景的良好融合。
2024-01-31 cs.AI cs.CV cs.GR
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University(首尔国立大学)
提出CS-CLIP,利用场景图构建结构化负样本,解决组合推理中元素特定偏差,实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Compositional Image Synthesis with Inference-Time Scaling
Inha University(仁荷大学)
本文提出一种无需训练的框架,结合对象中心方法与自我完善,提升布局忠实度并保持美学质量,通过大语言模型生成布局并注入图像生成过程,利用对象中心视觉-语言模型进行迭代选择,实现更强的场景对齐。
2026-03-27 cs.AI cs.CV
PhyPlan: Compositional and Adaptive Physical Task Reasoning with Physics-Informed Skill Networks for Robot Manipulators
IIT Delhi(印度理工学院德里分校)
PhyPlan结合物理信息神经网络与改进的蒙特卡洛树搜索,使机器人能够通过动态组合投掷、滑动、反弹等技能完成复杂物理任务,并在遗憾值、学习速度和数据效率上优于现有方法。
2024-02-24 cs.AI cs.RO
Compositional Concepts Erasing: Disentangling Object-Style via Domain Manifold Unlearning
University of Tulsa(塔尔萨大学);The University of Arizona(亚利桑那大学);Clemson University(克莱姆森大学);Texas A&M University(德克萨斯农工大学)
针对扩散模型对象-风格组合遗忘及多请求导致的灾难性遗忘问题,提出域流形遗忘(DMU)方法,实验显示其可缓解灾难性遗忘且性能优于现有最先进方法。
2026-10-14 cs.AI cs.CV
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University(上海大学未来技术学院);Institute of Artificial Intelligence, Shanghai University(上海大学人工智能研究院)
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题,提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型,显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
Object-level Visual Prompts for Compositional Image Generation
Carnegie Mellon University(卡内基梅隆大学);Snap Research(Snap 研究院);Tel Aviv University(特拉维夫大学)
本文提出在文本到图像扩散模型中组合对象级视觉提示,通过 KV 混合交叉注意力机制和对象级组合引导,在保持对象身份的同时生成多样化场景组合。
2025-01-02 cs.AI cs.CV cs.GR