Attributes as Operators: Factorizing Unseen Attribute-Object Compositions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种新的方法来建模的视觉属性。先前的工作将属性转换为与对象类似的角色,学习潜在的表示,其中属性(例如,切片的)被分类器以与对象(例如,苹果)。然而,这种常见的方法无法将训练过程中观察到的属性与组成它们的对象分开,使得它在遇到新的属性-对象组合时无效。相反,我们建议将属性建模为操作符。我们的方法学习了一种语义嵌入,该语义嵌入显式地将属性从其伴随的对象中分解出来,并且还受益于表达属性运算符的效果的新颖正则化器(例如,钝的应该抵消锋利的效果)。我们的方法不仅在概念上与属性作为修饰语的语言角色相一致,而且还概括了识别对象和属性的不可见成分。我们在两个具有挑战性的数据集上验证了我们的方法,并展示了对最先进技术的显着改进。此外,我们表明,我们的模型不仅可以在开放世界环境中稳健地识别看不见的组合物,还可以推广到对象本身在训练过程中看不见的组合物。
2018-08-27 cs.CV
Learning Conditional Attributes for Compositional Zero-Shot Learning
Northwestern Polytechnical University(西北工业大学);University of Adelaide(阿德莱德大学);Zhejiang University(浙江大学)
针对组合式零样本学习中属性随交互物体变化的挑战,提出含属性超学习器和基学习器的条件属性嵌入学习框架,在多基准上取得优于现有方法的性能。
2023-06-14 cs.CV
Learning to Infer Unseen Single-/Multi-Attribute-Object Compositions with Graph Networks
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(人工智能与机器人研究所,西安交通大学)
提出属性-对象语义关联图模型,结合对比损失与平衡损失,实现未见单/多属性-对象组合推断,并构建MAD数据集及Hard、Soft指标。
2025-09-27 cs.CV
Learning Single/Multi-Attribute of Object with Symmetry and Group
Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);AI Institute(人工智能研究院)
属性和对象可以组成不同的组合。为了对这些概念的组成性质建模,将它们作为转换来学习是一个不错的选择,例如,耦合和解耦。然而,复杂的转换需要满足特定的原则,以保证合理性。在这里,我们首先提出了一个以前被忽视的属性-对象转换原则:对称性。例如,将peeled-apple与属性peeled耦合应该得到peeled-apple,而将peeled与apple解耦仍然应该输出apple。结合对称性,我们提出了一个受群论启发的变换框架,即,SymNet。它包括两个模块:耦合网络和解耦网络。我们采用深度神经网络来实现SymNet,并以群公理和对称性为目标,在端到端的范式中对其进行训练。然后,我们提出了一种基于相对移动距离(RMD)的方法,利用属性的变化,而不是属性模式本身的属性分类。除了单属性和对象的组合,我们的RMD也适用于多属性和对象的复杂组合时,纳入属性的相关性。SymNet可用于属性学习、组合零样本学习,并在四个广泛使用的基准测试中优于最先进的技术。代码位于https://github.com/DirtyHarryLYL/SymNet。
2021-10-09 cs.AI cs.CV cs.LG
Composition and Style Attributes Guided Image Aesthetic Assessment
University of Milano-Bicocca(米兰比可卡大学)
图像的审美品质是对图像美的度量或评价。美学本质上是一种主观属性,但也有一定的因素,影响它,如,图像的语义内容,描述艺术方面的属性,用于拍摄的摄影设置等。在本文中,我们提出了一种方法,用于自动预测的图像的美学是基于语义内容,艺术风格和图像的组成的分析。拟议的网络包括:用于语义特征提取的预训练网络(Backbone);依赖Backbone特征来预测图像属性的多层感知器(MLP)网络(DatabenNet);自适应超网络,利用之前编码到的属性由DatabenNet生成的嵌入来预测专用于美学估计的目标网络(AestheticNet)的参数。给定一幅图像,所提出的多网络能够预测:风格和构图属性,以及美学分数分布。三个基准数据集上的结果证明了所提出的方法的有效性,而消融研究提供了一个更好的理解所提出的网络。
2022-07-07 cs.CV
Language Plays a Pivotal Role in the Object-Attribute Compositional Generalization of CLIP
Sharif University of Technology(谢里夫理工大学)
本文研究CLIP在属性-对象新颖组合的分布外泛化能力,构建ImageNet-AO测试集发现,大规模训练数据与语言监督是解锁视觉语言模型组合泛化能力的关键。
2024-03-27 cs.CL cs.CV cs.LG
Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
University of Electronic Science and Technology of China(电子科技大学);Ningbo University(宁波大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学)
本文提出Structure-aware Prompt Adaptation方法,通过利用嵌入空间中语义相关属性和对象的局部结构一致性,提升开放词汇组合零样本学习的泛化能力。
2026-03-04 cs.CV
Learning Invariant Visual Representations for Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
作文零样本学习(CNOML)的目的是利用从训练集中的属性-对象作文中学习到的知识来识别新的作文。以往的工作主要是将一幅图像和一幅构图投影到一个公共的嵌入空间中来衡量它们的兼容性得分。然而,属性和对象共享上面学习的视觉表示,导致模型利用虚假的相关性和对可见对的偏见。相反,我们重新考虑作为一个分布外泛化的问题。如果一个对象被视为一个域,我们可以学习对象不变的特征,以可靠地识别附加到任何对象的属性。类似地,当识别具有属性的对象作为域时,也可以学习属性不变特征。具体来说,我们提出了一个不变特征学习框架,在表示和梯度级别对齐不同的域,以捕获与任务相关的内在特征。实验结果表明,该方法的性能明显优于现有的方法。
2022-07-18 cs.CV
Leveraging MLLM Embeddings and Attribute Smoothing for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);Qifu Technology(启福科技)
针对组合式零样本学习中属性-物体解耦、语义嵌入不足和已见组合过度自信问题,提出结合 MLLM 嵌入、特征自适应解耦与 LLM 属性平滑的框架,并在三个数据集上达到 SOTA。
2025-06-08 cs.AI cs.CV
A Conditional Probability Framework for Compositional Zero-shot Learning
Shandong University(山东大学);Communication University of China(通信大学);Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(人机混合增强智能国家级实验室,西安交通大学)
提出条件概率框架 CPF,将组合概率分解为物体似然与属性条件似然,并用文本描述和交叉注意力建模属性—物体依赖,提升 CZSL 对未见组合的泛化性能。
2025-07-23 cs.CV
Learning to Compose Soft Prompts for Compositional Zero-Shot Learning
Brown University(布朗大学)
本文提出参数高效的组合式软提示 CSP,将属性与对象表示为可学习标记并在测试时重新组合,显著提升 CLIP 的组合式零样本分类与高阶泛化性能。
2023-04-24 cs.CL cs.CV cs.LG
Compositional Caching for Training-free Open-vocabulary Attribute Detection
University of Trento(特伦托大学);Cisco Research(思科研究院);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
提出组合缓存(ComCa),一种免训练的开放词汇属性检测方法,利用网络数据库和大型语言模型构建辅助缓存并聚合软属性标签,显著优于零样本和缓存基线,可与训练方法竞争。
2025-03-24 cs.CV
Learning by Imagining: Debiased Feature Augmentation for Compositional Zero-Shot Learning
针对组合零样本学习中属性与物体纠缠及长尾分布的挑战,提出去偏特征增强方法DeFA,结合解耦重构与去偏策略合成高保真特征以提升泛化能力,在三种数据集的闭集与开集设置下达到SOTA。
2025-09-16 cs.CV
Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
本文提出Composition Transformer(CoT)框架,通过分层物体与属性专家显式建模属性-物体语境关系,并结合少数属性增强策略缓解长尾偏置,在多个组合零样本学习基准上取得最先进性能。
2023-08-08 cs.CV
Generating Compositional Scenes via Text-to-image RGBA Instance Generation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
提出一种多阶段生成范式,通过训练扩散模型生成带透明度的RGBA实例,并多层组合,实现对复杂场景中物体属性和位置的细粒度控制。
2024-11-16 cs.CV cs.LG
MultiCompose: Multi-Concept Personalized Composition with Per-Subject Attribute Binding
MultiCompose是解耦多概念个性化与多主体推理的图像生成框架,通过语义保留正则化和两阶段推理解决主体身份退化与属性错位问题,引入的MSP-Bench可联合评估相关指标,性能优于现有方法。
2026-08-05 cs.CV
ABE-CLIP: Training-Free Attribute Binding Enhancement for Compositional Image-Text Matching
School of Mathematics, Sichuan University(四川大学数学学院)
ABE-CLIP通过语义细化和局部对齐策略提升CLIP模型的属性-物体绑定性能,无需额外训练。
2025-12-19 cs.CV cs.IR
Disentangling Visual Embeddings for Attributes and Objects
University of Maryland, College Park(马里兰大学帕克分校)
研究了组合零样本学习在对象属性识别中的应用问题。先前的工作使用通过骨干网络提取的视觉特征,预先训练用于对象分类,因此无法捕获与属性相关的微妙的独特特征。为了克服这一挑战,这些研究采用了来自语言空间的监督,并使用预训练的词嵌入来更好地分离和组合属性-对象对以进行识别。类似的语言嵌入空间,它已经有独特的和不可知的嵌入对象和属性,我们将重点转移到视觉空间,并提出了一种新的架构,可以解开属性和对象的功能在视觉空间。我们使用视觉分解特征来产生代表所见和新成分的嵌入,以更好地规范我们模型的学习。大量的实验表明,我们的方法优于现有的工作与显着的利润率在三个数据集:麻省理工学院的国家,UT-Zappos,和一个新的基准创建的基础上VAW。代码、模型和数据集分割可在https://github.com/nirat1606/OADis上公开获得。
2022-05-17 cs.CV cs.LG
Compositional Fine-Grained Low-Shot Learning
Khoury College of Computer Sciences, Northeastern University(东北大学库理计算机学院)
我们开发了一种新的零和少样本学习的组合生成模型,以识别细粒度的类,很少或没有训练样本。我们的主要观察是,为细粒度的类生成整体特征无法捕获类之间的小属性差异。因此,我们提出了一个特征组合框架,该框架学习从训练样本中提取属性特征,并将它们组合起来,为罕见和不可见的类构建细粒度特征。特征组合允许我们不仅有选择地从相关的训练样本中组合每个类的特征,而且还可以通过改变用于组合的样本来获得组合特征之间的多样性。此外,而不是建立整体功能的类,我们使用我们的属性功能,形成密集的表示能够捕捉细粒度的属性细节的类。我们提出了一个训练方案,使用一个判别模型来构建功能,随后用于训练模型本身。因此,我们直接训练的组成特征的判别模型,而无需学习一个单独的生成模型。我们在DeepFashion、AWA2、CUB和SUN四个流行的数据集上进行了实验,证明了我们的方法的有效性。
2021-05-21 cs.CV
Disentangled Representation Learning via Modular Compositional Bias
KAIST(韩国科学技术院)
针对现有解纠缠表示学习方法因因子特定策略导致的扩展性问题,提出模块化组合偏置,通过因子特定重组规则重混潜在变量,结合先验损失与组合一致性损失,仅调整混合策略即可实现属性、对象及两者的解纠缠,实验表现出竞争力并实现全局风格与对象的联合解纠缠。
2025-11-11 cs.CV cs.LG
Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);UNSW(新南威尔士大学)
针对基于 CLIP 的组合式零样本学习难以理解和关联属性与物体的问题,本文提出 ULAO 框架,通过上下文化原语理解与自适应困难负样本对比训练,在 CW 和 OW 场景的三个基准上达到最先进性能。
2024-12-10 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Florida State University(佛罗里达州立大学)
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念,其中模型在一组可见概念上训练,并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的,因为不仅看到和看不见的概念之间的差距,而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法,称为翻译概念嵌入,以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系,通过生成有条件地依赖于对象原型的平移属性功能。此外,我们设计了一个比率方差约束损失,以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能,并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
Hybrid Discriminative Attribute-Object Embedding Network for Compositional Zero-Shot Learning
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Tsinghua University(清华大学)
针对CZSL中属性-对象交互复杂及长尾标签分布问题,提出HDA-OE网络,通过ADDS合成多样属性样本并利用SDDE增强细粒度子类判别,在三个基准数据集上验证了有效性。
2024-11-28 cs.AI cs.CV
StyleComposer: Training-Free Multi-Reference Style Composition
针对现有参考引导风格方法无法控制各属性来源与强度的问题,提出无需训练的StyleComposer,通过将各风格属性路由至最佳表示并协调去噪时间,实现更贴合多参考与提示的风格合成,且支持各属性强度调节。
2026-11-18 cs.CV
Progressive Reasoning with Primitive Correction for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Key Laboratory of Big Data & Artificial Intelligence in Transportation (Ministry of Education)(交通运输大数据与人工智能教育部重点实验室)
研究组合零样本学习问题,提出PRPC框架,通过逐步推理明确建模属性和对象间双向依赖性,对原语相互校正,将其公式化为结构化推理过程并结合强化学习后训练,在基准测试中达最优性能。
2026-07-08 cs.CV
Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition
National University of Singapore(新加坡国立大学);NUS Graduate School for Integrative Sciences & Engineering(新加坡国立大学综合科学与工程研究生院)
本文提出了一种新的模型,用于识别具有复合属性-对象概念的图像,特别是在模型训练过程中看不到的复合概念。我们的目标是探索任务所需的三个关键属性-关系感知,一致性和解耦-学习组成属性对象对的原始概念的丰富和强大的功能。为此,我们提出了阻塞消息传递网络(BMP-Net)。该模型由两个模块组成。概念模块为原始概念生成语义上有意义的特征,而视觉模块从输入图像中提取属性和对象的视觉特征。在概念模块中使用消息传递机制来捕获原始概念之间的关系。此外,为了防止模型偏向于看到的复合概念,并减少属性和对象之间的纠缠,我们提出了一个阻塞机制,该机制均衡了模型中可见和不可见概念的信息。两个基准上的大量实验和烧蚀研究表明了所提出的模型的有效性。
2021-08-10 cs.CV cs.MM
What Makes You Unique? Attribute Prompt Composition for Object Re-Identification
School of Information and Communication Engineering, Dalian University of Technology(信息与通信工程学院,大连理工大学);School of Future Technology, School of Artificial Intelligence, Dalian University of Technology(未来技术学院、人工智能学院,大连理工大学);Technical Architecture Department, WeChat AI, Tencent, China(技术架构部,微信AI,腾讯,中国)
针对目标重识别中单域模型过拟合、跨域模型抑制身份判别线索的问题,提出属性提示组合(APC)框架,通过属性提示生成器和快慢训练策略增强判别性与泛化性,实验表现优于现有方法。
2025-09-23 cs.CV
Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction
DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);University of Denver(丹佛大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对开放世界中对象视觉信息缺失及属性数量无界的挑战,本文提出基于属性的组成式零样本学习方法,在MIT-States和Clothing 16K数据集上验证了机器人能正确识别人类指令所指对象。
2023-12-21 cs.AI cs.CL cs.CV
Distilled Reverse Attention Network for Open-world Compositional Zero-Shot Learning
University of New South Wales(新南威尔士大学);Jiangnan University(江南大学);University of Technology Sydney(悉尼科技大学)
开放世界组合零样本学习(OW-CNOML)旨在识别所见属性和对象的新组合。在OW-CNOML中,由于无约束的OW测试空间,建立在传统封闭世界设置上的方法严重退化。虽然以前的作品缓解了这个问题,修剪组合物根据外部知识或相关性看到的对,他们引入的偏见,损害的泛化。因此,一些方法使用独立构造和训练的分类器来预测状态和对象,忽略了属性高度依赖于上下文并且在视觉上与对象纠缠在一起。在本文中,我们提出了一种新的蒸馏反向注意力网络来应对这些挑战。我们还分别对属性和对象进行建模,但具有不同的动机,分别捕获上下文和局部性。我们进一步设计了一个反向和蒸馏策略,学习在反向注意和知识蒸馏的监督下训练数据中的基本组件的解纠缠表示。我们在三个数据集上进行实验,并始终达到最先进的(SOTA)性能。
2023-03-01 cs.CV
Context-based and Diversity-driven Specificity in Compositional Zero-Shot Learning
CSIRO’s Data61(联邦科学与工业研究组织Data61);Bytedance Ltd.(字节跳动公司);Snap Inc.(Snap公司)
本文提出CDS-CZSL框架,通过结合物体多样性与上下文评估属性特异性,以缓解CZSL忽视属性特异性及开放世界搜索空间膨胀问题,并在三个数据集上取得最优结果。
2024-02-27 cs.CV
HA-FGOVD: Highlighting Fine-grained Attributes via Explicit Linear Composition for Open-Vocabulary Object Detection
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院)
本文提出HA-FGOVD方法,通过在显式线性空间中突出细粒度属性,利用LLM识别属性词并组合全局与属性特征,提升冻结主流OVD模型的属性级检测能力,在FG-OVD上达到新最优。
2024-09-24 cs.AI cs.CL cs.CV
CAMS: Towards Compositional Zero-Shot Learning via Gated Cross-Attention and Multi-Space Disentanglement
The State Key Laboratory of Public Big Data(公共大数据国家重点实验室);Shanghai Jiao Tong University(上海交通大学);Nankai University(南开大学)
CAMS通过门控交叉注意力和多空间解耦技术,提升组合零样本学习在封闭和开放世界中的性能。
2025-11-20 cs.CV
Graph-guided Cross-composition Feature Disentanglement for Compositional Zero-shot Learning
PowerChina Huadong Engineering Corporation Limited(国家电力投资集团华东工程公司);Hangzhou Dianzi University(杭州电子科技大学);The University of Manchester(曼彻斯特大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Zhejiang University(浙江大学)
针对组合式零样本学习中基元特征跨组合通用性难题,提出图引导跨组合特征解耦方法,在CLIP模型中引入双重解耦适配器,显著提升了模型性能。
2025-05-30 cs.CV
COLA: A Benchmark for Compositional Text-to-image Retrieval
Boston University(波士顿大学);Meta AI (FAIR)(元人工智能研究院(FAIR));University of Washington(华盛顿大学)
本文提出 Cola 组合式文本到图像检索基准,系统比较视觉-语言模型的6种适应策略,证明训练多模态注意力层最有效,并揭示其与人类表现仍有差距。
2023-11-03 cs.CV
Learning Attention as Disentangler for Compositional Zero-shot Learning
The University of Hong Kong(香港大学)
构图零样本学习(CNOML)旨在学习视觉概念(即,属性和对象),并将概念知识组合到看不见的组合中。CNOML的关键是学习如何解开属性-对象组合的纠缠。为此,我们建议利用交叉注意作为成分解缠器来学习解缠的概念嵌入。例如,如果我们想识别一个看不见的成分“黄色的花”,我们可以分别从不同的黄色对象和不同的花中学习属性概念“黄色”和对象概念“花”。为了进一步约束解缠器学习兴趣的概念,我们在注意力水平上采用了正则化。具体来说,我们适应推土机的距离(EMD)作为一个特征相似性度量的交叉注意力模块。此外,受益于概念解纠缠,我们改进了推理过程,并通过组合多个概念概率来调整预测得分。在三个CNOGL基准数据集上的综合实验表明,我们的方法在封闭和开放世界环境中的性能都明显优于以前的作品,建立了一个新的最先进的技术。
2023-03-27 cs.AI cs.CV
Dreamweaver: Learning Compositional World Models from Pixels
KAIST(韩国科学技术院);Rutgers University(罗格斯大学);New York University(纽约大学)
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标,从原始视频中学习分层组合表示,实现无需辅助数据的组合式未来视频生成,并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
Prompt-Based Continual Compositional Zero-Shot Learning
Intelligent Machines Lab(智能机器实验室);Information Technology University(信息技术大学);Visual Computing Lab(视觉计算实验室);Ontario Tech University(安大略技术大学)
PromptCCZSL通过多教师蒸馏和正交投影损失,实现持续组成零样本学习中的知识保留与泛化提升。
2026-09-28 cs.AI cs.CV
CSCNET: Class-Specified Cascaded Network for Compositional Zero-Shot Learning
International School of Information Science and Engineering, Dalian University of Technology(大连理工大学国际信息与软件学院)
针对组合零样本学习中属性与对象解缠忽视上下文依赖的问题,提出类指定级联网络CSCNet,通过级联分类与参数化分类器提升A-O解缠,取得优越性能。
2024-03-13 cs.CV
FlowComposer: Composable Flows for Compositional Zero-Shot Learning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出FlowComposer,通过学习两个基础流将视觉特征传输到属性和对象文本嵌入,并引入可学习的Composer显式融合速度场以生成组合流,有效解决组合零样本学习中的隐式组合构造和特征纠缠问题。
2026-03-17 cs.CV
VSC: Visual Search Compositional Text-to-Image Diffusion Model
VinUniversity(文大学);POSTECH(POSTECH大学);Academia Sinica(学术院);KAIST(韩国科学技术院)
本文提出 VSC,一种组合式文本到图像扩散模型,通过将复杂提示分解为子提示并融合成对图像嵌入与文本嵌入,结合基于分割的定位训练,显著提升了多属性到对象的绑定准确性与图像质量。
2025-05-02 cs.CV
Compositional Visual Generation with Composable Diffusion Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
大型文本引导的扩散模型,如DALLE-2,能够生成令人惊叹的逼真的图像,给出自然语言的描述。虽然这些模型非常灵活,但它们很难理解某些概念的组成,例如混淆不同对象的属性或对象之间的关系。在本文中,我们提出了一种替代结构化的方法,成分生成使用扩散模型。通过组成一组扩散模型来生成图像,其中每个扩散模型对图像的某个分量进行建模。为此,我们将扩散模型解释为基于能量的模型,其中由能量函数定义的数据分布可以显式地组合。所提出的方法可以在测试时生成场景,这些场景比训练中看到的场景复杂得多,包括句子描述、对象关系、人脸属性,甚至可以推广到现实世界中很少看到的新组合。我们进一步说明了我们的方法可以如何用于组成预先训练的文本引导的扩散模型,并生成包含输入描述中描述的所有细节的真实感图像,包括DALLE-2难以显示的某些对象属性的绑定。这些结果表明,所提出的方法在促进视觉生成的结构化概括的有效性。项目页面:https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/
2023-01-17 cs.AI cs.CV cs.LG
Similarity and symmetry measures based on fuzzy descriptors of image objects` composition
Institute of Control and Industrial Electronics, Warsaw University of Technology(华沙理工大学控制与工业电子研究所)
本文描述了一种方法来衡量的相似性和对称性的图像标注与边界框指示图像对象。由于快速高效的基于深度学习的对象检测方法的快速发展,后一种表示最近变得流行起来。所提出的方法允许比较多组边界框来估计其底层图像的相似度。它是基于模糊的方法,使用模糊互位置(FMP)矩阵来描述空间组成和图像内的边界框之间的关系。提出了一种用FMP矩阵描述的两幅图像相似度的计算方法,并给出了计算算法。它输出描述基于内容的图像相似度的单个标量值。通过修改方法的参数,代替相似性,也可以测量对象组成的反射对称性。所提出的方法允许测量不同强度的物体组成的差异。它对于平移和缩放也是不变的,并且在对称检测的情况下,对于对称轴的位置和方向也是不变的。几个例子说明了该方法。
2021-07-28 cs.CV
Learning Clustering-based Prototypes for Compositional Zero-shot Learning
Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
针对组合式零样本学习中原始概念建模过于简化的问题,提出基于聚类的原型挖掘框架ClusPro,通过多样化原型和对比学习构建独立嵌入空间,在三个基准上超越现有方法。
2025-02-22 cs.CV
Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation
Tsinghua University(清华大学);The University of Hong Kong(香港大学)
针对复杂文本提示下文本到图像生成可控性不足的问题,提出以LLM智能体为核心的无训练方法CompAgent,通过分治策略分解组合任务、规划工具生成并自校正,在T2I-CompBench上实现超10%的性能提升。
2024-01-30 cs.CV
coDrawAgents: A Multi-Agent Dialogue Framework for Compositional Image Generation
Lingnan University(岭南大学);CMU(卡内基梅隆大学);CUHK(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院);SJTU(上海交通大学);HKU(香港大学);China University of Petroleum(中国石油大学)
coDrawAgents通过四类智能体协作提升复杂场景中多对象生成的准确性与属性保持,实验表明其在文本-图像对齐、空间准确性和属性绑定方面表现更优。
2026-03-13 cs.CV
How Bias Binds: Measuring Hidden Associations for Bias Control in Text-to-Image Compositions
本文研究文本到图像生成中对象-属性语义绑定如何放大偏见,提出偏见附着分数和无需训练的上下文-偏见控制框架,实现超10%去偏见改进,并揭示去偏见与保持语义关系的根本矛盾。
2025-11-10 cs.AI cs.CV
Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality
Meta AI
针对视觉-语言模型在组合推理上的局限,提出基于场景图的图分解与增强框架及粗到细对比学习方法,在多个基准上显著提升属性绑定与关系理解等能力。
2023-10-24 cs.CL cs.CV
Generating Compositional Color Representations from Text
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);Adobe(奥多比);Advanced Micro Devices Inc.(超威半导体公司)
我们认为跨模态的任务,产生颜色表示的文本短语。由于图像搜索引擎上很大一部分用户查询都遵循(属性,对象)结构,我们提出了一个生成对抗网络,为这种二元组生成颜色配置文件。我们设计管道来学习组合-将可见的属性和对象组合为不可见的对的能力。我们从现有的公共资源中提出了一种新的数据集管理管道。我们描述了如何使用图传播技术编译一组感兴趣的短语,然后映射到图像。虽然这个数据集专门用于我们对颜色的研究,但该方法可以扩展到其他感兴趣的视觉维度。我们提供了详细的消融研究,测试我们的GAN架构的行为与损失函数的对比学习文献。我们表明,生成模型实现了较低的弗雷歇初始距离比歧视,因此预测的颜色配置文件,更好地匹配那些从真实图像。最后,我们展示了图像检索和分类的改进性能,表明颜色在这些下游任务中起着至关重要的作用。
2021-09-22 cs.CV cs.IR cs.LG
Contextual Interaction via Primitive-based Adversarial Training For Compositional Zero-shot Learning
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Engineering, Newcastle University(纽卡斯尔大学工程学院);Department of Computer Science, Durham University(杜伦大学计算机科学系);Harbin Institute of Technology(哈尔滨工业大学);School of Artificial Intelligence, Nanjing University of Science and Technology(南京理工大学人工智能学院)
针对组合零样本学习中视觉基元交互差异影响分类性能的问题,提出基于基元的模型无关对抗训练方法及对象相似性引导的过采样策略,在多个基准数据集上取得SOTA性能。
2024-06-21 cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology(新加坡科技学院);NVIDIA(英伟达)
研究组合式视觉问答中视觉语言模型失败的机制,引入以操作为中心的框架分解失败模式,揭示四种失败模式及传播路径,表明不同失败类型需不同纠正策略,为提升模型可靠性提供基础。
2026-08-20 cs.CV
Learning and generalization of compositional representations of visual scenes
Intel Labs(英特尔实验室);UC Berkeley(加州大学伯克利分校)
由多个对象组成的复杂视觉场景,每个对象都具有属性,例如对象名称、位置、姿势、颜色等,为了训练神经网络,通常,深度学习网络是在分类场景描述的监督下训练的。场景的普通分类描述包含单个对象的名称,但缺乏关于其他属性的信息。在这里,我们使用分布式表示的对象属性和矢量操作的矢量符号架构,以创建一个完整的组成描述的场景在一个高维矢量。为了控制场景的组成,我们使用人工图像组成的多个,翻译和彩色MNIST数字。与学习类别标签相比,我们在这里训练深度神经网络来输出输入图像的完整组成向量描述。然后,深度网络的输出可以由VSA谐振器网络解释,以提取单个对象的对象身份或其他属性。我们评估随机生成的场景的系统的性能和泛化性能。具体来说,我们证明了网络能够学习任务,并推广到看不见的数字形状和场景配置。此外,训练模型的泛化能力有限。例如,在训练数据中存在间隙的情况下,如在训练期间在特定图像位置中未示出的对象,学习不会自动填充该间隙。
2023-03-23 cs.CV cs.NE
Beyond Bag-of-Words: Diagnosing Compositional Binding Failures in Vision-Language Models
Politecnico di Milano(米兰理工学院);The University of Tokyo(东京大学)
Auto-Comp通过自动化生成可扩展基准,揭示了对比视觉-语言模型在组合推理中的普遍缺陷及视觉-语言上下文的权衡问题。
2026-09-28 cs.AI cs.CV
FRAME: Factored Retrieval via Attribute Readouts for Object-Centric Scene Memory
Seoul National University(首尔大学)
针对语言引导机器人场景记忆中的多属性组合检索问题,提出FRAME方法,将语言转化为属性权重,利用学习读出器聚合对象嵌入证据进行排序,在保留场景上超越基线并实现高效计算。
2026-09-09 cs.CV cs.RO
CAILA: Concept-Aware Intra-Layer Adapters for Compositional Zero-Shot Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
针对组合式零样本学习中现有CLIP类方法未挖掘内部层语义概念的问题,本文提出概念感知层内适配器CAILA,在CLIP各编码层插入可提取三类概念特征的参数高效适配器,在四个基准数据集上取得最优性能。
2023-11-08 cs.CV