Compositional Sketch Search
University of Surrey(萨里大学);Adobe Research(Adobe研究院)
我们提出了一种算法,用于搜索图像集,使用手绘草图,描述多个对象的外观和相对位置。基于草图的图像检索(SBIR)方法主要匹配查询包含一个单一的,占主导地位的对象不变,其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络(CNN)来编码草图对象中被掩盖的视觉特征,将这些特征汇集到一个空间描述符中,对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入,其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);National Cheng Kung University(国立成功大学)
深度学习在图像检索的散列技术方面取得了巨大的发展。最近,Transformer作为一种新的架构出现,它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer(ViT),用于视觉识别,在ImageNet上具有良好的性能。在本文中,我们提出了一个视觉Transformer基于哈希(VTS)的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络,并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整,包括深度监督哈希(DSH),HashNet,GreedyHash,改进的深度哈希网络(IDHN),深度极化网络(DPN)和中心相似性量化(CSQ)及其目标函数。我们在CIFAR 10,ImageNet,NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现,建议VTS模型作为骨干网络是优于现有的网络,如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University(亚利桑那州立大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
TripletCLIP通过合成困难负样本对,增强CLIP的组合推理能力,在SugarCrepe上提升超9%,并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
Adaptive Cortically Constrained EEG-Vision Alignment for Zero-Shot Brain-to-Image Retrieval
Chongqing University of Posts and Telecommunications(重庆邮电大学);Shanghai Jiaotong University(上海交通大学);Chongqing Normal University(重庆师范大学);South China University of Technology(华南理工大学)
针对零样本脑到图像检索,提出自适应皮层约束脑电-视觉对齐方法,通过ROI级源模式表征与证据加权监督,在THINGS-EEG上实现强200路检索性能。
2026-09-22 cs.CV
Compositional Learning of Image-Text Query for Image Retrieval
Technische Universität München(慕尼黑工业大学);Mercateo AG(Mercateo股份公司)
在本文中,我们研究的问题,从数据库中检索图像的多模态(图像-文本)查询的基础上。具体来说,查询文本提示对查询图像进行某些修改,任务是检索具有所需修改的图像。例如,电子商务平台的用户有兴趣购买一件衣服,这件衣服看起来应该与她朋友的衣服相似,但是衣服应该是白色的,带有丝带腰带。在这种情况下,我们希望算法在查询连衣裙中检索一些具有所需修改的连衣裙。我们提出了一个自动编码器为基础的模型,合成AE,学习组成的图像和文本查询检索图像。我们采用深度度量学习方法,学习一个度量,使源图像和文本查询的组合更接近目标图像。我们还提出了一个旋转对称约束的优化问题。我们的方法在三个基准数据集(即:MIT-States、Fashion 200 k和Fashion IQ)上的性能优于最先进的方法TIRG \cite{TIRG}。为了保证比较的公平性,我们通过改进TIRG方法引入强基线。为了确保结果的可重复性,我们在这里发布了我们的代码:\url{https://github.com/ecom-research/ComposeAE}。
2021-05-31 cs.CV cs.IR
ICC++: Explainable Image Retrieval for Art Historical Corpora using Image Composition Canvas
FAU(埃尔朗根-纽伦堡大学);Philipps University of Marburg(马尔堡菲利普大学)
图像构图有助于图像结构的研究,并有助于发现跨艺术形式和风格描绘的潜在场景的语义。随着近年来艺术品的数字化,成千上万的特定场景或叙事的图像可能会被链接在一起。然而,以一致的客观性手动链接这些数据可能是一项极具挑战性和耗时的任务。在这项工作中,我们提出了一种新的方法,称为图像组成画布(ICC++)比较和检索具有相似的组成元素的图像。ICC++是对ICC的改进,专门用于生成由Max Imdahl的工作激励的低级和高级功能(组合元素)。为此,我们提出了一个严格的定量和定性的比较,我们的方法与传统的和国家的最先进的(SOTA)的方法表明,我们提出的方法优于所有这些。结合深度特征,我们的方法优于最好的基于深度学习的方法,为数字人文打开了可解释的机器学习研究方向。我们将在发布后发布代码和数据。
2022-06-22 cs.CV
Why is Winoground Hard? Investigating Failures in Visuolinguistic Compositionality
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的视觉语言学预训练模型在各种最终任务上显示出有希望的进展,例如图像检索和视频描述。然而,他们在最近提出的Winoground数据集上失败得很惨,该数据集挑战模型匹配配对图像和英文字幕,其中项目被构造为在词汇上重叠但含义不同(例如,“There is a mug in some grass”与“There is some grass in a mug”的对比)。通过使用新的细粒度标签注释数据集,我们表明解决Winoground任务不仅需要组合语言理解,而且还需要许多其他能力,如常识推理或在低分辨率图像中定位小的,焦点外的对象。在本文中,我们通过一系列相关任务(探测任务,图像检索任务),数据增强和手动检查数据集的实验来确定数据集的主要挑战。我们的分析表明,视觉语言学模型的一个主要挑战可能在于融合视觉和文本表征,而不是成分语言理解。我们在https://github.com/ajd12342/why-winoground-hard上发布我们的注释和代码。
2022-12-03 cs.CL cs.CV
Multimodal Reasoning Agent for Zero-Shot Composed Image Retrieval
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);School of Information Science and Technology, University of Science and Technology of China, Hefei, China(中国科学技术大学信息科学与技术学院);Sun Yat-sen University Shenzhen Campus, School of Cyber Science and Technology, Shenzhen, China(中山大学深圳校区计算机科学与技术学院)
提出多模态推理智能体(MRA)框架,通过直接构建三元组消除文本中间依赖,在三个基准上显著提升零样本组合图像检索性能。
2025-05-26 cs.CV cs.IR
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc.(腾讯公司);PeopleAI Inc.(人民人工智能公司);HelloGroup Inc.(哈啰集团);ShanghaiTech University(上海科技大学)
本文提出OACIR任务,通过引入对象锚定机制提升组合图像检索的实例一致性,构建了包含16万多个四元组的OACIRR基准,采用AdaFocal框架实现动态关注平衡,实验表明其在保持实例一致性方面表现优异。
2026-04-07 cs.CV cs.MM
EViT: Privacy-Preserving Image Retrieval via Encrypted Vision Transformer in Cloud Computing
Jinan University(暨南大学);Beihang University(北京航空航天大学);Beijing Institute of Technology(北京理工大学)
图像检索系统帮助用户在大量的图像中实时浏览和搜索。随着云计算的兴起,检索任务通常外包给云服务器。然而,云场景带来了隐私保护的艰巨挑战,因为云服务器不能完全信任。为此,基于图像加密的隐私保护图像检索方案已被开发,该方案首先从密码图像中提取特征,然后基于这些特征建立检索模型。然而,大多数现有的方法提取浅层特征和设计琐碎的检索模型,导致密码图像的表达能力不足。在本文中,我们提出了一个新的范例命名为加密视觉Transformer(EViT),它提高了鉴别表示的能力的密码图像。首先,在JPEG压缩过程中,从流密码加密的密文图像中提取多级局部长度序列和全局霍夫曼码频率特征,以获取全面的规则信息。其次,设计了基于视觉Transformer的检索模型,实现了与多层次特征的耦合,并提出了两种自适应的数据增强方法来提高检索模型的表示能力。通过自监督对比学习的方式,我们的建议可以很容易地适应无监督和监督的设置。大量的实验表明,EViT实现了良好的加密和检索性能,在检索精度方面大大优于现有的计划,同时有效地保护图像隐私。代码可在\url{https://github.com/onlinehuazai/EViT}上公开获取。
2022-08-31 cs.CV cs.MM
Geometric Analysis of Self-Supervised Vision Representations for Semantic Image Retrieval
Universidad de Costa Rica(哥斯达黎加大学)
研究评估现代自监督学习方法在图像检索中的表现,发现高各向异性表示会损害基于分区和哈希的搜索性能,而更各向同性表示能提升语义检索效果。
2026-04-27 cs.CV cs.IR
Investigating the Vision Transformer Model for Image Retrieval Tasks
Democritus University of Thrace(德谟克利特色雷斯大学);Neapolis University Pafos(帕福斯尼亚波利斯大学)
本文介绍了一种即插即用的描述符,可以有效地通过图像检索任务,无需事先初始化或准备。该描述方法利用了最近提出的视觉Transformer网络,而它不需要任何训练数据来调整参数。在图像检索任务中,手工全局和局部描述符的使用在过去几年中已经被基于卷积神经网络(CNN)的方法非常成功地取代。然而,本文在几个基准数据集上对文献中的36个最先进的描述符进行的实验评估表明,不包含卷积层的神经网络,如视觉Transformer,可以塑造全局描述符并实现有竞争力的结果。由于不需要微调,所提出的方法的低复杂性,鼓励采用的架构作为图像检索基线模型,取代传统的和良好采用的基于CNN的方法,开创了一个新时代的图像检索方法。
2021-01-11 cs.CV cs.IR cs.RO
FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning
Stanford University(斯坦福大学);Meta AI;University of Surrey(萨里大学)
时尚领域的多模态任务对电子商务具有巨大的潜力,但涉及具有挑战性的视觉和语言学习问题-例如,在给定参考图像加上来自用户的文本反馈的情况下检索时尚物品。之前关于多模态时尚任务的工作要么受到单个基准中的数据的限制,要么利用了通用的视觉和语言预训练,但没有利用时尚数据的特征。此外,这些工作主要局限于多模态理解任务。为了弥补这些差距,我们做出了两项关键贡献。首先,我们提出了一种新的时尚特定的预训练框架的基础上,从时尚图像-文本对构建弱监督三元组。我们表明,基于三重任务是标准多模态预训练任务的有效补充。其次,我们提出了一个灵活的解码器为基础的模型架构,能够时尚检索和字幕任务。总之,我们的模型设计和预训练方法在各种时尚任务上具有竞争力,包括跨模态检索、带文本反馈的图像检索、图像描述、相对图像描述和多模态分类。
2022-10-26 cs.AI cs.CV
Composed Vision-Language Retrieval for Skin Cancer Case Search via Joint Alignment of Global and Local Representations
本文提出一种基于Transformer的框架,通过联合对齐全局和局部表示,提升皮肤癌病例检索的准确性和效率,实验表明在Derm7pt数据集上优于现有方法。
2026-04-20 cs.AI cs.CV
Decomposing Normal and Abnormal Features of Medical Images for Content-based Image Retrieval
National Cancer Center Research Institute(国立癌症研究中心研究所);Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息理工学研究生院);Research Center for Advanced Science and Technology, The University of Tokyo(东京大学先端科学技术研究中心)
医学图像可以分解为正常特征和异常特征,这被认为是组合性的。基于这一思想,我们提出了一个编码器-解码器网络分解医学图像为两个离散的潜在代码:一个正常的解剖代码和异常的解剖代码。使用这些潜在的代码,我们展示了一个相似性检索的医学图像的正常或异常的功能。
2020-11-12 cs.CV eess.IV
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Video-adverb retrieval with compositional adverb-action embeddings
University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所)
提出在联合嵌入空间中对齐视频与组合式副词-动作文本嵌入的检索框架,结合残差门控、三元组损失和回归目标,在五个基准及未见组合泛化任务上达到最优。
2023-09-26 cs.CV
Prompting Large Pre-trained Vision-Language Models For Compositional Concept Learning
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学)
本文在基于学习框架的基础上,研究了大型预训练视觉语言模型(VLM)的zero-shot组合学习能力,并提出了一个解决组合零样本学习(CCLL)问题的模型(\textit{PromptCompVL})。\textit{PromptCompVL}有两种设计选择:首先,它使用软提示而不是硬提示来注入可学习的参数,以重新编程VLM进行组合学习。其次,为了解决组合挑战,它使用软嵌入层来学习不同组合中的原始概念。通过结合软嵌入和软提示,\textit{PromptCompVL}在MIT-States数据集上实现了最先进的性能。此外,我们提出的模型实现了一致的改善相比,其他CLIP为基础的方法,这表明所提出的激励策略的有效性,为CNOML。
2022-11-09 cs.CV
Iterated Learning Improves Compositionality in Large Vision-Language Models
University of Michigan(密歇根大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
针对大型视觉-语言模型组合性不足且无法随规模提升的问题,受认知科学文化传递启发,提出迭代训练算法,将对比学习重构为Lewis信号博弈并迭代重置智能体权重,在SugarCrepe基准上取得显著提升。
2024-04-17 cs.CV
Diagnosing the Compositional Knowledge of Vision Language Models from a Game-Theoretic View
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang Laboratory(浙江实验室);Baidu Inc(百度公司)
本文从博弈论视角提出诊断方法,系统评估视觉语言模型在组合推理(如关系与属性)上的脆弱性,揭示其能力不足的原因,并为未来研究提供可靠指导。
2024-05-27 cs.CV
Advancing Compositional Awareness in CLIP with Efficient Fine-Tuning
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)
针对CLIP等视觉语言模型组合推理能力弱、现有改进方法忽略语义理解且常导致检索性能下降的问题,本文提出结合多图像与关联描述的CLIC微调方法,可同时提升词汇与语义层面的组合性及检索性能,在SugarCrepe++基准上达到最优。
2025-10-28 cs.CV cs.LG
Compositional Image-Text Matching and Retrieval by Grounding Entities
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
本文针对CLIP缺乏实体接地和组合匹配能力的问题,提出免学习的零样本嵌入增强方法,通过开放词汇检测器定位实体与关系并加权组合子图像嵌入,在多个匹配与检索基准上取得显著提升。
2025-05-04 cs.CV
A Good CREPE needs more than just Sugar: Investigating Biases in Compositional Vision-Language Benchmarks
University of Tübingen and Tübingen AI Center(图宾根大学和图宾根人工智能中心);Juelich Supercomputing Centre (JSC)(焦耳ich超算中心);University of Cambridge(剑桥大学)
本文审视 17 个组合式视觉-语言基准,发现正负样本分布不对称使简单启发式方法可达到 CLIP 水平,并给出更稳健的基准构建建议。
2025-06-09 cs.CV
COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
University of Virginia(弗吉尼亚大学)
本文提出COCO-Tree方法,通过从LLMs学习神经符号概念树来增强VLMs的组合推理能力,在四个基准上使七种开源VLMs的组合泛化提升5-10%,并提供可解释的推理过程。
2025-10-13 cs.CV
SCOT: Self-Supervised Contrastive Pretraining For Zero-Shot Compositional Retrieval
Yahoo Research(雅虎研究院);University at Buffalo, SUNY(纽约州立大学布法罗分校)
针对全监督组合图像检索数据标注成本高、泛化性弱的问题,提出自监督组合预训练策略SCOT,借助大语言模型与图文对数据对比训练嵌入组合网络,零样本性能超越现有最优方法及诸多全监督方案。
2025-01-12 cs.AI cs.CV
Enhancing Vision-Language Compositional Understanding with Multimodal Synthetic Data
Nanyang Technological University(南洋理工大学)
针对视觉-语言模型组合理解训练数据合成中的效率、文本对齐和图像保真度挑战,提出SPARCL方法,结合图像特征注入与风格迁移,并采用自适应边际损失过滤,在四个基准上将CLIP平均准确率提升超8%。
2025-03-29 cs.CV
MMCOMPOSITION: Revisiting the Compositionality of Pre-trained Vision-Language Models
University of Rochester(罗切斯特大学);Apple(苹果公司);Microsoft(微软公司)
本文提出人工标注基准 MMCOMPOSITION,全面评估视觉-语言模型在对象交互、计数等深层推理上的组合性,实验揭示 GPT-4o 等模型在细粒度组合感知与推理上的局限性。
2024-10-13 cs.CV
CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography
Technion – Israel Institute of Technology(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对胸部X线检索的目标不匹配问题,提出CXR-Retrieve基准与标签感知对比微调方法,在双病理组合和否定查询的Precision@5上较CXR-CLIP分别提升8.5和22.0个百分点。
2026-07-31 cs.CV
Diagnosing the Sources of Compositional Failure in Vision-Language Models: A Controlled Analysis
The Ohio State University(俄亥俄州立大学);Netflix Research(Netflix 研究院)
本文提出COMPASS框架,通过分解组合描述,量化视觉-语言模型中组合失败的各因素,发现技能退化主要受自身负载影响,跨负载多为正向,表明组合退化不能仅归因于联合推理。
2026-09-28 cs.CV
COLA: A Benchmark for Compositional Text-to-image Retrieval
Boston University(波士顿大学);Meta AI (FAIR)(元人工智能研究院(FAIR));University of Washington(华盛顿大学)
本文提出 Cola 组合式文本到图像检索基准,系统比较视觉-语言模型的6种适应策略,证明训练多模态注意力层最有效,并揭示其与人类表现仍有差距。
2023-11-03 cs.CV
ICSVR: Investigating Compositional and Syntactic Understanding in Video Retrieval Models
Intel Labs(英特尔实验室)
本文系统评估了视频检索模型中对象与属性、动作和句法三类成分的影响,发现动作与句法作用较小,且基于CLIP图像-文本预训练表示的模型在句法和组合理解上优于视频-文本预训练模型。
2024-06-10 cs.AI cs.CL cs.CV
Few Shots Text to Image Retrieval: New Benchmarking Dataset and Optimization Methods
Huawei Tel-Aviv Research Center(华为特拉维夫研究中心)
本文提出FSIR任务及FSIR-BD数据集,通过少样本学习方法提升图像检索性能,实验表明其基准挑战性及优化方法优于现有基线。
2026-03-26 cs.CV
RAVU: Retrieval Augmented Video Understanding with Compositional Reasoning over Graph
Fujitsu Research of India Private Limited(日本富士通印度研究私有限公司)
RAVU提出通过时空图构建视频长期记忆,并将查询分解为组合推理步骤进行检索增强,从而在仅使用5-10帧的情况下显著提升长视频多跳推理与对象跟踪的问答性能。
2025-05-06 cs.AI cs.CV
Domain-RAG: Retrieval-Guided Compositional Image Generation for Cross-Domain Few-Shot Object Detection
Fudan University(复旦大学);Fuzhou University(福州大学);East China Normal University(华东师范大学);HKUST(GZ)(香港科技大学(广州))
Domain-RAG通过检索引导的组合图像生成方法,解决跨领域少样本目标检测中的领域对齐与背景生成问题,实现高质量样本生成。
2025-12-09 cs.CV
Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions
Queen Mary University of London(伦敦女王大学);Samsung AI Centre(三星人工智能中心);Technical University of Iași(伊阿苏技术大学)
本文提出一种无视觉的单编码器文本到文本检索方法,利用VLLM生成图像描述替代视觉编码器,显著缩小模态差距并提升组合性,在多个基准上以0.3B参数模型取得最先进的零样本性能。
2025-09-23 cs.CV
Compositional Kronecker Context Optimization for Vision-Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对CLIP类视觉语言模型在适应新任务时泛化能力与紧凑上下文学习的挑战,提出组合克罗内克上下文优化(CK-CoOp)方法,通过字典基向量线性组合构建可学习上下文词,在多泛化场景达最优性能且参数高效。
2024-03-18 cs.CV
BiVLC: Extending Vision-Language Compositionality Evaluation with Text-to-Image Retrieval
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心 – Ixa)
提出双向视觉-语言组合性基准BiVLC,增加文本到图像检索方向,发现多模态模型在此方向表现弱,并证明合成数据训练的对比模型可显著提升两个方向的组合性性能。
2024-11-04 cs.CL cs.CV cs.LG
In-Context Learning Improves Compositional Understanding of Vision-Language Models
University of Amsterdam(阿姆斯特丹大学)
本文通过广泛基准测试探究视觉-语言模型组合理解不足的原因,并提出利用上下文学习提升其复杂推理能力,在多个数据集上超越基线。
2024-07-22 cs.AI cs.CV
Beyond Atomic Layouts: Compositional Design Understanding with Vision-Language Models
Northeastern University(东北大学);Adobe Research(奥多比研究院)
本文针对组合式布局理解任务,提出后训练范式MASON,利用约2万布局的CoDeLayout数据集,使Qwen2.5-VL 7B准确率达91.66%,优于基线及全数据微调。
2026-08-28 cs.CV
A Neurosymbolic Agent System for Compositional Visual Reasoning
Georgia Institute of Technology(佐治亚理工学院);Cisco Systems(思科系统)
针对现有视觉-语言模型组合视觉推理能力不足的问题,本文提出神经符号视觉-语言智能体系统VLAgent,通过两阶段推理架构、SS-parser和执行验证器提升推理效果,在多个基准上超越现有代表性方法。
2025-10-04 cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology(新加坡科技学院);NVIDIA(英伟达)
研究组合式视觉问答中视觉语言模型失败的机制,引入以操作为中心的框架分解失败模式,揭示四种失败模式及传播路径,表明不同失败类型需不同纠正策略,为提升模型可靠性提供基础。
2026-08-20 cs.CV
Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos
New York University Abu Dhabi(纽约大学阿布扎比分校);The University of Auckland(奥克兰大学)
针对装配动作理解难题,提出组合上下文微调方法及层划分交替训练方法,将动作分解为语义元素并微调视觉语言模型,创建相关数据集,实验证明该方法优于基线且能提供可解释预测,助力人机协作装配。
2026-07-14 cs.CV
Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability
University of Southern California(南加州大学)
本文通过机制可解释性方法诊断视觉语言模型组合失败的原因,发现CLIP视觉编码器MLP层中神经元的特征叠加现象直接损害了组合特征表示与对象绑定能力。
2025-08-26 cs.CV
Not Only Text: Exploring Compositionality of Visual Representations in Vision-Language Models
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学);University of Twente(特文特大学)
本文针对视觉-语言模型视觉嵌入空间的组合性不明问题,提出测地可分解嵌入框架,证明预训练VLM视觉表征存在组合结构,在组合分类和群体鲁棒性任务上表现更优,提升了模型可解释性。
2025-03-21 cs.CV cs.LG
Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation
Virginia Commonwealth University(弗吉尼亚联邦大学);King’s College London(伦敦国王学院);University at Buffalo(纽约州立大学布法罗分校);Harvard Medical School(哈佛医学院)
该研究针对内镜图像指称分割面临的挑战,引入ReferEndoscopy基准,提出AR-ERIS框架,利用属性检索进行开放词汇量内镜组合式指称分割,在模拟和真实内镜数据上实现最优性能且泛化能力强。
2026-07-10 cs.CV
Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models
National University of Singapore(新加坡国立大学)
本文提出Gate-and-Merge框架,实现视觉语言模型的零样本组合个性化,通过轻量LoRA适配器和门控机制,在无需共现训练的情况下提升多概念联合识别性能。
2026-05-09 cs.AI cs.CV
BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring
Peking University(北京大学);Dongguan University of Technology(东莞理工学院);Sichuan Agricultural University(四川农业大学)
BindCLIP提出一种平衡的令牌-补丁-深度最优传输耦合,用于组合视觉语言评分,无需额外标签或检测器,在多个基准上超越冻结CLIP,尤其在关系分割上表现最强。
2026-09-22 cs.CV
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学);Technical University of Munich(慕尼黑技术大学)
研究组合泛化中表示结构需满足的条件,通过形式化三个需求得出其几何约束,为线性表示假设提供理论基础,还推导维度界限并通过实验验证,揭示模型表示结构与组合泛化的关联。
2026-07-07 cs.CV cs.LG
CLoVe: Encoding Compositional Language in Contrastive Vision-Language Models
University of Michigan(密歇根大学);Netflix(网飞公司)
针对 CLIP、GPT-4V 等视觉-语言模型难以理解词序与概念组合的问题,提出 CLoVe 框架,在组合性基准上绝对提升逾10%,且不损害识别与检索性能。
2024-03-01 cs.CL cs.CV
Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning
Massachusetts Institute of Technology(麻省理工学院)
提出自问式框架,通过GRPO强化学习训练VLM自动分解问题并回答子问题,提升组合视觉推理能力,在CLEVR和A-OKVQA上验证有效性。
2026-06-16 cs.CV
Prompting Large Vision-Language Models for Compositional Reasoning
Indiana University(印第安纳大学);University of Wisconsin(威斯康星大学)
针对视觉-语言模型组合推理不足的问题,本文提出提示 GPT-4 等大型视觉-语言模型描绘图像并逐步推理,在 Winoground 上优于嵌入方法,最优描述可再提升最高 10% 准确率。
2024-01-20 cs.AI cs.CV
SugarCrepe: Fixing Hackable Benchmarks for Vision-Language Compositionality
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
针对视觉-语言模型组合理解基准测试存在可被黑客攻击的偏差问题,研究提出SugarCrepe基准测试,利用大语言模型生成硬负样本并通过对抗性细化机制减少偏差,发现现有模型的改进被高估。
2023-06-26 cs.CL cs.CV cs.LG
Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality
Hugging Face;Facebook AI Research(脸书人工智能研究院);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
我们提出了一个新的任务和数据集,用于评估视觉和语言模型进行非语言组合推理的能力,我们称之为Winoground。给定两个图像和两个标题,目标是正确地匹配它们-但至关重要的是,两个标题包含完全相同的单词集,只是顺序不同。该数据集由专家注释者精心手工策划,并标记了一组丰富的细粒度标签,以帮助分析模型性能。我们探索了各种各样的最先进的视觉和语言模型,并发现,令人惊讶的是,没有一个比机会更好。显然,这些模型并不像我们所希望的那样熟练地进行非语言组合推理。我们进行了广泛的分析,以深入了解未来的工作可能如何试图减轻这些模型的缺点。我们的目标是Winoground作为一个有用的评估集,以推进最先进的技术,并推动该领域的进一步发展。该数据集可在https://huggingface.co/datasets/facebook/winoground上获得。
2022-04-22 cs.CL cs.CV
KamonBench: A Grammar-Based Dataset for Evaluating Compositional Factor Recovery in Vision-Language Models
KamonBench通过20000个合成复合徽章及辅助组件示例,提供评估视觉-语言模型中稀疏组合识别和因子恢复的可控测试环境,支持程序代码因子度量和可控因子对重组。
2026-10-30 cs.CV cs.LG