Inference-Time Structural Reasoning for Compositional Vision-Language Understanding
本文提出统一评估和增强框架，评估四种架构各异的VLMs在Winoground基准上的表现，通过结构化关系先验提升模型能力，发现SG增强对已有能力强的模型有益。
2026-03-28 cs.CL cs.CV
CREPE: Can Vision-Language Foundation Models Reason Compositionally?
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）
本文提出组合性评估基准CREPE，从系统性和生产力两方面测试视觉-语言模型，发现7种架构在组合推理上均表现挣扎，性能随复杂度增加而显著下降。
2023-05-16 cs.CL cs.CV
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models
AWS AI Labs（AWS人工智能实验室）
本文从几何和概率视角研究视觉-语言模型嵌入中的组合结构，将表示近似为少量“理想词语”向量的组合，并在CLIP上验证其可用于分类、去偏和检索等任务。
2024-01-11 cs.AI cs.CL cs.CV
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克国家大学（UPV/EHU））
本文探讨了双编码视觉-语言模型中组合性问题的根源，提出通过改进推断协议提升组合性能，引入轻量级变压器学习局部对齐，优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Group（商汤科技）
本研究推出视觉语言模型InternLM-XComposer2，通过PLoRA方法平衡视觉理解与文本生成能力，在多模态任务上表现优异，部分指标超越GPT-4V等模型，且已开源7B参数版本。
2024-01-29 cs.CL cs.CV
The Hard Positive Truth about Vision-Language Compositionality
University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）
现有视觉-语言模型在组合性上的提升被夸大，研究通过引入硬正样本评估揭示其缺陷，并构建包含硬正负样本的大规模数据集进行训练，显著提升了CLIP的组合性理解。
2024-09-26 cs.CL cs.CV
NePTune: A Neuro-Pythonic Framework for Tunable Compositional Reasoning on Vision-Language
Michigan State University（密歇根州立大学）
本文提出免训练神经符号框架 NePTune，将自然语言查询动态转为含软逻辑算子的 Python 程序，以增强 VLM 的组合推理、泛化与适应能力。
2025-09-30 cs.AI cs.CL cs.CV
Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality
Meta AI
针对视觉-语言模型在组合推理上的局限，提出基于场景图的图分解与增强框架及粗到细对比学习方法，在多个基准上显著提升属性绑定与关系理解等能力。
2023-10-24 cs.CL cs.CV
Text encoders bottleneck compositionality in contrastive vision-language models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）
本文通过构建CompPrompts和ControlledImCaps基准，利用仅文本恢复探针揭示了CLIP等对比视觉-语言模型中文本编码器在组合性理解上的瓶颈，并证明文本可恢复性是组合性建模的必要条件。
2023-10-30 cs.CL cs.CV cs.LG
Causal Graphical Models for Vision-Language Compositional Understanding
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；ImageLab（图像实验室）
针对视觉-语言模型在组合任务中表现不佳的问题，本文提出基于因果图模型建模文本与视觉标记依赖关系的方法，实验表明该方法显著优于现有组合方法及使用更大数据集训练的方法。
2025-04-15 cs.AI cs.CL cs.CV
BiVLC: Extending Vision-Language Compositionality Evaluation with Text-to-Image Retrieval
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU）HiTZ中心 – Ixa）
提出双向视觉-语言组合性基准BiVLC，增加文本到图像检索方向，发现多模态模型在此方向表现弱，并证明合成数据训练的对比模型可显著提升两个方向的组合性性能。
2024-11-04 cs.CL cs.CV cs.LG
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
TripletCLIP通过合成困难负样本对，增强CLIP的组合推理能力，在SugarCrepe上提升超9%，并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
受益于语言的灵活性和组合性，人类自然会使用语言来命令具体的代理执行复杂的任务，如导航和对象操作。在这项工作中，我们的目标是填补最后一英里的空白体现代理-对象操纵遵循人类的指导，例如，“把红色杯子移到盒子旁边，同时保持它直立。为此，我们引入了一个自动操作求解器（AMSolver）系统，并在此基础上构建了一个视觉和语言操作基准（VLMbench），其中包含分类机器人操作任务的各种语言指令。具体来说，模块化的基于规则的任务模板创建自动生成机器人演示与语言指令，包括不同的对象形状和外观，动作类型和运动约束。我们还开发了一个基于关键点的模型6D-CLIPort来处理多视图观察和语言输入，并输出6个自由度（DoF）动作的序列。我们希望新的模拟器和基准将促进未来的研究语言引导的机器人操作。
2022-08-17 cs.CL cs.CV cs.RO
An Examination of the Compositionality of Large Generative Vision-Language Models
AI Thrust, The Hong University of Science and Technology (Guangzhou)（香港科技大学（广州）AI方向）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）
本文针对生成式视觉-语言模型组合性评估中的句法偏差问题，提出SyntaxBias Score和新任务，并构建无偏基准SADE，为多模态组合推理研究提供更可靠的评测工具。
2024-03-30 cs.AI cs.CL cs.CV
Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models
Xi'an Jiaotong University（西安交通大学）；Beihang University（北京航空航天大学）
本研究在视觉语言模型中引入显式人格条件，建立包括单人格、多人格和人格切换的系统评估框架，发现人格提示可提升图像描述但损害精确推理任务，并观察到多特质组合与动态切换中的平衡与残留效应。
2026-06-11 cs.AI cs.CL
Adding simple structure at inference improves Vision-Language Compositionality
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克大学（UPV/EHU））
针对双编码器视觉-语言模型组合性不足的问题，提出在推理阶段通过分割图像、匹配文本片段与图像块并聚合相似度的方法，无需训练即可稳定提升模型图文检索的组合性表现，尤其在属性-对象绑定任务中效果显著。
2025-06-11 cs.CL cs.CV cs.LG
Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology（邮电技术学院）；University of Arkansas（阿肯色大学）
本文提出渐进式多粒度视觉-语言对齐框架PromViL，通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域，利用低层上下文指导高层推理，显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
Jailbreak in pieces: Compositional Adversarial Attacks on Multi-Modal Language Models
University of California, Riverside（加州大学河滨分校）
本文提出针对视觉语言模型的组合跨模态越狱攻击，仅需访问视觉编码器即可生成对抗图像，破坏LLM对齐，成功率极高，凸显多模态对齐漏洞风险。
2023-10-10 cs.CL cs.CR
When and why vision-language models behave like bags-of-words, and what to do about it?
Stanford University（斯坦福大学）
尽管大型视觉和语言模型（VLM）在许多下游应用中取得了成功，但目前还不清楚它们对成分信息的编码效果如何。在这里，我们创建了归因、关系和顺序（ARO）基准，以系统地评估VLM理解不同类型的关系、属性和顺序的能力。ARO包括Visual Genome Attribution，用于测试对象属性的理解; Visual Genome Relation，用于测试关系理解;以及COCO & Flickr 30 k-Order，用于测试顺序敏感性。ARO比以前的组合性基准大几个数量级，有超过50，000个测试用例。我们展示了最先进的VLM的关系理解能力很差，在将对象链接到其属性时可能会出错，并且表现出严重缺乏顺序敏感性。VLM主要在图像和标题中具有丰富组成结构的大型数据集上进行训练和评估。然而，在这些数据集上的训练还不足以解决缺乏成分理解的问题，对这些数据集的评估也未能揭示这一缺陷。为了理解为什么这些限制会出现，而在标准测试中却没有表现出来，我们放大到评估和培训程序。我们证明，它是可能的，在现有的数据集上进行检索，而不使用的组成和顺序信息。鉴于对比预训练优化了具有类似快捷方式的数据集上的检索，我们假设这可以解释为什么模型不需要学习表示成分信息。这一发现提出了一个自然的解决方案：成分感知的硬负面挖掘。我们发现，一个简单的实施修改对比学习显着提高了性能的任务，需要理解的顺序和组合。
2023-03-23 cs.AI cs.CL cs.CV
Natural Language Inference Improves Compositionality in Vision-Language Models
University of Maryland, College Park（马里兰大学学院公园分校）；Stony Brook University（石溪大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉-语言模型组合推理能力弱的问题，提出利用自然语言推理生成多样蕴涵/矛盾句的CECE方法，无需额外微调即可在多个基准上取得显著性能提升。
2024-10-29 cs.CL cs.CV
A Markov Categorical Framework for Language Modeling
Princeton University（普林斯顿大学）
本文提出一个马尔可夫范畴框架，从信息处理阶段分析语言模型的生成过程，解释训练如何塑造表示，并揭示表示如何支持复杂行为。
2026-05-13 cs.AI cs.CL cs.LG
Break It Down: Evidence for Structural Compositionality in Neural Networks
Brown University（布朗大学）
该研究利用模型剪枝技术探究神经网络的结构组合性问题，发现模型常通过模块化子网络实现子例程，证明神经网络可学习组合性，无需专门符号机制。
2023-11-06 cs.AI cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage
IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学）
研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。
2026-04-19 cs.CL cs.CV
Language Plays a Pivotal Role in the Object-Attribute Compositional Generalization of CLIP
Sharif University of Technology（谢里夫理工大学）
本文研究CLIP在属性-对象新颖组合的分布外泛化能力，构建ImageNet-AO测试集发现，大规模训练数据与语言监督是解锁视觉语言模型组合泛化能力的关键。
2024-03-27 cs.CL cs.CV cs.LG
Breaking Common Sense: WHOOPS! A Vision-and-Language Benchmark of Synthetic and Compositional Images
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）；University of Washington（华盛顿大学）
本文提出WHOOPS!视觉常识基准数据集，包含故意违背常识的合成图像，并通过解释生成等任务证明GPT3、BLIP2等先进模型仍落后于人类，旨在推动AI视觉常识推理能力的发展。
2023-08-12 cs.AI cs.CL cs.CV
HiMo-CLIP: Modeling Semantic Hierarchy and Monotonicity in Vision-Language Alignment
HiMo-CLIP通过层次分解模块和单调性感知对比损失，在不修改编码器架构的前提下增强CLIP模型对长文本和组合描述的语义层次与单调性建模能力，并在多个检索基准上取得优于强基线的性能。
2025-11-10 cs.CL cs.CV
Are Diffusion Models Vision-And-Language Reasoners?
Mila（米拉研究所）；McGill University（麦吉尔大学）；University of Montréal（蒙特利尔大学）；Stability AI；Polytechnique Montréal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）
本文提出 DiffusionITM 将 Stable Diffusion 用于图文匹配，并构建 GDBench 评估其组合推理与偏见，发现其在 CLEVR、Winoground 上优于 CLIP。
2023-11-02 cs.AI cs.CL cs.CV
Beyond Text and Tables: Vision-Language Model Integration in ComProScanner for Extracting Materials Data from Scientific Figures with High Accuracy
Energy, Materials and Environment Research Centre, London South Bank University, London SE1 0AA, UK（能源、材料与环境研究中心，伦敦南银行大学）；School of Engineering and Design, London South Bank University, London SE1 0AA, UK（工程与设计学院，伦敦南银行大学）；Bioscience and Bioengineering Research Centre, London South Bank University, London SE1 0AA, UK（生物科学与生物工程研究中心，伦敦南银行大学）；Department of Physics, Kings College London, London WC2R 2LS, UK（物理系，伦敦国王学院）
本文通过集成视觉-语言模型扩展ComProScanner框架，实现了从科学图表中自动提取成分-性能数据，在压电陶瓷数据集上达到0.97的组成准确率和归一化F1分数，并引入基于范围的误差阈值评估方法。
2026-05-19 cond-mat.mtrl-sci cs.AI cs.CL
SUGARCREPE++ Dataset: Vision-Language Model Sensitivity to Semantic and Lexical Alterations
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
该研究提出SUGARCREPE++数据集，用于分析视觉与单模态语言模型对词汇和语义变更的敏感性，实验发现现有模型在区分相关变化上存在困难，为视觉-语言领域带来新挑战。
2024-06-19 cs.CL cs.CV cs.LG
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC））；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
Compositional Chain-of-Thought Prompting for Large Multimodal Models
University of California, Berkeley（加州大学伯克利分校）
本文提出零样本组合式思维链提示方法CCoT，通过让大型多模态模型先生成场景图再据此作答，在不微调、无需场景图标注的情况下提升组合视觉推理与通用多模态基准性能。
2024-04-01 cs.AI cs.CL cs.CV
