NegVQA: Can Vision Language Models Understand Negation?
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文提出 NegVQA 视觉问答基准，评估 20 个先进视觉语言模型在理解否定现象上的能力，发现模型表现显著下降并存在 U 型缩放趋势，揭示了 VLMs 否定理解的缺陷。
2025-05-28 cs.AI cs.CL cs.CV
Negation-Aware Test-Time Adaptation for Vision-Language Models
Department of AI Computing, Pengcheng Laboratory（人工智能计算系，鹏城实验室）；School of Computer Science and Technology, Central South University（计算机科学与技术学院，中南大学）；Department of Computer Science and Technology, Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint Center for ML, Tsinghua University（计算机科学与技术系，人工智能研究院，BNRist中心，THBI实验室，清华-博世联合人工智能中心，清华大学）
针对视觉语言模型在否定理解上的不足，提出否定感知测试时自适应（NEAT）方法，通过调整分布参数减少分布偏移，以极低参数开销实现与最先进方法相当的性能。
2025-08-05 cs.CV
HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models
ADAPT Centre Dublin City University, Ireland（爱尔兰都柏林城市大学ADAPT中心）；University of East Anglia Norwich, UK（英国东英吉利大学）；Queen’s University Belfast Belfast, UK（英国贝尔法斯特女王大学）；University of Science Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学理科大学）
针对视觉语言模型对否定语义脆弱的问题，提出HANCLIP系列，通过双曲空间和角度三元组目标重构嵌入空间，在20K数据上训练，增强否定敏感性同时保持预训练表示，在NegBench等基准上取得一致提升。
2026-09-15 cs.CV cs.IR
Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations
IIT Jodhpur（焦特布尔印度理工学院）；Lehigh University（利哈伊大学）
本文提出CC-Neg数据集和CoN-CLIP框架，通过改进对比损失增强视觉-语言模型对否定语义的理解，在零样本分类和组合性基准上取得显著提升，同时降低了计算成本。
2024-03-29 cs.CV
Know-Thy-Not: Training-Free Targeted Negation in Dual-Encoder Vision-Language Models
Sungkyunkwan University（成均馆大学）；University of Oslo（奥斯陆大学）
针对双编码器视觉-语言模型无法处理否定的问题，提出无需训练的KTN方法，引入图像侧拒绝维度，在9种骨干模型上使COCO-Confusion的mAP获显著提升。
2026-10-14 cs.AI cs.CV
Contrastive vision-language learning with paraphrasing and negation
本文提出SemCLIP模型，通过结合改写与否定的对比损失函数，提升视觉-语言模型在处理语义变化时的鲁棒性，实验证明其在零样本下游任务中表现稳定。
2026-06-29 cs.CV cs.LG
Bi-MCQ: Reformulating Vision-Language Alignment for Negation Understanding
Department of Electrical and Computer Engineering, Inha University, Republic of Korea（电气与计算机工程系，印哈大学，大韩民国）；College of Medicine, Inha University, Republic of Korea（医学学院，印哈大学，大韩民国）
Bi-MCQ通过重新表述视觉-语言对齐为条件语义比较，提升医学VLM对否定理解的性能。
2026-01-30 cs.CV cs.LG
Benchmarking MLLMs via Cognitive Expected Scene Graph for Safety-Critical Visual Negation Understanding
Sichuan University（四川大学）；Beijing Institute of Technology（北京理工大学）
针对视觉否定理解中现有模型与指标的失效问题，提出SNUS任务及CESG评估指标，构建高保真数据集，为安全关键场景提供可靠基准。
2026-09-18 cs.CV
Omni-NegCLIP: Enhancing CLIP with Front-Layer Contrastive Fine-Tuning for Comprehensive Negation Understanding
University of Southern California（南加州大学）
本文提出Omni-NegCLIP，通过修改CLIP的InfoNCE损失函数，改进其对存在性和缺失性否定表达的理解能力，实验显示在否定任务中性能提升显著，且不牺牲图像-文本检索能力。
2026-03-31 cs.AI cs.CV
TNG-CLIP:Training-Time Negation Data Generation for Negation Awareness of CLIP
University of Southern California（南加州大学）
针对CLIP否定理解不足，提出训练时否定数据生成方法TNG-CLIP，仅增2.5%训练时间，并构建首个否定文本到图像基准Neg-TtoI，在多项任务上达到最优性能。
2025-05-24 cs.AI cs.CV
Evaluating and Enhancing Negation Comprehension in Remote Sensing MLLMs
Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；Central South University（中南大学）
提出RS-Neg基准评估遥感MLLMs的否定理解，并设计NeFo方法通过测试时学习利用约5%未标注样本显著提升模型性能。
2026-06-23 cs.AI cs.CV
What "Not" to Detect: Negation-Aware VLMs via Structured Reasoning and Token Merging
KAIST AI（韩国科学技术院人工智能实验室）；Boston University（波士顿大学）；Sogang University（成均馆大学）
本文提出CoVAND数据集和NegToMe模块，通过结构化推理和标记合并解决VLMs的否定理解问题，提升检测任务的准确率和泛化能力。
2026-03-23 cs.AI cs.CV
Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models
Institute of Trustworthy Embodied AI, Fudan University Shanghai Key Laboratory of Multimodal Embodied AI（可信具身人工智能研究所，复旦大学上海多模态具身人工智能重点实验室）
本文研究视频大语言模型在面对否定性欺骗时的脆弱性，揭示其在时空推理中的错误修正机制，并提出GasVideo-1000基准测试集以评估模型的鲁棒性。
2026-04-20 cs.CV
SCALPEL: Semantic Cross-modal Alignment via LLM-Powered Encoder Learning for Medical Vision-Language Representation
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
针对现有医学视觉-语言预训练的三大瓶颈，本文提出SCALPEL框架，通过临床报告对比微调、非对称对齐策略及解剖-否定感知目标，在三大医学基准上实现了多项任务的最优性能。
2026-07-30 cs.CV
NeIn: Telling What You Don't Want
University of Arkansas（阿肯色大学）；University of Science, VNU-HCM（胡志明市国家大学科学大学）；Aalto University（阿尔托大学）；SpexAI GmbH（SpexAI有限公司）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出首个面向指令式图像编辑否定理解的大规模数据集 NeIn，并通过多模型实验揭示现有视觉-语言模型在理解否定查询方面仍存在明显不足。
2025-04-05 cs.CV
What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features
Purdue University（普渡大学）
对比视觉语言模型如CLIP对否定不敏感，研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch，在不改变预训练权重下恢复否定信号，通过特定网络提取信号、预测偏差向量等，经实验验证其有效性及泛化性。
2026-07-28 cs.AI cs.CV
Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning
University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Samaya AI（Samaya人工智能）；Mistral AI（Mistral人工智能）；Allen Institute for AI（人工智能研究所）
本文指出视觉-语言模型在推理能力上的不足源于训练数据中的报告偏差，通过实验表明单纯扩大数据规模无法提升推理技能，但专门收集隐含信息的注释能有效改善模型表现。
2026-02-26 cs.CL cs.CV
Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning
CLIPGlasses通过双阶段设计提升CLIP对否定性视觉描述的理解能力，无需微调，增强跨领域泛化性能。
2026-02-24 cs.CV cs.MM
Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models
UC San Diego（加州大学圣地亚哥分校）；IIT Kanpur（印度理工学院坎pur）；Michigan State University（密歇根州立大学）
本文提出用指代表达式理解任务评估视觉-语言模型的空间推理能力，分析其在目标歧义、复杂空间表达和否定表达下的表现，揭示不同模型在各类空间语义上的优势与不足。
2025-11-08 cs.AI cs.CL cs.CV
Text encoders bottleneck compositionality in contrastive vision-language models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）
本文通过构建CompPrompts和ControlledImCaps基准，利用仅文本恢复探针揭示了CLIP等对比视觉-语言模型中文本编码器在组合性理解上的瓶颈，并证明文本可恢复性是组合性建模的必要条件。
2023-10-30 cs.CL cs.CV cs.LG
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI（NAVER云AI）；KAIST AI（韩国科学技术院AI）
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题，研究通过策略构建数据集、优化视觉模块等方式，在受限推理成本下实现了性能与吞吐量的兼顾，并将开源相关资源。
2024-10-06 cs.CL cs.CV
KAFA: Rethinking Image Ad Understanding with Knowledge-Augmented Feature Adaptation of Vision-Language Models
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
本文首次基于预训练视觉-语言模型研究图像广告理解，提出知识增强的多模态特征适配策略KAFA，以提升对复杂广告场景的理解能力。
2023-05-28 cs.CL cs.CV
Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption
Marmara University, Institute of Pure and Applied Sciences（马尔马拉大学纯科学与应用科学研究所）
本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式，发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区，且置信度校准存在显著差异。
2026-03-24 cs.AI cs.CV
Distilled Dual-Encoder Model for Vision-Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）；Peng Cheng Laboratory（鹏城实验室）
我们提出了一个跨模态注意力蒸馏框架，用于训练视觉-语言理解任务的双编码器模型，例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。然而，在双编码器模型中使用的浅层交互模块不足以处理复杂的视觉-语言理解任务。为了学习图像和文本的深度交互，我们引入了跨模态注意力蒸馏，它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导我们的双编码器模型的训练。此外，我们表明，在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明，在视觉推理、视觉蕴涵和视觉问答任务中，提取的双编码器模型在推理速度上比融合编码器模型有更快的表现.我们的代码和模型将在https://github.com/kugwzk/Distilled-DualEncoder上公开。
2022-10-17 cs.CL cs.CV
FrEVL: Leveraging Frozen Pretrained Embeddings for Efficient Vision-Language Understanding
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Electrical Engineering, Imperial College London（伦敦帝国学院电子工程系）
FrEVL框架利用冻结预训练嵌入实现高效视觉-语言理解，以少量参数达到SOTA的85%-95%，并带来2.3倍加速和52%能耗降低，为部署提供实用指导。
2025-08-06 cs.CL cs.CV
CVLUE: A New Benchmark Dataset for Chinese Vision-Language Understanding Evaluation
Zhejiang Lab（之江实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出由中文母语者驱动的CVLUE基准数据集，涵盖图像-文本检索、视觉问答、视觉定位和视觉对话四个任务，用于评估视觉-语言模型在中国文化背景下的理解能力，并通过基线实验揭示现有模型缺乏中国文化知识以及微调可有效改善该问题。
2024-07-01 cs.CL cs.CV
How Well Do Vision--Language Models Understand Cities? A Comparative Study on Spatial Reasoning from Street-View Images
Korea Advanced Institute of Science and Technology（韩国科学技术院）
该研究比较 BLIP-2、InstructBLIP 与 LLaVA-1.5 的城市空间推理能力，并通过分割、深度和检测信息构建带 CoT 监督的合成街景 VQA 数据集，证明微调可显著提升模型表现。
2025-08-29 cs.CV
Safe Vision-Language Models via Unsafe Weights Manipulation
University of Trento（特伦托大学）；NVIDIA（NVIDIA公司）；Georgia Tech（佐治亚理工学院）
本文提出UWM方法，通过不训练的方式提升视觉-语言模型在不安全查询上的安全性，同时在安全输入上表现更优。
2026-01-12 cs.AI cs.CV
Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
大多数现有的视觉语言预训练方法专注于理解任务，并在预训练期间使用BERT类目标（掩蔽语言建模和图像-文本匹配）。虽然它们在许多理解下游任务中表现良好，例如，视觉问答、图文检索和视觉蕴涵等，它们不具备生成能力。为了解决这个问题，我们提出了统一的多模态预训练的视觉-语言理解和生成（UniVL）。所提出的UniVL能够处理理解任务和生成任务。我们增强了现有的预训练范例，这些范例仅使用随机掩码和因果掩码，即，三角形掩码，用于屏蔽未来的令牌，这样预先训练的模型可以通过设计具有自回归生成能力。我们制定了几个以前的理解任务作为一个文本生成任务，并建议使用基于JavaScript的方法进行微调不同的下游任务。我们的实验表明，在使用相同的模型时，理解任务和生成任务之间存在权衡，而改善这两个任务的可行方法是使用更多的数据。我们的UniVL框架在理解任务和生成任务上的性能与最近的视觉语言预训练方法相当。此外，我们还证明了基于统计的微调更有效-它在Few-Shot场景中优于判别方法。
2021-12-15 cs.CL cs.CV cs.LG
Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models
Hana Institute of Technology, Hana TI（韩亚科技研究院（韩亚TI））
本文提出一种轻量级标记修剪方法，通过过滤非信息性背景区域来降低视觉-语言模型在文档理解任务中的计算成本，同时保持较高的准确性。
2026-03-04 cs.AI cs.CL cs.CV
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
AIM3 Lab, Renmin University of China（中国人民大学人工智能实验室）；MiLM Plus, Xiaomi Inc.（小米公司）
TimeViper是一种混合Mamba-Transformer模型，通过TransV模块实现高效长视频理解，提升多模态处理能力。
2025-11-26 cs.AI cs.CL cs.CV
VisionGPT: Vision-Language Understanding Agent Using Generalized Multimodal Framework
Stanford University（斯坦福大学）；Peking University（北京大学）；Harvard University（哈佛大学）；University of Washington, Seattle（华盛顿大学西雅图分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
VisionGPT提出一种广义多模态框架，利用大语言模型作为核心调度基础模型，实现开放世界视觉感知与视觉-语言理解，提升效率与泛化能力。
2024-03-14 cs.CV
On the Limitations of Vision-Language Models in Understanding Image Transforms
Cohere for AI Community（Cohere AI社区）；Arbisoft（Arbisoft公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过构建增强版Flickr8k数据集评估CLIP与SigLIP，揭示VLM对图像变换理解不足，并分析其对图像编辑等下游任务及Image2Image模型的影响。
2025-03-14 cs.AI cs.CL cs.CV
VTCBench: Can Vision-Language Models Understand Long Context with Vision-Text Compression?
1 Institute of Automation, Chinese Academy of Sciences；2 School of Artificial Intelligence, University of Chinese Academy of Sciences；3 Centre for Artificial Intelligence；Robotics, Hong Kong Institute of Science \& Innovation, CAS；4 Independent Researcher
VTCBench评估视觉-文本压缩对视觉语言模型长上下文理解能力的影响，发现多数模型在处理压缩信息时表现不佳。
2025-12-23 cs.AI cs.CL cs.CV
Benchmarking Vision Language Models for Cultural Understanding
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究提出CulturalVQA基准，包含跨5大洲11个国家的2378个图像-问题对，用于评估视觉语言模型（VLMs）的多元文化理解能力，测试发现GPT-4V和Gemini等模型在北美文化理解表现强而非洲弱，且不同文化维度表现存在差异。
2024-10-14 cs.AI cs.CL cs.CV
From Local Concepts to Universals: Evaluating the Multicultural Understanding of Vision-Language Models
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究院）
本文提出 GlobalRG 基准，通过跨普遍概念检索和文化视觉定位两项任务评估视觉-语言模型的多元文化理解能力，实验表明模型在不同文化间表现差异显著，凸显了提升多元文化理解的必要性。
2024-06-28 cs.AI cs.CL cs.CV
Mastering Negation: Boosting Grounding Models via Grouped Opposition-Based Learning
本文提出 D-Negation 数据集及分组对立学习框架，通过显式建模否定语义提升视觉语言 grounding 模型的鲁棒性和定位精度。
2026-03-13 cs.AI cs.CV
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
Salesforce Research（Salesforce研究院）
视觉语言预训练（VLP）提高了许多视觉语言任务的性能。然而，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，性能的提高在很大程度上是通过用从网络上收集的嘈杂的图像-文本对来扩展数据集来实现的，这是一个次优的监督源。在本文中，我们提出了BLIP，一个新的VLP框架，灵活地转移到视觉语言理解和生成任务。BLIP通过自举字幕有效地利用了有噪声的Web数据，其中字幕器生成合成字幕，过滤器去除有噪声的字幕。我们在广泛的视觉语言任务上取得了最先进的结果，例如图像-文本检索（平均召回率为+2.7%），图像描述（CIDER为+2.8%）和VQA（VQA得分为+1.6%）。当以zero-shot方式直接转移到视频语言任务时，BLIP也表现出很强的泛化能力。代码、模型和数据集发布于https://github.com/salesforce/BLIP。
2022-02-15 cs.CV
Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
提出Occ-VLM，仅用姿态RGB图像和单一2D视觉编码器，通过重建3D占用作为几何先验，实现统一的3D场景理解，在占用预测、3D VQA和密集描述任务上达到领先水平。
2026-06-19 cs.CV
VRSBench: A Versatile Vision-Language Benchmark Dataset for Remote Sensing Image Understanding
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对现有遥感视觉-语言数据集任务单一、信息不足等问题，提出通用基准VRSBench，包含近3万图像及丰富标注，支持多任务训练评估，推动遥感大模型发展。
2024-11-11 cs.CV
Transferring Textual Preferences to Vision-Language Understanding through Model Merging
National Taiwan University（台湾大学）
本文提出通过合并文本奖励模型与大型视觉-语言模型来构建视觉-语言奖励模型，无需训练即可高效迁移文本偏好，提升内容评估性能。
2025-05-22 cs.AI cs.CL cs.CV
Learn to Understand Negation in Video Retrieval
Renmin University of China（中国人民大学）
否定是一种常见的语言技巧，它允许人们表达我们不想要的东西。自然地，人们可能期望视频检索支持带有否定的自然语言查询，例如，发现孩子们坐在地板上不和狗玩耍的镜头。然而，最先进的基于深度学习的视频检索模型缺乏这种能力，因为它们通常是在缺乏否定描述的视频描述数据集（如MSR-VTT和VATEX）上训练的。他们的检索结果基本上忽略了示例查询中的否定词，错误地返回了孩子们和狗玩耍的视频。本文首次对视频检索中的否定理解学习进行了研究，主要做了以下几方面的工作。通过重新利用现有的两个数据集（MSR-VTT和VATEX），我们提出了一个新的评估协议，视频检索与否定。我们提出了一种基于学习的方法来训练一个负面感知的视频检索模型。其关键思想是首先通过部分否定其原始字幕来为特定训练视频构建软否定字幕，然后计算三元组上的双向约束损失。这种辅助损失被加权地加到标准的取回损失上。实验结果表明，通过该方法对CLIP模型进行再训练，明显提高了其处理否定查询的能力。此外，模型在原有基准上的性能也得到了改善。
2022-07-13 cs.CV cs.MM
SpatialBot: Precise Spatial Understanding with Vision Language Models
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Stanford University（斯坦福大学）；BAAI（北京智源人工智能研究院）；Peking University（北京大学）；University of Oxford（牛津大学）；Southeast University（东南大学）
针对视觉语言模型空间理解能力不足的问题，研究者提出SpatialBot模型，结合RGB与深度图像，并构建SpatialQA数据集与SpatialBench基准，实验证明其能显著提升相关性能。
2025-03-19 cs.CV
Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本研究针对大型视觉-语言模型（LVLMs）视频理解潜力受限的问题，通过实证发现视觉编码器与大语言模型的中间接口是时序理解关键，提出含时序训练策略与升级接口的面向时序方案，显著提升了模型在标准视频理解任务上的表现。
2025-05-19 cs.CV
EmbSpatial-Bench: Benchmarking Spatial Understanding for Embodied Tasks with Large Vision-Language Models
School of Data Science, Fudan University（复旦大学数据科学学院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
本文构建了EmbSpatial-Bench基准，从具身场景中自动生成覆盖6种自我中心空间关系的测试，揭示当前LVLMs空间理解不足，并提出EmbSpatial-SFT指令微调数据集以提升该能力。
2024-06-09 cs.AI cs.CL cs.CV
TraceVision: Trajectory-Aware Vision-Language Model for Human-Like Spatial Understanding
TraceVision通过整合轨迹感知的空间理解，实现了类人空间认知，提升视觉-语言模型在轨迹引导任务中的表现。
2026-02-24 cs.CV
Vision-Language Pre-training with Object Contrastive Learning for 3D Scene Understanding
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）
提出3DVLP框架，通过对象级IoU引导检测损失及跨对比、自对比任务，有效提取通用3D视觉语言嵌入，在多个3D视觉语言下游任务上取得优异性能。
2023-05-18 cs.CV
Evaluating Attribute Comprehension in Large Vision-Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文从属性识别和层级理解两个视角评估大型视觉语言模型的属性理解能力，发现模型属性识别良好但层级理解有限，ITM比ITC更适合属性理解，且微调描述中的属性信息至关重要。
2024-08-25 cs.CV
Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models
Beijing Institute of Technology（北京理工大学）；Zhongguancun Academy（中关村学院）；Tsinghua University（清华大学）
本文提出CLVS方法，通过跨层视觉记忆平滑注意力分布，提升大视觉-语言模型对关键对象的持续聚焦能力，从而增强视觉理解性能。
2025-11-25 cs.AI cs.CV
RAH-VLA: Resolution-Adaptive Hierarchical Vision-Language Alignment for Multimodal Remote Sensing Understanding
Tsinghua University（清华大学）
本文提出动态分辨率输入策略与多尺度视觉-语言对齐机制，提升遥感图像多模态解释的准确性和效率。
2026-09-09 cs.CV
Semantically Grounded QFormer for Efficient Vision Language Understanding
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）
提出一种更高效的QFormer视觉语言对齐框架，利用QFormer潜变量直接调节冻结LLM的潜空间进行图像到文本生成，以减少预训练计算开销。
2024-12-16 cs.CV
GLIPv2: Unifying Localization and Vision-Language Understanding
Microsoft（微软）；University of Washington（华盛顿大学）；Meta AI；UCLA（加州大学洛杉矶分校）
我们提出了GLIPv 2，一个接地的VL理解模型，既服务于本地化任务（例如，目标检测，实例分割）和视觉语言（VL）理解任务（例如，VQA，图像描述）。GLIPv 2通过三个预训练任务将本地化预训练和视觉语言预训练（VLP）优雅地统一起来：短语接地作为检测任务的VL重构，区域词对比学习作为新的区域词级别的对比学习任务，以及掩蔽语言建模。这种统一不仅简化了以前的多阶段VLP过程，而且实现了本地化和理解任务之间的互惠互利。实验结果表明，一个单一的GLIPv 2模型（所有模型的权重是共享的）实现了各种定位和理解任务的SoTA性能。该模型还显示出（1）在开放词汇目标检测任务上的强zero-shot和Few-Shot适应性能和（2）在VL理解任务上的优异的接地能力。代码将在https://github.com/microsoft/GLIP上发布。
2022-10-11 cs.AI cs.CL cs.CV
EarthVL: A Progressive Earth Vision-Language Understanding and Generation Framework
EarthVL提出一种渐进式视觉-语言框架，通过多任务数据集和语义引导网络提升城市规划中的遥感目标识别与问答性能。
2026-01-06 cs.CV
RelationVLM: Making Large Vision-Language Models Understand Visual Relations
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
RelationVLM通过多阶段关系感知训练和数据策略，使大型视觉-语言模型能理解跨图像和视频的语义、时间及几何关系，增强少样本推理能力。
2024-03-19 cs.CV
