On the Adversarial Robustness of 3D Large Vision-Language Models
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
本文研究了3D大视觉-语言模型的对抗鲁棒性,提出两种攻击策略评估其鲁棒性,发现其在无目标攻击下较脆弱,但在有目标攻击中更稳健。
2026-01-10 cs.CV
Disease-informed Adaptation of Vision-Language Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对医学图像分析中专家稀缺和数据标注成本高的问题,本文提出一种疾病感知的上下文提示方法,嵌入疾病原型学习框架,利用预训练视觉-语言模型有效适配罕见疾病,实验显示性能显著提升。
2024-05-24 cs.CV
Unified Reinforcement and Imitation Learning for Vision-Language Models
NVIDIA;KAIST(韩国科学技术院);National Taiwan University(国立台湾大学)
本文提出统一强化与模仿学习(RIL)算法,结合强化学习与对抗性模仿学习,使轻量级学生视觉-语言模型通过模仿教师并利用强化信号提升生成能力,在多个基准上缩小甚至超越与先进模型的差距。
2025-10-22 cs.CV
Diagnosing the Compositional Knowledge of Vision Language Models from a Game-Theoretic View
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang Laboratory(浙江实验室);Baidu Inc(百度公司)
本文从博弈论视角提出诊断方法,系统评估视觉语言模型在组合推理(如关系与属性)上的脆弱性,揭示其能力不足的原因,并为未来研究提供可靠指导。
2024-05-27 cs.CV
Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs
Department of Computer Science, Nazarbayev University(计算机科学系,纳扎尔拜耶夫大学)
本文在2GB VRAM限制下,比较了五种PEFT方法在Transformer和Mamba视觉骨干上的表现,并提出了自适应梯度检查点算法,在CIFAR-100和DTD上评估了准确率、训练时间、能耗及多目标指标。
2026-07-03 cs.CV
VLEER: Vision and Language Embeddings for Explainable Whole Slide Image Representation
School of Electrical Engineering, Korea University(高丽大学电气工程学院);Seegene Medical Foundation(Seegene医学基金会)
VLEER利用预训练视觉-语言模型提取可解释的全切片图像表示,在三个病理数据集上优于传统视觉特征,并通过文本模态提供人类可读的推理结果。
2025-02-28 cs.CV
VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs
Princeton University(普林斯顿大学)
本文评估了领先VLMs的非局部视觉推理能力,发现其在复杂视觉任务上表现不佳,缺乏人类核心视觉推理能力。
2025-11-28 cs.AI cs.CV
Uncovering Cultural Representation Disparities in Vision-Language Models
Cohere Labs Community;IIT Roorkee(印度理工学院罗尔克hee分校);University of Copenhagen(哥本哈根大学);Cohere Labs;Amazon Datasets(亚马逊数据集)
本研究利用Country211数据集,通过多种提示策略测试主流视觉-语言模型的图像国家识别任务表现,揭示其跨国家的文化表征差异及偏差来源,为模型公平性优化提供依据。
2025-07-31 cs.CV
Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information
KAIST(韩国科学技术院)
该研究发现视觉语言模型(VLMs)中存在视觉检索头(VRHs),其占注意力头的1.7%-2.6%,负责将文本描述与图像区域建立因果关联,屏蔽前20个VRHs可使定位准确率降低多达80个百分点,且VRHs具备泛化性、功能特异性与架构共享性。
2026-08-28 cs.CV
Active Learning for Vision-Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
针对预训练视觉-语言模型零样本性能与有监督模型存在差距的问题,提出结合校准预测熵、自不确定性与邻域感知不确定性的主动学习框架,仅标注少量高信息样本即可显著提升模型零样本分类性能,效果优于现有主动学习方法。
2024-10-29 cs.CV
Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks
本文提出MSLA攻击框架,通过可控对抗性照明攻击视觉-语言模型的多模态语义理解,揭示其在现实世界中的安全风险。
2026-04-14 cs.CV
How Well Can Vision Language Models See Image Details?
Monash University(莫纳什大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出像素值预测任务PVP,揭示VLM需适配视觉编码器才能准确预测像素值,并证明该预训练任务可显著提升细粒度视觉理解与游戏决策性能。
2024-08-07 cs.CV
In-Context-Learning-Assisted Quality Assessment Vision-Language Models for Metal Additive Manufacturing
Colorado School of Mines(科罗拉多矿业学院)
本文提出利用上下文学习辅助视觉语言模型进行金属增材制造质量评估,在仅需少量样本的情况下达到与传统模型相近的准确率,并提出知识相关性和理由有效性两个指标评估模型解释质量,从而提升决策透明度。
2025-11-02 cs.CV
Can Large Vision-Language Models Correct Semantic Grounding Errors By Themselves?
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达);University of Ottawa(渥太华大学)
本研究探索大型视觉-语言模型通过二元反馈机制自我纠正语义接地错误,无需额外数据或微调,迭代框架在无噪声反馈下提升超15个准确率点,自动验证下提升达5个点。
2025-05-26 cs.CV
CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning
Queen Mary, University of London(伦敦大学玛丽女王学院);Centre for Research and Technology Hellas(希腊研究中心);City St George’s, University of London(伦敦大学圣乔治学院)
本文提出CycleCap,通过自监督循环一致性训练提升VLMs的图像描述性能,利用GRPO优化策略,基于重建图像与原始图像相似性作为奖励信号,无需标注数据即可提高描述准确性。
2026-03-20 cs.CV
Detecting Text Manipulation in Images using Vision Language Models
IDIAP Research Institute(IDIAP研究 institute)
本文研究了视觉语言模型在图像文本篡改检测中的应用,通过对比开源与闭源模型及专用VLMs在多种数据集上的表现,揭示了开源模型的差距及专用模型的泛化问题。
2025-09-12 cs.CV
VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models
NVIDIA;KAIST(韩国科学技术院);National Taiwan University(国立台湾大学)
针对视觉语言模型扩模带来的部署算力难题,研究提出含2B和7B规模的VLsI模型系列,通过带中间言语化器的逐层蒸馏对齐大模型推理,在10个基准上性能超GPT-4V且无需改动架构。
2025-10-22 cs.CV
When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains
University of Toronto, Canada(多伦多大学);Vector Institute, Canada(向量研究所);KITE Research Institute, University Health Network, Canada(KITE研究机构);York University, Canada(约克大学)
研究通过解构视觉、SFT和RL增益,发现RL在模型已有支持时最有效,SFT扩展支持使RL有效,提出边界意识的配方并实现强性能。
2026-03-01 cs.CV
Glo-VLMs: Leveraging Vision-Language Models for Fine-Grained Diseased Glomerulus Classification
New York University(纽约大学);Cornell Tech(康奈尔科技);Vanderbilt University(范德比尔特大学);Weill Cornell Medicine(韦尔医学院);Northwell Health(北well健康)
针对肾脏病理中细粒度肾小球亚型分类的挑战,提出Glo-VLMs框架,通过结合病理图像与临床文本提示适配预训练VLMs,在少样本场景下实现有效分类,为数据受限的专业临床研究提供新方法。
2025-08-21 cs.CV
Can Generalist Vision Language Models (VLMs) Rival Specialist Medical VLMs? Benchmarking and Strategic Insights
The Chinese University of Hong Kong(香港中文大学);The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
研究比较了通用与专门化医疗VLMs的性能,发现高效微调的通用模型在多数任务中表现可比或更优,尤其在处理未见医疗模态时。
2026-08-14 cs.AI cs.CV eess.IV
Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
Department of Computer Science, Tulane University(路易斯安那大学计算机科学系);Department of Computer Science, University of Memphis(密苏里大学计算机科学系)
本文提出一种无需微调的即插即用模块,通过细化视觉标记和丰富文本提示,提升VLM对罕见物体的推理能力。
2026-02-23 cs.CV
The Potential and Limitations of Vision-Language Models for Human Motion Understanding: A Case Study in Data-Driven Stroke Rehabilitation
Center for Data Science(数据科学中心);Tandon School of Engineering(工程学院);VitalConnect(VitalConnect公司);Department of Neurology(神经病学部);Department of Rehabilitation Medicine(康复医学部);Courant Institute of Mathematical Sciences(数学科学研究所)
本文研究了视觉-语言模型在数据驱动中风康复中的应用,发现其在运动识别和剂量估计方面存在局限性,但通过优化提示和后处理可实现中等准确性的活动分类和运动检测。
2025-11-21 cs.CV
Linear Mechanisms for Spatiotemporal Reasoning in Vision Language Models
California Institute of Technology(加利福尼亚理工学院)
本文提出了一种线性机制用于视觉语言模型中的时空推理,通过分析空间ID和时间ID的结合,揭示了模型内部的因果推理过程,以提升模型的可解释性和设计能力。
2026-01-18 cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology(新加坡科技学院);NVIDIA(英伟达)
研究组合式视觉问答中视觉语言模型失败的机制,引入以操作为中心的框架分解失败模式,揭示四种失败模式及传播路径,表明不同失败类型需不同纠正策略,为提升模型可靠性提供基础。
2026-08-20 cs.CV
Vision Language Models for Spreadsheet Understanding: Challenges and Opportunities
Microsoft Corporation(微软公司)
本文探讨了视觉语言模型在电子表格理解上的能力,提出了三个自监督挑战及评估指标,并通过表格检测任务和多种图像设置全面评估VLMs,发现其在OCR方面有潜力但存在不足,且空间与格式识别能力欠缺,为未来改进提供了方向。
2024-08-09 cs.CV
Decompose and Compare Consistency: Measuring VLMs' Answer Reliability via Task-Decomposition Consistency Comparison
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对现有VLM答案可靠性评估方法存在过度自信、受确认偏差影响的问题,提出通过比较直接答案与分解子问题推理所得间接答案间一致性的DeCC方法,实验证明其可靠性估计与任务准确率相关性更优。
2024-10-09 cs.CL cs.CV
The Bias of Harmful Label Associations in Vision-Language Models
Meta AI
本文基于含7万多个视频的 Casual Conversations 数据集评估主流 VLM,发现其有害标签关联存在显著肤色偏见,且模型扩大会增强有害预测置信度,标准视觉任务改进也无法消除差异。
2024-04-15 cs.CV
Benchmarking Vision-Language Models for Microscopic Plant Image Understanding
The University of Queensland(昆士兰大学);Adelaide University(阿德莱德大学);University of Southern Queensland(南昆士兰大学)
提出PlantMicro基准,包含5000+图像和9000+VQA对,评估视觉语言模型在植物显微图像理解上的能力,发现现有模型在细粒度识别和生物学推理上表现不佳。
2026-06-25 cs.CV
Analyzing the Sensitivity of Vision Language Models in Visual Question Answering
University of Memphis, TN, USA(密苏里大学);Adobe Research, San Jose, CA, USA(Adobe研究院);University of Maryland Baltimore County, USA(马里兰大学巴尔的摩县分校)
本研究以格莱斯对话合作原则为视角,通过在VQA v2.0数据集问题中添加修饰语,测试GPT-4o等3个先进VLM对准则违反的敏感度,发现修饰语会导致模型性能持续下降,为理解VLM局限性提供了新方向。
2025-07-28 cs.CV
Are Large Pre-trained Vision Language Models Effective Construction Safety Inspectors?
Mechanical Engineering(机械工程)
本文提出ConstructionSite 10k数据集,包含1万张施工图像及三项任务标注,评估大型预训练视觉语言模型在零样本和小样本下的泛化能力,为施工安全检查提供基准。
2026-05-26 cs.CV
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
Stony Brook University(石英 Brook 大学)
本文评估了状态空间模型作为视觉编码器在视觉语言模型中的有效性,发现其在VQA和定位任务中表现优异,并提出稳定策略提升鲁棒性。
2026-03-19 cs.CV cs.LG
Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation
National University of Singapore(新加坡国立大学);ASUS Intelligent Cloud Services(华硕智能云服务)
针对领域泛化语义分割中现有方法仅依赖视觉基础模型或视觉语言模型的局限,提出基于Mamba的MFuser融合框架,结合两者互补优势,实现更优性能。
2025-04-15 cs.CV
SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding
Department of Electrical and Computer Engineering, Seoul National University(首尔大学电气与计算机工程系);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学人工智能跨学科项目)
本文提出SECOND方法,通过选择性与对比性解码机制,有效利用多尺度视觉信息,减少视觉语言模型中的感知幻觉并提升性能。
2025-06-10 cs.CV
CaMo: Camera Motion Grounded Evaluation and Training for Vision-Language Models
Department of Electrical and Computer Engineering, University of Washington, Seattle, USA(华盛顿大学电气与计算机工程系)
本文提出了一种基于摄像机运动的视觉-语言模型评估与训练方法CaMo,通过要求模型生成显式的空间叙述并进行推理,揭示了现有空间视觉-语言模型在空间认知方面的不足,并展示了CaMo在空间叙述评估和直接空间问题回答准确性上的一致表现。
2026-05-19 cs.CV
From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning
Singapore Eye Research Institute, Singapore National Eye Centre(新加坡眼科研究所、新加坡国家眼科中心);Duke-National University of Singapore Medical School(杜克-新加坡国立大学医学院);Byers Eye Institute, Stanford University(斯坦福大学拜尔斯眼科研究所)
针对视觉语言模型在任务特定场景下因领域差距表现不佳的问题,提出VITask框架,通过三大策略整合任务特定模型提升适配能力,在医学诊断任务上效果优于现有方案,且具备灵活鲁棒的实用优势。
2024-10-09 cs.CV
The Phantom Menace: Unmasking Privacy Leakages in Vision-Language Models
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Toyota Motor Europe(丰田欧洲汽车公司)
该研究针对视觉语言模型因训练数据问题存在隐私风险,聚焦身份泄露漏洞展开评估,发现三类关键结论并提出需加强隐私保护、注重伦理与负责任开发的必要性。
2024-08-19 cs.CV
Perspective-Aware Reasoning in Vision-Language Models via Mental Imagery Simulation
KAIST(韩国科学技术院);Stanford University(斯坦福大学);NVIDIA(英伟达公司)
本文提出APC框架,利用视觉基础模型构建场景抽象,通过心理意象模拟实现视角转换,显著提升VLM的视角感知推理能力,优于现有微调和合成方法。
2025-04-24 cs.CV
Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Technical University of Denmark(丹麦技术大学)
本研究利用规范颜色作为受控测试案例,通过构建数据集和探测实验,发现视觉编码器能从灰度图像中解码规范颜色且与物体身份关联,并揭示VLM后训练显著影响颜色可解码性,为追踪概念语义信息提供新透镜。
2026-11-03 cs.AI cs.CV
VL4Gaze: Unleashing Vision-Language Models for Gaze Following
Beijing Jiaotong University(北京交通大学);MAIS, Institute of Automation, Chinese Academy of Sciences(MAIS,自动化研究所,中国科学院);University of Birmingham(伯明翰大学)
VL4Gaze通过四个互补任务统一目光理解为VQA问题,系统评估VLMs在目光解读上的表现,揭示了针对性多任务监督对提升VLMs目光理解能力的重要性。
2025-12-23 cs.CV
What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models
本文研究了视觉语言模型鲁棒性与准确性的平衡问题,通过分析对抗性微调模型,发现鲁棒性主要集中在浅层网络,提出Adversarial Robustness Adaptation框架以提升鲁棒性与准确性。
2026-03-13 cs.CV
SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models
UC San Diego(加利福尼亚大学圣迭戈分校);NVIDIA(英伟达)
本文提出SpatialRGPT框架,通过3D场景图数据筛选管道和深度信息插件模块增强视觉语言模型的空间感知与推理能力,并发布SpatialRGPT-Bench基准,显著提升了空间推理性能且具备强泛化能力。
2024-10-15 cs.CV
Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity
PruneSID通过协同重要性-多样性方法有效压缩视觉语言模型中的视觉标记,实现高精度与高效能的平衡。
2026-03-11 cs.CV
Visual symbolic mechanisms: Emergent symbol processing in vision language models
研究揭示了视觉语言模型中通过内容无关空间索引实现的新兴符号机制,用于解决视觉绑定问题并减少模型错误。
2025-12-12 cs.CV
UOUO: Uncontextualized Uncommon Objects for Measuring Knowledge Horizons of Vision Language Models
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出UOUO基准,系统测试视觉语言模型对罕见对象的处理能力,发现较小模型在长尾分布任务上显著表现不佳,并提供了可扩展的数据收集流水线。
2024-07-25 cs.CV
On the Reliability of Vision-Language Models Under Adversarial Frequency-Domain Perturbations
University of Western Australia(西澳大学);University of Melbourne(墨尔本大学);Australian National University(澳大利亚国立大学)
本文揭示了视觉-语言模型在对抗性频域扰动下的脆弱性,通过设计频域图像变换方法证明该扰动能破坏真实性检测和图像描述任务,并跨多个模型与数据集验证了其可靠性问题。
2025-08-13 cs.CV
GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models
The University of Hong Kong(香港大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出GPT4Scene视觉提示范式,通过从视频构建BEV图像并标记一致对象ID来建立全局-局部对应关系,显著提升视觉语言模型的三维场景理解能力,并在多个任务上达到最先进性能。
2025-03-11 cs.CV
A Survey on Efficient Vision-Language Models
University of Maryland Baltimore County (UMBC)(马里兰大学巴尔的摩县分校)
本文综述了在边缘和资源受限设备上优化视觉-语言模型的关键技术、紧凑架构及性能与内存权衡,并建立持续更新的GitHub仓库以推动高效VLM研究。
2025-07-01 cs.CV
COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
University of Virginia(弗吉尼亚大学)
本文提出COCO-Tree方法,通过从LLMs学习神经符号概念树来增强VLMs的组合推理能力,在四个基准上使七种开源VLMs的组合泛化提升5-10%,并提供可解释的推理过程。
2025-10-13 cs.CV
Ask Me Again Differently: GRAS for Measuring Bias in Vision Language Models on Gender, Race, Age, and Skin Tone
Guru Gobind Singh Indraprastha University(古鲁·戈宾德·辛格印度教普拉斯塔大学);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Patna, India(印度理工学院帕纳布分校)
GRAS用于评估视觉语言模型在性别、种族、年龄和肤色上的偏见,通过基准测试揭示了模型的偏见水平,并提出了可解释的偏见评分方法。
2026-01-26 cs.CV
Can Vision-Language Models be a Good Guesser? Exploring VLMs for Times and Location Reasoning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学)
本文提出两阶段识别与推理探测任务及WikiTiLo数据集,探究视觉语言模型在时间与地点推理上的能力,发现其虽能保留特征但推理不完美。
2023-12-29 cs.AI cs.CV
Enhanced Vision-Language Models for Diverse Sensor Understanding: Cost-Efficient Optimization and Benchmarking
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出传感器感知属性微调(SAFT)与多样负属性(DNA)优化,利用少量传感器数据克服RGB中心偏见,无需修改模型架构,显著提升非RGB传感器图像理解,并发布首个综合基准VS-TDX。
2026-07-07 cs.CV
Task Residual for Tuning Vision-Language Models
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
在十亿级数据上预训练的大规模视觉语言模型(VLM)已经学会了一般的视觉表示和广泛的视觉概念。原则上,当将VLM的良好学习的知识结构转移到具有有限数据的下游任务时,应该适当地继承VLM的知识结构。然而,大多数现有的用于VLM的有效迁移学习(ETL)方法或者损害或者过度偏向于先验知识,例如,提示微调(PT)丢弃预先训练的基于文本的分类器并构建新的分类器,而适配器式微调(AT)完全依赖于预先训练的特征。为了解决这个问题,我们提出了一种新的高效的VLM调优方法,名为任务残差调优(TaskRes),它直接在基于文本的分类器上执行,并显式地将预训练模型的先验知识和关于目标任务的新知识进行合并。具体而言,TaskRes保持VLM的原始分类器权重冻结,并通过调整一组先验独立参数作为原始参数的残差来获得目标任务的新分类器,这使得可靠的先验知识保存和灵活的特定于任务的知识探索成为可能。所提出的TaskRes简单而有效,显著优于以前的ETL方法(例如,PT和AT)的11个基准数据集,同时需要最小的努力实现。我们的代码可在https://github.com/geekyutao/TaskRes上获得。
2023-03-24 cs.CV
Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning
Georgia Institute of Technology(佐治亚理工学院);Cisco Systems(思科系统)
本文提出V3Fusion方法,通过融合多种视觉语言模型,利用焦点误差多样性与CKA-focal度量来提升视觉推理性能,实验显示在多个基准上优于现有模型。
2026-03-13 cs.CV cs.LG
Vision-Language Models for Medical Report Generation and Visual Question Answering: A Review
H. Lee Moffitt Cancer Center & Research Institute(H.李·莫菲特癌症中心与研究所)
本文综述医疗专用视觉-语言模型(VLMs)在医疗报告生成和视觉问答(VQA)中的进展,涵盖数据集、架构、预训练策略和评估指标,并提出未来方向,为医疗多模态数据应用提供参考。
2024-04-15 cs.CV cs.LG