VEGAS: Mitigating Hallucinations in Large Vision-Language Models via Vision-Encoder Attention Guided Adaptive Steering
University of California, Santa Barbara（加州大学圣巴巴拉分校）
VEGAS通过整合视觉编码器注意力图并自适应引导标记，有效缓解大视觉-语言模型中的幻觉问题。
2025-12-12 cs.CL cs.CV
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克国家大学（UPV/EHU））
本文探讨了双编码视觉-语言模型中组合性问题的根源，提出通过改进推断协议提升组合性能，引入轻量级变压器学习局部对齐，优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
Distilled Dual-Encoder Model for Vision-Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）；Peng Cheng Laboratory（鹏城实验室）
我们提出了一个跨模态注意力蒸馏框架，用于训练视觉-语言理解任务的双编码器模型，例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。然而，在双编码器模型中使用的浅层交互模块不足以处理复杂的视觉-语言理解任务。为了学习图像和文本的深度交互，我们引入了跨模态注意力蒸馏，它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导我们的双编码器模型的训练。此外，我们表明，在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明，在视觉推理、视觉蕴涵和视觉问答任务中，提取的双编码器模型在推理速度上比融合编码器模型有更快的表现.我们的代码和模型将在https://github.com/kugwzk/Distilled-DualEncoder上公开。
2022-10-17 cs.CL cs.CV
Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models
研究双编码器视觉语言模型组合约束失效问题，提出因式推理，将证据提取与约束执行分离，引入LCSE方法，在FACTOR-Bench上实验，提升了准确率并保持检索性能。
2026-07-28 cs.CL cs.CV cs.LG
Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models
KAIST（韩国科学技术院）
本文研究了大视觉-语言模型在输入图像中对小对抗扰动的脆弱性，提出了一种针对视觉编码器内部组件的通用对抗扰动攻击框架，通过分析注意力机制识别关键脆弱组件，实现高效攻击。
2026-06-29 cs.CL cs.CR cs.CV
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
Stony Brook University（石英 Brook 大学）
本文评估了状态空间模型作为视觉编码器在视觉语言模型中的有效性，发现其在VQA和定位任务中表现优异，并提出稳定策略提升鲁棒性。
2026-03-19 cs.CV cs.LG
Stealthy Backdoor Attack in Self-Supervised Learning Vision Encoders for Large Vision Language Models
University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
提出BadVision，首个针对大型视觉语言模型中自监督视觉编码器的隐蔽后门攻击方法，通过触发器优化实现高成功率视觉幻觉诱导，且能规避现有检测。
2025-03-26 cs.CV
Text encoders bottleneck compositionality in contrastive vision-language models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）
本文通过构建CompPrompts和ControlledImCaps基准，利用仅文本恢复探针揭示了CLIP等对比视觉-语言模型中文本编码器在组合性理解上的瓶颈，并证明文本可恢复性是组合性建模的必要条件。
2023-10-30 cs.CL cs.CV cs.LG
Evaluating the Representational Hub of Language and Vision Models
University of Trento（特伦托大学）；University of Amsterdam（阿姆斯特丹大学）
在计算语言学和计算机视觉交叉的新兴领域中使用的多模态模型实现了认知科学中提出的“轴辐”架构的自下而上处理，以表示大脑如何处理和组合多感官输入。特别地，集线器被实现为神经网络编码器。我们研究了在文献中提出的各种视觉和语言任务对编码器的影响：视觉问答，视觉参考分辨率和视觉接地对话。为了衡量编码器学习的表示的质量，我们使用两种分析。首先，我们评估编码器预训练的不同的视觉和语言任务，现有的诊断任务，旨在评估多模态语义理解。其次，我们进行了一系列的分析，旨在研究编码器如何合并和利用这两种模态。
2019-04-12 cs.CL cs.CV
GeoDANO: Geometric VLM with Domain Agnostic Vision Encoder
Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；Australian National University（澳大利亚国立大学）
GeoDANO提出一种领域无关视觉编码器，通过GeoCLIP和领域适应策略，提升几何特征识别，在平面几何问题解决上超越现有方法和GPT-4o。
2025-09-26 cs.CL cs.CV
Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
视觉语言（VL）任务的跨模态编码器通常使用精心策划的视觉语言数据集进行预训练。虽然这些数据集达到了1000万个样本的数量级，但劳动力成本无法进一步扩大。相反，单峰编码器使用更简单的注释进行预训练，成本更低，实现了数亿到数十亿的规模。因此，单峰编码器在许多下游任务上实现了最先进的（SOTA）。然而，在应用于VL任务时仍然存在挑战。预训练数据对于跨模态架构不是最佳的，并且需要大量的计算资源。此外，单模态架构缺乏跨模态交互，这已经证明了VL任务的显着好处。因此，如何最好地利用预训练的单峰编码器进行VL任务仍然是一个活跃的研究领域。在这项工作中，我们提出了一种方法来利用单峰视觉和文本编码器的VL任务，增强现有的VL方法，同时保存计算复杂性。具体来说，我们提出了多模态自适应蒸馏（MAD），它自适应地从预训练的编码器中提取有用的知识到跨模态VL编码器。其次，为了更好地捕捉VL任务性能的细微差别的影响，我们引入了一个评估协议，包括视觉常识推理（VCR），视觉蕴涵（SNLI-VE），和视觉问答（VQA），在各种数据约束和条件的域转移。实验表明，MAD在VCR、SNLI-VE和VQA的低拍摄、域偏移和全监督条件下获得了一致的增益，与其他使用图像-文本数据预训练的单一模型相比，在VCR上实现了SOTA性能。最后，MAD使用CLIP的预训练视觉编码器优于并行工作。代码将提供。
2022-04-28 cs.AI cs.CL cs.CV
Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）
本文提出AGCI机制，通过动态注入全局视觉上下文缓解大视觉-语言模型中的空间偏差问题，提升模型的空间鲁棒性和下游任务表现。
2026-02-03 cs.CL cs.CV
HyperCLIP: Adapting Vision-Language models with Hypernetworks
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出名为HyperCLIP的视觉-语言架构，通过超网络动态调整小型图像编码器权重以适配文本输入，在极小训练开销下显著提升零样本图像分类准确率。
2024-12-21 cs.CV cs.LG
Are Bigger Encoders Always Better in Vision Large Models?
Peking University（北京大学）
本文通过在MLLMs预训练阶段使用不同编码器和LLM尺寸进行实验，发现仅增大编码器并不一定能提升视觉语言模型性能，并分析了LLM规模与数据质量的影响及扩展规律差异。
2024-08-01 cs.CL cs.CV
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言推理需要理解视觉概念，语言语义，最重要的是，这两种形式之间的对齐和关系。因此，我们提出了LXMERT（从Transformers学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，我们构建了一个大规模的Transformer模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予我们的模型连接视觉和语言语义的能力，我们通过五个不同的代表性预训练任务，用大量的图像和句子对预训练模型：掩蔽语言建模，掩蔽对象预测（特征回归和标签分类），跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后，我们的模型在两个视觉问答数据集上实现了最先进的结果（即，VQA和GQA）。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性，并将之前的最佳结果提高了22%（54%至76%）。最后，我们展示了详细的消融研究，以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取：https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
Expanding the Boundaries of Vision Prior Knowledge in Multi-modal Large Language Models
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室）
研究提出度量指标$Rank_e$量化视觉编码器先验知识对多模态大语言模型性能的影响，并设计两阶段训练框架VisPRE显式增强视觉先验知识，显著提升了模型对不常见视觉实体的理解能力。
2025-05-30 cs.CL cs.CV
METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）；Meituan Inc.（美团公司）
针对多编码器视觉语言模型计算开销高的问题，提出METEOR渐进式多阶段Token剪枝框架，在编码、融合、解码阶段协同剪枝冗余视觉Token，在11个基准上相比EAGLE减少76%视觉Token且性能仅降0.3%。
2025-07-28 cs.CV
Do Vision Encoders Truly Explain Object Hallucination?: Mitigating Object Hallucination via Simple Fine-Grained CLIPScore
Department of Artificial intelligence University of Seoul（人工智能系首尔大学）
本文提出F-CLIPScore，通过细粒度文本嵌入缓解LVLM中的物体幻觉问题，显著提升评估准确性。
2026-01-01 cs.CL cs.CV
AdaLoop: Thinking with the Vision Encoder
Harvard University（哈佛大学）；MIT（麻省理工学院）
该研究提出AdaLoop框架，通过问题条件的迭代视觉计算复用冻结的预训练视觉编码器，在VisRO任务及三类VLM的分布内外场景中，性能优于基线方法，证明预训练视觉编码器可助力推理。
2026-11-05 cs.CV
Stateful Token Reduction for Long-Video Hybrid VLMs
NVIDIA（英伟达）
针对混合Mamba-Transformer视觉语言模型，提出有状态令牌缩减方法，利用Mamba层的状态保持特性实现压缩而非剪枝，在25%令牌预算下实现3.8-4.2倍预填充加速，同时保持基线精度。
2026-07-02 cs.AI cs.CV
Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Technical University of Denmark（丹麦技术大学）
本研究利用规范颜色作为受控测试案例，通过构建数据集和探测实验，发现视觉编码器能从灰度图像中解码规范颜色且与物体身份关联，并揭示VLM后训练显著影响颜色可解码性，为追踪概念语义信息提供新透镜。
2026-11-03 cs.AI cs.CV
Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular Vision-Language Pre-training
JD AI Research（京东人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
视觉语言预训练是一个新兴且发展迅速的研究课题，它将多通道知识从资源丰富的预训练任务转移到资源有限的下游任务。与主要学习单个通用编码器的现有作品不同，我们提出了一个可预训练的通用编码器-解码器网络（Uni-EDEN），以促进视觉语言感知（例如，视觉问答）和生成（例如，图像描述）。Uni-EDEN是一个基于双流Transformer的结构，由三个模块组成：对象和句子编码器，分别学习每个模态的表示，句子解码器，通过模态间的交互实现多模态推理和句子生成。考虑到每个图像的语言表示可以跨越这个层次结构中的不同粒度，包括从简单到全面的单个标签，短语和自然句子，我们通过多粒度视觉语言代理任务预训练Uni-EDEN：掩蔽对象分类（MOC），掩蔽区域短语生成（MRPG），图像-句子匹配（ISM）和掩蔽句子生成（MSG）。通过这种方式，Uni-EDEN被赋予了多模态表示提取和语言建模的能力。大量的实验表明，令人信服的概括性的Uni-EDEN微调到四个视觉语言感知和生成下游任务。
2022-01-11 cs.CL cs.CV cs.MM
Layer-wise Alignment: Examining Safety Alignment Across Image Encoder Layers in Vision Language Models
本文发现视觉语言模型中图像编码器提前退出会加剧有害输出，并提出逐层PPO算法进行多模态RLHF，在三个数据集上有效降低有害性。
2025-06-19 cs.CL cs.CV
The Vision Encoder as a Privacy Boundary: Visual-Token Side Channels in Encoder-Free Vision-Language Models
School of Engineering, Institute of Science Tokyo（东京科学大学工学院）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
研究无编码器视觉-语言模型中视觉令牌侧信道导致的隐私泄露问题，通过解码器攻击从中间视觉令牌恢复图像和文本，发现空间采样保真度是关键因素，并指出KV缓存也存在泄露风险。
2026-06-16 cs.CR cs.CV
RL makes MLLMs see better than SFT
NAVER AI Lab（NAVER AI实验室）
本文研究了强化学习在多模态大语言模型中的视觉编码器影响，发现RL能产生更精确的视觉表示，提出PIVOT方法提升视觉编码性能。
2026-04-13 cs.CV cs.LG
Unveiling Encoder-Free Vision-Language Models
Dalian University of Technology（大连理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
针对现有视觉-语言模型依赖视觉编码器带来的归纳偏置问题，该研究提出无编码器模型EVE及高效训练策略，仅用35M公开数据便在多基准上媲美同规模有编码器模型，性能优于Fuyu-8B，为纯解码器跨模态架构提供透明高效方案。
2024-10-29 cs.CV cs.MM
Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance
Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学）；Dolby Laboratories（杜比实验室）；TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体）
本文通过系统实验探讨视觉编码器选择的关键因素，发现模态间结构相似性通过格罗莫夫-瓦瑟斯坦距离衡量能提升VLM性能预测。
2026-05-02 cs.CV cs.LG
UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
Samsung AI Cambridge（三星人工智能剑桥实验室）；Technical University of Iasi（雅西技术大学）；Queen Mary University of London（伦敦玛丽女王大学）
针对大型视觉语言模型在设备端部署受限问题，提出UltraViT视觉编码器，通过考虑设备延迟设计金字塔架构，并采用两阶段生成式预训练策略，有效提升编码效率，优于现有基线。
2026-07-28 cs.CV
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University（佛罗里达大西洋大学）
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出CoME-VL框架，通过融合对比学习和自监督编码器提升视觉语言模型性能，实验显示在多个基准上优于单编码基线。
2026-04-03 cs.CV
Zero-Shot Vision Encoder Grafting via LLM Surrogates
University of Maryland（马里兰大学）；Meta
提出零样本视觉编码器嫁接方法，通过小型代理模型训练编码器后直接迁移至大型LLM，降低训练成本约45%，且性能与完整训练相当。
2025-08-02 cs.CV
EVEv2: Improved Baselines for Encoder-Free Vision-Language Models
DLUT（大连理工大学）；BAAI（北京人工智能研究院）；PKU（北京大学）；BUPT（北京邮电大学）；UCAS（中国科学院大学）；CASIA（中国科学院自动化研究所）
本文针对无编码器视觉-语言模型，分析不同视觉建模路径的性能差距，提出模态解耦、层级关联与训练优化策略，并发布改进基线 EVEv2.0。
2025-07-24 cs.AI cs.CV
DAVE: A VLM Vision Encoder for Document Understanding and Web Agents
MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
DAVE是一种专为文档理解和网络代理设计的视觉编码器，通过自监督和监督预训练结合模型融合策略，提升对文档和网络任务的适应性与性能。
2025-12-31 cs.CV
Interpreting the structure of multi-object representations in vision encoders
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学学院）
本文通过定义和量化结构化表征的两个关键属性，比较了多种视觉编码器在多物体场景中的表征能力，发现结构化程度更高的网络能更好保留个体物体信息。
2025-04-06 cs.CL cs.CV q-bio.NC
Diving into Mitigating Hallucinations from a Vision Perspective for Large Vision-Language Models
Bilibili（哔哩哔哩）；UESTC；University of Virginia（弗吉尼亚大学）
针对大型视觉语言模型的物体幻觉问题，提出包含约一万样本的细粒度基准VHBench-10，并设计上下文感知路由网络VisionWeaver动态聚合多专家视觉特征，有效减少幻觉并提升性能。
2025-09-17 cs.CL cs.CV
A Strong Baseline for Evaluating Vision Encoders in Multimodal Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）；Fudan University（复旦大学）
本文通过大规模实验重新审视视觉编码器的跨模态评估，指出先前方法的局限性并提出简单改进，最终提出无训练的RAVEL方法，基于跨模态最近邻检索，以简单方式大幅超越先前方法，为MLLMs中的视觉编码器评估提供强基线。
2026-10-06 cs.AI cs.CV
MoVA: Adapting Mixture of Vision Experts to Multimodal Context
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（InnoHK下属CPII机构）
针对单一视觉编码器存在任务偏差的问题，提出新型多模态大语言模型MoVA，通过由粗到细的机制自适应路由融合多视觉专家，在多类多模态基准上取得显著性能提升。
2024-10-31 cs.CV
BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder
BackdoorIDS通过分析输入在逐步遮蔽过程中的嵌入序列变化，利用密度聚类检测后门攻击，实现对预训练视觉编码器的零样本后门检测，优于现有防御方法。
2026-03-16 cs.CV
VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models
City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）
VEAttack是一种针对大视觉语言模型视觉编码器的简单有效攻击方法，通过优化图像令牌降低计算开销，实现对多种下游任务的泛化攻击。
2026-02-04 cs.CV
Sparse Concept Channels in Frozen 3D CT Vision Encoders
研究3D医学图像解释中视觉语言模型内部单元对临床发现的编码，提出无训练概念通道探测（CCP）方法，通过实验证明该方法能清晰表征冻结医学编码器对发现的表示，在临床疗效和NLG指标上表现优且延迟低。
2026-07-24 cs.AI cs.CV
Mixpert: Mitigating Multimodal Learning Conflicts with Efficient Mixture-of-Vision-Experts
Huawei Inc.（华为公司）；University of Chinese Academy of Sciences（中国科学院大学）
提出 Mixpert 混合视觉专家架构，通过动态路由机制为输入图像分配最合适的视觉专家，有效缓解了多模态大语言模型中单一视觉编码器的多任务领域冲突，并在极少额外计算成本下实现显著性能提升。
2025-05-30 cs.AI cs.CV
Explaining Similarity in Vision-Language Encoders with Weighted Banzhaf Interactions
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；LMU Munich（慕尼黑大学）；MCML；DFKI（德累斯顿大学）；Bielefeld University（比勒菲尔德大学）
针对现有视觉-语言编码器相似性解释仅捕获一阶归因、忽略跨模态交互的问题，提出基于加权Banzhaf交互指数的FIxLIP方法，实现更高效灵活的二阶交互解释，实验验证其性能优于一阶方法且可用于模型对比。
2025-11-18 cs.AI cs.CV cs.LG
HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language Models
该研究针对VLMs视觉预测不可靠的频谱响应刚性问题，提出HAFI-VLM，通过任务条件频率通路与相关组件优化，在多个VLMs基准上提升了视觉感知性能。
2026-08-04 cs.CL cs.CV
Grounding-Driven Attack: Improving Encoder-based Adversarial Transferability against Large Vision-Language Models
The Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）；Harbin Engineering University（哈尔滨工程大学）
提出文本驱动攻击（GDA），通过将扰动优化与文本接地证据对齐，并采用接地感知扰动分配和接地中心证据破坏策略，显著提升编码器攻击在黑盒大型视觉-语言模型上的迁移性。
2026-05-24 cs.CR cs.CV
Enhancing Perception Capabilities of Multimodal LLMs with Training-Free Fusion
ZIP Lab, Zhejiang University（浙江大学 ZIP 实验室）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（大数据与智能机器人教育部重点实验室）
针对现有增强多模态大语言模型视觉感知需高成本训练的问题，提出无需训练的VisionFuse框架，通过融合同家族现成MLLMs的视觉编码器token并合并语言模型参数，显著降低部署开销，在多模态基准上实现超4%的性能提升。
2024-12-04 cs.AI cs.CV
Securing Vision-Language Models with a Robust Encoder Against Jailbreak and Adversarial Attacks
School of Computing, Southern Illinois University（南伊利诺伊大学计算学院）；Security, Privacy and Intelligence for Edge Devices Laboratory (SPEED Lab)（边缘设备安全、隐私与智能实验室（SPEED Lab））
针对大型视觉-语言模型易受对抗攻击和越狱攻击的问题，提出即插即用的Sim-CLIP+防御机制，通过孪生架构对抗微调CLIP视觉编码器，在保持高干净准确率的同时大幅提升攻击鲁棒性。
2024-09-11 cs.AI cs.CV
MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning
研究针对视觉语言模型问题，提出多尺度自适应视觉编码器MAViE，通过融合多层特征、进行令牌路由及引入相关策略，在统一框架下实验，减少视觉令牌数量，提升多任务分数并降低处理时间，还给出模型设计与评估协议。
2026-07-28 cs.CV
BRAVE: Broadening the visual encoding of vision-language models
Google（谷歌）；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
本文提出 BRAVE，通过整合多个冻结视觉编码器的特征形成通用压缩表示并输入冻结语言模型，在图像描述与 VQA 基准上以更少可训练参数达到 SOTA。
2024-04-10 cs.AI cs.CV cs.LG
Where To Look? : Causal Tracing of Vision Encoders in VLM
Indian Institute of Technology Gandhinagar（印度甘地纳格尔印度理工学院）
本研究通过因果追踪方法，发现视觉语言模型的高因果性视觉标记常位于目标区域外，其强大多模态性能不代表存在空间定位因果表示，还揭示了视觉感知、利用与推理视觉结构的差距，提供了研究视觉信息处理的因果框架。
2026-08-12 cs.CV
How Medical VLMs Underutilize Their Vision Encoders: A Dermatology Perspective
Tulane University（杜兰大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本研究针对医学视觉语言模型在皮肤病学中未充分利用视觉编码器的问题，提出结合无标签提示与低标签编码器辅助重排序的干预方法，并通过机制分析验证其有效性。
2026-09-30 cs.AI cs.CV
FROST-Drive: Scalable and Efficient End-to-End Driving with a Frozen Vision Encoder
Stony Brook University（石溪大学）；Rutgers University（罗格斯大学）；Sunrise Technology Inc.（Sunrise技术公司）
FROST-Drive通过冻结预训练视觉编码器，结合适配器和解码器，实现高效端到端驾驶，优于全微调方法。
2026-01-06 cs.AI cs.CV
Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval
UC San Diego（加州大学圣迭戈分校）；Adobe Research（奥多比研究院）
本文针对改写查询导致检索结果不一致的问题，提出从预训练语言模型出发适配双编码器视觉-语言模型，在保持零样本分类和检索精度的同时显著提升改写查询的排序相似性。
2024-05-06 cs.CV
Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhejiang University（浙江大学）；Beijing University of Technology（北京工业大学）
本文研究了多模态大语言模型中多个视觉编码器的冗余性，通过分析发现编码器的专业化、冗余性和有害性，并提出了量化冗余的指标，为更高效的多模态架构设计提供依据。
2026-02-13 cs.AI cs.CV
Bridging Hidden States in Vision-Language Models
University of Southern California（南加州大学）
针对现有视觉语言模型融合方式的局限，本文提出轻量跨模态双向注意力融合模块BRIDGE，直接对齐双模态隐藏状态，在多类基准上性能更优且保留双编码器效率。
2025-11-14 cs.CV
