Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales
University of Central Florida(中央佛罗里达大学);University of California, Santa Cruz(加州大学圣克鲁兹分校);Columbia University(哥伦比亚大学);Amazon Research(亚马逊研究);University of California, Berkeley(加州大学伯克利分校)
本文提出EarthWhere基准,包含810张图像,用于评估视觉-语言模型在国家与街道级地理定位中的视觉识别、推理和证据使用能力,并揭示模型存在区域偏见且网络搜索在视觉线索有限时未必提升性能。
2025-10-13 cs.CV
Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models
Fudan University(复旦大学);East China University of Science and Technology(华东理工大学);Shanghai University of Electric Power(上海电力大学)
针对多模态模型从照片推断地理位置导致的隐私泄露,提出基于扩散模型潜在空间扰动与GeoCLIP代理的主动防御方法,实现强黑盒迁移性与图像质量保持。
2026-10-08 cs.CV cs.LG
Evaluation of Geolocation Capabilities of Multimodal Large Language Models and Analysis of Associated Privacy Risks
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(信息工程测绘遥感国家重点实验室)
本文评估了多模态大语言模型在街景图像地理定位任务中的能力,发现最先进模型在1公里半径内定位准确率高达49%,并分析了由此引发的隐私风险及应对措施。
2025-06-30 cs.CV eess.IV
GeoCloak: An Agentic Framework for Semantics-Preserving Geolocation Privacy via Peripheral Clue Manipulation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍兹信息安全中心)
GeoCloak是一种智能体框架,通过分析图像识别地理位置相关外围线索,结合语义编辑与对抗扰动,在抑制LVLMs的位置推断准确率的同时,保留图像实用性,实现语义保留的地理位置隐私保护。
2026-10-14 cs.AI cs.CR cs.CV
GeoContext: One Context Ladder, Two Failure Modes in Vision-Language Geolocation: Flat Reliance on User-Provided Location Context and False Confirmation of Location Claims
提出GeoContext基准,包含GeoHint和GeoVerify任务,通过上下文阶梯评估五个视觉语言模型,发现模型对用户位置提示的平面依赖和虚假确认两种失败模式,并发布相关资源。
2026-09-09 cs.AI cs.CV
AI Knows Where You Are: Exposure, Bias, and Inference in Multimodal Geolocation with KoreaGEO
Yonsei University(延世大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出首个韩国街景细粒度多模态地理定位基准KoreaGEO Bench,通过三路径协议评估十种VLM的定位精度、空间偏差与推理行为,揭示模态驱动偏差及核心城市预测偏向。
2026-10-16 cs.CV
GEO-Detective: Unveiling Location Privacy Risks in Images with LLM Agents
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍茨信息安全中心);Xi’an Jiaotong University(西安交通大学)
GEO-Detective利用LLM代理进行图像地理定位推断,通过自适应策略和专用工具提升定位精度并降低隐私风险。
2025-11-27 cs.AI cs.CR cs.CV
GeoRC: A Benchmark for Geolocation Reasoning Chains
Georgia Institute of Technology(佐治亚理工学院)
本文提出GeoRC基准,通过Champion级GeoGuessr专家生成的800条真实推理链,评估VLM生成推理链的准确性,发现大模型在生成可审计推理链上仍逊于人类专家,而小型模型表现更差。
2026-04-20 cs.AI cs.CL cs.CV
Textual Supervision Enhances Geospatial Representations in Vision-Language Models
University of São Paulo(圣保罗大学);National University of Singapore(新加坡国立大学)
研究视觉、视觉-语言及多模态模型的地理空间表示能力,发现文本监督能有效提升空间编码,推动地理空间AI发展。
2026-06-05 cs.AI cs.CL cs.CV
Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models
KAIST(韩国科学技术院)
本文研究了大视觉-语言模型在输入图像中对小对抗扰动的脆弱性,提出了一种针对视觉编码器内部组件的通用对抗扰动攻击框架,通过分析注意力机制识别关键脆弱组件,实现高效攻击。
2026-06-29 cs.CL cs.CR cs.CV
ISS-Geo142: A Benchmark for Geolocating Astronaut Photography from the International Space Station
Boston University(波士顿大学)
ISS-Geo142为国际空间站宇航员摄影的地理定位提供了基准测试集,包含142张图像及三种不同方法的评估结果,其中TerraByte实现了90%的准确率。
2025-11-20 cs.AI cs.CV
Vision-Language Reasoning for Geolocalization: A Reinforcement Learning Approach
本文提出Geo-R,一种基于强化学习的无检索地理定位框架,通过链式区域生成可解释的监督,提升定位准确性与可解释性。
2026-01-05 cs.CL
Language Features Matter: Effective Language Representations for Vision-Language Tasks
Boston University(波士顿大学)
在视觉语言(VL)任务中,语言和视觉特征不应该被平等对待吗?许多VL方法将语言组件视为事后的想法,使用简单的语言模型,这些语言模型要么构建在纯文本数据上训练的固定词嵌入上,要么从头开始学习。我们认为,语言功能值得更多的关注,并进行实验,比较不同的词嵌入,语言模型,和嵌入增强步骤上五个常见的VL任务:图像句子检索,图像描述,视觉问答,短语接地,和文本到剪辑检索。我们的实验提供了一些惊人的结果;平均嵌入语言模型在检索式任务上的表现优于LSTM;最先进的表示,如BERT在视觉语言任务上的表现相对较差。从这个全面的实验,我们提出了一套最佳实践,将语言组件的VL任务。为了进一步提升语言功能,我们还表明,视觉语言问题中的知识可以跨任务转移,以通过多任务训练获得性能。这种多任务训练应用于新的面向图形的视觉语言嵌入(GrOVLE),我们使用WordNet和Visual Genome构建的原始视觉语言图从Word 2 Vec中进行了调整,提供了一个现成的视觉语言嵌入:http://ai.bu.edu/grovle。
2019-08-17 cs.CL cs.CV
Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks
Microsoft Corporation(微软公司)
语言、视觉和多模式预训练的大融合正在出现。在这项工作中,我们介绍了一个通用的多模态基础模型BEiT-3,它实现了最先进的视觉和视觉语言任务的传输性能。具体而言,我们从骨干架构、预训练任务和模型扩展三个方面推进大收敛。我们引入Multiway Transformers用于通用建模,其中模块化架构支持深度融合和特定于模态的编码。基于共享的主干,我们以统一的方式对图像(Imglish),文本(英语)和图像-文本对(“平行句子”)进行掩蔽的“语言”建模。实验结果表明,BEiT-3在目标检测(COCO)、语义分割(ADE 20 K)、图像分类(ImageNet)、视觉推理(NLVR 2)、视觉问答(VQAv 2)、图像描述(COCO)和跨模态检索(Flickr 30 K,COCO)等方面均获得了最先进的性能。
2022-08-31 cs.CL cs.CV
Annotation Methodologies for Vision and Language Dataset Creation
Brandeis University(布兰迪斯大学)
注释数据集通常用于训练和评估涉及自然语言和视觉的任务(图像描述生成,动作识别和视觉问答)。然而,许多现有的数据集反映了数据选择和注释过程中出现的问题。在这里,我们指出了在创建和验证带注释的视觉和语言数据集时遇到的一些困难和问题。
2016-07-10 cs.CL cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts
ByteDance(字节跳动)
视觉语言预训练中的大多数现有方法依赖于通过目标检测提取的以对象为中心的特征,并在提取的特征和文本之间进行细粒度的对齐。这些方法学习多个对象之间的关系是具有挑战性的。为此,我们提出了一种称为X-VLM的新方法来执行多粒度视觉语言预训练。学习多粒度对齐的关键是在给定相关文本的情况下在图像中定位视觉概念,同时将文本与视觉概念对齐,其中对齐是多粒度的。实验结果表明,X-VLM有效地利用学习到的多粒度对齐到许多下游视觉语言任务,并始终优于最先进的方法。
2022-06-01 cs.CL cs.CV
NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(微电子研究中心)
自然语言解释(NLE)模型旨在通过生成对人类友好的、高层次的、细粒度的自然语言语句来解释黑箱系统的决策过程。当前的NLE模型解释了视觉或视觉语言模型(也称为,任务模型),例如,VQA模型,经由语言模型(也称为,解释模型),例如,谷丙转氨酶除了任务模型所需的额外记忆资源和推理时间外,任务模型和解释模型是完全独立的,这使得解释与预测答案的推理过程分离。我们引入了NLX-GPT,这是一种通用的、紧凑的、忠实的语言模型,可以同时预测答案和解释答案。我们首先对图像-标题对的大规模数据进行预训练,以便对图像进行一般性理解,然后将答案与解释一起制定为文本预测任务。没有区域建议,也没有任务模型,我们得到的整体框架获得更好的评价分数,包含更少的参数,是15 $\times$比目前的SoA模型快。然后,我们解决了评估解释的问题,这些解释在很多时候可能是通用的,有数据偏见的,可以有几种形式。因此,我们设计了两个新的评估措施:(1)解释预测和(2)检索为基础的攻击,一个自我评估框架,不需要标签。代码在:https://github.com/fawazsammani/nlxgpt。
2022-03-09 cs.CL cs.CV
EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning
Beihang University(北京航空航天大学);ETH Zurich(苏黎世联邦理工学院);Bytedance AI Lab(字节跳动人工智能实验室)
预训练的视觉语言模型(VLM)在一系列视觉语言任务中取得了令人印象深刻的结果。然而,流行的VLM通常由数亿个参数组成,由于空间,内存和延迟限制,这给实际应用中的微调和部署带来了挑战。在这项工作中,我们引入了一个提取,然后修剪框架压缩大型视觉语言模型到更小,更快,更准确的。我们首先缩小预训练的大型VLM的大小,并在视觉语言预训练阶段应用知识蒸馏以获得与任务无关的紧凑VLM。然后,我们提出了一种模态自适应修剪算法,自动推断视觉和语言模态的重要性,为不同的下游任务,并自适应地删除冗余结构和神经元在不同的编码器与可控的目标稀疏。我们将我们的框架应用于训练EfficientVLM,这是一个快速准确的视觉语言模型,由6个视觉层,3个文本层和3个跨模态融合层组成,总共只有9300万个参数,占教师模型的44.3%。EfficientVLM保留了教师模型98.4%的性能,并将其推理速度加快了2.2倍。EfficientVLM在各种视觉语言任务上,包括VQAv2(+4.9%),NLVR2(+5.6%),ITR(TR上的R@1 +17.2%,IR上的R@1 +15.6%)和COCO字幕生成(CIDEr +6.5),与之前类似大小的SoTA高效VLM相比,实现了很大的绝对改进,展示了训练轻量级VLM的巨大潜力。
2022-10-14 cs.CL cs.CV
Dream-VL & Dream-VLA: Open Vision-Language and Vision-Language-Action Models with Diffusion Language Model Backbone
The University of Hong Kong(香港大学);Huawei Technologies(华为技术有限公司)
基于扩散语言模型构建的Dream-VL和Dream-VLA在视觉语言和视觉语言-动作任务中表现出色,实现了领先的性能。
2026-01-04 cs.CL cs.CV
Text Prompt Injection of Vision Language Models
Ruizhe Zhu(独立研究者)
本文研究针对大型视觉语言模型的文本提示注入攻击方法,开发了一种低计算资源需求且对大型模型尤为有效的攻击算法,并通过实验验证了其高效性。
2025-10-10 cs.CL cs.CV
Learning to Scale Multilingual Representations for Vision-Language Tasks
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
当前的多语言视觉语言模型要么需要为每种支持的语言提供大量的附加参数,要么随着语言的增加而性能下降。在本文中,我们提出了一种可扩展的多语言对齐语言表示(SMALR),它支持多种语言,只需很少的模型参数,而不会牺牲下游任务性能。SMALR为多语言词汇表中的大多数单词学习固定大小的语言不可知表示,仅保留少数语言特定的功能。我们使用掩蔽的跨语言建模损失来将特征与其他语言的上下文对齐。此外,我们提出了一个跨语言的一致性模块,确保预测查询和它的机器翻译是可比的。SMALR的有效性在10种不同的语言中得到了证明,是迄今为止视觉语言任务支持的数量的两倍多。我们对多语言图像句子检索进行了评估,与其他词嵌入方法相比,我们的训练参数不到1/5,性能优于之前的工作3-4%。
2020-08-27 cs.CL cs.CV
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题,研究通过策略构建数据集、优化视觉模块等方式,在受限推理成本下实现了性能与吞吐量的兼顾,并将开源相关资源。
2024-10-06 cs.CL cs.CV
VEGAS: Mitigating Hallucinations in Large Vision-Language Models via Vision-Encoder Attention Guided Adaptive Steering
University of California, Santa Barbara(加州大学圣巴巴拉分校)
VEGAS通过整合视觉编码器注意力图并自适应引导标记,有效缓解大视觉-语言模型中的幻觉问题。
2025-12-12 cs.CL cs.CV
How Does Vision-Language Adaptation Impact the Safety of Vision Language Models?
KAIST(韩国科学技术院);NAVER Cloud AI(NAVER云AI)
本研究深入分析了视觉-语言适应对大型视觉语言模型安全性的负面影响,发现现有安全调优方法存在过度拒绝问题且目标与适应相冲突,提出权重合并方法作为在保持有用性的同时减少安全性退化的最优解。
2024-11-15 cs.CL cs.CV
Recognition through Reasoning: Reinforcing Image Geo-localization with Large Vision-Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学)
针对图像地理定位缺乏可解释性及现有数据场景单一、微调提升有限的问题,提出构建MP16-Reason数据集及GLOBE方法,通过组相对策略优化联合增强可定位性评估与视觉推理,提升定位精度并生成可解释推理轨迹。
2025-10-24 cs.CV
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(脸书人工智能研究院);Oregon State University(俄勒冈州立大学)
我们提出了ViL BERT(视觉和语言BERT的缩写),一个用于学习图像内容和自然语言的任务无关联合表示的模型。我们将流行的BERT架构扩展为多模态双流模型,在单独的流中处理视觉和文本输入,这些流通过共同注意Transformer层进行交互。我们通过自动收集的大型概念标题数据集上的两个代理任务来预训练我们的模型,然后将其转移到多个已建立的视觉和语言任务-视觉问答,视觉常识推理,引用表达式和基于标题的图像检索-通过对基础架构进行少量添加。与现有的任务特定模型相比,我们观察到跨任务的显着改进-在所有四个任务上都达到了最先进的水平。我们的工作代表了一种转变,从只作为任务训练的一部分来学习视觉和语言之间的基础,转向将视觉基础视为一种可预训练和可转移的能力。
2019-08-06 cs.CL cs.CV
Cross-Modal Safety Mechanism Transfer in Large Vision-Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Inc.(华为公司)
针对LVLMs视觉-语言对齐未能迁移文本安全机制的问题,提出文本引导对齐方法TGA,通过检索相关文本引导视觉投影至隐藏状态空间,实现安全迁移且保持视觉任务性能。
2025-02-28 cs.AI cs.CL cs.CV
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Is Multimodal Vision Supervision Beneficial to Language?
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Intel Labs(英特尔实验室)
本文通过对比多种图像-文本和视频-文本模型中视觉监督与普通预训练得到的语言表示,发现普通语言表示在多数自然语言理解与常识推理任务上表现更优,揭示了当前视觉-语言模型的不足。
2023-04-15 cs.AI cs.CL cs.CV
Vision and Language: from Visual Perception to Content Creation
JD AI Research(京东人工智能研究院)
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务,这支持了人类独特的能力,即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是,“视觉到语言”可能是过去五年中最受欢迎的话题之一,出版物数量和广泛应用都有显着增长,例如,字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展,语言还可以促进视觉理解,并为视觉内容创造提供新的可能性,即,“语言到视觉。“这个过程就像一个棱镜,通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说,前者主要集中在图像/视频描述的发展,以及典型的编码器-解码器结构和基准,而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
LAVIS: A Library for Language-Vision Intelligence
Salesforce Research(Salesforce研究院)
我们介绍LAVIS,一个开源的深度学习库,用于LANGUage-VISion研究和应用。LAVIS旨在成为一站式综合图书馆,为研究人员和从业人员提供语言视觉领域的最新进展,以及未来的研究和开发。它具有统一的界面,可以轻松访问最先进的图像语言,视频语言模型和常见的数据集。LAVIS支持各种任务的培训、评估和基准测试,包括多模态分类、检索、字幕、视觉问答、对话和预培训。同时,该库还具有高度的可扩展性和可配置性,便于未来的开发和定制。在这份技术报告中,我们描述了库的设计原则、关键组件和功能,并介绍了常见语言视觉任务的基准测试结果。该库可在https://github.com/salesforce/LAVIS上获得。
2022-09-15 cs.CL cs.CV cs.LG
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology(香港科技大学);ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展,使机器更有能力进行多模态写作(图像到文本生成)和绘画(文本到图像生成)。然而,很少有研究调查,如果这两个基本能力可以一起学习,并相互促进,使一个通用的和强大的多模态基础模型。在这项工作中,我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力,并提出了一种新的统一模态模型,名为DaVinci,使用前缀语言建模和前缀图像建模进行训练,这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架,DaVinci易于训练,可扩展到巨大的数据,适用于写作和绘画任务,并且在其他视觉,文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现,并展示了结合视觉/语言生成预训练的优势。此外,我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试,这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力,并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG
Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models
Department of Computer Science and Engineering, University of Nevada, Reno(内华达大学里诺分校计算机科学与工程系);Oak Ridge National Laboratory(橡树岭国家实验室)
研究黑盒中间人设置下的视觉令牌操纵攻击,提出四种简答攻击策略和基于优化的令牌选择方法,实验表明操纵少量视觉令牌可大幅降低大型视觉语言模型云边缘推理的准确性。
2026-07-07 cs.AI cs.CR cs.CV
VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks
AITRICS Seoul(AITRICS首尔);Chung-Ang University(Chung-ang 大学)
针对视觉-语言任务缺乏领域泛化数据集的问题,本文提出 VolDoGer,利用基于 LLM 的标注扩展方法构建覆盖图像描述、VQA 和视觉蕴含的基准,并评估从微调模型到多模态 LLM 的泛化能力。
2025-07-24 cs.AI cs.CL cs.CV
VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
Microsoft(微软)
我们提出了一个统一的视觉语言预训练模型(VLMo),该模型通过模块化Transformer网络联合学习双编码器和融合编码器。具体来说,我们引入了混合模态专家(MoME)Transformer,其中每个块包含一个模态特定专家池和一个共享的自我注意力层。由于MoME的建模灵活性,预训练的VLMo可以作为视觉语言分类任务的融合编码器进行微调,或者用作高效图像-文本检索的双重编码器。此外,我们提出了一种分阶段的预训练策略,除了图像-文本对之外,该策略还有效地利用了大规模的纯图像和纯文本数据。实验结果表明,VLMo在各种视觉语言任务上取得了最先进的结果,包括VQA,NLVR 2和图像-文本检索。代码和预训练模型可在https://aka.ms/vlmo上获得。
2022-05-27 cs.CL cs.CV cs.LG
Assessing Color Vision Test in Large Vision-language Models
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang Lab(浙江实验室);Zhejiang University(浙江大学)
本文针对大型视觉语言模型颜色视觉能力未被充分探索的问题,定义了颜色视觉测试任务并构建了多类别、多难度数据集,同时分析了模型错误类型并提出微调策略以提升其测试表现。
2025-07-15 cs.AI cs.CV
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge(剑桥大学);Toyota Motor Europe(丰田汽车欧洲公司)
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题,提出一种选择性局部更新视觉编码器的高效鲁棒微调方法,在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations
SI Analytics
针对遥感领域视觉-语言数据集规模不足的问题,本研究提出无需人工标注、利用图像解码模型构建960万对VHR图文数据集的方法,训练的模型在多类下游任务中性能优于现有同类模型。
2024-09-11 cs.CV
Vroom-Vroom at SHROOM-Visions: A Multi-Judge Committee for Detecting Hallucinated Spans in Vision-Language Outputs
VTT Technical Research Centre of Finland(芬兰国家技术研究中心)
本文提出多评委委员会方法,通过微调视觉语言模型投票检测幻觉片段,在SHROOM-Visions任务中三种语言排名第一,并发现模型分歧与人类分歧相关。
2026-09-17 cs.AI cs.CL
V$^2$L: Leveraging Vision and Vision-language Models into Large-scale Product Retrieval
Baidu Research(百度研究院);Zhejiang University(浙江大学)
商品检索在电子商务领域具有重要的意义。本文介绍了我们在eBay电子产品视觉搜索挑战赛(FGVC 9)中获得第一名的解决方案,该解决方案的特点是集成了来自视觉模型和视觉语言模型的大约20个模型。虽然模型集成是常见的,我们表明,结合视觉模型和视觉语言模型带来了特别的好处,从他们的互补性,是我们的优势的一个关键因素。具体来说,对于视觉模型,我们使用两阶段训练管道,首先从训练集中提供的粗标签中学习,然后进行细粒度的自监督训练,从而产生从粗到细的度量学习方式。对于视觉语言模型,我们使用训练图像的文本描述作为监督信号,用于微调图像编码器(特征提取器)。通过这些设计,我们的解决方案实现了0.7623 MAR@10,在所有竞争对手中排名第一。代码可在以下网址获得:\href{https://github.com/WangWenhao0716/V2L}{V$^2$L}。
2022-07-26 cs.CV
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
Salesforce Research(Salesforce研究院)
视觉语言预训练(VLP)提高了许多视觉语言任务的性能。然而,大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外,性能的提高在很大程度上是通过用从网络上收集的嘈杂的图像-文本对来扩展数据集来实现的,这是一个次优的监督源。在本文中,我们提出了BLIP,一个新的VLP框架,灵活地转移到视觉语言理解和生成任务。BLIP通过自举字幕有效地利用了有噪声的Web数据,其中字幕器生成合成字幕,过滤器去除有噪声的字幕。我们在广泛的视觉语言任务上取得了最先进的结果,例如图像-文本检索(平均召回率为+2.7%),图像描述(CIDER为+2.8%)和VQA(VQA得分为+1.6%)。当以zero-shot方式直接转移到视频语言任务时,BLIP也表现出很强的泛化能力。代码、模型和数据集发布于https://github.com/salesforce/BLIP。
2022-02-15 cs.CV
HiMix: Reducing Computational Complexity in Large Vision-Language Models
Beijing University of Technology(北京工业大学);Meituan Inc.(美团公司)
针对大视觉-语言模型计算复杂度过高的问题,提出HiMix分层交互机制,仅让语言序列完整前向传播、视觉序列在解码器特定阶段交互,实现语言解码器计算成本降10倍且性能损失极小。
2025-01-17 cs.CV
A Novel Framework for Automated Explain Vision Model Using Vision-Language Models
Uppsala University(乌普萨拉大学);Harvard University(哈佛大学);Knovel Engineering Lab(Knovel工程实验室);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出基于Vision-Language Models的样本级与数据集级视觉模型解释流水线,以低成本发现失败案例并揭示模型整体行为模式。
2025-08-27 cs.AI cs.CL cs.CV
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
Australian National University(澳大利亚国立大学);University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);Macquarie University(麦考瑞大学)
在《杰森一家》(Jetsons)系列卡通片想象由一群细心的机器人助手充当媒介的休闲生活之前,一个能够进行自然语言教学的机器人一直是一个梦想。这是一个仍然顽固遥远的梦想。然而,视觉和语言方法的最新进展在密切相关的领域取得了令人难以置信的进展。这一点很重要,因为机器人根据它所看到的内容解释自然语言导航指令是在执行类似于视觉问答的视觉和语言过程。这两个任务都可以被解释为基于视觉的序列到序列翻译问题,并且许多相同的方法都适用。为了实现和鼓励视觉和语言方法的应用,以解释视觉接地导航指令的问题,我们提出了Matterport 3D模拟器-一个大规模的强化学习环境的基础上真正的图像。使用这个模拟器,它可以在未来支持一系列具体的视觉和语言任务,我们提供了第一个基准数据集的视觉接地自然语言导航在真实的建筑物-房间到房间(R2 R)数据集。
2018-04-05 cs.AI cs.CL cs.CV
Hierarchical Pre-Training of Vision Encoders with Large Language Model
University of Cincinnati(辛辛那提大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出HIVE框架,通过引入视觉编码器与大语言模型间的分层交叉注意力机制,提升视觉语言对齐,改进特征融合与表征学习,实验表明其在图像分类和多模态任务中表现优异。
2026-08-04 cs.AI cs.CL cs.CV
Transferring Textual Preferences to Vision-Language Understanding through Model Merging
National Taiwan University(台湾大学)
本文提出通过合并文本奖励模型与大型视觉-语言模型来构建视觉-语言奖励模型,无需训练即可高效迁移文本偏好,提升内容评估性能。
2025-05-22 cs.AI cs.CL cs.CV
PaLM2-VAdapter: Progressively Aligned Language Model Makes a Strong Vision-language Adapter
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
提出PaLM2-VAdapter,采用渐进对齐的语言模型作为视觉-语言适配器,有效连接冻结视觉编码器与LLMs,在VQA和图像描述任务上以更少参数实现最先进的视觉理解与多模态推理能力。
2024-06-01 cs.CV
Language-Instructed Vision Embeddings for Controllable and Generalizable Perception
Google(谷歌)
提出语言引导视觉嵌入(LIVE)方法,利用语言动态引导视觉编码器生成任务中心嵌入,无需任务特定重训练,减少视觉幻觉并提升泛化能力。
2026-06-19 cs.CV
Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning
Northeastern University(东北大学)
对比视觉语言模型(例如CLIP)通常通过对比训练更新视觉模型和语言模型的所有参数来创建。这样的模型可以通过对已经训练好的语言模型和视觉模型进行少量的参数更新来创建吗?文献描述了可以通过更新语言模型中的少量参数来创建视觉语言模型的技术,但是这些技术需要已经对齐的视觉表示并且是非对比的,因此不能用于诸如神经搜索的延迟敏感的应用。我们通过迁移学习探索参数高效对比视觉-语言对齐的可行性和好处:通过最小限度地更新已经训练好的视觉和语言模型来创建CLIP等模型。我们发现,最小参数更新集($<$ 7%)可以达到与全模型训练相同的性能,更新特定组件($<$ 1%的参数)可以匹配75%的全模型训练。我们描述了一系列的实验:我们表明,现有的知识更强烈地保存在参数有效的训练和参数有效的缩放尺度与模型和数据集的大小。在配对图像文本数据稀缺但存在强大的多语言语言模型(例如,低资源语言)的情况下,参数有效的训练甚至比全模型训练更可取。给定固定的计算预算,参数高效的训练允许在相同的硬件上训练更大的模型,从而在更短的时间内实现同等的性能。因此,参数高效的训练构成了对比视觉语言模型的能量高效和有效的训练策略,其对于常见用例可能优于全模型训练范例。代码和重量请访问https://github.com/codezakh/LilT。
2023-03-21 cs.CV
Analyzing the Roles of Language and Vision in Learning from Limited Data
Princeton University(普林斯顿大学)
本文通过消融视觉-语言模型的认知组件,研究语言与视觉在有限数据新任务学习中的作用,发现语言模型可借助先验知识与推理恢复 VLM 的大部分性能。
2024-05-10 cs.AI cs.CL cs.CV
Long-Tailed Distribution-Aware Router For Mixture-of-Experts in Large Vision-Language Model
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Electronic and Information, Shanghai Dianji University(上海电机学院电子信息学院)
本文提出LTDR路由器,针对视觉-语言混合专家架构中的长尾分布问题,通过模态特定的分布感知路由和动态专家激活策略,提升模型性能。
2026-04-02 cs.CV
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding
State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,北京智源人工智能研究院)
针对3D视觉-语言定位中场景复杂、数据稀缺和缺乏统一框架的挑战,提出百万级数据集SceneVerse及统一预训练框架GPS,在多项3D视觉定位基准上达到SOTA并展现零样本迁移潜力。
2024-09-24 cs.AI cs.CL cs.CV
From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
School of Computer Science, Sichuan University(四川大学计算机学院);School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院电子与计算机工程学院);Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University(中国电信与西北工业大学人工智能研究院(TeleAI))
本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进,提出五阶段分类法,梳理各阶段代表性方法,并指出开放挑战与未来方向。
2026-06-26 cs.AI cs.CL cs.CV