VisualBERT: A Simple and Performant Baseline for Vision and Language
University of California, Los Angeles(加州大学洛杉矶分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Peking University(北京大学)
我们提出了VisualBERT,一个简单而灵活的框架,用于建模广泛的视觉和语言任务。VisualBERT由一堆Transformer层组成,这些层隐式地将输入文本的元素和相关输入图像中的区域与自我关注对齐。我们进一步提出了两个视觉接地语言模型目标的图像字幕数据的VisualBERT的预训练。在VQA、VCR、NLVR2和Flickr30K等四个视觉和语言任务上的实验表明,VisualBERT在显著简单的同时优于或媲美最先进的模型。进一步的分析表明,VisualBERT可以在没有任何明确监督的情况下将语言元素与图像区域联系起来,甚至对句法关系敏感,例如跟踪动词与其论点对应的图像区域之间的关联。
2019-08-09 cs.CL cs.CV cs.LG
MIVC: Multiple Instance Visual Component for Visual-Language Models
Amazon(亚马逊);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出MIVC多实例视觉组件,通过排列不变聚合图像表示,插入视觉语言模型以提升多图像电子商务任务性能并分析各图像贡献。
2023-12-28 cs.AI cs.CL cs.CV
Modulating early visual processing by language
University of Montreal(蒙特利尔大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Inria(法国国家信息与自动化研究所);UMR 9189 CRIStAL(法国国家科学研究中心计算机、信号与自动化研究所);Criteo;Google Brain(谷歌大脑);DeepMind;CIFAR(加拿大高等研究院)
人们通常认为,语言是指高层次的视觉概念,而离开低层次的视觉处理不受影响。这一观点在语言-视觉任务的计算模型中占据主导地位,其中视觉和语言输入在被融合成单个表示之前大多是独立处理的。在本文中,我们偏离了这个经典的管道,并建议调制的\emph{entire visual processing}的语言输入。具体来说,我们将预训练残差网络(ResNet)的批量归一化参数设置在语言嵌入上。这种方法,我们称之为调制RESnet(\MRN),显着提高了两个视觉问答任务的强基线。我们的消融研究表明,从视觉处理的早期阶段进行调节是有益的。
2017-12-18 cs.CL cs.CV cs.LG
MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
提出MatCha预训练框架,通过图表解构和数值推理任务增强视觉语言模型在图表数据上的联合建模能力,在标准基准上提升近20%并验证了跨领域迁移效果。
2023-05-23 cs.AI cs.CL cs.CV
Self-Correction Inside the Model: Leveraging Layer Attention to Mitigate Hallucinations in Large Vision Language Models
Independent Researcher(独立研究者)
本文提出了一种利用层注意力的内部自我校正机制,通过自我细化提高大视觉语言模型的视觉接地性,有效缓解幻觉问题。
2026-02-28 cs.CV
Pseudo-Q: Generating Pseudo Language Queries for Visual Grounding
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院);University of Washington(华盛顿大学)
视觉基础,即,根据自然语言查询定位图像中的对象是视觉语言理解中的重要课题。此任务的最有效方法是基于深度学习,这通常需要昂贵的手动标记的图像查询或补丁查询对。为了消除对人类注释的严重依赖,我们提出了一种新的方法,名为伪Q,自动生成伪语言查询监督训练。我们的方法利用一个现成的对象检测器来识别视觉对象从未标记的图像,然后这些对象的语言查询是在一个无监督的方式与伪查询生成模块。然后,我们设计了一个任务相关的查询提示模块,专门为视觉接地任务定制生成的伪语言查询。此外,为了充分捕捉图像和语言查询之间的上下文关系,我们开发了一个视觉-语言模型,配备了多层次的跨模态注意力机制。大量的实验结果表明,我们的方法有两个显着的好处:(1)它可以显着降低人工注释成本,例如,RefCOCO上的31%,而不会降低原始模型在完全监督设置下的性能,并且(2)没有铃铛和哨子,与我们实验的所有五个数据集上的最先进的弱监督视觉接地方法相比,它实现了卓越或相当的性能。代码可在https://github.com/LeapLabTHU/Pseudo-Q上获得。
2022-03-22 cs.AI cs.CL cs.CV
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法,将特定领域视觉数据集转换为统一问答格式,训练多模态大语言模型,在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
Stateful Visual Encoders for Vision-Language Models
University of California, Berkeley(加州大学伯克利分校);UC Berkeley(加州大学伯克利分校)
提出有状态视觉编码器,通过将每个视觉表示条件于先前的视觉特征,增强视觉-语言模型在多图像、多轮交互中的视觉变化感知能力,在跨图像空间聚合、多目标视觉差异和轨迹行为克隆等任务上取得一致改进。
2026-06-03 cs.CL cs.CV cs.LG
HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models
Zhejiang University(浙江大学);ShanghaiTech University(上海科技大学);Chongqing University(重庆大学);Alibaba Group(阿里巴巴集团);Harbin Institute of Technology(哈尔滨工业大学)
针对静态微调限制多模态大语言模型性能的问题,提出HyperLLaVA,利用HyperNetworks生成动态视觉与语言专家以自适应微调投影器和LLM,在多个基准上显著超越LLaVA。
2024-03-20 cs.AI cs.CL cs.CV
Visual Entailment Task for Visually-Grounded Language Learning
Wright State University(莱特州立大学);NEC Laboratories America(美国NEC实验室)
我们引入了一个新的推理任务-视觉蕴涵(VE)-这不同于传统的文本蕴涵(TE)的任务,其中一个前提是由一个图像,而不是一个自然语言句子TE任务中定义。基于斯坦福自然语言推理语料库和Flickr 30 k,提出了一种新的VE任务数据集SNLI-VE(可在https://github.com/necla-ml/SNLI-VE上公开获得)。我们引入了一个可区分的架构称为可解释的视觉蕴涵模型(EVE)来解决VE问题。EVE和其他几个最先进的基于视觉问答(VQA)的模型在SNLI-VE数据集上进行了评估,促进了基于语言理解的理解,并提供了关于现代基于VQA的模型如何执行的见解。
2019-01-21 cs.CV
Modulating Bottom-Up and Top-Down Visual Processing via Language-Conditional Filters
Koç University(科奇大学);Amazon Search(亚马逊搜索);Hacettepe University(哈斯特帕大学)
如何在涉及语言和视觉的多通道任务中最好地整合语言和知觉处理是一个重要的开放问题。在这项工作中,我们认为,在一个自上而下的方式使用语言的常见做法,直接视觉注意力高层次的视觉功能,可能不是最佳的。我们假设,使用语言也条件的自自底向上的【形】的处理从像素到高层次的功能可以提供整体性能的好处。为了支持我们的主张,我们提出了一个基于U-Net的模型,并在两个语言视觉密集预测任务上进行了实验:指涉表情分割和语言引导的图像着色。我们比较的结果中的一个或两个自上而下和自自底向上的【形】的视觉分支的条件语言。我们的实验表明,除了自上而下的注意力,使用语言来控制自自底向上的【形】的视觉处理的过滤器会导致更好的结果在这两个任务,并取得有竞争力的性能。我们的语言学分析表明,自自底向上的【形】的条件改善分割的对象,特别是当输入文本是指低层次的视觉概念。代码可在https://github.com/ilkerkesen/bvpr上获得。
2022-06-23 cs.CL cs.CV cs.LG
VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本研究提出VisualRWKV,首次将线性RNN应用于多模态学习,通过数据依赖递归、三明治提示和2D图像扫描机制增强建模能力,在多基准上性能媲美LLaVA-1.5,且推理速度提升3.98倍,GPU内存节省54%。
2024-12-19 cs.CL cs.CV cs.LG
LaViP:Language-Grounded Visual Prompts
Monash University(莫纳什大学);Australian National University(澳大利亚国立大学)
本研究提出LaViP语言锚定视觉提示方法,通过调整视觉编码器输入实现参数高效适配,可在黑盒场景运行,在多数据集上提升适配准确率与速度,增强基类到新类的泛化能力。
2023-12-18 cs.CL cs.CV cs.LG
Vision and Language: from Visual Perception to Content Creation
JD AI Research(京东人工智能研究院)
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务,这支持了人类独特的能力,即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是,“视觉到语言”可能是过去五年中最受欢迎的话题之一,出版物数量和广泛应用都有显着增长,例如,字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展,语言还可以促进视觉理解,并为视觉内容创造提供新的可能性,即,“语言到视觉。“这个过程就像一个棱镜,通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说,前者主要集中在图像/视频描述的发展,以及典型的编码器-解码器结构和基准,而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Enhancing Multimodal Large Language Models with Multi-instance Visual Prompt Generator for Visual Representation Enrichment
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Amazon(亚马逊公司)
本文指出Q-former适配器是忽略实例相关性的简化多实例学习方法,提出通用组件多实例视觉提示生成器(MIVPG),利用图像或补丁间的实例相关性增强视觉表示并引入LLMs,在三个公开VL数据集上提升了性能。
2024-06-05 cs.CV
Self-Rewarding Vision-Language Model via Reasoning Decomposition
Tencent AI Seattle Lab(腾讯AI西雅图实验室);University of Maryland(马里兰大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出Vision SR1,通过分解视觉与语言推理,提升视觉推理能力,减少视觉幻觉和语言捷径依赖,效率优于需外部视觉奖励模型的方法。
2026-04-27 cs.CV
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性,而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此,我们开发了一种名为“vokenization”的技术,通过将语言标记映射到其相关图像(我们称之为“vokens”),将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的,然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练,我们的视觉监督语言模型在多个纯语言任务(如GLUE,SQuAD和SWAG)上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
Making the Most of What You Have: Adapting Pre-trained Visual Language Models in the Low-data Regime
University of Oxford(牛津大学);DeepMind(深度思维)
针对低数据场景下生成式视觉语言模型少样本适配难的问题,研究现有适配方法并提出结合自标注的任务适配流程,在多个视觉语言任务上实现显著性能提升。
2023-05-03 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
视觉问答(VQA)的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现,一个注意力机制,使两种模式之间的密集,双向的相互作用,有助于提高准确性的预测答案。具体来说,我们提出了一个简单的架构,是完全对称的视觉和语言表示,其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构,用于图像-问题对之间的多步交互。我们通过实验表明,所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0,尽管它的小尺寸。我们还提出了定性评估,演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题,从而导致正确的答案预测。
2018-12-01 cs.CV
Beyond Static Charts: Can Language and Vision Language Models Generate Interactive Data Visualization Interfaces?
York University(约克大学)
针对语言模型和视觉语言模型生成交互式数据可视化界面的能力缺乏评估的问题,提出VIS-GEN基准,含3042个样本,测试14个模型,发现性能差距大,并设计多阶段生成框架,将最佳模型通过率提升15.9个百分点。
2026-09-23 cs.CL
Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models
AppliedML, Cerebras(应用机器学习,Cerebras)
本文研究多模态大语言模型过度依赖语言先验而忽视视觉输入的问题,提出增强视觉理解并引导语言生成的技术,在视觉依赖token预测和视觉挑战性任务上取得显著提升。
2025-07-02 cs.AI cs.CV
MUTATT: Visual-Textual Mutual Guidance for Referring Expression Comprehension
Tianjin University(天津大学);University of South Carolina(南卡罗来纳大学)
指称表达理解(REC)的目的是通过自然语言中的指称表达定位给定图像中的文本相关区域。现有的方法集中在如何建立令人信服的视觉和语言表示独立,这可能会显着分离的视觉和语言信息。本文认为,在REC中,指称表达和目标区域之间存在语义相关性,视觉和语言之间存在主体、位置和关系的一致性,在此基础上,提出了一种新的视觉和语言之间的相互引导方法MutAtt,该方法平等地对待视觉和语言,从而产生紧凑的信息匹配。具体而言,MutAtt针对主体、位置和关系三个模块分别构建了两种基于注意力的相互引导策略。一种策略是生成视觉引导的语言嵌入,以匹配相关的视觉特征。另一种是生成语言引导的视觉特征,以匹配相关的语言嵌入。这种相互指导的策略可以有效地保证三个模块中视觉语言的一致性。在三个流行的REC数据集上的实验表明,该方法优于当前最先进的方法。
2020-03-20 cs.CV
Aquila: A Hierarchically Aligned Visual-Language Model for Enhanced Remote Sensing Image Comprehension
Chinese Academy of Surveying and Mapping(中国测绘科学研究院);Emory University(埃默里大学);University of Science and Technology Beijing(北京科技大学)
本文提出Aquila,一种分层对齐的视觉-语言模型,通过可学习的分层空间特征集成模块支持高分辨率多尺度输入并深入集成至LLM层,实现精确特征对齐,显著提升遥感图像理解性能。
2024-11-09 cs.AI cs.CV
Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);The New School(新学院大学);Northwestern University(西北大学)
本文构建包含五类视觉错觉的数据集并设计四项任务,考察视觉语言模型是否像人类一样产生错觉,发现更大模型更接近人类感知且更易受错觉影响。
2023-10-31 cs.AI cs.CL cs.CV
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
Australian National University(澳大利亚国立大学);University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);Macquarie University(麦考瑞大学)
在《杰森一家》(Jetsons)系列卡通片想象由一群细心的机器人助手充当媒介的休闲生活之前,一个能够进行自然语言教学的机器人一直是一个梦想。这是一个仍然顽固遥远的梦想。然而,视觉和语言方法的最新进展在密切相关的领域取得了令人难以置信的进展。这一点很重要,因为机器人根据它所看到的内容解释自然语言导航指令是在执行类似于视觉问答的视觉和语言过程。这两个任务都可以被解释为基于视觉的序列到序列翻译问题,并且许多相同的方法都适用。为了实现和鼓励视觉和语言方法的应用,以解释视觉接地导航指令的问题,我们提出了Matterport 3D模拟器-一个大规模的强化学习环境的基础上真正的图像。使用这个模拟器,它可以在未来支持一系列具体的视觉和语言任务,我们提供了第一个基准数据集的视觉接地自然语言导航在真实的建筑物-房间到房间(R2 R)数据集。
2018-04-05 cs.AI cs.CL cs.CV
Focusing Where Vision Matters: Selective Training for Large Vision Language Models via Visual Information Gain
Department of Data Science, Seoul National University of Science and Technology(数据科学系,首尔科学技术大学)
本文提出通过视觉信息增益(VIG)指标,对大视觉语言模型进行定向训练,以提升视觉基础性并减少语言偏见,通过优先选择高VIG样本和token来提高性能。
2026-05-20 cs.CV
Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects
International Digital Economy Academy(国际数字经济学院);Southern University of Science and Technology(南方科技大学);South China University of Technology(华南理工大学)
针对大视觉语言模型缺乏细粒度视觉对象检测易产生幻觉的问题,提出Lyrics多模态预训练与指令微调范式,通过语义感知视觉特征等方法提升细粒度对齐与理解能力,在多个数据集和基准上表现优异。
2024-04-12 cs.CL
Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation
AMIAD, Pôle Recherche, Palaiseau(AMIAD研究部,帕莱索)
针对大型视觉语言模型不确定性量化中视觉信息利用不足的问题,提出基于视觉锚定的词元级不确定性量化框架VIG-TUQ,通过加权语言不确定性与视觉锚定分数,无需训练即可提升不确定性估计性能。
2026-09-10 cs.CV
Breaking Language Barriers in Visual Language Models via Multilingual Textual Regularization
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
针对视觉语言模型存在的图像诱导保真度损失问题,提出在视觉指令微调中注入纯文本多语言数据的持续整合策略,在不降低视觉性能的前提下提升跨语言语言保真度,为VLM全球应用提供有效路径。
2025-05-20 cs.AI cs.CV
Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models
NKIARI;VCIP, CS, Nankai University(VCIP计算机科学系,南开大学);AAIS, Nankai University(AAIS,南开大学);Tencent Youtu Lab(腾讯优设实验室)
本文研究多模态大语言模型中的视觉表征退化问题,提出预测正则化方法以维持视觉表征,提升视觉语言性能。
2026-03-21 cs.CV cs.LG
OmniMoE-VL: A Sparse Vision-Language Model with Coupled Visual-Depth Routing
OmniMoE-VL通过耦合视觉-深度路由投影器,为每个图像-提示对选择稀疏中间视觉深度,实现问题依赖的视觉访问,在八个基准上以28B总参数和9B激活参数达到85.9平均分,验证了耦合与条件化视觉访问的有效性。
2026-09-29 cs.CV cs.LG
Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream
University of Alberta(阿尔伯塔大学)
日常生活中的操作任务,如倒水,在特定的操作情境下有意识地展开。随着时间的推移,能够处理这些日常生活活动(ADL)中的上下文知识可以帮助我们理解操纵意图,这对于智能机器人在各种操纵动作之间平稳过渡至关重要。在本文中,建模的预期概念的操作,我们提出了一个视觉数据集下的严格约束的知识域的机器人和人类的操作,其中操作的概念和关系存储在一个本体系统的分类方式。此外,我们提出了一个计划,以产生一个组合的视觉注意力和不断发展的知识图谱充满常识知识。我们的计划与现实世界的摄像机流和融合基于注意力的视觉语言模型与本体系统。实验结果表明,该方案可以成功地代表一个预期的对象操作过程的机器人和人类的演变。该方案允许机器人通过观看实时视频来模仿人类的有意行为。我们的目标是进一步发展这个计划,为现实世界的机器人智能人机交互。
2020-03-02 cs.CV cs.RO
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China(电子科技大学)
视觉问答(VQA)是一项具有挑战性的任务,在计算机视觉和自然语言处理领域引起了越来越多的关注。但是,目前的视觉问答存在语言偏向的问题,降低了模型的鲁棒性,对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析,并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时,对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次,本文介绍了主要用于测试的数据集,并报告了各种现有方法的实验结果。最后,我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
Aquila-plus: Prompt-Driven Visual-Language Models for Pixel-Level Remote Sensing Image Understanding
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本文提出Aquila-plus,一种掩码-文本指令微调方法,通过掩码感知视觉提取器和10万样本数据集,实现遥感图像的像素级视觉-语言理解,并在区域理解任务中优于现有方法。
2024-11-09 cs.AI cs.CV
How Visual Representations Map to Language Feature Space in Multimodal LLMs
University of Oxford(牛津大学);McGill University(麦吉尔大学);Meta
本研究通过冻结LLM和ViT并仅训练线性适配器,利用SAE探针揭示视觉表示在LLM中后层逐步对齐语言特征空间,指出当前适配器架构存在根本性错位。
2025-06-22 cs.CV cs.LG
Linguistic Context Recodes Visual Representations in Vision-Language Models
Brown University(布朗大学)
本研究揭示视觉语言模型中语言上下文会重编码视觉表示,通过对比引导向量和属性调制两种机制,为跨模态动态处理提供了因果证据。
2026-08-04 cs.AI cs.CV
Decomposing Complex Visual Comprehension into Atomic Visual Skills for Vision Language Models
Seoul National University(首尔国立大学);UCLA(加州大学洛杉矶分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
该研究将复杂视觉理解分解为原子视觉技能,构建AVSD数据集,基准测试显示VLM在这些简单任务上表现不佳,强调需专用数据集训练和评估原子视觉感知。
2025-05-26 cs.AI cs.CV
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research(三星研究院);SRI International(斯坦福国际研究院)
在本文中,我们提出了一种新的方法,可解释的问答(XQA)的任务,即,生成针对所述视觉问答(VQA)问题的自然语言(NL)解释。我们使用两个信息源生成NL解释,该解释包括支持对图像提出的问题的答案的证据:(a)图像中实体的注释(例如,对象标签、区域描述、关系短语),以及(b)由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体,仔细选择使用语言模型,可以给出合理的文字解释,而不需要任何额外的收集数据(解释说明等)。我们在Visual Genome(VG)数据集上运行我们的算法,并进行内部用户研究,以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示,展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction
University of California, Berkeley(加州大学伯克利分校);Meta AI
OTTER通过文本感知的视觉特征提取,提升视觉-语言-动作模型的零样本泛化能力。
2025-12-30 cs.CV cs.RO
Learning Visual Relation Priors for Image-Text Matching and Image Captioning with Neural Scene Graph Generators
Microsoft AI and Research(微软人工智能与研究事业部)
将语言与视觉关系联系起来对于各种语言和视觉应用至关重要。在这项工作中,我们解决了两个基本的语言和视觉任务:图像-文本匹配和图像描述,并证明神经场景图生成器可以学习有效的视觉关系特征,以促进接地语言视觉关系,并随后改善两个终端应用程序。通过将关系特征与最先进的模型相结合,我们的实验显示出对标准Flickr 30 K和MSCOCO基准的显着改进。我们的实验结果和分析表明,关系特征提高了下游模型捕捉视觉关系的能力,在最终的视觉和语言应用程序。我们还证明了学习场景图生成器与视觉相关的关系,关系功能的有效性的重要性。
2019-09-22 cs.AI cs.CV
How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A
School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China(东北大学计算机科学与工程学院,沈阳 110819,中国);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China(东北大学计算机与通信工程学院,秦皇岛 066004,中国)
本文提出F^3A方法,通过任务条件证据搜索优化视觉标记分配,在不训练模型的情况下实现高效的视觉标记剪枝,保留原始多模态提示和解码流程。
2026-05-09 cs.AI cs.CV
Visual Prompting in Multimodal Large Language Models: A Survey
UC San Diego(加州大学圣地亚哥分校);Dartmouth College(达特茅斯学院);Rutgers University(罗格斯大学);UC Los Angeles(加州大学洛杉矶分校);Adobe Research(奥多比研究院);The University of New South Wales(新南威尔士大学);CSIRO’s Data61(联邦科学与工业研究组织Data61)
本文综述了多模态大语言模型中的视觉提示方法,涵盖提示分类、生成、组合推理及提示学习,并总结了提升模型对齐与感知的训练方法及未来展望。
2024-09-05 cs.CV cs.LG
Generative Visual Communication in the Era of Vision-Language Models
Raymond and Beverly Sackler Faculty of Exact Sciences(雷蒙德和贝弗利·萨克勒精密科学学院);Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);School of Computer Science at Tel Aviv University(特拉维夫大学计算机科学学院)
本研究针对生成模型在视觉传达设计中难以简化复杂思想为抽象视觉且像素输出缺乏灵活性的问题,通过约束视觉语言模型(VLMs)操作空间并引入特定任务正则化,探索自动化创建有效视觉传达设计的方法,涵盖草图、排版等多方面。
2024-11-27 cs.AI cs.CV
VisChainBench: A Benchmark for Multi-Turn, Multi-Image Visual Reasoning Beyond Language Priors
VisChainBench是一个多轮多图视觉推理基准,通过多代理生成流水线构建,旨在评估LVLM在连续、相互依赖任务中进行多步骤视觉推理的能力。
2025-12-07 cs.AI cs.CV
Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement
National University of Singapore(新加坡国立大学)
我们提出了一种新的方法,PARSING和可视化Grounding(ParaGon),接地自然语言在对象放置任务。自然语言通常描述具有组合性和模糊性的对象和空间关系,这是有效的语言基础的两个主要障碍。对于组合性,ParaGon将语言指令解析为以对象为中心的图形表示,以单独地接地对象。对于模糊性,ParaGon使用一种新的基于粒子的图神经网络来推理具有不确定性的对象放置。从本质上讲,ParaGon将解析算法集成到概率,数据驱动的学习框架中。它是完全可区分的,并从数据中进行端到端的训练,以应对复杂,模糊的语言输入。
2023-03-13 cs.CV cs.LG cs.RO
Inside Out Visual Place Recognition
University of Amsterdam(阿姆斯特丹大学)
视觉位置识别(VPR)通常涉及户外图像的定位。然而,局部化包含室外场景的一部分的室内场景对于广泛的应用可以具有很大的价值。在本文中,我们介绍了由内而外的视觉位置识别(IOVPR),一个任务,旨在本地化图像的基础上,通过窗口可见的室外场景。对于这项任务,我们提出了新的大规模数据集阿姆斯特丹-XXXL,在阿姆斯特丹拍摄的图像,其中包括640万全景街景图像和1000个用户生成的室内查询。此外,我们引入了一个新的训练协议由内而外的数据增强,以适应视觉位置识别方法定位室内图像,展示了由内而外的视觉位置识别的潜力。我们经验表明,我们提出的数据增强计划的好处在一个较小的规模,同时证明了这种大规模的数据集现有的方法的困难。通过这项新任务,我们的目标是鼓励IOVPR方法的发展。数据集和代码可在https://github.com/saibr/IOVPR上获得,用于研究目的
2021-11-26 cs.CV
Semi-supervised Visual Feature Integration for Pre-trained Language Models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
整合视觉特征已被证明对于自然语言理解任务是有用的。然而,在大多数现有的多模态语言模型中,视觉和文本数据的对齐是昂贵的。在本文中,我们提出了一种新的半监督视觉集成框架的预训练语言模型。在该框架中,通过可视化和融合机制获得视觉特征。独特性包括:1)通过半监督方法进行整合,其不需要针对每个句子对齐图像2)视觉特征被整合为外部组件,并且可以由预训练的语言模型直接使用。为了验证所提出的框架的有效性,我们进行了实验上的自然语言推理和阅读理解任务。结果表明,我们的机制带来了改善两个强基线模型。考虑到我们的框架只需要一个图像数据库,而不需要进一步的对齐,它提供了一个有效的和可行的方法多模态语言学习。
2020-08-13 cs.CL cs.CV
Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);ShanghaiTech University(上海科技大学)
理解真实感视觉场景图像和语言描述是实现通用视觉理解的基本任务。先前的工作已经通过为视觉场景构建层次结构(例如,场景图)和自然语言(例如,独立树)。然而,如何构建一个联合的视觉语言(VL)结构几乎没有研究。更具挑战性但值得一提的是,我们引入了一个新的任务,目标是以无监督的方式诱导这种联合VL结构。我们的目标是无缝地连接视觉场景图和语言依赖树。由于缺乏VL结构数据,我们首先构建一个新的数据集VLParse。与其从头开始使用劳动密集型的标记,我们提出了一个自动对齐过程来产生粗糙的结构,然后进行人工细化以产生高质量的结构。此外,我们提出了一个基于对比学习(CL)的框架VLGAE,简称视觉语言图形自动编码器,我们的数据集基准。我们的模型在两个衍生任务上获得了优异的性能,即,语言语法归纳和VL短语的基础。烧蚀显示了视觉线索和依赖关系对细粒度VL结构构建的有效性。
2022-06-01 cs.CL cs.CV
Attributes as Semantic Units between Natural Language and Visual Recognition
ICSI(国际计算机科学研究所)
在计算机视觉和自然语言处理领域取得了令人印象深刻的进展。然而,为这些非常不同的模式找到最佳互动点仍然是一个挑战。在本章中,我们将讨论属性如何使我们能够在两种模态之间交换信息,并以这种方式导致语义层面上的交互。具体来说,我们讨论了属性如何允许使用从语言资源中挖掘的知识来识别新的视觉类别,我们如何生成关于图像和视频的句子描述,我们如何在视觉内容中建立自然语言,最后,我们如何回答关于图像的自然语言问题。
2016-04-12 cs.CL cs.CV
Shaping Visual Representations with Language for Few-shot Classification
Stanford University(斯坦福大学)
通过描述我们世界的特征和抽象,语言是人类学习的重要工具,也是机器学习模型的监督来源。我们使用语言来提高Few-Shot视觉分类在欠探索的情况下,自然语言任务描述在训练过程中可用,但在测试时无法用于新的任务。此设置的现有模型在测试时对新描述进行采样,并使用这些描述对图像进行分类。相反,我们提出了语言形学习(LSL),这是一个端到端的模型,它规则化视觉表示来预测语言。LSL在概念上更简单,数据效率更高,并且在两个具有挑战性的Few-Shot领域中优于基线。
2020-06-08 cs.CL cs.CV
Probing Contextual Language Models for Common Ground with Visual Representations
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
大规模上下文语言模型的成功吸引了人们对探索其表示中编码的内容的极大兴趣。在这项工作中,我们考虑了一个新的问题:在何种程度上具体名词的上下文表示与相应的视觉表示对齐?我们设计了一个探测模型,评估如何有效地区分匹配和不匹配的视觉表示的纯文本表示。我们的研究结果表明,语言表征本身提供了一个强有力的信号,从正确的对象类别检索图像补丁。此外,他们是有效的检索图像补丁的特定实例,文本上下文在这个过程中起着重要的作用。基于视觉的语言模型在实例检索方面略优于纯文本的语言模型,但大大低于人类。我们希望我们的分析启发未来的研究在理解和提高语言模型的视觉能力。
2021-04-13 cs.CL cs.CV
Exploring the Diversity and Invariance in Yourself for Visual Pre-Training Task
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
近年来,自监督学习方法在视觉预训练任务中取得了显著的成功。通过简单地将每个图像的不同增强视图拉在一起或其他新颖的机制,它们可以学习许多无监督的知识,并显着提高预训练模型的传输性能。然而,这些工作仍然无法避免表示坍塌问题,即,它们只关注有限的区域,或者在每个图像内完全不同的区域上提取的特征几乎相同。通常,这个问题使得预训练模型不能充分描述图像内部的多粒度信息,这进一步限制了其传输性能的上限。为了解决这个问题,本文介绍了一个简单而有效的机制,称为探索自己的电子DIY的多样性和不变性。通过简单地将每个增强视图中最不同的区域推开,E-DIY可以保留提取的区域级特征的多样性。通过从同一图像的不同增强视图中提取最相似的区域,E-DIY可以确保区域级特征的鲁棒性。基于上述多样性和不变性的探索机制,电子DIY最大限度地提取了图像内部的多粒度视觉信息。对下游任务的大量实验证明了我们提出的方法的优越性,例如,与COCO上的强基线BYOL相比,有2.1%的改进,同时使用R50-C4主干和1X学习时间表微调Mask R-CNN。
2021-06-01 cs.CV