Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore(新加坡国立大学)
视觉关系检测旨在推理图像中显著对象之间的关系,近年来受到越来越多的关注。受人类推理机制的启发,人们认为外部视觉常识知识有利于图像中对象的视觉关系推理,但现有方法很少考虑这一点。在本文中,我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers(RVL-BERT),它执行关系推理与视觉和语言常识知识,通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外,我们的模型将目标检测从视觉关系识别中分离出来,直接采用对象名称,使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明,与转移的知识和新的模块,RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning
Alibaba Group(阿里巴巴集团)
大规模图像-文本对的视觉语言预训练(VLP)在跨模态下游任务中取得了巨大的成功。现有的预训练方法主要采用两步训练的方法,首先利用预训练的目标检测器提取基于区域的视觉特征,然后将图像表示和文本嵌入作为Transformer的输入进行训练。然而,这些方法面临的问题,使用特定任务的特定对象检测器的通用跨模态理解的视觉表示,和两个阶段的流水线的计算效率低下。在本文中,我们提出了第一个用于V+L理解和生成的端到端视觉语言预训练模型,即E2 E-VLP,在其中我们构建了一个统一的Transformer框架,以共同学习视觉表示以及图像和文本之间的语义对齐。我们将目标检测和图像描述的任务与一个统一的Transformer编码器-解码器架构,以增强视觉学习的预训练。一组广泛的实验已经进行了良好的视觉语言下游任务,以证明这种新的VLP范式的有效性。
2021-06-04 cs.AI cs.CL cs.CV
Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection
Google DeepMind(谷歌DeepMind);Technical University Munich(慕尼黑工业大学)
本文提出Scene-Graph ViT,一种免解码器的Transformer架构,通过隐式建模物体关系及注意力机制选择物体对,实现端到端开放词汇视觉关系检测,在Visual Genome和GQA上达到实时最先进性能。
2024-07-19 cs.CL cs.CV cs.LG
Improving Visual Relationship Detection using Semantic Modeling of Scene Descriptions
Siemens AG(西门子股份公司);Ludwig Maximilian University(路德维希-马克西米利安大学)
图像的结构化场景描述对于大型图像数据库的自动处理和查询非常有用。我们展示了如何结合语义和视觉统计模型,可以提高图像映射到其相关的场景描述的任务。在本文中,我们考虑的场景描述表示为一组三元组(主语,谓语,宾语),其中每个三元组包括一对视觉对象,出现在图像中,和它们之间的关系(例如,人骑大象,人戴帽子)。我们结合了一个标准的视觉模型的目标检测,基于卷积神经网络,与潜在变量模型的链接预测。我们应用多个国家的最先进的链接预测方法,并比较他们的视觉关系检测的能力。链接预测方法的主要优点之一是它们还可以推广到三元组,这在训练数据中从未观察到。我们的实验结果最近发表的斯坦福大学视觉关系数据集,一个具有挑战性的现实世界的数据集,表明使用链接预测方法的语义模型的集成可以显着提高视觉关系检测的结果。与斯坦福大学计算机视觉组的最先进方法相比,我们的组合方法实现了卓越的性能。
2018-09-01 cs.AI cs.CL cs.CV
Vision and Language: from Visual Perception to Content Creation
JD AI Research(京东人工智能研究院)
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务,这支持了人类独特的能力,即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是,“视觉到语言”可能是过去五年中最受欢迎的话题之一,出版物数量和广泛应用都有显着增长,例如,字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展,语言还可以促进视觉理解,并为视觉内容创造提供新的可能性,即,“语言到视觉。“这个过程就像一个棱镜,通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说,前者主要集中在图像/视频描述的发展,以及典型的编码器-解码器结构和基准,而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models
Xiamen University(厦门大学)
本研究提出R-Bench基准,系统评估大型视觉-语言模型中的关系幻觉,识别三种共现类型,并发现模型过度依赖常识而忽视视觉内容。
2024-07-18 cs.CV
Focusing Where Vision Matters: Selective Training for Large Vision Language Models via Visual Information Gain
Department of Data Science, Seoul National University of Science and Technology(数据科学系,首尔科学技术大学)
本文提出通过视觉信息增益(VIG)指标,对大视觉语言模型进行定向训练,以提升视觉基础性并减少语言偏见,通过优先选择高VIG样本和token来提高性能。
2026-05-20 cs.CV
Vision Remember: Recovering Visual Information in Efficient LVLM with Vision Feature Resampling
Southeast University(东南大学);Baidu VIS(百度视觉);The University of Hong Kong(香港大学);Jiangnan University(江南大学)
Vision Remember通过视觉特征采样在高效LVLM中恢复视觉信息,提升效率并优于现有方法。
2025-11-26 cs.CV
Self-Rewarding Vision-Language Model via Reasoning Decomposition
Tencent AI Seattle Lab(腾讯AI西雅图实验室);University of Maryland(马里兰大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出Vision SR1,通过分解视觉与语言推理,提升视觉推理能力,减少视觉幻觉和语言捷径依赖,效率优于需外部视觉奖励模型的方法。
2026-04-27 cs.CV
AVR: Attention based Salient Visual Relationship Detection
South China University of Technology(华南理工大学)
视觉关系检测的目的是定位图像中的对象,并识别对象之间的关系。传统的方法对图像中所有观察到的关系都一视同仁,这导致了在具有丰富视觉对象和各种关系的复杂图像上检测任务的性能相对较差。为了解决这个问题,我们提出了一个基于注意力的模型,即AVR,以实现显着的视觉关系的基础上,本地和全球范围内的关系。具体地说,AVR识别关系,并通过融合视觉特征,语义和空间信息的关系,在输入图像的本地上下文中测量对关系的关注。然后,AVR应用注意力来分配具有较大显著权重的重要关系,以进行有效的信息过滤。此外,AVR还结合了图像数据集全局上下文的先验知识,以提高关系预测的精度,其中上下文被建模为异构图,基于随机游走算法来度量关系的先验概率。在多个真实图像数据集上进行了全面的实验,结果表明,AVR在召回率方面明显优于最先进的视觉关系检测方法,最高可达$87.5\%$。
2020-03-16 cs.CV
VrR-VG: Refocusing Visually-Relevant Relationships
Xi’an Jiaotong University(西安交通大学);JD AI Research(京东人工智能研究院)
关系编码个体实例之间的交互,并且在深度视觉场景理解中起关键作用。由于非视觉信息的高可预测性,现有方法倾向于拟合统计偏差,而不是从图像中“学习”“推断”关系。为了鼓励视觉关系的进一步发展,我们提出了一种新的方法来自动挖掘更有价值的关系,修剪视觉无关的。基于Visual Genome构建了一个新的场景图数据集--视觉相关关系数据集(VrR-VG)。与现有数据集相比,VrR-VG中可学习方法和统计方法之间的性能差距更大,基于频率的分析不再起作用。此外,我们建议学习的关系感知表示,共同考虑的实例,属性和关系。通过应用在VrR-VG上学习的表征感知特征,图像描述和视觉问答的性能得到了系统的大幅度提高,这表明我们的数据集和特征嵌入方案的增益。VrR-VG可通过http://vrr-vg.com/获得。
2019-08-26 cs.CV
Augmenting Vision Language Pretraining by Learning Codebook with Visual Semantics
Emory University(埃默里大学);University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学);Mayo Clinic(妙佑医疗国际)
视觉语言预训练框架中的语言模态是天生的离散化,赋予语言词汇中的每个词一个语义意义。与此相反,视觉模态固有的连续性和高维性,潜在地阻碍了视觉和语言模态之间的对齐和融合。因此,我们建议“离散化”的视觉表示,通过联合学习的代码本,赋予每个视觉令牌的语义。然后,我们利用这些离散化的视觉语义作为自我监督的地面实况,用于构建我们的掩码图像建模目标,掩蔽语言建模的对应物,证明成功的语言模型。为了优化码书,我们扩展了VQ-VAE的公式,给出了理论保证。实验验证了我们的方法在常见的视觉语言基准的有效性。
2022-07-31 cs.CV
Computer Vision and Its Relationship to Cognitive Science: A perspective from Bayes Decision Theory
本文从贝叶斯决策理论视角探讨计算机视觉与认知科学的关系,提出贝叶斯框架与深度神经网络方法的结合可能性。
2026-01-30 cs.CV
Integrating Motion into Vision Models for Better Visual Prediction
University of California San Diego(加州大学圣地亚哥分校)
我们展示了一种改进的视觉系统,它使用一种自监督的预测学习方法来学习其环境的模型。该系统包括一个云台相机,一个中央凹视觉输入,扫视反射伺服中央凹区域的预测误差高的地区,输入帧变换同步到相机的运动,和递归,分层机器学习技术的基础上的预测视觉模型。在早期的工作中,没有将摄像机运动集成到视觉模型中,预测受损,摄像机运动受到不希望的反馈效应。在这里,我们详细介绍了相机运动到预测学习系统的集成,并显示改进的视觉预测和扫视行为。从这些经验中,我们推测将额外的感觉和运动系统整合到自我监督的预测学习模型中。
2019-12-03 cs.CV
Vision-TTT: Efficient and Expressive Visual Representation Learning with Test-Time Training
Zhejiang University(浙江大学);Amazon Web Services(亚马逊网络服务)
本文提出Vision-TTT,通过测试时间训练方法提升视觉表征效率与表达能力,在ImageNet分类中达到77.7%的Top-1准确率,同时在计算效率和内存消耗上显著优于现有方法。
2026-03-20 cs.CV
Tensor Composition Net for Visual Relationship Prediction
Nanjing University(南京大学);The University of Edinburgh(爱丁堡大学);Samsung AI Research Centre(三星人工智能研究中心)
我们提出了一种新的张量组合网络(TCN)来预测图像中的视觉关系。视觉关系预测(VRP)提供了一个更具挑战性的测试图像理解比传统的图像标记,是很难学习,由于一个大的标签空间和不完整的注释。我们的TCN的关键思想是利用视觉关系张量的低秩属性,以便利用对象和关系内部和之间的相关性,并对图像中的所有视觉关系进行结构化预测。为了展示我们的模型的有效性,我们首先将我们的模型与多标签图像分类(MLIC)方法、极限多标签分类(XMC)方法和VRD方法进行了实证比较。然后,我们表明,由于我们的张量(去)组成层,我们的模型可以预测在训练数据集中没有看到的视觉关系。最后,我们展示了我们的TCN的图像级视觉关系预测提供了一个简单而有效的机制,基于关系的图像检索,即使与VRD方法相比。
2022-02-09 cs.CV
Visual Relationship Detection with Language Priors
Stanford University(斯坦福大学)
视觉关系捕捉图像中成对对象之间的各种各样的交互(例如,“人骑自行车”和“人推自行车”)。因此,可能的关系的集合非常大,并且难以为所有可能的关系获得足够的训练样本。由于这种限制,以前的工作视觉关系检测集中在预测只有少数的关系。虽然大多数关系并不频繁,但它们的宾语(例如“man”和“bicycle”)和谓语(例如“riding”和“pushing”)独立出现的频率更高。我们提出了一个模型,使用这种洞察力,训练视觉模型的对象和谓词单独,后来将它们结合在一起,预测多个关系的图像。我们通过利用语义词嵌入的语言先验来微调预测关系的可能性,从而改进了先前的工作。我们的模型可以扩展到从几个例子中预测数千种类型的关系。此外,我们将预测关系中的对象定位为图像中的边界框。我们进一步证明,理解关系可以提高基于内容的图像检索。
2016-07-31 cs.CV
VisionLogic: Discovering and Grounding Decision-Relevant Visual Concepts
McGill University(麦吉尔大学);University of Toronto(多伦多大学)
VISIONLOGIC通过神经符号框架生成基于因果的视觉模型概念规则,提升模型可解释性与预测性能。
2026-09-29 cs.CV
Effective End-to-End Vision Language Pretraining with Semantic Visual Loss
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
目前的视觉语言预训练模型主要是利用从目标检测器中提取的区域视觉特征的方法。考虑到它们的良好性能,提取然后处理的流水线大大限制了推理速度,因此限制了它们的实际用例。然而,从原始图像像素训练视觉语言模型是困难的,因为原始图像像素提供比区域特征少得多的先验知识。在本文中,我们系统地研究了如何利用辅助视觉预训练任务来帮助训练端到端的视觉语言模型。我们介绍了三种类型的视觉损失,使更快的收敛和更好的微调精度。与区域特征模型相比,我们的端到端模型可以在下游任务上实现类似或更好的性能,并且在推理过程中运行速度快10倍以上。与其他端到端模型相比,我们提出的方法在预训练仅占预训练GPU小时数的10%时就可以实现类似或更好的性能。
2023-01-18 cs.CV
Peripheral Vision Transformer
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Microsoft Research Asia (MSRA)(微软亚洲研究院);University of Science and Technology of China (USTC)(中国科学技术大学)
人类视觉具有一种特殊类型的视觉处理系统,称为周边视觉。周边视觉将整个视野划分为多个轮廓区域,这些轮廓区域基于到我们注视中心的距离,周边视觉为我们提供了在不同区域感知各种视觉特征的能力。在这项工作中,我们采取了生物启发的方法,并探索在深度神经网络的视觉识别模型的周边视觉。我们建议将外围位置编码纳入多头自注意层,让网络学习将视野划分为给定训练数据的不同外围区域。我们在ImageNet-1 K上评估了被称为PerViT的拟议网络,并系统地研究了机器感知模型的内部工作原理,表明该网络学习感知视觉数据的方式与人类视觉相似。在不同模型大小的基线上,图像分类的性能改进证明了所提出的方法的有效性。
2022-10-13 cs.CV
Natural Language Guided Visual Relationship Detection
Leibniz University Hanover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
图像中目标对之间关系的推理是整体场景理解的一项重要任务。现有的大多数工作把这个任务作为一个纯粹的视觉分类任务:每种类型的关系或短语被归类为一个关系类别的基础上提取的视觉特征。然而,每种关系都有各种各样的对象组合,每对对象都有不同的相互作用。为所有可能的关系类别获得足够的训练样本是困难和昂贵的。在这项工作中,我们提出了一个自然语言引导的框架来解决这个问题。我们提出使用一个通用的双向递归神经网络来预测参与对象之间的语义联系的关系,从自然语言的方面。所提出的简单方法在视觉关系检测(VRD)和视觉基因组数据集上实现了最先进的水平,特别是在预测看不见的关系时(例如,在VRD zero-shot测试集上的召回率从76.42%提高到89.79%)。
2017-11-21 cs.CV
Visual Relationship Detection with Language prior and Softmax
University of Science and Technology(科学技术大学);ETRI(韩国电子通信研究院)
视觉关系检测是一种中间图像理解任务,它检测两个对象并对解释图像中两个对象之间关系的谓词进行分类。这三个组成部分在语言和视觉上是相关的(例如,“穿”与“人”和“衬衫”相关,而“笔记本电脑”与“桌子”和“上”相关),因此,解决方案空间是巨大的,因为它们之间存在许多可能的情况。语言和视觉模块的开发和一个复杂的空间向量。在这项工作中的模型优于艺术状态,没有昂贵的语言知识蒸馏从一个大的文本语料库和建立复杂的损失函数。所有实验仅在视觉关系检测和视觉基因组数据集上进行评价。
2019-04-16 cs.CV
Recurrent Vision Transformer for Solving Visual Reasoning Problems
Institute of Information Science and Technologies (ISTI), Italian National Research Council (CNR)(意大利国家研究理事会信息科学与技术研究所)
尽管卷积神经网络(CNN)在许多视觉任务中表现出了显着的效果,但它们仍然被简单但具有挑战性的视觉推理问题所困扰。受计算机视觉中最近成功的Transformer网络的启发,在本文中,我们介绍了递归视觉Transformer(RViT)模型。由于推理任务中的循环连接和空间注意力的影响,该网络在SVRT数据集的相同-不同视觉推理问题上取得了有竞争力的结果。在空间和深度维度上的权重共享使模型规则化,允许它使用更少的自由参数进行学习,仅使用28 k个训练样本。一项全面的消融研究证实了混合CNN + Transformer架构的重要性以及反馈连接的作用,这些连接迭代地细化内部表示,直到获得稳定的预测。最后,本研究为进一步理解注意和循环连接在视觉抽象推理任务中的作用奠定了基础。
2021-11-29 cs.CV
ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning
ViTCoP通过结合视觉和文本语义协同剪枝,有效降低大型视觉-语言模型的计算成本,提升推理效率和内存利用率。
2026-01-25 cs.CV
EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models
Harbin Institute of Technology(哈尔滨工业大学);Xiaohongshu(小红书);Fudan University(复旦大学)
提出一种无需训练和注意力的视觉标记压缩方法EvoCut,通过分析多层演化偏差估计标记重要性,在LLaVA-1.5-7B上仅保留11.1%的视觉标记即可保持94.4%的平均性能。
2026-06-01 cs.CV
VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
Tsinghua University(清华大学);Tencent Youtu Lab(腾讯优图实验室);Nanjing University(南京大学)
VIVAS通过统一标记空间和密集结构语义视觉分词器,在预训练中对视觉与语言内容进行统一自回归监督,以增强细粒度视觉感知,在12.4T标记上训练后于7项任务和39个多模态基准上达到最先进性能。
2026-09-24 cs.CV
Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision
Youtu-VL Team(Youtu-VL 团队)
Youtu-VL通过统一视觉-语言自回归监督范式,提升多模态理解能力,实现视觉与语言的协同优化。
2026-01-27 cs.CV
Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);Simplexity Robotics(Simplexity机器人公司);The Chinese University of Hong Kong(香港中文大学)
本文提出DeepVision-VLA框架,通过视觉-语言混合变压器提升视觉表示,引入动作引导视觉剪枝技术,实现在模拟和现实任务中提升9.0%和7.5%的性能。
2026-03-17 cs.CV
Learning Visual Prompts for Guiding the Attention of Vision Transformers
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学);AI Innovation, Data:Lab Munich(慕尼黑人工智能创新数据实验室);Volkswagen AG(大众汽车集团);Department of Engineering Science(工程科学系);University of Oxford(牛津大学)
本文提出一种自监督学习视觉提示的方法,通过将学习到的提示添加到输入图像中,无需标注或微调即可重定向预训练视觉Transformer的注意力,有效引导模型关注目标区域。
2024-06-05 cs.CV
Shuffle-Then-Assemble: Learning Object-Agnostic Visual Relationship Features
Nanyang Technological University(南洋理工大学)
由于完全注释视觉关系是极其昂贵的事实,即,(obj 1,rel,obj 2)三元组关系模型不可避免地偏向于有限成对模式的对象类,导致对罕见或看不见的对象组合的泛化较差。因此,我们有兴趣学习对象不可知的视觉功能,更普遍的关系模型。通过“不可知”,我们的意思是该特征不太可能偏向于成对对象的类别。为了减轻偏差,我们提出了一种新的\texttt{Shuffle-Then-Assemble}预训练策略。首先,我们丢弃图像中所有的三元组关系注释,留下两个不成对的对象域,而不进行obj 1-obj 2对齐。然后,我们的特征学习是恢复可能的obj 1-obj 2对。特别是,我们设计了两个域之间的剩余转换的循环,以捕获共享的,但不是特定于对象的视觉模式。在两个视觉关系基准上进行的大量实验表明,通过使用我们预先训练的特征,朴素关系模型可以不断改进,甚至优于其他最先进的关系模型。代码已在以下网址提供:\url{https://github.com/yangxuntu/vrd}。
2018-08-01 cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
视觉语言预训练(VLP)旨在从图像-文本对中学习多模态表示,并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构,它用CNN嵌入图像,然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用,是进行通道间对齐学习的基础。然而,由于局部感受野在建模远程依赖性方面的弱点,CNN在视觉关系学习方面存在局限性。因此,学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习,忽略了每个目标的专用特性。为了解决这个问题,我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系,并进一步促进跨模态对齐。具体来说,我们提出了一个名为通道间流(IMF)的指标来衡量视觉和语言通道之间的相互作用(即,模态间)。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归(Masked Feature Regression,MFR),以进一步促进通道间学习。据我们所知,这是第一项研究,探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务,包括图像文本检索,视觉问答(VQA),视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能,而且还显示出对IMF指标的好处。
2021-11-09 cs.CV
Detecting Visual Relationships with Deep Relational Networks
The Chinese University of Hong Kong(香港中文大学)
对象之间的关系在图像理解中起着至关重要的作用。尽管深度学习技术在识别单个对象方面取得了巨大成功,但推理对象之间的关系仍然是一项具有挑战性的任务。以前的方法通常将其视为分类问题,将每种类型的关系(例如“ride”)或每个不同的视觉短语(例如“person-ride-horse”)视为一个类别。这种方法面临着由每种关系的视觉外观的高度多样性或大量不同的视觉短语引起的重大困难。我们提出了一个综合框架来解决这个问题。该框架的核心是深度关系网络,这是一种专门用于利用对象及其关系之间的统计依赖关系的新公式。在两个大型数据集上,所提出的方法比现有技术有了很大的改进。
2017-04-12 cs.CV
Visual Social Relationship Recognition
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
社会关系是人类社会结构的基础。开发计算模型来从视觉数据中理解社会关系,对于构建能够在社会环境中更好地与人类互动的智能机器至关重要。在这项工作中,我们研究了图像中的视觉社会关系识别问题。我们提出了一个社会关系识别的双视线模型,其中第一眼注视感兴趣的人,第二眼部署注意力机制,以利用上下文线索。为了实现这项研究,我们策划了一个大规模的社会背景中的人(PISC)数据集,其中包括23,311张图像和79,244对带有注释的社会关系的人。由于视觉识别社会关系具有一定程度的不确定性,我们进一步提出了一个自适应焦点损失,利用模糊的注释,更有效的学习。我们进行了大量的实验,定量和定性地证明了我们提出的方法的有效性,这产生了最先进的性能社会关系识别。
2018-12-13 cs.CV
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park(马里兰大学帕克分校)
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和(subj,obj)对(语义和空间)之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系,但是由于视觉关系的语义空间巨大并且训练数据有限,特别是对于具有很少实例的长尾关系,因此使学习复杂化。为了克服这个问题,我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释(内部知识)和公开文本中挖掘来获得语言知识,例如,Wikipedia(外部知识),计算给定(subj,obj)对的谓词的条件概率分布。然后,我们将知识提取到深层模型中,以实现更好的泛化。我们在视觉关系检测(VRD)和视觉基因组数据集上的实验结果表明,通过这种语言知识蒸馏,我们的模型显著优于最先进的方法,特别是在预测看不见的关系(例如,在VRD zero-shot测试集上,召回率从8.45%提高到19.17%)。
2017-08-03 cs.CV
Where To Look? : Causal Tracing of Vision Encoders in VLM
Indian Institute of Technology Gandhinagar(印度甘地纳格尔印度理工学院)
本研究通过因果追踪方法,发现视觉语言模型的高因果性视觉标记常位于目标区域外,其强大多模态性能不代表存在空间定位因果表示,还揭示了视觉感知、利用与推理视觉结构的差距,提供了研究视觉信息处理的因果框架。
2026-08-12 cs.CV
Vision-Language Models for Vision Tasks: A Survey
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文系统综述了视觉语言模型(VLMs)在视觉识别任务中的应用,涵盖其背景、基础架构、数据集、预训练与迁移方法及未来方向,旨在解决传统范式依赖众包标注且需逐任务训练的痛点。
2024-02-16 cs.CV
MMRPT: MultiModal Reinforcement Pre-Training via Masked Vision-Dependent Reasoning
SenseTime(秒速科技)
MMRPT通过强化学习提升多模态预训练效果,利用视觉基础推理增强模型对视觉内容的理解能力。
2025-12-08 cs.CV
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
KAIST(韩国科学技术院)
本文提出基于视觉的主动视角选择方法,通过仅利用当前图像中的视觉信息来选择最有信息量的视角,从而提升视觉问答的性能和泛化能力。
2025-12-15 cs.CV
Benchmarking Omni-Vision Representation through the Lens of Visual Realms
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
虽然在特定的视觉领域(如人脸、狗和地点)已经取得了令人印象深刻的性能,但推广到许多自然视觉领域的全方位视觉表示是非常可取的。但是,现有的基准是有偏见的,效率低下,以评估全方位视觉表示-这些基准要么只包括几个特定的领域,或覆盖大多数领域的代价包含大量的数据集,具有广泛的领域重叠。在本文中,我们提出了Omni-Realm Benchmark(OmniBenchmark)。它包括21个领域数据集,包含7,372个概念和1,074,346个图像。这些数据集没有语义重叠,全面而有效地覆盖了大多数视觉领域。此外,我们提出了一个新的监督对比学习框架,即关系对比学习(ReCo),更好的全方位视觉表示。除了将来自同一概念的两个实例拉得更近(典型的监督对比学习框架)之外,ReCo还将来自同一语义领域的两个实例拉得更近,对概念之间的语义关系进行编码,并促进全视表示学习。我们在OmniBenchmark上对ReCo和其他全视表示研究的进展进行了基准测试,这些研究在体系结构(从CNN到Transformers)和学习范式(从监督学习到自监督学习)方面有所不同。我们说明了ReCo优于其他监督对比学习方法,并揭示了多个实际观察,以方便未来的研究。
2022-07-15 cs.CV
Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration
Stanford University(斯坦福大学)
本研究发现现有视觉令牌早期剪枝加速法存在图像顶部令牌过度剪枝的问题,且现有基准难以检测该缺陷,据此提出FEATHER多阶段剪枝方法,在同等计算节省下将定位基准性能提升5倍以上。
2025-07-31 cs.CV
On Class Imbalance and Background Filtering in Visual Relationship Detection
School of Computer Science University of Manchester(曼彻斯特大学计算机学院)
本文研究了视觉关系检测(VRD)中的类别不平衡和不相关关系问题。最先进的深度VRD模型仍然难以预测不常见的类,限制了它们的适用性。此外,许多方法在预测相关关系的同时不能适当地过滤掉背景关系。虽然这些问题非常明显,但它们迄今都被忽视了。我们分析了为什么会出现这种情况,并提出了修改模型和培训,以减轻上述问题,以及建议新的措施,以补充现有的,并给出一个更全面的图片模型的功效。
2019-03-21 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning
UCAS(中国科学技术大学);NUS(新加坡国立大学)
本文提出LLaVA-Meteor,采用自顶向下压缩范式,通过Flash全局融合模块和视觉原生选择机制,在12个基准上减少75-95%视觉令牌,实现高效视觉指令微调。
2025-05-22 cs.CV
Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Apertix
本文评估GPT-6 Astra等六个前沿通用系统在34项视觉能力上的表现,发现语义推理任务接近专用模型,而几何精度与保真感知仍具挑战。
2026-09-29 cs.CV
When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs
该研究针对视觉语言模型(VLM)海量视觉令牌导致推理成本高的问题,提出基于跨模态残差(CMR)的无训练压缩方法SIEVE,在LLaVA-NeXT-7B上仅保留11.1%视觉令牌,实现显著加速与缓存缩减且性能损失极小。
2026-08-12 cs.CV
Privacy Preserving Visual Question Answering
Amazon(亚马逊)
我们引入了一种新的隐私保护方法,用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景,使用低复杂度的计算机视觉模型,共同预测类,属性和谓词。这种符号表示是不可微的,这意味着它不能用于恢复原始图像,从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的(SOTA)视觉模型小25倍以上,比端到端SOTA VQA模型小100倍。我们报告详细的错误分析,并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
Input-Adaptive Visual Preprocessing for Efficient Fast Vision-Language Model Inference
Faculty of Computer Science, University of Brawijaya(计算机科学学院,布拉维亚大学)
本研究提出一种自适应视觉预处理方法,通过动态调整输入分辨率和空间覆盖,显著提升视觉语言模型的推理效率。
2025-12-23 cs.CV
Kernel-based Unsupervised Embedding Alignment for Enhanced Visual Representation in Vision-language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出一种基于核的无监督对齐方法,将CLIP视觉表示与DINOv2对齐,在保持文本兼容性的同时增强细粒度感知,并提升零样本识别、空间推理及下游MLLM性能。
2025-06-03 cs.CV
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University(约克大学)
最近,相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用,但它们的作用在很大程度上是未知的。在这里,我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题,我们重新审视了这些模型中的注意力公式,发现尽管名称如此,但在计算上,这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外,尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制,但视觉Transformer的纯前馈结构表明,这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果,我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明,自我注意模块组的数字在刺激的基础上相似的视觉特征,如颜色。此外,在一个单例检测实验的显着性检测的一个实例,我们研究了这些模型是否表现出类似的效果,前馈视觉显着性机制中利用人类的视觉注意。我们发现,一般来说,基于transformer的注意模块分配更多的显着性,无论是干扰或地面。总之,我们的研究表明,视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Zhongguancun Academy(中关村学院);Beihang University(北航);Zhongguancun Laboratory(中关村实验室);Southeast Academy of Information Technology, Beijing Institute of Technology(北京理工大学信息科学技术东南学院)
提出DV-SFT方法,通过为视觉令牌构建显式令牌级监督信号,利用OCR场景中的直接视觉-文本对应关系,在不修改模型架构或增加前向传播的情况下,显著提升多模态大语言模型的细粒度视觉理解能力。
2026-05-26 cs.CV
From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network
University of Science and Technology of China(中国科学技术大学);Huawei Cloud & AI(华为云与AI)
本文摒弃了占主导地位的复杂语言模型,重新思考场景文本识别中的语言学习过程。不同于以往的方法考虑视觉和语言信息在两个独立的结构,我们提出了一个视觉语言建模网络(VisionLAN),它认为视觉和语言信息作为一个联合体,直接与语言能力的视觉模型。特别地,我们在训练阶段引入了字符遮挡特征图的文本识别。这种操作指导视觉模型不仅使用字符的视觉纹理,而且还使用视觉上下文中的语言信息进行识别时,视觉线索混淆(例如,遮挡,噪声等)。由于语言信息与视觉特征一起获得,而不需要额外的语言模型,VisionLAN将速度显著提高了39%,并自适应地考虑语言信息,以增强视觉特征,从而实现准确识别。此外,一个遮挡场景文本(OST)数据集提出了评估的情况下,失踪的字符明智的视觉线索的性能。几个基准测试的最新结果证明了我们的有效性。代码和数据集可在https://github.com/wangyuxin87/VisionLAN上获得。
2021-08-22 cs.CV
GreedyPrune: Retenting Critical Visual Token Set for Large Vision Language Models
针对现有免训练视觉令牌剪枝方法难以兼顾语义显著性与视觉多样性的问题,提出即插即用的GreedyPrune算法,将剪枝建模为组合优化问题并用贪心算法求解,在多任务多模型上实现最优精度与更低推理延迟。
2025-06-16 cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Language and Visual Entity Relationship Graph for Agent Navigation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
视觉和语言导航(VLN)要求智能体在现实环境中遵循自然语言指令进行导航。从文本和视觉的角度来看,我们发现,场景之间的关系,它的对象,和方向线索是必不可少的代理解释复杂的指令,并正确地感知环境。为了捕捉和利用这些关系,我们提出了一种新的语言和视觉实体关系图,用于建模文本和视觉之间的模态间关系,以及视觉实体之间的模态内关系。我们提出了一种消息传递算法,用于在图形中的语言元素和视觉实体之间传播信息,然后将其结合起来以确定下一步要采取的行动。实验表明,通过利用的关系,我们能够改善国家的最先进的。在房间到房间(R2 R)的基准,我们的方法实现了新的最佳性能的测试看不见的分裂与成功率加权路径长度(SPL)的52%。在Room-for-Room(R4 R)数据集上,我们的方法在归一化动态时间规整(SDTW)加权的成功率上将之前的最佳值从13%显著提高到34%。代码可在:https://github.com/YicongHong/Entity-Graph-VLN.
2020-12-25 cs.CV