ViP-CNN: Visual Phrase Guided Convolutional Neural Network
The Chinese University of Hong Kong(香港中文大学);University of Sydney(悉尼大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
视觉关系检测作为连接图像描述和目标检测的中间层任务,以其描述能力强、结构清晰等特点开始受到研究者的关注。它检测对象并捕获它们与主谓宾三元组的成对交互,例如人-骑-马。在本文中,每个视觉关系被认为是一个短语的三个组成部分。我们制定的视觉关系检测为三个相互连接的识别问题,并提出了一个视觉短语引导的卷积神经网络(ViP-CNN),同时解决他们。在ViP-CNN中,我们提出了一个短语引导的消息传递结构(PMPS)来建立关系组件之间的连接,并帮助模型联合考虑这三个问题。提出了相应的非极大值抑制方法和模型训练策略。实验结果表明,我们的ViP-CNN在速度和准确性方面都优于最先进的方法。我们进一步在我们清理的Visual Genome Relationship数据集上预训练ViP-CNN,发现它比ImageNet上的预训练更好。
2017-04-10 cs.CV
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore(新加坡国立大学)
视觉关系检测旨在推理图像中显著对象之间的关系,近年来受到越来越多的关注。受人类推理机制的启发,人们认为外部视觉常识知识有利于图像中对象的视觉关系推理,但现有方法很少考虑这一点。在本文中,我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers(RVL-BERT),它执行关系推理与视觉和语言常识知识,通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外,我们的模型将目标检测从视觉关系识别中分离出来,直接采用对象名称,使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明,与转移的知识和新的模块,RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection
Google DeepMind(谷歌DeepMind);Technical University Munich(慕尼黑工业大学)
本文提出Scene-Graph ViT,一种免解码器的Transformer架构,通过隐式建模物体关系及注意力机制选择物体对,实现端到端开放词汇视觉关系检测,在Visual Genome和GQA上达到实时最先进性能。
2024-07-19 cs.CL cs.CV cs.LG
Improving Visual Relationship Detection using Semantic Modeling of Scene Descriptions
Siemens AG(西门子股份公司);Ludwig Maximilian University(路德维希-马克西米利安大学)
图像的结构化场景描述对于大型图像数据库的自动处理和查询非常有用。我们展示了如何结合语义和视觉统计模型,可以提高图像映射到其相关的场景描述的任务。在本文中,我们考虑的场景描述表示为一组三元组(主语,谓语,宾语),其中每个三元组包括一对视觉对象,出现在图像中,和它们之间的关系(例如,人骑大象,人戴帽子)。我们结合了一个标准的视觉模型的目标检测,基于卷积神经网络,与潜在变量模型的链接预测。我们应用多个国家的最先进的链接预测方法,并比较他们的视觉关系检测的能力。链接预测方法的主要优点之一是它们还可以推广到三元组,这在训练数据中从未观察到。我们的实验结果最近发表的斯坦福大学视觉关系数据集,一个具有挑战性的现实世界的数据集,表明使用链接预测方法的语义模型的集成可以显着提高视觉关系检测的结果。与斯坦福大学计算机视觉组的最先进方法相比,我们的组合方法实现了卓越的性能。
2018-09-01 cs.AI cs.CL cs.CV
A Modern Take on Visual Relationship Reasoning for Grasp Planning
Politecnico di Torino(都灵理工大学)
针对杂乱场景抓取规划,提出基于transformer的端到端依赖图生成模型D3G和新测试集D3GD,首次采用关系平均精度评估,实现最新技术水准。
2024-12-20 cs.CV cs.RO
Deep Variation-structured Reinforcement Learning for Visual Relationship and Attribute Detection
Carnegie Mellon University(卡内基梅隆大学)
尽管在诸如图像分类和检测之类的视觉感知任务方面取得了进展,但计算机仍然难以理解作为一个整体的场景中对象的相互依赖性,例如,对象或其属性之间的关系。现有的方法往往忽略了全局上下文线索捕捉不同对象实例之间的相互作用,只能识别少数类型,通过穷尽训练各个检测器的所有可能的关系。为了捕捉这种全局相互依赖性,我们提出了一个深度变分结构强化学习(VRL)框架,以顺序地发现整个图像中的对象关系和属性。首先,一个有向的语义动作图是建立使用语言先验提供一个丰富的和紧凑的表示对象类别,谓词和属性之间的语义相关性。接下来,我们在动作图上使用变分结构的遍历,根据当前状态和历史动作为每一步构建一个小的自适应动作集。特别是,一个歧义感知对象挖掘方案是用来解决对象检测器无法区分的对象类别之间的语义歧义。然后,我们使用深度RL框架进行顺序预测,将全局上下文线索和先前提取的短语的语义嵌入到状态向量中。我们在视觉关系检测(VRD)数据集和大规模视觉基因组数据集上的实验验证了VRL的优越性,它可以在涉及数千种关系和属性类型的数据集上获得更好的检测结果。我们还证明了VRL能够通过学习共享图节点上的相关性来预测嵌入在我们的动作图中的不可见类型。
2017-03-08 cs.AI cs.CV cs.LG
Towards Overcoming False Positives in Visual Relationship Detection
SenseTime Research(商汤科技研究院);Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);ByteDance AI Lab(字节跳动人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文研究了视觉关系检测(VRD)中高误报率的原因。我们观察到,在训练期间,关系提议分布是高度不平衡的:大多数负面关系提议很容易识别,例如,不准确的目标检测,从而导致低频下拟合困难的建议。本文提出了空间感知平衡负pRochosAmpling(SABRA),一个强大的VRD框架,消除假阳性的影响。为了有效地优化非均衡分布下的模型,SABRA采用了平衡负建议抽样(Balanced Negative Proposal Sampling,简称BSPs)策略进行小批量抽样。Bethesda将建议划分为5个定义良好的子类,并根据逆频率生成均衡的训练分布。BERRY提供了一个更简单的优化环境,并显着减少了误报的数量。为了进一步解决具有高空间模糊性的低频率挑战性误报建议,我们从两个方面改进了SABRA的空间建模能力:一个简单高效的多头异构图注意力网络(MH-GAT),用于建模对象的全局空间交互,以及一个学习局部空间配置的空间掩码解码器。SABRA在两个人-物交互(HOI)数据集和一个通用VRD数据集上的性能大大优于SOTA方法。
2020-12-24 cs.CV cs.LG
AVR: Attention based Salient Visual Relationship Detection
South China University of Technology(华南理工大学)
视觉关系检测的目的是定位图像中的对象,并识别对象之间的关系。传统的方法对图像中所有观察到的关系都一视同仁,这导致了在具有丰富视觉对象和各种关系的复杂图像上检测任务的性能相对较差。为了解决这个问题,我们提出了一个基于注意力的模型,即AVR,以实现显着的视觉关系的基础上,本地和全球范围内的关系。具体地说,AVR识别关系,并通过融合视觉特征,语义和空间信息的关系,在输入图像的本地上下文中测量对关系的关注。然后,AVR应用注意力来分配具有较大显著权重的重要关系,以进行有效的信息过滤。此外,AVR还结合了图像数据集全局上下文的先验知识,以提高关系预测的精度,其中上下文被建模为异构图,基于随机游走算法来度量关系的先验概率。在多个真实图像数据集上进行了全面的实验,结果表明,AVR在召回率方面明显优于最先进的视觉关系检测方法,最高可达$87.5\%$。
2020-03-16 cs.CV
VrR-VG: Refocusing Visually-Relevant Relationships
Xi’an Jiaotong University(西安交通大学);JD AI Research(京东人工智能研究院)
关系编码个体实例之间的交互,并且在深度视觉场景理解中起关键作用。由于非视觉信息的高可预测性,现有方法倾向于拟合统计偏差,而不是从图像中“学习”“推断”关系。为了鼓励视觉关系的进一步发展,我们提出了一种新的方法来自动挖掘更有价值的关系,修剪视觉无关的。基于Visual Genome构建了一个新的场景图数据集--视觉相关关系数据集(VrR-VG)。与现有数据集相比,VrR-VG中可学习方法和统计方法之间的性能差距更大,基于频率的分析不再起作用。此外,我们建议学习的关系感知表示,共同考虑的实例,属性和关系。通过应用在VrR-VG上学习的表征感知特征,图像描述和视觉问答的性能得到了系统的大幅度提高,这表明我们的数据集和特征嵌入方案的增益。VrR-VG可通过http://vrr-vg.com/获得。
2019-08-26 cs.CV
Tensor Composition Net for Visual Relationship Prediction
Nanjing University(南京大学);The University of Edinburgh(爱丁堡大学);Samsung AI Research Centre(三星人工智能研究中心)
我们提出了一种新的张量组合网络(TCN)来预测图像中的视觉关系。视觉关系预测(VRP)提供了一个更具挑战性的测试图像理解比传统的图像标记,是很难学习,由于一个大的标签空间和不完整的注释。我们的TCN的关键思想是利用视觉关系张量的低秩属性,以便利用对象和关系内部和之间的相关性,并对图像中的所有视觉关系进行结构化预测。为了展示我们的模型的有效性,我们首先将我们的模型与多标签图像分类(MLIC)方法、极限多标签分类(XMC)方法和VRD方法进行了实证比较。然后,我们表明,由于我们的张量(去)组成层,我们的模型可以预测在训练数据集中没有看到的视觉关系。最后,我们展示了我们的TCN的图像级视觉关系预测提供了一个简单而有效的机制,基于关系的图像检索,即使与VRD方法相比。
2022-02-09 cs.CV
Visual Relationship Detection with Language Priors
Stanford University(斯坦福大学)
视觉关系捕捉图像中成对对象之间的各种各样的交互(例如,“人骑自行车”和“人推自行车”)。因此,可能的关系的集合非常大,并且难以为所有可能的关系获得足够的训练样本。由于这种限制,以前的工作视觉关系检测集中在预测只有少数的关系。虽然大多数关系并不频繁,但它们的宾语(例如“man”和“bicycle”)和谓语(例如“riding”和“pushing”)独立出现的频率更高。我们提出了一个模型,使用这种洞察力,训练视觉模型的对象和谓词单独,后来将它们结合在一起,预测多个关系的图像。我们通过利用语义词嵌入的语言先验来微调预测关系的可能性,从而改进了先前的工作。我们的模型可以扩展到从几个例子中预测数千种类型的关系。此外,我们将预测关系中的对象定位为图像中的边界框。我们进一步证明,理解关系可以提高基于内容的图像检索。
2016-07-31 cs.CV
Natural Language Guided Visual Relationship Detection
Leibniz University Hanover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
图像中目标对之间关系的推理是整体场景理解的一项重要任务。现有的大多数工作把这个任务作为一个纯粹的视觉分类任务:每种类型的关系或短语被归类为一个关系类别的基础上提取的视觉特征。然而,每种关系都有各种各样的对象组合,每对对象都有不同的相互作用。为所有可能的关系类别获得足够的训练样本是困难和昂贵的。在这项工作中,我们提出了一个自然语言引导的框架来解决这个问题。我们提出使用一个通用的双向递归神经网络来预测参与对象之间的语义联系的关系,从自然语言的方面。所提出的简单方法在视觉关系检测(VRD)和视觉基因组数据集上实现了最先进的水平,特别是在预测看不见的关系时(例如,在VRD zero-shot测试集上的召回率从76.42%提高到89.79%)。
2017-11-21 cs.CV
Visual Relationship Detection with Language prior and Softmax
University of Science and Technology(科学技术大学);ETRI(韩国电子通信研究院)
视觉关系检测是一种中间图像理解任务,它检测两个对象并对解释图像中两个对象之间关系的谓词进行分类。这三个组成部分在语言和视觉上是相关的(例如,“穿”与“人”和“衬衫”相关,而“笔记本电脑”与“桌子”和“上”相关),因此,解决方案空间是巨大的,因为它们之间存在许多可能的情况。语言和视觉模块的开发和一个复杂的空间向量。在这项工作中的模型优于艺术状态,没有昂贵的语言知识蒸馏从一个大的文本语料库和建立复杂的损失函数。所有实验仅在视觉关系检测和视觉基因组数据集上进行评价。
2019-04-16 cs.CV
Shuffle-Then-Assemble: Learning Object-Agnostic Visual Relationship Features
Nanyang Technological University(南洋理工大学)
由于完全注释视觉关系是极其昂贵的事实,即,(obj 1,rel,obj 2)三元组关系模型不可避免地偏向于有限成对模式的对象类,导致对罕见或看不见的对象组合的泛化较差。因此,我们有兴趣学习对象不可知的视觉功能,更普遍的关系模型。通过“不可知”,我们的意思是该特征不太可能偏向于成对对象的类别。为了减轻偏差,我们提出了一种新的\texttt{Shuffle-Then-Assemble}预训练策略。首先,我们丢弃图像中所有的三元组关系注释,留下两个不成对的对象域,而不进行obj 1-obj 2对齐。然后,我们的特征学习是恢复可能的obj 1-obj 2对。特别是,我们设计了两个域之间的剩余转换的循环,以捕获共享的,但不是特定于对象的视觉模式。在两个视觉关系基准上进行的大量实验表明,通过使用我们预先训练的特征,朴素关系模型可以不断改进,甚至优于其他最先进的关系模型。代码已在以下网址提供:\url{https://github.com/yangxuntu/vrd}。
2018-08-01 cs.CV
Detecting Visual Relationships with Deep Relational Networks
The Chinese University of Hong Kong(香港中文大学)
对象之间的关系在图像理解中起着至关重要的作用。尽管深度学习技术在识别单个对象方面取得了巨大成功,但推理对象之间的关系仍然是一项具有挑战性的任务。以前的方法通常将其视为分类问题,将每种类型的关系(例如“ride”)或每个不同的视觉短语(例如“person-ride-horse”)视为一个类别。这种方法面临着由每种关系的视觉外观的高度多样性或大量不同的视觉短语引起的重大困难。我们提出了一个综合框架来解决这个问题。该框架的核心是深度关系网络,这是一种专门用于利用对象及其关系之间的统计依赖关系的新公式。在两个大型数据集上,所提出的方法比现有技术有了很大的改进。
2017-04-12 cs.CV
Visual Social Relationship Recognition
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
社会关系是人类社会结构的基础。开发计算模型来从视觉数据中理解社会关系,对于构建能够在社会环境中更好地与人类互动的智能机器至关重要。在这项工作中,我们研究了图像中的视觉社会关系识别问题。我们提出了一个社会关系识别的双视线模型,其中第一眼注视感兴趣的人,第二眼部署注意力机制,以利用上下文线索。为了实现这项研究,我们策划了一个大规模的社会背景中的人(PISC)数据集,其中包括23,311张图像和79,244对带有注释的社会关系的人。由于视觉识别社会关系具有一定程度的不确定性,我们进一步提出了一个自适应焦点损失,利用模糊的注释,更有效的学习。我们进行了大量的实验,定量和定性地证明了我们提出的方法的有效性,这产生了最先进的性能社会关系识别。
2018-12-13 cs.CV
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park(马里兰大学帕克分校)
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和(subj,obj)对(语义和空间)之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系,但是由于视觉关系的语义空间巨大并且训练数据有限,特别是对于具有很少实例的长尾关系,因此使学习复杂化。为了克服这个问题,我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释(内部知识)和公开文本中挖掘来获得语言知识,例如,Wikipedia(外部知识),计算给定(subj,obj)对的谓词的条件概率分布。然后,我们将知识提取到深层模型中,以实现更好的泛化。我们在视觉关系检测(VRD)和视觉基因组数据集上的实验结果表明,通过这种语言知识蒸馏,我们的模型显著优于最先进的方法,特别是在预测看不见的关系(例如,在VRD zero-shot测试集上,召回率从8.45%提高到19.17%)。
2017-08-03 cs.CV
On Class Imbalance and Background Filtering in Visual Relationship Detection
School of Computer Science University of Manchester(曼彻斯特大学计算机学院)
本文研究了视觉关系检测(VRD)中的类别不平衡和不相关关系问题。最先进的深度VRD模型仍然难以预测不常见的类,限制了它们的适用性。此外,许多方法在预测相关关系的同时不能适当地过滤掉背景关系。虽然这些问题非常明显,但它们迄今都被忽视了。我们分析了为什么会出现这种情况,并提出了修改模型和培训,以减轻上述问题,以及建议新的措施,以补充现有的,并给出一个更全面的图片模型的功效。
2019-03-21 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Language and Visual Entity Relationship Graph for Agent Navigation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
视觉和语言导航(VLN)要求智能体在现实环境中遵循自然语言指令进行导航。从文本和视觉的角度来看,我们发现,场景之间的关系,它的对象,和方向线索是必不可少的代理解释复杂的指令,并正确地感知环境。为了捕捉和利用这些关系,我们提出了一种新的语言和视觉实体关系图,用于建模文本和视觉之间的模态间关系,以及视觉实体之间的模态内关系。我们提出了一种消息传递算法,用于在图形中的语言元素和视觉实体之间传播信息,然后将其结合起来以确定下一步要采取的行动。实验表明,通过利用的关系,我们能够改善国家的最先进的。在房间到房间(R2 R)的基准,我们的方法实现了新的最佳性能的测试看不见的分裂与成功率加权路径长度(SPL)的52%。在Room-for-Room(R4 R)数据集上,我们的方法在归一化动态时间规整(SDTW)加权的成功率上将之前的最佳值从13%显著提高到34%。代码可在:https://github.com/YicongHong/Entity-Graph-VLN.
2020-12-25 cs.CV
Care about you: towards large-scale human-centric visual relationship detection
The University of Adelaide(阿德莱德大学)
视觉关系检测旨在捕捉图像中对象对之间的相互作用。对象和人之间的关系代表了这个问题的一个特别重要的子集,涉及到诸如理解人类行为和识别启示等挑战。为了解决这个问题,我们首先构建了一个大规模的以人为中心的视觉关系检测数据集(HCVRD),它提供了比以前发布的数据集更多类型的关系注释(近10K类别)。这个大的标签空间更好地反映了人与对象交互的现实,但会产生长尾分布问题,这反过来又需要一种zero-shot方法来处理只出现在测试集中的标签。这是第一次讨论这个问题。我们提出了一个网络监督的方法来解决这些问题,并证明了所提出的模型提供了一个强大的基线上我们的HCVRD数据集。
2017-05-28 cs.CV
Towards Flexible Visual Relationship Segmentation
Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视觉关系理解相关任务分散研究的问题,提出整合HOI检测、SGG、RR任务且支持开放词汇的FleVRS模型,利用多模态协同实现关系定位,在多数据集上性能优于现有模型。
2024-08-15 cs.CV
Not just a matter of semantics: the relationship between visual similarity and semantic similarity
Michael Stifel Center Jena(耶拿米夏埃尔·施蒂费尔中心);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
知识转移、零样本学习和语义图像检索是旨在通过利用例如来自WordNet的语义信息来提高准确性的方法。假设这些信息可以以标记的训练图像的形式增强或替换丢失的视觉数据,因为语义相似性与视觉相似性相关。这个假设可能看起来微不足道,但对于此类语义方法的应用至关重要。任何违规行为都可能导致错误预测。因此,对于特定的目标问题,检查视觉语义关系是很重要的。在本文中,我们使用五种不同的语义和视觉相似性度量来彻底分析关系,而不过分依赖于任何单一的定义。我们假设和验证三个高度重要的假设的关系。我们的研究结果表明,它确实存在,WordNet的语义相似性进行更多的信息,视觉相似性不仅仅是知识的“不同的类看起来不同”。他们认为,分类不是语义方法的理想应用,错误的语义信息比没有更糟糕。
2019-05-31 cs.CV
End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting
Beijing Institute of Technology(北京理工大学);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Shenzhen MSU-BIT University(深圳北理莫斯科大学);University of Rochester(罗切斯特大学)
针对开放词汇视频视觉关系检测中现有方法依赖预训练轨迹检测器导致泛化能力差的问题,提出端到端开放词汇框架,包含关系感知轨迹检测器和多模态提示分类器,提升了对新类别的泛化性能。
2025-04-12 cs.CV
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
2.5D Visual Relationship Detection
Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉2.5D感知涉及通过推理环境中相对于观看者的对象关系来理解场景的语义和几何。然而,现有的工作在视觉识别主要集中在语义。为了弥补这一差距,我们研究了2.5D视觉关系检测(2.5VRD),其目标是联合检测对象并预测它们的相对深度和遮挡关系。与一般的VRD不同,2.5VRD是以自我为中心的,使用相机的视点作为所有2.5D关系的共同参考。与深度估计不同,2.5VRD是以对象为中心的,不仅关注深度。为了使这项任务取得进展,我们创建了一个新的数据集,其中包含来自11K图像的512K对象之间的220K人类注释的2.5D关系。我们分析了这个数据集,并进行了广泛的实验,包括基准测试多个国家的最先进的VRD模型在这项任务。我们的研究结果表明,现有的模型在很大程度上依赖于语义线索和简单的算法来解决2.5VRD,激励进一步研究模型的2.5D感知。新的数据集可在www.example.com上获得。
2021-04-26 cs.CV
Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models
Xiamen University(厦门大学)
本研究提出R-Bench基准,系统评估大型视觉-语言模型中的关系幻觉,识别三种共现类型,并发现模型过度依赖常识而忽视视觉内容。
2024-07-18 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST(法国原子能与替代能源委员会 信息与技术系统实验室);CERMICS, Ecole des Ponts(巴黎路桥学院 数学与科学计算中心)
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时,捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此,我们提出了一个框架,该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法,我们观察到所有类别的视觉基因组,一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关,并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
METOR: A Unified Framework for Mutual Enhancement of Objects and Relationships in Open-vocabulary Video Visual Relationship Detection
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国)
针对开放词汇视频视觉关系检测中级联流程的误差传播问题,提出基于查询的统一框架METOR,通过CLIP上下文细化与对象-关系迭代增强实现联合建模,并在VidVRD和VidOR上达到最先进性能。
2025-05-10 cs.CV
Hallucinate, Ground, Repeat: A Framework for Generalized Visual Relationship Detection
Auburn University(奥本大学)
本文提出受EM启发的迭代视觉接地框架,用LLM生成候选关系并训练视觉模型对齐感知证据,同时构建含21个留出谓词的Visual Genome开放世界VRD基准,显著提升未见谓词泛化性能。
2025-06-06 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
Image classification by visual bag-of-words refinement and reduction
Renmin University of China(中国人民大学);Peking University(北京大学)
本文提出了一种新的框架视觉词袋(BOW)的细化和减少,以克服与视觉BOW模型已被广泛用于图像分类的缺点。虽然在文献中非常有影响力,但传统的视觉BOW模型有两个明显的缺点。首先,为了效率的目的,视觉词汇通常通过直接聚类从局部关键点提取的低级视觉特征向量来构建,而不考虑图像的高级语义。也就是说,视觉BOW模型仍然受到语义差距的影响,因此可能导致在更具挑战性的任务(例如,社交图像分类)中性能显著下降。其次,通常生成数千个视觉单词,以在相对较大的图像数据集上获得更好的性能。由于这样大的词汇量,后续的图像分类可能花费大量的时间。为了克服第一个缺点,我们开发了一个基于图形的方法,通过利用标签(易于访问,但嘈杂)的社会图像的视觉BOW细化。更值得注意的是,有效的图像分类,我们进一步减少了细化的视觉BOW模型,通过语义谱聚类到一个更小的尺寸。大量的实验结果表明,所提出的框架视觉BOW细化和减少有前途的性能。
2015-01-18 cs.CV
Interpretable Medical Image Visual Question Answering via Multi-Modal Relationship Graph Learning
The University of Texas Arlington(德克萨斯大学阿灵顿分校);RIKEN(理化学研究所);University of Tokyo(东京大学);National Cancer Center Research Institute(国立癌症中心研究所);National Library of Medicine - National Institutes of Health(美国国立卫生研究院国家医学图书馆);Temple University(天普大学)
医学视觉问答(VQA)旨在回答关于输入医学图像的临床相关问题。这项技术有可能提高医疗专业人员的效率,同时减轻公共卫生系统的负担,特别是在资源贫乏的国家。现有的医学VQA方法倾向于对医学图像进行编码,并学习视觉特征和问题之间的对应关系,而不利用它们背后的空间,语义或医学知识。这部分是因为目前的医疗VQA数据集规模较小,通常包括简单的问题。因此,我们首先收集了一个全面和大规模的医学VQA数据集,重点是胸部X射线图像。这些问题涉及详细的关系,例如我们数据集中的疾病名称,位置,水平和类型。基于此数据集,我们还提出了一种新的基线方法,通过构建三种不同的关系图:空间关系,语义关系,以及图像区域,问题和语义标签上的隐式关系图。针对不同的问题学习答案和图形推理路径。
2023-02-19 cs.CV
Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment
本文提出VisionDrop方法,通过视觉-only修剪框架减少LVLMs中的视觉标记,无需额外训练,提升推理效率并保持性能。
2026-02-28 cs.CV
On Exploring Undetermined Relationships for Visual Relationship Detection
Key Laboratory of Complex Systems Modeling and Simulation(复杂系统建模与仿真重点实验室);Hangzhou Dianzi University(杭州电子科技大学);University of Sydney(悉尼大学)
在视觉关系检测中,人类标记的关系可以被视为确定关系。然而,仍然存在大量未标记的数据,例如具有不太重要的关系甚至没有关系的对象对。我们将这些未标记但可能有用的数据称为未确定的关系。虽然大量的文献存在,很少有方法利用这些不确定的关系的视觉关系检测。在本文中,我们探讨了视觉关系检测的未确定的关系的有益影响。我们提出了一种新的基于多模态特征的不确定关系学习网络(MF-URLN),并在关系检测方面取得了很大的进步。详细地说,我们的MF-URLN自动生成不确定的关系,通过比较对象对与人类标注的数据,根据设计的标准。然后,MF-URLN提取和融合三个互补的情态动词:视觉,空间和语言情态动词的对象对的特征。此外,MF-URLN提出了两个相关的子网络:一个子网络决定确定的信心,和其他预测的关系。我们在两个数据集上评估MF-URLN:视觉关系检测(VRD)和视觉基因组(VG)数据集。与现有方法相比,实验结果验证了未确定关系的显著改进,例如,在VRD数据集上,前50个关系检测召回率从19.5%提高到23.9%。
2019-05-05 cs.CV cs.LG
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能中最具挑战性的任务之一,其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而,这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中,我们探索显式和隐式的视觉关系,以丰富区域级表示的图像描述。具体地说,我们在对象对上构建语义图,并利用门控图卷积网络(Gated GCN)选择性地聚合局部邻居的信息。隐含地,我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers(区域BERT)没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性,我们进行了广泛的实验在Microsoft COCO基准,并取得显着的改善相比,强大的基线。
2021-05-06 cs.CV
Adaptive Visual Token Reduction for Accelerated Image Understanding
Jeonbuk National University(全北国立大学);Korea Institute of Industrial Technology (KITECH)(韩国生产技术研究院);Chung-Ang University(中央大学)
ReFIT框架通过指令引导的窗口重塑与令牌细化,在降低计算成本的同时提升视觉问答准确性。
2026-10-08 cs.CV
Visual Relationship Detection Using Part-and-Sum Transformers with Composite Queries
Amazon Web Services(亚马逊云服务)
计算机视觉应用,如视觉关系检测和人机交互,可以被公式化为一个复合(结构化)集检测问题,其中的部分(主体,对象和谓词)和总和(作为一个整体的三元组)都要以分层的方式进行检测。在本文中,我们提出了一种新的方法,表示部分和总和检测Transformer(PST),进行端到端的视觉复合集检测。不同于现有的Transformers中的查询是在一个单一的水平,我们同时建模的联合部分和总和假设/与复合查询和注意模块的相互作用。我们显式地将和查询,使更好地建模的部分和总和的关系,是在标准的Transformers。我们的方法还使用了新的基于张量的部分查询和基于向量的和查询,并模拟他们的联合互动。我们报告两个视觉任务,视觉关系检测和人类对象交互的实验,并证明PST实现单阶段模型之间的最先进的结果,而几乎匹配的定制设计的两阶段模型的结果。
2021-08-19 cs.CV
Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs
该研究针对VLMs的语义漂移问题,提出无训练的CaRe框架,通过两个互补模块校准视觉表示,在剪枝94.4%视觉令牌时保留96.4%原性能,使推理速度提升最高2.30倍。
2026-07-31 cs.CV
DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
Monash University(墨尔本大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
针对视觉关系识别中的长尾分布问题,提出DiffAugment方法,利用WordNet和扩散模型增强尾部类别的文本与视觉表示,并引入难度感知组件和基于主客体的种子策略,有效提升了尾部类别的平均准确率。
2024-03-01 cs.CV
Relatable Clothing: Detecting Visual Relationships between People and Clothing
University of Calgary(卡尔加里大学)
在计算机视觉和生物识别领域中,检测图像中人与衣服之间的视觉关系一直是相对未探索的问题。由于缺乏现成的“磨损”和"未磨损“分类的公共数据集,减缓了解决这一问题的方案的制定。我们提出了发布的相关服装数据集,其中包含35287人服装对和分割面具的发展“穿”和“unworn”分类模型。此外,我们提出了一种新的软注意力单元,用于使用深度神经网络进行“磨损”和"未磨损“分类。所提出的软注意力模型具有向上的$98.55\% \pm 0.35\%$的准确性的相关的服装数据集,并表现出高概括性,使我们能够分类看不见的衣服,如高能见度背心“穿”或"不穿“。
2020-07-20 cs.CV
BLOCK: Bilinear Superdiagonal Fusion for Visual Question Answering and Visual Relationship Detection
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Heuritech(赫瑞泰克公司);Conservatoire National des Arts et Métiers(法国国立工艺学院)
多模态表示学习在深度学习社区中越来越受到关注。虽然双线性模型提供了一个有趣的框架来找到模态的微妙组合,但它们的参数数量随着输入维度的平方增长,使得它们在经典深度学习管道中的实际实现具有挑战性。在本文中,我们介绍了块,一个新的多模态融合的块超对角张量分解的基础上。它利用了块项秩的概念,该概念概括了张量的秩和模式秩的概念,已经用于多模态融合。它允许定义新的方法来优化融合模型的表达能力和复杂性之间的权衡,并且能够表示模态之间非常精细的交互,同时保持强大的单模态表示。我们证明了我们的融合模型的实际利益,通过使用块两个具有挑战性的任务:视觉问答(VQA)和视觉关系检测(VRD),在那里我们设计端到端的可学习的架构,代表相关的模态之间的相互作用。通过大量的实验,我们表明,块比较有利的VQA和VRD任务的最先进的多模态融合模型。我们的代码可在https://github.com/Cadene/block.bootstrap.pytorch上获得。
2019-02-12 cs.CV
Are All Tokens Necessary for Visual Place Recognition? An Empirical Study of Token Reduction for Efficient Inference
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
研究视觉场所识别中是否所有令牌都必要,提出首个令牌约简系统基准,在多模型和数据集上评估多种方法,从多视角研究令牌约简,揭示其特性及精度与效率权衡见解,为相关研究奠定基础。
2026-07-20 cs.CV
Neural Message Passing for Visual Relationship Detection
Cooperative Medianet Innovation Center(协同媒体网络创新中心);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
视觉关系检测的目的是检测图像中的对象之间的相互作用,然而,由于对象和相互作用的多样性,该任务遭受组合爆炸。由于与同一对象相关的交互是依赖的,我们探索的依赖关系的相互作用,以减少搜索空间。我们显式地建模对象和交互的交互图,然后提出了一个消息传递风格的算法来传播上下文信息。因此,我们将所提出的方法称为神经消息传递(NMP)。我们进一步整合语言先验和空间线索,以排除不切实际的相互作用和捕捉空间的相互作用。在两个基准数据集上的实验结果证明了该方法的优越性。我们的代码可在https://github.com/PhyllisH/NMP上获得。
2022-08-08 cs.CV
Video Relationship Reasoning using Gated Spatio-Temporal Energy Graph
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
视觉关系推理是理解视觉概念之间丰富交互的一项重要而具有挑战性的任务。例如,关系“man,open,door”涉及具体实体“man,door”之间的复杂关系“open”。虽然大部分现有的工作已经在静态图像的背景下研究了这个问题,但对视频中视觉关系的理解受到了有限的关注。由于其时间性质,视频使我们能够对更全面的视觉关系集进行建模和推理,例如需要多个(时间)观察的那些(例如,“man,lift up,box”对“man,put down,box”),以及通常随时间相关的关系(例如,“女人,付钱,钱”,后面跟着“女人,买,咖啡”)。在本文中,我们构建了一个条件随机场上的完全连接的时空图,利用空间和时间的关系实体之间的统计依赖。我们介绍了一种新的门控能量函数参数化,学习自适应关系的视觉观察。我们的模型优化是计算效率高,其空间计算复杂性显着摊销通过我们提出的参数化。在基准视频数据集(ImageNet Video和Charades)上的实验结果展示了三个标准关系推理任务的最新性能:检测,标记和识别。
2019-03-27 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology(瑞典皇家理工学院)
视觉关系检测是整体图像理解的基础。然而,定位和分类(主语,谓语,宾语)三元组仍然具有挑战性的任务,由于可能的关系,其长尾分布在自然图像中的组合爆炸,和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法,依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类,隐式地对成对关系的归纳偏差进行编码。然后,我们框架的关系检测作为这样的谓词分类器的解释,即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集:HICO-DET的人与对象的交互,视觉关系检测的通用对象到对象的关系,和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
Constructing a Visual Relationship Authenticity Dataset
Osaka University(大阪大学)
视觉关系表示图像中两个对象之间的关系,可以表示为(主语;谓语;宾语)的三元组。视觉关系检测是图像中场景理解的关键。现有的视觉关系检测数据集只包含正确描述图像内容的真实关系。然而,区分虚假视觉关系与真实视觉关系对于图像理解和基础自然语言处理也是至关重要的。在本文中,我们构建了一个视觉关系的真实性数据集,其中出现在Flickr 30 k实体图像标题数据集中的标题中的所有对象之间的真假关系都被注释。该数据集可在https://github.com/codecreator2053/VR_ClassifiedDataset上获得。我们希望这个数据集能促进视觉和语言理解的研究。
2020-10-11 cs.AI cs.CL cs.CV
Large-Scale Visual Relationship Understanding
Facebook Research(脸书研究院);Rutgers University(罗格斯大学)
大规模的视觉理解是具有挑战性的,因为它需要一个模型来处理<主体,关系,对象>三元组的广泛分布和不平衡分布。在具有大量对象和关系的真实世界场景中,一些非常常见,而另一些则几乎看不到。我们开发了一个新的关系检测模型,将对象和关系嵌入到两个向量空间中,保留了区分能力和语义亲和力。我们学习了一个视觉和语义模块,将两种模态的特征映射到一个共享空间中,在这个空间中,匹配的特征对必须区分那些不匹配的特征,但也要保持与语义相似的特征的近距离。受益于此,即使视觉实体类别扩展到80,000以上,我们的模型也可以实现卓越的性能,并且具有非常偏斜的类分布。我们展示了我们的模型在基于Visual Genome的大型不平衡基准上的有效性,该基准包括53,000多个对象和29,000多个关系,这是以前从未评估过的规模。我们在原始Visual Genome数据集上展示了我们的模型优于精心设计的基线,其中包含80,000多个类别。我们还展示了VRD数据集和场景图数据集的最新性能,场景图数据集是Visual Genome的一个子集,包含200个类别。
2019-08-16 cs.CV
Difficulty in estimating visual information from randomly sampled images
Tokyo Metropolitan University(东京都立大学)
在本文中,我们评估降维方法在估计视觉信息的原始图像从降维的困难。近年来,降维作为一种不仅能减少随机变量数量,而且能保护视觉信息以用于隐私保护机器学习的过程而受到关注。由于这样的原因,在估计视觉信息的困难进行了讨论。特别是,提出了隐私保护机器学习的随机抽样方法,与典型的降维方法进行了比较。在一个图像分类实验中,证明了随机抽样方法不仅具有较高的分类难度,而且与其他降维方法相当,同时保持了空间信息不变性。
2020-12-16 cs.CV
One-to-Many Network for Visually Pleasing Compression Artifacts Reduction
Sun Yat-sen University(中山大学);SYSU-CMU Shunde International Joint Research Institute(中山大学-卡内基梅隆大学顺德国际联合研究院)
我们考虑压缩伪影减少问题,其中压缩图像被变换成无伪影图像。用于该问题的最近方法通常使用输出与地面实况之间的每像素$L_2$损失来训练一对一映射。我们指出,这些方法用于产生过度平滑的结果,和PSNR并不能反映他们的真实性能。在本文中,我们提出了一个一对多网络,它使用感知损失,自然度损失和JPEG损失来衡量输出质量。我们还避免了网格状文物在反卷积使用“移位和平均”的策略。广泛的实验结果表明,我们的方法在艺术状态的戏剧性的视觉改善。
2017-04-11 cs.CV
Agent-Centric Relation Graph for Object Visual Navigation
Beijing Jiaotong University(北京交通大学)
针对物体视觉导航,本文提出以智能体为中心的关系图ACRG,通过OHRG和ATDRG建模物体水平关系及智能体与目标距离关系,并在AI2-THOR中显著超越现有方法。
2023-08-21 cs.CV
XR-VLM: Cross-Relationship Modeling with Multi-part Prompts and Visual Features for Fine-Grained Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出XR-VLM方法,通过多部分视觉特征提取、多部分提示学习及跨关系建模,增强视觉-语言模型在细粒度识别中捕捉细微判别特征的能力,并在多个数据集上取得显著提升。
2025-03-10 cs.CV
Better Understanding Hierarchical Visual Relationship for Image Caption
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)(中国科学院智能信息处理重点实验室);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
卷积神经网络(CNN)多年来一直是计算机视觉中占主导地位的图像特征提取器。然而,它没有得到图像/对象之间的关系和它们的层次相互作用,这可以帮助表示和描述一个图像。在本文中,我们提出了一种新的设计下的通用编码器-解码器框架的图像字幕。它考虑了图像及其边界框中视觉信息的不同抽象层次之间的层次交互。具体来说,我们提出了CNN加上图卷积网络(GCN)架构,新颖地将语义和空间视觉关系集成到图像编码器中。通过GCN利用图结构来细化图像中区域的表示和图像之间的连接。有了学习到的多级特征,我们的模型利用基于transformer的解码器来生成描述。我们在COCO图像描述数据集上进行了实验。评估表明,我们提出的模型优于以前的国家的最先进的模型在图像标题的任务,导致更好的性能方面的所有评价指标。
2019-12-04 cs.CV