VrR-VG: Refocusing Visually-Relevant Relationships
Xi’an Jiaotong University(西安交通大学);JD AI Research(京东人工智能研究院)
关系编码个体实例之间的交互,并且在深度视觉场景理解中起关键作用。由于非视觉信息的高可预测性,现有方法倾向于拟合统计偏差,而不是从图像中“学习”“推断”关系。为了鼓励视觉关系的进一步发展,我们提出了一种新的方法来自动挖掘更有价值的关系,修剪视觉无关的。基于Visual Genome构建了一个新的场景图数据集--视觉相关关系数据集(VrR-VG)。与现有数据集相比,VrR-VG中可学习方法和统计方法之间的性能差距更大,基于频率的分析不再起作用。此外,我们建议学习的关系感知表示,共同考虑的实例,属性和关系。通过应用在VrR-VG上学习的表征感知特征,图像描述和视觉问答的性能得到了系统的大幅度提高,这表明我们的数据集和特征嵌入方案的增益。VrR-VG可通过http://vrr-vg.com/获得。
2019-08-26 cs.CV
Natural Language Guided Visual Relationship Detection
Leibniz University Hanover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
图像中目标对之间关系的推理是整体场景理解的一项重要任务。现有的大多数工作把这个任务作为一个纯粹的视觉分类任务:每种类型的关系或短语被归类为一个关系类别的基础上提取的视觉特征。然而,每种关系都有各种各样的对象组合,每对对象都有不同的相互作用。为所有可能的关系类别获得足够的训练样本是困难和昂贵的。在这项工作中,我们提出了一个自然语言引导的框架来解决这个问题。我们提出使用一个通用的双向递归神经网络来预测参与对象之间的语义联系的关系,从自然语言的方面。所提出的简单方法在视觉关系检测(VRD)和视觉基因组数据集上实现了最先进的水平,特别是在预测看不见的关系时(例如,在VRD zero-shot测试集上的召回率从76.42%提高到89.79%)。
2017-11-21 cs.CV
Visual Relationship Detection with Language prior and Softmax
University of Science and Technology(科学技术大学);ETRI(韩国电子通信研究院)
视觉关系检测是一种中间图像理解任务,它检测两个对象并对解释图像中两个对象之间关系的谓词进行分类。这三个组成部分在语言和视觉上是相关的(例如,“穿”与“人”和“衬衫”相关,而“笔记本电脑”与“桌子”和“上”相关),因此,解决方案空间是巨大的,因为它们之间存在许多可能的情况。语言和视觉模块的开发和一个复杂的空间向量。在这项工作中的模型优于艺术状态,没有昂贵的语言知识蒸馏从一个大的文本语料库和建立复杂的损失函数。所有实验仅在视觉关系检测和视觉基因组数据集上进行评价。
2019-04-16 cs.CV
A Problem Reduction Approach for Visual Relationships Detection
识别不同的对象(人和杯子)本身就是一个重要的问题,但是识别它们之间的关系(拿着)对于许多现实世界的用例来说是至关重要的。本文描述了一种将视觉关系检测问题简化为目标检测问题的方法。该方法被应用于Google AI Open Images V4 Visual Relationship Track Challenge,该挑战赛与2018年欧洲计算机视觉会议(ECCV 2018)联合举办,并最终获奖。挑战在于建立一种算法,检测特定关系中的成对对象:比如“女人弹吉他”、“桌上的啤酒”或“车里的狗”。".
2018-09-26 cs.CV
Shuffle-Then-Assemble: Learning Object-Agnostic Visual Relationship Features
Nanyang Technological University(南洋理工大学)
由于完全注释视觉关系是极其昂贵的事实,即,(obj 1,rel,obj 2)三元组关系模型不可避免地偏向于有限成对模式的对象类,导致对罕见或看不见的对象组合的泛化较差。因此,我们有兴趣学习对象不可知的视觉功能,更普遍的关系模型。通过“不可知”,我们的意思是该特征不太可能偏向于成对对象的类别。为了减轻偏差,我们提出了一种新的\texttt{Shuffle-Then-Assemble}预训练策略。首先,我们丢弃图像中所有的三元组关系注释,留下两个不成对的对象域,而不进行obj 1-obj 2对齐。然后,我们的特征学习是恢复可能的obj 1-obj 2对。特别是,我们设计了两个域之间的剩余转换的循环,以捕获共享的,但不是特定于对象的视觉模式。在两个视觉关系基准上进行的大量实验表明,通过使用我们预先训练的特征,朴素关系模型可以不断改进,甚至优于其他最先进的关系模型。代码已在以下网址提供:\url{https://github.com/yangxuntu/vrd}。
2018-08-01 cs.CV
Detecting Visual Relationships with Deep Relational Networks
The Chinese University of Hong Kong(香港中文大学)
对象之间的关系在图像理解中起着至关重要的作用。尽管深度学习技术在识别单个对象方面取得了巨大成功,但推理对象之间的关系仍然是一项具有挑战性的任务。以前的方法通常将其视为分类问题,将每种类型的关系(例如“ride”)或每个不同的视觉短语(例如“person-ride-horse”)视为一个类别。这种方法面临着由每种关系的视觉外观的高度多样性或大量不同的视觉短语引起的重大困难。我们提出了一个综合框架来解决这个问题。该框架的核心是深度关系网络,这是一种专门用于利用对象及其关系之间的统计依赖关系的新公式。在两个大型数据集上,所提出的方法比现有技术有了很大的改进。
2017-04-12 cs.CV
Visual Social Relationship Recognition
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
社会关系是人类社会结构的基础。开发计算模型来从视觉数据中理解社会关系,对于构建能够在社会环境中更好地与人类互动的智能机器至关重要。在这项工作中,我们研究了图像中的视觉社会关系识别问题。我们提出了一个社会关系识别的双视线模型,其中第一眼注视感兴趣的人,第二眼部署注意力机制,以利用上下文线索。为了实现这项研究,我们策划了一个大规模的社会背景中的人(PISC)数据集,其中包括23,311张图像和79,244对带有注释的社会关系的人。由于视觉识别社会关系具有一定程度的不确定性,我们进一步提出了一个自适应焦点损失,利用模糊的注释,更有效的学习。我们进行了大量的实验,定量和定性地证明了我们提出的方法的有效性,这产生了最先进的性能社会关系识别。
2018-12-13 cs.CV
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park(马里兰大学帕克分校)
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和(subj,obj)对(语义和空间)之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系,但是由于视觉关系的语义空间巨大并且训练数据有限,特别是对于具有很少实例的长尾关系,因此使学习复杂化。为了克服这个问题,我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释(内部知识)和公开文本中挖掘来获得语言知识,例如,Wikipedia(外部知识),计算给定(subj,obj)对的谓词的条件概率分布。然后,我们将知识提取到深层模型中,以实现更好的泛化。我们在视觉关系检测(VRD)和视觉基因组数据集上的实验结果表明,通过这种语言知识蒸馏,我们的模型显著优于最先进的方法,特别是在预测看不见的关系(例如,在VRD zero-shot测试集上,召回率从8.45%提高到19.17%)。
2017-08-03 cs.CV
On Class Imbalance and Background Filtering in Visual Relationship Detection
School of Computer Science University of Manchester(曼彻斯特大学计算机学院)
本文研究了视觉关系检测(VRD)中的类别不平衡和不相关关系问题。最先进的深度VRD模型仍然难以预测不常见的类,限制了它们的适用性。此外,许多方法在预测相关关系的同时不能适当地过滤掉背景关系。虽然这些问题非常明显,但它们迄今都被忽视了。我们分析了为什么会出现这种情况,并提出了修改模型和培训,以减轻上述问题,以及建议新的措施,以补充现有的,并给出一个更全面的图片模型的功效。
2019-03-21 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Language and Visual Entity Relationship Graph for Agent Navigation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
视觉和语言导航(VLN)要求智能体在现实环境中遵循自然语言指令进行导航。从文本和视觉的角度来看,我们发现,场景之间的关系,它的对象,和方向线索是必不可少的代理解释复杂的指令,并正确地感知环境。为了捕捉和利用这些关系,我们提出了一种新的语言和视觉实体关系图,用于建模文本和视觉之间的模态间关系,以及视觉实体之间的模态内关系。我们提出了一种消息传递算法,用于在图形中的语言元素和视觉实体之间传播信息,然后将其结合起来以确定下一步要采取的行动。实验表明,通过利用的关系,我们能够改善国家的最先进的。在房间到房间(R2 R)的基准,我们的方法实现了新的最佳性能的测试看不见的分裂与成功率加权路径长度(SPL)的52%。在Room-for-Room(R4 R)数据集上,我们的方法在归一化动态时间规整(SDTW)加权的成功率上将之前的最佳值从13%显著提高到34%。代码可在:https://github.com/YicongHong/Entity-Graph-VLN.
2020-12-25 cs.CV
Care about you: towards large-scale human-centric visual relationship detection
The University of Adelaide(阿德莱德大学)
视觉关系检测旨在捕捉图像中对象对之间的相互作用。对象和人之间的关系代表了这个问题的一个特别重要的子集,涉及到诸如理解人类行为和识别启示等挑战。为了解决这个问题,我们首先构建了一个大规模的以人为中心的视觉关系检测数据集(HCVRD),它提供了比以前发布的数据集更多类型的关系注释(近10K类别)。这个大的标签空间更好地反映了人与对象交互的现实,但会产生长尾分布问题,这反过来又需要一种zero-shot方法来处理只出现在测试集中的标签。这是第一次讨论这个问题。我们提出了一个网络监督的方法来解决这些问题,并证明了所提出的模型提供了一个强大的基线上我们的HCVRD数据集。
2017-05-28 cs.CV
Towards Flexible Visual Relationship Segmentation
Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视觉关系理解相关任务分散研究的问题,提出整合HOI检测、SGG、RR任务且支持开放词汇的FleVRS模型,利用多模态协同实现关系定位,在多数据集上性能优于现有模型。
2024-08-15 cs.CV
Detecting Visual Relationships Using Box Attention
Google Research(谷歌研究院);IST Austria(奥地利科学技术研究所)
我们提出了一个新的模型来检测视觉关系,如“人骑摩托车”或“瓶子在桌子上”。这项任务是实现全面结构化图像理解的重要一步,超越了检测单个对象。我们的主要新颖性是一个框注意力机制,允许使用标准的目标检测管道对象之间的成对交互模型。由此产生的模型在概念上是干净的,有表现力的,并依赖于合理的训练和预测程序。此外,与以前提出的方法不同,我们的模型不会在底层检测模型已经需要的那些组件或超参数之上引入任何额外的复杂组件或超参数。我们对三个具有挑战性的数据集,V-COCO,视觉关系和开放图像进行了实验评估,展示了强大的定量和定性结果。
2019-05-02 cs.CV
End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting
Beijing Institute of Technology(北京理工大学);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Shenzhen MSU-BIT University(深圳北理莫斯科大学);University of Rochester(罗切斯特大学)
针对开放词汇视频视觉关系检测中现有方法依赖预训练轨迹检测器导致泛化能力差的问题,提出端到端开放词汇框架,包含关系感知轨迹检测器和多模态提示分类器,提升了对新类别的泛化性能。
2025-04-12 cs.CV
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
Learning Effective Visual Relationship Detector on 1 GPU
Layer6 AI(Layer6人工智能公司)
我们为Open Images 2019 Visual Relationship挑战赛提供获奖解决方案。这是迄今为止同类挑战中最大的挑战,有近900万张训练图像。挑战任务包括在复杂场景中检测对象并识别它们之间的关系。我们的解决方案有三个阶段,第一个目标检测模型是微调的挑战类使用一种新的权重转移方法。然后,在候选对象对上训练空间语义和视觉关系模型。最后,特征和模型预测被组合以生成最终的关系预测。在整个挑战过程中,我们专注于最大限度地降低架构的硬件要求。具体来说,我们的权重转移方法可以实现更快的优化,允许整个架构在两天内在单个GPU上进行训练。除了高效的优化,我们的方法还实现了卓越的准确性,在200多个团队中赢得了第一名,并在私人排行榜上以超过$5\%$的成绩超过了第二名。
2019-12-12 cs.CV
2.5D Visual Relationship Detection
Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉2.5D感知涉及通过推理环境中相对于观看者的对象关系来理解场景的语义和几何。然而,现有的工作在视觉识别主要集中在语义。为了弥补这一差距,我们研究了2.5D视觉关系检测(2.5VRD),其目标是联合检测对象并预测它们的相对深度和遮挡关系。与一般的VRD不同,2.5VRD是以自我为中心的,使用相机的视点作为所有2.5D关系的共同参考。与深度估计不同,2.5VRD是以对象为中心的,不仅关注深度。为了使这项任务取得进展,我们创建了一个新的数据集,其中包含来自11K图像的512K对象之间的220K人类注释的2.5D关系。我们分析了这个数据集,并进行了广泛的实验,包括基准测试多个国家的最先进的VRD模型在这项任务。我们的研究结果表明,现有的模型在很大程度上依赖于语义线索和简单的算法来解决2.5VRD,激励进一步研究模型的2.5D感知。新的数据集可在www.example.com上获得。
2021-04-26 cs.CV
Unified Visual Relationship Detection with Vision and Language Models
Google Research(谷歌研究院)
针对多数据集标签体系不一致导致视觉关系检测难统一的问题,提出基于VLM的自底向上UniVRD方法,在HICO-DET等任务上性能优异,可媲美单数据集模型且扩模后效果更佳。
2023-08-21 cs.CV
Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models
Xiamen University(厦门大学)
本研究提出R-Bench基准,系统评估大型视觉-语言模型中的关系幻觉,识别三种共现类型,并发现模型过度依赖常识而忽视视觉内容。
2024-07-18 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST(法国原子能与替代能源委员会 信息与技术系统实验室);CERMICS, Ecole des Ponts(巴黎路桥学院 数学与科学计算中心)
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时,捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此,我们提出了一个框架,该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法,我们观察到所有类别的视觉基因组,一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关,并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
METOR: A Unified Framework for Mutual Enhancement of Objects and Relationships in Open-vocabulary Video Visual Relationship Detection
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国)
针对开放词汇视频视觉关系检测中级联流程的误差传播问题,提出基于查询的统一框架METOR,通过CLIP上下文细化与对象-关系迭代增强实现联合建模,并在VidVRD和VidOR上达到最先进性能。
2025-05-10 cs.CV
Hallucinate, Ground, Repeat: A Framework for Generalized Visual Relationship Detection
Auburn University(奥本大学)
本文提出受EM启发的迭代视觉接地框架,用LLM生成候选关系并训练视觉模型对齐感知证据,同时构建含21个留出谓词的Visual Genome开放世界VRD基准,显著提升未见谓词泛化性能。
2025-06-06 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale
我们提出了Open Images V4,这是一个包含920万张图像的数据集,具有用于图像分类、目标检测和视觉关系检测的统一注释。这些图片有一个知识共享署名许可证,允许分享和改编材料,它们是从Flickr收集的,没有预先定义的类名或标签列表,从而产生自然的类统计数据,避免了最初的设计偏见。Open Images V4提供了跨多个维度的大规模:3010万个图像级标签用于1980万个概念,1540万个边界框用于600个对象类,以及3750万个涉及57个类的视觉关系注释。特别是对于目标检测,我们提供的边界框比下一个最大的数据集(190万张图像上的1540万个框)多15倍。图像通常显示具有多个对象的复杂场景(平均每个图像8个注释对象)。我们标注了它们之间的视觉关系,这支持视觉关系检测,一个新兴的任务,需要结构化推理。我们提供了关于数据集的深入全面的统计数据,我们验证了注释的质量,我们研究了几种现代模型的性能如何随着训练数据的增加而变化,我们展示了两种应用程序,它们可以通过在同一图像中共存多种类型的统一注释来实现。我们希望Open Images V4的规模、质量和多样性将促进进一步的研究和创新,甚至超越图像分类、目标检测和视觉关系检测的领域。
2020-02-21 cs.CV
Interpretable Medical Image Visual Question Answering via Multi-Modal Relationship Graph Learning
The University of Texas Arlington(德克萨斯大学阿灵顿分校);RIKEN(理化学研究所);University of Tokyo(东京大学);National Cancer Center Research Institute(国立癌症中心研究所);National Library of Medicine - National Institutes of Health(美国国立卫生研究院国家医学图书馆);Temple University(天普大学)
医学视觉问答(VQA)旨在回答关于输入医学图像的临床相关问题。这项技术有可能提高医疗专业人员的效率,同时减轻公共卫生系统的负担,特别是在资源贫乏的国家。现有的医学VQA方法倾向于对医学图像进行编码,并学习视觉特征和问题之间的对应关系,而不利用它们背后的空间,语义或医学知识。这部分是因为目前的医疗VQA数据集规模较小,通常包括简单的问题。因此,我们首先收集了一个全面和大规模的医学VQA数据集,重点是胸部X射线图像。这些问题涉及详细的关系,例如我们数据集中的疾病名称,位置,水平和类型。基于此数据集,我们还提出了一种新的基线方法,通过构建三种不同的关系图:空间关系,语义关系,以及图像区域,问题和语义标签上的隐式关系图。针对不同的问题学习答案和图形推理路径。
2023-02-19 cs.CV
Visual Relationship Prediction via Label Clustering and Incorporation of Depth Information
National Tsing Hua University(国立清华大学)
在本文中,我们研究了无监督标签聚类技术的使用,并证明了它可以大大提高上下文中的人(PIC)数据集的视觉关系预测精度。我们建议将数据集中具有相似关系分布模式的对象标签分组为更少的类别。标签聚类不仅缓解了大分类空间和类不平衡问题,而且还潜在地增加了每个聚类类别的数据样本。我们进一步建议将深度信息作为一个额外的功能到实例分割模型。附加的深度预测路径以边界框或分割掩模不能提供的方式补充关系预测模型。我们已经严格评估了所提出的技术,并进行了各种消融分析,以验证它们的好处。
2018-09-09 cs.CV
On Exploring Undetermined Relationships for Visual Relationship Detection
Key Laboratory of Complex Systems Modeling and Simulation(复杂系统建模与仿真重点实验室);Hangzhou Dianzi University(杭州电子科技大学);University of Sydney(悉尼大学)
在视觉关系检测中,人类标记的关系可以被视为确定关系。然而,仍然存在大量未标记的数据,例如具有不太重要的关系甚至没有关系的对象对。我们将这些未标记但可能有用的数据称为未确定的关系。虽然大量的文献存在,很少有方法利用这些不确定的关系的视觉关系检测。在本文中,我们探讨了视觉关系检测的未确定的关系的有益影响。我们提出了一种新的基于多模态特征的不确定关系学习网络(MF-URLN),并在关系检测方面取得了很大的进步。详细地说,我们的MF-URLN自动生成不确定的关系,通过比较对象对与人类标注的数据,根据设计的标准。然后,MF-URLN提取和融合三个互补的情态动词:视觉,空间和语言情态动词的对象对的特征。此外,MF-URLN提出了两个相关的子网络:一个子网络决定确定的信心,和其他预测的关系。我们在两个数据集上评估MF-URLN:视觉关系检测(VRD)和视觉基因组(VG)数据集。与现有方法相比,实验结果验证了未确定关系的显著改进,例如,在VRD数据集上,前50个关系检测召回率从19.5%提高到23.9%。
2019-05-05 cs.CV cs.LG
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能中最具挑战性的任务之一,其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而,这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中,我们探索显式和隐式的视觉关系,以丰富区域级表示的图像描述。具体地说,我们在对象对上构建语义图,并利用门控图卷积网络(Gated GCN)选择性地聚合局部邻居的信息。隐含地,我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers(区域BERT)没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性,我们进行了广泛的实验在Microsoft COCO基准,并取得显着的改善相比,强大的基线。
2021-05-06 cs.CV
Optimising the Input Image to Improve Visual Relationship Detection
University of Malta(马耳他大学);Department of Computer Science(计算机科学系)
视觉关系检测被定义为,给定由主体和对象组成的图像,预测正确的关系。为了改善这个难题的视觉部分,测试了十种预处理方法,以确定广泛使用的Union方法是否产生最佳结果。因此,仅关注谓词预测,不使用目标检测和语言知识来防止它们影响比较结果。微调后,使用Recall@1、每谓词回忆、激活最大化、类激活图和错误分析评价视觉几何组模型。从这项研究中发现,使用预处理方法,如Union-Without-Background-and-with-Binary-mask(Union-WB-and-B)方法,比广泛使用的Union方法产生了更好的结果,因为按照设计,它使卷积神经网络也能够识别卷积层中的主体和对象,而不仅仅是完全连接的层。
2019-03-26 cs.CV
Visual Relationship Detection Using Part-and-Sum Transformers with Composite Queries
Amazon Web Services(亚马逊云服务)
计算机视觉应用,如视觉关系检测和人机交互,可以被公式化为一个复合(结构化)集检测问题,其中的部分(主体,对象和谓词)和总和(作为一个整体的三元组)都要以分层的方式进行检测。在本文中,我们提出了一种新的方法,表示部分和总和检测Transformer(PST),进行端到端的视觉复合集检测。不同于现有的Transformers中的查询是在一个单一的水平,我们同时建模的联合部分和总和假设/与复合查询和注意模块的相互作用。我们显式地将和查询,使更好地建模的部分和总和的关系,是在标准的Transformers。我们的方法还使用了新的基于张量的部分查询和基于向量的和查询,并模拟他们的联合互动。我们报告两个视觉任务,视觉关系检测和人类对象交互的实验,并证明PST实现单阶段模型之间的最先进的结果,而几乎匹配的定制设计的两阶段模型的结果。
2021-08-19 cs.CV
DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
Monash University(墨尔本大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
针对视觉关系识别中的长尾分布问题,提出DiffAugment方法,利用WordNet和扩散模型增强尾部类别的文本与视觉表示,并引入难度感知组件和基于主客体的种子策略,有效提升了尾部类别的平均准确率。
2024-03-01 cs.CV
ViP-CNN: Visual Phrase Guided Convolutional Neural Network
The Chinese University of Hong Kong(香港中文大学);University of Sydney(悉尼大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
视觉关系检测作为连接图像描述和目标检测的中间层任务,以其描述能力强、结构清晰等特点开始受到研究者的关注。它检测对象并捕获它们与主谓宾三元组的成对交互,例如人-骑-马。在本文中,每个视觉关系被认为是一个短语的三个组成部分。我们制定的视觉关系检测为三个相互连接的识别问题,并提出了一个视觉短语引导的卷积神经网络(ViP-CNN),同时解决他们。在ViP-CNN中,我们提出了一个短语引导的消息传递结构(PMPS)来建立关系组件之间的连接,并帮助模型联合考虑这三个问题。提出了相应的非极大值抑制方法和模型训练策略。实验结果表明,我们的ViP-CNN在速度和准确性方面都优于最先进的方法。我们进一步在我们清理的Visual Genome Relationship数据集上预训练ViP-CNN,发现它比ImageNet上的预训练更好。
2017-04-10 cs.CV
Relatable Clothing: Detecting Visual Relationships between People and Clothing
University of Calgary(卡尔加里大学)
在计算机视觉和生物识别领域中,检测图像中人与衣服之间的视觉关系一直是相对未探索的问题。由于缺乏现成的“磨损”和"未磨损“分类的公共数据集,减缓了解决这一问题的方案的制定。我们提出了发布的相关服装数据集,其中包含35287人服装对和分割面具的发展“穿”和“unworn”分类模型。此外,我们提出了一种新的软注意力单元,用于使用深度神经网络进行“磨损”和"未磨损“分类。所提出的软注意力模型具有向上的$98.55\% \pm 0.35\%$的准确性的相关的服装数据集,并表现出高概括性,使我们能够分类看不见的衣服,如高能见度背心“穿”或"不穿“。
2020-07-20 cs.CV
BLOCK: Bilinear Superdiagonal Fusion for Visual Question Answering and Visual Relationship Detection
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Heuritech(赫瑞泰克公司);Conservatoire National des Arts et Métiers(法国国立工艺学院)
多模态表示学习在深度学习社区中越来越受到关注。虽然双线性模型提供了一个有趣的框架来找到模态的微妙组合,但它们的参数数量随着输入维度的平方增长,使得它们在经典深度学习管道中的实际实现具有挑战性。在本文中,我们介绍了块,一个新的多模态融合的块超对角张量分解的基础上。它利用了块项秩的概念,该概念概括了张量的秩和模式秩的概念,已经用于多模态融合。它允许定义新的方法来优化融合模型的表达能力和复杂性之间的权衡,并且能够表示模态之间非常精细的交互,同时保持强大的单模态表示。我们证明了我们的融合模型的实际利益,通过使用块两个具有挑战性的任务:视觉问答(VQA)和视觉关系检测(VRD),在那里我们设计端到端的可学习的架构,代表相关的模态之间的相互作用。通过大量的实验,我们表明,块比较有利的VQA和VRD任务的最先进的多模态融合模型。我们的代码可在https://github.com/Cadene/block.bootstrap.pytorch上获得。
2019-02-12 cs.CV
VisorGPT: Learning Visual Prior via Generative Pre-Training
National University of Singapore(新加坡国立大学);Tencent(腾讯);Shenzhen University(深圳大学)
本文提出VisorGPT,通过将物体视觉位置离散化为序列并进行生成式预训练来显式建模视觉先验,结合提示工程实现定制化采样,可有效用于条件图像合成等视觉任务。
2023-05-30 cs.CV
Neural Message Passing for Visual Relationship Detection
Cooperative Medianet Innovation Center(协同媒体网络创新中心);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
视觉关系检测的目的是检测图像中的对象之间的相互作用,然而,由于对象和相互作用的多样性,该任务遭受组合爆炸。由于与同一对象相关的交互是依赖的,我们探索的依赖关系的相互作用,以减少搜索空间。我们显式地建模对象和交互的交互图,然后提出了一个消息传递风格的算法来传播上下文信息。因此,我们将所提出的方法称为神经消息传递(NMP)。我们进一步整合语言先验和空间线索,以排除不切实际的相互作用和捕捉空间的相互作用。在两个基准数据集上的实验结果证明了该方法的优越性。我们的代码可在https://github.com/PhyllisH/NMP上获得。
2022-08-08 cs.CV
Video Relationship Reasoning using Gated Spatio-Temporal Energy Graph
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
视觉关系推理是理解视觉概念之间丰富交互的一项重要而具有挑战性的任务。例如,关系“man,open,door”涉及具体实体“man,door”之间的复杂关系“open”。虽然大部分现有的工作已经在静态图像的背景下研究了这个问题,但对视频中视觉关系的理解受到了有限的关注。由于其时间性质,视频使我们能够对更全面的视觉关系集进行建模和推理,例如需要多个(时间)观察的那些(例如,“man,lift up,box”对“man,put down,box”),以及通常随时间相关的关系(例如,“女人,付钱,钱”,后面跟着“女人,买,咖啡”)。在本文中,我们构建了一个条件随机场上的完全连接的时空图,利用空间和时间的关系实体之间的统计依赖。我们介绍了一种新的门控能量函数参数化,学习自适应关系的视觉观察。我们的模型优化是计算效率高,其空间计算复杂性显着摊销通过我们提出的参数化。在基准视频数据集(ImageNet Video和Charades)上的实验结果展示了三个标准关系推理任务的最新性能:检测,标记和识别。
2019-03-27 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology(瑞典皇家理工学院)
视觉关系检测是整体图像理解的基础。然而,定位和分类(主语,谓语,宾语)三元组仍然具有挑战性的任务,由于可能的关系,其长尾分布在自然图像中的组合爆炸,和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法,依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类,隐式地对成对关系的归纳偏差进行编码。然后,我们框架的关系检测作为这样的谓词分类器的解释,即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集:HICO-DET的人与对象的交互,视觉关系检测的通用对象到对象的关系,和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
Constructing a Visual Relationship Authenticity Dataset
Osaka University(大阪大学)
视觉关系表示图像中两个对象之间的关系,可以表示为(主语;谓语;宾语)的三元组。视觉关系检测是图像中场景理解的关键。现有的视觉关系检测数据集只包含正确描述图像内容的真实关系。然而,区分虚假视觉关系与真实视觉关系对于图像理解和基础自然语言处理也是至关重要的。在本文中,我们构建了一个视觉关系的真实性数据集,其中出现在Flickr 30 k实体图像标题数据集中的标题中的所有对象之间的真假关系都被注释。该数据集可在https://github.com/codecreator2053/VR_ClassifiedDataset上获得。我们希望这个数据集能促进视觉和语言理解的研究。
2020-10-11 cs.AI cs.CL cs.CV
Large-Scale Visual Relationship Understanding
Facebook Research(脸书研究院);Rutgers University(罗格斯大学)
大规模的视觉理解是具有挑战性的,因为它需要一个模型来处理<主体,关系,对象>三元组的广泛分布和不平衡分布。在具有大量对象和关系的真实世界场景中,一些非常常见,而另一些则几乎看不到。我们开发了一个新的关系检测模型,将对象和关系嵌入到两个向量空间中,保留了区分能力和语义亲和力。我们学习了一个视觉和语义模块,将两种模态的特征映射到一个共享空间中,在这个空间中,匹配的特征对必须区分那些不匹配的特征,但也要保持与语义相似的特征的近距离。受益于此,即使视觉实体类别扩展到80,000以上,我们的模型也可以实现卓越的性能,并且具有非常偏斜的类分布。我们展示了我们的模型在基于Visual Genome的大型不平衡基准上的有效性,该基准包括53,000多个对象和29,000多个关系,这是以前从未评估过的规模。我们在原始Visual Genome数据集上展示了我们的模型优于精心设计的基线,其中包含80,000多个类别。我们还展示了VRD数据集和场景图数据集的最新性能,场景图数据集是Visual Genome的一个子集,包含200个类别。
2019-08-16 cs.CV
Agent-Centric Relation Graph for Object Visual Navigation
Beijing Jiaotong University(北京交通大学)
针对物体视觉导航,本文提出以智能体为中心的关系图ACRG,通过OHRG和ATDRG建模物体水平关系及智能体与目标距离关系,并在AI2-THOR中显著超越现有方法。
2023-08-21 cs.CV
Better Understanding Hierarchical Visual Relationship for Image Caption
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)(中国科学院智能信息处理重点实验室);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
卷积神经网络(CNN)多年来一直是计算机视觉中占主导地位的图像特征提取器。然而,它没有得到图像/对象之间的关系和它们的层次相互作用,这可以帮助表示和描述一个图像。在本文中,我们提出了一种新的设计下的通用编码器-解码器框架的图像字幕。它考虑了图像及其边界框中视觉信息的不同抽象层次之间的层次交互。具体来说,我们提出了CNN加上图卷积网络(GCN)架构,新颖地将语义和空间视觉关系集成到图像编码器中。通过GCN利用图结构来细化图像中区域的表示和图像之间的连接。有了学习到的多级特征,我们的模型利用基于transformer的解码器来生成描述。我们在COCO图像描述数据集上进行了实验。评估表明,我们提出的模型优于以前的国家的最先进的模型在图像标题的任务,导致更好的性能方面的所有评价指标。
2019-12-04 cs.CV
Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
可视化问答的关键问题之一是在问题的引导下对可视化内容中的语义线索进行推理,如何对关系语义进行建模仍然是一个巨大的挑战。为了充分捕捉视觉语义,我们提出了一个结构化的视觉表示-场景图,嵌入对象和对象间的关系。这显示出比vanilla向量表示和隐式视觉关系学习更大的好处。基于现有的视觉关系模型,我们提出了一个视觉关系编码器,该编码器将视觉关系投射到受视觉上下文和语言先验约束的学习深度语义空间中。在此基础上,提出了一种场景图卷积网络(SceneGCN),用于对对象属性和关系语义进行联合推理,以获得正确答案。我们在具有挑战性的GQA数据集和经典的VQA 2.0数据集上证明了该模型的有效性和可解释性,与现有的最佳模型相比,GQA的准确率达到了54.56%。
2019-08-21 cs.AI cs.CV cs.MM
Few-shot Visual Relationship Co-localization
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
在本文中,给定一个小袋子的图像,每个包含一个共同的,但潜在的谓词,我们有兴趣在本地化的视觉主宾对连接通过共同的谓词在每个图像。我们把这个新问题称为视觉关系协同定位或VRC作为缩写。VRC是一项具有挑战性的任务,甚至比研究充分的对象协同定位任务更具挑战性。当只使用几张图像时,这变得更加具有挑战性,模型必须学会共同定位通过看不见的谓词连接的视觉主体-对象对。为了解决VRC,我们提出了一个优化框架,以选择一个共同的视觉关系,在每个图像的袋子。优化框架的目标是通过学习Few-Shot设置中图像之间的视觉关系相似性来找到最佳解决方案。为了获得强大的视觉关系表示,我们利用一个简单而有效的技术,学习关系嵌入作为一个翻译向量,从视觉主体到视觉对象在共享空间。此外,为了学习视觉关系相似性,我们利用了一种经过验证的元学习技术,通常用于Few-Shot分类任务。最后,为了解决指数数量的可行解所带来的组合复杂性挑战,我们使用了一个贪婪的近似推理算法,近似选择最佳解决方案。我们广泛地评估了我们提出的框架,从两个具有挑战性的公共数据集,即VrR-VG和VG-150获得的袋子大小的变化,并实现了令人印象深刻的视觉协同定位性能。
2021-08-26 cs.AI cs.CV
Self-Supervised Learning for Visual Relationship Detection through Masked Bounding Box Reconstruction
Deeplab;National Technical University of Athens(雅典国立技术大学);SnT, University of Luxembourg(卢森堡大学SnT);ETH, Zürich(苏黎世联邦理工学院)
该研究提出掩码边界框重建(MBBR)这一自监督方法,通过对象级掩码建模学习捕捉场景对象交互的上下文感知表征,仅用少量标注样本就在VRD的PredDet评估中超越现有最优方法。
2023-11-08 cs.CV
Inconsistency-Aware Cross-Attention for Audio-Visual Fusion in Dimensional Emotion Recognition
Computer Research Institute of Montreal(蒙特利尔计算机研究所)
针对音视频模态间弱互补关系会降低交叉注意力特征质量的问题,提出不一致感知交叉注意力 IACA,通过两阶段门控机制自适应选择相关特征,并在 Aff-Wild2 数据集上验证了模型鲁棒性。
2024-06-30 cs.CV
Seeing is Believing: Benchmarking and Mitigating the Interference of Language Priors on Visual Perception in MLLMs
School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学)
该研究针对MLLMs中语言先验干扰视觉感知的问题,构建ViSiP-Bench基准并提出MAPS方法,评估发现先验依附普遍且不随规模提升改善,MAPS可弱化过度先验依赖且不影响通用能力。
2026-10-16 cs.CV
Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding
The University of Hong Kong(香港大学)
研究旨在提升多模态大语言模型的空间理解能力,提出ViPS框架,通过高效先验代理和动态先验融合机制,整合不同模型的视觉先验,经实验验证该框架能协调多样先验,在多基准测试中取得新的最优性能。
2026-07-17 cs.CV
ReLaText: Exploiting Visual Relationships for Arbitrary-Shaped Scene Text Detection with Graph Convolutional Networks
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);South China University of Technology(华南理工大学)
我们介绍了一种新的任意形状的文本检测方法命名为ReLaText制定文本检测作为一个视觉关系检测问题。为了证明这种新的配方的有效性,我们开始从使用“链接”的关系,以解决具有挑战性的文本行分组问题。其核心思想是将文本检测分解为两个子问题,即文本基元检测和相邻文本基元对之间的链接关系预测。具体地说,基于无锚区域建议网络的文本检测器首先用于从特征金字塔网络的不同特征图中检测不同尺度的文本基元,通过将从同一特征图中检测到的每对相邻文本基元与边缘连接来构建文本基元图。然后,使用基于图卷积网络(GCN)的链接关系预测模块来修剪文本基元图中错误链接的边,以生成多个不相交的子图,每个子图表示检测到的文本实例。由于GCN可以有效地利用上下文信息来提高链接预测的准确性,我们基于GCN的文本行分组方法可以实现更好的文本检测准确性比以前的文本行分组方法,特别是当处理文本实例与大字符间或非常小的行距。因此,所提出的ReLaText在五个公共文本检测基准上实现了最先进的性能,即RCTW-17,MSRA-TD 500,Total-Text,CTW 1500和DAST 1500。
2020-03-16 cs.CV
Learning Cross-domain Semantic-Visual Relationships for Transductive Zero-Shot Learning
Southwest Jiaotong University(西南交通大学);University of Electronic Science and Technology of China(电子科技大学);Chongqing University(重庆大学);Guangzhou University(广州大学)
针对零样本学习中源域与目标域标签空间不相交导致领域自适应难以直接应用的问题,提出TSVR方法,将图像识别转化为预测语义-视觉对的相似性标签以统一标签空间,并利用特定领域批量归一化对齐领域差异。
2023-04-08 cs.CV
SemCo: Toward Semantic Coherent Visual Relationship Forecasting
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);ETH Zürich(苏黎世联邦理工学院);School of Remote Sensing and Information Engineering(遥感与信息工程学院)
针对现有视觉关系预测(VRF)数据集语义连贯性支持不足、方法难区分相似关系等问题,提出SemCoBench基准及SemCoFormer方法,通过模块建模语义连贯性,实验证明其能实现更合理、细粒度和多样化的VRF。
2025-11-18 cs.AI cs.CV
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore(新加坡国立大学)
视觉关系检测旨在推理图像中显著对象之间的关系,近年来受到越来越多的关注。受人类推理机制的启发,人们认为外部视觉常识知识有利于图像中对象的视觉关系推理,但现有方法很少考虑这一点。在本文中,我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers(RVL-BERT),它执行关系推理与视觉和语言常识知识,通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外,我们的模型将目标检测从视觉关系识别中分离出来,直接采用对象名称,使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明,与转移的知识和新的模块,RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV