Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
Relatable Clothing: Detecting Visual Relationships between People and Clothing
University of Calgary(卡尔加里大学)
在计算机视觉和生物识别领域中,检测图像中人与衣服之间的视觉关系一直是相对未探索的问题。由于缺乏现成的“磨损”和"未磨损“分类的公共数据集,减缓了解决这一问题的方案的制定。我们提出了发布的相关服装数据集,其中包含35287人服装对和分割面具的发展“穿”和“unworn”分类模型。此外,我们提出了一种新的软注意力单元,用于使用深度神经网络进行“磨损”和"未磨损“分类。所提出的软注意力模型具有向上的$98.55\% \pm 0.35\%$的准确性的相关的服装数据集,并表现出高概括性,使我们能够分类看不见的衣服,如高能见度背心“穿”或"不穿“。
2020-07-20 cs.CV
Neural Message Passing for Visual Relationship Detection
Cooperative Medianet Innovation Center(协同媒体网络创新中心);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
视觉关系检测的目的是检测图像中的对象之间的相互作用,然而,由于对象和相互作用的多样性,该任务遭受组合爆炸。由于与同一对象相关的交互是依赖的,我们探索的依赖关系的相互作用,以减少搜索空间。我们显式地建模对象和交互的交互图,然后提出了一个消息传递风格的算法来传播上下文信息。因此,我们将所提出的方法称为神经消息传递(NMP)。我们进一步整合语言先验和空间线索,以排除不切实际的相互作用和捕捉空间的相互作用。在两个基准数据集上的实验结果证明了该方法的优越性。我们的代码可在https://github.com/PhyllisH/NMP上获得。
2022-08-08 cs.CV
Constructing a Visual Relationship Authenticity Dataset
Osaka University(大阪大学)
视觉关系表示图像中两个对象之间的关系,可以表示为(主语;谓语;宾语)的三元组。视觉关系检测是图像中场景理解的关键。现有的视觉关系检测数据集只包含正确描述图像内容的真实关系。然而,区分虚假视觉关系与真实视觉关系对于图像理解和基础自然语言处理也是至关重要的。在本文中,我们构建了一个视觉关系的真实性数据集,其中出现在Flickr 30 k实体图像标题数据集中的标题中的所有对象之间的真假关系都被注释。该数据集可在https://github.com/codecreator2053/VR_ClassifiedDataset上获得。我们希望这个数据集能促进视觉和语言理解的研究。
2020-10-11 cs.AI cs.CL cs.CV
Inconsistency-Aware Cross-Attention for Audio-Visual Fusion in Dimensional Emotion Recognition
Computer Research Institute of Montreal(蒙特利尔计算机研究所)
针对音视频模态间弱互补关系会降低交叉注意力特征质量的问题,提出不一致感知交叉注意力 IACA,通过两阶段门控机制自适应选择相关特征,并在 Aff-Wild2 数据集上验证了模型鲁棒性。
2024-06-30 cs.CV
Learning Cross-domain Semantic-Visual Relationships for Transductive Zero-Shot Learning
Southwest Jiaotong University(西南交通大学);University of Electronic Science and Technology of China(电子科技大学);Chongqing University(重庆大学);Guangzhou University(广州大学)
针对零样本学习中源域与目标域标签空间不相交导致领域自适应难以直接应用的问题,提出TSVR方法,将图像识别转化为预测语义-视觉对的相似性标签以统一标签空间,并利用特定领域批量归一化对齐领域差异。
2023-04-08 cs.CV
SemCo: Toward Semantic Coherent Visual Relationship Forecasting
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);ETH Zürich(苏黎世联邦理工学院);School of Remote Sensing and Information Engineering(遥感与信息工程学院)
针对现有视觉关系预测(VRF)数据集语义连贯性支持不足、方法难区分相似关系等问题,提出SemCoBench基准及SemCoFormer方法,通过模块建模语义连贯性,实验证明其能实现更合理、细粒度和多样化的VRF。
2025-11-18 cs.AI cs.CV
Rethinking Batch Sample Relationships for Data Representation: A Batch-Graph Transformer based Approach
Anhui University(安徽大学)
探索每个小批量中的样本关系已经显示出学习图像表示的巨大潜力。现有的工作一般采用常规的Transformer来建模视觉内容关系,忽略了样本之间的语义/标签相关性的线索。而且,它们一般采用“完全”的自我注意力机制,这种机制具有明显的冗余性,对噪声样本也很敏感。为了克服这些问题,在本文中,我们设计了一个简单而灵活的批图Transformer(BGFormer)的小批量样本表示深入捕捉图像样本的视觉和语义的角度来看,关系。BGFormer有三个主要方面。(1)它采用了一个灵活的图形模型,称为批处理图,共同编码的视觉和语义关系的样本在每个小批量。(2)它通过借用稀疏图表示的思想来探索样本的邻域关系,从而鲁棒地执行,噪声样本(3)设计了一种新的Transformer架构,主要采用双结构约束自注意(SSA),结合图规范化、FFN等技术,充分利用批量图信息进行样本标记(节点)表示。作为一个应用,我们将BGFormer应用于度量学习任务。在四个流行数据集上的实验证明了该模型的有效性。
2022-11-19 cs.CV
Exploiting Facial Relationships and Feature Aggregation for Multi-Face Forgery Detection
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University(西安交通大学电子与信息工程学院)
针对现有方法多聚焦单人脸伪造检测、对多人脸伪造场景探索不足的问题,提出含人脸关系学习与全局特征聚合双模块的检测框架,在两个公开多人脸伪造数据集上取得当前最优性能。
2023-10-07 cs.CV
One-shot Scene Graph Generation
University of Electronic Science and Technology of China(电子科技大学)
视觉场景图(视觉关系)作为图像内容的结构化表示,在计算机视觉和自然语言处理之间起着桥梁作用。众所周知,场景图生成任务中的现有模型需要数十或数百个标记样本。相比之下,人类可以从几个甚至一个例子中学习视觉关系。受此启发,我们设计了一个名为One-Shot Scene Graph Generation的任务,其中每个关系三元组(例如,“dog-has-head”)仅来自一个标记的示例。关键的见解是,而不是从头开始学习,一个人可以利用丰富的先验知识。在本文中,我们提出了多重结构化知识(关系知识和常识知识)的一杆场景图生成任务。具体地,关系知识表示从视觉内容提取的实体之间的关系的先验知识,例如,“狗”与“院子”之间可能存在“站在”、“坐在”、“躺在”的视觉关系,而常识知识则编码了“狗能守院子”等“造义”知识。通过将这两种知识组织成图结构,图卷积网络(GCN)被用来提取实体的知识嵌入语义特征。此外,我们不是从Faster R-CNN生成的每个实体中提取孤立的视觉特征,而是利用实例关系Transformer编码器来充分探索它们的上下文信息。基于构造的单次数据集,实验结果表明,我们的方法显着优于现有的国家的最先进的方法,由一个大的利润。消融研究也验证了实例关系Transformer编码器和多结构化知识的有效性。
2022-02-26 cs.CV
NeRD: a Neural Response Divergence Approach to Visual Salience Detection
Aimetis Corp.(Aimetis公司)
在本文中,提出了一种新的方法,通过神经响应发散(NeRD)的视觉显著性检测,其中的突触部分的深度神经网络,以前训练复杂的对象识别,利用计算低级别的线索,可用于计算图像区域的独特性。基于这一概念,提出了一个有效的视觉显著性检测框架,使用深度卷积随机网络。使用CSSD和MSRA 10k自然图像数据集的实验结果表明,所提出的NeRD方法可以实现改进的性能相比,国家的最先进的图像显著性的方法,同时实现低计算复杂性所需的近实时计算机视觉应用。
2016-02-04 cs.CV
Context-Dependent Diffusion Network for Visual Relationship Detection
Nanjing University of Science and Technology(南京理工大学);Southeast University(东南大学)
视觉关系检测是计算机视觉和自然语言之间的桥梁,可用于图像的场景理解。与单纯的宾语识别任务不同,主谓宾关系三元组位于极端多样性空间,如\textit{person-behind-person}和\textit{car-behind-building},存在组合爆炸问题。在本文中,我们提出了一个上下文相关的扩散网络(CDDN)框架来处理视觉关系检测。为了捕捉不同对象实例之间的交互,构建了两种类型的图,词语义图和视觉场景图,以编码全局上下文相关性。语义图是通过语言先验建立的,以模拟对象之间的语义相关性,而视觉场景图定义了场景对象的连接,以便利用周围的场景信息。针对图结构数据,设计了一种扩散网络自适应地聚合上下文信息,利用其与图的同构不变性,有效地学习视觉关系的潜在表征,满足视觉关系检测的需要.在两个广泛使用的数据集上的实验表明,我们提出的方法是更有效的,达到了最先进的性能。
2018-09-11 cs.CL cs.CV cs.LG
Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);ShanghaiTech University(上海科技大学)
理解真实感视觉场景图像和语言描述是实现通用视觉理解的基本任务。先前的工作已经通过为视觉场景构建层次结构(例如,场景图)和自然语言(例如,独立树)。然而,如何构建一个联合的视觉语言(VL)结构几乎没有研究。更具挑战性但值得一提的是,我们引入了一个新的任务,目标是以无监督的方式诱导这种联合VL结构。我们的目标是无缝地连接视觉场景图和语言依赖树。由于缺乏VL结构数据,我们首先构建一个新的数据集VLParse。与其从头开始使用劳动密集型的标记,我们提出了一个自动对齐过程来产生粗糙的结构,然后进行人工细化以产生高质量的结构。此外,我们提出了一个基于对比学习(CL)的框架VLGAE,简称视觉语言图形自动编码器,我们的数据集基准。我们的模型在两个衍生任务上获得了优异的性能,即,语言语法归纳和VL短语的基础。烧蚀显示了视觉线索和依赖关系对细粒度VL结构构建的有效性。
2022-06-01 cs.CL cs.CV
United we stand, Divided we fall: Handling Weak Complementary Relationships for Audio-Visual Emotion Recognition in Valence-Arousal Space
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
针对视听模态弱互补导致情绪识别特征表征差的问题,提出门控递归联合交叉注意力方法,通过门控机制自适应调控信息流,结合分层门控提升性能,在Affwild2数据集上取得更优的效价与唤醒度识别效果。
2025-03-21 cs.CV cs.SD eess.AS
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations
Stanford University(斯坦福大学);Dresden University of Technology(德累斯顿工业大学);Yahoo Inc.(雅虎公司);Snapchat Inc.(色拉布公司)
尽管在诸如图像分类等感知任务方面取得了进展,但计算机在诸如图像描述和问答等认知任务上仍然表现不佳。认知是任务的核心,这些任务不仅涉及识别,还涉及对我们的视觉世界的推理。然而,用于处理认知任务图像中丰富内容的模型仍在使用为感知任务设计的相同数据集进行训练。为了在认知任务中取得成功,模型需要理解图像中对象之间的相互作用和关系。当被问到“这个人骑的是什么车?”“,计算机将需要识别图像中的对象以及乘坐(人,马车)和拉动(马,马车)的关系,以便正确回答“该人正在乘坐马车”。在本文中,我们提出了可视化基因组数据集,使这种关系的建模。我们收集每个图像中对象、属性和关系的密集注释来学习这些模型。具体来说,我们的数据集包含超过10万张图像,其中每张图像平均包含21个对象,18个属性和对象之间的18种成对关系。我们规范化的对象,属性,关系,和名词短语的区域描述和问题的答案对WordNet同义词集。这些注释共同代表了图像描述、对象、属性、关系和问题答案的最大数据集。
2016-02-23 cs.AI cs.CV
Exploring Long Tail Visual Relationship Recognition with Large Vocabulary
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);IIT Roorkee(印度理工学院鲁尔基分校);Stanford University(斯坦福大学);Baidu(百度);NTU Singapore(新加坡南洋理工大学)
在最近的文献中已经提出了几种方法来缓解长尾问题,主要是在对象分类任务中。本文首次对长尾视觉关系识别(LTVRR)任务进行了大规模的研究。LTVRR旨在改善来自长尾的结构化视觉关系的学习(例如,“兔子吃草”)。在这个设置中,subject、relation和object类都遵循长尾分布。为了开始我们的研究并为社区制定未来的基准,我们引入了两个与LTVRR相关的基准,称为VG 8 K-LT和GQA-LT,它们基于广泛使用的Visual Genome和GQA数据集。我们使用这些基准来研究几个国家的最先进的长尾模型的LTVRR设置的性能。最后,我们提出了一种基于语言的无中心(VilHub)损失和一种适用于LTVRR设置的Mixup增强技术,称为RelMix。VilHub和RelMix都可以很容易地集成在现有模型之上,尽管很简单,但我们的结果表明它们可以显着提高性能,特别是在尾部类上。基准、代码和模型已在https://github.com/Vision-CAIR/LTVRR上提供。
2021-09-25 cs.CV cs.LG stat.ML
LLaVA-VSD: Large Language-and-Vision Assistant for Visual Spatial Description
Tencent(腾讯);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
针对传统视觉空间关系分类方法忽略世界知识、缺乏通用语言能力的问题,提出LLaVA-VSD模型,通过构建指令数据集、LoRA微调130亿参数多模态模型及Qwen-2润色,实现视觉空间关系的分类、描述与开放式查询,具备优秀多模态对话能力。
2024-10-30 cs.AI cs.CV
VisualPhishNet: Zero-Day Phishing Website Detection by Visual Similarity
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
钓鱼网站仍然是当今互联网生态系统的主要威胁。尽管之前做出了许多努力,但基于相似性的检测方法并不能为可信网站提供足够的保护-特别是针对看不见的钓鱼页面。本文贡献VisualPhishNet,一个新的基于相似性的网络钓鱼检测框架,基于三重卷积神经网络(CNN)。VisualPhishNet学习网站的配置文件,以便通过相似性度量来检测钓鱼网站,该度量可以推广到具有新视觉外观的页面。此外,我们还介绍了VisualPhish,这是迄今为止最大的数据集,可以以生态有效的方式促进视觉网络钓鱼检测。我们表明,我们的方法优于以前的视觉相似性网络钓鱼检测方法的大幅度提高,同时对一系列规避攻击的鲁棒性。
2020-07-05 cs.CR cs.CV cs.LG
Multimodal Dual Emotion with Fusion of Visual Sentiment for Rumor Detection
近年来,谣言对社会产生了毁灭性的影响,使得谣言检测成为一项重大挑战。然而,谣言检测的研究忽略了谣言内容中图像的强烈情感。本文验证了图像情感提高了谣言检测的效率。提出了一种用于谣言检测的多模态双情感特征,该特征由视觉情感和文本情感组成。据我们所知,这是第一个将视觉情感用于谣言检测的研究。在真实数据集上的实验验证了所提出的特征优于最先进的情感特征,并且可以在谣言检测器中扩展,同时提高其性能。
2022-11-23 cs.CV cs.CY
Dynamic Cross Attention for Audio-Visual Person Verification
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
提出动态交叉注意力(DCA)模型,通过条件门控层根据音视频模态间的强弱互补关系动态选择特征,在Voxceleb1数据集上持续提升性能并超越现有最先进方法。
2024-04-22 cs.CV cs.LG cs.SD
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所)
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法,通过递归细化联合特征表示并引入BLSTMs增强时间建模,有效捕获模态内与模态间关系,在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
AVR: Attention based Salient Visual Relationship Detection
South China University of Technology(华南理工大学)
视觉关系检测的目的是定位图像中的对象,并识别对象之间的关系。传统的方法对图像中所有观察到的关系都一视同仁,这导致了在具有丰富视觉对象和各种关系的复杂图像上检测任务的性能相对较差。为了解决这个问题,我们提出了一个基于注意力的模型,即AVR,以实现显着的视觉关系的基础上,本地和全球范围内的关系。具体地说,AVR识别关系,并通过融合视觉特征,语义和空间信息的关系,在输入图像的本地上下文中测量对关系的关注。然后,AVR应用注意力来分配具有较大显著权重的重要关系,以进行有效的信息过滤。此外,AVR还结合了图像数据集全局上下文的先验知识,以提高关系预测的精度,其中上下文被建模为异构图,基于随机游走算法来度量关系的先验概率。在多个真实图像数据集上进行了全面的实验,结果表明,AVR在召回率方面明显优于最先进的视觉关系检测方法,最高可达$87.5\%$。
2020-03-16 cs.CV
VrR-VG: Refocusing Visually-Relevant Relationships
Xi’an Jiaotong University(西安交通大学);JD AI Research(京东人工智能研究院)
关系编码个体实例之间的交互,并且在深度视觉场景理解中起关键作用。由于非视觉信息的高可预测性,现有方法倾向于拟合统计偏差,而不是从图像中“学习”“推断”关系。为了鼓励视觉关系的进一步发展,我们提出了一种新的方法来自动挖掘更有价值的关系,修剪视觉无关的。基于Visual Genome构建了一个新的场景图数据集--视觉相关关系数据集(VrR-VG)。与现有数据集相比,VrR-VG中可学习方法和统计方法之间的性能差距更大,基于频率的分析不再起作用。此外,我们建议学习的关系感知表示,共同考虑的实例,属性和关系。通过应用在VrR-VG上学习的表征感知特征,图像描述和视觉问答的性能得到了系统的大幅度提高,这表明我们的数据集和特征嵌入方案的增益。VrR-VG可通过http://vrr-vg.com/获得。
2019-08-26 cs.CV
Tensor Composition Net for Visual Relationship Prediction
Nanjing University(南京大学);The University of Edinburgh(爱丁堡大学);Samsung AI Research Centre(三星人工智能研究中心)
我们提出了一种新的张量组合网络(TCN)来预测图像中的视觉关系。视觉关系预测(VRP)提供了一个更具挑战性的测试图像理解比传统的图像标记,是很难学习,由于一个大的标签空间和不完整的注释。我们的TCN的关键思想是利用视觉关系张量的低秩属性,以便利用对象和关系内部和之间的相关性,并对图像中的所有视觉关系进行结构化预测。为了展示我们的模型的有效性,我们首先将我们的模型与多标签图像分类(MLIC)方法、极限多标签分类(XMC)方法和VRD方法进行了实证比较。然后,我们表明,由于我们的张量(去)组成层,我们的模型可以预测在训练数据集中没有看到的视觉关系。最后,我们展示了我们的TCN的图像级视觉关系预测提供了一个简单而有效的机制,基于关系的图像检索,即使与VRD方法相比。
2022-02-09 cs.CV
Visual Relationship Detection with Language Priors
Stanford University(斯坦福大学)
视觉关系捕捉图像中成对对象之间的各种各样的交互(例如,“人骑自行车”和“人推自行车”)。因此,可能的关系的集合非常大,并且难以为所有可能的关系获得足够的训练样本。由于这种限制,以前的工作视觉关系检测集中在预测只有少数的关系。虽然大多数关系并不频繁,但它们的宾语(例如“man”和“bicycle”)和谓语(例如“riding”和“pushing”)独立出现的频率更高。我们提出了一个模型,使用这种洞察力,训练视觉模型的对象和谓词单独,后来将它们结合在一起,预测多个关系的图像。我们通过利用语义词嵌入的语言先验来微调预测关系的可能性,从而改进了先前的工作。我们的模型可以扩展到从几个例子中预测数千种类型的关系。此外,我们将预测关系中的对象定位为图像中的边界框。我们进一步证明,理解关系可以提高基于内容的图像检索。
2016-07-31 cs.CV
Natural Language Guided Visual Relationship Detection
Leibniz University Hanover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
图像中目标对之间关系的推理是整体场景理解的一项重要任务。现有的大多数工作把这个任务作为一个纯粹的视觉分类任务:每种类型的关系或短语被归类为一个关系类别的基础上提取的视觉特征。然而,每种关系都有各种各样的对象组合,每对对象都有不同的相互作用。为所有可能的关系类别获得足够的训练样本是困难和昂贵的。在这项工作中,我们提出了一个自然语言引导的框架来解决这个问题。我们提出使用一个通用的双向递归神经网络来预测参与对象之间的语义联系的关系,从自然语言的方面。所提出的简单方法在视觉关系检测(VRD)和视觉基因组数据集上实现了最先进的水平,特别是在预测看不见的关系时(例如,在VRD zero-shot测试集上的召回率从76.42%提高到89.79%)。
2017-11-21 cs.CV
A Problem Reduction Approach for Visual Relationships Detection
识别不同的对象(人和杯子)本身就是一个重要的问题,但是识别它们之间的关系(拿着)对于许多现实世界的用例来说是至关重要的。本文描述了一种将视觉关系检测问题简化为目标检测问题的方法。该方法被应用于Google AI Open Images V4 Visual Relationship Track Challenge,该挑战赛与2018年欧洲计算机视觉会议(ECCV 2018)联合举办,并最终获奖。挑战在于建立一种算法,检测特定关系中的成对对象:比如“女人弹吉他”、“桌上的啤酒”或“车里的狗”。".
2018-09-26 cs.CV
Shuffle-Then-Assemble: Learning Object-Agnostic Visual Relationship Features
Nanyang Technological University(南洋理工大学)
由于完全注释视觉关系是极其昂贵的事实,即,(obj 1,rel,obj 2)三元组关系模型不可避免地偏向于有限成对模式的对象类,导致对罕见或看不见的对象组合的泛化较差。因此,我们有兴趣学习对象不可知的视觉功能,更普遍的关系模型。通过“不可知”,我们的意思是该特征不太可能偏向于成对对象的类别。为了减轻偏差,我们提出了一种新的\texttt{Shuffle-Then-Assemble}预训练策略。首先,我们丢弃图像中所有的三元组关系注释,留下两个不成对的对象域,而不进行obj 1-obj 2对齐。然后,我们的特征学习是恢复可能的obj 1-obj 2对。特别是,我们设计了两个域之间的剩余转换的循环,以捕获共享的,但不是特定于对象的视觉模式。在两个视觉关系基准上进行的大量实验表明,通过使用我们预先训练的特征,朴素关系模型可以不断改进,甚至优于其他最先进的关系模型。代码已在以下网址提供:\url{https://github.com/yangxuntu/vrd}。
2018-08-01 cs.CV
On Class Imbalance and Background Filtering in Visual Relationship Detection
School of Computer Science University of Manchester(曼彻斯特大学计算机学院)
本文研究了视觉关系检测(VRD)中的类别不平衡和不相关关系问题。最先进的深度VRD模型仍然难以预测不常见的类,限制了它们的适用性。此外,许多方法在预测相关关系的同时不能适当地过滤掉背景关系。虽然这些问题非常明显,但它们迄今都被忽视了。我们分析了为什么会出现这种情况,并提出了修改模型和培训,以减轻上述问题,以及建议新的措施,以补充现有的,并给出一个更全面的图片模型的功效。
2019-03-21 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Language and Visual Entity Relationship Graph for Agent Navigation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
视觉和语言导航(VLN)要求智能体在现实环境中遵循自然语言指令进行导航。从文本和视觉的角度来看,我们发现,场景之间的关系,它的对象,和方向线索是必不可少的代理解释复杂的指令,并正确地感知环境。为了捕捉和利用这些关系,我们提出了一种新的语言和视觉实体关系图,用于建模文本和视觉之间的模态间关系,以及视觉实体之间的模态内关系。我们提出了一种消息传递算法,用于在图形中的语言元素和视觉实体之间传播信息,然后将其结合起来以确定下一步要采取的行动。实验表明,通过利用的关系,我们能够改善国家的最先进的。在房间到房间(R2 R)的基准,我们的方法实现了新的最佳性能的测试看不见的分裂与成功率加权路径长度(SPL)的52%。在Room-for-Room(R4 R)数据集上,我们的方法在归一化动态时间规整(SDTW)加权的成功率上将之前的最佳值从13%显著提高到34%。代码可在:https://github.com/YicongHong/Entity-Graph-VLN.
2020-12-25 cs.CV
Towards Flexible Visual Relationship Segmentation
Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视觉关系理解相关任务分散研究的问题,提出整合HOI检测、SGG、RR任务且支持开放词汇的FleVRS模型,利用多模态协同实现关系定位,在多数据集上性能优于现有模型。
2024-08-15 cs.CV
Detecting Visual Relationships Using Box Attention
Google Research(谷歌研究院);IST Austria(奥地利科学技术研究所)
我们提出了一个新的模型来检测视觉关系,如“人骑摩托车”或“瓶子在桌子上”。这项任务是实现全面结构化图像理解的重要一步,超越了检测单个对象。我们的主要新颖性是一个框注意力机制,允许使用标准的目标检测管道对象之间的成对交互模型。由此产生的模型在概念上是干净的,有表现力的,并依赖于合理的训练和预测程序。此外,与以前提出的方法不同,我们的模型不会在底层检测模型已经需要的那些组件或超参数之上引入任何额外的复杂组件或超参数。我们对三个具有挑战性的数据集,V-COCO,视觉关系和开放图像进行了实验评估,展示了强大的定量和定性结果。
2019-05-02 cs.CV
Not just a matter of semantics: the relationship between visual similarity and semantic similarity
Michael Stifel Center Jena(耶拿米夏埃尔·施蒂费尔中心);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
知识转移、零样本学习和语义图像检索是旨在通过利用例如来自WordNet的语义信息来提高准确性的方法。假设这些信息可以以标记的训练图像的形式增强或替换丢失的视觉数据,因为语义相似性与视觉相似性相关。这个假设可能看起来微不足道,但对于此类语义方法的应用至关重要。任何违规行为都可能导致错误预测。因此,对于特定的目标问题,检查视觉语义关系是很重要的。在本文中,我们使用五种不同的语义和视觉相似性度量来彻底分析关系,而不过分依赖于任何单一的定义。我们假设和验证三个高度重要的假设的关系。我们的研究结果表明,它确实存在,WordNet的语义相似性进行更多的信息,视觉相似性不仅仅是知识的“不同的类看起来不同”。他们认为,分类不是语义方法的理想应用,错误的语义信息比没有更糟糕。
2019-05-31 cs.CV
End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting
Beijing Institute of Technology(北京理工大学);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Shenzhen MSU-BIT University(深圳北理莫斯科大学);University of Rochester(罗切斯特大学)
针对开放词汇视频视觉关系检测中现有方法依赖预训练轨迹检测器导致泛化能力差的问题,提出端到端开放词汇框架,包含关系感知轨迹检测器和多模态提示分类器,提升了对新类别的泛化性能。
2025-04-12 cs.CV
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
Learning Effective Visual Relationship Detector on 1 GPU
Layer6 AI(Layer6人工智能公司)
我们为Open Images 2019 Visual Relationship挑战赛提供获奖解决方案。这是迄今为止同类挑战中最大的挑战,有近900万张训练图像。挑战任务包括在复杂场景中检测对象并识别它们之间的关系。我们的解决方案有三个阶段,第一个目标检测模型是微调的挑战类使用一种新的权重转移方法。然后,在候选对象对上训练空间语义和视觉关系模型。最后,特征和模型预测被组合以生成最终的关系预测。在整个挑战过程中,我们专注于最大限度地降低架构的硬件要求。具体来说,我们的权重转移方法可以实现更快的优化,允许整个架构在两天内在单个GPU上进行训练。除了高效的优化,我们的方法还实现了卓越的准确性,在200多个团队中赢得了第一名,并在私人排行榜上以超过$5\%$的成绩超过了第二名。
2019-12-12 cs.CV
Unified Visual Relationship Detection with Vision and Language Models
Google Research(谷歌研究院)
针对多数据集标签体系不一致导致视觉关系检测难统一的问题,提出基于VLM的自底向上UniVRD方法,在HICO-DET等任务上性能优异,可媲美单数据集模型且扩模后效果更佳。
2023-08-21 cs.CV
Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models
Xiamen University(厦门大学)
本研究提出R-Bench基准,系统评估大型视觉-语言模型中的关系幻觉,识别三种共现类型,并发现模型过度依赖常识而忽视视觉内容。
2024-07-18 cs.CV
METOR: A Unified Framework for Mutual Enhancement of Objects and Relationships in Open-vocabulary Video Visual Relationship Detection
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国)
针对开放词汇视频视觉关系检测中级联流程的误差传播问题,提出基于查询的统一框架METOR,通过CLIP上下文细化与对象-关系迭代增强实现联合建模,并在VidVRD和VidOR上达到最先进性能。
2025-05-10 cs.CV
Hallucinate, Ground, Repeat: A Framework for Generalized Visual Relationship Detection
Auburn University(奥本大学)
本文提出受EM启发的迭代视觉接地框架,用LLM生成候选关系并训练视觉模型对齐感知证据,同时构建含21个留出谓词的Visual Genome开放世界VRD基准,显著提升未见谓词泛化性能。
2025-06-06 cs.CV
The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale
我们提出了Open Images V4,这是一个包含920万张图像的数据集,具有用于图像分类、目标检测和视觉关系检测的统一注释。这些图片有一个知识共享署名许可证,允许分享和改编材料,它们是从Flickr收集的,没有预先定义的类名或标签列表,从而产生自然的类统计数据,避免了最初的设计偏见。Open Images V4提供了跨多个维度的大规模:3010万个图像级标签用于1980万个概念,1540万个边界框用于600个对象类,以及3750万个涉及57个类的视觉关系注释。特别是对于目标检测,我们提供的边界框比下一个最大的数据集(190万张图像上的1540万个框)多15倍。图像通常显示具有多个对象的复杂场景(平均每个图像8个注释对象)。我们标注了它们之间的视觉关系,这支持视觉关系检测,一个新兴的任务,需要结构化推理。我们提供了关于数据集的深入全面的统计数据,我们验证了注释的质量,我们研究了几种现代模型的性能如何随着训练数据的增加而变化,我们展示了两种应用程序,它们可以通过在同一图像中共存多种类型的统一注释来实现。我们希望Open Images V4的规模、质量和多样性将促进进一步的研究和创新,甚至超越图像分类、目标检测和视觉关系检测的领域。
2020-02-21 cs.CV
Interpretable Medical Image Visual Question Answering via Multi-Modal Relationship Graph Learning
The University of Texas Arlington(德克萨斯大学阿灵顿分校);RIKEN(理化学研究所);University of Tokyo(东京大学);National Cancer Center Research Institute(国立癌症中心研究所);National Library of Medicine - National Institutes of Health(美国国立卫生研究院国家医学图书馆);Temple University(天普大学)
医学视觉问答(VQA)旨在回答关于输入医学图像的临床相关问题。这项技术有可能提高医疗专业人员的效率,同时减轻公共卫生系统的负担,特别是在资源贫乏的国家。现有的医学VQA方法倾向于对医学图像进行编码,并学习视觉特征和问题之间的对应关系,而不利用它们背后的空间,语义或医学知识。这部分是因为目前的医疗VQA数据集规模较小,通常包括简单的问题。因此,我们首先收集了一个全面和大规模的医学VQA数据集,重点是胸部X射线图像。这些问题涉及详细的关系,例如我们数据集中的疾病名称,位置,水平和类型。基于此数据集,我们还提出了一种新的基线方法,通过构建三种不同的关系图:空间关系,语义关系,以及图像区域,问题和语义标签上的隐式关系图。针对不同的问题学习答案和图形推理路径。
2023-02-19 cs.CV
Visual Relationship Prediction via Label Clustering and Incorporation of Depth Information
National Tsing Hua University(国立清华大学)
在本文中,我们研究了无监督标签聚类技术的使用,并证明了它可以大大提高上下文中的人(PIC)数据集的视觉关系预测精度。我们建议将数据集中具有相似关系分布模式的对象标签分组为更少的类别。标签聚类不仅缓解了大分类空间和类不平衡问题,而且还潜在地增加了每个聚类类别的数据样本。我们进一步建议将深度信息作为一个额外的功能到实例分割模型。附加的深度预测路径以边界框或分割掩模不能提供的方式补充关系预测模型。我们已经严格评估了所提出的技术,并进行了各种消融分析,以验证它们的好处。
2018-09-09 cs.CV
On Exploring Undetermined Relationships for Visual Relationship Detection
Key Laboratory of Complex Systems Modeling and Simulation(复杂系统建模与仿真重点实验室);Hangzhou Dianzi University(杭州电子科技大学);University of Sydney(悉尼大学)
在视觉关系检测中,人类标记的关系可以被视为确定关系。然而,仍然存在大量未标记的数据,例如具有不太重要的关系甚至没有关系的对象对。我们将这些未标记但可能有用的数据称为未确定的关系。虽然大量的文献存在,很少有方法利用这些不确定的关系的视觉关系检测。在本文中,我们探讨了视觉关系检测的未确定的关系的有益影响。我们提出了一种新的基于多模态特征的不确定关系学习网络(MF-URLN),并在关系检测方面取得了很大的进步。详细地说,我们的MF-URLN自动生成不确定的关系,通过比较对象对与人类标注的数据,根据设计的标准。然后,MF-URLN提取和融合三个互补的情态动词:视觉,空间和语言情态动词的对象对的特征。此外,MF-URLN提出了两个相关的子网络:一个子网络决定确定的信心,和其他预测的关系。我们在两个数据集上评估MF-URLN:视觉关系检测(VRD)和视觉基因组(VG)数据集。与现有方法相比,实验结果验证了未确定关系的显著改进,例如,在VRD数据集上,前50个关系检测召回率从19.5%提高到23.9%。
2019-05-05 cs.CV cs.LG
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能中最具挑战性的任务之一,其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而,这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中,我们探索显式和隐式的视觉关系,以丰富区域级表示的图像描述。具体地说,我们在对象对上构建语义图,并利用门控图卷积网络(Gated GCN)选择性地聚合局部邻居的信息。隐含地,我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers(区域BERT)没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性,我们进行了广泛的实验在Microsoft COCO基准,并取得显着的改善相比,强大的基线。
2021-05-06 cs.CV
Optimising the Input Image to Improve Visual Relationship Detection
University of Malta(马耳他大学);Department of Computer Science(计算机科学系)
视觉关系检测被定义为,给定由主体和对象组成的图像,预测正确的关系。为了改善这个难题的视觉部分,测试了十种预处理方法,以确定广泛使用的Union方法是否产生最佳结果。因此,仅关注谓词预测,不使用目标检测和语言知识来防止它们影响比较结果。微调后,使用Recall@1、每谓词回忆、激活最大化、类激活图和错误分析评价视觉几何组模型。从这项研究中发现,使用预处理方法,如Union-Without-Background-and-with-Binary-mask(Union-WB-and-B)方法,比广泛使用的Union方法产生了更好的结果,因为按照设计,它使卷积神经网络也能够识别卷积层中的主体和对象,而不仅仅是完全连接的层。
2019-03-26 cs.CV
Visual Relationship Detection Using Part-and-Sum Transformers with Composite Queries
Amazon Web Services(亚马逊云服务)
计算机视觉应用,如视觉关系检测和人机交互,可以被公式化为一个复合(结构化)集检测问题,其中的部分(主体,对象和谓词)和总和(作为一个整体的三元组)都要以分层的方式进行检测。在本文中,我们提出了一种新的方法,表示部分和总和检测Transformer(PST),进行端到端的视觉复合集检测。不同于现有的Transformers中的查询是在一个单一的水平,我们同时建模的联合部分和总和假设/与复合查询和注意模块的相互作用。我们显式地将和查询,使更好地建模的部分和总和的关系,是在标准的Transformers。我们的方法还使用了新的基于张量的部分查询和基于向量的和查询,并模拟他们的联合互动。我们报告两个视觉任务,视觉关系检测和人类对象交互的实验,并证明PST实现单阶段模型之间的最先进的结果,而几乎匹配的定制设计的两阶段模型的结果。
2021-08-19 cs.CV
DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
Monash University(墨尔本大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
针对视觉关系识别中的长尾分布问题,提出DiffAugment方法,利用WordNet和扩散模型增强尾部类别的文本与视觉表示,并引入难度感知组件和基于主客体的种子策略,有效提升了尾部类别的平均准确率。
2024-03-01 cs.CV
ViP-CNN: Visual Phrase Guided Convolutional Neural Network
The Chinese University of Hong Kong(香港中文大学);University of Sydney(悉尼大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
视觉关系检测作为连接图像描述和目标检测的中间层任务,以其描述能力强、结构清晰等特点开始受到研究者的关注。它检测对象并捕获它们与主谓宾三元组的成对交互,例如人-骑-马。在本文中,每个视觉关系被认为是一个短语的三个组成部分。我们制定的视觉关系检测为三个相互连接的识别问题,并提出了一个视觉短语引导的卷积神经网络(ViP-CNN),同时解决他们。在ViP-CNN中,我们提出了一个短语引导的消息传递结构(PMPS)来建立关系组件之间的连接,并帮助模型联合考虑这三个问题。提出了相应的非极大值抑制方法和模型训练策略。实验结果表明,我们的ViP-CNN在速度和准确性方面都优于最先进的方法。我们进一步在我们清理的Visual Genome Relationship数据集上预训练ViP-CNN,发现它比ImageNet上的预训练更好。
2017-04-10 cs.CV
BLOCK: Bilinear Superdiagonal Fusion for Visual Question Answering and Visual Relationship Detection
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Heuritech(赫瑞泰克公司);Conservatoire National des Arts et Métiers(法国国立工艺学院)
多模态表示学习在深度学习社区中越来越受到关注。虽然双线性模型提供了一个有趣的框架来找到模态的微妙组合,但它们的参数数量随着输入维度的平方增长,使得它们在经典深度学习管道中的实际实现具有挑战性。在本文中,我们介绍了块,一个新的多模态融合的块超对角张量分解的基础上。它利用了块项秩的概念,该概念概括了张量的秩和模式秩的概念,已经用于多模态融合。它允许定义新的方法来优化融合模型的表达能力和复杂性之间的权衡,并且能够表示模态之间非常精细的交互,同时保持强大的单模态表示。我们证明了我们的融合模型的实际利益,通过使用块两个具有挑战性的任务:视觉问答(VQA)和视觉关系检测(VRD),在那里我们设计端到端的可学习的架构,代表相关的模态之间的相互作用。通过大量的实验,我们表明,块比较有利的VQA和VRD任务的最先进的多模态融合模型。我们的代码可在https://github.com/Cadene/block.bootstrap.pytorch上获得。
2019-02-12 cs.CV
Video Relationship Reasoning using Gated Spatio-Temporal Energy Graph
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
视觉关系推理是理解视觉概念之间丰富交互的一项重要而具有挑战性的任务。例如,关系“man,open,door”涉及具体实体“man,door”之间的复杂关系“open”。虽然大部分现有的工作已经在静态图像的背景下研究了这个问题,但对视频中视觉关系的理解受到了有限的关注。由于其时间性质,视频使我们能够对更全面的视觉关系集进行建模和推理,例如需要多个(时间)观察的那些(例如,“man,lift up,box”对“man,put down,box”),以及通常随时间相关的关系(例如,“女人,付钱,钱”,后面跟着“女人,买,咖啡”)。在本文中,我们构建了一个条件随机场上的完全连接的时空图,利用空间和时间的关系实体之间的统计依赖。我们介绍了一种新的门控能量函数参数化,学习自适应关系的视觉观察。我们的模型优化是计算效率高,其空间计算复杂性显着摊销通过我们提出的参数化。在基准视频数据集(ImageNet Video和Charades)上的实验结果展示了三个标准关系推理任务的最新性能:检测,标记和识别。
2019-03-27 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology(瑞典皇家理工学院)
视觉关系检测是整体图像理解的基础。然而,定位和分类(主语,谓语,宾语)三元组仍然具有挑战性的任务,由于可能的关系,其长尾分布在自然图像中的组合爆炸,和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法,依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类,隐式地对成对关系的归纳偏差进行编码。然后,我们框架的关系检测作为这样的谓词分类器的解释,即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集:HICO-DET的人与对象的交互,视觉关系检测的通用对象到对象的关系,和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV