Care about you: towards large-scale human-centric visual relationship detection
The University of Adelaide(阿德莱德大学)
视觉关系检测旨在捕捉图像中对象对之间的相互作用。对象和人之间的关系代表了这个问题的一个特别重要的子集,涉及到诸如理解人类行为和识别启示等挑战。为了解决这个问题,我们首先构建了一个大规模的以人为中心的视觉关系检测数据集(HCVRD),它提供了比以前发布的数据集更多类型的关系注释(近10K类别)。这个大的标签空间更好地反映了人与对象交互的现实,但会产生长尾分布问题,这反过来又需要一种zero-shot方法来处理只出现在测试集中的标签。这是第一次讨论这个问题。我们提出了一个网络监督的方法来解决这些问题,并证明了所提出的模型提供了一个强大的基线上我们的HCVRD数据集。
2017-05-28 cs.CV
Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);ShanghaiTech University(上海科技大学)
理解真实感视觉场景图像和语言描述是实现通用视觉理解的基本任务。先前的工作已经通过为视觉场景构建层次结构(例如,场景图)和自然语言(例如,独立树)。然而,如何构建一个联合的视觉语言(VL)结构几乎没有研究。更具挑战性但值得一提的是,我们引入了一个新的任务,目标是以无监督的方式诱导这种联合VL结构。我们的目标是无缝地连接视觉场景图和语言依赖树。由于缺乏VL结构数据,我们首先构建一个新的数据集VLParse。与其从头开始使用劳动密集型的标记,我们提出了一个自动对齐过程来产生粗糙的结构,然后进行人工细化以产生高质量的结构。此外,我们提出了一个基于对比学习(CL)的框架VLGAE,简称视觉语言图形自动编码器,我们的数据集基准。我们的模型在两个衍生任务上获得了优异的性能,即,语言语法归纳和VL短语的基础。烧蚀显示了视觉线索和依赖关系对细粒度VL结构构建的有效性。
2022-06-01 cs.CL cs.CV
SemCo: Toward Semantic Coherent Visual Relationship Forecasting
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);ETH Zürich(苏黎世联邦理工学院);School of Remote Sensing and Information Engineering(遥感与信息工程学院)
针对现有视觉关系预测(VRF)数据集语义连贯性支持不足、方法难区分相似关系等问题,提出SemCoBench基准及SemCoFormer方法,通过模块建模语义连贯性,实验证明其能实现更合理、细粒度和多样化的VRF。
2025-11-18 cs.AI cs.CV
2.5D Visual Relationship Detection
Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉2.5D感知涉及通过推理环境中相对于观看者的对象关系来理解场景的语义和几何。然而,现有的工作在视觉识别主要集中在语义。为了弥补这一差距,我们研究了2.5D视觉关系检测(2.5VRD),其目标是联合检测对象并预测它们的相对深度和遮挡关系。与一般的VRD不同,2.5VRD是以自我为中心的,使用相机的视点作为所有2.5D关系的共同参考。与深度估计不同,2.5VRD是以对象为中心的,不仅关注深度。为了使这项任务取得进展,我们创建了一个新的数据集,其中包含来自11K图像的512K对象之间的220K人类注释的2.5D关系。我们分析了这个数据集,并进行了广泛的实验,包括基准测试多个国家的最先进的VRD模型在这项任务。我们的研究结果表明,现有的模型在很大程度上依赖于语义线索和简单的算法来解决2.5VRD,激励进一步研究模型的2.5D感知。新的数据集可在www.example.com上获得。
2021-04-26 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST(法国原子能与替代能源委员会 信息与技术系统实验室);CERMICS, Ecole des Ponts(巴黎路桥学院 数学与科学计算中心)
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时,捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此,我们提出了一个框架,该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法,我们观察到所有类别的视觉基因组,一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关,并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
Relatable Clothing: Detecting Visual Relationships between People and Clothing
University of Calgary(卡尔加里大学)
在计算机视觉和生物识别领域中,检测图像中人与衣服之间的视觉关系一直是相对未探索的问题。由于缺乏现成的“磨损”和"未磨损“分类的公共数据集,减缓了解决这一问题的方案的制定。我们提出了发布的相关服装数据集,其中包含35287人服装对和分割面具的发展“穿”和“unworn”分类模型。此外,我们提出了一种新的软注意力单元,用于使用深度神经网络进行“磨损”和"未磨损“分类。所提出的软注意力模型具有向上的$98.55\% \pm 0.35\%$的准确性的相关的服装数据集,并表现出高概括性,使我们能够分类看不见的衣服,如高能见度背心“穿”或"不穿“。
2020-07-20 cs.CV
Neural Message Passing for Visual Relationship Detection
Cooperative Medianet Innovation Center(协同媒体网络创新中心);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
视觉关系检测的目的是检测图像中的对象之间的相互作用,然而,由于对象和相互作用的多样性,该任务遭受组合爆炸。由于与同一对象相关的交互是依赖的,我们探索的依赖关系的相互作用,以减少搜索空间。我们显式地建模对象和交互的交互图,然后提出了一个消息传递风格的算法来传播上下文信息。因此,我们将所提出的方法称为神经消息传递(NMP)。我们进一步整合语言先验和空间线索,以排除不切实际的相互作用和捕捉空间的相互作用。在两个基准数据集上的实验结果证明了该方法的优越性。我们的代码可在https://github.com/PhyllisH/NMP上获得。
2022-08-08 cs.CV
United we stand, Divided we fall: Handling Weak Complementary Relationships for Audio-Visual Emotion Recognition in Valence-Arousal Space
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
针对视听模态弱互补导致情绪识别特征表征差的问题,提出门控递归联合交叉注意力方法,通过门控机制自适应调控信息流,结合分层门控提升性能,在Affwild2数据集上取得更优的效价与唤醒度识别效果。
2025-03-21 cs.CV cs.SD eess.AS
Text-to-feature diffusion for audio-visual few-shot learning
University of Tübingen(图宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对视听少样本视频分类问题,提出了统一的基准及文本到特征扩散框架AV-DIFF,通过跨模态注意力融合特征并生成新类多模态特征,实现了最先进的分类性能。
2023-09-07 cs.CV
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore(新加坡国立大学)
视觉关系检测旨在推理图像中显著对象之间的关系,近年来受到越来越多的关注。受人类推理机制的启发,人们认为外部视觉常识知识有利于图像中对象的视觉关系推理,但现有方法很少考虑这一点。在本文中,我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers(RVL-BERT),它执行关系推理与视觉和语言常识知识,通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外,我们的模型将目标检测从视觉关系识别中分离出来,直接采用对象名称,使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明,与转移的知识和新的模块,RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
On Exploring Undetermined Relationships for Visual Relationship Detection
Key Laboratory of Complex Systems Modeling and Simulation(复杂系统建模与仿真重点实验室);Hangzhou Dianzi University(杭州电子科技大学);University of Sydney(悉尼大学)
在视觉关系检测中,人类标记的关系可以被视为确定关系。然而,仍然存在大量未标记的数据,例如具有不太重要的关系甚至没有关系的对象对。我们将这些未标记但可能有用的数据称为未确定的关系。虽然大量的文献存在,很少有方法利用这些不确定的关系的视觉关系检测。在本文中,我们探讨了视觉关系检测的未确定的关系的有益影响。我们提出了一种新的基于多模态特征的不确定关系学习网络(MF-URLN),并在关系检测方面取得了很大的进步。详细地说,我们的MF-URLN自动生成不确定的关系,通过比较对象对与人类标注的数据,根据设计的标准。然后,MF-URLN提取和融合三个互补的情态动词:视觉,空间和语言情态动词的对象对的特征。此外,MF-URLN提出了两个相关的子网络:一个子网络决定确定的信心,和其他预测的关系。我们在两个数据集上评估MF-URLN:视觉关系检测(VRD)和视觉基因组(VG)数据集。与现有方法相比,实验结果验证了未确定关系的显著改进,例如,在VRD数据集上,前50个关系检测召回率从19.5%提高到23.9%。
2019-05-05 cs.CV cs.LG
Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection
Google DeepMind(谷歌DeepMind);Technical University Munich(慕尼黑工业大学)
本文提出Scene-Graph ViT,一种免解码器的Transformer架构,通过隐式建模物体关系及注意力机制选择物体对,实现端到端开放词汇视觉关系检测,在Visual Genome和GQA上达到实时最先进性能。
2024-07-19 cs.CL cs.CV cs.LG
AVR: Attention based Salient Visual Relationship Detection
South China University of Technology(华南理工大学)
视觉关系检测的目的是定位图像中的对象,并识别对象之间的关系。传统的方法对图像中所有观察到的关系都一视同仁,这导致了在具有丰富视觉对象和各种关系的复杂图像上检测任务的性能相对较差。为了解决这个问题,我们提出了一个基于注意力的模型,即AVR,以实现显着的视觉关系的基础上,本地和全球范围内的关系。具体地说,AVR识别关系,并通过融合视觉特征,语义和空间信息的关系,在输入图像的本地上下文中测量对关系的关注。然后,AVR应用注意力来分配具有较大显著权重的重要关系,以进行有效的信息过滤。此外,AVR还结合了图像数据集全局上下文的先验知识,以提高关系预测的精度,其中上下文被建模为异构图,基于随机游走算法来度量关系的先验概率。在多个真实图像数据集上进行了全面的实验,结果表明,AVR在召回率方面明显优于最先进的视觉关系检测方法,最高可达$87.5\%$。
2020-03-16 cs.CV
VrR-VG: Refocusing Visually-Relevant Relationships
Xi’an Jiaotong University(西安交通大学);JD AI Research(京东人工智能研究院)
关系编码个体实例之间的交互,并且在深度视觉场景理解中起关键作用。由于非视觉信息的高可预测性,现有方法倾向于拟合统计偏差,而不是从图像中“学习”“推断”关系。为了鼓励视觉关系的进一步发展,我们提出了一种新的方法来自动挖掘更有价值的关系,修剪视觉无关的。基于Visual Genome构建了一个新的场景图数据集--视觉相关关系数据集(VrR-VG)。与现有数据集相比,VrR-VG中可学习方法和统计方法之间的性能差距更大,基于频率的分析不再起作用。此外,我们建议学习的关系感知表示,共同考虑的实例,属性和关系。通过应用在VrR-VG上学习的表征感知特征,图像描述和视觉问答的性能得到了系统的大幅度提高,这表明我们的数据集和特征嵌入方案的增益。VrR-VG可通过http://vrr-vg.com/获得。
2019-08-26 cs.CV
Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
可视化问答的关键问题之一是在问题的引导下对可视化内容中的语义线索进行推理,如何对关系语义进行建模仍然是一个巨大的挑战。为了充分捕捉视觉语义,我们提出了一个结构化的视觉表示-场景图,嵌入对象和对象间的关系。这显示出比vanilla向量表示和隐式视觉关系学习更大的好处。基于现有的视觉关系模型,我们提出了一个视觉关系编码器,该编码器将视觉关系投射到受视觉上下文和语言先验约束的学习深度语义空间中。在此基础上,提出了一种场景图卷积网络(SceneGCN),用于对对象属性和关系语义进行联合推理,以获得正确答案。我们在具有挑战性的GQA数据集和经典的VQA 2.0数据集上证明了该模型的有效性和可解释性,与现有的最佳模型相比,GQA的准确率达到了54.56%。
2019-08-21 cs.AI cs.CV cs.MM
Tensor Composition Net for Visual Relationship Prediction
Nanjing University(南京大学);The University of Edinburgh(爱丁堡大学);Samsung AI Research Centre(三星人工智能研究中心)
我们提出了一种新的张量组合网络(TCN)来预测图像中的视觉关系。视觉关系预测(VRP)提供了一个更具挑战性的测试图像理解比传统的图像标记,是很难学习,由于一个大的标签空间和不完整的注释。我们的TCN的关键思想是利用视觉关系张量的低秩属性,以便利用对象和关系内部和之间的相关性,并对图像中的所有视觉关系进行结构化预测。为了展示我们的模型的有效性,我们首先将我们的模型与多标签图像分类(MLIC)方法、极限多标签分类(XMC)方法和VRD方法进行了实证比较。然后,我们表明,由于我们的张量(去)组成层,我们的模型可以预测在训练数据集中没有看到的视觉关系。最后,我们展示了我们的TCN的图像级视觉关系预测提供了一个简单而有效的机制,基于关系的图像检索,即使与VRD方法相比。
2022-02-09 cs.CV
Visual Relationship Detection with Language Priors
Stanford University(斯坦福大学)
视觉关系捕捉图像中成对对象之间的各种各样的交互(例如,“人骑自行车”和“人推自行车”)。因此,可能的关系的集合非常大,并且难以为所有可能的关系获得足够的训练样本。由于这种限制,以前的工作视觉关系检测集中在预测只有少数的关系。虽然大多数关系并不频繁,但它们的宾语(例如“man”和“bicycle”)和谓语(例如“riding”和“pushing”)独立出现的频率更高。我们提出了一个模型,使用这种洞察力,训练视觉模型的对象和谓词单独,后来将它们结合在一起,预测多个关系的图像。我们通过利用语义词嵌入的语言先验来微调预测关系的可能性,从而改进了先前的工作。我们的模型可以扩展到从几个例子中预测数千种类型的关系。此外,我们将预测关系中的对象定位为图像中的边界框。我们进一步证明,理解关系可以提高基于内容的图像检索。
2016-07-31 cs.CV
Diffusion Visual Counterfactual Explanations
University of Tübingen(图宾根大学)
视觉反事实推理(VCE)是理解图像分类器决策的重要工具。它们是改变分类器决策的图像的“小”但“现实”的语义变化。当前的VCE生成方法局限于对抗性强的模型,并且通常包含不真实的伪影,或者局限于具有很少类别的图像分类问题。在本文中,我们通过扩散过程为任意ImageNet分类器生成扩散视觉反事实推理(DVCE)来克服这一点。对扩散过程的两个修改对于我们的DVCE来说是关键的:首先,自适应参数化,其超参数在图像和模型之间泛化,再加上距离正则化和扩散过程的延迟开始,使我们能够生成对原始图像具有最小语义变化但不同分类的图像。其次,我们通过对抗性鲁棒模型进行的锥正则化确保了扩散过程不会收敛到微不足道的非语义变化,而是产生目标类的真实图像,这些图像通过分类器实现了高置信度。
2022-10-21 cs.CV cs.LG
Natural Language Guided Visual Relationship Detection
Leibniz University Hanover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
图像中目标对之间关系的推理是整体场景理解的一项重要任务。现有的大多数工作把这个任务作为一个纯粹的视觉分类任务:每种类型的关系或短语被归类为一个关系类别的基础上提取的视觉特征。然而,每种关系都有各种各样的对象组合,每对对象都有不同的相互作用。为所有可能的关系类别获得足够的训练样本是困难和昂贵的。在这项工作中,我们提出了一个自然语言引导的框架来解决这个问题。我们提出使用一个通用的双向递归神经网络来预测参与对象之间的语义联系的关系,从自然语言的方面。所提出的简单方法在视觉关系检测(VRD)和视觉基因组数据集上实现了最先进的水平,特别是在预测看不见的关系时(例如,在VRD zero-shot测试集上的召回率从76.42%提高到89.79%)。
2017-11-21 cs.CV
Improving Visual Relationship Detection using Semantic Modeling of Scene Descriptions
Siemens AG(西门子股份公司);Ludwig Maximilian University(路德维希-马克西米利安大学)
图像的结构化场景描述对于大型图像数据库的自动处理和查询非常有用。我们展示了如何结合语义和视觉统计模型,可以提高图像映射到其相关的场景描述的任务。在本文中,我们考虑的场景描述表示为一组三元组(主语,谓语,宾语),其中每个三元组包括一对视觉对象,出现在图像中,和它们之间的关系(例如,人骑大象,人戴帽子)。我们结合了一个标准的视觉模型的目标检测,基于卷积神经网络,与潜在变量模型的链接预测。我们应用多个国家的最先进的链接预测方法,并比较他们的视觉关系检测的能力。链接预测方法的主要优点之一是它们还可以推广到三元组,这在训练数据中从未观察到。我们的实验结果最近发表的斯坦福大学视觉关系数据集,一个具有挑战性的现实世界的数据集,表明使用链接预测方法的语义模型的集成可以显着提高视觉关系检测的结果。与斯坦福大学计算机视觉组的最先进方法相比,我们的组合方法实现了卓越的性能。
2018-09-01 cs.AI cs.CL cs.CV
A Problem Reduction Approach for Visual Relationships Detection
识别不同的对象(人和杯子)本身就是一个重要的问题,但是识别它们之间的关系(拿着)对于许多现实世界的用例来说是至关重要的。本文描述了一种将视觉关系检测问题简化为目标检测问题的方法。该方法被应用于Google AI Open Images V4 Visual Relationship Track Challenge,该挑战赛与2018年欧洲计算机视觉会议(ECCV 2018)联合举办,并最终获奖。挑战在于建立一种算法,检测特定关系中的成对对象:比如“女人弹吉他”、“桌上的啤酒”或“车里的狗”。".
2018-09-26 cs.CV
Learning 3D Object Spatial Relationships from Pre-trained 2D Diffusion Models
Seoul National University(首尔国立大学);RLWRLD
提出一种利用预训练2D扩散模型生成合成3D样本以学习物体间空间关系(OOR)的方法,通过训练基于分数的OOR扩散模型学习相对空间分布,并扩展至多物体关系,在3D场景布置和人体运动合成任务中表现出鲁棒性。
2025-08-11 cs.CV
Shuffle-Then-Assemble: Learning Object-Agnostic Visual Relationship Features
Nanyang Technological University(南洋理工大学)
由于完全注释视觉关系是极其昂贵的事实,即,(obj 1,rel,obj 2)三元组关系模型不可避免地偏向于有限成对模式的对象类,导致对罕见或看不见的对象组合的泛化较差。因此,我们有兴趣学习对象不可知的视觉功能,更普遍的关系模型。通过“不可知”,我们的意思是该特征不太可能偏向于成对对象的类别。为了减轻偏差,我们提出了一种新的\texttt{Shuffle-Then-Assemble}预训练策略。首先,我们丢弃图像中所有的三元组关系注释,留下两个不成对的对象域,而不进行obj 1-obj 2对齐。然后,我们的特征学习是恢复可能的obj 1-obj 2对。特别是,我们设计了两个域之间的剩余转换的循环,以捕获共享的,但不是特定于对象的视觉模式。在两个视觉关系基准上进行的大量实验表明,通过使用我们预先训练的特征,朴素关系模型可以不断改进,甚至优于其他最先进的关系模型。代码已在以下网址提供:\url{https://github.com/yangxuntu/vrd}。
2018-08-01 cs.CV
Few-shot Visual Relationship Co-localization
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
在本文中,给定一个小袋子的图像,每个包含一个共同的,但潜在的谓词,我们有兴趣在本地化的视觉主宾对连接通过共同的谓词在每个图像。我们把这个新问题称为视觉关系协同定位或VRC作为缩写。VRC是一项具有挑战性的任务,甚至比研究充分的对象协同定位任务更具挑战性。当只使用几张图像时,这变得更加具有挑战性,模型必须学会共同定位通过看不见的谓词连接的视觉主体-对象对。为了解决VRC,我们提出了一个优化框架,以选择一个共同的视觉关系,在每个图像的袋子。优化框架的目标是通过学习Few-Shot设置中图像之间的视觉关系相似性来找到最佳解决方案。为了获得强大的视觉关系表示,我们利用一个简单而有效的技术,学习关系嵌入作为一个翻译向量,从视觉主体到视觉对象在共享空间。此外,为了学习视觉关系相似性,我们利用了一种经过验证的元学习技术,通常用于Few-Shot分类任务。最后,为了解决指数数量的可行解所带来的组合复杂性挑战,我们使用了一个贪婪的近似推理算法,近似选择最佳解决方案。我们广泛地评估了我们提出的框架,从两个具有挑战性的公共数据集,即VrR-VG和VG-150获得的袋子大小的变化,并实现了令人印象深刻的视觉协同定位性能。
2021-08-26 cs.AI cs.CV
DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models
DAVET 是一种无需训练的框架,通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据,实现平均 1.55 倍加速且仅 1.86% 的平均性能下降,降低了视觉条件成本。
2026-08-04 cs.CV cs.LG
Visual Relationship Detection with Low Rank Non-Negative Tensor Decomposition
School of Computing, National University of Singapore(新加坡国立大学计算学院)
我们解决的问题,视觉关系检测(VRD),其目的是描述之间的关系对对象的三元组(主语,谓语,宾语)的形式。我们观察到,给定一对限界框建议,对象通常参与多重关系,这意味着三元组的分布是多模态的。我们利用三元组内的强相关性来学习以图像和限界框建议为条件的三元组变量的联合分布,从而消除迄今为止使用的三元组的独立分布。为了使学习三重联合分布可行,我们引入了一种新的技术,学习条件三重分布的形式,其归一化的低秩非负张量分解。归一化张量分解采取离散变量的混合分布的形式,因此能够捕获多模态。这使我们能够有效地学习高阶离散多峰分布,同时保持参数大小可管理。我们进一步建模的概率选择一个对象的建议对,并包括一个关系三元组在我们的模型。我们证明了模型的每个部分都提高了性能,并且组合在视觉基因组(VG)和视觉关系检测(VRD)数据集上的表现优于最先进的分数。
2019-11-22 cs.CV cs.LG
Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文首次将扩散模型引入无参考图像质量评估,提出扩散恢复网络提取高层视觉特征,并通过视觉补偿引导与视觉差异分析两个分支实现全面质量评估,在七个公开数据集上取得优于现有SOTA方法的性能。
2024-12-26 cs.CV cs.LG eess.IV
On Class Imbalance and Background Filtering in Visual Relationship Detection
School of Computer Science University of Manchester(曼彻斯特大学计算机学院)
本文研究了视觉关系检测(VRD)中的类别不平衡和不相关关系问题。最先进的深度VRD模型仍然难以预测不常见的类,限制了它们的适用性。此外,许多方法在预测相关关系的同时不能适当地过滤掉背景关系。虽然这些问题非常明显,但它们迄今都被忽视了。我们分析了为什么会出现这种情况,并提出了修改模型和培训,以减轻上述问题,以及建议新的措施,以补充现有的,并给出一个更全面的图片模型的功效。
2019-03-21 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Explaining generative diffusion models via visual analysis for interpretable decision-making process
Korea University(高丽大学)
本文提出可视化工具,从模型生成的视觉概念和关注区域角度解释扩散模型去噪过程,并通过实验验证其有效性,为可解释扩散机制研究提供新见解。
2024-02-16 cs.AI cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Language and Visual Entity Relationship Graph for Agent Navigation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
视觉和语言导航(VLN)要求智能体在现实环境中遵循自然语言指令进行导航。从文本和视觉的角度来看,我们发现,场景之间的关系,它的对象,和方向线索是必不可少的代理解释复杂的指令,并正确地感知环境。为了捕捉和利用这些关系,我们提出了一种新的语言和视觉实体关系图,用于建模文本和视觉之间的模态间关系,以及视觉实体之间的模态内关系。我们提出了一种消息传递算法,用于在图形中的语言元素和视觉实体之间传播信息,然后将其结合起来以确定下一步要采取的行动。实验表明,通过利用的关系,我们能够改善国家的最先进的。在房间到房间(R2 R)的基准,我们的方法实现了新的最佳性能的测试看不见的分裂与成功率加权路径长度(SPL)的52%。在Room-for-Room(R4 R)数据集上,我们的方法在归一化动态时间规整(SDTW)加权的成功率上将之前的最佳值从13%显著提高到34%。代码可在:https://github.com/YicongHong/Entity-Graph-VLN.
2020-12-25 cs.CV
Video Relationship Detection Using Mixture of Experts
University of Waterloo(滑铁卢大学)
针对视觉与语言的推理鸿沟及单一网络分类器稳定性不足的问题,提出采用稀疏门控混合专家的MoE-VRD方法,通过多专家聚合提取视觉关系三元组,在不增加计算复杂度的前提下提升了视觉关系检测性能。
2024-03-06 cs.CV cs.LG
TINA+: Probing Residual Visual Knowledge in Unlearned Diffusion Models via Diffusion-Consistent Text-Free Inversion
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);City University of Hong Kong(香港城市大学);Shenzhen Loop Area Institute(深圳河套学院);National University of Singapore(新加坡国立大学);Pengcheng Laboratory(鹏城实验室)
本研究提出TINA+,一种扩散一致无文本反演攻击,可探测未学习的扩散模型中残留的视觉知识,实验表明现有概念擦除方法多切断文本-图像链接而非消除视觉知识。
2026-08-19 cs.CV
Towards Flexible Visual Relationship Segmentation
Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视觉关系理解相关任务分散研究的问题,提出整合HOI检测、SGG、RR任务且支持开放词汇的FleVRS模型,利用多模态协同实现关系定位,在多数据集上性能优于现有模型。
2024-08-15 cs.CV
MADI: Masking-Augmented Diffusion with Inference-Time Scaling for Visual Editing
Qualcomm AI Research(高通人工智能研究)
本文提出MADI框架,通过掩码增强高斯扩散训练策略和基于暂停令牌的推理时扩展机制,显著提升扩散模型在视觉编辑中的可编辑性、组合性与可控性。
2025-07-16 cs.CV cs.LG
Detecting Visual Relationships Using Box Attention
Google Research(谷歌研究院);IST Austria(奥地利科学技术研究所)
我们提出了一个新的模型来检测视觉关系,如“人骑摩托车”或“瓶子在桌子上”。这项任务是实现全面结构化图像理解的重要一步,超越了检测单个对象。我们的主要新颖性是一个框注意力机制,允许使用标准的目标检测管道对象之间的成对交互模型。由此产生的模型在概念上是干净的,有表现力的,并依赖于合理的训练和预测程序。此外,与以前提出的方法不同,我们的模型不会在底层检测模型已经需要的那些组件或超参数之上引入任何额外的复杂组件或超参数。我们对三个具有挑战性的数据集,V-COCO,视觉关系和开放图像进行了实验评估,展示了强大的定量和定性结果。
2019-05-02 cs.CV
DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
Monash University(墨尔本大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
针对视觉关系识别中的长尾分布问题,提出DiffAugment方法,利用WordNet和扩散模型增强尾部类别的文本与视觉表示,并引入难度感知组件和基于主客体的种子策略,有效提升了尾部类别的平均准确率。
2024-03-01 cs.CV
Not just a matter of semantics: the relationship between visual similarity and semantic similarity
Michael Stifel Center Jena(耶拿米夏埃尔·施蒂费尔中心);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
知识转移、零样本学习和语义图像检索是旨在通过利用例如来自WordNet的语义信息来提高准确性的方法。假设这些信息可以以标记的训练图像的形式增强或替换丢失的视觉数据,因为语义相似性与视觉相似性相关。这个假设可能看起来微不足道,但对于此类语义方法的应用至关重要。任何违规行为都可能导致错误预测。因此,对于特定的目标问题,检查视觉语义关系是很重要的。在本文中,我们使用五种不同的语义和视觉相似性度量来彻底分析关系,而不过分依赖于任何单一的定义。我们假设和验证三个高度重要的假设的关系。我们的研究结果表明,它确实存在,WordNet的语义相似性进行更多的信息,视觉相似性不仅仅是知识的“不同的类看起来不同”。他们认为,分类不是语义方法的理想应用,错误的语义信息比没有更糟糕。
2019-05-31 cs.CV
End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting
Beijing Institute of Technology(北京理工大学);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Shenzhen MSU-BIT University(深圳北理莫斯科大学);University of Rochester(罗切斯特大学)
针对开放词汇视频视觉关系检测中现有方法依赖预训练轨迹检测器导致泛化能力差的问题,提出端到端开放词汇框架,包含关系感知轨迹检测器和多模态提示分类器,提升了对新类别的泛化性能。
2025-04-12 cs.CV
Visual Chain-of-Thought Diffusion Models
University of British Columbia(不列颠哥伦比亚大学)
本文提出两阶段采样方法,利用条件扩散模型提升无条件图像生成性能,使FID提高25-50%。
2023-06-21 cs.CV cs.LG
Visual Diffusion Models are Geometric Solvers
Tel Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind)
本文展示视觉扩散模型可直接解决几何问题,通过像素空间推理,解决四边形内接问题及Steiner树问题等,将几何推理转化为图像生成。
2026-04-14 cs.CV cs.LG
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
Learning Effective Visual Relationship Detector on 1 GPU
Layer6 AI(Layer6人工智能公司)
我们为Open Images 2019 Visual Relationship挑战赛提供获奖解决方案。这是迄今为止同类挑战中最大的挑战,有近900万张训练图像。挑战任务包括在复杂场景中检测对象并识别它们之间的关系。我们的解决方案有三个阶段,第一个目标检测模型是微调的挑战类使用一种新的权重转移方法。然后,在候选对象对上训练空间语义和视觉关系模型。最后,特征和模型预测被组合以生成最终的关系预测。在整个挑战过程中,我们专注于最大限度地降低架构的硬件要求。具体来说,我们的权重转移方法可以实现更快的优化,允许整个架构在两天内在单个GPU上进行训练。除了高效的优化,我们的方法还实现了卓越的准确性,在200多个团队中赢得了第一名,并在私人排行榜上以超过$5\%$的成绩超过了第二名。
2019-12-12 cs.CV
Masked Diffusion Captioning for Visual Feature Learning
University of Michigan(密歇根大学);Cornell University(康奈尔大学);University of Maryland(马里兰大学)
提出掩码扩散字幕生成(MDC)方法,通过图像条件的掩码扩散语言模型重建被掩码的文本token来学习视觉特征,避免了自回归方法对辅助目标的依赖,并在下游视觉任务中表现出竞争力。
2025-10-30 cs.CV
Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models
Virginia Tech(弗吉尼亚理工大学)
针对故事可视化中角色和物体跨面板不一致的问题,提出协作式多智能体框架,通过迭代循环自主识别、纠正和细化不一致性,实现面板级更新,无需重生成序列,且与多种扩散模型兼容,实验证明其多面板一致性优于现有方法。
2025-06-23 cs.CV
VReBERT: A Simple and Flexible Transformer for Visual Relationship Detection
The Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
视觉关系检测(VRD)促使计算机视觉模型“看到”单个对象实例之外的内容,并“理解"场景中不同对象是如何相关的。VRD的传统方法是首先检测图像中的对象,然后分别预测检测到的对象实例之间的关系。这种不相交的方法倾向于预测冗余的关系标签(即,谓词)之间的相同对象对具有相似的语义,或不正确的,具有类似的意义,以地面真理,但语义上是不正确的。为了弥补这一点,我们提出联合训练视觉对象特征和语义关系特征的VRD模型。为此,我们提出了VReBERT,一个类似于BERT的Transformer模型,用于视觉关系检测,并采用多阶段训练策略来联合处理视觉和语义特征。我们表明,我们简单的BERT类模型能够在谓词预测中优于最先进的VRD模型。此外,我们还表明,通过使用预训练的VReBERT模型,我们的模型将最先进的zero-shot谓词预测推高了一个显著的幅度(+8.49 R@50和+8.99 R@100)。
2022-06-18 cs.AI cs.CV
ORD: Object Relationship Discovery for Visual Dialogue Generation
The University of Queensland(昆士兰大学);Kyushu Institute of Technology(九州工业大学)
随着图像描述和视觉问答在单轮水平上的快速推进,如何生成关于视觉内容的多轮对话的问题尚未得到很好的探索,现有的视觉对话方法直接将图像编码为固定的特征向量,与问题和历史嵌入连接起来,以预测响应。最近的一些方法使用共同参考解决问题,注意力机制可以交叉引用图像、历史和目标问题中的相关元素。然而,由于在共同注意推理之前忽略了细粒度的对象级信息,因此推理视觉关系仍然具有挑战性。在本文中,我们提出了一个对象关系发现(ORD)框架,以保持视觉对话生成的对象交互。具体地说,层次图卷积网络(HierGCN)被提出来保留对象节点和邻居关系的本地,然后细化对象对象之间的连接,以获得最终的图嵌入。一个图形的注意力进一步纳入动态出席这个图形结构的表示在响应推理阶段。大量的实验证明,该方法可以显着提高质量的对话,利用视觉关系的上下文信息。该模型在Visual Dialog数据集上实现了优于最先进方法的性能,将MRR从0.6222提高到0.6447,recall@1从48.48%提高到51.22%。
2020-06-15 cs.CV cs.MM
Attention Guided Semantic Relationship Parsing for Visual Question Answering
Australian National University(澳大利亚国立大学);Data61–CSIRO(联邦科学与工业研究组织数据61中心);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
人类用语义标签解释对象间的关系,这些语义标签展示了执行复杂的视觉语言任务(如视觉问答(VQA))所需的高级理解。然而,现有的VQA模型表示的对象级的视觉功能,约束模型表示在一个单一的域中的对象之间的相互作用的组合的关系,而该模型试图解决多模态任务。在本文中,我们提出了一个通用的语义关系解析器,它生成一个语义特征向量的图像中的每个主谓宾三元组,和一个相互和自我注意(MSA)的机制,学会识别关系三元组是重要的回答给定的问题。为了激发语义关系的重要性,我们展示了一个具有地面真实关系三元组的Oracle设置,其中我们的模型在具有挑战性的GQA数据集上比最接近的最先进模型实现了约25%的准确性增益。此外,我们的语义解析器,我们表明,我们的模型优于其他可比的方法VQA和GQA数据集。
2020-10-05 cs.AI cs.CV
EmCom-Diffusion: Probing Visual Reflection in Emergent Languages via Image Generation
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科);Research Organization of Science and Technology, Ritsumeikan University, Shiga, Japan(立命馆大学科学技术研究机构)
研究新兴语言编码输入视觉内容程度的问题,提出EmCom-Diffusion框架,直接测量视觉反射,通过微调文本到图像扩散模型,以重建图像与原图的感知相似性评分,验证其优于现有指标。
2026-07-07 cs.AI cs.CL cs.CV
The Art of Deception: Color Visual Illusions and Diffusion Models
Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学);IDEAS NCBR;Universitat de Valencia(瓦伦西亚大学)
本研究探究视觉错觉在扩散模型中的编码机制,发现其潜在空间存在类人亮度/色彩偏移,可预测视觉错觉,还能利用文本到图像扩散模型生成新型错觉,且经心理物理学实验验证该类错觉可欺骗人类。
2024-12-13 cs.CV
Unified Visual Relationship Detection with Vision and Language Models
Google Research(谷歌研究院)
针对多数据集标签体系不一致导致视觉关系检测难统一的问题,提出基于VLM的自底向上UniVRD方法,在HICO-DET等任务上性能优异,可媲美单数据集模型且扩模后效果更佳。
2023-08-21 cs.CV
Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models
Xiamen University(厦门大学)
本研究提出R-Bench基准,系统评估大型视觉-语言模型中的关系幻觉,识别三种共现类型,并发现模型过度依赖常识而忽视视觉内容。
2024-07-18 cs.CV