Visual-Linguistic Agent: Towards Collaborative Contextual Object Reasoning
Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学);Beijing Institute of Petrochemical Technology(北京石油化工学院);TikTok(抖音);Sealand Technology Inc.(Sealand科技公司);Singapore Management University(新加坡管理大学)
本文提出视觉-语言智能体(VLA)协作框架,结合MLLM的关系推理与传统检测器的定位能力,通过语言智能体与视觉智能体协同优化检测结果,在COCO数据集上显著提升了多模型的物体定位与上下文连贯性。
2024-11-15 cs.CV
Unsupervised Moving Object Detection via Contextual Information Separation
University of Zurich(苏黎世大学)
我们提出了一个对抗性的上下文模型,用于检测图像中的移动对象。深度神经网络被训练为使用来自除该区域之外的任何其他地方的信息(上下文)来预测该区域中的光流,而另一个网络试图使这种上下文尽可能不提供信息。其结果是一个模型,其中假设自然竞争,不需要显式正则化或超参数调整。虽然我们的方法不需要任何监督,但它优于在大型注释数据集上预先训练的几种方法。我们的模型可以被认为是经典的基于变分生成区域的分割的推广,但在某种程度上,避免了显式正则化或偏微分方程在运行时的解决方案。
2019-04-14 cs.CV
Contextual Relabelling of Detected Objects
University of Exeter(埃克塞特大学)
背景信息,如物体的共现以及物体之间的空间和相对大小,提供了关于场景的深层和复杂的信息。它也可以在提高目标检测方面发挥重要作用。在这项工作中,我们提出了两个上下文模型(重新评分和重新标记模型),利用上下文信息(本文中应用了16个上下文关系)来增强最先进的基于RCNN的目标检测(更快的RCNN)。我们的实验表明,我们的模型导致检测性能的增强,使用最常见的数据集在这个领域(MSCOCO)。
2019-06-06 cs.AI cs.CV
SegET: Deep Neural Network with Rich Contextual Features for Cellular Structures Segmentation in Electron Tomography Image
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
电子断层扫描(ET)允许高分辨率重建的大分子复合物在近天然状态。电子断层图像重建数据中的细胞结构分割通常需要用于分析和可视化生物结构,使其成为定量描述整个细胞结构和理解生物功能的有力工具。然而,由于复杂的分子环境和ET重建数据的局限性,这些细胞结构很难从视图中自动分离或量化。在本文中,我们提出了一个端到端的深度全卷积语义分割网络,称为SegET,它具有丰富的上下文特征,充分利用了多尺度和多层次的上下文信息,减少了ET图像中细胞结构细节的丢失。我们训练和评估我们的网络上的电子断层扫描的CTL免疫突触从细胞图像库。我们的研究结果表明,SegET可以自动准确地分割,并在ET数据集中的每个结构上优于所有其他基线方法。
2018-11-28 cs.CV
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院智能信息处理重点实验室,中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们解决的语义分割问题,重点放在上下文聚合策略。我们的动机是像素的标签是像素所属的对象的类别。我们提出了一个简单而有效的方法,对象上下文表示,通过利用相应的对象类的表示来表征像素。首先,我们在地面实况分割的监督下学习对象区域。其次,我们计算对象区域表示聚集的像素位于对象区域的表示。最后,计算每个像素和每个对象区域之间的关系,并使用对象上下文表示来增强每个像素的表示,该对象上下文表示是所有对象区域表示根据它们与像素的关系的加权聚合。我们的经验表明,所提出的方法在各种具有挑战性的语义分割基准:Cityscapes,ADE 20 K,LIP,PASCAL上下文,COCO的东西,实现了有竞争力的性能。Cityscapes、ADE20K、LIP、PASCAL-Context和COCO-Stuff。我们提交的“HRNet + OCR + SegFix”在提交时在Cityscapes排行榜上排名第一。代码可在https://git.io/openseg和https://git.io/HRNet.OCR上获得。我们使用Transformer编码器-解码器框架重新表述对象上下文表示方案。详情见第3.3节。
2021-04-30 cs.CV
Consistency Beyond Contrast: Enhancing Open-Vocabulary Object Detection Robustness via Contextual Consistency Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);CUHK(香港中文大学)
本文提出上下文一致性学习框架,通过上下文自举数据生成和上下文一致性损失提升开放词汇物体检测在不同场景下的鲁棒性,实验表明其在OmniLabel和D3数据集上分别提升16.3和14.9 AP。
2026-03-27 cs.CV
Edge Preserving and Multi-Scale Contextual Neural Network for Salient Object Detection
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Australian National University(澳大利亚国立大学)
本文提出了一种新的边缘保持和多尺度上下文神经网络用于显著目标检测。所提出的框架旨在解决现有的基于CNN的方法的两个限制。首先,基于区域的CNN方法缺乏足够的上下文来准确定位显著对象,因为它们独立地处理每个区域。其次,基于像素的CNN方法由于卷积层和池化层的存在而遭受模糊边界。受此启发,我们首先提出了一种基于Fast R-CNN框架的端到端边缘保留神经网络(名为RegionNet),以高效地生成具有尖锐对象边界的显着图。之后,为了进一步改进它,多尺度空间上下文附加到RegionNet考虑区域和全球场景之间的关系。此外,我们的方法可以通过深度细化一般地应用于RGB-D显著性检测。该框架首次同时实现了清晰的检测边界和多尺度上下文鲁棒性,从而达到了优化的性能。在六个RGB和两个RGB-D基准数据集上的实验表明,该方法达到了最先进的性能。
2017-09-22 cs.CV
Agile Amulet: Real-Time Salient Object Detection with Contextual Attention
Dalian University of Technology(大连理工大学);University of Adelaide(阿德莱德大学)
本文提出了一个敏捷聚合多层次特征框架(敏捷护身符)的显着目标检测。Agile Amulet建立在以前的工作基础上,使用多级卷积特征预测显着性图。与以前的作品相比,敏捷Amulet采用了一些关键创新,以提高训练和测试速度,同时提高预测准确性。更具体地说,我们首先介绍了一个上下文注意模块,可以快速突出最显着的对象或区域与上下文金字塔。因此,它有效地指导了低层卷积特征的学习,并告诉骨干网络在哪里寻找。上下文注意力模块是一个完全卷积的机制,它同时学习互补特征并预测每个像素的显著性得分。此外,我们提出了一种新的方法来聚合多级深度卷积特征。因此,我们能够单独使用预训练卷积网络的集成侧输出功能,这大大减少了模型参数,使模型大小为67 MB,约为Amulet的一半。与其他基于深度学习的显着性方法相比,Agile Amulet的重量更轻,运行速度更快(实时的【形】30 fps),并且在定量和定性评估方面在七个公共基准测试中实现了更高的性能。
2018-02-20 cs.CV
Resolving Class Imbalance for LiDAR-based Object Detector by Dynamic Weight Average and Contextual Ground Truth Sampling
Korea University(高丽大学);Hyundai Motor Company(现代汽车公司)
自动驾驶系统需要一个3D物体检测器,它必须可靠地感知所有存在的道路代理,以安全地导航环境。然而,现实世界的驾驶数据集经常遭受数据不平衡的问题,这导致难以训练在所有类别中都能很好地工作的模型,从而导致不希望的不平衡次优性能。在这项工作中,我们提出了一种方法来解决这种数据不平衡的问题。我们的方法由两个主要部分组成:(i)基于LiDAR的3D物体检测器,具有每类多个检测头,其中每个头的损失通过动态权重平均进行修改以平衡。(ii)上下文真值(GT)采样,其中我们通过利用语义信息来利用采样的真值GT对象来增强点云,从而改进传统的GT采样技术。我们对KITTI和nuScenes数据集的实验证实了我们提出的方法在处理数据不平衡问题方面的有效性,与现有方法相比,可以产生更好的检测精度。
2022-10-07 cs.CV
Improving Deep Lesion Detection Using 3D Contextual and Spatial Attention
NVIDIA AI Technology Center(英伟达人工智能技术中心);Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学)
与自然目标检测相比,来自计算机断层摄影(CT)扫描的病变检测是具有挑战性的,因为两个主要原因:小的病变尺寸和小的类间变化。首先,病变通常仅占据CT图像中的小区域。这种小区域的特征由于其有限的空间特征分辨率而可能不能够提供足够的信息。其次,在CT扫描中,由于病变和非病变区域可能具有非常相似的外观,因此病变通常无法与背景区分开。为了解决这两个问题,我们需要丰富的特征表示和提高特征的区分度。因此,我们引入了双重注意力机制的三维上下文病变检测框架,包括跨切片上下文的注意力,选择性地聚合来自不同的切片通过软重采样过程的信息。此外,我们提出了片内空间注意力集中在最突出的区域的特征学习。我们的方法可以很容易地进行端到端训练,而不会在基础检测网络上增加大量开销。我们使用DeepLesion数据集并训练一个通用的病变检测器来检测各种病变,如肝肿瘤、肺结节等。结果表明,我们的模型可以显著提高基线病变检测器(具有3D上下文信息)的结果,但使用的切片要少得多。
2019-07-09 cs.CV
Scene Labeling with Contextual Hierarchical Models
University of Utah(犹他大学);Scientific Computing and Imaging Institute(科学计算与成像研究所)
场景标签是指为每个像素分配对象标签的问题。它统一了图像分割和目标识别问题。在场景标记框架中使用上下文信息的重要性已经在该领域中被广泛认识到。我们提出了一个上下文框架,称为上下文层次模型(CHM),它学习场景标记的层次框架中的上下文信息。在层次结构的每个级别,基于下采样的输入图像和先前级别的输出来训练分类器。然后,我们的模型将得到的多分辨率上下文信息纳入分类器中,以原始分辨率分割输入图像。这种训练策略允许通过层次结构在多个分辨率下优化联合后验概率。上下文层次模型纯粹基于输入图像块,不使用任何片段或形状示例。因此,它适用于各种问题,如对象分割和边缘检测。我们证明,CHM优于斯坦福背景和魏茨曼马数据集的最先进的。它还优于纽约大学深度数据集上最先进的边缘检测方法,并在伯克利分割数据集(BSDS 500)上达到最先进的水平。
2014-02-04 cs.CV
Analysing object detectors from the perspective of co-occurring object categories
Nokia Bell Labs(诺基亚贝尔实验室)
最先进的Faster R-CNN和YOLO对象检测器的准确性在一个特殊的掩蔽MS COCO数据集上进行了评估和比较,以衡量它们的预测在多大程度上依赖于在对象类别级别编码的上下文信息。上下文的类别级表示的动机是这样一个事实,它可能是一个适当的方式来传递视觉和非视觉域之间的知识。根据我们的测量,当前检测器通常不会在类别级别上建立对上下文信息的强依赖性,然而,当它们这样做时,它们以类似的方式这样做,这表明对象类别的上下文依赖性是一个独立的属性,与被转移有关。
2018-09-21 cs.CV
Attentive Contexts for Object Detection
Beijing Institute of Technology University(北京理工大学);Beijing Jiaotong University(北京交通大学);Sun Yat-Sen University(中山大学);National University of Singapore(新加坡国立大学)
基于现代深度神经网络的目标检测方法通常使用候选提案的内部特征对其进行分类。然而,被认为对目标检测有价值的全局和局部周围环境尚未被现有方法充分利用。在这项工作中,我们采取了一个步骤,了解什么是一个强大的做法,提取和利用上下文信息,以促进目标检测在实践中。具体来说,我们考虑以下两个问题:“如何识别有用的全局上下文信息,以检测某一对象?以及“如何利用提案的当地背景更好地推断其内容?".我们通过开发一种新的基于上下文卷积神经网络(AC-CNN)的目标检测模型,为这些问题提供了初步的答案。AC-CNN有效地将全局和局部上下文信息合并到基于区域的CNN(例如,快速RCNN)检测模型中,并提供更好的目标检测性能。它由一个基于注意力的全局上下文化(AGC)子网络和一个多尺度局部上下文化(MLC)子网络组成。为了捕获全局上下文,AGC子网络通过多个堆叠的长短期记忆(LSTM)层,为输入图像循环地生成注意力图,以突出有用的全局上下文位置。为了捕获周围的本地上下文,MLC子网络在多个尺度上利用每个特定提案的内部和外部上下文信息。然后将全局和局部上下文融合在一起,以做出最终的检测决策。在PASCAL VOC 2007和VOC 2012上进行的大量实验很好地证明了所提出的AC-CNN优于既定基线。特别是,AC-CNN在VOC 2007和VOC 2012的mAP方面分别优于流行的Fast-RCNN 2.0%和…
2016-03-24 cs.CV
Exploiting Contextual Uncertainty of Visual Data for Efficient Training of Deep Models
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯塔信息技术学院德里分校)
本文提出利用视觉数据的上下文多样性进行主动学习、数据修复和基于类别的标注,以优化标注效率、减少模型偏差并提升深度模型在领域偏移下的训练效果。
2024-11-20 cs.CV
Multi-View Attentive Contextualization for Multi-View 3D Object Detection
North Carolina State University(北卡罗来纳州立大学);University of Central Florida(中佛罗里达大学);Ant Group(蚂蚁集团);OPPO U.S. Research Center(OPPO美国研究中心)
本文提出MvACon,以表征稠密、计算稀疏的注意力上下文化增强多视图3D检测的2D到3D特征提升,并在nuScenes和Waymo-mini上验证其稳定增益。
2024-05-20 cs.CV
Multi-Level Contextual Network for Biomedical Image Segmentation
Shahid Beheshti University(沙希德·贝赫什提大学)
准确可靠的图像分割是生物医学图像分析的重要组成部分。在本文中,我们考虑使用深度卷积神经网络的生物医学图像分割的问题。我们提出了一个新的端到端的网络架构,有效地整合了本地和全球的上下文模式的组织学基元,以获得更可靠的分割结果。具体来说,我们引入了一个深度全卷积残差网络,它具有一个新的跳过连接策略来控制向前传递的上下文信息。此外,我们的训练模型由于其网络参数数量少,在计算上也很便宜。我们在两个公共数据集上评估了我们的方法,用于上皮分割和小管分割任务。我们的实验结果表明,该方法提供了一种快速,有效的方式产生一个像素级的密集预测的生物医学图像。
2018-09-30 cs.CV
Inner-Scene Similarities as a Contextual Cue for Object Detection
Technion(以色列理工学院)
利用图像上下文是提高目标检测的有效方法。以前提出的方法使用依赖于语义或空间信息的上下文线索。在这项工作中,我们探索了一种不同的上下文信息:内部场景相似性。我们提出了CISS(上下文的内部场景相似性)算法,这是基于观察,两个视觉上相似的子图像补丁很可能共享语义身份,特别是当两者都出现在同一幅图像。CISS使用由碱基检测器提供的碱基分数,并作为检测后阶段执行。对于每个候选子图像(表示为锚点),CISS算法找到一些类似的子图像(表示为支持者),并且使用它们来计算锚点的新的增强分数。这是通过利用支持者的基本分数和预先训练的依赖模型来完成的。新的分数被建模为锚和支持者的基本分数的线性函数,并使用最小均方误差优化进行估计。这一方法的结果是:(a)改进了对部分被遮挡对象的检测(当场景中存在类似的未被遮挡对象时),以及(b)更少的误报警(当基本检测器错误地将背景块分类为对象时)。这项工作涉及邓肯和汉弗莱斯的“相似性理论”,一种心理物理学研究。这表明人类视觉系统在感知上对相似的图像区域进行分组,并且一个区域的分类受到另一个区域的估计身份的影响。实验结果表明,一个基地检测器的PASCAL VOC数据集上的分数的增强。
2017-07-14 cs.CV
Seeing without Looking: Contextual Rescoring of Object Detections for AP Maximization
Institute for Systems and Robotics / IST, ULisboa(系统与机器人研究所/高等技术学院,里斯本大学);Carnegie Mellon University(卡内基梅隆大学)
当前大多数对象检测器缺乏上下文:类别预测独立于其他检测。我们建议将上下文结合在目标检测中,通过对任意检测器的输出进行后处理来重新评估其检测的置信度。重新评分是通过对来自整个检测集的上下文信息进行调节来完成的:它们的置信度、预测类和位置。我们表明,AP可以通过简单地重新分配检测置信度值来改善,使得存活更长时间的真阳性(即,具有正确类和大IoU的那些)的得分高于假阳性或具有小IoU的检测。在这种情况下,我们使用带有注意力的双向RNN进行上下文重评分,并引入一个训练目标,该目标使用具有地面真值的IoU来最大化给定检测集的AP。事实上,我们的方法不需要访问视觉功能,使其计算成本低,不可知的检测架构。尽管如此简单,我们的模型始终在强大的预训练基线(Cascade R-CNN和具有多个主干的Faster R-CNN)上改进AP,特别是通过降低重复检测的置信度(一种学习的非最大抑制形式)并通过调节置信度,类,位置和大小来去除上下文外对象。代码可在https://github.com/LourencoVazPato/seeing-without-looking/上获得
2020-03-30 cs.CV
C$^{4}$Net: Contextual Compression and Complementary Combination Network for Salient Object Detection
Picsart AI Research (PAIR)(Picsart人工智能研究院)
近年来,显著目标检测问题的深度学习解决方案取得了很大的成果。这些模型中的大多数基于编码器和解码器,具有不同的多功能组合。在本文中,我们表明,功能串联比其他组合方法,如乘法或加法更好。此外,联合特征学习给出了更好的结果,因为在它们的处理过程中的信息共享。我们设计了一个补充提取模块(CEM)提取必要的功能与边缘保护。我们提出的过度损失(EL)函数有助于减少假阳性预测和净化边缘与其他加权损失函数。我们设计的金字塔语义模块(PSM)与全球指导流(G),使预测更准确地提供高层次的补充信息,以较浅的层。实验结果表明,该模型优于国家的最先进的方法在所有基准数据集下的三个评价指标。
2021-10-22 cs.CV
MLCVNet: Multi-Level Context VoteNet for 3D Object Detection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Cardiff University(卡迪夫大学);National University of Defense Technology(国防科技大学)
在本文中,我们解决了三维目标检测任务,通过捕获多层次的上下文信息与自我注意力机制和多尺度特征融合。大多数现有的3D目标检测方法单独识别对象,而没有考虑这些对象之间的上下文信息。相比之下,我们提出了多级上下文投票网(MLCVNet),以识别3D对象相关,建立在最先进的投票网。我们在VoteNet的投票和分类阶段引入了三个上下文模块,以在不同级别上编码上下文信息。具体地,在对点块的对应对象质心点进行投票之前,采用块到块上下文(PPC)模块来捕获点块之间的上下文信息。随后,一个对象到对象上下文(OOC)模块被纳入之前的建议和分类阶段,以捕捉对象候选人之间的上下文信息。最后,设计了全局场景上下文(GSC)模块来学习全局场景上下文。我们证明了这些通过捕捉上下文信息在补丁,对象和场景的水平。我们的方法是提高检测精度的有效方法,在具有挑战性的3D目标检测数据集上实现新的最先进的检测性能,即,SUN RGBD和ScanNet。我们也在https://github.com/NUAAXQ/MLCVNet上发布我们的代码。
2020-04-12 cs.CV cs.GR
Contextual Object Detection with Multimodal Large Language Models
Nanyang Technological University(南洋理工大学);Hong Kong Baptist University(香港浸会大学)
本文提出ContextDET模型,通过端到端可微的视觉-语言上下文建模,解决多模态大语言模型缺乏目标检测能力的问题,并在多个基准上验证其有效性。
2024-08-12 cs.AI cs.CV
See It All: Contextualized Late Aggregation for 3D Dense Captioning
Seoul National University(首尔大学);Diquest;LG AI Research(LG人工智能研究院)
针对3D密集描述中单个查询需同时关注物体区域与上下文的目标冲突问题,提出采用晚期聚合范式的SIA方法,通过双查询解码与新型聚合器生成上下文感知描述,在主流数据集上实现显著性能提升。
2024-08-14 cs.CL cs.CV
Local Contrast and Global Contextual Information Make Infrared Small Object Salient Again
NJUST(南京理工大学)
红外小目标检测的目的是从红外图像的杂波背景中分割出仅覆盖几个像素的小目标。这是一个巨大的挑战,因为:1)小目标缺乏足够的强度,形状和纹理信息; 2)小目标容易丢失的过程中,检测模型,如深神经网络,通过连续下采样,获得高层次的语义特征和图像级的感受野。本文提出了一种ISOS的可靠检测模型UCFNet,它可以很好地解决这两个问题。它建立在中心差分卷积(CDC)和快速傅立叶卷积(FFC)的基础上。一方面,CDC可以有效地引导网络学习小物体与背景之间的对比度信息,因为对比度信息在人类视觉系统处理ISOS任务中非常重要。在多个公开数据集上的实验表明,该方法的性能明显优于现有的ISOS模型,为设计更好的ISOS深度模型提供了有益的指导。代码可在https://github.com/wcyjerry/BasicISOS上获得。
2023-03-08 cs.AI cs.CV
CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer
KAIST(韩国科学技术院);Hanyang University(汉阳大学)
与LiDAR相比,相机和雷达传感器在成本、可靠性和维护方面具有显著优势。现有的融合方法往往在结果级融合单一模态的输出,称为后期融合策略。这可以受益于使用现成的单传感器检测算法,但后期融合不能充分利用传感器的互补特性,因此尽管相机-雷达融合具有巨大的潜力,但性能有限。在这里,我们提出了一种新的建议级早期融合方法,有效地利用空间和上下文属性的相机和雷达的三维目标检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联,以有效地处理坐标系和空间属性之间的差异。使用此作为第一阶段,以下连续的基于交叉注意的特征融合层自适应地交换相机和雷达之间的空间上下文信息,从而导致鲁棒和专注的融合。我们的相机-雷达融合方法在nuScenes测试集上实现了最先进的41.1%mAP和52.3%NDS,比仅使用相机的基线高出8.7和10.8个点,并且在LiDAR方法上具有竞争力的性能。
2022-11-25 cs.AI cs.CV cs.RO
COSMO: Contextualized Scene Modeling with Boltzmann Machines
Middle East Technical University(中东技术大学)
场景建模对于机器人感知、推理和操纵环境中的物体是非常重要的。在本文中,我们适应和扩展玻尔兹曼机(BM)的上下文场景建模。尽管关于这个主题有很多模型,但我们是第一个将对象、关系和启示汇集在一个高能力的生成模型中的模型。为此,我们引入了一个混合版本的BM,其中关系和启示被引入到模型中的共享,三方连接。此外,我们贡献了一个数据集的关系估计和建模研究。我们评估我们的方法比较对象估计,上下文外的目标检测,关系估计和启示估计任务的几个基线。此外,为了说明模型的生成能力,我们展示了模型能够生成的几个示例场景。
2018-12-19 cs.CV cs.LG cs.RO
DeepCFL: Deep Contextual Features Learning from a Single Image
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
最近,人们对开发独立于训练数据的图像特征学习方法(例如,深度图像先验、InGAN、SinGAN和DCIL)产生了极大的兴趣。这些方法是无监督的,用于执行低级视觉任务,如图像复原、图像编辑和图像合成。在这项工作中,我们提出了一种新的训练数据无关框架,称为深度上下文特征学习(DeepCFL),以基于输入图像的语义执行图像合成和图像复原。上下文特征仅仅是表示给定图像的语义的高维向量。DeepCFL是一个单图像GAN框架,它从输入图像中学习上下文向量的分布。我们展示了上下文学习在各种具有挑战性的场景中的性能:去除,修复和恢复随机删除的像素。当输入的源图像和生成的目标图像未对齐时,DeepCFL适用。我们说明了使用DeepCFL进行图像合成的任务。
2020-11-07 cs.CV
Contextual Modeling for 3D Dense Captioning on Point Clouds
National Space Science Center, Chinese Academy of Sciences(中国科学院国家空间科学中心);University of Chinese Academy of Sciences(中国科学院大学);University of Rochester(罗切斯特大学);Meituan(美团)
3D密集字幕作为一种新兴的视觉语言任务,其目的是从一组点云中识别和定位每个对象,并生成描述每个定位对象的独特的自然语言语句。然而,现有的方法主要集中在挖掘对象间的关系,而忽略了点云内部的上下文信息,特别是非对象细节和背景环境,从而导致描述质量不高,如相对位置信息不准确。在本文中,我们第一次尝试利用点云聚类功能作为上下文信息,以提供点云的非对象细节和背景环境,并将它们纳入到3D密集字幕任务。我们提出了两个独立的模块,即全球上下文建模(GCM)和本地上下文建模(LCM),在一个由粗到精的方式来执行点云的上下文建模。具体地说,GCM模块利用全局上下文信息捕捉所有对象之间的对象关系,以获得整个点云的更完整的场景信息。LCM模块利用目标对象的邻近对象和局部上下文信息的影响来丰富对象表示。通过这种全局和局部上下文建模策略,我们提出的模型可以有效地表征对象表示和上下文信息,从而生成全面和详细的描述所定位的对象。在ScanRefer和Nr3D数据集上的大量实验表明,该方法在3D密集字幕任务上创下了新的记录,并验证了我们提出的点云上下文建模的有效性。
2022-10-08 cs.CV
Contextual object categorization with energy-based model
Kim Il Song University(金日成大学)
目标分类是图像挖掘中的一个热点问题。对象间的上下文信息是图像的重要语义知识之一。然而,以往的对象分类研究并没有充分利用上下文信息,尤其是对象之间的空间关系。此外,通常使用概率图模型来实现将上下文信息与对象外观相结合的对象分类方法几乎不可避免地要评估用于归一化的棘手的划分函数。在这项工作中,我们引入了全连接的模糊空间关系,包括方向,距离和对象区域之间的拓扑关系,使空间关系信息可以充分利用。在此基础上,采用基于能量的模型,将区域与目标的关联势和目标的构型势定义为能量函数,考虑了目标的空间关系以及目标的共现和出现。以图像整体排列的能量函数最小为目标,得到了图像区域的最优标记集,并讨论了条件随机场中难处理的划分函数的计算问题。实验结果表明了该方法的有效性和可靠性。
2016-04-23 cs.CV
Non-parametric Contextual Relationship Learning for Semantic Video Object Segmentation
Nokia Technologies(诺基亚技术公司);Tampere University of Technology(坦佩雷理工大学)
该研究提出一种基于图的非参数上下文关系学习方法,建模视频语义时空上下文并整合进CRF实现区域语义标注,在YouTube-Objects数据集上性能超越现有最优方法。
2024-07-08 cs.CV
Bi-directional Contextual Attention for 3D Dense Captioning
Seoul National University(首尔大学);LG AI Research(LG AI研究院);Diquest
针对3D密集描述任务中上下文信息局限与定位-描述目标矛盾问题,提出带双向上下文注意力的Transformer流水线BiCA,通过并行的实例与上下文查询实现双向感知,在两个主流数据集上性能显著优于现有方法。
2024-08-13 cs.CV
Exploiting Contextual Information with Deep Neural Networks
上下文很重要!然而,在深度神经网络中利用上下文信息的研究并不多。在大多数情况下,上下文信息的整个使用仅限于循环的神经网络。注意力模型和胶囊网络是在非循环模型中引入上下文信息的两种最新方法,然而这两种算法都是在这项工作开始之后开发的。在这篇论文中,我们展示了语境信息可以通过两种根本不同的方式被利用:隐式和显式。在DeepScore项目中,上下文的使用对于识别许多微小对象非常重要,我们表明,通过精心制作卷积架构,我们可以实现最先进的结果,同时还能够隐式地正确区分几乎相同的对象,但根据其周围环境具有不同的含义。同时,我们表明,通过明确设计算法(从图论和博弈论的动机),考虑到数据集的整个结构,我们可以实现最先进的结果在不同的主题,如半监督学习和相似性学习。据我们所知,我们是第一个集成图论模块的,这些模块针对相似性学习问题精心设计,旨在考虑上下文信息,不仅优于其他模型,而且在使用较少参数的情况下获得了速度的提高。
2020-06-27 cs.CV
Deep Contextual Recurrent Residual Networks for Scene Labeling
Carnegie Mellon University(卡内基梅隆大学);Concordia University(康考迪亚大学)
深度残差网络被设计为极深的体系结构,提供丰富的视觉表示并提供强大的收敛行为,最近在许多计算机视觉问题中取得了卓越的性能。然而,直接应用于场景标记问题,它们仅限于捕获长距离上下文相关性,这是一个关键方面。为了解决这个问题,我们提出了一种新的方法,上下文递归残差网络(CRRN),它能够在完全端到端的深度网络中同时处理丰富的视觉表示学习和远程上下文建模。此外,我们提出的端到端CRRN是完全从头开始训练的,而不使用任何预训练模型,这与大多数现有方法相比,这些方法通常是从最先进的预训练模型中进行微调的,例如VGG-16,ResNet等。实验在四个具有挑战性的场景标记数据集上进行,即SiftFlow,CamVid,Stanford background和SUN数据集,并与各种现有技术的场景标记方法进行比较。
2017-04-12 cs.CV
Towards Contextual Learning in Few-shot Object Classification
Laval University(拉瓦尔大学)
少样本学习(FSL)的目标是从少量的例子中对新概念进行分类。虽然在过去的几年中,Few-Shot对象分类的工作量越来越大,但目前大多数方法仅限于只有一个中心对象的图像。相反,人类能够利用先验知识快速学习新概念,例如与上下文元素的语义关系。受教育科学中上下文学习概念的启发,我们建议通过研究上下文在低数据制度中对对象分类的贡献,朝着在FSL中采用这一原则迈出一步。为此,我们首先提出了一种方法来执行FSL对复杂场景的图像。我们开发了两个即插即用模块,可以纳入现有的FSL方法,使他们能够利用上下文学习。更具体地说,这些模块被训练为在学习特定概念的同时对最重要的上下文元素进行加权,然后使用这些知识在上下文语义中建立视觉类表示。在Visual Genome和Open Images上进行的大量实验表明,上下文学习优于孤立地学习单个对象。
2021-01-04 cs.CV
Understanding hand-object manipulation by modeling the contextual relationship between actions, grasp types and object attributes
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出了一种基于计算机视觉技术的理解日常手部操作的新方法。具体来说,我们专注于识别手抓类型,对象属性和操作动作在一个统一的框架内,通过探索它们的上下文关系。我们的假设是,有必要联合建模手,对象和动作,以准确地识别多个任务,这些任务是相互关联的手对象操作。在所提出的模型中,我们探讨了各种语义之间的关系的行动,把握类型和对象属性,并显示如何上下文可以用来提高每个组件的识别。我们还探讨了手和物体之间的空间关系,以便在杂乱的环境中从手检测被操纵的物体。所有三个识别任务的实验结果表明,我们提出的方法优于传统的外观为基础的方法,这些方法的目的是不考虑上下文关系参与手对象操作。对习得语境的可视化和概括性研究进一步支持了我们的假设。
2018-07-22 cs.CV
Context-LGM: Leveraging Object-Context Relation for Context-Aware Object Recognition
Peking University(北京大学);Microsoft Research Asian(微软亚洲研究院);DeepWise AI Lab(深度智耀人工智能实验室)
上下文是指与感兴趣对象相关的情境因素,它可以帮助在视觉识别中推断对象的状态或属性。由于这样的上下文特征太多样化(跨实例)被注释,现有的尝试简单地利用图像标签作为监督来学习它们,从而导致各种上下文技巧,例如特征金字塔,上下文注意力等。然而,如果没有仔细建模上下文的属性,特别是其与对象的关系,则其估计的上下文可能会受到很大的不准确性的影响。为了解决这个问题,我们提出了一种新的上下文潜在生成模型(上下文LGM),它考虑了对象上下文关系,并以分层的方式进行建模。具体来说,我们首先引入一个潜在的生成模型与一对相关的潜变量分别建模的对象和上下文,并嵌入其相关性通过生成过程。然后,为了推断上下文特征,我们重新制定了变分自动编码器(VAE)的目标函数,其中上下文特征被学习为以对象为条件的后验分布。最后,为了实现这种上下文后验,我们引入了一个Transformer,它以对象的信息为参考,定位相关的上下文因素。我们的方法的有效性验证了国家的最先进的性能上的两个上下文感知的对象识别任务,即肺癌预测和情感识别。
2021-10-08 cs.CV
A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection
传统的显著性模型通常采用手工绘制的图像特征和人为设计的机制来计算局部或全局对比度。在本文中,我们提出了一种新的计算显着性模型,即,深度空间上下文长期递归卷积网络(DSCLRCN),用于预测人们在自然场景中的位置。DSCLRCN首先并行地自动学习每个图像位置上的显著性相关局部特征。然后,与大多数其他基于深度网络的显着性模型在局部上下文中推断显着性相比,DSCLRCN可以模仿人类视觉系统中的皮层侧抑制机制,以通过利用深度空间长短期记忆(DSLSTM)模型来结合全局上下文来评估每个图像位置的显着性。此外,我们还将场景上下文调制集成到DSLSTM中进行显着性推理,从而产生了一种新的深度空间上下文LSTM(DSCLSTM)模型。整个网络可以进行端到端的训练,并在测试时有效地工作。在两个基准数据集上的实验结果表明,DSCLRCN可以实现最先进的显著性检测性能。此外,所提出的DSCLSTM模型可以显着提高显着性检测性能,通过将全局空间互连和场景上下文调制,这可能会发现新的启发,在计算显着性模型的研究。
2016-10-06 cs.CV
Deep Contextual Attention for Human-Object Interaction Detection
Tianjin University(天津大学);Inception Institute of Artificial Intelligence(人工智能研究院);Aalto University(阿尔托大学)
人-物交互检测是一种重要且相对较新的视觉关系检测任务,对于更深的场景理解至关重要。大多数现有的方法分解成对象定位和交互识别的问题。尽管取得了进展,但这些方法只依赖于人和物体的外观,而忽略了可用的上下文信息,这对于捕捉它们之间的微妙交互至关重要。我们提出了一个上下文注意力框架的人-物体交互检测。我们的方法通过学习人类和对象实例的上下文感知外观特征来利用上下文。然后,所提出的注意力模块自适应地选择相关的以实例为中心的上下文信息,以突出可能包含人-对象交互的图像区域。在V-COCO、HICO-DET和HCVRD三个基准上进行了实验。我们的方法在所有数据集上都优于最先进的方法。在V-COCO数据集上,与现有的最佳方法相比,我们的方法在角色平均平均精度($mAP_{role}$)方面实现了4.4%的相对增益。
2019-10-17 cs.CV
Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function
University of Florida(佛罗里达大学);National Institutes of Health Clinical Center(国立卫生研究院临床中心)
深度神经网络已经证明了对具有挑战性的器官(例如,胰腺)进行腹部CT和MRI扫描。当前的深度学习方法通过对每个图像进行深度、密集的每像素掩蔽来独立地处理2D图像切片的序列来进行胰腺分割,而不对连续切片的分割明确地实施空间一致性约束。我们提出了一种新的卷积/递归神经网络架构来解决上下文学习和分割一致性问题。首先从头开始设计和预训练深度卷积子网络。然后,该网络模块的输出层连接到递归层,并且可以以端到端的方式针对上下文学习进行微调。我们的递归子网络是一种长短期记忆(LSTM)网络,它通过整合其相邻切片分割预测来对图像进行分割,其形式是依赖序列处理。此外,提出了一种新的分段直接损失函数(称为Jaccard损失),并训练深度网络以直接优化Jaccard指数(JI)。进行了大量的实验,以验证我们提出的深度模型,定量胰腺分割使用CT和MRI扫描。我们的方法分别优于CT [11]和MRI胰腺分割[1]的最新工作。
2017-07-18 cs.CV
Exploring Enhanced Contextual Information for Video-Level Object Tracking
Dalian University of Technology(大连理工大学);Ningbo Institute of Dalian University of Technology(大连理工大学宁波研究院);Baidu Inc.(百度公司)
针对视频级目标跟踪中上下文信息不足的问题,提出MCITrack框架,利用Mamba隐藏状态和上下文融合模块增强多层级上下文利用,在LaSOT和GOT-10k上取得领先性能。
2024-12-15 cs.CV
VisTa: Visual-contextual and Text-augmented Zero-shot Object-level OOD Detection
Huazhong University of Science and Technology(华中科技大学);Wuhan National Laboratory for Optoelectronics(武汉光电国家研究中心);Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
针对黑盒检测器的零样本对象级OOD检测难题,提出利用视觉提示与文本增强ID空间构建来适配CLIP,保留上下文信息并提升区分能力,在多个基准上表现优异。
2025-03-28 cs.CV
Contextualized Representation Learning for Effective Human-Object Interaction Detection
Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电子工程与计算机科学学院);Nanjing University(南京大学);Zhejiang Lab(浙江实验室)
针对人-物交互检测中上下文建模不完整的问题,提出融合可供性引导推理与上下文提示的上下文表示学习方法,通过三元组建模辅助物体功能、注意力融合多模态特征,在HICO-Det和V-COCO数据集多数场景取得优越性能。
2025-10-03 cs.CV
Detecting out-of-context objects using contextual cues
Rochester Institute of Technology(罗切斯特理工学院);SRI International(斯坦福国际研究院);Paige;Cornell Tech(康奈尔科技校区)
本文提出了一种方法来检测图像中的背景外(OOC)对象。我们的目标是确定一个对象是否与场景上下文不一致,并使用限界框检测OOC对象。在这项工作中,我们考虑共同探索的上下文关系,如同现关系,相对于其他对象的对象的相对大小,以及对象在场景中的位置。我们认为,上下文线索是有用的,以确定对象标签的上下文对象和不一致的上下文线索是有害的,以确定对象标签的上下文对象。为了实现这一假设,我们提出了一个图上下文推理网络(GCRN)检测OOC对象。GCRN由两个单独的图组成,用于根据图像中的上下文线索预测对象标签:1)表示图,用于根据相邻对象学习对象特征; 2)上下文图,用于从相邻对象中显式捕获上下文线索。GCRN显式地捕获上下文线索,以提高对上下文对象的检测,并识别违反上下文关系的对象。为了评估我们的方法,我们通过向COCO图像添加OOC对象实例来创建大规模数据集。我们还评估了最近的OCD基准。我们的研究结果表明,GCRN在检测OOC对象和正确检测上下文对象方面优于竞争基线。
2022-02-11 cs.AI cs.CV
DCVC-MV: Deep Contextual Multiview Video Compression with Efficient Inter-View Prediction
Department of Computer Science, City University of Hong Kong(城市大学计算机科学系);Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电子工程与计算机科学学院)
针对多视图视频大数据量存储传输难题,提出DCVC-MV框架。通过保持向后兼容性、支持随机访问及利用视图间相关性实现高压缩效率,借助视图间运动特征传播等四个组件,推动深度上下文视频压缩在多视图场景的应用。
2026-07-24 cs.CV
CXTrack: Improving 3D Point Cloud Tracking with Contextual Information
Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
3D单目标跟踪在自动驾驶等许多应用中起着至关重要的作用。它仍然是一个具有挑战性的问题,由于大的外观变化和稀疏的点所造成的闭塞和有限的传感器能力。因此,跨两个连续帧的上下文信息对于有效的对象跟踪至关重要。然而,包含这些有用信息的点往往被忽略,并裁剪出现有的方法,导致重要的上下文知识的使用不足。为了解决这个问题,我们提出了CXTrack,一种新的基于变换的3D对象跟踪网络,它利用ConteXtual信息来改善跟踪结果。具体来说,我们设计了一个以目标为中心的Transformer网络,直接从两个连续的帧和前一个限界框的点特征作为输入,以探索上下文信息和隐式传播目标线索。为了实现各种尺寸的物体的精确定位,我们提出了一种基于变换器的定位头,该定位头具有新颖的中心嵌入模块以区分目标和干扰物。在三个大规模数据集KITTI、nuScenes和Waymo Open Dataset上进行的广泛实验表明,CXTrack在以34 FPS运行时实现了最先进的跟踪性能。
2023-03-16 cs.CV
CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
黑色素瘤被认为是最致命的皮肤癌变体,约占皮肤癌死亡总数的75%。为了诊断黑色素瘤,临床医生同时评估和比较同一患者的多个皮肤病变,以收集关于皮肤的模式和异常的背景信息。到目前为止,现有的基于深度学习的方案还没有探索这种并发的多图像比较方法。本文提出了一种基于上下文图像特征融合(CIFF)的深度神经网络(CIFF-Net),通过并发多图像比较的方法,将患者级上下文信息融合到传统的黑色素瘤诊断方法中。提出的多核自注意(MKSA)模块通过在自注意力机制中引入多核操作,提供了更好的泛化所提取的特征。为了利用自我注意和上下文特征明智的注意,注意引导模块命名为上下文特征融合(CFF)的建议,集成从不同的上下文图像提取的特征到一个单一的特征向量。最后,在比较上下文特征融合(CCFF)模块中,同时比较主特征和上下文特征以生成比较特征。与传统方法相比,ISIC-2020数据集的性能得到了显着改善,验证了所提出的上下文学习方案的有效性。
2023-03-07 cs.CV
Bi-Directional Deep Contextual Video Compression
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);City University of Hong Kong(香港城市大学)
本文提出双向深度上下文视频压缩方案DCVC-B,通过运动差异上下文传播、双向上下文与熵模型及分层质量训练策略,显著提升B帧编码性能,平均降低26.6%的BD-Rate。
2025-01-19 cs.CV
[Re] Don't Judge an Object by Its Context: Learning to Overcome Contextual Bias
Princeton University(普林斯顿大学)
Singh等人(2020)指出了视觉识别数据集中上下文偏见的危险。他们提出了两种方法,基于CAM和特征分割,可以在缺乏典型上下文的情况下更好地识别对象或属性,同时保持具有竞争力的上下文内准确性。为了验证它们的性能,我们试图复制原始论文中的所有12个表,包括附录中的表。我们还进行了额外的实验,以更好地理解所提出的方法,包括增加基于CAM的正则化和消除特征分割中的加权损失。由于原始代码不可用,我们在PyTorch 1.7.0中从头开始实现了整个管道。我们的实现是基于与作者的论文和电子邮件交流。我们发现,原始论文中提出的两种方法都有助于减轻上下文偏差,尽管对于某些方法,即使在完成广泛的超参数搜索后,我们也无法完全复制论文中的定量结果。例如,在COCO-Stuff、DeepFashion和UnRel上,我们的特征分割模型在标准基线上提高了上下文外图像的准确性,而在AwA上,我们看到了性能的下降。对于建议的CAM为基础的方法,我们能够重现原始文件的结果在0.5 $\%$ mAP。我们的实现可以在https://github.com/princetonvisualai/ContextualBias上找到。
2021-04-28 cs.CV
HOLA: Enhancing Audio-visual Deepfake Detection via Hierarchical Contextual Aggregations and Efficient Pre-training
Xi'an Jiaotong University(西安交通大学);Zhengzhou University(郑州大学);University of Science and Technology of China(中国科学技术大学);Dalian University of Technology(大连理工大学);Zhejiang Lab(浙江实验室)
针对视频级深度伪造检测难题,提出带音视频自监督预训练的HOLA框架,通过跨模态学习、分层上下文建模等设计及伪监督策略,在2025年1M-Deepfakes挑战赛TestA集上以0.0476 AUC优势夺冠。
2025-07-30 cs.CV
Contextual Heterogeneous Graph Network for Human-Object Interaction Detection
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
人-物交互(HOI)检测是理解人类活动的重要任务。图形结构适用于表示场景中的HOI。由于人与物之间存在从属关系--人在HOI中扮演主观角色,物扮演客观角色,因此场景中的同质实体与异质实体之间的关系也不应该是等同的。然而,以往的图模型将人和对象看作是同一类节点,没有考虑不同实体之间的消息是不相等的。在这项工作中,我们解决这样的问题HOI任务提出了一个异构的图形网络,模型人类和对象作为不同类型的节点,并结合类内消息之间的同质节点和类间消息之间的异构节点。此外,利用基于类内上下文和类间上下文的图注意力机制来改进学习。在基准数据集V-COCO和HICO-DET上的大量实验表明,类内和类间信息在HOI检测中的重要性,验证了该方法的有效性。
2020-10-20 cs.CV
VINO: Video-driven Invariance for Non-contextual Objects via Structural Prior Guided De-contextualization
Nota AI GmbH(Nota AI公司)
VINO通过结构先验引导的去上下文化方法,有效分离视频中前景与背景,提升非上下文物体的表示鲁棒性。
2026-03-07 cs.AI cs.CV
Going Deeper with Contextual CNN for Hyperspectral Image Classification
Booz Allen Hamilton Inc.(博思艾伦咨询公司);Army Research Laboratory(陆军研究实验室)
在本文中,我们描述了一种新的深度卷积神经网络(CNN),它比其他现有的用于高光谱图像分类的深度网络更深、更宽。与当前基于CNN的高光谱图像分类的最先进方法不同,所提出的网络称为上下文深度CNN,可以通过联合利用相邻单个像素向量的局部空间-光谱关系来最佳地探索局部上下文交互。空间-频谱信息的联合利用是通过多尺度卷积滤波器组作为所提出的CNN管道的初始组件来实现的。然后将从多尺度滤波器组获得的初始空间和光谱特征图组合在一起以形成联合空间-光谱特征图。然后,表示高光谱图像的丰富光谱和空间属性的联合特征图通过完全卷积网络馈送,该完全卷积网络最终预测每个像素向量的对应标签。该方法在三个基准数据集上进行了测试:印第安松数据集,萨利纳斯数据集和帕维亚大学数据集。性能比较显示,所提出的方法在三个数据集上的分类性能优于当前最先进的方法。
2017-05-09 cs.CV cs.LG
Obj-GloVe: Scene-Based Contextual Object Embedding
Wuhan University(武汉大学)
近年来,随着大规模图像数据集的普及,类间的共现信息变得越来越丰富,需要一种新的方法来利用它来促进推理。在本文中,我们提出了Obj-GloVe,一个通用的基于场景的上下文嵌入常见的视觉对象,我们采用词嵌入方法GloVe利用实体之间的同现。我们在预处理的Open Images V4数据集上训练嵌入,并通过降维和沿特定语义轴投影向量,并显示最常见对象的最近邻居,提供广泛的可视化和分析。此外,我们还揭示了Obj-GloVe在目标检测和文本到图像合成方面的潜在应用,并分别验证了它在这两个应用中的有效性。
2019-07-02 cs.CV cs.LG
DCIL: Deep Contextual Internal Learning for Image Restoration and Image Retargeting
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
最近,人们对开发独立于训练样本的方法(例如深度图像先验、zero-shot学习和内部学习)有着极大的兴趣。上述方法基于最大化从单个图像学习的图像特征的共同目标,尽管固有的技术多样性。在这项工作中,我们弥合了上述各种无监督方法之间的差距,并提出了一个通用的图像恢复和图像重定向框架。我们使用上下文特征学习和内部学习来改进源图像和目标图像之间的结构相似性。我们在以下设置中执行图像大小调整应用程序:经典的图像大小调整使用超分辨率,一个具有挑战性的图像大小调整,其中低分辨率图像包含噪声,和内容感知的图像大小调整使用图像重定向。我们还提供了相关国家的最先进的方法进行比较。
2019-12-09 cs.CV eess.IV
Contextual inference from single objects in Vision-Language models
Goethe University Frankfurt(法兰克福大学);The Hessian Center for AI(黑森州人工智能中心)
本文研究了视觉-语言模型中单个物体推断场景上下文的能力,发现物体属性影响推断性能,且不同层次的推断存在解耦现象。
2026-03-20 cs.AI cs.CV