Video Object Grounding using Semantic Roles in Language Description
University of Southern California(南加州大学);Facebook Inc.(Facebook公司)
我们探讨的任务视频对象接地(VOG),地面对象在视频中提到的自然语言的描述。以往的方法采用基于图像背景的算法来处理VOG,未能探索对象关系信息,并且泛化能力有限。在这里,我们研究对象关系在VOG中的作用,并提出了一个新的框架VOGNet编码多模态对象关系,通过自我注意与相对位置编码。为了评估VOGNet,我们提出了新的对比采样方法来生成更具挑战性的接地输入样本,并基于现有的标题和接地数据集构建了一个名为ActivityNet-SRL(ASRL)的新数据集。ASRL上的实验验证了在VOG中编码对象关系的必要性,我们的VOGNet明显优于竞争基线。
2020-03-24 cs.CL cs.CV
Understanding Cross-modal Interactions in V&L Models that Generate Scene Descriptions
University of Malta(马耳他大学);Universiteit Utrecht(乌得勒支大学)
图像描述模型倾向于以对象为中心的方式描述图像,强调可见对象。但图像描述也可以从对象中抽象出来,描述所描绘的场景类型。在本文中,我们探讨了一个国家的最先进的视觉和语言模型,VinVL,字幕图像在场景级别使用(1)一个新的数据集,对图像与对象为中心的场景描述。通过(2)对微调效果的深入分析,我们表明(3)少量策划数据足以生成场景描述,而不会失去识别场景中对象级别概念的能力;与生成以对象为中心的描述时相比,该模型获得了更全面的图像视图。我们讨论了这些结果和见解之间的相似之处,从计算和认知科学研究的场景感知。
2022-11-10 cs.CL cs.CV
Natural Language Descriptions of Deep Visual Features
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学);Allegheny College(阿勒格尼学院)
深度网络中的一些神经元专门识别输入的高度特定的感知,结构或语义特征。在计算机视觉中,存在用于识别对单个概念类别(如颜色、纹理和对象类别)作出响应的神经元的技术。但这些技术的范围有限,只能标记任何网络中的一小部分神经元和行为。神经元级计算的更丰富的表征是可能的吗?我们介绍了一个程序(称为MILAN,用于神经元的相互信息引导的语言注释),该程序自动标记具有开放式,组合式,自然语言描述的神经元。给定一个神经元,MILAN通过搜索一个自然语言字符串来生成一个描述,该字符串最大化了与神经元活跃的图像区域的逐点互信息。MILAN生成细粒度的描述,捕获学习特征中的分类、关系和逻辑结构。这些描述在各种模型架构和任务中与人类生成的特征描述高度一致,并且可以帮助理解和控制学习的模型。我们强调三个应用程序的自然语言神经元的描述。首先,我们使用MILAN进行分析,表征视觉模型中对属性、类别和关系信息有选择性的神经元的分布和重要性。第二,我们使用MILAN进行审计,在设计用于掩盖人脸的数据集中显示对人脸敏感的神经元。最后,我们使用MILAN进行编辑,通过删除对与类标签虚假相关的文本特征敏感的神经元来提高图像分类器的鲁棒性。
2022-04-18 cs.AI cs.CL cs.CV
VIFIDEL: Evaluating the Visual Fidelity of Image Descriptions
Imperial College London(帝国理工学院)
我们解决的任务,评估图像描述生成系统。我们提出了一种新的图像感知度量:VIFIDEL。它根据图像中描述的对象的标签和描述中的单词之间的语义相似性,估计生成的字幕相对于实际图像的内容的忠实性。该度量还能够在评估期间考虑人类参考描述中提到的对象的相对重要性。即使这些人类参考描述不可用,VIFIDEL仍然可以可靠地评估系统描述。该指标在两个已知数据集上实现了与人类判断的高度相关性,并且与依赖于人类参考的指标具有竞争力
2019-07-22 cs.CL cs.CV cs.LG
Paparazzi: A Deep Dive into the Capabilities of Language and Vision Models for Grounding Viewpoint Descriptions
University of Jena(耶拿大学);University of Magdeburg(马格德堡大学);University of Bielefeld(比勒费尔德大学)
现有的语言和视觉模型在图像-文本理解方面取得了令人印象深刻的性能。然而,这是一个开放的问题,在何种程度上,他们可以用于语言理解在3D环境中,以及他们是否隐含地获取3D对象的知识,例如,关于不同的意见,一个对象。在本文中,我们调查是否一个国家的最先进的语言和视觉模型,CLIP,是能够地面的3D对象的透视图描述,并确定基于文本查询的常见对象的规范视图。我们提出了一个评估框架,使用一个环绕的相机周围的3D对象从不同的角度生成图像,并评估他们的相似性自然语言描述。我们发现,预训练的CLIP模型在大多数规范视图上表现不佳,即使在可用训练数据很少的条件下,使用硬负采样和随机对比进行微调也会产生良好的结果。
2023-02-13 cs.AI cs.CL cs.CV
Detailed Object Description with Controllable Dimensions
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Artificial Intelligence Technology Co. Ltd(中国电信人工智能技术有限公司)
针对MLLM物体描述偏离用户意图或遗漏维度细节的问题,本文提出无需训练的Dimension Tailor流程,通过维度提取、擦除与补充实现可控描述,并证明其可持续提升多种近期MLLM性能。
2025-01-08 cs.CV
An Iterative Feedback Mechanism for Improving Natural Language Class Descriptions in Open-Vocabulary Object Detection
The Charles Stark Draper Laboratory, Inc.(查尔斯·斯塔克·德雷珀实验室公司)
针对开放词汇目标检测中非技术用户的自然语言类别描述优化需求,提出结合文本嵌入分析与对比样本嵌入组合的迭代反馈机制,经多个公开模型验证可量化提升检测性能。
2025-03-21 cs.CL cs.CV
Multi3DRefer: Grounding Text Description to Multiple 3D Objects
Simon Fraser University(西蒙菲莎大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
提出Multi3DRefer任务及数据集,解决真实3D场景中灵活数量对象的自然语言定位问题,并开发基于CLIP和对比学习的基线方法在ScanRefer基准上达到SOTA。
2023-09-11 cs.CV
A Fine-Grained Image Description Generation Method Based on Joint Objectives
Xiamen University(厦门大学);Wuyi University(武夷学院)
针对细粒度图像描述生成中的重复与遗漏问题,提出基于联合目标的模型,结合图像与对象级视觉特征并引入对象惩罚机制,显著提升CIDEr指标及新评估指标表现。
2023-09-02 cs.AI cs.CV
Deep Visual-Semantic Alignments for Generating Image Descriptions
Stanford University(斯坦福大学)
我们提出了一个模型,生成图像及其区域的自然语言描述。我们的方法利用图像及其句子描述的数据集来学习语言和视觉数据之间的模态间对应关系。我们的对齐模型是基于图像区域上的卷积神经网络、句子上的双向递归神经网络以及通过多模态嵌入对齐两种模态的结构化目标的新颖组合。然后,我们描述了一个多模态递归神经网络架构,它使用推断的对齐来学习生成图像区域的新描述。我们证明了我们的对齐模型在Flickr8K,Flickr30K和MSCOCO数据集上的检索实验中产生了最先进的结果。然后,我们表明,所生成的描述显着优于检索基线上的完整图像和区域级注释的新数据集。
2015-04-14 cs.CV
Foldover Features for Dynamic Object Behavior Description in Microscopic Videos
Northeastern University(东北大学)
行为描述有利于对微小物体、相似物体、视觉信息弱的物体和视觉信息相似的物体进行分析,对微观视频中动态物体的识别和分类起着基础性作用。为此,我们提出了折叠功能来描述动态对象的行为。首先,我们分别在X,Y和Z方向上为显微视频中的每个对象生成折叠。然后,我们提取折叠特征的X,Y和Z方向的统计方法,分别。最后,我们使用四个不同的分类器来测试所提出的折叠功能的有效性。在实验中,我们使用精子显微镜视频数据集,包括三种类型的1374个精子,并获得最高的分类准确率为96.5%,评估所提出的折叠功能。
2020-03-21 cs.CV
The Long-Short Story of Movie Description
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
为视频生成描述有许多应用,包括帮助盲人和人机交互。图像描述的最新进展以及诸如MPII电影描述的大规模电影描述数据集的发布允许更深入地研究该任务。所提出的许多图像描述方法依赖于预训练的对象分类器CNN和长短期记忆递归网络(LSTM)来生成描述。虽然图像描述的重点是对象,我们认为,重要的是要区分动词,对象,并在具有挑战性的设置电影描述的地方。在这项工作中,我们将展示如何学习强大的视觉分类器从弱注释的句子描述。基于这些视觉分类器,我们学习如何使用LSTM生成描述。我们探索不同的设计选择来构建和训练LSTM,并在具有挑战性的MPII-MD数据集上实现迄今为止的最佳性能。我们比较和分析我们的方法和以前的工作沿着各个维度,以更好地理解电影描述任务的关键挑战。
2015-06-04 cs.CL cs.CV
Deep Multiple Description Coding by Learning Scalar Quantization
Beijing Jiaotong University(北京交通大学);Taiyuan University of Science and Technology(太原科技大学)
在本文中,我们提出了一个深度多描述编码框架,其量化器是通过最小化多描述压缩损失自适应学习。首先,我们的框架是建立在自动编码器网络,它具有多描述多尺度扩张的编码器网络和多描述解码器网络。其次,通过学习两个熵估计网络来估计量化张量的信息量,从而指导多描述编码器网络的学习,以更好地表示输入图像。第三,一对标量量化器伴随着两个重要性指标地图是自动学习的端到端的自我监督的方式。最后,在多描述重构损失的基础上,对像素域多描述解码图像施加多描述结构相异距离损失,而不是特征域的特征张量.通过在两个常用数据集上的测试,验证了该方法在编码效率方面超越了几种最先进的多描述编码方法。
2019-02-06 cs.CV cs.MM
Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud
Xidian University(西安电子科技大学);Hunan University(湖南大学);The University of Western Australia(西澳大学)
3D对象接地旨在基于自由形式的语言描述在原始点云场景中定位最相关的目标对象。由于点云的不规则性和稀疏性,理解复杂多样的描述并将其直接提升为点云是一个新的具有挑战性的课题。3D对象接地主要有三个挑战:在复杂多样的描述中找到主要焦点;理解点云场景;定位目标对象。在本文中,我们将解决所有三个挑战。首先,我们提出了一个语言场景图模块来捕捉丰富的结构和长距离短语相关性。其次,我们引入了一个多层次的三维建议关系图模块来提取对象与对象、对象与场景的共现关系,增强了初始建议的视觉特征。最后,我们开发了一个描述引导的三维可视化图形模块,通过节点匹配策略对短语和建议的全局上下文进行编码。在具有挑战性的基准数据集(ScanRefer和Nr 3D)上进行的大量实验表明,我们的算法优于现有的最先进的算法。我们的代码可以在https://github.com/PNXD/FFL-3DOG上找到。
2021-03-30 cs.CV
Prototypicality effects in global semantic description of objects
Universidade Federal de Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学)
在本文中,我们介绍了一种新的方法,基于原型理论的原型性效应的对象特征的语义描述。我们的基于原型的描述模型编码和存储对象的语义含义,同时使用CNN分类模型计算的语义原型来描述其特征。我们的方法使用语义原型来创建有区别的描述符签名,该签名描述了一个对象,突出了该类别中最具特色的特征。我们的实验表明:i)我们的描述符保留了分类任务中CNN模型使用的语义信息; ii)我们的距离度量可以用作对象的典型性得分; iii)我们的描述符签名是语义可解释的,并且能够模拟类别内对象的原型组织。
2018-12-17 cs.CV
Object Recognition with Imperfect Perception and Redundant Description
GESMA
本文介绍了一个机器人环境下的场景识别系统。一般的问题是匹配图像的<I>先验</I>描述。一个典型的任务将包括识别一个物体的安装与视觉系统位于年底的机械手和人类操作员提供的描述,制定了一个伪自然语言,并可能是多余的。这项工作的独创性来自于描述的性质,来自于对解释过程中不精确和不确定性的管理的特别关注,以及来自于评估描述冗余的方式,以加强整体匹配的可能性。
2013-02-13 cs.AI cs.CV
Intention Oriented Image Captions with Guiding Objects
Tsinghua University(清华大学)
虽然现有的图像标题模型可以使用递归神经网络(RNN)产生有希望的结果,但很难保证我们关心的对象包含在生成的描述中,例如在对象在图像中不显眼的情况下。当这些对象没有出现在训练阶段时,问题变得更加困难。在本文中,我们提出了一种新的方法来生成图像字幕与引导对象(CGO)。CGO将模型约束为当对象在图像中时涉及人类关注的对象。CGO确保对象在生成的描述中,同时保持流畅性。我们不是从左到右生成序列,而是从一个选定的对象开始描述,然后基于这个对象生成序列的其他部分。为了实现这一点,我们设计了一个新的框架,结合两个LSTM在相反的方向。我们展示了我们的方法的特点MSCOCO,我们生成的描述,每个检测到的对象的图像。通过CGO,我们可以将描述的能力扩展到图像标题标签中被忽略的对象,为图像提供一组更全面、更多样的描述。CGO在描述新物体时显示出优势。我们展示了MSCOCO和ImageNet数据集上的实验结果。评估表明,我们的方法在任务中的表现优于最先进的模型,平均F1为75.8,从而在内容准确性和流畅性方面都有更好的描述。
2019-04-11 cs.CV
Simultaneous x, y Pixel Estimation and Feature Extraction for Multiple Small Objects in a Scene: A Description of the ALIEN Network
Areté Associates;Neurocore AI
我们提出了一个深度学习网络,它可以检测场景中的多个小对象(数百到数千个),同时估计它们的x,y像素位置以及特征集(例如,目标方向和颜色)。所有的估计都是在一个单一的前向传递中执行的,这使得网络的实现快速而高效。在本文中,我们描述了我们的网络的架构-绰号ALIEN -并详细介绍了其性能时,应用于车辆检测。
2019-02-06 cs.CV cs.LG stat.ML
Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions
University of Toronto(多伦多大学)
视觉类别的零样本学习的主要挑战之一是收集伴随图像的语义属性。最近的研究表明,从文本描述(如维基百科文章)中学习可以避免显式定义这些属性的问题。我们提出了一个新的模型,可以分类看不见的类别,从他们的文本描述。具体来说,我们使用文本特征来预测深度卷积神经网络(CNN)中卷积层和全连接层的输出权重。我们利用CNN的架构并学习不同层的特征,而不仅仅是学习两种模态的嵌入空间,这与现有方法一样常见。所提出的模型还允许我们为每个视觉类别自动生成一个伪属性列表,该列表由来自维基百科文章的单词组成。我们训练我们的模型端到端使用加州理工大学-加州大学圣地亚哥分校的鸟和花的数据集,并评估ROC和精度召回曲线。我们的实证结果表明,该模型显着优于以前的方法。
2015-09-25 cs.CV cs.LG cs.NE
Deep Optimized Multiple Description Image Coding via Scalar Quantization Learning
Taiyuan University of Science and Technology(太原科技大学);Beijing Jiaotong University(北京交通大学)
在本文中,我们介绍了一个深度多描述编码(MDC)框架优化最小化多描述(MD)压缩损失。首先,MD多尺度扩张编码器网络生成多个描述张量,这些描述张量由标量量化器离散化,而这些量化张量由MD级联ResBlock解码器网络解压缩。为了大大减少人工神经网络参数的总量,将这两类网络组成的自动编码器网络设计成对称的参数共享结构。其次,这个自动编码器网络和一对标量量化器以端到端的自监督方式同时学习。第三,考虑到图像空间分布的变化,每个标量量化器伴随着一个重要性指示符映射来生成MD张量,而不是使用直接量化。第四,我们引入多描述结构相似性距离损失,它隐式地规范了多样化的多描述生成,以显式地监督多描述多样化解码除了MD重建损失。最后,我们证明了我们的MDC框架在几个常用的数据集上进行测试时,在图像编码效率方面优于几种最先进的MDC方法。
2020-01-12 cs.CV eess.IV
Detect-and-describe: Joint learning framework for detection and description of objects
Shanghai Jiao Tong University(上海交通大学)
传统的目标检测回答两个问题:“什么”(对象是什么?)和“where”(对象在哪里?)。目标检测的“什么”部分可以进一步细粒度化,即“什么类型”、“什么形状”和“什么材料”等。这导致将目标检测任务转移到目标描述范例。描述一个物体提供了额外的细节,使我们能够理解物体的特征和属性(“塑料船”不仅仅是船,“玻璃瓶”不仅仅是瓶子)。该附加信息可以隐式地用于获得对看不见的对象(例如,未知对象是“金属的”、“具有轮子”)的洞察,这在传统的目标检测中是不可能的。在本文中,我们提出了一种新的方法,同时检测对象和推断其属性,我们称之为检测和描述(DaD)框架。DaD是一种基于深度学习的方法,它也将目标检测扩展到对象属性预测。我们在aPascal训练集上对我们的模型进行训练,并在aPascal测试集上对我们的方法进行评估。我们在aPascal测试集上实现了对象属性预测的受试者工作特征曲线(AUC)下的面积为97.0%。我们还展示了定性结果的对象属性预测看不见的对象,这表明我们的方法描述未知对象的有效性。
2022-04-19 cs.CV
Global Semantic Description of Objects based on Prototype Theory
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
在本文中,我们介绍了一种新的语义描述方法原型理论的基础上启发。我们提出了一个计算原型模型(CPM),编码和存储对象类别的中心语义:语义原型。此外,我们引入了一个基于原型的描述模型,编码对象的语义含义,同时描述其功能使用我们的CPM模型。我们的描述方法使用由CNN分类模型计算的语义原型来创建区分性签名,该签名描述了在类别中突出其最独特特征的对象。我们的实验表明:i)我们的CPM模型(语义原型+距离度量)能够描述对象类别的内部语义结构; ii)我们的语义距离度量可以理解为类别内的对象视觉典型性得分; iii)我们的描述符编码是语义可解释的,并且在聚类和分类任务中显著优于其他图像全局编码。
2021-06-20 cs.AI cs.CV
AstroVision: Towards Autonomous Feature Detection and Description for Missions to Small Bodies Using Deep Learning
Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
小天体飞行任务在很大程度上依赖于光学特征跟踪,以确定目标天体的特征并对其进行相对导航。虽然深度学习在特征检测和描述方面取得了巨大进步,但由于大规模注释数据集的可用性有限,因此训练和验证空间应用的数据驱动模型具有挑战性。本文介绍了AstroVision,这是一个大规模的数据集,由115,970个密集注释的实像组成,这些图像是在过去和正在进行的任务中捕获的16个不同的小天体。我们利用AstroVision开发了一套标准化的基准测试,并对手工制作和数据驱动的特征检测和描述方法进行了详尽的评估。接下来,我们使用AstroVision对最先进的深度特征检测和描述网络进行端到端训练,并在多个基准测试中展示了改进的性能。完整的基准测试管道和数据集将公开提供,以促进空间应用计算机视觉算法的进步。
2022-08-03 astro-ph.EP astro-ph.IM cs.CV
ExCap3D: Expressive 3D Scene Understanding via Object Captioning with Varying Detail
Technical University of Munich(慕尼黑工业大学)
针对现有3D对象字幕仅单一细节级别的不足,提出ExCap3D模型生成对象级与部件级多细节字幕,构建对应数据集,实验显示其字幕质量显著优于SOTA方法。
2025-03-21 cs.CV
RAWDet-7: A Multi-Scenario Benchmark for Object Detection and Description on Quantized RAW Images
University of Mannheim(曼海姆大学);University of Siegen(锡根大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
RAWDet-7是一个用于研究量化RAW图像上目标检测与描述的多场景基准,包含大量标注数据和低比特量化模拟,支持评估检测性能、描述质量及泛化能力。
2026-02-10 cs.CV
Generating 6DoF Object Manipulation Trajectories from Action Description in Egocentric Vision
Kyoto University(京都大学);National Institute of Informatics(国家信息研究所);Sony Interactive Entertainment(索尼互动娱乐)
本文提出利用Exo-Ego4D大规模视频数据提取操作轨迹,并结合视觉与点云语言模型,首次实现从第一人称视觉动作描述生成6DoF物体操作轨迹,并在HOT3D数据集上验证有效性。
2025-06-04 cs.CV
Why Are You Wrong? Counterfactual Explanations for Language Grounding with 3D Objects
Institute of Advanced Computer Science, Leiden University(先进计算机科学研究所,莱顿大学);BMW Group(宝马集团)
本文针对3D物体语言接地中模型错误预测难以解释的问题,提出通过生成保持原描述结构且语义相似的反事实示例来揭示描述弱点与模型偏差,并在ShapeTalk数据集和三个模型上验证了其有效性。
2025-05-09 cs.AI cs.CV cs.LG
Deep learning approach to description and classification of fungi microscopic images
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen;Department of Mycology, Chair of Microbiology, Faculty of Medicine, Jagiellonian University Medical College(雅盖隆大学医学院微生物学系真菌学教研室);Department of Molecular Medical Microbiology, Chair of Microbiology, Faculty of Medicine, Jagiellonian University Medical College(雅盖隆大学医学院微生物学系分子医学微生物学教研室);Jagiellonian University Medical College(雅盖隆大学医学院)
真菌感染的诊断可以依赖于显微镜检查,然而,在许多情况下,由于它们的视觉相似性,它不允许明确识别物种。因此,通常需要进行额外的生化检查。这涉及额外费用,并将身份查验过程延长至10天。在实施靶向治疗方面的这种拖延后果严重,因为免疫抑制患者的死亡率很高。在本文中,我们应用基于深度学习和词袋的机器学习方法对各种真菌物种的显微图像进行分类。我们的方法使生化鉴定的最后阶段变得多余,将鉴定过程缩短了2-3天,并降低了诊断检查的成本。
2020-01-28 cs.AI cs.CV cs.LG
Zero-Shot Aerial Object Detection with Visual Description Regularization
Sichuan University(四川大学)
针对航空图像新型类别标注昂贵问题,提出视觉描述正则化 DescReg,通过相似性感知三元组损失注入类间视觉先验,在 DIOR、xView、DOTA 上显著提升零样本检测性能。
2024-03-01 cs.CV
Real Classification by Description: Extending CLIP's Limits of Part Attributes Recognition
GE HealthCare Technology and Innovation Center(GE医疗技术与创新中心);GE Aerospace Research(GE航空航天研究中心)
本研究提出零样本“真实”的基于描述的分类任务,通过ImageNet21k针对性训练与多分辨率改进CLIP架构,增强了模型细粒度部件属性识别能力,在六个流行基准及PACO数据集上取得显著性能提升。
2024-12-18 cs.CV
Relational Graph Learning for Grounded Video Description Generation
Zhejiang University(浙江大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
接地视频描述(GVD)鼓励字幕模型关注适当的视频区域(例如,对象)并生成描述。这样的设置可以帮助解释字幕模型的决定,并防止模型在其描述中出现幻觉。然而,这样的设计主要集中在目标词生成,因此可能会忽略细粒度的信息,并遭受丢失的视觉概念。此外,关系词(例如,“向左或向右跳跃”)是通常的时空推断结果,即,这些词不能建立在特定的空间区域上。为了解决上述局限性,我们设计了一个新的关系图学习框架GVD,其中语言细化的场景图表示设计来探索细粒度的视觉概念。此外,细化图可以被视为关系归纳知识,以帮助字幕模型选择它需要生成正确的单词的相关信息。通过自动度量和人工评价验证了该模型的有效性,结果表明,该方法能够生成更细粒度、更准确的描述,在一定程度上解决了对象幻觉问题。
2021-12-02 cs.AI cs.CL cs.CV
Sim2Real Object-Centric Keypoint Detection and Description
Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Shandong University of Science and Technology(山东科技大学)
关键点检测和描述在计算机视觉中起着核心作用。现有的方法大多是场景级预测的形式,不返回不同关键点的对象类。在本文中,我们提出了以对象为中心的配方,这超出了传统的设置,需要进一步确定每个兴趣点属于哪个对象。有了这些细粒度的信息,我们的框架使更多的下游潜力,如对象级匹配和姿态估计在集群环境中。为了解决现实世界中标签收集的困难,我们开发了一种sim 2 real对比学习机制,可以将模拟中训练的模型推广到现实世界的应用中。我们的训练方法的新颖性有三个方面:(i)我们将不确定性集成到学习框架中,以改善对困难情况的特征描述,例如,纹理较少或对称的补丁;(ii)我们解耦的对象描述符成两个输出分支-对象内的显着性和对象间的清晰度,从而在一个更好的像素方式的描述;(iii)我们加强跨视图的语义一致性,以增强表示学习的鲁棒性。图像匹配和6D姿态估计的综合实验验证了令人鼓舞的推广能力,从模拟到现实。特别是对于6D姿态估计,我们的方法显着优于典型的无监督/sim 2 real方法,实现了与完全监督对应的更近的差距。其他结果和视频可在https://zhongcl-thu.github.io/rock/上找到
2022-02-03 cs.AI cs.CV cs.RO
ELLIPSDF: Joint Object Pose and Shape Optimization with a Bi-level Ellipsoid and Signed Distance Function Description
University of California San Diego(加州大学圣地亚哥分校)
自治系统需要理解其周围环境的语义和几何,以便理解和安全地执行对象级任务规范。本文提出了一种表达而紧凑的模型,用于联合对象姿态和形状优化,以及一种相关的优化算法,用于从多视图RGB-D相机观察中推断对象级地图。该模型具有表现力,因为它捕捉了环境中对象的身份、位置、方向和形状。它是紧凑的,因为它依赖于隐式对象形状的低维潜在表示,允许板载存储大型多类别对象映射。不同于其他作品,依赖于一个单一的对象表示格式,我们的方法有一个双层次的对象模型,捕捉粗级别的规模以及精细的形状细节。我们的方法进行了评估的大规模现实世界的ScanNet数据集,并与国家的最先进的方法进行比较。
2021-08-01 cs.CV
Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
虽然最近的深度神经网络模型在图像描述任务上取得了有希望的结果,但它们在很大程度上依赖于具有成对图像和句子标题的语料库的可用性来描述上下文中的对象。在这项工作中,我们提出了深度组合字幕(DCC),以解决的任务,生成描述的新对象不存在于成对的图像-句子数据集。我们的方法通过利用大型对象识别数据集和外部文本语料库以及在语义相似的概念之间传输知识来实现这一点。目前的深度字幕模型只能描述包含在成对的图像-句子语料库中的对象,尽管它们是用大型对象识别数据集(即ImageNet)预先训练的。相比之下,我们的模型可以组成描述新对象及其与其他对象交互的句子。我们通过实证评估其在MSCOCO上的性能来证明我们的模型描述新概念的能力,并在没有配对图像标题数据的对象的ImageNet图像上显示定性结果。此外,我们扩展我们的方法来生成视频剪辑中的对象的描述。我们的研究结果表明,DCC有明显的优势,现有的图像和视频描述方法产生的新对象的描述上下文中。
2016-04-27 cs.CL cs.CV
Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
近年来,深度强化学习变得越来越流行,在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素,但很少有工作考虑使用对象特征来增强深度强化学习。在本文中,我们提出了一种新的方法,可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法,以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
Recent Advances in Deep Learning for Object Detection
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
目标检测是计算机视觉中的一个基本的视觉识别问题,在过去的几十年里得到了广泛的研究。视觉目标检测的目的是在给定的图像中找到具有精确定位的特定目标类别的对象,并为每个对象实例分配相应的类别标签。由于基于深度学习的图像分类的巨大成功,近年来已经积极地研究了使用深度学习的目标检测技术。在本文中,我们全面综述了深度学习在视觉目标检测方面的最新进展。通过回顾大量最近的相关文献,我们系统地分析了现有的目标检测框架,并将调查分为三个主要部分:(i)检测组件,(ii)学习策略,(iii)应用程序和基准。在调查中,我们详细介绍了影响检测性能的各种因素,如检测器架构,特征学习,建议生成,采样策略等。最后,我们讨论了几个未来的方向,以促进和刺激未来的研究与深度学习的视觉目标检测。关键词:目标检测,深度学习,深度卷积神经网络
2019-08-10 cs.CV cs.LG cs.MM
Generating Visual Spatial Description via Holistic 3D Scene Understanding
Tianjin University(天津大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出利用整体3D场景特征构建目标对象为中心的3D空间场景图,并通过拓扑多样化子图选择机制,显著提升视觉空间描述生成的准确性与空间多样性。
2023-05-25 cs.CL cs.CV
Real-time Visual Object Tracking with Natural Language Description
Boston University(波士顿大学);Hikvision Research America(海康威视美国研究院);Horizon Robotics(地平线机器人);University of Chinese Academy of Sciences(中国科学院大学)
近年来,基于深度学习的视觉对象跟踪器得到了深入研究,但处理目标的遮挡和/或快速运动仍然具有挑战性。在这项工作中,我们认为,条件反射的自然语言(NL)描述的目标提供了长期不变的信息,从而有助于应对典型的跟踪挑战。然而,推导出一个公式来结合基于外观的跟踪与语言模态的优势并不简单。我们提出了一种新的深度跟踪检测配方,可以利用NL的描述。与给定NL描述相关的区域由建议网络在跟踪器的检测阶段期间生成。然后,我们基于LSTM的跟踪器从基于NL的检测阶段提出的区域预测目标的更新。在基准测试中,我们的方法与最先进的跟踪器竞争,同时它在具有明确和精确的语言注释的目标上优于所有其他跟踪器。在没有限界框的情况下初始化时,它也击败了最先进的NL跟踪器。我们的方法在单个GPU上以超过30 fps的速度运行。
2019-12-03 cs.CV
Decoupled Novel Object Captioner
University of Technology Sydney(悉尼科技大学);Google Inc.(谷歌公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
图像描述是一个具有挑战性的任务,机器自动描述一个图像的句子或短语。它通常需要大量成对的图像-句子注释进行训练。然而,预先训练的字幕模型很难应用于其中存在一些新颖对象类别的新领域,即,对象及其描述词在模型训练期间不可见。为了正确地描述新的对象,它需要专业的人类工作者用新的词语对图像进行句子注释。它是劳动力昂贵的,因此限制了它在现实世界中的应用。在本文中,我们介绍了zero-shot小说对象字幕任务,机器生成的描述没有额外的句子的小说对象。为了解决这个具有挑战性的问题,我们提出了一个解耦的新颖对象描述符(DNOC)框架,可以完全解耦的语言序列模型的对象描述。DNOC有两个组成部分。1)带有占位符的序列模型(SM-P)生成一个包含占位符的句子。占位符代表一个看不见的新对象。因此,序列模型可以从新颖的对象描述中解耦。2)一个建立在自由可用的检测模型上的键值对象存储器包含每个对象的视觉信息和相应的单词。SM-P将生成查询以从对象存储器中检索单词。然后占位符将被填充正确的单词,从而产生具有新颖对象描述的标题。实验结果表明,在zero-shot新颖物体字幕任务中,DNOC具有描述新颖概念的能力。
2018-08-11 cs.CV
Deep disentangled representations for volumetric reconstruction
Radboud University(拉德堡德大学);Microsoft Research(微软研究院)
我们介绍了一个卷积神经网络推断一个紧凑的解纠缠的图形描述的对象从2D图像,可用于体积重建。该网络包括一个编码器和一个双尾解码器。编码器生成解纠缠的图形代码。第一解码器生成体积,并且第二解码器使用新颖的训练机制来重建输入图像,该训练机制允许图形代码学习3D对象的单独表示以及其照明和姿态条件的描述。我们证明了这种方法,从图像和视频的脸和椅子生成量和解开图形描述。
2016-10-12 cs.CV
Deep learning for class-generic object detection
我们研究了深度神经网络在类通用目标检测新任务中的应用。我们表明,最初设计用于图像识别的神经网络可以被训练来检测图像中的对象,无论其类别如何,包括没有提供限界框标签的对象。此外,我们还表明,限界框标签在ImageNet识别挑战中的性能提高了1%。
2013-12-24 cs.CV cs.LG cs.NE
Beyond Object Categories: Multi-Attribute Reference Understanding for Visual Grounding
针对现有视觉定位受限于对象类别和单属性描述的问题,提出Multi-ref EC框架及SIGAR数据集,整合状态、意图和手势等多属性参考,实验证明多属性参考能提升定位性能,推动人机交互中的视觉语言理解。
2025-03-25 cs.CV cs.HC
Evaluating Context for Deep Object Detectors
Delft University of Technology(代尔夫特理工大学)
哪种对象检测器适合您的上下文敏感任务?深度对象检测器以不同的方式利用场景上下文进行识别。在本文中,我们根据上下文用途:将对象检测器分为三类:通过裁剪输入的无上下文(RCNN),通过裁剪特征图的部分上下文(两阶段方法)和没有任何裁剪的完整上下文(单阶段方法)。我们系统地评估每个深度探测器类别的上下文的影响。我们为不同的上下文创建了一个完全受控的数据集,并调查了深度检测器的上下文。我们还评估逐步消除背景上下文和前景对象的MS COCO。我们证明,单阶段和两阶段的对象检测器可以并将使用凭借其大的感受野的上下文。因此,选择最佳对象检测器可以取决于应用上下文。
2022-05-05 cs.AI cs.CV cs.LG
Grounding Language Attributes to Objects using Bayesian Eigenobjects
我们开发了一个系统来消除歧义的对象实例在同一个类的基础上简单的物理描述。该系统将自然语言短语和包含分割对象的深度图像作为输入,并预测观察到的对象与短语所描述的对象有多相似。我们的系统旨在仅从少量人类标记的语言数据中学习,并推广到语言注释的深度图像训练集中未表示的观点。通过将3D形状表示与语言表示解耦,该方法能够使用少量语言注释的深度数据和较大的未标记3D对象网格语料库将语言接地到新对象,即使这些对象是从不寻常的视点部分观察到的。我们的系统能够消除歧义之间的新的对象,通过深度图像观察,基于自然语言的描述。我们的方法还支持视点转移;在从正面视点捕获的一小组深度图像上对人类注释的数据进行训练,我们的系统成功地从后方视图预测了对象属性,尽管在其训练集中没有这样的深度图像。最后,我们展示了我们的方法巴克斯特机器人,使其能够挑选特定的对象,根据人类提供的自然语言的描述。
2019-08-01 cs.CL cs.CV cs.RO
Deep filter banks for texture recognition, description, and segmentation
University of Oxford(牛津大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);CentraleSupélec(巴黎中央理工-高等电力学院);INRIA-Saclay(法国国家信息与自动化研究所萨克莱分院)
视觉纹理在图像理解中发挥了关键作用,因为它们传达了图像的重要语义,并且因为以无序方式汇集局部图像描述符的纹理表示在不同的应用中产生了巨大的影响。在本文中,我们作出了一些贡献纹理理解。首先,而不是专注于纹理实例和材料类别识别,我们提出了一个人类可解释的纹理属性词汇表来描述常见的纹理模式,并辅以一个新的可描述的纹理数据集进行基准测试。其次,我们看看在现实的成像条件下识别材料和纹理属性的问题,包括当纹理出现在混乱,开发相应的基准上最近提出的OpenSurfaces数据集。第三,我们在深度学习的背景下重新审视了经典的纹理表示,包括视觉词袋和Fisher向量,并表明如果将深度模型的卷积层用作滤波器组,这些纹理表示具有出色的效率和泛化特性。我们以这种方式在众多数据集中获得了最先进的性能,远远超出了纹理,这是一种将深度特征应用于图像区域的有效方法,并且有利于将特征从一个域转移到另一个域。
2015-11-18 cs.CV
Rotational Projection Statistics for 3D Local Surface Description and Object Recognition
National University of Defense Technology(国防科技大学);The University of Western Australia(西澳大学)
在存在噪声、变化的网格分辨率、遮挡和杂波的情况下识别3D对象是一项非常具有挑战性的任务。本文提出了一种新的方法旋转投影统计(RoPS)。它有三个主要模块:局部参考框架(LRF)定义,RoPS特征描述和三维物体识别。我们提出了一种新的技术来定义的LRF通过计算的散布矩阵的所有点躺在局部表面上。RoPS特征描述符通过将特征点的相邻点旋转投影到2D平面上并计算这些投影点的分布的一组统计(包括低阶中心矩和熵)来获得。使用所提出的LRF和RoPS描述符,我们提出了一个分层的三维物体识别算法。所提出的LRF,RoPS描述符和对象识别算法的性能进行了严格的测试,一些流行的和公开的数据集。我们提出的技术表现出优越的性能相比,现有的技术。我们还表明,我们的方法是强大的噪声和不同的网格分辨率。在博洛尼亚、西澳大学、皇后大学和Ca' Foscari Venezia数据集上测试时,我们基于RoPS的算法分别实现了100%、98.9%、95.4%和96.0%的识别率。
2013-04-11 cs.CV
CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks
UCSD(加州大学圣地亚哥分校)
本文提出 CLIP-Dissect,利用多模态视觉/语言模型自动为深度视觉网络的内部神经元分配开放式概念描述,无需标注数据,兼具准确性、灵活性与计算效率。
2023-06-05 cs.AI cs.CV cs.LG
NL2Contact: Natural Language Guided 3D Hand-Object Contact Modeling with Diffusion Model
University of Birmingham(伯明翰大学);National University of Singapore(新加坡国立大学)
本文提出NL2Contact,利用分阶段扩散模型实现自然语言引导的可控三维手-物体接触建模,并构建首个接触描述数据集ContactDescribe,应用于抓取姿态优化和新抓取生成。
2024-07-17 cs.CV
DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions
ETH(苏黎世联邦理工学院);Meta
本文提出DiffH2O方法,通过将任务分解为抓取与文本操控两阶段并使用独立扩散模型,结合紧凑姿态表示与双重引导方案,从文本和物体几何合成逼真的单/双手3D交互运动,优于基线方法。
2024-12-23 cs.AI cs.CV cs.GR
Learning Kinematic Descriptions using SPARE: Simulated and Physical ARticulated Extendable dataset
University of Michigan(密歇根大学);Robotics Institute, University of Michigan(密歇根大学机器人研究所)
下一代机器人在人类环境中合作时,需要理解复杂和铰接的物体。要做到这一点,这些机器人将需要超越他们目前的能力--以任务无关的方式处理相对简单的物体--走向更复杂的能力,动态估计复杂的,有关节的物体的属性。为此,我们在本文中对一般的铰接(物理)对象理解做出了两个引人注目的贡献。首先,我们介绍了一个新的数据集,SPARE:模拟和物理ARticulated可扩展数据集。SPARE是一个可扩展的开源数据集,提供了铰接对象(运动链)的等效模拟和物理实例,为更大的研究社区提供了用于生成铰接对象运动学描述的方法的培训和评估工具。据我们所知,这是Vision社区的第一个联合视觉和物理(3D打印)数据集。其次,我们提出了一个深度神经网络,可以预测的链接的数量和链接的连接对象的长度。这些新的想法优于经典的方法来理解运动链,如基于跟踪的方法,在遮挡的情况下失败,并且在可用时不利用多个视图。
2018-03-29 cs.CV cs.RO
DeePM: A Deep Part-Based Model for Object Detection and Semantic Part Localization
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个基于深度部分的模型(DeePM)的共生目标检测和语义部分定位。为此,我们在PASCAL VOC 2012数据集上对所有20个对象类别的语义部分进行了注释,该数据集提供了关于对象姿态、遮挡、视点和功能的信息。DeePM是基于最先进的R-CNN框架的潜在图形模型,其学习具有灵活类型共享的对象部件配置的显式表示(例如,侧视马头可以由完全可见的侧视马头和仅具有头部和颈部的高度截短的侧视马头共享)。为了进行比较,我们还提出了一个端到端的对象部分(OP)R-CNN,它学习了一个隐式特征表示,用于将图像ROI联合映射到对象和部分边界框。我们在PASCAL VOC 2012上评估了所提出的方法的对象和部件检测性能,并表明DeePM在检测对象和部件方面始终优于OP R-CNN。此外,它在目标检测中获得了优于Fast和Faster R-CNN的性能。
2016-01-26 cs.CV
Diving Deep into the Motion Representation of Video-Text Models
University of Maryland, College Park(马里兰大学帕克分校)
本文利用GPT-4生成的细粒度运动描述,提出一种改善视频-文本模型运动理解的方法,并在两个动作数据集上验证其有效性,揭示了现有模型与人类专家在运动理解上的差距。
2024-06-07 cs.CV
Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions
University of Southern California(南加州大学);DEVCOM Army Research Laboratory(国防部陆军研究实验室)
Descrip3D通过引入物体级文本描述,提升大语言模型在3D场景理解中的关系推理能力,有效增强复杂室内场景的语义理解。
2025-12-07 cs.CV
Generating Human Motion in 3D Scenes from Text Descriptions
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对文本生成3D室内场景人体运动需兼顾人-场景交互与空间推理的难题,提出将任务分解为目标物体语言定位和以物体为中心的运动生成的方法,提升了运动生成质量。
2024-05-13 cs.CV