Rectify ViT Shortcut Learning by Visual Saliency
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；Athens Academy（雅典学院）；ShanghaiTech University（上海科技大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
重复学习是常见的，但对深度学习模型有害，导致退化的特征表示，从而危及模型的泛化性和可解释性。然而，在广泛使用的视觉Transformer框架中的快捷学习在很大程度上是未知的。同时，引入专业知识是纠正由背景相关因素主导的捷径的主要途径。例如，在医学成像领域，来自放射科医师的眼睛注视数据是有效的人类视觉先验知识，其具有引导深度学习模型聚焦于有意义的前景感兴趣区域的巨大潜力。然而，获得眼睛注视数据是耗时的，劳动密集型的，有时甚至是不实际的。在这项工作中，我们提出了一种新的和有效的显着性指导的视觉Transformer（SGT）模型，以纠正快捷学习的ViT与眼睛凝视数据的情况下。具体而言，采用计算视觉显著性模型来预测输入图像样本的显著性图。然后，显着性图被用来隐藏最具信息量的图像块。在所提出的SGT中，图像块之间的自我注意力只集中在提取的信息。考虑到这种提取操作可能会导致全局信息丢失，我们进一步在最后一个编码器层中引入了一个残差连接，该残差连接捕获了所有图像块的自注意力。在四个独立的公共数据集上的实验结果表明，我们的SGT框架可以有效地学习和利用人类的先验知识，而无需眼睛注视数据，并取得了比基线更好的性能。同时，该方法成功地纠正了有害的捷径学习，显著提高了ViT模型的可解释性，证明了在纠正捷径学习中传递人类先验知识的前景
2022-06-17 cs.CV
Summarize and Search: Learning Consensus-aware Dynamic Convolution for Co-Saliency Detection
Northwestern Polytechnical University（西北工业大学）；Inception Institute of Artificial Intelligence（人工智能初始研究所）
人类通过首先总结整个组中的共识知识，然后在每个图像中搜索对应的对象来执行共显着性检测。以前的方法通常缺乏鲁棒性，可扩展性或稳定性的第一个过程，并简单地融合共识功能与图像特征的第二个过程。在本文中，我们提出了一种新的共识感知的动态卷积模型，明确和有效地执行“总结和搜索”的过程。为了总结共识图像特征，我们首先使用有效的池化方法总结每个图像的鲁棒特征，然后通过自我注意力机制聚合跨图像共识线索。通过这样做，我们的模型满足可扩展性和稳定性的要求。接下来，我们从共识特征生成动态内核来编码总结的共识知识。两种内核的补充方式，分别总结细粒度的图像特定的共识对象线索和粗糙的组明智的共同知识。然后，我们可以有效地执行对象搜索，采用动态卷积在多个尺度。此外，还提出了一种新颖有效的数据综合方法来训练网络。在四个基准数据集上的实验结果验证了该方法的有效性。我们的代码和显着图可在\url{https://github.com/nnizhang/CADC}上获得。
2021-10-01 cs.CV
UniST: Towards Unifying Saliency Transformer for Video Saliency Prediction and Detection
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出统一显著性Transformer（UniST）框架，首次利用Transformer结构同时处理视频显著性预测与显著目标检测任务，通过显著性感知Transformer和特定任务解码器，在七个基准上取得优于最先进方法的性能。
2023-09-15 cs.CV
Saliency Fusion in Eigenvector Space with Multi-Channel Pulse Coupled Neural Network
显著性图能够提供有用的信息，因此显著性计算已经成为一个热门的研究领域。对于显着图，多通道视角下的显着区域周围的局部关系应该被考虑在内，以感兴趣区域上的均匀性为目标作为内部方法。并且，必须尽可能避免不相关的显著区域。大多数的作品实现这些标准与外部处理模块，然而，这些都可以在显着地图融合过程中完成。因此，本文提出了一种新的显著性/显著性图融合模型，它包含两个概念：a）基于主成分分析（PCA）的输入图像变换，b）基于多通道脉冲耦合神经网络（m-PCNN）的显著性/显著性图融合。实验结果，这是评估精度，召回率，F-措施，和曲线下面积（AUC），支持所提出的方法的可靠性，通过提高显着性计算。
2017-03-01 cs.CV
Saliency Detection by Forward and Backward Cues in Deep-CNNs
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；School of Information Technology, Jiangxi University of Finance and Economics（江西财经大学信息管理学院）
由于对象或对象特征的先验知识有助于我们在注意力任务中建立类似对象的关系，因此预训练的深度卷积神经网络（CNN）可用于检测图像上的显著对象，而不管对象类是否在网络知识中。在本文中，我们提出了一个自顶向下的显着性模型，使用CNN，一个弱监督的CNN模型训练1000个对象标记任务从RGB图像。该模型根据CNN中选定的特征预测的对象分数来检测注意区域。为了有效地估计显著对象，我们结合了前向和后向特征，同时证明部分引导的反向传播将为从CNN模型的前向运行中选择特征提供足够的信息。最后，这些自上而下的线索被一个最先进的自下而上的模型增强，作为对整体显着性的补充。由于所提出的模型是通过客观性对向前和向后线索的有效整合，而无需对地面真实数据进行任何监督或回归，因此与两个不同数据集中的最先进模型相比，它给出了有希望的结果。
2017-06-21 cs.CV
TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Dublin City University（都柏林城市大学）；University of Catania（卡塔尼亚大学）
视频显着性预测最近引起了研究界的关注，因为它是一些实际应用的上游任务。然而，当前的解决方案在计算上要求特别高，特别是由于时空3D卷积的广泛使用。我们观察到，虽然不同的模型架构在基准测试中实现了类似的性能，但预测的显着性图之间的视觉变化仍然很明显。受这种直觉的启发，我们提出了一个轻量级的模型，采用多个简单的异构解码器，并采用了几种实用的方法，以提高准确性，同时保持计算成本低，如分层多地图知识蒸馏，多输出显着性预测，未标记的辅助数据集和教师辅助监督的通道减少。我们的方法在DFH 1 K，UCF-Sports和Hollywood 2基准上实现了与最先进的方法相当或更好的显着性预测准确性，同时显着提高了模型的效率。代码在https://github.com/feiyanhu/tinyHD上
2023-01-11 cs.CV
Learning Category-level Shape Saliency via Deep Implicit Surface Networks
South China University of Technology（华南理工大学）；Samsung USA（三星美国）；I2R ASTAR（新加坡科技研究局资讯通信研究院）
本文的动机是从一个基本的好奇心是什么定义一类对象的形状。例如，我们可能知道飞机有翅膀，椅子有腿。鉴于同一类别的不同实例之间的形状变化很大，我们正式感兴趣的是为连续物体表面上的单个点定义一个量;该量指定单个表面点如何有助于形成作为类别的形状。我们把这样的数量作为类别级别的形状显着性或形状显着性的简称。从技术上讲，我们建议从深层隐式表面网络中学习同一类别的形状实例的显着性图;隐式表面场中采样点的显着性得分通过约束输入潜在代码的能力来预测。我们还通过额外的对比训练损失来增强显着性预测。我们期望这样的学习表面地图的形状显着性具有平滑，对称和语义代表性的属性。我们通过比较我们的方法与其他方法的显着性计算来验证这些属性。值得注意的是，我们表明，通过利用学习的形状显着性，我们能够重建对象表面的类别显着或实例特定的部分;学习的显着性的语义代表性也反映在其有效性，以指导更好的点云分类的表面点的选择。
2020-12-14 cs.CV
Gaze Distribution Analysis and Saliency Prediction Across Age Groups
The University of Tokyo（东京大学）；Université Paris Descartes（巴黎笛卡尔大学）
人类视觉系统的知识有助于开发更好的视觉注意计算模型。已经开发出最先进的模型来模仿年轻人的视觉注意力系统，然而，这些模型在很大程度上忽略了随着年龄的变化而发生的变化。在本文中，我们研究了视觉场景处理如何随着年龄的变化，我们提出了一个年龄适应的框架，有助于开发一个计算模型，可以预测不同年龄组的显着性。我们的分析揭示了观察者的探索性如何随年龄而变化，一个年龄组的显着性图与来自相同或不同年龄组的观察者的注视点有多一致，以及年龄如何影响中心偏差。我们分析了属于四个年龄组的82名观察者在探索视觉场景时的眼动行为。根据显着图的熵量化探索性，并使用曲线下面积（AUC）指标量化一致性分析和中心偏倚。这些结果被用来开发年龄适应显着性模型。我们的研究结果表明，建议的年龄适应显着性模型优于现有的显着性模型在预测跨年龄组的感兴趣区域。
2017-05-31 cs.CV
Co-salient Object Detection Based on Deep Saliency Networks and Seed Propagation over an Integrated Graph
Seoul National University（首尔国立大学）
本文提出了一种共同显着的目标检测方法，以找到共同的显着区域，在一组图像。我们利用深度显着性网络来传递共显着性先验知识并更好地捕获高级语义信息，并且通过集成图上的种子传播步骤来增强所产生的初始共显着性图。深度显着性网络以监督的方式进行训练，以避免在线弱监督学习，并利用它们不仅提取高级特征，而且生成图像内和图像间显着性图。通过细化步骤，初始共显图可以均匀地突出共显区域并定位准确的对象边界。为了处理大小不一致的输入图像组，我们建议池多区域描述符，包括段内和组内信息。此外，综合多层图的构建，以找到区域，前面的步骤可能无法检测到的种子传播与低级别的描述符。在这项工作中，我们利用有用的补充组件的高，低层次的信息，和几个学习为基础的步骤。我们的实验表明，所提出的方法优于可比的共同显着性检测方法在广泛使用的公共数据库，也可以直接应用到共同分割任务。
2017-06-29 cs.CV
What Catches the Eye? Visualizing and Understanding Deep Saliency Models
Center for Research in Computer Vision（计算机视觉研究中心）；University of Exeter（埃克塞特大学）；University of Central Florida（中佛罗里达大学）
近年来，深度卷积神经网络已经证明了固视预测的高性能。然而，他们如何实现这一点的探索较少，他们仍然是黑箱模型。在这里，我们试图揭示深层显着性模型的内部结构，并研究它们提取哪些特征用于固定预测。具体来说，我们使用一个简单而强大的架构，仅由一个CNN和一个单一的分辨率输入，结合一个新的损失函数的像素级固定预测在自由观看自然场景。我们表明，我们简单的方法是等同于或优于国家的最先进的复杂的显着性模型。此外，我们提出了一种与显着性模型评估指标相关的方法，用于可视化深层模型以进行固定预测。我们的方法揭示了固定预测的深层模型的内部表示，并提供证据表明，显着性，如人类所经历的，可能涉及高层次的语义知识，除了低层次的感知线索。我们的研究结果可以用来衡量当前显着性模型和人类观察者间模型之间的差距，并建立新的模型来缩小这一差距。
2018-03-22 cs.CV
Exploring deep learning for Event-Based Saliency Prediction with a Transformer-based model
i3S/CNRS, Université Côte d’Azur（i3S/CNRS，法国国家科学研究中心，埃克塞特大学）
提出SEST模型，利用自监督预训练的事件Swin Transformer和轻量CNN解码器，从事件数据预测动态显著性图，并创建两个新基准数据集，显著优于现有方法。
2026-05-22 cs.CV
SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation
Naresuan University（那黎宣大学）；University of South Australia（南澳大学）；Chulalongkorn University（朱拉隆功大学）；RMIT University（皇家墨尔本理工大学）
提出用于显著性预测的神经架构搜索框架SalNAS，结合动态卷积构建权重共享超网络，并引入自知识蒸馏方法提升模型泛化能力，在七个基准数据集上以轻量级参数量实现最优性能。
2024-07-29 cs.AI cs.CV cs.LG
Deep Saliency Models : The Quest For The Loss Function
Univ Rennes（雷恩大学）；IRISA（法国国家信息与自动化研究所雷恩分部（雷恩信息与系统研究所））；CNRS（法国国家科学研究中心）；Aalto University（阿尔托大学）；Shangai University（上海大学）
深度学习的最新进展推动了视觉显着性模型的性能比以往任何时候都更进一步。文献中的许多模型提出了新的方法来设计神经网络，排列凝视模式数据，或提取尽可能多的高级和低级图像特征，以创建最佳的显着性表示。然而，典型深度学习模型的一个关键部分往往被忽视：损失函数的选择。在这项工作中，我们探讨了一些最流行的损失函数，用于深度显着性模型。我们证明，在一个固定的网络架构，修改的损失函数可以显着改善（或贬值）的结果，因此强调的重要性，选择的损失函数设计模型时。我们还介绍了新的损失函数，从来没有被用于显着性预测，以我们的知识。最后，我们证明了几个精心选择的损失函数的线性组合导致在不同的数据集以及不同的网络架构上的性能显着改善，从而证明了组合度量的鲁棒性。
2019-07-04 cs.CV
Network Knowledge Prior Guided Learning for Data-Efficient Surface Defect Detection
School of Instrumentation Science and Engineering, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学仪器科学与工程学院）；Harbin Institute of Technology Suzhou Research Institute, Suzhou, China（哈尔滨工业大学苏州研究院）
本文提出了一种基于网络知识先验的知识引导损失函数，通过在训练过程中整合模型可解释性，提升数据高效表面缺陷检测的性能和可信赖度。
2026-05-18 cs.CV
Few-Shot Learning via Saliency-guided Hallucination of Samples
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
从少量样本中学习新概念是计算机视觉中的标准挑战。提高Few-Shot训练模型学习能力的主要方向包括（i）鲁棒的相似性学习和（ii）从有限的现有样本中生成或产生额外的数据。在本文中，我们遵循后者的方向，并提出了一种新的数据幻觉模型。目前，大多数数据点生成器包含专用网络（即，GAN）的任务是产生新的数据点，因此首先需要大量带注释的数据进行训练。在本文中，我们提出了一种新的成本较低的幻觉方法少样本学习，利用显着图。为此，我们采用显着性网络来获得可用图像样本的前景和背景，并将所得的映射馈送到双流网络中，以直接在特征空间中从可行的前景-背景组合中产生数据点。据我们所知，我们是第一个利用显着性图进行此类任务的人，我们证明了它们在为少样本学习产生额外数据点方面的有用性。我们提出的网络在公开可用的数据集上达到了最先进的水平。
2019-04-06 cs.CV
SED:Lightweight Saliency prediction for Event-based data via Distillation
i3S/CNRS, Université Côte d’Azur（法国蔚蓝海岸大学i3S/CNRS实验室）；ETH Zürich（苏黎世联邦理工学院）
提出轻量级网络SED，通过知识蒸馏和深度时空块（DSTconv）实现事件数据显著性预测，模型大小减少562倍，参数减少554倍，性能匹配或超越教师模型。
2026-06-15 cs.CV
Breast Anatomy Enriched Tumor Saliency Estimation
Utah State University（犹他州立大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Idaho（爱达荷大学）
乳腺癌的研究具有重要意义，发展肿瘤检测方法是迫切需要的。然而，由于乳腺结构复杂，图像质量差，乳腺超声检查是一项具有挑战性的任务。在本文中，我们提出了一种新的肿瘤显着性估计模型的指导下，丰富的乳腺解剖知识定位肿瘤。首先，通过深度神经网络生成乳房解剖层。然后，我们细化层，通过整合一个非语义的乳房解剖模型，以解决不完整的乳房层的问题。同时，提出了一种基于语义概率和空间距离加权的背景图生成方法，提高了背景图生成的性能。实验结果表明，该方法与新的背景地图优于四个国家的最先进的TSE模型，增加10%的F_meansure的BUS公共数据集。
2019-10-23 cs.CV
ViNet: Pushing the limits of Visual Modality for Audio-Visual Saliency Prediction
International Institute for Information Technology, Hyderabad（海得拉巴国际信息技术学院）；University of Canberra（堪培拉大学）
我们提出了ViNet架构的视听显着性预测。ViNet是一个完全卷积的编码器-解码器架构。编码器使用来自经过动作识别训练的网络的视觉特征，解码器通过三线性插值和3D卷积推断显着图，结合来自多个层次的特征。ViNet的整体架构在概念上很简单;它是因果关系的，并且是实时运行的（60 fps）。ViNet不使用音频作为输入，并且在九个不同的数据集（三个仅视觉数据集和六个视听数据集）上仍然优于最先进的视听显着性预测模型。ViNet在AVE数据集的CC、SIM和AUC指标上也超过了人类的表现，据我们所知，它是第一个这样做的网络。我们还探讨了ViNet架构的变化，通过增加音频功能到解码器。令我们惊讶的是，经过充分的训练，网络对输入音频变得不可知，并且无论输入如何都提供相同的输出。有趣的是，我们也观察到类似的行为，在以前的国家的最先进的模型\cite{tsiami2020stavis}的视听显着性预测。我们的研究结果与以前基于深度学习的视听显着性预测的工作形成对比，为未来以更有效的方式结合音频的探索提供了一条清晰的途径。代码和预训练模型可在https://github.com/samyak0210/ViNet上获得。
2021-08-07 cs.CV
Attention-Guided Lidar Segmentation and Odometry Using Image-to-Point Cloud Saliency Transfer
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；CNRS-AIST Joint Robotics Laboratory (JRL)（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
本文提出图像到点云显著性迁移框架，构建FordSaliency伪显著性数据集，并设计SalLiDAR分割模型和SalLONet里程计网络，利用显著性引导注意力提升自动驾驶中激光雷达分割与里程计性能，达到最先进水平。
2024-06-17 cs.CV cs.RO
ViDaS Video Depth-aware Saliency Network
National Technical University of Athens（雅典国立技术大学）
提出双流全卷积视频深度感知显著性网络ViDaS，通过融合RGB与深度特征进行端到端训练，在多数情况下优于现有模型，首次结合RGB和深度解决自然场景下的视频显著性估计问题。
2023-05-19 cs.CV
Exploiting saliency for object segmentation from image level labels
Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Amsterdam（阿姆斯特丹大学）
近年来，语义标签任务有了显著的改进。然而，现有技术的方法依赖于大规模像素级注释。本文研究了从当前对象类的图像级注释中训练像素级语义标签网络的问题。最近，已经表明，可以从图像级标签获得指示有区别的对象区域的高质量种子。在没有额外信息的情况下，由于同现，获得对象的完整范围是一个固有的不适定问题。我们建议使用一个显着性模型作为额外的信息，从而利用先验知识的对象范围和图像统计。我们展示了如何结合这两个信息源，以恢复80%的完全监督性能-这是最新的弱监督训练的像素级语义标记。该代码可在https://goo.gl/KygSeb上获得。
2017-07-14 cs.CV
A Novel Just-Noticeable-Difference-based Saliency-Channel Attention Residual Network for Full-Reference Image Quality Predictions
最近，由于深度卷积神经网络（CNN）的强大，已经研究了许多基于CNN的图像质量评估（IQA）模型。然而，以前的基于CNN的IQA模型可能还没有充分利用人类视觉系统（HVS）的特性来解决IQA问题，因为它们只是将一切都委托给CNN，期望它从训练数据集中学习。然而，在本文中，我们提出了一种新的显着性通道注意力残差网络的基础上的JND概念的全参考图像质量评估（FR-IQA）。它被称为JND-SalCAR，在具有各种类型失真的大型IQA数据集上显示出显着的改进。建议JND-SalCAR有效地学习如何将人类的心理物理特征，如视觉显着性和JND，图像质量预测。在所提出的网络中，设计了一个SalCAR块，以便在基于显着性的空间注意力和通道注意力方案的帮助下提取感知上重要的特征。此外，显着图作为预测补丁权重图的指南，以便为JND-SalCAR提供稳定的端到端优化训练。据我们所知，我们的工作提出了第一个HVS启发的可训练FR-IQA网络，该网络考虑了HVS的视觉显著性和JND特性。当视觉显着性图和JND概率图被明确地作为先验信息时，它们可以有效地结合起来，更精确地预测人类评定的IQA分数，最终导致性能改进和更快的收敛。实验结果表明，JND-SalCAR在Spearman秩序系数（SRCC）和Pearson线性相关系数（PLCC）方面的性能明显优于目前所有的FR-IQA方法。
2020-10-16 cs.CV
EML-NET:An Expandable Multi-Layer NETwork for Saliency Prediction
Ryerson University（瑞尔森大学）；Vector Institute（向量研究所）
显著性预测可以受益于涉及可能与中心任务相切的场景理解的训练;这可能包括理解地点、空间布局、对象或涉及不同的数据集及其偏差。人们可以组合模型，但以复杂的方式这样做可能会很复杂，并且还会导致网络笨拙或产生难以平衡的竞争目标。在本文中，我们提出了一个可扩展的系统，利用多个强大的深度CNN模型来更好地提取视觉特征进行显着性预测。我们的设计与以前的研究不同，因为整个系统几乎是以端到端的方式进行训练的。编码器和解码器组件分别接受训练，以处理与计算范式和所需空间相关的复杂性。此外，编码器可以包含一个以上的CNN模型来提取特征，并且模型可以具有不同的架构或在不同的数据集上进行预训练。这种并行设计产生了一种更好的计算范式，克服了对各种信息或推理的限制，这些信息或推理可以在编码器阶段组合到更深的网络和更强大的编码。我们的网络可以很容易地扩展，几乎没有任何额外的成本，其他预先训练的CNN模型可以结合起来，利用更广泛的视觉知识。我们将我们的可扩展多层网络表示为EML-NET，我们的方法在公共显着性基准SALICON，MIT 300和CAT 2000上实现了最先进的结果。
2019-03-11 cs.CV
FastSal: a Computationally Efficient Network for Visual Saliency Prediction
Insight Centre for Data Analytics, Dublin City University（都柏林城市大学Insight数据分析中心）
本文主要研究视觉显著性预测问题，即在有限的计算预算下，预测图像中容易引起人类视觉注意的区域。我们修改和测试了各种最近的高效卷积神经网络架构，如EfficientNet和MobileNetV2，并将它们与现有的最先进的显着性模型（如SalGAN和DeepGaze II）进行了比较，无论是在AUC和NSS等标准准确性指标方面，还是在计算复杂性和模型大小方面。我们发现，MobileNetV2是一个很好的骨干视觉显着性模型，即使没有一个复杂的解码器也可以有效。我们还表明，从计算成本更高的模型（如DeepGaze II）中转移知识可以通过伪标记未标记的数据集来实现，并且这种方法可以与许多最先进的算法相比，计算成本和模型大小只有一小部分。源代码可在https://github.com/feiyanhu/FastSal上获得。
2020-08-25 cs.CV cs.LG
Assessing the validity of saliency maps for abnormality localization in medical imaging
Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）；Massachusetts General Hospital（麻省总医院）；Arizona State University-Mayo Clinic Center for Innovative Imaging（亚利桑那州立大学-梅奥诊所创新成像中心）；School of Computing, Informatics, and Decision Systems Engineering（计算、信息学与决策系统工程学院）
显著图已经成为一种广泛使用的方法，以评估输入图像的哪些区域与训练的神经网络的预测最相关。然而，在医学成像的背景下，据我们所知，没有研究已经检查了这些技术的有效性，并使用与地面实况边界框的重叠对其进行量化。在这项工作中，我们探索了RSNA Pneumonia数据集上各种现有显着图方法的可信度。我们发现，GradCAM是最敏感的模型参数和标签随机化，是高度不可知的模型架构。
2020-05-29 cs.CV cs.LG
$n$-Reference Transfer Learning for Saliency Prediction
University of Minnesota（明尼苏达大学）；National University of Singapore（新加坡国立大学）
得益于深度学习研究和大规模数据集，显着性预测在过去十年中取得了显著的成功。然而，在缺乏足够数据用于数据饥渴模型的新领域中预测图像上的显着性图仍然具有挑战性。为了解决这个问题，我们提出了一个用于显著性预测的Few-Shot迁移学习范例，该范例能够将从现有的大规模显著性数据集学习到的知识有效地迁移到具有有限标记示例的目标域。具体地，非常少的目标域示例被用作参考以利用源域数据集训练模型，使得训练过程可以收敛到有利于目标域的局部最小值。然后，使用参考进一步微调学习的模型。所提出的框架是基于梯度和模型不可知的。我们对不同的源域和靶域对进行了全面的实验和烧蚀研究。结果表明，该框架实现了显著的性能提升。该代码可在\url{https://github.com/luoyan407/n-reference}上公开获得。
2020-07-09 cs.CV cs.LG
Bridging the Gap Between Saliency Prediction and Image Quality Assessment
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Yandex；AIRI, Moscow, Russia（莫斯科俄罗斯AI研究所）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）
本文通过实证研究揭示了图像质量评估与显著性预测任务间的关系，证明前者包含后者知识，并引入新的SACID数据集对经典及神经IQA方法进行大规模比较。
2025-06-27 cs.CV eess.IV
Pyramid Grafting Network for One-Stage High Resolution Saliency Detection
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近基于深度神经网络的显著目标检测（SOD）方法已经取得了显著的性能。然而，大多数现有的SOD模型设计用于低分辨率输入表现不佳的高分辨率图像，由于采样深度和感受野大小之间的矛盾。针对这一矛盾，提出了一种新的一阶段框架--金字塔嫁接网络（Pyramid Grafting Network，PGNet），该框架利用Transformer和CNN主干分别从不同分辨率的图像中提取特征，然后将Transformer分支的特征嫁接到CNN分支。提出了一种基于注意力的跨模型移植模块（CMGM），使CNN分支在解码过程中能够在不同信源特征的指导下，更全面地组合破碎的细节信息。此外，我们设计了一个注意力引导损失（AGL）来显式地监督CMGM生成的注意力矩阵，以帮助网络更好地与来自不同模型的注意力进行交互。我们贡献了一个新的超高分辨率显着性检测数据集UHRSD，包含5，920张4K-8 K分辨率的图像。据我们所知，它是高分辨率SOD任务中数量和分辨率最大的数据集，可以用于未来研究的训练和测试。在UHRSD和广泛使用的SOD数据集上的实验表明，与现有的方法相比，我们的方法具有更好的性能。
2022-04-12 cs.CV
Shallow and Deep Convolutional Networks for Saliency Prediction
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Insight Center for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
传统上，图像中显著区域的预测是基于神经科学原理的手工特征。然而，本文通过训练一个卷积神经网络（convnet），用一种完全数据驱动的方法解决了这个问题。学习过程被公式化为损失函数的最小化，该损失函数测量预测的显著性图与所提供的基础事实的欧几里得距离。最近发布的显着性预测的大型数据集提供了足够的数据来训练快速准确的端到端架构。提出了两种设计：一个是从头开始训练的浅层convnet，另一个是更深层的解决方案，其前三层是从另一个训练用于分类的网络中改编的。据作者所知，这是第一个为显着性预测而训练和测试的端到端CNN。
2016-03-02 cs.CV cs.LG
Understanding Parameter Saliency via Extreme Value Theory
The University of Tokyo（东京大学）
本文从极值理论视角重新表述参数显著性，提出基于超阈值方法的统计异常检测框架，以消除现有方法对梯度范数正态分布的隐含假设，并缓解其对网络层深度的偏差，从而更有效地诊断引发错误分类的卷积滤波器。
2023-12-05 cs.AI cs.CV
Saliency-Aware Automatic Buddhas Statue Recognition
School of Electronic Information and Artificial, Shaanxi University of Science and Technology（陕西科技大学电子信息与人工智能学院）；Shaanxi Joint Laboratory of Artificial Intelligence, Shaanxi University of Science and Technology（陕西科技大学陕西省人工智能联合实验室）
针对佛像识别成本高且 CNN 易受类别不平衡影响的问题，本文提出基于显著性图采样和 GLSA 的端到端识别模型，在专家协助构建的数据集上平均 Top-1 准确率提升 4.63%。
2024-02-26 cs.CV
A Comparison of Deep Saliency Map Generators on Multispectral Data in Object Detection
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB（弗劳恩霍夫光电、系统技术与图像处理研究所）
深度神经网络，特别是卷积深度神经网络，是分类、分割甚至生成图像、电影或声音的最先进方法。然而，这些方法缺乏对内部发生的事情的良好语义理解。为什么COVID-19检测器将一堆肺部CT图像分类为阳性，这个问题有时比整体特异性和灵敏度更有趣。特别是当人类领域专家知识与给定的输出不一致时。这样一来，人类领域的强者们，也可以根据系统提示的信息，重新考虑自己的选择。此外，深度学习模型可以被控制，并且可以发现当前的数据集偏差。目前，计算机视觉领域中大多数可解释的AI方法都纯粹用于图像分类，其中图像是可见光谱中的普通图像。因此，没有比较的方法如何表现与多模态图像数据，以及大多数方法没有被调查时，他们如何表现为目标检测。这项工作试图缩小差距。首先，研究了三种显著图生成方法，分析了它们的显著图在不同光谱上的差异。这是通过准确和系统的培训来实现的。其次，我们研究它们在用于目标检测时的行为。作为一个实际问题，我们选择了自动驾驶的红外和可见光谱中的目标检测。在这项工作中使用的数据集是多光谱目标检测数据集，其中每个场景是在FIR，MIR和NIR以及可见光谱。结果表明，红外激活图和视觉激活图之间存在差异。此外，使用红外和视觉数据进行高级训练不仅提高了网络的输出，还导致显着图中的焦点更加集中。
2021-08-26 cs.CV
Towards High-Resolution Salient Object Detection
Dalian University of Technology（大连理工大学）；Adobe Research（奥多比研究院）
基于深度神经网络的方法在显著目标检测方面取得了重大突破。然而，它们通常限于具有低分辨率（$400\times400$像素或更小）的输入图像。在训练深度神经网络以直接处理极高分辨率图像中的显著目标检测方面，几乎没有做出任何努力。本文提出了高分辨率显著性检测方法，并提出了一种新的数据集--高分辨率显著性目标检测（HRSOD）。据我们所知，HRSOD是迄今为止第一个高分辨率显着性检测数据集。作为另一个贡献，我们还提出了一种新的方法，它结合了全局语义信息和局部高分辨率的细节，以解决这一具有挑战性的任务。更具体地说，我们的方法包括一个全球语义网络（GSN），一个本地细化网络（LRN）和全球本地融合网络（GLFN）。GSN基于下采样整幅图像提取全局语义信息。在GSN结果的指导下，LRN专注于一些局部区域，并逐步产生高分辨率的预测。进一步提出了GLFN，以加强空间一致性和提高性能。实验表明，我们的方法在高分辨率显着性数据集上的性能大大优于现有的最先进的方法，并且在广泛使用的显着性基准上实现了与它们相当甚至更好的性能。HRSOD数据集可在https://github.com/yi94code/HRSOD上获得。
2019-08-20 cs.CV
Black-box Explanation of Object Detectors via Saliency Maps
Boston University（波士顿大学）；Adobe Research（Adobe研究院）；Adobe Document Cloud（Adobe文档云）；University of Virginia（弗吉尼亚大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了D-RISE，一种用于生成对象探测器预测的视觉解释的方法。利用所提出的相似性度量，占本地化和分类方面的目标检测允许我们的方法产生显着图，显示图像区域，最影响预测。在软件测试的意义上，D-RISE可以被认为是"黑盒"，因为它只需要访问对象检测器的输入和输出。与基于梯度的方法相比，D-RISE更通用，对被测试的特定类型的对象检测器更不可知，并且不需要了解模型的内部工作原理。我们表明，D-RISE可以很容易地应用于不同的对象检测器，包括一级检测器，如YOLOv3和两级检测器，如Faster-RCNN。我们对生成的视觉解释进行了详细的分析，以突出对象检测器对上下文和可能的偏见的利用。
2021-06-10 cs.AI cs.CV cs.LG
Reliability Scores from Saliency Map Clusters for Improved Image-based Harvest-Readiness Prediction in Cauliflower
University of Bonn（波恩大学）；Forschungszentrum Jülich GmbH（于利希研究中心）
本文提出通过聚类显著性图并利用领域知识为花椰菜采收就绪度分类结果生成可靠性评分，据此调整预测，在GrowliFlower数据集上将整体准确率提升15.72%至88.14%。
2023-05-24 cs.AI cs.CV cs.LG
Viewport Prediction for Volumetric Video Streaming by Exploring Video Saliency and Trajectory Information
School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）；The University of Electro-Communications（电子通信大学）；Aarhus University（奥胡斯大学）；School of Electrical Engineering and Automation, Hefei University of Technology（电气工程与自动化学院，合肥工业大学）；Engineering Technology Research Center of Industrial Automation of Anhui Province（安徽省工业自动化工程技术研究中心）；School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学）
本文针对体积视频流视口预测问题，提出STVP方法，通过均匀随机采样、时空显著性检测以及显著性与轨迹信息融合，实现了比现有方案更精确的视口预测。
2025-06-05 cs.CV cs.MM
NOC-REK: Novel Object Captioning with Retrieved Vocabulary from External Knowledge
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
新颖的对象字幕旨在描述训练数据中缺少的对象，其关键成分是向模型提供对象词汇。虽然现有的方法在很大程度上依赖于一个目标检测模型，我们认为检测步骤作为词汇检索从外部知识的形式嵌入任何对象的定义从维基词典，在那里我们使用的检索图像区域的功能从Transformers模型。我们提出了一种端到端的新颖对象字幕与外部知识检索词汇方法（NOC-REK），它同时学习词汇检索和字幕生成，成功地描述了训练数据集之外的新颖对象。此外，我们的模型消除了模型再训练的要求，只要一个新的对象出现，只需更新外部知识。我们在COCO和Nocaps数据集上的综合实验表明，我们的NOC-REK对SOTA相当有效。
2022-03-28 cs.CV
Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation
Department of Information Engineering Hong Kong；Department of Information Engineering
由于深度学习框架在视频显著目标检测中的广泛应用，最近方法的准确性取得了惊人的进步。这些方法主要采用基于光流或递归神经网络（RNN）的时序模块来学习鲁棒的时空特征。这些模块是有效的，但显着增加了相应的深度模型的计算负担。本文提出了一种基于时空知识蒸馏的轻量级视频显著目标检测网络。具体而言，在空间方面，我们结合了显着性指导特征嵌入结构和空间知识蒸馏，以细化的空间特征。在时域方面，提出了一种时域知识蒸馏策略，通过帧间特征编码和相邻帧信息的提取，使网络学习鲁棒的时域特征。在广泛使用的视频数据集上的实验（例如，DAVIS，DAVSOD，SegTrack-V2）证明了我们的方法达到了有竞争力的性能。此外，在不使用复杂的顺序模块的情况下，所提出的网络可以获得每帧0.01s的高效率。
2021-03-17 cs.CV
Scene Graph Generation with External Knowledge and Image Reconstruction
Nanyang Technological University（南洋理工大学）；Adobe Research（奥多比研究院）；University of Georgia（佐治亚大学）；Google Cloud AI（谷歌云人工智能）
随着目标检测、属性和关系预测、~ \etc等图像理解任务的发展，场景图生成得到了越来越多的关注。然而，现有的数据集在对象和关系标签方面存在偏差，或者经常带有噪声和缺失的注释，这使得开发可靠的场景图预测模型非常具有挑战性。在本文中，我们提出了一种新的场景图生成算法与外部知识和图像重建损失，以克服这些数据集的问题。特别是，我们从外部知识库中提取常识知识，以改进场景图生成中的对象和短语特征，以提高泛化能力。为了解决噪声对象注释的偏差，我们引入了辅助图像重建路径来正则化场景图生成网络。大量的实验表明，我们的框架可以生成更好的场景图，在两个基准数据集上实现了最先进的性能：视觉关系检测和视觉基因组数据集。
2019-04-01 cs.CV
Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval
Baidu Inc（百度公司）
本文提出SSA-ME框架，通过显式建模显著视觉主体，提升细粒度表示学习，解决多模态检索中的语义漂移和视觉模态忽视问题，实验表明其在MMEB基准上达到最优性能。
2026-04-28 cs.CV
MIMONet: Multi-scale Input and Multi-scale Output Network for Salient Object Detection
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）；Peng Cheng Laboratory（鹏城实验室）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对现有显著目标检测模型难以学习目标尺寸变化的问题，提出MIMONet，通过多尺度输入分支、MSP模块与JSL损失提升检测性能，在多数据集上取得更优结果，代码将公开。
2026-08-27 cs.CV
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park（马里兰大学帕克分校）
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和（subj，obj）对（语义和空间）之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系，但是由于视觉关系的语义空间巨大并且训练数据有限，特别是对于具有很少实例的长尾关系，因此使学习复杂化。为了克服这个问题，我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释（内部知识）和公开文本中挖掘来获得语言知识，例如，Wikipedia（外部知识），计算给定（subj，obj）对的谓词的条件概率分布。然后，我们将知识提取到深层模型中，以实现更好的泛化。我们在视觉关系检测（VRD）和视觉基因组数据集上的实验结果表明，通过这种语言知识蒸馏，我们的模型显著优于最先进的方法，特别是在预测看不见的关系（例如，在VRD zero-shot测试集上，召回率从8.45%提高到19.17%）。
2017-08-03 cs.CV
Multi-label Zero-shot Classification by Learning to Transfer from External Knowledge
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Alibaba Group（阿里巴巴集团）
多标签zero-shot分类的目的是预测输入图像的多个不可见的类别标签。它比单一标签更具有挑战性。一方面，分配给每个图像的标签数量不受约束，使得模型更容易过拟合那些可见的类。另一方面，在现有的多标签分类数据集中，可见和不可见的类之间存在很大的语义差距。为了解决这些难题，本文提出了一种新的多标签zero-shot分类框架，通过学习从外部知识转移。我们观察到ImageNet通常用于预训练特征提取器，并且具有大而细粒度的标签空间。这促使我们将其作为外部知识来利用，以连接可见和不可见的类并促进泛化。具体来说，我们构建了一个知识图谱，不仅包括来自目标数据集的类，还包括来自ImageNet的类。由于ImageNet标签在目标数据集中不可用，我们提出了一种新的PosVAE模块来推断它们在扩展知识图谱中的初始状态。然后，我们设计了一个关系图卷积网络（RGCN）来传播类之间的信息，实现知识转移。在两个基准数据集上的实验结果证明了该方法的有效性。
2020-07-31 cs.CV
Faster gaze prediction with dense networks and Fisher pruning
Twitter（推特）
最近，通过利用为对象识别预先训练的深度表示，从图像中预测人类注视点有了很大的改进。然而，正如我们在本文中所展示的那样，这些网络对于注视预测任务来说是高度过度参数化的。首先，我们提出了一个简单而有原则的贪婪修剪方法，我们称之为Fisher修剪。通过结合知识蒸馏和Fisher剪枝，我们获得了更高效的显着性预测架构，在CAT2000数据集上实现了10倍的加速，而AUC性能与最先进的网络相同。加速单图像凝视预测对于许多现实世界的应用非常重要，但它也是开发视频显着性模型的关键一步，其中要处理的数据量要大得多。
2018-07-09 cs.CV stat.ML
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像，以构建信息量更大的单个融合图像。最近，基于无监督学习的卷积神经网络（CNN）已经被用于不同类型的图像融合任务，诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而，分析这些CNN用于图像融合任务的可靠性是具有挑战性的，因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能，从而产生完全不同的融合结果。此外，由于这种神经网络的高度不透明性，很难解释其融合结果背后的内部机制。为了克服这些挑战，我们提出了一种新的实时可视化工具，名为FuseVis，最终用户可以计算每像素的显着性图，检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN，然后使用我们的FuseVis工具，通过解释每种融合方法的显着性图，对特定的临床应用进行了案例研究。我们具体可视化的相对影响，每个输入图像的融合图像的预测，并表明，一些评估的图像融合方法更适合于特定的临床应用。据我们所知，目前，还没有一种方法用于图像融合的神经网络的视觉分析。因此，这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序，以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
SalientDSO: Bringing Attention to Direct Sparse Odometry
University of Maryland, College Park（马里兰大学帕克分校）
虽然杂乱的室内场景具有大量有用的高层语义信息，可用于映射和定位，大多数视觉里程计（VO）算法依赖于使用的几何特征，如点，线和平面。最近，在这个想法的驱动下，语义标签和获取里程的联合优化在机器人社区中越来越流行。联合优化有利于获得准确的结果，但通常非常缓慢。与此同时，在视觉社区中，VO的直接和稀疏方法在速度和准确性之间取得了适当的平衡。我们合并了这两个社区的成功，并提出了一种方法，将语义信息的视觉显着性的形式，直接稀疏测距-一个非常成功的直接稀疏VO算法。我们还提出了一个框架过滤的视觉显着性的基础上场景解析。我们的框架SalientDSO依赖于广泛成功的基于深度学习的视觉显著性和场景解析方法，该方法驱动特征选择以获得高度准确和鲁棒的VO，即使每帧只有40个点特征。我们在ICL-NUIM和TUM monoVO数据集上对SalientDSO进行了广泛的定量评估，并表明我们的性能优于DSO和ORB-SLAM -文献中两种非常流行的最先进方法。我们还收集并公开发布了一个CVL-UMD数据集，其中包含两个室内杂乱序列，我们对其进行了定性评估。据我们所知，这是第一篇使用视觉显着性和场景解析来驱动直接VO中的特征选择的论文。
2018-02-28 cs.CV cs.RO
Incorporating External Knowledge to Answer Open-Domain Visual Questions with Dynamic Memory Networks
Tsinghua University（清华大学）
视觉问答（VQA）由于能够深入研究图像多模态分析与自然语言之间的关系而备受关注。目前的算法大多无法回答需要在图像内容之外进行推理的开放域问题。为了解决这个问题，我们提出了一个新的框架，该框架通过利用动态记忆网络的大量外部知识来赋予模型回答更复杂问题的能力。具体而言，问题以及相应的图像触发一个过程，以检索外部知识库中的相关信息，这些信息通过保留实体关系结构嵌入到连续向量空间中。然后，我们使用动态记忆网络来处理知识图谱和图像中的大量事实，然后对这些事实进行推理以生成相应的答案。大量的实验表明，该模型不仅在视觉问答任务中达到了最先进的性能，而且能够利用外部知识有效地回答开放域问题。
2017-12-03 cs.CL cs.CV
Unleash the Potential of CLIP for Video Highlight Detection
Buzzni AI Lab（Buzzni人工智能实验室）；Seoul National University（首尔大学）
本文提出Highlight-CLIP方法，通过微调多模态编码器并结合显著性池化技术，在QVHighlight基准上取得视频精彩片段检测的最先进性能。
2024-04-02 cs.AI cs.CV
Wider Vision: Enriching Convolutional Neural Networks via Alignment to External Knowledge Bases
Technological University Dublin（都柏林理工大学）
深度学习模型存在不透明性。对于卷积神经网络（CNN），目前解释模型的研究策略集中在相关训练数据集中的目标类。因此，对隐藏特征图激活的理解受到训练期间收集的判别知识的限制。我们工作的目的是通过将CNN镜像或对齐到外部知识库来解释和扩展CNN模型。这将使我们能够为每个视觉特征提供语义上下文或标签。我们可以将CNN特征激活与外部知识库中的节点相匹配。这支持与模型决策相关的特征的基于知识的解释。为了演示我们的方法，我们构建了两个单独的图。我们使用实体对齐方法将CNN中的特征节点与基于ConceptNet的知识图谱中的节点对齐。然后，我们测量CNN图节点到语义上有意义的知识库节点的接近度。我们的研究结果表明，在对齐的嵌入空间中，来自知识图谱的节点接近具有相似含义的CNN特征节点，这表明来自外部知识库的节点可以作为模型中特征的解释性语义参考。我们分析了各种图形构建方法，以改善我们的嵌入空间的结果。我们进一步证明，通过使用来自外部知识库的层次关系，我们可以基于视觉特征激活在嵌入空间中的CNN训练集之外定位新的看不见的类。这表明我们可以调整我们的方法，以基于CNN特征激活来识别看不见的类。我们展示的将CNN与外部知识库对齐的方法为推理和超越训练模型铺平了道路，并在未来适应可解释的模型和零样本学习。
2021-02-22 cs.AI cs.CV
EKTVQA: Generalized use of External Knowledge to empower Scene Text in Text-VQA
Computer Vision Center, Universitat Aut\` o noma de Barcelona, Bellaterra (Barcelona)
Text-VQA的开放式问答任务通常需要阅读和推理图像中很少看到或完全看不到的场景文本内容。我们解决这个zero-shot性质的问题，提出了广泛使用的外部知识，以增加我们的理解场景文本。我们设计了一个框架来提取，验证和推理知识，使用标准的多模态Transformer的视觉语言理解任务。通过实证证据和定性结果，我们展示了外部知识如何突出实例提示，从而帮助处理训练数据偏差，提高答案实体类型的正确性，并检测多词命名实体。我们生成的结果相当于国家的最先进的三个公开可用的数据集，类似的上游OCR系统和训练数据的约束下。
2022-07-15 cs.CV cs.MM
Food recognition and recipe analysis: integrating visual content, context and external knowledge
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所中国科学院智能信息处理重点实验室）
食物在我们个人和社会生活中的核心作用，再加上最近的技术进步，激发了人们对有助于更好地监测饮食习惯以及探索和检索食物相关信息的应用程序越来越感兴趣。我们回顾视觉内容，上下文和外部知识可以有效地集成到面向食品的应用程序，特别注重食谱分析和检索，食品推荐，和餐厅的背景下，作为新兴的方向。
2018-01-22 cs.CV cs.MM
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
视觉问答（VQA）在其理想的形式，让我们研究在视觉和语言的联合空间的推理，并作为一个代理的人工智能任务的场景理解。然而，到目前为止，大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上，这些问题不需要超出图像内容的推理或知识。在本文中，我们解决了基于知识的视觉问答的任务，并提供了一个基准，称为OK-VQA，其中的图像内容是不足以回答的问题，鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14，000个需要外部知识才能回答的问题。我们表明，在这种新的设置中，最先进的VQA模型的性能急剧下降。我们的分析表明，我们的基于知识的VQA任务是多样的，困难的，和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
Generating image captions with external encyclopedic knowledge
Utrecht University（乌得勒支大学）
准确地报告图像中描绘了什么对象在很大程度上是自动字幕生成中解决的问题。在实现真正人性化字幕的道路上，下一个巨大的挑战是能够将图像的背景和相关的现实世界知识结合起来。我们通过创建一个端到端的字幕生成系统来解决这一挑战，该系统广泛使用特定于图像的字幕数据。我们的方法包括一种新的方式，使用图像位置来识别相关的开放域的事实在外部知识库，其随后的集成到字幕管道在编码和解码阶段。我们的系统在一个新的数据集上进行了训练和测试，该数据集具有自然产生的知识丰富的字幕，并在多个基线上实现了显着的改进。我们的经验表明，我们的方法是有效的生成上下文的字幕与pedic知识，这是事实上准确和相关的图像。
2022-10-10 cs.CL cs.CV
Exploring External Knowledge for Accurate modeling of Visual and Language Problems
Stony Brook University（石溪大学）
人工智能（AI）及其应用的兴趣在过去几年中出现了前所未有的增长。这一成功可以部分归功于人工智能子领域的深度神经网络的进步，如计算机视觉（CV）和自然语言处理（NLP）。本论文的研究重点是视觉和语言理解，这涉及到许多具有挑战性的任务，即，分类、检测、分割、机器翻译和字幕等。解决这些问题的现有方法通常只涉及两个部分：源数据和目标标签，这是相当不够的，特别是当数据集很小时。同时，许多外部工具或资源可以提供额外的有用信息（外部知识），有助于提高这些方法的性能。例如，检测模型已经被应用于提供比用于图像描述模型的最新ResNet更好的对象特征。受此启发，我们开发了一种方法，首先提取外部知识，然后将其与原始模型集成。外部知识必须从数据集中提取，或者可以直接来自外部，例如，语法规则或场景图。我们将这种方法应用于不同的人工智能任务，包括机器翻译和图像描述，并大幅改进了原始的最先进的模型。
2023-01-27 cs.CL cs.CV
