Saliency map using features derived from spiking neural networks of primate visual cortex
University of New Hampshire(新罕布什尔大学)
我们提出了一个框架的启发,生物视觉系统产生显着地图的数字图像。使用用于视觉皮层中专门用于颜色和方向感知的区域的感受野的众所周知的计算模型。为了对这些区域之间的连接进行建模,我们使用了CARLsim库,这是一个脉冲神经网络(SNN)模拟器。由CARLsim生成的尖峰,然后作为提取的特征和输入到我们的显着性检测算法。这种新的显着性检测方法的描述和应用到基准图像。
2022-05-02 cs.CV
Saliency-Guided Attention Network for Image-Sentence Matching
Tianjin University(天津大学);University of Warwick(华威大学)
本文研究了图像和句子匹配的任务,其中学习适当的表示在多模态数据似乎是主要的挑战。与以前的方法,主要部署对称的架构来表示这两种方式,我们提出了显着性引导的注意力网络(SAN),不对称地采用视觉和文本的注意力模块来学习视觉和语言之间交织的细粒度的相关性。提出的SAN主要包括三个部分:显著性检测器,显著性加权视觉注意(SVA)模块,和显著性引导的文本注意(STA)模块。具体而言,显著性检测器提供视觉显著性信息作为两个注意模块的指导。SVA的目的是利用显着性信息的优势,以提高视觉表征的歧视。STA通过融合来自SVA的视觉信息和文本信息作为多模态引导,学习对视觉线索高度敏感的区分性文本表示。大量的实验表明,SAN可以大大提高基准Flickr 30 K和MSCOCO数据集上的最先进的结果。
2021-04-30 cs.CV
Visual Saliency Maps Can Apply to Facial Expression Recognition
Australian National University(澳大利亚国立大学);Sun Yat-sen University(中山大学);DATA61, CSIRO(联邦科学与工业研究组织数据61所)
人眼在不同的认知活动中集中不同的面部区域。我们研究利用面部视觉显着性图来分类不同的面部表情到不同的情绪。我们的实验结果表明,我们的新方法,仅使用面部显着图可以实现下降的准确率为65%,远远高于$1/7$的机会水平。此外,我们的方法是半监督,即,我们的面部显著性图是从一般显著性预测算法生成的,该算法不是为面部图像明确设计的。我们还发现,使用显着性图的每个情感类的分类精度与人脸图像产生的精度表现出很强的正相关性。我们的工作意味着人类可能会看不同的面部区域,以感知不同的情绪。
2018-11-12 cs.CV
Amplify What You Gaze At: Target Saliency Boosting in Text-to-Image Generation
Tongji University(同济大学);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
本文提出目标显著性增强任务及 GazeME 框架,通过可学习标记令牌和显著性感知激活策略,在无需视觉先验的情况下提升文本到图像生成中目标对象的视觉显著性,同时保持语义对齐和图像质量。
2026-09-28 cs.CV
Can Image Retrieval help Visual Saliency Detection?
Dalian University of Technology(大连理工大学)
我们提出了一种新的图像检索框架,视觉显著性检测使用的信息包含在限界框注释相似的图像的显着对象。对于每个测试图像,我们训练一个自定义的SVM从类似的示例图像来预测其对象的建议的显着值,并生成一个外部显着图(ES)通过聚合的区域分数。为了克服由训练数据集的大小所引起的限制,我们还提出了一个内部优化模块,该模块通过测量测试图像的低级别对比度信息来计算内部显着图(IS)。由于ES和IS这两种映射具有互补性,因此我们采用加权组合的方法进一步提高检测性能。在几个具有挑战性的数据集上的实验结果表明,该算法的性能优于国家的最先进的方法。
2017-09-24 cs.CV
A study of parameters affecting visual saliency assessment
University of Mons (UMONS)(蒙斯大学);Faculty of Engineering (FPMs)(工程学院)
自21世纪初以来,计算视觉显着性一直是一个非常活跃的研究领域。每年,越来越多的新模型在主要的计算机视觉会议上发表。如今,最大的挑战之一是找到一种方法来公平地评估所有这些模型。在本文中,提出了一个新的框架来评估模型的视觉显着性。本评价分为三个实验,导致一个新的评价框架的命题。每个实验都基于一个基本问题:1)显着性评估有两个基本事实:眼睛注视和手动分割的显着区域之间的差异是什么?2)显著区域的特性:例如,大、中、小显著区域对显著性模型的难度不同吗?和3)用于评估显着性模型的指标:将它们与PCA混合会有什么优势?这里使用统计分析来回答这三个问题。
2013-07-22 cs.CV
TDSal: Task-Based Top-Down Saliency Prediction Model
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);TED University(泰德大学)
研究任务驱动的视觉显著度预测问题,提出基于自然语言任务描述调节视觉注意力的模型,生成依赖任务的显著度图,经分析证明纳入任务语义可更忠实地建模目标导向视觉注意力。
2026-07-14 cs.CV
Visual Saliency Detection Based on Multiscale Deep CNN Features
Sun Yat-sen University(中山大学);the University of Hong Kong(香港大学)
视觉显著性是认知科学和计算科学(包括计算机视觉)中的一个基本问题。在本文中,我们发现可以从使用深度卷积神经网络(CNN)提取的多尺度特征中学习高质量的视觉显着性模型,这些神经网络在视觉识别任务中取得了许多成功。为了学习这种显着性模型,我们引入了一种神经网络架构,该架构在CNN之上具有完全连接的层,负责三种不同尺度的特征提取。我们的神经网络的倒数第二层已被证实是一个有区别的高级特征向量的显着性检测,我们称之为深对比度特征。为了生成更强大的功能,我们将手工制作的低级功能与深度对比度功能集成在一起。为了促进视觉显著性模型的进一步研究和评估,我们还构建了一个新的大型数据库,包含4447个具有挑战性的图像及其像素级显著性注释。实验结果表明,我们提出的方法是能够实现国家的最先进的性能在所有的公共基准,提高F-措施分别为6.12%和10.0%的DUT-OMRON数据集和我们的新数据集(HKU-IS),并降低9%和35.3%的平均绝对误差分别在这两个数据集。
2016-09-07 cs.CV
A Learning-Based Visual Saliency Fusion Model for High Dynamic Range Video (LBVS-HDR)
University of British Columbia(不列颠哥伦比亚大学);TELUS Communications Incorporation(TELUS通信公司)
在过去的十年中,标准动态范围(SDR)视频的显著性预测已经得到了很好的探索。然而,有限的研究可用于高动态范围(HDR)视觉注意模型(VAM)。考虑到HDR内容在动态范围和色域方面的特性与SDR内容的特性完全不同,识别HDR视频的不同显著性属性对于设计VAM的重要性并理解如何组合这些特征是至关重要的。为此,我们提出了一种基于学习的视觉显着性融合方法的HDR内容(LVBS-HDR),结合各种视觉显着性特征。在我们的方法中,各种显着性地图提取HDR数据,然后融合显着性地图,随机森林算法是用来训练一个模型的基础上收集的数据,从眼睛跟踪实验。性能评估证明了所提出的融合方法相对于其他现有的融合方法的优越性。
2018-03-13 cs.CV
ViNet: Pushing the limits of Visual Modality for Audio-Visual Saliency Prediction
International Institute for Information Technology, Hyderabad(海得拉巴国际信息技术学院);University of Canberra(堪培拉大学)
我们提出了ViNet架构的视听显着性预测。ViNet是一个完全卷积的编码器-解码器架构。编码器使用来自经过动作识别训练的网络的视觉特征,解码器通过三线性插值和3D卷积推断显着图,结合来自多个层次的特征。ViNet的整体架构在概念上很简单;它是因果关系的,并且是实时运行的(60 fps)。ViNet不使用音频作为输入,并且在九个不同的数据集(三个仅视觉数据集和六个视听数据集)上仍然优于最先进的视听显着性预测模型。ViNet在AVE数据集的CC、SIM和AUC指标上也超过了人类的表现,据我们所知,它是第一个这样做的网络。我们还探讨了ViNet架构的变化,通过增加音频功能到解码器。令我们惊讶的是,经过充分的训练,网络对输入音频变得不可知,并且无论输入如何都提供相同的输出。有趣的是,我们也观察到类似的行为,在以前的国家的最先进的模型\cite{tsiami2020stavis}的视听显着性预测。我们的研究结果与以前基于深度学习的视听显着性预测的工作形成对比,为未来以更有效的方式结合音频的探索提供了一条清晰的途径。代码和预训练模型可在https://github.com/samyak0210/ViNet上获得。
2021-08-07 cs.CV
DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction
University of Tehran(德黑兰大学)
针对视听显著性预测中听觉线索融合难、计算成本高的问题,提出DTFSal框架,通过多尺度视觉编码器、LTEB、DLTFB模块及AMFB融合视听特征,在六个基准上实现SOTA性能且保持计算效率。
2025-04-16 cs.CV
Multi-scale Visual Attention & Saliency Modelling with Decision Theory
The University of Nottingham, Malaysia Campus(诺丁汉大学马来西亚校区);Edith Cowan University(伊迪斯科文大学);The University of Nottingham, UK Campus(诺丁汉大学英国校区);Sunway University(双威大学)
自下而上显著性是人类早期的视觉处理,其表现类似于兴趣和零假设的二元分类。它的鉴别力,图像特征和类分布的互信息,是由著名的中心-环绕理论显着值密切相关。由于分类准确性在很大程度上取决于窗口大小,因此判别显着性(功效)根据采样尺度而变化。多尺度框架下的鉴别力估计需要结合小波变换,利用隐马尔可夫树(HMT)模型估计相邻两尺度(中心-环绕窗口)的统计差异。最后,多尺度判别显著性(MDIS)地图的最大信息规则相结合,合成一个最终的显着图。所有MDIS地图均使用标准定量工具(NSS、LCC、AUC)在N.Bruce的数据库上进行评估,使用地面实况数据作为眼动跟踪位置;以及通过对个体病例进行目视检查进行定性评估。为了评估MDIS对著名的AIM显着性方法,模拟是必要的,并详细描述了几个有趣的结论,得出进一步的研究方向。
2013-02-04 cs.CV
Graphical Perception of Saliency-based Model Explanations
Vanderbilt University(范德堡大学)
本文通过对齐评估实验考察可视化设计、对齐类型和显著性图质量如何影响人类对视觉识别模型显著性解释的感知。
2024-06-11 cs.CV
Review of Visual Saliency Detection with Comprehensive Information
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Inception Institute of Artificial Intelligence(Inception人工智能研究所);School of Computer and Control Engineering, Nankai University(南开大学计算机与控制工程学院);School of Computer Science Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer and Control Engineering, University of Chinese Academy of Sciences(中国科学院大学计算机与控制工程学院)
视觉显著性检测模型模拟了人类视觉系统对场景的感知,在许多视觉任务中得到了广泛的应用。随着采集技术的发展,更全面的信息,如深度线索,图像间的对应关系,或时间关系,可用于扩展图像显著性检测RGBD显著性检测,共显著性检测,或视频显著性检测。RGBD显著性检测模型主要是结合深度信息从RGBD图像中提取显著区域。共显著性检测模型引入图像间的对应关系约束来发现图像组中的共同显著对象。视频显著性检测模型的目标是定位视频序列中与运动相关的显著对象,该模型综合考虑了运动线索和时空约束。本文综述了显著性检测算法的研究现状,总结了现有显著性检测算法存在的主要问题,并对存在的问题和未来的研究方向进行了展望。此外,本文还简要介绍了显著性检测的评价数据集和量化指标,并对不同显著性检测方法进行了实验分析和评价。
2018-09-14 cs.CV
Understanding and Visualizing Deep Visual Saliency Models
University of Exeter(埃克塞特大学);Aalto University(阿尔托大学);MarkableAI(MarkableAI公司)
最近,数据驱动的深度显着性模型已经取得了很高的性能,并且超过了经典的显着性模型,如MIT300和SALICON等数据集的结果所证明的那样。然而,这些模型的性能与人类之间的基线之间仍然存在很大的差距。一些悬而未决的问题包括这些模型学到了什么,它们是如何失败的,失败在哪里,以及如何改进它们。本文试图通过分析位于深度显着性模型中间层的单个神经元学习到的表征来回答这些问题。为此,我们遵循现有的深度显着性模型的步骤,即借用对象识别的预训练模型来编码视觉特征,并学习解码器来推断显着性。我们考虑两种情况,当编码器被用作固定的特征提取器时,当它被微调时,并比较网络的内部表示。为了研究学习到的表示如何依赖于任务,我们使用相同的图像集微调相同的网络,但用于两个不同的任务:显着性预测与场景分类。我们的分析表明:(1)部分视觉区域(例如,头部,文本,符号,车辆)已经编码在预先训练用于对象识别的网络的各个层中,2)使用现代数据集,我们发现微调预训练模型用于显着性预测使它们有利于某些类别(例如,超过其他人)(例如,文本),3)尽管显著性的深度模型在自然图像上优于经典模型,对于合成刺激,情况正好相反(例如弹出搜索阵列),人类和数据驱动的显着性模型之间的显着差异的证据,以及4)我们确认,在微调之后,内部表示的变化主要是由于任务而不是数据中的域移位。
2019-04-03 cs.CV
CASP-Net: Rethinking Video Saliency Prediction from an Audio-VisualConsistency Perceptual Perspective
Northwestern Polytechnical University(西北工业大学);Ningbo Institute of Northwestern Polytechnical University(西北工业大学宁波研究院);Nanchang University(南昌大学);Shanghai Jiao Tong University(上海交通大学)
视频显著性预测(VSP)通过对音频流的处理,模仿人脑的选择性注意力机制。通过关注联合听觉和视觉信息的好处,大多数VSP方法能够利用视觉和听觉模态之间的语义相关性,但忽略了由于视听固有的时间不一致性而产生的负面影响。受多感官信息的生物不一致性校正机制的启发,提出了一种具有一致性感知的视听显著性预测网络(CASP-Net),该网络综合考虑了视听语义交互和一致性感知。除了一个两个流编码器之间的视频帧和相应的声源优雅的关联,一个新的一致性感知预测编码也被设计来提高音频和视觉表示迭代的一致性。为了进一步聚合多尺度视听信息,引入显著性解码器用于最终显著性图生成。大量的实验表明,所提出的CASP-Net优于其他国家的最先进的方法在六个具有挑战性的视听眼动跟踪数据集。有关我们系统的演示,请参阅我们的项目网页。
2023-03-11 cs.CV
Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector
Arizona State University(亚利桑那州立大学)
视觉显着性,它预测的领域,最吸引视觉注意力的区域,吸引了大量的研究人员的兴趣。它已经被用于几个视觉任务,例如,图像分类、目标检测、前景分割。近年来,基于频谱分析的视觉显著性方法由于其简单和良好的性能而引起了人们的极大兴趣,其中图像的相位信息被用来构建显著性图。在本文中,我们提出了一种新的方法来检测时空视觉显著性的相位谱的基础上的视频,这是易于实现和计算效率。利用该算法,我们还研究了时空显著性如何应用于两个重要的视觉任务,异常检测和时空兴趣点检测。所提出的算法进行了评估,几个常用的数据集比较,从文献中的最先进的方法。实验结果表明,该方法能够有效地检测时空视觉显著性,并应用于上述视觉任务
2015-03-24 cs.CV
SalGaze: Personalizing Gaze Estimation Using Visual Saliency
Duke University(杜克大学)
传统的注视估计方法通常需要明确的用户校准来实现高精度。这个过程是繁琐的,并且当存在诸如照明和姿势的因素的变化时,经常需要重新校准。为了解决这一挑战,我们引入SalGaze,一个框架,利用视觉内容中的显着性信息,透明地适应用户的凝视估计算法,而无需明确的用户校准。我们设计了一种算法,将显着图转换为可区分的损失图,可用于基于CNN的模型的优化。SalGaze还能够使用统一的框架使用隐式视频显著性校准数据来大大增强标准点校准数据。我们使用我们的技术对现有方法的准确性提高了24%以上。
2019-10-23 cs.CV
A Dilated Inception Network for Visual Saliency Prediction
Nanyang Technological University(南洋理工大学);Ningbo University(宁波大学)
最近,随着深度卷积神经网络(DCNN)的出现,视觉显著性预测研究的进展令人印象深刻。接近下一个改进的一个可能的方向是在DCNN架构中使用计算友好的模块来充分表征多尺度显著性影响因素。在这项工作中,我们提出了一个端到端的扩张初始网络(DINet)的视觉显着性预测。它有效地捕获多尺度上下文特征,具有非常有限的额外参数。我们提出的扩张起始模块(DIM)使用具有不同扩张率的并行扩张卷积,而不是使用具有不同内核大小的并行标准卷积作为现有的起始模块,这可以显着降低计算负荷,同时丰富特征图中感受野的多样性。此外,我们的显着性模型的性能进一步提高,通过使用一组基于线性归一化的概率分布距离度量作为损失函数。因此,我们可以将显著性预测公式化为全局显著性推断的概率分布预测任务,而不是典型的逐像素回归问题。在几个具有挑战性的显着性基准数据集上的实验结果表明,我们的DINet与建议的损失函数可以实现最先进的性能与更短的推理时间。
2019-05-09 cs.CV
Dynamical optical flow of saliency maps for predicting visual attention
University of Vienna(维也纳大学);University of Göttingen(哥廷根大学)
显着图用于理解人类的注意力和视觉固定。然而,虽然对于静态图像已经很好地建立,但是对于如何计算动态场景的显著图还没有普遍的一致意见。在本文中,我们提出了一个数学上严格的方法来解决这个问题,包括静态显着图的每个视频帧的计算的光流。考虑用于计算光流的静态显著图允许克服孔径问题。我们的方法能够解释在对标准方法提出挑战的情况下的人类注视行为,例如当注视对象在遮挡后消失并在几帧后重新出现时。此外,我们定量地比较我们的模型与替代解决方案,使用一个大的眼动追踪数据集。总之,我们的研究结果表明,评估光流信息在一系列的显着性地图提供了一个高度准确和有用的帐户人类在动态场景中的外显注意。
2016-06-23 cs.CV
Personalized Saliency and its Prediction
University of Delaware(特拉华大学)
到目前为止,几乎所有现有的视觉显着性模型都专注于预测所有观察者的通用显着性图。然而心理学研究表明,在特定的环境下,不同观察者的视觉注意力会有很大的差异,尤其是在由多个显著物体组成的场景中。为了研究这种异质性的视觉注意模式,我们首先构建了一个个性化的显着性数据集,并探讨视觉注意,个人偏好和图像内容之间的相关性。具体来说,我们建议将个性化显着性图(简称PSM)分解为通用显着性图(简称USM)可预测的现有显着性检测模型和一个新的差异图,跨用户的个性化显着性的特点。然后,我们提出了两种解决方案,预测这样的差异地图,即,多任务卷积神经网络(CNN)框架和具有个人特定信息编码滤波器的扩展CNN(CNN-PIEF)。大量的实验结果表明,我们的模型PSM预测的有效性,以及他们的泛化能力看不见的观察员。
2018-06-16 cs.CV
Visual Saliency Based on Scale-Space Analysis in the Frequency Domain
Institute of Automation, National University of Defense Technology(国防科技大学自动化研究所);Centre for Intelligent Machines, McGill University(麦吉尔大学智能机器中心)
我们从三个角度解决视觉显着性的问题。首先,我们认为显着性检测作为一个频域分析问题。其次,我们通过采用{ \it非显著性}的概念来实现这一点。第三,我们同时考虑不同大小的显著区域的检测。本文提出了一种新的自下而上的范式来检测视觉显著性,其特点是尺度空间分析的幅度谱的自然图像。我们表明,卷积的{ \it图像幅度谱}与低通高斯内核的适当规模是等价的,这样的图像显着性检测器。显著图是通过使用原始相位和幅度谱重建2-D信号来获得的,在通过最小化显著图熵选择的尺度上进行滤波。超复数傅立叶变换在频域中执行分析。使用现有的数据库,我们实验证明,该模型可以预测人类的固定数据。我们还介绍了一个新的图像数据库,并使用它来表明,显着性检测器可以突出小的和大的显着区域,以及抑制在杂乱的图像重复干扰。此外,我们表明,它能够预测人们关注的显著区域。
2016-05-06 cs.CV
Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
本文讨论了使用深度卷积网络(ConvNets)学习的图像分类模型的可视化。我们考虑两种可视化技术,基于计算相对于输入图像的类分数的梯度。第一个生成图像,其最大化类得分[Erhan等人,2009],从而可视化类的概念,由ConvNet捕获。第二种技术计算特定于给定图像和类的类显著性图。我们表明,这样的地图可以用于弱监督对象分割使用分类ConvNets。最后,我们建立了基于梯度的ConvNet可视化方法与去卷积网络之间的联系[Zeiler et al.,2013年]。
2014-04-19 cs.CV
Relevance-guided Audio Visual Fusion for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology(南京信息工程大学计算机科学学院);Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology(南京信息工程大学江苏省大气环境与装备技术协同创新中心);College of Computer and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
提出相关性引导的视听显著性预测网络AVRSP,通过RAVF模块动态调整音频特征保留,并利用MS和MRG模块优化多尺度视觉特征融合,在六个数据集上取得有竞争力的性能。
2024-11-18 cs.CV
Visual Saliency Prediction Using a Mixture of Deep Neural Networks
Arizona State University(亚利桑那州立大学)
视觉显着性模型最近开始结合深度学习,以实现比以前的无监督方法更大的预测能力。然而,大多数现有的模型预测显着性使用的本地机制仅限于网络的感受野。我们提出了一个模型,除了局部信息收集的卷积神经网络的全局场景语义信息。我们的模型是作为一个混合专家模型制定的。每个专家网络都经过训练,以预测一组密切相关的图像的显着性。最终的显着图被计算为专家网络输出的加权混合,权重由单独的门控网络确定。该门控网络由全局场景信息指导以预测权重。专家网络和选通网络以端到端的方式同时训练。我们表明,我们的混合配方导致性能的改善,否则相同的非混合模型,不纳入全球场景信息。
2017-02-01 cs.CV
What Do Deep Saliency Models Learn about Visual Attention?
University of Minnesota(明尼苏达大学)
本文提出一种可解释分析框架,分解深度显著性模型的隐式特征为语义基,量化其对预测的贡献,并应用于自闭症、情绪刺激等场景,揭示模型学到的注意力机制。
2023-10-14 cs.CV
A Neurodynamic model of Saliency prediction in V1
Computer Vision Center, Universitat Autonoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
初级视皮层(V1)的横向连接长期以来被认为是视觉加工机制的重要组成部分,如亮度诱导、色彩诱导、视觉不适和自下而上的视觉注意(也称为显著性)。已经开发了许多计算模型来独立地预测这些和其他视觉过程,但是没有计算模型能够同时再现所有这些过程。在这项工作中,我们表明,一个生物学上合理的计算模型的横向相互作用的V1是能够同时预测显着性和所有上述的视觉过程。我们的模型(NSWAM)的架构是基于Pennachio的V1的横向连接的神经动力学模型。它被定义为放电率神经元的网络,对亮度,颜色,方向和尺度等视觉特征敏感。我们使用来自多个眼动追踪数据集的图像测试了NSWAM显着性预测。我们表明,预测的准确性,使用混洗指标,通过我们的架构获得的是类似于其他国家的最先进的计算方法,特别是与合成图像(CAT 2000-模式和SID 4VAM),主要包含低级别的功能。此外,我们的表现优于其他生物启发的显着性模型,这些模型专门设计用于重现显着性。因此,我们证明了我们的横向连接的生物学上合理的模型可以同时解释V1中存在的不同视觉过程(无需应用任何类型的训练或优化,并对所有视觉过程保持相同的参数化)。这对于定义初级视觉皮层的统一结构是有用的。
2020-09-18 cs.CV
Audio-visual Saliency for Omnidirectional Videos
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所)
针对全向视频显著性预测研究多忽略音频影响且缺乏相关数据集的问题,本文构建了大规模视听显著性数据集AVS-ODV,分析了不同音频模态下的视觉注意行为,对比了现有模型性能并建立新基准,将公开资源助力后续研究。
2023-11-09 cs.CV
STAViS: Spatio-Temporal AudioVisual Saliency Network
National Technical University of Athens(雅典国立技术大学)
我们引入STAViS,时空视听显着性网络,结合时空视觉和听觉信息,以有效地解决视频中的显着性估计的问题。我们的方法采用了一个单一的网络,结合视觉显着性和听觉功能,并学会适当地定位声源,并融合两个显着性,以获得最终的显着图。该网络经过端到端的设计和训练,并在六个不同的数据库上进行了评估,这些数据库包含各种视频的视听眼动跟踪数据。我们将我们的方法与8种不同的最先进的视觉显着性模型进行比较。跨数据库的评估结果表明,在大多数情况下,我们的STAViS模型优于我们的视觉变体以及其他最先进的模型。此外,它在所有数据库中实现的一贯良好的性能表明,它适用于“在野外”估计显着性。该代码可在https://github.com/atsiami/STAViS上获得。
2020-06-14 cs.CV
Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations
Emory University(埃默里大学);Stanford University(斯坦福大学);University of Michigan(密歇根大学)
Saliency-Bench是一个全面的视觉解释评估基准测试,通过多个数据集和标准流程评估显著性方法的解释质量。
2025-03-03 cs.CV
Top-down Visual Saliency Guided by Captions
Boston University(波士顿大学);Adobe Research(Adobe研究院)
神经图像/视频描述模型可以生成准确的描述,但它们将区域映射到单词的内部过程是一个黑盒,因此难以解释。自上而下的神经显着性方法可以找到重要的区域,给出了一个高层次的语义任务,如对象分类,但不能使用一个自然语言句子作为自上而下的输入任务。在本文中,我们提出了字幕引导的视觉显着性,以暴露现代编码器-解码器网络中的区域到单词的映射,并证明它是从字幕训练数据中隐式学习的,没有任何像素级注释。我们的方法可以为预测的字幕和任意查询语句生成空间或时空热图。它恢复显着性而无需引入显式注意层的开销,并且可以用于分析各种现有的模型架构并改进其设计。对大规模视频和图像数据集的评估表明,我们的方法实现了与现有方法相当的字幕性能,同时提供了更准确的显着性热图。我们的代码可在visionlearninggroup.github.io/caption-guided-saliency/上获得。
2017-04-12 cs.CV
Visual saliency estimation by integrating features using multiple kernel learning
Hacettepe University(哈杰泰佩大学)
在过去的几十年里,通过不同的计算模型预测人类在哪里看图像已经取得了显著的成就。然而,如何确定不同的视觉特征对整体显著性的贡献仍然是一个悬而未决的问题。为了克服这个问题,最近一类模型将显著性估计公式化为监督学习问题,并相应地应用机器学习技术。在本文中,我们还解决了这个具有挑战性的问题,并提出使用多核学习(MKL)来结合来自不同特征维度的信息,并在中间级别进行整合。此外,我们建议使用最近提出的对象检测器的滤波器组的响应,称为对象库,作为额外的语义高级功能。在这里,我们表明,我们的MKL为基础的框架,以及提出的对象特定的功能提供了最先进的性能相比,SVM或AdaBoost为基础的显着性模型。
2013-07-22 cs.CV
SalGAN: Visual Saliency Prediction with Generative Adversarial Networks
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Facebook AML;Insight Center for Data Analytics(Insight数据分析中心);Dublin City University(都柏林城市大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们介绍了SalGAN,这是一种深度卷积神经网络,用于通过对抗性示例进行训练的视觉显著性预测。该网络的第一阶段由一个生成器模型组成,其权重通过反向传播来学习,该反向传播是从显着图的下采样版本上的二进制交叉熵(BCE)损失计算的。由此产生的预测是由一个神经网络进行处理的,该神经网络经过训练以解决由生成阶段生成的显着性图和地面实况图之间的二进制分类任务。我们的实验展示了对抗性训练如何在与广泛使用的损失函数(如BCE)相结合时,在不同的指标上达到最先进的性能。我们的结果可以通过https://imatge-upc.github.io/saliency-salgan-2017/上的源代码和训练模型复制。
2018-07-01 cs.CV
Gaze Distribution Analysis and Saliency Prediction Across Age Groups
The University of Tokyo(东京大学);Université Paris Descartes(巴黎笛卡尔大学)
人类视觉系统的知识有助于开发更好的视觉注意计算模型。已经开发出最先进的模型来模仿年轻人的视觉注意力系统,然而,这些模型在很大程度上忽略了随着年龄的变化而发生的变化。在本文中,我们研究了视觉场景处理如何随着年龄的变化,我们提出了一个年龄适应的框架,有助于开发一个计算模型,可以预测不同年龄组的显着性。我们的分析揭示了观察者的探索性如何随年龄而变化,一个年龄组的显着性图与来自相同或不同年龄组的观察者的注视点有多一致,以及年龄如何影响中心偏差。我们分析了属于四个年龄组的82名观察者在探索视觉场景时的眼动行为。根据显着图的熵量化探索性,并使用曲线下面积(AUC)指标量化一致性分析和中心偏倚。这些结果被用来开发年龄适应显着性模型。我们的研究结果表明,建议的年龄适应显着性模型优于现有的显着性模型在预测跨年龄组的感兴趣区域。
2017-05-31 cs.CV
Learning to Predict Salient Faces: A Novel Visual-Audio Saliency Model
National Laboratory of Pattern Recognition, Institution of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence (AI), University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)(中国科学院脑科学与智能技术卓越创新中心);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);MarkableAI Inc.(MarkableAI公司)
近来,视频流占据了互联网流量的很大比例,其中大部分包含人脸。因此,有必要预测多人脸视频的显著性,这可以为许多基于内容的应用提供注意力提示。然而,大多数的多人脸显著性预测工作只考虑视觉信息,而忽略了音频,这与自然的场景是不一致的。一些行为研究已经证实,声音会影响人类的注意力,特别是在多人视频中的语音话轮转换过程中。在本文中,我们深入研究这种影响,通过建立一个大规模的眼动跟踪数据库的多人脸视频在视听条件(MVVA)。受我们的研究结果的启发,我们提出了一种新的多模态视频显着性模型,包括三个分支:视觉,音频和人脸。视觉分支将RGB帧作为输入,并将其编码为视觉特征图。音频和面部分支分别对音频信号和多个裁剪面部进行编码。引入了一个融合模块来整合来自三种模态的信息,并生成最终的显著性图。实验结果表明,该方法优于11个国家的最先进的显着性预测工作。它更接近人类的多模态注意力。
2021-03-29 cs.CV
Visual Saliency-Guided Channel Pruning for Deep Visual Detectors in Autonomous Driving
Bowling Green State University(鲍灵格林州立大学)
深度神经网络(DNN)修剪已经成为部署在资源受限设备上的事实上的组件,因为它可以减少推理期间的存储器需求和计算成本。特别是,通道修剪由于其结构化的性质和直接节省一般硬件而越来越受欢迎。然而,大多数现有的修剪方法利用不直接相关的任务效用的重要性措施。此外,在文献中很少关注视觉检测模型。为了填补这些空白,我们提出了一种新的基于梯度的视觉检测显着性测度,并使用它来指导我们的通道修剪。在KITTI和COCO流量数据集上的实验证明了我们的修剪方法相对于最先进的竞争方法的有效性和优越性。它甚至可以用比原始模型更少的参数实现更好的性能。我们的修剪在处理小规模对象方面也展示了巨大的潜力。
2023-03-04 cs.CV
Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos
Beihang University(北京航空航天大学);National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institution of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Primer.AI Inc.(Primer.AI公司)
视频和音频事件同时发生,两者都吸引注意力。然而,现有的显著性预测方法大多忽略了音频的影响,只考虑视觉模态。在本文中,我们提出了一个多任务学习方法的视听显着性预测和声源定位的多人脸视频,利用视觉,音频和人脸信息。具体来说,我们首先介绍了一个大规模的数据库的多人脸视频在视听条件(MVVA),包含眼睛跟踪数据和声源注释。使用这个数据库,我们发现,声音影响人类的注意,和conversly注意提供了一个线索,以确定声源的多人脸视频。在此基础上,本文提出了一种视听多任务网络(VAM-Net)来预测显著性和定位声源。VAM-Net由三个分支组成,分别对应于视觉、听觉和面部模态。视觉分支有一个双流体系结构来捕获空间和时间信息。面部和音频分支分别编码音频信号和面部。最后,一个时空多模态图(STMG)被构造来模拟多个面孔之间的交互。通过对这些分支的联合优化,利用了显著性预测和声源定位任务之间的内在相关性,使它们的性能得到了相互促进。实验表明,该方法优于12个国家的最先进的显着性预测方法,并取得了竞争力的声源定位结果。
2021-11-05 cs.CV
Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
视觉显着性模式是除了被解析的图像之外的各种因素的结果,然而现有的方法忽略了这些因素。为了解决这一限制,我们提出了一种新的显着性估计模型,该模型利用了条件生成对抗网络的语义建模能力,以及捕捉受试者的行为模式和任务相关因素的记忆体系结构。我们的贡献旨在弥合现代深度学习架构中自下而上的特征学习能力与传统的自上而下的手工制作的基于任务特定显着性建模的方法之间的差距。所提出的框架的条件性质使我们能够一起学习上下文语义和不同任务之间的关系,而不是为每个任务单独学习它们。我们的研究不仅揭示了生成对抗网络的一个新的应用领域,而且强调了任务特定显着性建模的重要性,并证明了通过增强内存架构完全捕获这种上下文的可行性。
2018-03-09 cs.CV
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering(L. D. 工程学院)
我们开发了一个卷积神经网络,用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调,该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练,以适应两个广泛使用的面部表情数据集- CFEE和RaFD,当独立训练和测试时,测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试,结果的泛化是显而易见的。此外,使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积,并将其馈送到面部表情识别CNN。在最一般化的实验中,我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
ViS-HuD: Using Visual Saliency to Improve Human Detection with Convolutional Neural Networks
L. D. College of Engineering(L. D. 工程学院);Dosepack LLC(Dosepack 有限责任公司);Meditab Software Inc.(Meditab 软件公司);School of Engineering and Applied Science (SEAS), Ahmedabad University(艾哈迈达巴德大学工程与应用科学学院)
本文提出了一种使用深度学习来改进静止图像中的人体检测的技术。我们的新方法,ViS-HuD,从图像中计算视觉显着性图。然后将输入图像乘以映射,并将乘积馈送到卷积神经网络(CNN),该卷积神经网络检测图像中的人。使用ML-Net生成视觉显着图,使用DetectNet进行人体检测。ML-Net在SALICON上进行预训练,而DetectNet在ImageNet数据库上进行预训练,分别用于视觉显著性检测和图像分类。ViS-HuD的CNN在两个具有挑战性的数据库上进行了训练- Penn Fudan和TUD-Brussels Benchmark。实验结果表明,该方法在Penn Fudan数据集上达到了最先进的性能,人体检测准确率为91.4%,在TUDBussels基准测试中的平均误检率为53%。
2018-04-18 cs.CV
What Catches the Eye? Visualizing and Understanding Deep Saliency Models
Center for Research in Computer Vision(计算机视觉研究中心);University of Exeter(埃克塞特大学);University of Central Florida(中佛罗里达大学)
近年来,深度卷积神经网络已经证明了固视预测的高性能。然而,他们如何实现这一点的探索较少,他们仍然是黑箱模型。在这里,我们试图揭示深层显着性模型的内部结构,并研究它们提取哪些特征用于固定预测。具体来说,我们使用一个简单而强大的架构,仅由一个CNN和一个单一的分辨率输入,结合一个新的损失函数的像素级固定预测在自由观看自然场景。我们表明,我们简单的方法是等同于或优于国家的最先进的复杂的显着性模型。此外,我们提出了一种与显着性模型评估指标相关的方法,用于可视化深层模型以进行固定预测。我们的方法揭示了固定预测的深层模型的内部表示,并提供证据表明,显着性,如人类所经历的,可能涉及高层次的语义知识,除了低层次的感知线索。我们的研究结果可以用来衡量当前显着性模型和人类观察者间模型之间的差距,并建立新的模型来缩小这一差距。
2018-03-22 cs.CV
Increasing Interpretability of Neural Networks By Approximating Human Visual Saliency
Nokia Bell Labs(诺基亚贝尔实验室)
本文提出将人类视觉显著性引入与主动学习相结合,在保持可解释性和性能提升的同时将人工标注数据减少80%,并在五个公开数据集和六种主动学习准则上验证了有效性。
2024-10-21 cs.CV
Saliency-Enhanced Robust Visual Tracking
Nokia Technologies(诺基亚技术)
基于离散相关滤波器(DCF)的跟踪器在视觉对象跟踪中已经显示出相当大的成功。这些跟踪器通常利用低到中级特征,例如梯度直方图(HoG)和卷积神经网络(CNN)的中间层激活。我们认为,包括语义上更高层次的信息跟踪功能可能会提供进一步的鲁棒性,具有挑战性的情况下,如视点的变化。深度显著目标检测是这种高级特征的一个示例,因为它利用语义信息来突出给定场景中的重要区域。在这项工作中,我们提出了一个改进的DCF为基础的跟踪器相结合的显着性和其他功能为基础的过滤器响应。该组合是利用基于显著性的滤波器响应上的自适应权重来执行的,该自适应权重是根据视觉显著性的时间一致性来自动选择的。我们表明,我们的方法始终提高了基线DCF为基础的跟踪器,特别是在具有挑战性的情况下,并执行优于国家的最先进的。我们改进的跟踪器运行在9.3帧每秒,引入一个小的计算负担超过基线,运行在11帧每秒。
2018-02-08 cs.CV
A Locally Weighted Fixation Density-Based Metric for Assessing the Quality of Visual Saliency Predictions
Arizona State University(亚利桑那州立大学)
在过去的十年中,随着人们对视觉注意力(VA)的关注,大量的计算视觉显著性方法在过去的几年中已经发展起来。这些模型传统上是通过使用性能评估指标来评估的,这些指标量化了预测的显着性和从人类观察者的眼动跟踪实验中获得的固定数据之间的匹配。虽然在文献中已经提出了相当数量的这样的度量,有显着的问题。在这项工作中,我们讨论了现有的度量通过说明性的例子中的缺点,并提出了一个新的度量,使用局部权重的固定密度的基础上,克服了这些缺陷。为了比较我们提出的指标在评估显着性预测的质量与其他现有的指标的性能,我们构建了一个地面实况主观数据库,其中显着性地图从17个不同的VA模型获得的评价由16个人类观察员在5点分类尺度上的视觉相似性与相应的地面实况固定密度图从眼动跟踪数据。通过将度量分数与人类主观评级相关联来评估度量。相关结果表明,该评价指标优于所有其他流行的现有指标。此外,构建的数据库和相应的主观评级提供了一个洞察到现有的度量和未来的度量更好地估计显着性预测的质量,并可以用作基准。
2017-08-01 cs.CV
Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn(帕德博恩大学)
基于区域的人工注意力构成了一个框架,生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而,对于许多后注意任务,例如识别或跟踪对象,单个片段是不够的。在这里,我们提出了一个显着性指导的方法,分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果,通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
Text-Audio-Visual-conditioned Diffusion Model for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology(信息科学与技术南京大学计算机科学学院);Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology(大气环境与设备技术江苏省协同创新中心);School of Computer Science and Informatics, Cardiff University(计算机科学与信息学院卡斯尔大学);Faculty of Information Technology and Communication Sciences, Tampere University(信息科技与通讯科学学院坦佩雷大学)
本文提出TAVDiff,一种文本-音频-视觉条件扩散模型,将视频显著性预测视为图像生成任务,通过解耦条件信息与时间步长的Saliency-DiT及SITR机制,在四个指标上超越现有方法。
2025-04-19 cs.CV
Dual Domain-Adversarial Learning for Audio-Visual Saliency Prediction
Xidian University(西安电子科技大学);Beijing Technology and Business University(北京工商大学);Xi’an Jiaotong University(西安交通大学);Zhejiang Lab(之江实验室);Northwestern Polytechnical University(西北工业大学);Renmin University of China(中国人民大学)
视觉和听觉信息都是确定视频中显著区域的重要信息。深度卷积神经网络(CNN)在处理视听显著性预测任务方面表现出强大的能力。由于拍摄场景、天气等多种因素的影响,源训练数据与目标测试数据之间往往存在一定的分布差异。域差异导致CNN模型在目标测试数据上的性能下降。本文对无监督的领域自适应问题进行了初步尝试。我们提出了一种双域对抗学习算法,以减轻源和目标数据之间的域差异。首先,建立一个特定的领域歧视分支,用于对齐听觉特征分布。然后,这些听觉特征融合到视觉特征,通过跨通道的自我注意模块。另一个领域判别分支的设计,以减少域差异的视觉特征和视听相关性所隐含的融合视听功能。在公共基准测试上的实验表明,该方法可以有效地缓解领域差异带来的性能下降。
2022-08-16 cs.CV
How is Visual Attention Influenced by Text Guidance? Database and Model
针对文本引导对视觉注意力的影响研究不足的问题,构建含1200组样本的SJTU-TIS数据库与基准,提出融合图文特征的TGSal显著性预测模型,性能优于现有最优模型。
2024-04-12 cs.CV
A Learning-Based Visual Saliency Prediction Model for Stereoscopic 3D Video (LBVS-3D)
University of British Columbia(不列颠哥伦比亚大学);TELUS Communications Inc.(研科通讯公司)
在过去的十年中,已经提出了许多用于2D图像和视频的计算显著性预测模型。考虑到人类视觉系统已经在自然的3D环境中进化,想要为3D内容设计视觉注意力模型是很自然的。现有的单眼显著性模型在应用于3D图像/视频内容时不能准确地预测注意区域,因为它们不包含深度信息。本文探讨了立体视频显着性预测,利用低层次的属性,如亮度,颜色,纹理,方向,运动和深度,以及高层次的线索,如脸,人,车辆,动物,文本和地平线。我们的模型从一个粗略的分割开始,量化了几个直观的观察结果,如视觉不适程度,深度不确定性,运动加速度,惊喜元素,显着区域的大小和紧凑性的影响,并强调场景中只有少数显着的对象。采用一种新的基于中央凹的图像区域之间的空间距离模型来考虑局部和全局特征计算。为了有效地融合我们的方法产生的显着性地图到一个单一的显着性地图,是高度相关的眼睛固定数据,一个随机森林为基础的算法。所提出的显着性模型的性能进行评估对眼动跟踪实验,其中涉及24个主题和61个捕获的立体视频的内部数据库的结果。我们的立体视频数据库以及眼动跟踪数据与本文一起公开。实验结果表明,提出的显著性预测方法相比,国家的最先进的方法取得了竞争力的性能。
2018-03-13 cs.CV
Long-term Visual Localization using Semantically Segmented Images
Chalmers University of Technology(查尔姆斯理工大学);Zenuity(Zenuity(泽努蒂))
鲁棒跨季节定位是自动驾驶车辆长期视觉导航的主要挑战之一。在本文中,我们利用最近的进展,语义分割的图像,即,其中每个像素被分配与其表示的对象的类型相关的标签,以解决长期视觉定位的问题。我们表明,语义标记的3-D点地图的环境,连同语义分割的图像,可以有效地用于车辆定位,而不需要详细的特征描述符(SIFT,SURF等)。因此,我们依赖于图像分割器的训练,而不是依赖于手工制作的特征描述符。与传统的基于描述符的映射相比,所得到的映射占用的存储空间少得多。一个基于粒子滤波器的语义定位解决方案相比,一个基于SIFT功能,即使有很大的季节性变化,在一年中,我们的表现与更大的和更具描述性的SIFT功能,并能够本地化的错误低于1米的大部分时间。
2018-03-02 cs.CV
Visual Saliency Transformer
Inception Institute of Artificial Intelligence(启智人工智能研究院);Northwestern Polytechnical University(西北工业大学)
现有的最先进的显着性检测方法严重依赖于基于CNN的架构。或者,我们从无卷积序列到序列的角度重新考虑这项任务,并通过对卷积无法实现的长程依赖关系建模来预测显着性。具体来说,我们开发了一种新的统一模型的基础上,一个纯粹的Transformer,即视觉显着性Transformer(VST),RGB和RGB-D显着的目标检测(SOD)。它将图像块作为输入,并利用Transformer在图像块之间传播全局上下文。与视觉Transformer(ViT)中使用的传统架构不同,我们利用多级令牌融合,并在Transformer框架下提出了一种新的令牌上采样方法,以获得高分辨率的检测结果。我们还开发了一个基于令牌的多任务解码器,通过引入任务相关的令牌和一个新的补丁任务注意力机制,同时执行显着性和边界检测。实验结果表明,我们的模型优于现有的方法在RGB和RGB-D SOD基准数据集。最重要的是,我们的整个框架不仅为SOD领域提供了一个新的视角,也为基于transformer的稠密预测模型提供了一个新的范例。代码可在https://github.com/nnizhang/VST上获得。
2021-08-23 cs.CV
Classifying Eye-Tracking Data Using Saliency Maps
North South University(南北大学);University of Dhaka(达卡大学)
大量的研究表明,人类的眼睛注视模式会因不同的因素而变化,包括遗传、年龄、社会功能、认知功能等。分析这些视觉注意力的变化已经引出了两个潜在的研究方向:1)确定受试者的生理或心理状态,以及2)从所记录的眼睛注视数据预测与观看动作相关联的任务。为此,本文提出了一种基于视觉显著性的特征提取方法,用于眼动追踪数据的自动定量分类,该方法适用于上述两个研究方向。该方法不是直接从注视数据中提取特征,而是采用几种众所周知的视觉注意计算模型来预测眼睛注视位置作为显著性图。将显著性图的显著性幅度、相似性和相异性与对应的眼睛注视图进行比较给出了额外维度的信息,该额外维度的信息被有效地用于生成区分特征以对眼动追踪数据进行分类。使用Saliency4ASD,年龄预测和视觉感知任务数据集进行的广泛实验表明,我们基于显着性的特征可以实现卓越的性能,远远优于以前的最先进方法。此外,与现有的特定于应用的解决方案不同,我们的方法在现实生活领域的三个不同问题上表现出性能改进:自闭症谱系障碍筛查,幼儿年龄预测和人类视觉感知任务分类,提供了一个通用的范例,利用显着性图中固有的额外信息进行更准确的分类。
2020-10-24 cs.CV
Multiscale Discriminant Saliency for Visual Attention
The University of Nottingham, Malaysia Campus(诺丁汉大学马来西亚校区);Edith Cowan University(埃迪斯科文大学);The University of Nottingham, UK Campus(诺丁汉大学英国校区);Sunway University(双威大学)
自下而上的显著性是人类视觉注意的早期阶段,可以被认为是中心类和周围类之间的二元分类问题。分类的特征的鉴别力被测量为特征和两个类分布之间的互信息。两个特征类的估计差异很大程度上取决于所考虑的尺度水平,然后,多尺度结构和鉴别力集成,采用离散小波特征和隐马尔可夫树(HMT)。利用小波系数和隐马尔可夫树参数,构造了四叉树标记结构,并在相应的二进子方处利用隐类变量的最大后验概率(MAP)进行标记。然后,每个二进平方在每个尺度水平的显着值计算判别功率原理和MAP。最后,通过信息最大化规则,在多个尺度上整合最终的显着图。两个标准的定量工具,如NSS,LCC,AUC和定性评估用于评估建议的多尺度判别显着性方法(MDIS)对众所周知的基于信息的显着性方法AIM的布鲁斯数据库wity眼动跟踪数据。仿真结果验证了MDIS的有效性,并指出其不足之处,为进一步的研究方向。
2013-01-17 cs.CV
Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs
Interdisciplinary Program in AI, Seoul National University(首尔国立大学人工智能跨学科项目);Department of Electrical and Computer Engineering, Seoul National University(首尔国立大学电子与计算机工程系);Department of Artificial Intelligence, Chung-Ang University(成均馆大学人工智能系)
本文提出PromPrune框架,通过语义显著性感知预算分配和两阶段选择流程,在视觉令牌压缩中平衡局部显著性保留与全局覆盖,提升性能并减少计算量。
2026-03-16 cs.CV