Dynamical optical flow of saliency maps for predicting visual attention
University of Vienna（维也纳大学）；University of Göttingen（哥廷根大学）
显着图用于理解人类的注意力和视觉固定。然而，虽然对于静态图像已经很好地建立，但是对于如何计算动态场景的显著图还没有普遍的一致意见。在本文中，我们提出了一个数学上严格的方法来解决这个问题，包括静态显着图的每个视频帧的计算的光流。考虑用于计算光流的静态显著图允许克服孔径问题。我们的方法能够解释在对标准方法提出挑战的情况下的人类注视行为，例如当注视对象在遮挡后消失并在几帧后重新出现时。此外，我们定量地比较我们的模型与替代解决方案，使用一个大的眼动追踪数据集。总之，我们的研究结果表明，评估光流信息在一系列的显着性地图提供了一个高度准确和有用的帐户人类在动态场景中的外显注意。
2016-06-23 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Predicting video saliency using crowdsourced mouse-tracking data
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文提出了一种使用更便宜的眼动追踪数据替代方案来获取高质量视频显着性图的新方法。我们设计了一个鼠标视景系统，它根据鼠标光标的位置来模拟观看者的周边视觉。该系统能够使用从普通计算机鼠标记录的鼠标跟踪数据，作为由更昂贵的眼睛跟踪器记录的真实凝视注视的替代。我们开发了一个众包系统，可以大规模收集这种鼠标跟踪数据。使用收集的鼠标跟踪数据，我们表明它可以作为眼睛跟踪数据的近似值。此外，为了提高收集的鼠标跟踪数据的效率，我们提出了一种新的深度神经网络算法，该算法提高了鼠标跟踪显著图的质量。
2019-06-30 cs.CV
Enhanced Transformer-Based Tracking for Skiing Events: Overcoming Multi-Camera Challenges, Scale Variations and Rapid Motion -- SkiTB Visual Tracking Challenge 2025
Tredence Analytics（特伦登斯分析公司）
针对高山滑雪赛事中的跟踪难题，采用STARK模型并优化其架构与超参数，以应对多摄像头、遮挡和快速运动，提升跟踪准确性。
2025-02-26 cs.CV
TurkerGaze: Crowdsourcing Saliency with Webcam based Eye Tracking
Princeton University（普林斯顿大学）；Harvard Medical School（哈佛医学院）；Brigham & Women’s Hospital（布莱根妇女医院）
传统的眼动追踪需要专门的硬件，这意味着从许多观察者那里收集视线数据是昂贵、繁琐和缓慢的。因此，现有的显着性预测数据集比其他视觉识别任务的典型数据集小一个数量级。这些数据集的小尺寸限制了训练数据密集型算法的潜力，并导致基准评估中的过拟合。为了解决这一不足，本文介绍了一种基于网络摄像头的视线跟踪系统，该系统支持部署在Amazon Mechanical Turk（AMTurk）上的大规模众包眼动追踪。通过仔细的算法和游戏协议设计的组合，我们的系统获得眼动追踪数据的显着性预测在传统的实验室环境中收集的数据相比，相对较低的成本和较少的努力的一部分，研究人员。使用这个工具，我们为大量的自然图像构建了一个显着性数据集。我们将开源我们的工具，并提供一个网络服务器，研究人员可以上传他们的图像，从AMTurk获得眼动追踪结果。
2015-05-20 cs.CV
Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping
University of Alberta（阿尔伯塔大学）
提出了一种新的实时的【形】跟踪视频图像序列中显著闭合边界的方法。该方法对由直线检测产生的一组直线段进行操作。跟踪方案被连贯地集成到感知分组框架中，其中通过识别这些线段的子集并将它们顺序地连接以形成具有最大显著性和与前一个的一定相似性的闭合边界来解决视觉跟踪问题。具体来说，我们定义了一个新的跟踪标准，它结合了分组成本和区域相似性约束。所提出的标准，使所得的边界跟踪更强大的局部极小值。为了实现实时的【形】跟踪性能，我们使用德洛内三角剖分剖分与检测到的线段建立一个图模型，然后减少跟踪问题，找到这个图中的最佳周期。这是解决我们新提出的封闭边界候选搜索算法称为“双向最短路径（BDSP）”。所提出的方法的效率和鲁棒性进行了测试，在真实的视频序列，以及在机器人手臂浇注实验。
2017-08-09 cs.CV
Aggregation Signature for Small Object Tracking
Beihang University（北京航空航天大学）；University of Birmingham（伯明翰大学）；University of Verona（维罗纳大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Shenzhen Academy of Aerospace Technology（深圳航天科技创新研究院）；University of Warwick（华威大学）；Baidu Research（百度研究院）
小目标跟踪是一项日益重要的任务，然而在计算机视觉中，这一任务还没有得到充分的研究。巨大的挑战来自于以下事实：1）小物体表现出极端模糊和可变的外观，2）由于镜头的抖动，与正常大小的物体相比，它们往往更容易丢失。在本文中，我们提出了一种新的聚合签名适用于小目标跟踪，特别是针对突然和大漂移的挑战。我们在这项工作中作出三方面的贡献。首先，在技术上，我们提出了一个新的描述符，命名为聚合签名，基于显着性，能够代表高度独特的小对象的功能。第二，从理论上证明了所提出的签名以高概率更准确地匹配前景对象。第三，实验上，聚合签名在多个数据集上实现了高性能，大大优于最先进的方法。此外，我们贡献了两个新收集的基准数据集，即，small90和small112，用于视觉上小的对象跟踪。这些数据集将在https://github.com/bczhangbczhang/上提供。
2019-10-24 cs.CV
Classifying Eye-Tracking Data Using Saliency Maps
North South University（南北大学）；University of Dhaka（达卡大学）
大量的研究表明，人类的眼睛注视模式会因不同的因素而变化，包括遗传、年龄、社会功能、认知功能等。分析这些视觉注意力的变化已经引出了两个潜在的研究方向：1）确定受试者的生理或心理状态，以及2）从所记录的眼睛注视数据预测与观看动作相关联的任务。为此，本文提出了一种基于视觉显著性的特征提取方法，用于眼动追踪数据的自动定量分类，该方法适用于上述两个研究方向。该方法不是直接从注视数据中提取特征，而是采用几种众所周知的视觉注意计算模型来预测眼睛注视位置作为显著性图。将显著性图的显著性幅度、相似性和相异性与对应的眼睛注视图进行比较给出了额外维度的信息，该额外维度的信息被有效地用于生成区分特征以对眼动追踪数据进行分类。使用Saliency4ASD，年龄预测和视觉感知任务数据集进行的广泛实验表明，我们基于显着性的特征可以实现卓越的性能，远远优于以前的最先进方法。此外，与现有的特定于应用的解决方案不同，我们的方法在现实生活领域的三个不同问题上表现出性能改进：自闭症谱系障碍筛查，幼儿年龄预测和人类视觉感知任务分类，提供了一个通用的范例，利用显着性图中固有的额外信息进行更准确的分类。
2020-10-24 cs.CV
Saliency Revisited: Analysis of Mouse Movements versus Fixations
本文通过评估该领域的最新进展，如基于众包鼠标跟踪的数据库和上下文注释，重新审视视觉显着性预测。我们追求一个关键的和定量的方法来应对一些新的挑战，包括鼠标跟踪与眼动追踪的模型训练和评估的质量。我们扩展定量评估模型，以纳入上下文信息，提出了一种评估方法，允许占上下文因素，如文本，面孔和对象属性。通过实验，我们发现：（1）与眼动追踪数据相比，鼠标追踪数据具有更低的参与者间视觉一致性和更高的离散度;（2）鼠标追踪数据与眼动追踪数据在总体上并不完全一致，具体到不同的上下文区域，以及（3）小鼠跟踪数据在训练当前现有模型中导致可接受的结果，以及（4）小鼠跟踪数据对于模型选择和评估不太可靠。上下文评估还显示，在所研究的模型中，没有一个模型在所有测试的注释上表现最好。
2017-05-30 cs.CV
Learning a time-dependent master saliency map from eye-tracking data in videos
University College London（伦敦大学学院）；CNRS（法国国家科学研究中心）；University of Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
为了预测复杂自然场景中最显著的区域，显著性模型通常计算几个特征图（对比度，方向，运动......）。并将它们线性组合成主显著性图。由于特征图具有不同的空间分布和幅度动态范围，因此确定它们对整体显着性的贡献仍然是一个悬而未决的问题。大多数最先进的模型不考虑时间，并在刺激持续时间内给予特征图恒定的权重。然而，视觉探索是一个高度动态的过程，由许多时间相关的因素塑造。例如，一些系统的观察模式，如中心偏差，已知在整个探索的时间过程中会发生显着变化。在本文中，我们使用最大似然和收缩的方法来动态和联合学习的特征图和系统的观看模式的权重直接从眼动追踪数据记录在视频上。我们发现，这些权重系统地变化作为时间的函数，并在很大程度上取决于正在处理的视频的语义视觉类别。我们的融合方法允许考虑这些变化，并优于其他国家的最先进的融合方案，随着时间的推移使用恒定的权重。我们用于本研究的代码、视频和眼动追踪数据可在线获得：http://antoinecoutrot.magix.net/public/research.html
2017-02-02 cs.CV
SUSiNet: See, Understand and Summarize it
National Technical University of Athens（雅典国立技术大学）
在这项工作中，我们提出了一个多任务的时空网络，称为SUSiNet，可以共同解决显着性估计，动作识别和视频摘要的时空问题。我们的方法采用了一个单一的网络，该网络针对所有任务进行了端到端的联合训练，其中包含与探索任务相关的多个不同的数据集。所提出的网络使用包括全局和任务特定层的统一架构，并产生多种输出类型，即，显著图或分类标签。此外，一个额外的贡献是，所提出的网络可以通过与人类注意力相关的注意力模块进行深度监督，因为它是由眼动跟踪数据表示的。通过对七个不同数据集的广泛评估，我们观察到多任务网络的性能与最先进的单任务方法一样好（或者在某些情况下更好），同时它需要的计算预算比每个任务一个独立的网络更少。
2019-04-13 cs.CV
Boundary Effect-Aware Visual Tracking for UAV with Online Enhanced Background Learning and Multi-Frame Consensus Verification
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
由于隐含地引入了有限搜索区域的周期性移动，使用相关滤波器的视觉目标跟踪往往不得不面对不希望的边界效应。边界效应严重影响了目标模型的质量，如何实现鲁棒、精确的目标跟踪是无人机面临的一个挑战。传统的手工特征也不足以精确和鲁棒地描述无人机视点中的对象。在这项工作中，一种新的跟踪器与在线增强的背景学习，专门提出了解决边界效应。真实背景样本被密集地提取以学习以及更新相关滤波器。引入空间惩罚来抵消过多背景信息所引入的噪声，从而建立更精确的外观模型。同时，提取卷积特征以提供对象的更全面的表示。为了减轻对象外观的变化，多帧技术被应用于学习一个理想的响应图，并在每一帧中验证生成的响应图。在100个具有挑战性的无人机图像序列上进行了详尽的实验，所提出的跟踪器达到了最先进的性能。
2019-08-10 cs.CV
ETTrack: Enhanced Temporal Motion Predictor for Multi-Object Tracking
School of Engineering and Informatic, University of Sussex（萨塞克斯大学工程与信息学院）
针对多目标跟踪中卡尔曼滤波等方法难以处理复杂非线性运动的问题，提出集成Transformer和TCN的增强型时间运动预测器ETTrack，提升运动预测准确性，在DanceTrack和SportsMOT上取得竞争力表现。
2024-05-24 cs.CV
Exploring Enhanced Contextual Information for Video-Level Object Tracking
Dalian University of Technology（大连理工大学）；Ningbo Institute of Dalian University of Technology（大连理工大学宁波研究院）；Baidu Inc.（百度公司）
针对视频级目标跟踪中上下文信息不足的问题，提出MCITrack框架，利用Mamba隐藏状态和上下文融合模块增强多层级上下文利用，在LaSOT和GOT-10k上取得领先性能。
2024-12-15 cs.CV
A Saliency Enhanced Feature Fusion based multiscale RGB-D Salient Object Detection Network
Civil Aviation University of China（中国民航大学）；North China Electric Power University（华北电力大学）
本文提出显著性增强特征融合模块SEFF，利用相邻尺度显著性图增强融合特征，构建多尺度RGB-D显著性检测网络，在五个基准数据集上优于十个SOTA方法。
2024-01-22 cs.CV
Enhanced Object Tracking by Self-Supervised Auxiliary Depth Estimation Learning
Macau University of Science and Technology（澳门科技大学）
提出MDETrack方法，利用监督或自监督辅助单目深度估计学习增强跟踪网络，无需真实深度即可提升目标跟踪精度，并保持推理速度不变。
2024-05-23 cs.AI cs.CV
Fast non parametric entropy estimation for spatial-temporal saliency method
本文将自下而上的视觉显著性定义为中心环绕条件熵，并提出了一种快速有效的显著性图计算方法。结果表明，新的显着性公式是一致的自我信息为基础的显着性，决策理论的显着性和贝叶斯定义的惊喜，但也面临着相同的显着的计算挑战，估计概率密度在非常高维空间有限的样本。我们已经开发了一种快速有效的非参数方法，使这些类型的显着性图的实际实施成为可能。通过对齐中心和周围区域的像素，并将其位置坐标视为随机变量，我们使用k-d分区方法来有效地估计中心周围条件熵。我们提出了两个公开的眼动追踪静态图像数据库的实验结果，并表明，新技术是最先进的自下而上的显着性计算方法的竞争力。我们还扩展了技术，以计算时空视觉显着性的视频和评估自下而上的时空显着性对眼动追踪数据上采取的视频车载移动车辆与驾驶员的眼睛被跟踪的头戴式眼动跟踪器。
2013-01-31 cs.CV
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory（松下硅谷实验室）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
多目标跟踪近年来已成为计算机视觉的一个重要领域，特别是对于高级驾驶员辅助系统（ADAS）。尽管越来越受到关注，但实现高性能跟踪仍然具有挑战性，最先进的系统导致具有大量超参数的高复杂性。在本文中，我们专注于降低整体系统的复杂性和数量的超参数，需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络（ESNN），它占外观和几何信息，是可训练的端到端。与已知的最先进的方法相比，我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
Aesthetic Image Captioning with Saliency Enhanced MLLMs
AI Lab, Terminus International, Terminus Group（特斯联集团特斯联国际人工智能实验室）
针对现有MLLM在美学描述生成中未聚焦美学内容的问题，提出ASE-MLLM框架，通过IASM提取美学显著性特征并经IAS-ViT融合，在主流基准上取得SOTA性能。
2025-09-09 cs.CV
Spectral-Enhanced Transformers: Leveraging Large-Scale Pretrained Models for Hyperspectral Object Tracking
Queensland University of Technology（昆士兰科技大学）；Data61, CSIRO（Data61（联邦科学与工业研究组织下属机构））
本文提出一种利用大规模预训练Transformer模型进行高光谱目标跟踪的方法，通过自适应空间-光谱令牌融合模块和跨模态训练流程，以最少训练迭代实现优越性能。
2025-02-26 cs.CV eess.IV
Saliency Detection via Global Context Enhanced Feature Fusion and Edge Weighted Loss
Yonsei University（延世大学）
基于UNet的方法在显著目标检测（SOD）中表现出优异的性能，但在两个方面存在问题。1)不加区别地集成包含多个对象的空间信息的编码器特征和包含显著对象的全局信息的解码器特征可能向解码器传达非显著对象的不必要的细节，从而阻碍显著性检测。2)为了处理模糊的对象边界并生成准确的显著图，该模型需要额外的分支，例如边缘重建，这导致计算成本增加。为了解决这些问题，我们提出了上下文融合解码器网络（CFDN）和近边缘加权损失（NEWLoss）函数。CFDN通过整合全局上下文信息来创建精确的显著性图，从而抑制不必要的空间信息的影响。NEWLoss通过在对象边界上生成权重图来加速模糊边界的学习，而无需额外的模块。我们的方法在四个基准上进行了评估，并达到了最先进的性能。通过对比实验证明了该方法的有效性。
2021-10-13 cs.CV
Shallow Cue Guided Deep Visual Tracking via Mixed Models
National University of Singapore（新加坡国立大学）；Interactive Digital Media Institute（互动数字媒体研究所）
提出了一种基于混合模型的卷积神经网络（SDT）的鲁棒视觉跟踪方法。为了处理突然或快速运动，在执行深度跟踪器之前生成先验图以促进感兴趣区域（ROI）的定位。一个自上而下的显着性模型与十九个浅线索构建先验图与在线学习的组合权重。此外，除了一个整体的深度学习器外，还训练了四个局部网络来学习目标的不同组成部分。生成的四个局部热图将有助于通过消除干扰物来校正整体图以避免漂移。此外，为了保证高质量的在线更新实例，通过将问题转化为标签噪声问题来实现优先更新策略。选择概率的设计，同时考虑置信度值和生物启发记忆的时间信息集成。实验进行定性和定量的一组具有挑战性的图像序列。比较研究表明，该算法优于其他国家的最先进的方法。
2018-12-19 cs.AI cs.CV cs.LG
FGSGT: Saliency-Guided Siamese Network Tracker Based on Key Fine-Grained Feature Information for Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（三峡大学湖北省建筑质量检测装备工程技术研究中心）；Nantong Institute of Technology（南通理工学院）；Wuhan College（武汉学院）
提出一种基于细粒度特征的显著性引导孪生网络跟踪器，通过并行学习、多层融合和残差细化提升热红外目标跟踪精度，在多个基准上取得最优结果。
2025-04-19 cs.CV
Learning Where to Look While Tracking Instruments in Robot-assisted Surgery
NUS Graduate School for Integrative Sciences and Engineering (NGS), National University of Singapore（新加坡国立大学NUS综合科学与工程研究生院（NGS））；National University of Singapore（新加坡国立大学）；University of Michigan-Joint Institute, Shanghai Jiao Tong University（上海交通大学密歇根联合学院）
在手术中跟踪仪器的同时引导特定任务的注意力在机器人辅助干预中具有很大的潜力。为此，我们提出了一个端到端的可训练多任务学习（MTL）模型，用于实时手术器械分割和注意力预测。我们的模型设计了一个权重共享的编码器和两个面向任务的解码器，并针对联合任务进行了优化。我们引入了batch-Wasserstein（bW）损失，并构建了一个软注意力模块来细化有效的显着性学习的独特的视觉区域。对于多任务优化，在同一时间段内获得两个任务的收敛总是具有挑战性的。我们处理这个问题，采用“聚”减肥和两个阶段的训练。我们进一步提出了一种新的方法来生成任务感知的显着性图和扫描路径的MICCAI机器人仪器分割数据集上的仪器。与最先进的分割和显着性模型相比，我们的模型优于大多数评估指标。
2019-06-29 cs.CV
A Locally Weighted Fixation Density-Based Metric for Assessing the Quality of Visual Saliency Predictions
Arizona State University（亚利桑那州立大学）
在过去的十年中，随着人们对视觉注意力（VA）的关注，大量的计算视觉显著性方法在过去的几年中已经发展起来。这些模型传统上是通过使用性能评估指标来评估的，这些指标量化了预测的显着性和从人类观察者的眼动跟踪实验中获得的固定数据之间的匹配。虽然在文献中已经提出了相当数量的这样的度量，有显着的问题。在这项工作中，我们讨论了现有的度量通过说明性的例子中的缺点，并提出了一个新的度量，使用局部权重的固定密度的基础上，克服了这些缺陷。为了比较我们提出的指标在评估显着性预测的质量与其他现有的指标的性能，我们构建了一个地面实况主观数据库，其中显着性地图从17个不同的VA模型获得的评价由16个人类观察员在5点分类尺度上的视觉相似性与相应的地面实况固定密度图从眼动跟踪数据。通过将度量分数与人类主观评级相关联来评估度量。相关结果表明，该评价指标优于所有其他流行的现有指标。此外，构建的数据库和相应的主观评级提供了一个洞察到现有的度量和未来的度量更好地估计显着性预测的质量，并可以用作基准。
2017-08-01 cs.CV
Transparent Object Tracking with Enhanced Fusion Module
Stony Brook University（石溪大学）；Air Force Office of Scientific Research（空军科学研究办公室）；City College of New York（纽约城市学院）
本文提出一种将透明性信息整合到固定特征空间的新型特征融合模块及两步训练策略，构建了新的跟踪器架构，在透明物体跟踪基准 TOTB 上取得了与最先进跟踪器相媲美的结果。
2023-09-13 cs.CV cs.RO
Tell Me What to Track: Infusing Robust Language Guidance for Enhanced Referring Multi-Object Tracking
University of California, Irvine（加州大学尔湾分校）
针对 RMOT 中新生目标数据不平衡及语言引导融合不足的问题，提出协同匹配、跨模态多尺度增强和查询显式指代表引导，性能提升 3.42%。
2025-07-25 cs.AI cs.CV
Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System
University of Kansas（堪萨斯大学）
研究了无人机导航中基于视觉的障碍物检测与跟踪问题。将目标检测和跟踪有效地结合到动态卡尔曼模型中，提出了一种单目图像序列中目标的实时的【形】定位和跟踪策略。在检测阶段，感兴趣的对象是自动检测和本地化的显着性地图计算通过在每帧的图像背景连接线索;在跟踪阶段，一个卡尔曼滤波器被用来提供一个粗略的预测的对象状态，这是进一步细化通过一个本地检测器，结合显着性地图和两个连续帧之间的时间信息。与现有的方法相比，所提出的方法不需要任何手动初始化跟踪，运行速度远远快于国家的最先进的跟踪器的同类，并实现了大量的图像序列上的竞争力的跟踪性能。大量的实验证明了所提出的方法的有效性和优越的性能。
2017-03-19 cs.CV
MDS-ViTNet: Improving saliency prediction for Eye-Tracking with Vision Transformer
Sberbank（俄罗斯联邦储蓄银行）；MIPT（莫斯科物理技术学院）
本文提出MDS-ViTNet，利用Vision Transformer和Swin transformer构建编码器-解码器架构，通过双解码器生成注意力图并结合为单一输出，在多个基准测试中取得最先进的眼动追踪显著性预测结果。
2024-05-29 cs.AI cs.CV
Video Saliency Prediction Using Enhanced Spatiotemporal Alignment Network
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）
由于不同帧之间的各种运动，这是非常具有挑战性的学习一个有效的时空表示准确的视频显著性预测（VSP）。为了解决这个问题，我们开发了一个有效的时空特征对齐网络量身定制的VSP，主要包括两个关键的子网络：多尺度可变形卷积对齐网络（MDAN）和双向卷积长短期记忆（Bi-ConvLSTM）网络。MDAN学习以由粗到精的方式将相邻帧的特征与参考帧对齐，可以很好地处理各种运动。具体而言，MDAN拥有金字塔特征层次结构，该结构首先利用可变形卷积（Dconv）来跨帧对齐较低分辨率的特征，然后聚合对齐的特征来对齐较高分辨率的特征，从上到下逐渐增强特征。MDAN的输出然后被馈送到Bi-ConvLSTM中进行进一步增强，Bi-ConvLSTM沿着前向和后向定时方向捕获有用的长时间信息，以有效地指导复杂场景变换下的注意力方向转移预测。最后，增强的特征被解码以生成预测显著图。所提出的模型是端到端训练的，没有任何复杂的后处理。在四个VSP基准数据集上的广泛评估表明，所提出的方法与最先进的方法相比具有良好的性能。源代码和所有结果将被发布。
2020-01-02 cs.CV
A Learning-Based Visual Saliency Prediction Model for Stereoscopic 3D Video (LBVS-3D)
University of British Columbia（不列颠哥伦比亚大学）；TELUS Communications Inc.（研科通讯公司）
在过去的十年中，已经提出了许多用于2D图像和视频的计算显著性预测模型。考虑到人类视觉系统已经在自然的3D环境中进化，想要为3D内容设计视觉注意力模型是很自然的。现有的单眼显著性模型在应用于3D图像/视频内容时不能准确地预测注意区域，因为它们不包含深度信息。本文探讨了立体视频显着性预测，利用低层次的属性，如亮度，颜色，纹理，方向，运动和深度，以及高层次的线索，如脸，人，车辆，动物，文本和地平线。我们的模型从一个粗略的分割开始，量化了几个直观的观察结果，如视觉不适程度，深度不确定性，运动加速度，惊喜元素，显着区域的大小和紧凑性的影响，并强调场景中只有少数显着的对象。采用一种新的基于中央凹的图像区域之间的空间距离模型来考虑局部和全局特征计算。为了有效地融合我们的方法产生的显着性地图到一个单一的显着性地图，是高度相关的眼睛固定数据，一个随机森林为基础的算法。所提出的显着性模型的性能进行评估对眼动跟踪实验，其中涉及24个主题和61个捕获的立体视频的内部数据库的结果。我们的立体视频数据库以及眼动跟踪数据与本文一起公开。实验结果表明，提出的显著性预测方法相比，国家的最先进的方法取得了竞争力的性能。
2018-03-13 cs.CV
VISER: Visually-Informed System for Enhanced Robustness in Iris Presentation Attack Detection
University of Notre Dame（诺丁汉大学）
本文提出VISER系统，通过比较手标注、眼跟踪热图等方法，提升开放集虹膜呈现攻击检测的鲁棒性，实验表明去噪眼跟踪热图在APCER和BPCER指标上表现最佳。
2026-09-09 cs.CV
Visual Saliency Model using SIFT and Comparison of Learning Approaches
Hacettepe University（哈切特佩大学）
人类在图像上检测和定位显著物体的能力非常快速和成功。通过使用眼动追踪设备来执行该过程是昂贵的并且不能容易地应用，并且这种人类行为的计算机建模仍然是一个有待解决的问题。在我们的研究中，最大的公共眼动跟踪数据库之一，其中有15个观察者的1003张图像上的固定点。除了已经在以前的研究中使用的低，中，高级别的功能，SIFT特征提取的图像被用来提高模型的分类精度。本文的第二个贡献是比较和统计分析不同的机器学习方法，可以用来训练我们的模型。因此，确定了预测人类观看图像的位置的最佳特征集和学习模型。
2014-02-28 cs.CV
STAViS: Spatio-Temporal AudioVisual Saliency Network
National Technical University of Athens（雅典国立技术大学）
我们引入STAViS，时空视听显着性网络，结合时空视觉和听觉信息，以有效地解决视频中的显着性估计的问题。我们的方法采用了一个单一的网络，结合视觉显着性和听觉功能，并学会适当地定位声源，并融合两个显着性，以获得最终的显着图。该网络经过端到端的设计和训练，并在六个不同的数据库上进行了评估，这些数据库包含各种视频的视听眼动跟踪数据。我们将我们的方法与8种不同的最先进的视觉显着性模型进行比较。跨数据库的评估结果表明，在大多数情况下，我们的STAViS模型优于我们的视觉变体以及其他最先进的模型。此外，它在所有数据库中实现的一贯良好的性能表明，它适用于“在野外”估计显着性。该代码可在https://github.com/atsiami/STAViS上获得。
2020-06-14 cs.CV
Saliency Preservation in Low-Resolution Grayscale Images
RMIT University（皇家墨尔本理工大学）
视觉显著性检测起源于5亿多年前，是自然界最有效的机制之一。相比之下，许多最先进的计算显着性模型是复杂和低效的。大多数显着性模型处理高分辨率的彩色（HC）图像;然而，对视觉显着性检测的进化起源的见解表明，非彩色低分辨率视觉对其速度和效率至关重要。以往的研究表明，低分辨率的彩色和高分辨率的灰度图像保持显着性信息。然而，据我们所知，还没有人研究过显著性是否保留在低分辨率灰度（LG）图像。在这项研究中，我们解释了LG的生物和计算动机，并通过一系列人眼跟踪和计算建模实验表明，LG图像中保留了显着性信息。此外，我们表明，使用LG图像导致模型训练和检测时间的显着加速，并通过提出LG图像进行快速有效的显着性检测得出结论。
2018-03-27 cs.CV
Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn（帕德博恩大学）
基于区域的人工注意力构成了一个框架，生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而，对于许多后注意任务，例如识别或跟踪对象，单个片段是不够的。在这里，我们提出了一个显着性指导的方法，分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果，通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；International Research Institute for Multidisciplinary Science（国际交叉科学研究院）
基于图像的显著性目标检测（SOD）在过去几十年中得到了广泛的研究。然而，基于视频的超氧化物歧化酶是少得多的探讨，因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此，本文提出了一个基于视频的SOD数据集，由200个视频（64分钟）。在构建数据集时，我们手动注释了7，650个均匀采样的关键帧上的所有对象和区域，并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中，我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象，并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知，它是目前基于视频的显著目标检测的最大数据集。基于此数据集，本文提出了一种无监督的基线方法，基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中，多个时空显著性线索首先在像素，超像素和对象水平提取。有了这些显着性线索，堆叠的自动编码器被无监督地构建，其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明，所提出的无监督方法在所提出的数据集上优于30种最先进的模型，包括19种基于图像的经典模型（无监督或非深度学习），6种基于图像的深度学习模型，以及5种基于视频的无监督模型。此外，基准测试结果表明，该数据集是非常具有挑战性的，并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；Dublin City University（都柏林城市大学）
高级驾驶辅助系统（ADAS）一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中，我们探讨了可能的方式来使用视觉注意（显着性）的目标检测和跟踪。我们调查：1）诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2）视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络，可以同时检测对象，并生成对象和主体的地图，以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度（PHD）过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进，从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Multi-scale Visual Attention & Saliency Modelling with Decision Theory
The University of Nottingham, Malaysia Campus（诺丁汉大学马来西亚校区）；Edith Cowan University（伊迪斯科文大学）；The University of Nottingham, UK Campus（诺丁汉大学英国校区）；Sunway University（双威大学）
自下而上显著性是人类早期的视觉处理，其表现类似于兴趣和零假设的二元分类。它的鉴别力，图像特征和类分布的互信息，是由著名的中心-环绕理论显着值密切相关。由于分类准确性在很大程度上取决于窗口大小，因此判别显着性（功效）根据采样尺度而变化。多尺度框架下的鉴别力估计需要结合小波变换，利用隐马尔可夫树（HMT）模型估计相邻两尺度（中心-环绕窗口）的统计差异。最后，多尺度判别显著性（MDIS）地图的最大信息规则相结合，合成一个最终的显着图。所有MDIS地图均使用标准定量工具（NSS、LCC、AUC）在N.Bruce的数据库上进行评估，使用地面实况数据作为眼动跟踪位置;以及通过对个体病例进行目视检查进行定性评估。为了评估MDIS对著名的AIM显着性方法，模拟是必要的，并详细描述了几个有趣的结论，得出进一步的研究方向。
2013-02-04 cs.CV
A Learning-Based Visual Saliency Fusion Model for High Dynamic Range Video (LBVS-HDR)
University of British Columbia（不列颠哥伦比亚大学）；TELUS Communications Incorporation（TELUS通信公司）
在过去的十年中，标准动态范围（SDR）视频的显著性预测已经得到了很好的探索。然而，有限的研究可用于高动态范围（HDR）视觉注意模型（VAM）。考虑到HDR内容在动态范围和色域方面的特性与SDR内容的特性完全不同，识别HDR视频的不同显著性属性对于设计VAM的重要性并理解如何组合这些特征是至关重要的。为此，我们提出了一种基于学习的视觉显着性融合方法的HDR内容（LVBS-HDR），结合各种视觉显着性特征。在我们的方法中，各种显着性地图提取HDR数据，然后融合显着性地图，随机森林算法是用来训练一个模型的基础上收集的数据，从眼睛跟踪实验。性能评估证明了所提出的融合方法相对于其他现有的融合方法的优越性。
2018-03-13 cs.CV
Human Detection and Tracking for Video Surveillance A Cognitive Science Approach
L. D. College of Engineering（L. D. 工程学院）
随着世界各地犯罪率的上升，视频监控变得越来越重要。由于缺乏人力资源来手动监控越来越多的摄像机，正在开发新的计算机视觉算法来执行较低和较高级别的任务。我们已经开发了一种新的方法，结合最受欢迎的有向直方图，视觉显著性理论和显著性预测模型深层多层网络检测视频序列中的人。此外，我们实现了k均值算法来聚类HOG特征向量的积极检测到的窗口，并确定视频中的人遵循的路径。我们取得了83.11%的检测精度和召回率为41.27%。我们得到这些结果比正常图像的分类快76.866倍。
2017-09-03 cs.CV
Implicit Saliency in Deep Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们表明，现有的识别和定位深度架构，尚未暴露于眼动追踪数据或任何显着性数据集，能够预测人类视觉显着性。我们称之为深层神经网络中的隐式显着性。我们使用期望不匹配假设在无监督的方式计算这种隐式显着性。我们的实验表明，以这种方式提取显着性提供了相当的性能时，对最先进的监督算法进行测量。此外，鲁棒性优于这些算法，当我们加入大的噪声输入图像。此外，我们表明，语义特征比低层次的人类视觉显着性检测功能。
2020-08-04 cs.CV cs.NE
Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy
针对深度集成中学习模式同质化限制性能的问题，提出基于显著图多样化的SDDE方法，通过增强集成成员多样性，在多个基准上提升OOD检测、校准和准确性。
2024-11-05 cs.AI cs.CV cs.LG
D3Former: Jointly Learning Repeatable Dense Detectors and Feature-enhanced Descriptors via Saliency-guided Transformer
Shandong University（山东大学）；The University of Hong Kong（香港大学）
本文提出D3Former，一种显著性引导Transformer，联合学习可重复稠密检测器与特征增强描述符，在室内外基准上优于现有方法，如3DLoMatch上配准召回率达76.5%。
2023-12-20 cs.CV
Iterative Saliency Enhancement using Superpixel Similarity
University of Campinas（坎皮纳斯大学）
显著性目标检测（SOD）在图像分析中具有若干应用。这些方法已经从图像固有模型发展到对象启发（基于深度学习）模型。然而，当一个模型失败时，没有其他方法可以增强其显着性图。我们通过引入一种名为\textit{Iterative Saliency Enhancement over Superpixel Similarity}（ISESS）的混合方法来填补这一空白，该方法通过交替执行两个操作来迭代生成增强的显着性图：基于对象的超像素分割和基于超像素的显着性估计-从未利用过的循环操作。ISESS从给定的显着图中估计用于超像素描绘的种子，并在前景和背景中定义超像素查询。一个新的显着图的结果，从颜色之间的相似性查询和超像素在每次迭代。重复该过程，并且在给定次数的迭代之后，通过元胞自动机将生成的显著性图组合成一个。最后，将所得到的地图与初始地图通过它们每个超像素的平均值之间的最大值合并。我们证明，我们的混合模型在五个图像数据集上的表现始终优于三种最先进的基于深度学习的方法。
2022-03-04 cs.CV
Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation
The University of Western Australia（西澳大学）；The University of Sydney（悉尼大学）；Murdoch University（莫道克大学）；HKUST（香港科技大学）
本文提出AuxSegNet+框架，以显著性检测和多标签分类为辅助任务，并通过跨任务双亲和学习细化CAM与伪标签，在PASCAL VOC和MS COCO上取得WSSS新最优结果。
2024-03-02 cs.CV
CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency
The University of Western Australia（西澳大学）
反向传播图像显着性旨在通过估计输入中单个像素的模型中心重要性来解释模型预测。然而，网络中较早层的类不敏感性仅允许使用较深层的低分辨率激活图进行显着性计算，从而导致图像显着性受损。对此进行补救可能会导致健全性故障。我们提出了CAMERAS，一种计算高保真反向传播显着图的技术，而不需要任何外部先验，并保持地图的健全。我们的方法系统地执行激活图和反向传播梯度的多尺度累积和融合，以计算精确的显着图。从准确的图像显着性到不同模型输入特征的相对重要性的清晰度，以及视觉相似对象的模型感知之间的精确区分，我们的高分辨率映射为黑盒深度视觉模型提供了多种新的见解。我们还展示了显着性图在对抗设置中的效用，通过将它们集中在我们的地图识别的精确区域上来大幅降低攻击信号的范数。我们的方法也启发了新的评估指标和健全检查这个发展中的研究方向。代码可在这里https://github.com/VisMIL/CAMERAS
2021-06-20 cs.AI cs.CV cs.LG
DAVE: A Deep Audio-Visual Embedding for Dynamic Saliency Prediction
Aalto University（阿尔托大学）；Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
本文研究了视听深度显著性预测。它介绍了一个概念上简单而有效的深度视听嵌入动态显着性预测称为“DAVE”，与我们的努力建立一个视听眼跟踪语料库命名为"AVE”。尽管在感知过程中听觉和视觉线索之间存在很强的联系来引导注视，但视频显著性模型只考虑视觉线索，而忽略了在动态场景中无处不在的听觉信息。在这里，我们研究了音频线索与视觉线索结合使用深度神经网络预测显着性图的适用性。为此，拟议的模型特意设计得很简单。两个基线模型开发的同一架构，其中包括一个编码器-解码器。编码器将输入投影到特征空间中，随后是推断显著性的解码器。我们对多模型动态显著性预测的不同模式和各个方面进行了广泛的分析。我们的研究结果表明，（1）音频是显著性预测的一个强有力的线索，（2）显著的可见声源是我们的视听模型优越性的自然原因，（3）输入空间更丰富的特征表示导致更强大的预测，即使在没有更复杂的显著性解码器的情况下，（4）视听模型比最佳视觉模型（我们的基线）提高了53.54%。我们的努力表明，音频是一个重要的线索，可以提高动态视频显着性预测，并帮助模型接近人类的表现。代码可在https://github.com/hrtavakoli/DAVE上获得
2020-01-07 cs.CV
Predicting Video Saliency with Object-to-Motion CNN and Two-layer Convolutional LSTM
Beihang University（北京航空航天大学）
在过去的几年里，深度神经网络（DNN）在预测图像的显著性方面取得了巨大的成功。然而，很少有作品应用DNN来预测通用视频的显着性。在本文中，我们提出了一种新的基于DNN的视频显著性预测方法。具体来说，我们建立了一个大规模的眼动跟踪视频数据库（LEDOV），它提供了足够的数据来训练DNN模型预测视频显着性。通过对LEDOV数据库的统计分析，我们发现人类的注意力通常被物体所吸引，特别是运动的物体或物体的运动部分。因此，我们提出了一个对象到运动的卷积神经网络（OM-CNN）学习时空特征预测帧内显著性通过探索的信息对象和对象的运动。我们进一步发现，从我们的数据库中，存在一个时间相关的人类的注意力与平滑的显着过渡跨视频帧。因此，我们在基于DNN的方法中开发了一个双层卷积长短期记忆（2C-LSTM）网络，使用OM-CNN的提取特征作为输入。因此，可以生成视频的帧间显著性图，其考虑了跨视频帧的注意力转移。最后，实验结果表明，我们的方法在视频显著性预测方面的先进性。
2019-01-14 cs.CV
A Deep Learning Framework for Visual Attention Prediction and Analysis of News Interfaces
University of Malta（马耳他大学）
本研究提出结合SaRa与DeepGaze IIE的深度学习框架优化UI显著性预测，通过眼动和鼠标追踪实验发现不同年龄群体新闻界面注意力模式存在显著差异，验证了鼠标追踪用于大规模显著性研究的可行性。
2025-03-21 cs.CV cs.HC
CASP-Net: Rethinking Video Saliency Prediction from an Audio-VisualConsistency Perceptual Perspective
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）；Shanghai Jiao Tong University（上海交通大学）
视频显著性预测（VSP）通过对音频流的处理，模仿人脑的选择性注意力机制。通过关注联合听觉和视觉信息的好处，大多数VSP方法能够利用视觉和听觉模态之间的语义相关性，但忽略了由于视听固有的时间不一致性而产生的负面影响。受多感官信息的生物不一致性校正机制的启发，提出了一种具有一致性感知的视听显著性预测网络（CASP-Net），该网络综合考虑了视听语义交互和一致性感知。除了一个两个流编码器之间的视频帧和相应的声源优雅的关联，一个新的一致性感知预测编码也被设计来提高音频和视觉表示迭代的一致性。为了进一步聚合多尺度视听信息，引入显著性解码器用于最终显著性图生成。大量的实验表明，所提出的CASP-Net优于其他国家的最先进的方法在六个具有挑战性的视听眼动跟踪数据集。有关我们系统的演示，请参阅我们的项目网页。
2023-03-11 cs.CV
Gaze Prediction in Virtual Reality Without Eye Tracking Using Visual and Head Motion Cues
Libra AI Technologies（Libra AI技术公司）；Ethical AI Novelties（伦理AI创新公司）；Cyprus University of Technology（塞浦路斯技术大学）
本文提出了一种结合头戴式显示器运动信号和视觉显著性线索的注视预测框架，通过轻量级模型在VR环境中有效预测注视方向，提升交互体验。
2026-01-26 cs.CV
Multiscale Discriminant Saliency for Visual Attention
The University of Nottingham, Malaysia Campus（诺丁汉大学马来西亚校区）；Edith Cowan University（埃迪斯科文大学）；The University of Nottingham, UK Campus（诺丁汉大学英国校区）；Sunway University（双威大学）
自下而上的显著性是人类视觉注意的早期阶段，可以被认为是中心类和周围类之间的二元分类问题。分类的特征的鉴别力被测量为特征和两个类分布之间的互信息。两个特征类的估计差异很大程度上取决于所考虑的尺度水平，然后，多尺度结构和鉴别力集成，采用离散小波特征和隐马尔可夫树（HMT）。利用小波系数和隐马尔可夫树参数，构造了四叉树标记结构，并在相应的二进子方处利用隐类变量的最大后验概率（MAP）进行标记。然后，每个二进平方在每个尺度水平的显着值计算判别功率原理和MAP。最后，通过信息最大化规则，在多个尺度上整合最终的显着图。两个标准的定量工具，如NSS，LCC，AUC和定性评估用于评估建议的多尺度判别显着性方法（MDIS）对众所周知的基于信息的显着性方法AIM的布鲁斯数据库wity眼动跟踪数据。仿真结果验证了MDIS的有效性，并指出其不足之处，为进一步的研究方向。
2013-01-17 cs.CV
