Partitioned Saliency Ranking with Dense Pyramid Transformers
Huazhong University of Science and Technology（华中科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对显著性排序中的固有歧义问题，提出按分区排序范式将无序显著实例分割为分区并基于相关性排序，同时引入密集金字塔变换器（DPT）增强跨尺度特征交互，实验表明该方法优于所有现有方法。
2023-08-01 cs.CV
Rethinking Object Saliency Ranking: A Novel Whole-flow Processing Paradigm
China University of Petroleum (East China)（中国石油大学（华东））；Qingdao University（青岛大学）；Beijing Information Science and Technology University（北京信息科技大学）
针对显著性排序中GT顺序不合理、多任务冲突及回归方法复杂等问题，本文提出覆盖GT生成、网络设计与训练协议的全流程统一框架，并在SALICON上超越现有方法。
2023-12-06 cs.CV
Revisiting Saliency Metrics: Farthest-Neighbor Area Under Curve
Ryerson University（瑞尔森大学）；Vector Institute（向量研究所）
显著性检测在各种视觉应用中起着重要的作用，因此得到了广泛的研究，但由于每个度量都有自己的偏差，因此很难对显著性系统进行评估。在本文中，我们首先回顾了在现代卷积神经网络（CNN）上应用广泛使用的显着性度量的问题。我们的研究表明，显着性数据集是基于不同的参数选择而构建的，CNN被设计成适合特定于特定于特定其次，我们表明，洗牌曲线下面积（S-AUC）度量仍然受到空间偏差。我们提出了一个新的显着性度量的基础上的AUC属性，其目的是采样一个更有方向性的负集进行评估，表示为最远邻AUC（FN-AUC）。我们还提出了一种策略来衡量的质量的抽样负集。我们的实验表明，FN-AUC可以测量空间偏差，中央和周边，更有效地比S-AUC没有惩罚的固定位置。第三，我们提出了一个全局平滑函数，以克服在计算AUC度量的几个值度（输出量化）的问题。与随机噪声相比，我们的平滑函数可以创建唯一的值，而不会失去相对显着性关系。
2020-02-24 cs.CV
Bi-directional Object-context Prioritization Learning for Saliency Ranking
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
显着性排序任务是最近提出的研究视觉行为，人类通常会转移他们的注意力在不同的对象的场景的基础上，他们的显着程度。现有的方法集中在学习对象-对象或对象-场景关系。这种策略遵循了心理学中基于对象的注意的思想，但它倾向于支持那些具有强语义的对象（例如，人类），导致不切实际的显着性排名。我们观察到，在人类视觉识别系统中，空间注意与基于对象的注意同时工作。在识别过程期间，人类空间注意力机制将从一个区域到另一个区域移动、接合和脱离（即，context）。这启发我们除了对象级推理之外，还对区域级交互进行建模，以进行显着性排名。为此，我们提出了一种新的双向方法来统一空间注意力和基于对象的注意力显着性排名。我们的模型包括两个新的模块：（1）一个选择性对象显着性（SOS）模块，通过推断显着对象的语义表示模型基于对象的注意力，和（2）一个对象-上下文-对象关系（OCOR）模块，通过联合建模显着对象的对象-上下文和上下文-对象的相互作用，分配显着性等级的对象。大量的实验表明，我们的方法优于现有的国家的最先进的方法。我们的代码和预训练模型可以在https://github.com/GrassBro/OCOR上找到。
2022-03-22 cs.CV
TurkerGaze: Crowdsourcing Saliency with Webcam based Eye Tracking
Princeton University（普林斯顿大学）；Harvard Medical School（哈佛医学院）；Brigham & Women’s Hospital（布莱根妇女医院）
传统的眼动追踪需要专门的硬件，这意味着从许多观察者那里收集视线数据是昂贵、繁琐和缓慢的。因此，现有的显着性预测数据集比其他视觉识别任务的典型数据集小一个数量级。这些数据集的小尺寸限制了训练数据密集型算法的潜力，并导致基准评估中的过拟合。为了解决这一不足，本文介绍了一种基于网络摄像头的视线跟踪系统，该系统支持部署在Amazon Mechanical Turk（AMTurk）上的大规模众包眼动追踪。通过仔细的算法和游戏协议设计的组合，我们的系统获得眼动追踪数据的显着性预测在传统的实验室环境中收集的数据相比，相对较低的成本和较少的努力的一部分，研究人员。使用这个工具，我们为大量的自然图像构建了一个显着性数据集。我们将开源我们的工具，并提供一个网络服务器，研究人员可以上传他们的图像，从AMTurk获得眼动追踪结果。
2015-05-20 cs.CV
CaRDiff: Video Salient Object Ranking Chain of Thought Reasoning for Saliency Prediction with Diffusion
ByteDance（字节跳动）
针对视频显著性预测忽视语言推理的问题，提出CaRDiff框架，结合多模态大模型、接地模块与扩散模型，利用VSOR-CoT思维链生成排序图指导显著性解码，在MVS和DHF1k数据集上超越现有方法。
2025-10-08 cs.CV
SED:Lightweight Saliency prediction for Event-based data via Distillation
i3S/CNRS, Université Côte d’Azur（法国蔚蓝海岸大学i3S/CNRS实验室）；ETH Zürich（苏黎世联邦理工学院）
提出轻量级网络SED，通过知识蒸馏和深度时空块（DSTconv）实现事件数据显著性预测，模型大小减少562倍，参数减少554倍，性能匹配或超越教师模型。
2026-06-15 cs.CV
StereoDiffuer: Diffusion-based Progressive Geometry Modeling with Saliency Attention Perception for Stereo Matching
Shanghai Jiaotong University（上海交通大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波东方理工大学数字孪生研究院）
针对现有立体匹配方法难以保留细粒度几何细节的问题，提出基于扩散的StereoDiffuer框架，通过显著性注意力感知模块提取几何线索，结合迭代去噪扩散过程优化视差，在Scene Flow与KITTI基准上表现具竞争力。
2026-08-25 cs.CV
Quantitative Analysis of Automatic Image Cropping Algorithms: A Dataset and Comparative Study
University of California, Davis（加利福尼亚大学戴维斯分校）；National Taiwan University（台湾大学）；National Tsing Hua University（清华大学（台湾））
自动照片裁剪是一个重要的工具，提高数字照片的视觉质量，而不诉诸繁琐的手动选择。传统上，照片裁剪是通过视觉质量评估或显著性检测确定最佳建议窗口来完成的。本质上，图像裁剪器的性能高度依赖于对许多视觉上相似的提议窗口进行正确排名的能力。尽管自动照片裁剪的排名性质，很少有人注意到学习排名算法在解决这样的问题。在这项工作中，我们对传统方法以及基于各种图像特征训练的基于排名的裁剪器进行了广泛的研究。此外，一个新的数据集，包括高质量的裁剪和成对排名的注释，提出了各种基线的性能进行评估。新数据集上的实验结果为设计更好的照片裁剪算法提供了有用的见解。
2017-01-05 cs.CV
SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding
Queen Mary University of London（伦敦玛丽女王大学）；Michigan State University（密歇根州立大学）
针对组合式时序定位中现有方法负样本语义不合理、DETR类方法显著性响应异常的问题，提出SHINE框架，通过大模型生成合理难负样本并结合由粗到细的显著性排序策略，有效提升模型组合泛化能力，经基准实验验证了有效性。
2024-07-15 cs.CV
MSD: Saliency-aware Knowledge Distillation for Multimodal Understanding
University of Southern California（南加州大学）；Facebook AI
为了减小模型大小但保持性能，我们通常依赖于知识蒸馏（KD），其将知识从大的“教师”模型转移到较小的“学生”模型。然而，多模态数据集（如视觉语言任务）上的KD相对未被探索，并且消化多模态信息具有挑战性，因为不同的模态呈现不同类型的信息。在本文中，我们进行了一个大规模的实证研究，以调查在知识蒸馏的重要性和效果的每一种形式。此外，我们引入了一个多模态知识蒸馏框架，模态特定蒸馏（MSD），从教师的知识转移多模态任务，通过学习教师的行为在每个模态。这个想法的目的是模仿教师的模态特定的预测，通过引入辅助损失条款的每一个模态。此外，由于每种模态具有不同的显着性预测，我们定义显着性得分为每种模态和调查显着性为基础的加权方案的辅助损失。我们进一步研究了一种权重学习方法来学习这些损失项的最佳权重。在我们的实证分析中，我们检查了KD中每个模态的显着性，证明了MSD中加权方案的有效性，并表明它在四个多模态数据集上比KD实现了更好的性能。
2021-10-21 cs.CV cs.LG
Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter
Beihang University（北京航空航天大学）；Qingdao University（青岛大学）；Stony Brook University（石溪大学）
真正的人类注意是视觉系统与大脑之间的一种交互活动，它利用低层次的视觉刺激和高层次的语义信息。先前的图像显著性目标检测（SOD）工作以多任务方式进行其显著性预测，即，同时执行逐像素显著性回归和类分割显著性细化，这在揭示语义信息方面退化了它们的特征骨干。然而，给定一幅图像，我们倾向于更多地关注那些语义显著的区域，即使这些区域在第一眼看上去并不是最显著的。在本文中，我们将SOD问题分为两个连续的任务：1）我们提出了一个轻量级的，弱监督的深度网络，首先粗略定位这些语义显著区域; 2）然后，作为后处理过程，我们选择性地将多个现成的深度模型融合到这些语义显著区域上，作为逐像素的显著性细化。与主要利用感知线索学习“单幅图像”像素级显著性的SOTA方法形成鲜明对比，该方法研究了“多幅图像之间的对象级语义等级”，其方法更符合真实人类的注意力机制。我们的方法是简单而有效的，这是第一次尝试考虑显着的目标检测主要是作为一个对象级的语义重排序问题。
2020-08-10 cs.CV cs.LG
Salient Object Ranking with Position-Preserved Attention
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
实例分割可以检测出目标在图像中的位置，但很难理解它们之间的关系。我们关注的是一种典型的关系，相对显著性。一个密切相关的任务，显着的目标检测，预测一个二进制地图突出的视觉显着的区域，而难以区分多个对象。通过后处理直接组合两个任务也会导致性能不佳。目前对相对显著性的研究还比较缺乏，限制了其在内容感知的图像裁剪、视频摘要、图像标注等实际应用中的应用。在本文中，我们研究了显着的对象排名（SOR）的任务，管理分配的排名顺序，每个检测到的对象，根据其视觉显着性。我们提出了SOR任务的第一个端到端框架，并以多任务学习的方式解决它。该框架同时处理实例分割和显著对象排名。在该框架中，SOR分支独立且灵活地与不同的检测方法协作，便于作为插件使用。我们还介绍了一个位置保持注意力（PPA）模块量身定制的SOR分支。该算法由位置嵌入阶段和特征交互阶段组成。考虑到位置在显著性比较中的重要性，我们在ROI池化操作中保留了对象的绝对坐标，然后在第一阶段将位置信息与语义特征融合。在特征交互阶段，我们应用注意力机制来获得提案的上下文化表示，以预测它们的相对排序。在ASR数据集上进行了大量的实验。没有花里胡哨，我们提出的方法优于前国家的最先进的方法显着。该代码将公开发布。
2021-06-10 cs.CV
Modeling Saliency Dataset Bias
Tübingen AI Center University of Tübingen（图宾根人工智能中心 图宾根大学）
针对跨显著性数据集的泛化下降问题，提出仅用少于20个可解释数据集特定参数适配编码器-解码器的方法，以极少样本弥补大部分差距并在三项基准上达到最先进水平。
2025-09-30 cs.AI cs.CV cs.LG
Understanding Parameter Saliency via Extreme Value Theory
The University of Tokyo（东京大学）
本文从极值理论视角重新表述参数显著性，提出基于超阈值方法的统计异常检测框架，以消除现有方法对梯度范数正态分布的隐含假设，并缓解其对网络层深度的偏差，从而更有效地诊断引发错误分类的卷积滤波器。
2023-12-05 cs.AI cs.CV
Saliency Detection for Improving Object Proposals
College of Information Engineering, Yangzhou University（扬州大学信息工程学院）；Wanfang Electronic Technology Co., Ltd.（万方电子科技有限公司）
在最近的国家的最先进的作品中，对象的建议大大有利于目标检测任务。然而，现有的目标定位方法在超过联合阈值的高交集时定位精度较低。为了解决这个问题，我们应用显着性检测到每个限界框，以提高他们的质量在本文中。首先提出了一种基于测地线的轮廓显著性检测方法，该方法主要用于发现闭合轮廓。然后，我们将其应用到每个候选框与多个大小，并可以很容易地产生在所获得的显着性图，进一步用于计算显着性得分的建议排名细化框。在PASCAL VOC 2007测试数据集上的实验表明，该方法可以大大提高现有模型的性能。
2016-10-17 cs.CV
Saliency detection by aggregating complementary background template with optimization framework
提出了一种无监督的自底向上显著性检测方法，该方法通过对互补背景模板进行细化聚合。从每个超像素中提取特征向量，以覆盖区域颜色，对比度和纹理信息。利用这些特征，实现了基于不同边界区域组合的背景模板的显著区域粗检测，而不是只将四个边界作为背景。然后，通过排序的图像节点与前景线索提取前显着图的相关性，我们得到了一个改进的结果。最后，平滑操作被用来细化基于前景的显著图，以提高显著区域和非显著区域之间的对比度，直到达到接近二值显著图。实验结果表明，该算法生成更准确的显着性图，并表现出良好的国家小康的最先进的显着性检测方法对四个公开可用的数据集。
2017-06-14 cs.CV
Integrating Saliency Ranking and Reinforcement Learning for Enhanced Object Detection
University of Malta（马耳他大学）
本研究结合显著性排序与强化学习优化目标检测，通过初始框预测和DQN细化提升精度，在Pascal VOC 2007上达到51.4 mAP，超越现有RL单目标检测器。
2024-08-13 cs.AI cs.CV cs.LG
Revisiting Salient Object Detection: Simultaneous Detection, Ranking, and Subitizing of Multiple Salient Objects
University of Manitoba（曼尼托巴大学）；Ryerson University（瑞尔森大学）
显著目标检测是一个已经被详细考虑并提出了许多解决方案的问题。在本文中，我们认为，迄今为止的工作已经解决了一个问题，是相对不适定。具体来说，当多个观察者被询问时，关于什么构成显著对象并没有普遍的共识。这意味着一些对象比其他对象更有可能被判断为显著的，并且意味着显著对象上存在相对等级。本文提出的解决方案解决了这个更普遍的问题，考虑相对排名，我们提出了适合测量成功的相对对象显着性景观的数据和指标。提出了一种新的基于相对显著性的分层表示和逐阶段细化的深度学习解决方案。我们还表明，显着对象subitizing的问题可以用相同的网络来解决，我们的方法超过了所有考虑的指标（传统的和新提出的）的任何先前的工作的性能。
2018-03-23 cs.CV
ImageNot: A contrast with ImageNet preserves model rankings
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）
ImageNot数据集用于验证ImageNet上训练的模型在不同数据集上的相对性能一致性，显示模型排名保持稳定，与绝对准确率下降形成对比。
2025-12-04 cs.CV cs.LG
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST（日本产业技术综合研究所）
已经提出了来自彩色图像的各种显著性检测算法，以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而，高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明，使用低级别的功能，高光谱图像的显着目标检测可以实现。在这项工作中，我们提出了一个显着的目标检测模型的高光谱图像应用流形排名（MR）的自监督卷积神经网络（CNN）的功能（高级功能）从无监督的图像分割任务。CNN的自我监督继续进行，直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后，显著性估计完成的显着性图在最后一次迭代时，自监督过程终止与收敛。实验结果表明，所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型，包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
Metrics for saliency map evaluation of deep learning explanation methods
Nantes Université（南特大学）；Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Nantes University Hospital（南特大学医院）；Inserm（法国国家健康与医学研究院）
由于深度学习模型的黑盒性质，最近开发了用于CNN视觉解释的解决方案。鉴于用户研究的高成本，度量标准是必要的，以比较和评估这些不同的方法。在本文中，我们批判性地分析了Petsiuk等人（2018）提出的曲线下删除面积（DAUC）和曲线下插入面积（IAUC）指标。这些指标旨在评估由Grad-CAM或RISE等通用方法生成的显着图的忠实性。首先，我们表明，显着性图给出的实际显着性分数值被忽略，因为只考虑分数的排名。这表明这些度量本身是不够的，因为显着图的视觉外观可以在不修改分数排名的情况下显著改变。其次，我们认为，在计算DAUC和IAUC时，模型呈现的图像超出了训练分布，这可能导致模型的不可靠行为。为了补充DAUC/IAUC，我们提出了新的度量标准，量化的稀疏性和校准的解释方法，两个以前未研究的属性。最后，我们给出了本文研究的指标，并讨论了如何在用户研究中评估它们。
2022-06-22 cs.AI cs.CV
Predicting Visual Importance Across Graphic Design Types
MIT（麻省理工学院）；Adobe Inc.（Adobe公司）；Adobe Research（Adobe研究院）
本文介绍了一个显着性和重要性统一模型（UMSI），它学习预测输入图形设计中的视觉重要性，以及自然图像中的显着性，以及一个新的数据集和应用程序。以前用于预测显着性或视觉重要性的方法是在专门的数据集上单独训练的，这使得它们在应用中受到限制，并导致对新图像类的泛化能力差，同时需要用户知道将哪个模型应用于哪个输入。UMSI是一个基于深度学习的模型，同时对来自不同设计类别的图像进行训练，包括海报、信息图表、移动UI以及自然图像，并包括一个自动分类模块来对输入进行分类。这允许模型更有效地工作，而不需要用户标记输入。我们还介绍了Imp1k，一个新的设计数据集，标注了重要性信息。我们展示了两个新的设计界面，使用的重要性预测，包括一个工具，用于调整设计元素的相对重要性，并回流设计到新的纵横比，同时保持视觉重要性的工具。模型、代码和重要性数据集可在https://predimportance.mit.edu上获得。
2020-08-07 cs.CV cs.GR cs.HC
Panonut360: A Head and Eye Tracking Dataset for Panoramic Video
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本文提出了一个包含50名用户观看15个全景视频的头部和眼部追踪数据集Panonut360，揭示了注视点相对于视场的向下偏移规律，并提供了显著性分布生成脚本与图集。
2024-03-26 cs.CV cs.HC cs.MM
Amplify What You Gaze At: Target Saliency Boosting in Text-to-Image Generation
Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）
本文提出目标显著性增强任务及 GazeME 框架，通过可学习标记令牌和显著性感知激活策略，在无需视觉先验的情况下提升文本到图像生成中目标对象的视觉显著性，同时保持语义对齐和图像质量。
2026-09-28 cs.CV
Data Proxy Generation for Fast and Efficient Neural Architecture Search
Intel Corporation（英特尔公司）
由于神经结构搜索（NAS）的最新进展，它在为特定任务设计最佳网络方面越来越受欢迎。尽管NAS在许多基准测试和竞赛中表现出了良好的效果，但它在搜索高维建筑设计空间时仍然存在计算成本高的问题，当我们想要使用大规模数据集时，这个问题变得更加严重。如果能够为NAS提供可靠的数据代理，NAS方法的效率将得到相应的提高。我们制作数据代理的基本观察是，特定数据集中的每个示例对NAS过程有不同的影响，并且从相对准确度排名的角度来看，大多数示例都是冗余的，我们在制作数据代理时应该保留这些示例。我们提出了一种系统的方法来衡量每个例子的重要性，从这个相对准确度排名的角度来看，并作出了可靠的数据代理的基础上的统计数据的训练和测试的例子。我们的实验表明，我们可以保持几乎相同的相对准确性排名之间的所有可能的网络配置，即使与10-20 $\times$较小的数据代理。
2019-11-21 cs.CV cs.LG stat.ML
Weakly-Supervised Salient Object Detection via Scribble Annotations
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Data61（数据61）；University of Technology Sydney（悉尼科技大学）；Northwestern Polytechnical University（西北工业大学）
与费力的逐像素密集标记相比，通过涂鸦标记数据要容易得多，标记一幅图像仅需1 $\sim$ 2秒。然而，尚未探索使用涂鸦标签来学习显著目标检测。在本文中，我们提出了一个弱监督的显着目标检测模型来学习显着性，从这样的注释。在这样做时，我们首先用涂鸦重新标记现有的大规模显著目标检测数据集，即S-DUTS数据集。由于涂鸦无法识别对象的结构和细节信息，因此直接使用涂鸦标签进行训练将导致边界定位较差的显着图。为了缓解这个问题，我们提出了一个辅助的边缘检测任务，明确定位对象的边缘，和一个门控结构感知损失的范围内的结构要恢复的限制。此外，我们设计了一个涂鸦提升方案来迭代地巩固我们的涂鸦注释，然后将其用作监督来学习高质量的显着性图。由于现有的显著性评估度量忽略了测量预测的结构对齐，显著性图排名度量可能不符合人类感知。我们提出了一个新的度量，称为显着性结构测度，来衡量预测显着性图的结构对齐，这是更符合人类的感知。在六个基准数据集上的大量实验表明，我们的方法不仅优于现有的弱监督/无监督方法，而且与几个完全监督的最先进的模型相当。我们的代码和数据可在https://github.com/JingZhang617/Scribble_Saliency上公开获取。
2020-03-17 cs.CV
Scene Parameter Saliency via Differentiable Light Transport
Simon Fraser University（西蒙弗雷泽大学）
研究通过可微光线传输实现场景参数显著性，计算针对不同目标的度量显著性图，发现同一场景不同度量下显著性排名差异大，显著性图因度量而异，结果表明可微渲染器的导数图像对场景理解有重要价值。
2026-07-24 cs.CV cs.GR
Learning a Saliency Evaluation Metric Using Crowdsourced Perceptual Judgments
Beihang University（北京航空航天大学）；University of Central Florida（中佛罗里达大学）
在人类注视预测领域，提出了数十种计算显著性模型，以揭示不同假设和定义下的显著性特征。因此，显着性模型基准测试通常需要多个评估指标来同时从多个角度评估显着性模型。然而，大多数计算度量并没有被设计成直接测量显著图的感知相似性，使得评估结果有时可能与主观印象不一致。为了解决这个问题，本文首先进行了广泛的主观测试，以找出显着性图之间的视觉相似性是如何被人类感知的。基于这些测试中收集的众包数据，我们总结了评估显着性图的几个关键因素，并对现有指标的性能进行了评估。受这些因素的启发，我们建议使用众包感知判断，基于双流卷积神经网络学习显着性评估指标。具体地，来自众包数据的每一对的相对显著性分数被用来在训练过程期间正则化网络。通过捕捉不同受试者在比较显着性图时共享的关键因素，学习的度量更好地与人类对显着性图的感知保持一致，使其成为现有度量的良好补充。实验结果表明，学习的度量可以推广到新图像，新数据集，新模型和合成数据的显着性图的比较。由于学习度量的有效性，它也可以用于促进用于注视预测的新模型的开发。
2018-06-27 cs.CV
Relative Depth Estimation as a Ranking Problem
Istanbul Technical University（伊斯坦布尔理工大学）
我们提出了一个配方的相对深度估计从一个单一的图像问题，作为一个排名问题。通过这种方式重新制定的问题，我们能够利用文献的排名问题，并应用现有的知识，以达到更好的结果。为此，我们引入了一个列表排序损失借用排名文献，加权ListMLE，相对深度估计问题。我们还带来了一个新的度量标准，它考虑了像素深度排名的准确性，我们的方法更强大。
2020-10-14 cs.CV
Sanity Checks for Saliency Metrics
IBM Research（IBM研究院）；Cardiff University（卡迪夫大学）；Crime and Security Research Institute（犯罪与安全研究所）；Booz Allen Hamilton（博思艾伦咨询公司）；CCDC Army Research Laboratory（CCDC陆军研究实验室）
显着图是一种流行的方法来创建事后解释的图像分类器输出。这些方法产生每个像素与分类输出分数的相关性的估计，其可以显示为突出重要像素的显著性图。尽管这样的方法激增，但很少有人努力量化这些显着性图在捕获像素与分类器输出的真实相关性（即它们的"保真度"）方面有多好。因此，我们调查现有的指标，用于评估显着性方法的保真度（即显着性指标）。我们发现，在如何计算这些指标的文献中几乎没有一致性，并表明这种不一致性可以对测量的保真度产生显着影响。此外，我们应用心理测试文献中开发的可靠性措施，以评估显着性指标的一致性时，适用于个人显着图。我们的研究结果表明，显着性指标可能是统计上不可靠和不一致的，这表明使用这些指标生成的显着性方法之间的比较排名可能是不值得信赖的。
2019-11-29 cs.CV cs.LG eess.IV
Uncertainty Inspired RGB-D Saliency Detection
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；DATA61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Nankai University（南开大学）；Northwestern Polytechnical University（西北工业大学）
我们提出了第一个随机框架，通过从数据标记过程中学习，采用不确定性进行RGB-D显著性检测。现有的RGB-D显着性检测模型将此任务视为点估计问题，通过预测确定性学习管道之后的单个显着性图。我们认为，然而，确定性的解决方案是相对不适定的。受显著性数据标记过程的启发，我们提出了一种生成架构来实现概率RGB-D显著性检测，该架构利用潜变量来建模标记变化。我们的框架包括两个主要模型：1）生成器模型，它将输入图像和潜变量映射到随机显着性预测，以及2）推理模型，它通过从真实或近似后验分布中采样来逐渐更新潜变量。生成器模型是编码器-解码器显著性网络。为了推断潜变量，我们引入了两种不同的解决方案：i）具有额外编码器的条件变分自动编码器来近似潜变量的后验分布;以及ii）交替反向传播技术，其直接从真实后验分布中对潜变量进行采样。在六个具有挑战性的RGB-D基准数据集上的定性和定量结果表明，我们的方法在学习显着性图的分布方面具有优越的性能。源代码可通过我们的项目页面https://github.com/JingZhang617/UCNet公开获取。
2020-09-07 cs.CV
Saliency detection with moving camera via background model completion
City University of Hong Kong（香港城市大学）
在许多计算机视觉系统中，显著性检测是一个基本步骤。显著性是视频中的重要目标。感兴趣的对象被进一步分析以用于高级应用。如果显著性和背景表现出不同的视觉线索，则可以进行显著性和背景的分离。因此，显著性检测通常被公式化为背景减除。然而，显著性检测是具有挑战性的。例如，动态背景可能导致假阳性错误。在另一种情况下，伪装将导致假阴性错误。随着摄像机的移动，捕捉到的场景处理起来更加复杂。我们提出了一个新的框架，称为显着性检测通过背景模型完成（SD-BMC），它包括一个背景建模器和深度学习背景/前景分割网络。背景建模器从短图像序列生成初始干净背景图像。基于视频补全的思想，在变化的背景和运动的目标共存的情况下，可以合成一个好的背景帧。我们采用了背景/前景分割器，虽然使用特定的视频数据集进行了预训练，但也可以检测未看到的视频中的显著性。当背景/前景分割器输出在长视频的处理期间恶化时，背景建模器可以动态地调整背景图像。据我们所知，我们的框架是第一个采用视频完成的背景建模和显著性检测的视频捕获移动摄像机。从PTZ视频中获得的结果表明，我们提出的框架比一些基于深度学习的背景减除模型的性能高出11%或更多。对于更具挑战性的视频，我们的框架也比许多高排名的背景减除方法高出3%以上。
2021-10-30 cs.CV eess.IV
Panoramic Vision Transformer for Saliency Detection in 360° Videos
Seoul National University（首尔国立大学）
360 $^\circ$视频显著性检测是用于360 $^\circ$视频理解的具有挑战性的基准之一，因为在360 $^\circ$视频的任何格式的投影中发生不可忽略的失真和不连续性，并且全向球中值得捕获的视点本质上是模糊的。我们提出了一个新的框架命名为全景视觉Transformer（PAVER）。我们使用具有可变形卷积的视觉Transformer设计编码器，这使我们不仅能够将来自正常视频的预训练模型插入我们的架构中，而无需额外的模块或微调，而且只需执行一次几何近似，这与以前基于CNN的深度方法不同。得益于其强大的编码器，PAVER可以从局部补丁特征之间的三个简单相对关系中学习显着性，在没有监督或类激活等辅助信息的情况下，大幅优于Wild 360基准测试的最先进模型。我们证明了我们的显着性预测模型的效用与VQA-ODV中的全向视频质量评估任务，在那里我们不断提高性能，没有任何形式的监督，包括头部运动。
2022-09-19 cs.CV
Exploiting Egocentric Object Prior for 3D Saliency Detection
University of Pennsylvania（宾夕法尼亚大学）
每时每刻，人们都在经历与物体的无数流体互动，而这些互动几乎没有意识到。最近的神经科学研究表明，人类对显著物体有一个固定的尺寸先验。这表明3D中的显著对象经历一致的变换，使得人们的视觉系统以近似固定的大小感知它。这一发现表明，存在一个一致的以自我为中心的物体先验，可以通过第一人称视图中的形状、大小、深度和位置来表征。在本文中，我们开发了一个自我对象表示，编码这些特征，将形状，位置，大小和深度功能，从自我中心的RGBD图像。我们的经验表明，这种表示可以准确地表征以自我为中心的对象之前，通过测试它在以自我为中心的RGBD数据集的三个任务：3D显着性检测，未来显着性预测，和交互分类。这种表示在我们新的以自我为中心的RGBD显着性数据集上进行评估，该数据集包括烹饪，餐饮和购物等各种活动。通过使用我们的EgoObject表示，我们在我们的数据集上优于先前提出的显著性检测模型（3D显著性检测任务相对提高30%）。此外，我们证明，这种表示使我们能够预测未来的显着对象的基础上的凝视线索和分类的人与对象的交互。
2015-11-09 cs.CV
Model Agnostic Saliency for Weakly Supervised Lesion Detection from Breast DCE-MRI
The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Delft University of Technology（代尔夫特理工大学）；Queensland University of Technology（昆士兰科技大学）
关于如何解释深度学习模型（DLM）提供的决策存在激烈的争论，其中主要方法依赖于显着区域的可视化来解释DLM分类过程。然而，对于从医学图像中检测病变的问题，这些方法通常不能满足三个条件：1）对于具有病变的图像，所有显著区域都应该表示病变，2）对于不包含病变的图像，不应该产生显著区域，以及3）病变通常较小，具有相对平滑的边界。我们提出了一个新的模型不可知范式来解释DLM分类决策支持的显着性，结合上述条件的新定义。我们的模型不可知的1类显着性检测器（MASD）进行了测试，从DCE-MRI弱监督乳腺病变检测，达到最先进的检测精度相比，目前的可视化方法。
2019-02-04 cs.CV
End-to-End Localization and Ranking for Relative Attributes
University of California, Davis（加州大学戴维斯分校）
我们提出了一个端到端的深度卷积网络来同时定位和排名相对的视觉属性，只给出弱监督的成对图像比较。与以前的方法不同，我们的网络联合学习属性的特征，定位和排名。我们网络的定位模块发现属性的信息量最大的图像区域，然后由排名模块使用该区域来学习属性的排名模型。我们的端到端框架还大大加快了处理速度，比以前的方法快得多。我们在各种相对属性数据集上展示了最先进的排名结果，我们的定性定位结果清楚地表明了我们的网络学习有意义的图像补丁的能力。
2016-08-09 cs.CV
Global and Local Sensitivity Guided Key Salient Object Re-augmentation for Video Saliency Detection
Tianjin University（天津大学）；Dalian University of Technology（大连理工大学）；University of South Carolina（南卡罗来纳大学）
现有的基于深度学习的显着性研究仍然是静态的，没有考虑从不同层提取的特征的加权和突出，所有特征对最终显着性决策的贡献是相等的。这些方法往往只能均匀地检测出所有的“潜在显著区域”，无法突出关键的显著对象，导致动态场景的检测失败。本文针对视频中显著区域相对较小且集中的特点，提出了一种\textbf{key salient object re-augmentation method (KSORA) using top-down semantic knowledge and bottom-up feature guidance}来提高视频场景中显著区域的检测精度。KSORA包括两个子模块（WFE和KOS）：WFE采用自底向上的策略进行局部显著特征选择，KOS采用自顶向下的统计知识对每个对象进行全局排序，选择最关键的对象区域进行局部增强。该算法不仅能增强局部关键显著对象的显著性，而且能保证全局显著性的一致性。在三个基准数据集上的实验结果表明，该模型具有提高复杂场景检测精度的能力。通过与其他十种最先进的算法的比较，KSORA在现代GPU上的速度为17FPS，其显著的性能得到了验证。
2018-11-19 cs.CV
Inner and Inter Label Propagation: Salient Object Detection in the Wild
The Chinese University of Hong Kong（香港中文大学）；Dalian University of Technology（大连理工大学）；Adobe Research（Adobe研究院）
针对自然场景显著目标检测，提出结合内部背景标签传播与跨标签协同传导的方法，并利用紧致性准则自适应融合前景objectness标签，在五个基准上取得优于现有方法的性能。
2015-05-27 cs.CV
Leverage Task Context for Object Affordance Ranking
University of Science and Technology of China（中国科学技术大学）；Northeastern University（东北大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对现有研究忽略物体可用性优先级随任务上下文变化的问题，提出上下文嵌入组排序框架及首个大规模面向任务的可用性排序数据集，实验证明其在相关任务上优于现有模型。
2024-11-25 cs.CV
A novel graph structure for salient object detection based on divergence background and compact foreground
在本文中，我们提出了一个有效的和判别模型的显着目标检测。我们的方法是在一个逐步的机制，根据发散背景和紧凑的前景线索。为了有效地提高对象边界上节点之间的区分度和对象区域之间的相似性，引入虚拟节点的概念构造了一个图。为了消除错误的输出，分别介绍了一种背景种子的选择方案和一种紧凑前景区域的生成方法。与现有方法不同的是，我们根据对应节点与虚拟节点之间的关系来计算每个节点的显著值。为了实现显着的性能改善一致，我们提出了一个扩展流形排名（EMR）算法，巧妙地结合了抑制/活动节点和中间层信息。大量的实验结果表明，该算法表现出良好的国家的最先进的显着性检测方法在不同的评价指标在几个基准数据集。
2017-11-30 cs.CV
Crowd Saliency Detection via Global Similarity Structure
University of Malaya（马来亚大学）；The Chinese University of Hong Kong（香港中文大学）
由于在拥挤的场景中有大量的人（即马拉松、集会），闭路电视操作员通常会忽略在人群中发生的赛事间事件。因此，迫切需要自动检测显著人群区域，以获得更有效和主动的监视。本文提出了一种新的框架来识别和定位人群场景中的显着区域，通过转换的低层次特征提取人群运动场到一个全局相似性结构。全局相似性结构表示允许发现运动动力学的内在流形，这不能被低级表示捕获。然后对全局相似性结构执行排名以识别极值的集合。所提出的方法是无监督的，所以学习阶段被淘汰。在公共数据集上的实验结果表明，利用这种极值在各种人群场景中识别显著区域的有效性，这些场景表现出拥挤，局部不规则运动和独特的运动区域，如源和汇。
2014-10-14 cs.CV stat.ML
A New Distributional Ranking Loss With Uncertainty: Illustrated in Relative Depth Estimation
Istanbul Technical University（伊斯坦布尔理工大学）
本文提出了一种新的方法来解决从单幅图像中进行相对深度估计的问题。我们不是直接对深度分数进行回归，而是将问题表述为对深度上的概率分布的估计，并旨在学习使给定数据的可能性最大化的分布参数。为了训练我们的模型，我们提出了一个新的排名损失，分布损失，它试图增加更远的像素的深度大于更近的像素的深度的概率。我们提出的方法允许我们的模型以分布的标准差的形式输出其估计的置信度。我们根据多个基线实现了最先进的结果，同时为我们的估计提供了信心。我们的分析表明，估计的置信度实际上是准确性的一个很好的指标。我们调查使用的置信度信息的下游任务的度量深度估计，以提高其性能。
2020-10-14 cs.CV
Ranking Models in Unlabeled New Environments
Australian National University（澳大利亚国立大学）
考虑这样一个场景：我们获得了许多在某个源域上训练的现成模型，并希望根据模型的相对性能将最合适的模型直接应用于不同的目标域。理想情况下，我们应该在每个新的目标环境上为模型性能评估注释一个验证集，但是这样的注释通常非常昂贵。在这种情况下，我们介绍了在未标记的新环境中的排名模型的问题。对于这个问题，我们建议采用一个代理数据集，该数据集1）是完全标记的，2）很好地反映了给定目标环境中的真实模型排名，并使用代理集上的性能排名作为代理。我们首先选择标记数据集作为代理。具体而言，发现与未标记的目标域更相似的数据集更好地保持相对性能排名。受此启发，我们进一步提出了搜索代理集的采样图像从不同的数据集，具有类似的分布作为目标。我们分析的问题及其解决方案的人重新识别（重新ID）的任务，其中足够的数据集是公开的，并表明，精心构造的代理集有效地捕捉在新的环境中的相对性能排名。代码可在\url{https://github.com/sxzrt/Proxy-Set}上获得。
2021-09-06 cs.CV
Saliency-Aware Model Merging
Yonsei University, Seoul, South Korea（首尔大学）；Ewha Womans University, Seoul, South Korea（成均馆女子大学）
提出SA-Merging方法，利用结构剪枝中的连通性显著性（如SynFlow）进行数据无关模型合并，通过任务向量显著性评分和合并感知调制减少任务干扰，并在视觉和语言任务上验证有效性。
2026-05-30 cs.CV cs.LG
Agentic Relative Camera Pose Estimation via Learned Ranking and Verification
Arizona State University（亚利桑那州立大学）；University of California, Merced（加利福尼亚大学默塞德分校）；Lund University（隆德大学）；University of Nevada, Reno（内华达大学里诺分校）
PoseAgent通过可学习的排序与验证智能体动态编排多个位姿估计器，在多个基准上显著提升相对相机位姿估计精度。
2026-10-01 cs.CV
Context-Aware Saliency Detection for Image Retargeting Using Convolutional Neural Networks
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
图像重定向是使图像能够在不同大小的屏幕上显示的任务。这项工作应该这样做，以便高级视觉信息和低级特征（如纹理）对人类视觉系统保持尽可能完整，而输出图像可能具有不同的尺寸。因此，简单的方法，如缩放和裁剪不足以达到这一目的。近年来，研究人员试图改进现有的重定向方法并引入新的方法。然而，特定的方法不能用于重定向所有类型的图像。换句话说，不同的图像需要不同的重定向方法。图像重定向与图像显著性检测有着密切的关系，而显著性检测是一个较新的图像处理课题。早期的显着性检测方法是基于局部和全局的，但低级别的图像信息。这些方法称为自底向上方法。另一方面，较新的方法是自顶向下和混合的方法，考虑了图像的高层和语义信息。在本文中，我们介绍了显着性检测和重定向的方法。在显著性检测方面，研究了图像上下文和语义分割的使用，提出了一种自底向上和自顶向下混合的显著性检测方法。在显著性检测之后，现有重定向方法的修改版本被用于重定向图像。实验结果表明，与其他测试方法相比，本文提出的图像重定向流水线具有优异的性能。此外，Pascal数据集上的主观评价可以用作重定向质量评估数据集，以供进一步研究。
2019-10-17 cs.CV eess.IV
GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis
South China Normal University（华南师范大学）；Sun Yat-sen University（中山大学）
GRCF通过两阶段组内排序与校准框架，解决多模态情感分析中点对点回归的不足，提升预测稳定性和相关性对齐。
2026-01-14 cs.CV
A Computational Approach to Relative Aesthetics
Arizona State University（亚利桑那州立大学）
计算视觉美学近年来成为一个活跃的研究领域。现有的最先进的方法将其制定为二进制分类任务，其中预测给定图像是否美丽。在图像检索和增强等应用中，根据图像的美学质量对图像进行排序比对图像进行二值分类更为重要。此外，在这样的应用中，所有图像可能属于同一类别。因此，确定图像的美学排名更合适。为此，我们制定了一个新的问题，排名图像就其美学质量。我们从流行的AVA数据集中仔细选择图像，构建一个新的数据集的图像对相对标签。与美学分类不同，没有单一的阈值来确定整个数据集中图像的排名顺序。我们提出了一种基于深度神经网络的方法，该方法通过结合相对学习的原则在图像对上进行训练。结果表明，这种相对训练过程使我们的网络能够以比使用二进制标签在同一组图像上训练的最先进网络更高的准确性对图像进行排名。
2017-04-05 cs.CV
Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
Department of Computer Science, University of California, Santa Barbara（加州大学圣巴巴拉分校计算机科学系）；Department of Psychological and Brain Sciences, University of California, Santa Barbara（加州大学圣巴巴拉分校心理学与脑科学系）
本文通过反事实语义显著性方法揭示VLM在高阶语义场景理解中与人类感知之间的差距，发现模型过度依赖大物体、图像中心物体和高显著性物体，而对人物依赖程度较低。
2026-10-30 cs.AI cs.CV
Ranked from Within: Ranking Large Multimodal Models Without Labels
Australian National University；Sydney AI Centre, The University of Sydney；Curtin University；University of \'OBuda
针对无标签下LMM性能排序难题，提出利用模型自身不确定性信号实现无监督排序，经47个SOTA LMM在9个视觉问答基准测试验证，softmax不确定性得分可稳健排序，为无标注场景选模型提供实用方案。
2025-10-03 cs.CV
Explainable Image Quality Assessment for Medical Imaging
Istanbul Technical University（伊斯坦布尔技术大学）
医学图像质量评价是图像采集的一个重要方面，因为质量差的图像可能导致误诊。图像质量的手动标记对于人群研究来说是一项繁琐的任务，并且可能导致误导性结果。虽然已经做了大量的研究，对图像质量的自动分析，以解决这个问题，相对较少的工作已经做了解释的方法。在这项工作中，我们提出了一个可解释的图像质量评估系统，并验证了我们关于两个不同目标的想法，即胸部X射线上的异物检测（Object-CXR）和心脏磁共振（CMR）上的左心室流出道（LVOT）检测体积。我们应用各种技术来衡量显着性检测器的忠诚度，我们的可解释管道依赖于NormGrad，这是一种可以有效地定位分类器显着性图的图像质量问题的算法。我们比较NormGrad与一系列的显着性检测方法，并说明其优越的性能作为应用这些方法来测量显着性检测器的忠实性的结果。我们看到NormGrad比其他显着性检测器有显著的提高，Object-CXR的重复指向游戏得分为0.853，LVOT数据集为0.611。
2023-03-25 cs.CV eess.IV
Relative Learning from Web Images for Content-adaptive Enhancement
Arizona State University（亚利桑那州立大学）
个性化和内容自适应的图像增强可以在社交媒体和移动计算时代找到许多应用。本文提出了一种基于相对学习的方法，与以前的方法不同，它不需要匹配原始图像和增强图像进行训练。这允许使用大量在线照片集合来训练排名模型以用于改进的增强。我们首先提出了一个多级排名模型，它只从自动抓取的相对标记的输入中学习。然后，我们设计了一个新的参数采样方案下，该模型产生所需的增强参数的新图像。对于评估，我们首先验证我们的方法的有效性和泛化能力，使用已增强/标记的专家图像。然后，我们进行主观测试，这表明用户更喜欢我们的方法比其他现有的方法增强的图像。
2017-04-05 cs.CV
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战，因为人类通过语言，视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比，我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法，直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能，视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
