Representation Dynamics Reveal Semantic Saliency and Similarity for Visual Token Pruning in MLLMs
Harbin Institute of Technology(哈尔滨工业大学);Shenzhen Loop Area Institute(深圳河套学院)
针对多模态大语言模型视觉标记冗余导致的推理延迟问题,本文分析标记表示动力学,提出无需训练的MSDG-Prune剪枝方法,利用更新幅度与方向保留显著多样信息,在LLaVA-NeXT上以5.6%标记保留91.9%性能并实现7.8倍加速。
2026-10-01 cs.CV
Contrast and visual saliency similarity-induced index for assessing image quality
East China University of Technology(东华理工大学);Univ Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心)
通过定义/利用计算模型的感知图像质量评估(IQA)来评估与人类意见一致的图像质量。一个好的模型应该同时考虑有效性和效率,但大多数以前提出的IQA模型没有同时考虑这些因素。因此,本研究试图开发一个有效的和高效的IQA度量。对比度是表征图像质量的一种固有视觉属性,视觉显著性(VS)是引起人类注意的一种质量。该模型利用这两个特征来表征图像的局部质量。在获得局部对比度质量图和全局VS质量图之后,我们将前两个质量图的加权标准差加在一起以产生最终的质量分数。三个基准数据库(LIVE,TID 2008和CSIQ)的实验结果表明,我们的模型在与人类对视觉质量的判断的相关性方面表现最好。此外,与竞争的IQA模型相比,该模型是更有效的。
2018-10-16 cs.CV
Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects
Northwestern Polytechnical University(西北工业大学)
主流的人群计数方法是对密度图进行回归和积分得到计数结果。由于对同一个头部的密度表示符合其邻近分布,它嵌入了具有不同值的同类对象,而人类计数模型的不变特征,即与对象的相似性。受此启发,我们提出了一个合理的和灵活的人群计数框架。首先,我们利用计数标量作为监督信号,为类似事件提供全局和隐含的指导。然后,利用大核CNN来模仿人类的范例,首先对不变知识进行建模,然后进行滑动来比较相似性。之后,对预训练的类间相似性参数进行重新参数化,以满足相似性比较时的类内方差。最后,随机缩放补丁收益率(RSY)的建议,以促进长距离依赖的相似性建模。在人群计数的五个具有挑战性的基准上进行的大量实验表明,所提出的框架达到了最先进的水平。
2022-12-02 cs.CV
Exploiting inter-image similarity and ensemble of extreme learners for fixation prediction using deep features
Aalto University(阿尔托大学);University of Central Florida(中佛罗里达大学);University of Oulu(奥卢大学)
本文提出了一种基于图像间相似性和极限学习机(ELM)集成的新型注视预测和显着性建模框架。提出的框架的灵感来自两个观察,1)场景的上下文信息以及低级别的视觉线索调节注意,2)场景记忆性对眼动模式的影响所造成的相似性的一个场景,以前的视觉经验。出于这样的观察,我们开发了一个框架,使用极端学习器的集合来估计给定图像的显着性,每个极端学习器都在与输入图像相似的图像上训练。也就是说,在检索给定图像的一组相似图像之后,使用ELM从检索到的图像集中的每个图像学习显著性预测器,从而产生系综。给定图像的显着性,然后测量由合奏的成员预测显着性值的平均值。
2016-10-20 cs.AI cs.CV
From Saliency to DINO: Saliency-guided Vision Transformer for Few-shot Keypoint Detection
The Australian National University(澳大利亚国立大学);Data61/CSIRO(联邦科学与工业研究组织Data61部门)
提出显著性引导的视觉Transformer模型SalViT,通过掩码自注意力和形态学学习器实现动态感受野,在五个数据集上表现优异且严重遮挡下PCK提升约10%。
2023-04-06 cs.CV
Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization
KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们解决的问题,在单一的图像对象的无监督定位。与以前的最先进的方法相比,我们的方法是完全无监督的,在这个意义上,没有关于图像的先验实例级或类别级信息。此外,我们单独对待每个图像,不依赖于任何相邻图像的相似性。我们采用基于深度学习的显着图和区域建议的生成来解决这个问题。使用编码器/解码器架构来确定图像中的第一显著区域。所得到的显着图与来自类别不可知区域提议网络的区域提议相匹配,以粗略地定位候选对象区域。这些区域基于重叠和相似性比率被进一步细化。我们在基准数据集上的实验评估表明,该方法在定位精度方面接近当前最先进的方法,即使这些方法使用多帧。此外,我们创建了一个更具挑战性和现实的数据集,具有多个对象类别和不同的视点和照明条件,用于评估该方法在现实世界场景中的性能。
2018-04-11 cs.CV
FixaTons: A collection of Human Fixations Datasets and Metrics for Scanpath Similarity
University of Florence(佛罗伦萨大学);University of Siena(锡耶纳大学)
在过去的三十年里,人类视觉注意一直是各个学科非常感兴趣的话题。在计算机视觉中,已经提出了许多模型来预测人类对视觉刺激的注视的分布。最近,由于创建了大量数据,机器学习算法在显著图估计任务上获得了最先进的性能。另一方面,对扫描路径的计算模型研究较少。作品往往只是描述性的或特定的任务。这是因为扫描路径更难建模,因为它必须包括动态的描述。通用计算模型存在于文献中,但随后在显著性预测任务中进行评估,因此丢失了关于动态和行为的信息。此外,两个技术原因限制了研究。第一个原因是缺乏鲁棒的和统一使用的度量来比较扫描路径之间的相似性。第二个原因是缺乏足够大和多样的扫描路径数据集。在这份报告中,我们希望在两个方向上提供帮助。我们提出了FixaTons,一个大型的数据集人类扫描路径(时间顺序的固定序列)和显着性图。它附带了一个软件库,便于数据使用,统计计算和实施扫描路径和显着性预测评估的指标。
2018-10-03 cs.AI cs.CV
Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn(帕德博恩大学)
基于区域的人工注意力构成了一个框架,生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而,对于许多后注意任务,例如识别或跟踪对象,单个片段是不够的。在这里,我们提出了一个显着性指导的方法,分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果,通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
Reinforcing Local Feature Representation for Weakly-Supervised Dense Crowd Counting
由于大量的注释,完全监督的人群计数是一项艰巨的任务。很少有作品专注于每周监督的人群计数,其中只有全球人群数量可用于训练。每周监督人群计数的主要挑战是缺乏当地监督信息。为了解决这个问题,我们提出了一个自适应特征相似性学习(SFSL)网络和全局-局部一致性(GLC)损失,以加强局部特征表示。我们引入了一个特征向量,它代表了无偏特征估计的人。该网络自适应地更新特征向量,并利用特征相似性对人群数量进行回归。此外,所提出的GLC损失利用了来自全球和局部区域的网络估计之间的一致性。实验结果表明,我们提出的方法基于不同的骨干缩小了弱监督和全监督密集人群计数之间的差距。
2022-02-22 cs.CV
An Adaptive Training-less System for Anomaly Detection in Crowd Scenes
Jadavpur University(贾达布尔大学)
人群视频中的异常检测已经成为计算机视觉界的热门研究领域。几种现有的方法通常在使用或不使用标记数据的情况下执行关于场景的先验训练。然而,很难始终保证先验数据的可用性,特别是对于偏远地区监控等场景。为了解决这样的挑战,我们提出了一个自适应的训练少的系统,能够检测异常的飞行,同时动态估计和调整响应的基础上某些参数。这使得我们的系统在本质上既少训练又自适应。我们的管道由三个主要组成部分,即,自适应3D-DCT模型的多目标检测为基础的关联,通过显着调制光流的局部运动结构描述,和基于地球移动距离(EMD)的异常检测。该模型,尽管是训练免费的,被发现实现与公开可用的UCSD,UMN,CHUK-Avenue和ShanghaiTech数据集上的几个国家的最先进的方法相当的性能。
2019-06-03 cs.CV
What can I do here? Leveraging Deep 3D saliency and geometry for fast and scalable multiple affordance detection
University of Bristol(布里斯托大学)
本文开发和评估了一种新的方法,允许在视觉恢复pointclouds的可扩展性和多实例的方式检测启示。我们的方法与其他方法相比具有许多优势,因为它基于高度并行化的一次性学习,在商品硬件中速度很快。该方法是混合的,因为它使用几何表示以及能够识别3D场景显著性的最先进的深度学习方法。几何组件允许紧凑和有效的表示,提高了深度网络架构的性能,而深度网络架构本身已经证明是不够的。此外,我们的方法不仅允许预测输入场景是否提供或不提供的相互作用,而且还允许这些相互作用发生的对象的姿势。我们的预测与众包的人类判断非常一致,因为它们以87%的概率被首选,显示出高的改进率,性能比仅深度学习的基线高出近四倍(4倍),并且比以前的技术快七倍(7倍)。
2018-12-03 cs.CV cs.RO
TSalV360: A Method and Dataset for Text-driven Saliency Detection in 360-Degrees Videos
IEEE CBMI 2025
针对360度视频文本驱动显著性检测任务,本文构建了含1.6万组三元组的TSV360数据集,提出融合视觉语言模型、相似度模块与视口时空交叉注意力的TSalV360方法,经评估性能与现有最优视觉方法相当,可实现定制化检测。
2025-09-30 cs.CV
Anomaly Detection and Localization in Crowded Scenes by Motion-field Shape Description and Similarity-based Statistical Learning
Fudan University(复旦大学);China University of Petroleum(中国石油大学)
在拥挤的场景中,异常行为的检测和定位是具有挑战性的,因为高密度的人使得对象分割和跟踪非常困难。我们关联的多帧的光流捕捉短期的轨迹,并引入基于直方图的形状描述符被称为形状上下文来描述这样的短期轨迹。此外,我们提出了一个基于K-NN相似性的统计模型来检测异常的时间和空间,这是一个无监督的一类学习算法,不需要聚类,也没有任何先验假设。首先,我们从测试样本的训练集中提取K-NN样本,然后利用每对K-NN样本之间的相似性来构建高斯模型。最后,以联合概率的形式计算高斯模型下测试样本与K近邻样本的相似性概率。通过分别判断联合概率在时间和空间上是否低于预定义的阈值,可以检测异常事件。这样的方案可以适应整个场景,因为这样计算的概率不受由透视失真引起的运动失真的影响。我们对真实世界的监控视频进行了实验,结果表明,该方法可以可靠地检测和定位视频序列中的异常事件,优于国家的最先进的方法。
2018-05-27 cs.CV
Novelty Detection via Network Saliency in Visual-based Deep Learning
Yale University(耶鲁大学)
机器学习驱动的安全关键型自主系统,如自动驾驶汽车,必须能够检测到其训练模型无法做出可靠预测的情况。通常被视为一个黑盒子,它是不明显的,以确定何时模型将作出一个安全的决定,何时将作出一个错误的,也许危及生命的一个。以前的工作新奇检测处理高度结构化的数据,并没有很好地转化为动态的,现实世界的情况。本文提出了一个多步骤的框架,利用训练的预测模型和一个新的图像相似性度量学习的信息,在基于视觉的自主系统中检测新的场景。我们证明了这种方法的有效性,通过实验在真实世界的驾驶数据集以及我们的室内赛车环境。
2019-06-09 cs.CV cs.LG stat.ML
Context Embedding Networks
California Institute of Technology(加州理工学院)
低维嵌入捕捉数据集合中感兴趣的主要变化对于许多应用都很重要。构建这些嵌入的一种方法是从人群中获得相似性的估计。然而,相似性是一个多维的概念,因人而异。现有的用于从人群中学习嵌入的模型通常会做出简化的假设,例如所有个体都使用相同的标准来估计相似性,标准列表是预先已知的,或者人群工作者不会受到他们看到的数据的影响。为了克服这些限制,我们引入了上下文嵌入网络(CEN)。除了从图像中学习可解释的嵌入之外,CEN还对不同属性以及视觉上下文(即由一组图像突出显示的视觉属性)的工作者偏见进行建模。两个嘈杂的人群注释数据集上的实验表明,与现有方法相比,对工人偏见和视觉上下文进行建模会产生更多可解释的嵌入。
2018-03-29 cs.AI cs.CV cs.LG
Semantic Saliency from Multi-Modal Large Language Model Scene Understanding Maps
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出全自动语义显著性计算方法AUTO-SUM,通过MLLM描述场景并计算语义相似度,其预测人类关注物体的性能优于多数低层显著性模型,可作为补充低层模型的语义显著性模型。
2026-10-14 cs.CV
A Framework for Video-Driven Crowd Synthesis
Inscape Corp.(Inscape公司);University of Ontario Institute of Technology(安大略理工大学)
我们提出了一个框架,视频驱动的人群合成。对从输入人群视频中提取的运动矢量进行处理以计算全局运动路径。这些路径对输入视频中观察到的主要运动进行编码。然后,这些路径被馈送到基于行为的人群模拟框架中,该框架负责合成尊重视频中观察到的运动模式的人群动画。我们的系统合成三维虚拟人群动画虚拟人沿人群模拟框架返回的轨迹。我们还提出了一个新的度量标准,用于比较合成人群和样本人群之间的“视觉相似性”。我们展示了所提出的方法在不同的设置下收集的人群视频。
2018-03-13 cs.CV
Stacked Pooling: Improving Crowd Counting by Boosting Scale Invariance
Zhejiang University(浙江大学);Southwest Jiaotong University(西南交通大学);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探讨了跨尺度的相似性人群计数的情况下,不同尺度的区域往往表现出较高的视觉相似性。该特征在同一图像内和不同图像间具有普遍性,表明了人群计数模型尺度不变性的重要性。受此启发,在本文中,我们提出了简单但有效的池化模块变体,即,多核池化和堆栈池化,提高了卷积神经网络(CNN)的尺度不变性,有利于人群密度的估计和计数。具体地,多核池化包括池化具有多个感受野的核以捕获多尺度局部范围处的响应。堆栈池是多核池的一种等价形式,同时,它大大降低了计算成本。我们提出的池化模块没有引入额外的参数到模型中,可以很容易地取代香草池化层的实现。在两个基准人群计数数据集的实证研究中,堆叠池在大多数情况下击败了香草池层。
2018-08-22 cs.CV
Instance-aware Image and Sentence Matching with Selective Multimodal LSTM
National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
有效的图像和句子匹配取决于如何很好地衡量它们的全局视觉语义相似性。基于观察到这种全局相似性来自图像(对象)和句子(单词)的成对实例之间的多个局部相似性的复杂聚合,我们提出了一种选择性多模态长短期记忆网络(sm-LSTM),用于实例感知的图像和句子匹配。sm-LSTM在每个时间步都包含一个多模态上下文调制注意力方案,通过预测图像和句子的成对实例感知显着性图,可以选择性地关注图像和句子的一对实例。对于选定的成对实例,基于预测的显著性图获得它们的表示,然后进行比较以测量它们的局部相似性。通过在几个时间步内类似地测量多个局部相似性,sm-LSTM顺序地将它们与隐藏状态聚合,以获得最终匹配分数作为所需的全局相似性。实验结果表明,该模型能够很好地匹配复杂内容的图像和句子,并在两个公共基准数据集上取得了较好的效果。
2016-11-17 cs.CV
Exemplar-AMMs: Recognizing Crowd Movements from Pedestrian Trajectories
在本文中,我们提出了一种新的方法来识别人群运动的类型,人群轨迹使用基于代理的运动模型(AMM)。我们的想法是应用一些AMM,被称为范例AMM,来描述人群运动。具体来说,我们提出了一个优化框架,过滤掉人群轨迹中的未知噪声,并测量它们与样本AMM的相似性,以产生人群运动特征。然后,我们解决我们的现实世界中的人群运动识别问题作为一个多标签分类问题。我们的实验表明,所提出的功能优于国家的最先进的方法,从他们的轨迹识别模拟和现实世界的人群运动。最后,我们创建了一个合成数据集SynCrowd,它包含各种场景中的2D人群轨迹,由各种人群模拟器生成。该数据集可以作为人群分析工作的训练集或基准。
2016-03-31 cs.CV
Exploit the potential of Multi-column architecture for Crowd Counting
Wuhan University(武汉大学);University of Dundee(邓迪大学);Tokyo Institute of Technology(东京工业大学)
人群计数是计算机视觉中一项重要而又具有挑战性的任务,由于严重的遮挡,复杂的背景和大规模的变化等,多列架构被广泛采用,以克服这些挑战,在许多公共基准测试中产生最先进的性能。然而,这种设计仍然存在两个问题:规模限制和特征相似性。因此,进一步的性能改进受到限制。在本文中,我们提出了一种新的人群计数框架,称为金字塔规模网络(PSNet),以明确解决这些问题。具体而言,针对尺度限制,我们采用三个金字塔尺度模块(PSM),有效地捕捉多尺度特征,它集成了一个消息传递机制和一个注意力机制到多列架构。此外,针对特征相似性,引入了一种新的损失函数--多列方差损失函数,使得PSM中每列学习的特征具有适当的差异。据我们所知,PSNet是第一个明确解决多列设计中的尺度限制和特征相似性的工作。在五个基准数据集上进行的大量实验证明了所提出的创新的有效性以及优于最先进技术的性能。我们的代码可在https://github.com/oahunc/Pyramid_Scale_Network上公开获得
2020-07-28 cs.CV cs.LG
Marine Saliency Segmenter: Object-Focused Conditional Diffusion with Region-Level Semantic Knowledge Distillation
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, The University of Sydney(悉尼大学计算机学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文提出基于扩散模型的海洋显著性分割器DiffMSS,通过区域级语义知识蒸馏和共识确定性采样,解决水下目标定位错误与边界不精确问题,并在实验中优于现有方法。
2025-06-01 cs.CV
Attention-based Saliency Hashing for Ophthalmic Image Retrieval
Harbin Institute of Technology(哈尔滨工业大学);Southern University of Science and Technology(南方科技大学);CVTE Research(视源股份研究院);The Cixi Institute of Biomedical Engineering, Chinese Academy of Sciences(中国科学院慈溪生物医学工程研究所)
深度哈希方法已被证明是有效的大规模医学图像搜索辅助临床医生基于参考的诊断。然而,当显著区域在眼科图像中起最大区分作用时,现有的深度哈希方法没有充分利用深度网络的学习能力来有针对性地捕获显著区域的特征。不同等级或类别的眼科图像可以共享类似的总体性能,但是具有可以通过挖掘显著区域来区分的细微差异。为了解决这个问题,我们提出了一种新的端到端网络,命名为基于注意力的显着性哈希(ASH),用于学习紧凑的哈希代码来表示眼科图像。ASH嵌入了一个空间注意力模块,更多地关注显着区域的表示,并突出了它们在区分眼科图像中的重要作用。利用空间注意力模型,将显著区域的信息映射到哈希码中进行相似度计算。在训练阶段,我们输入图像对来共享网络的权重,并设计成对损失来最大化散列码的可分辨性。在检索阶段,ASH通过端到端的方式输入图像得到哈希码,然后利用哈希码进行相似度计算,返回最相似的图像。在两种不同形式的眼科图像数据集上进行的大量实验表明,由于空间注意力模块的巨大贡献,与最先进的深度哈希方法相比,所提出的ASH可以进一步提高检索性能。
2020-12-07 cs.AI cs.CV
Effective Object Tracking in Unstructured Crowd Scenes
Indian Institute of Technology Gandhinagar(甘地纳加尔印度理工学院)
在本文中,我们提出了一个旋转变量导向纹理曲线(OTC)描述符为基础的均值漂移算法跟踪一个对象在一个非结构化的人群场景。该算法的工作原理是首先获得OTC特征手动选择的对象目标,然后通过使用目标的所有OTC特征创建一个视觉词汇表。利用码书编码方法得到目标直方图,然后将其用于均值漂移框架中进行相似性搜索。结果获得不同的视频具有挑战性的场景和所提出的方法与几个国家的最先进的方法的比较。分析显示了所提出的在非结构化人群场景中跟踪对象的方法的优点和局限性。
2015-10-02 cs.CV
Modeling human visual search: A combined Bayesian searcher and saliency map approach for eye movement guidance in natural scenes
Instituto del Cálculo, Universidad de Buenos Aires – CONICET(布宜诺斯艾利斯大学计算研究所 – CONICET)
寻找物体对于几乎所有日常视觉任务都是必不可少的。显著性模型对于预测自然图像中的注视位置是有用的,但是是静态的,即,它们没有提供关于注视的时间顺序的信息。如今,该领域最大的挑战之一是超越显着图来预测与视觉任务相关的一系列注视,例如搜索给定的目标。贝叶斯观察者模型已经提出了这项任务,因为他们代表视觉搜索作为一个积极的采样过程。然而,它们大多是在人工图像上进行评估的,它们如何适应自然图像在很大程度上仍未被探索。在这里,我们提出了一个统一的贝叶斯模型的视觉搜索显着图作为先验信息的指导。我们通过在自然场景中记录眼球运动的视觉搜索实验来验证我们的模型。我们发现,虽然国家的最先进的显着性模型表现良好,在预测的前两个固定在视觉搜索任务,其性能下降到机会之后。这表明,显着图本身是很好的模型自下而上的第一印象,但不足以解释自上而下的任务信息是至关重要的扫描路径。因此,我们建议使用它们作为先验的贝叶斯搜索。这种方法导致整个扫描路径的行为非常类似于人类,无论是在作为固定等级和扫描路径相似性的函数发现的目标的百分比,再现整个序列的眼球运动。
2020-12-08 cs.AI cs.CV q-bio.NC
Region-Aware Network: Model Human's Top-Down Visual Perception Mechanism for Crowd Counting
Xi'an Jiaotong University(西安交通大学)
背景噪声和尺度变化是人群计数中常见的问题。人类在扫视人群图像时,通过全局感受野的注意力、人群区域和人群区域的拥挤程度,可以立即知道人群的大致数量和位置。因此,在本文中,我们提出了一种新的反馈网络与区域感知块称为RANet通过模拟人类自顶向下的视觉感知机制。首先,我们引入了一个反馈架构来生成优先级地图,提供有关候选人群区域在输入图像的先验。先验知识使得RANet能够更多地关注人群区域。然后,我们设计了区域感知块,它可以通过全局感受野自适应地将上下文信息编码到输入图像中。更具体地说,我们以列向量的形式扫描整个输入图像及其优先级图,以获得估计它们的相似性的相关矩阵。获得的相关矩阵将被用来建立像素之间的全局关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。
2022-06-20 cs.CV
Explainable Face Verification via Feature-Guided Gradient Backpropagation
EPFL(洛桑联邦理工学院)
针对人脸识别系统决策缺乏可靠解释的问题,提出基于特征引导梯度反向传播的FGGB方法,通过生成相似/差异性显著性图解释验证决策,性能优于现有最先进方法。
2024-03-07 cs.CV eess.IV
Switching Convolutional Neural Network for Crowd Counting
Indian Institute of Science(印度科学理工学院)
我们提出了一种新的人群计数模型,将给定的人群场景映射到其密度。人群分析是由无数的因素,如人之间的相互遮挡,由于极端拥挤,人和背景元素之间的外观高度相似,以及相机视点的大变化。当前最先进的方法通过使用多尺度CNN架构、递归网络和来自具有不同感受野的多列CNN的特征的后期融合来解决这些因素。我们提出了切换卷积神经网络,它利用图像内人群密度的变化来提高预测人群计数的准确性和定位。基于在训练期间建立的CNN的人群计数预测质量,将来自人群场景内的网格的块中继到独立的CNN回归器。独立的CNN回归器被设计为具有不同的感受野,并且训练开关分类器以将人群场景补丁中继到最佳的CNN回归器。我们对所有主要的人群计数数据集进行了广泛的实验,并证明了与当前最先进的方法相比更好的性能。我们提供了可解释的表示从开关推断的人群场景补丁的空间的multichotomy。观察到,开关基于人群的密度将图像块中继到特定的CNN列。
2017-08-03 cs.CV
$S^{2}$-FracMix: Label-Preserving Self-Saliency Mixup Augmentation
The University of Melbourne(墨尔本大学);Information Technology University(信息技术大学);Westlake University(西湖大学)
提出$S^{2}$-FracMix框架,通过自显著性混合和分形模式注入,在单图像内生成标签一致的增强样本,提升视觉模型的泛化性和鲁棒性,在多个任务上达到最优。
2026-06-25 cs.CV
Real-Time Anomaly Detection and Localization in Crowded Scenes
Malek Ashtar University of Technology(马利克·阿什塔尔理工大学);Iran University of Science and Technology(伊朗科技大学);Auckland University of Technology(奥克兰理工大学)
在本文中,我们提出了一种方法,用于实时的【形】异常检测和定位在拥挤的场景。每个视频被定义为一组不重叠的立方体补丁,并使用两个局部和全局描述符进行描述。这些描述符从不同方面捕获视频属性。通过结合简单且具有成本效益的高斯分类器,我们可以区分视频中的正常活动和异常活动。局部和全局特征基于相邻块之间的结构相似性,并且使用稀疏自动编码器以无监督的方式学习特征。实验结果表明,我们的算法是一个国家的最先进的程序在UCSD ped2和UMN基准,但更有效的时间。实验证实,我们的系统可以可靠地检测和定位异常,只要他们在视频中发生。
2015-11-21 cs.CV
Global Context Aggregation Network for Lightweight Saliency Detection of Surface Defects
Zhengzhou University(郑州大学);Engineering Research Center of Intelligent Swarm Systems, Ministry of Education(教育部智能集群系统工程研究中心);National Supercomputing Center in Zhengzhou(国家超级计算郑州中心);Tianjin University(天津大学);The University of Sydney(悉尼大学)
本文提出GCANet,通过深度自注意力与通道参考注意力模块实现表面缺陷的轻量级显著性检测,在精度与速度间取得更优平衡。
2023-09-22 cs.CV
Super Diffusion for Salient Object Detection
Shandong University(山东大学);University of California, San Diego(加州大学圣地亚哥分校);Peking University(北京大学)
显著性目标检测方法的一个主要分支是基于扩散的方法,该方法在给定图像上构造图模型,并通过扩散矩阵将种子显著性值扩散到整个图中。虽然它们的性能对用于扩散矩阵定义的特定特征空间和尺度敏感,但很少有工作发表来系统地提高扩散的通用机制下的显著目标检测的鲁棒性和准确性。在这项工作中,我们首先提出了一个新的观点的扩散过程的工作机制的基础上的数学分析,这表明扩散过程实际上是计算节点的相似性相对于种子的基础上扩散地图。在此分析之后,我们提出了超扩散,一种新的包容性的基于学习的框架显着目标检测,它使最佳和强大的性能,通过整合的特征空间,规模,甚至原来计算的非扩散为基础的显着目标检测功能的大池。通过监督学习确定用于集成的最佳参数的封闭形式的解决方案。在地方一级,我们建议在整合之前促进每个个体的扩散。我们的数学分析揭示了显着性扩散和谱聚类之间的密切关系。基于此,我们建议从最具鉴别力的特征向量和恒定特征向量(用于显著性归一化)重新合成每个个体扩散矩阵。所提出的框架实施和实验上prehistoricused基准数据集,一贯导致国家的最先进的性能。
2018-11-22 cs.CV
Real-Time Anomalous Behavior Detection and Localization in Crowded Scenes
在本文中,我们提出了一个准确和实时的【形】异常检测和定位在拥挤的场景,并提出了两个描述符来表示异常行为的视频。我们认为视频是一组立方体补丁。基于异常发生的低可能性,以及视频中正常补丁中结构的冗余性,考虑两个(全局和局部)视图来对视频进行建模。我们的算法有两个组成部分,(1)表示补丁使用局部和全局描述符,和(2)建模的训练补丁使用一个新的表示。我们有两个高斯模型的所有训练补丁方面的全球和局部描述符。局部和全局特征基于相邻块之间的结构相似性和以无监督方式学习的特征。我们提出了一种融合策略,将这两个描述符作为我们系统的输出。实验结果表明,我们的算法执行像一个国家的最先进的方法在几个标准的数据集,但甚至是更有效的时间。
2016-01-02 cs.CV
A novel graph structure for salient object detection based on divergence background and compact foreground
在本文中,我们提出了一个有效的和判别模型的显着目标检测。我们的方法是在一个逐步的机制,根据发散背景和紧凑的前景线索。为了有效地提高对象边界上节点之间的区分度和对象区域之间的相似性,引入虚拟节点的概念构造了一个图。为了消除错误的输出,分别介绍了一种背景种子的选择方案和一种紧凑前景区域的生成方法。与现有方法不同的是,我们根据对应节点与虚拟节点之间的关系来计算每个节点的显著值。为了实现显着的性能改善一致,我们提出了一个扩展流形排名(EMR)算法,巧妙地结合了抑制/活动节点和中间层信息。大量的实验结果表明,该算法表现出良好的国家的最先进的显着性检测方法在不同的评价指标在几个基准数据集。
2017-11-30 cs.CV
Motion-Enhanced Nonlocal Similarity Implicit Neural Representation for Infrared Dim and Small Target Detection
Xi’an Jiaotong University(西安交通大学);Northwest Institute of Nuclear Technology(西北核技术研究所);China Telecom Shaanxi Branch(中国电信陕西分公司)
针对红外暗弱小目标检测中动态背景和弱特征导致的漏检问题,提出运动增强非局部相似性隐式神经表示框架,通过光流估计与多帧融合增强运动显著性,并利用张量分解INR编码非局部低秩性,实现了更高精度和鲁棒性的检测。
2025-10-12 cs.CV
FaceSaliencyAug: Mitigating Geographic, Gender and Stereotypical Biases via Saliency-Based Data Augmentation
Dublin City University(都柏林城市大学);University of Galway(戈尔韦大学)
本文提出 FaceSaliencyAug 数据增强方法,通过在人脸显著区域随机应用掩码来提升数据多样性,从而缓解 CNN 和 ViT 模型中的地理、性别及刻板印象偏见,并在多个数据集上验证了其去偏效果。
2024-10-17 cs.AI cs.CV
Structure-measure: A New Way to Evaluate Foreground Maps
Nankai University(南开大学);UCF(中佛罗里达大学)
前景图评估对于衡量对象分割算法的进展是至关重要的,特别是在显著目标检测领域,其中目的是准确地检测和分割场景中最显著的对象。几个广泛使用的措施,如曲线下面积(AUC),平均精度(AP)和最近提出的Fbw已被用来评估一个非二进制显着图(SM)和地面实况(GT)地图之间的相似性。这些措施是基于像素的错误,往往忽略了结构的相似性。然而,行为视觉研究表明,人类视觉系统对场景中的结构高度敏感。在这里,我们提出了一种新的,高效的,易于计算的措施称为结构相似性度量(结构测量)来评估非二进制前景图。我们的新措施同时评估SM和GT图之间的区域感知和对象感知结构相似性。我们使用5个基准数据集上的5个元度量来证明我们的度量比现有度量的优越性。
2017-08-02 cs.CV
TF-SSD: A Strong Pipeline via Synergic Mask Filter for Training-free Co-salient Object Detection
XJTLU(西交利物浦大学);University of Liverpool(利物浦大学);China University of Petroleum (East China)(中国石油大学(华东));Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出TF-SSD,通过SAM和DINO的协同作用,利用视觉基础模型进行无训练共显著物体检测,通过掩码过滤提升检测性能,实验显示优于现有方法。
2026-04-01 cs.CV
One-Shot Crowd Counting With Density Guidance For Scene Adaptation
Jiangsu Key Laboratory of Intelligent Weather Forecasting and Applications Based on Big Data(江苏大数据智能天气预报与应用重点实验室);State Key Laboratory of Climate System Prediction and Risk Management (CPRM)(气候变化预测与风险管理国家重点实验室);ICAR/CIC-FEMD/KLME/ILCEC;Nanjing University of Information Science and Technology(南京信息工程大学);School of Artificial Intelligence, OPtics and ElectroNics, Northwestern Polytechnical University(人工智能、光学与电子学学院,西北工业大学);School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
提出利用局部和全局密度特征引导模型适应未见过的监控场景,通过多局部密度学习器学习支持场景中的多原型密度分布,并编码局部密度相似性矩阵进行局部引导,同时提取全局密度特征进行全局引导,在三个监控数据集上优于现有方法。
2026-05-30 cs.CV
Human Attention-Guided Explainable Artificial Intelligence for Computer Vision Models
University of Hong Kong(香港大学);Huawei Research Hong Kong(华为香港研究院);City University of Hong Kong(香港城市大学)
该研究针对计算机视觉模型的显著性可解释AI方法,提出人类注意力引导的HAG-XAI框架,通过可训练函数与平滑核对齐人类注意力,在目标检测任务上同时提升解释的合理性与忠实度。
2023-05-05 cs.AI cs.CV
RSONet: Region-guided Selective Optimization Network for RGB-T Salient Object Detection
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Key Laboratory of Machine Intelligence and System Control, Ministry of Education(机器智能与系统控制重点实验室,教育部);School of Automation, Hangzhou Dianzi University(自动化学院,杭州电子科技大学);School of information engineering, Huzhou University(信息工程学院,湖州大学);School of Data Science, Lingnan University(数据科学学院,岭南大学)
本文提出RSONet用于解决RGB和热图像间显著区域不一致问题,通过区域引导和选择性优化模块融合多模态特征,提升显著目标检测性能。
2026-03-13 cs.CV
Weakly Supervised Video Salient Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);CSIRO Australia(澳大利亚联邦科学与工业研究组织);Inception Institute of Artificial Intelligence(起源人工智能研究院)
基于逐像素标记的训练数据集的全监督视频显著性目标检测算法,在获取耗时且代价高昂的情况下,性能得到了显著提高。为了减轻数据标注的负担,我们提出了第一个弱监督的视频显著目标检测模型的基础上重新标记的“固定引导涂鸦注释”。具体来说,提出了一个“外观-运动融合模块”和基于双向ConvLSTM的框架,以实现有效的多模态学习和基于我们新的弱注释的长期时间上下文建模。此外,我们设计了一种新颖的前景-背景相似性损失来进一步探索跨帧的标签相似性。还引入了弱注释提升策略,以通过新的伪标签生成技术来提高我们的模型性能。在六个基准视频显著性检测数据集上的实验结果表明了该方法的有效性。
2021-04-06 cs.CV
Hyperspectral Remote Sensing Images Salient Object Detection: The First Benchmark Dataset and Baseline
Beijing Institute of Technology(北京理工大学)
本文提出首个高光谱遥感图像显著目标检测数据集HRSSD及基线模型DSSN,通过跨级显著性评估块和高分辨率融合模块有效提升检测性能并验证了泛化能力。
2025-04-03 cs.CV
Saliency-Based diversity and fairness Metric and FaceKeepOriginalAugment: A Novel Approach for Enhancing Fairness and Diversity
Dublin City University(都柏林城市大学);University of Galway(戈尔韦大学);CRT-AI;I-Form Research Centre(I-Form研究中心);Lero Research Centres(Lero研究中心)
本研究提出数据增强方法FaceKeepOriginalAugment及基于显著性的多样性公平性度量,通过平衡数据多样性与信息保留缓解计算机视觉模型的多类偏差,经多数据集验证可有效降低性别偏差、提升公平性。
2024-10-29 cs.AI cs.CV cs.MM
UltrasODM: A Dual Stream Optical Flow Mamba Network for 3D Freehand Ultrasound Reconstruction
Department of Information Technology(信息科技系);Indian Institute of Information Technology Allahabad Prayagraj(阿拉哈巴德普拉亚格拉杰信息科技学院);Department of Electronics & Communication Engineering(电子与通信工程系);Department of Computer Engineering and Mathematics(计算机工程与数学系);Universitat Rovira i Virgili(罗维拉-维格利大学)
UltrasODM通过双流框架和HITL层提升3D自由手超声重建的可靠性,减少误差并增强临床信任度。
2025-12-08 cs.CV cs.RO