Trajectory saliency detection using consistency-oriented latent codes from a recurrent auto-encoder
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);IRISA(法国信息与随机系统研究所)
在本文中,我们关注的是从视频序列中检测渐进动态显著性。更确切地说,我们感兴趣的是与运动相关的显著性,并且可能随着时间的推移逐渐出现。它可以与触发警报、专用附加处理或检测特定事件相关。轨迹代表了支持渐进式动态显著性检测的最佳方式。因此,我们将讨论轨迹显著性。如果一个轨迹偏离了与给定上下文相关的共同运动模式的正常轨迹,则该轨迹将被定性为显着的。首先,我们需要一个紧凑而有区别的轨迹表示。我们采用了(几乎)基于无监督学习的方法。由递归自动编码器估计的潜在代码提供期望的表示。此外,我们通过自动编码器损失函数强制正常(相似)轨迹的一致性。轨迹代码到考虑正常性的原型代码的距离是检测显著轨迹的手段。我们在合成和真实轨迹数据集上验证了我们的轨迹显著性检测方法,并突出了其不同组件的贡献。我们表明,我们的方法优于现有的方法从公共可用的数据集在火车站获得的行人轨迹(Alahi 2014)的几个场景。
2021-05-19 cs.CV
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction
Cognitive Computing Lab, Baidu Research(百度研究院认知计算实验室);The Australian National University(澳大利亚国立大学)
视觉Transformer网络在许多计算机视觉任务中显示出优越性。在本文中,我们进一步提出了一种新的生成视觉Transformer的潜变量以下的信息能量为基础的显着目标检测的先验。视觉Transformer网络和基于能量的先验模型通过基于马尔可夫链蒙特卡洛的最大似然估计进行联合训练,其中从潜在变量的难处理的后验和先验分布的采样由Langevin动力学执行。此外,利用生成式视觉Transformer,我们可以很容易地从图像中获得逐像素的不确定性图,这表明了从图像中预测显著性的模型置信度。与现有的生成模型不同,该模型将潜在变量的先验分布定义为简单的各向同性高斯分布,我们的模型使用基于能量的信息先验,可以更有表现力地捕获数据的潜在空间。我们提出的框架,RGB和RGB-D显着的目标检测任务。大量的实验结果表明,我们的框架不仅可以实现准确的显着性预测,而且有意义的不确定性地图,是符合人类的感知。
2021-12-27 cs.CV
Saliency Can Be All You Need In Contrastive Self-Supervised Learning
Leiden University(莱顿大学);Tel-Hai College(泰勒海学院);Migal Institute(米加尔研究所)
我们提出了一个增强政策的对比自监督学习(SSL)的形式已经建立了显着的图像分割技术,题为全球对比度为基础的显着区域检测。这种检测技术,这已经被设计用于无关的计算机视觉任务,经验观察到SSL协议中的增强促进剂的作用。这种观察植根于我们的实际尝试学习,通过SSL方式,太阳能电池板的航空图像,表现出具有挑战性的边界模式。在我们的问题域上成功地集成了这种技术后,我们制定了一个通用的程序,并进行了全面的,系统的性能评估与各种对比SSL算法的标准增强技术。在多个数据集上进行的这项评估表明,所提出的技术确实有助于SSL。我们假设显着的图像分割是否足以作为唯一的增强策略在对比SSL处理下游分割任务时。
2022-10-30 cs.CV
An Energy-Based Prior for Generative Saliency
the Australian National University(澳大利亚国立大学);Akool Research(Akool研究院);LinkedIn Ads(领英广告)
提出一种基于能量先验的生成式显著性预测框架,通过Langevin动力学联合训练生成器与能量先验,在RGB和RGB-D任务中实现了准确预测与可靠不确定性估计。
2023-06-27 cs.CV
Multilevel Saliency-Guided Self-Supervised Learning for Image Anomaly Detection
University of Fukui(福井大学);Toyohashi University of Technology(丰桥技术科学大学);Niigata University(新潟大学)
本文提出CutSwap方法,通过LayerCAM提取多级显著性图并聚类,交换高显著性补丁对位置生成语义真实的负样本,以提升自监督图像异常检测性能,并在两个主流基准数据集上取得最优结果。
2023-11-30 cs.CV
Invariance Analysis of Saliency Models versus Human Gaze During Scene Free Viewing
Shanghai Jiao Tong University(上海交通大学);University of Central Florida(中佛罗里达大学)
目前,大多数关于人类注视和显著性建模的研究都使用高质量的刺激。然而,在现实世界中,捕获的图像在整个获取、传输和显示链期间经历各种类型的失真。某些失真类型包括运动模糊、照明变化和旋转。尽管很少的努力,无处不在的扭曲视觉注意和显着性模型的影响还没有系统地研究。在本文中,我们首先创建了一个大规模的数据库,其中包括10个观察者的眼睛运动超过1900图像退化的19种类型的失真。其次,通过分析眼动和显着性模型,我们发现:a)观察者在失真与原始图像上看不同的位置,b)显着性模型的性能在失真图像上受到严重阻碍,最大的性能下降属于旋转和剪切失真。最后,我们调查的有效性,不同的扭曲时,作为数据增强转换。实验结果表明,一些有效的数据增强变换能够保持参考图像的人眼视线,提高深度显著性模型的抗失真能力,而一些无效的变换会严重改变人眼视线,降低模型的性能。
2018-10-10 cs.CV
Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Data61;Cognitive Computing Lab, Baidu Research(百度研究院认知计算实验室)
在本文中,我们提出了一个噪声感知的编码器-解码器框架,从嘈杂的训练样本中分离出一个干净的显着性预测器,其中嘈杂的标签由无监督的手工制作的基于特征的方法生成。该模型由两个子模型参数化的神经网络:(1)显着性预测器,将输入图像映射到干净的显着性图,和(2)噪声发生器,这是一个潜在的变量模型,从高斯潜在向量产生噪声。表示噪声标签的整个模型是两个子模型的总和。训练模型的目的是估计两个子模型的参数,同时推断每个带噪标签对应的特征向量。我们建议使用交替反向传播(ABP)算法来训练模型,该算法交替以下两个步骤:(1)学习反向传播,通过梯度上升来估计两个子模型的参数,以及(2)推理反向传播,通过朗之万动力学来推断训练噪声样本的潜在向量。为了防止网络收敛到平凡的解决方案,我们利用边缘感知的平滑损失来正则化隐藏的显着图,使其具有与其对应图像相似的结构。在多个基准数据集上的实验结果表明了该模型的有效性。
2020-07-23 cs.CV
SaliencyCut: Augmenting Plausible Anomalies for Anomaly Detection
University of Liverpool(利物浦大学);Duke Kunshan University(昆山杜克大学)
本文提出显著性引导的数据增强方法 SaliencyCut,通过生成合理范围内的伪异常并结合双头学习与逐块残差模块,提升开放集异常检测性能。
2023-11-01 cs.CV
A General Divergence Modeling Strategy for Salient Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
显著目标检测本质上是主观的,这意味着多个估计应该与同一输入图像相关。大多数现有的显著目标检测模型是确定性的,遵循点对点估计学习流水线,使得它们不能估计预测分布。虽然存在基于潜变量模型的随机预测网络来对预测变量进行建模,但是基于单个干净显著性注释的潜空间在探索显著性的主观性质方面不太可靠,导致不太有效的显著性发散建模。考虑到多个显着性注释,我们通过随机抽样引入了一个通用的发散建模策略,并将我们的策略应用于基于集成的框架和基于三个潜变量模型的解决方案,以探索显着性的主观性质。实验结果证明了我们的一般发散建模策略的优越性能。
2022-10-03 cs.CV
Saliency Guided Optimization of Diffusion Latents
College of Computer Science, Sichuan University(四川大学计算机学院)
针对文本到图像生成中均匀优化忽略人类视觉显著性的问题,提出SGOOL方法,通过显著性检测直接优化扩散潜变量,实现参数高效且即插即用的微调,显著提升图像质量与提示对齐效果。
2024-10-14 cs.CV
SAGE: Saliency-Guided Mixup with Optimal Rearrangements
University of Toronto(多伦多大学);Vector Institute(向量研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心);Borealis AI(Borealis人工智能公司);York University(约克大学)
数据增强是通过减少过拟合和提高泛化能力来训练精确模型的关键要素。对于图像分类,最流行的数据增强技术的范围从简单的光度和几何变换,到更复杂的方法,使用视觉显着性来制作新的训练样本。随着增强方法变得越来越复杂,它们提高测试精度的能力也会提高,但正如本文所示,这种方法变得繁琐、效率低下,并导致领域泛化较差。这激发了一种新的增强技术,该技术允许高精度增益,同时简单、有效(即,最小的计算开销)和可推广。为此,我们引入了具有最佳重排的显着性引导混合(SAGE),它通过使用视觉显着性作为指导来重新排列和混合图像对来创建新的训练样本。通过显式地利用显着性,SAGE促进了有区别的前景对象,并产生了对训练有用的信息丰富的新图像。我们在CIFAR-10和CIFAR-100上证明,SAGE在更高效的同时实现了更好或与最先进技术相当的性能。此外,在分布外设置和mini-ImageNet上的少样本学习中的评估表明,SAGE在不牺牲鲁棒性的情况下实现了改进的泛化性能。
2022-10-31 cs.CV cs.LG
ResizeMix: Mixing Data with Preserved Object Information and True Labels
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
数据增强是一种增加数据多样性的有力技术,可以有效地提高神经网络在图像识别任务中的泛化能力。最近基于数据混合的增强策略已经取得了巨大的成功。特别是,CutMix使用一种简单但有效的方法来改进分类器,即从一张图像中随机裁剪一个补丁并将其粘贴到另一张图像上。为了进一步提升CutMix的性能,一系列的工作探索使用图像的显著性信息来指导混合。我们系统地研究了显著性信息对混合数据的重要性,发现显著性信息对增强性能的提高并不是那么必要。此外,我们发现基于切割的数据混合方法带来了标签分配错误和对象信息丢失两个问题,这两个问题不能同时解决。我们提出了一种更有效但更容易实现的方法,即ResizeMix。我们通过直接将源图像粘贴到一个小补丁上并将其粘贴到另一个图像上来混合数据。与传统的基于切割的方法相比,所得到的面片保留了更多的物体信息。ResizeMix在图像分类和目标检测任务上都表现出明显优于CutMix和显著性引导方法的优势,而无需额外的计算成本,甚至优于大多数基于搜索的自动增强方法。
2020-12-21 cs.CV
ORSIFlow: Saliency-Guided Rectified Flow for Optical Remote Sensing Salient Object Detection
1University of Electronic Science;2Hainan University, Haikou, China;3China University of Mining \& Technology (Beijing), Beijing, China
ORSIFlow提出了一种基于显著性的校正流框架,将光学遥感显著物体检测转化为确定性潜在流生成问题,通过冻结变分自编码器构建紧凑潜在空间,提升推理效率,并设计显著特征判别器和校准器以增强显著性意识,实验表明其在多个公开基准上实现了最先进的性能。
2026-10-23 cs.CV
How is Gaze Influenced by Image Transformations? Dataset and Model
Shanghai Jiao Tong University(上海交通大学);MarkableAI Inc(MarkableAI公司);Baidu Research(百度研究院);West Virginia University(西弗吉尼亚大学);Université de Nantes(南特大学)
数据大小是开发深度显着性模型的瓶颈,因为收集眼动数据非常耗时且昂贵。目前关于人类注意和显著性建模的研究大多使用高质量的刻板印象刺激。然而,在现实世界中,捕获的图像经历各种类型的变换。我们可以使用这些转换来增强现有的显着性数据集吗?在这里,我们首先创建了一个新的显着性数据集,包括10个观察者对1900张图像的固定,这些图像通过19种类型的变换退化。其次,通过分析眼球运动,我们发现观察者在变换后的图像与原始图像上看不同的位置。第三,我们利用新的数据在变换后的图像,称为数据增强变换(DAT),训练深显着性模型。我们发现,标签保留DAT与人类的目光可以忽略不计的影响,提高显着性预测,而其他一些DAT,严重影响人类的目光降低性能。这些标签保持有效的增强变换提供了一种解决方案,以扩大现有的显着性数据集。最后,我们介绍了一种新的显着性模型的基础上生成对抗网络(称为GazeGAN)。提出了一种改进的UNet作为GazeGAN的生成器,它将经典的跳过连接与新颖的中心环绕连接(CSC)相结合,以利用多级特征。我们还提出了一个直方图损失的基础上替代卡方距离(ACS HistLoss),以改善显着图的亮度分布。在3个数据集上的大量实验和比较表明,GazeGAN在流行的显着性评价指标方面取得了最佳性能,并且对各种扰动具有更强的鲁棒性。我们的代码和数据可在https://github.com/CZHQuali…
2019-10-03 cs.CV
LatentAugment: Dynamically Optimized Latent Probabilities of Data Augmentation
Kyoto University(京都大学)
针对图像分类中最优数据增强策略难确定的问题,提出LatentAugment方法,动态估计并优化增强的潜在概率,理论上更通用高效,实验在多个数据集上准确率优于现有方法。
2023-05-04 cs.CV
SageMix: Saliency-Guided Mixup for Point Clouds
Korea University(高丽大学);Meta Reality Labs(Meta现实实验室)
数据增强是提高深度学习模型泛化能力的关键。Mixup是一种简单且广泛使用的数据增强技术,已被证明可以有效缓解过拟合和数据稀缺问题。此外,最近在图像域中的显著性感知Mixup的研究表明,保留区分部分有利于提高泛化性能。然而,这些基于Mixup的数据增强在3D视觉中,特别是在点云中的探索不足。在本文中,我们提出了SageMix,一个显着性指导的混合点云,以保持显着的局部结构。具体来说,我们从两个点云中提取显著区域,并将它们平滑地组合成一个连续的形状。通过重新加权显著性分数的简单顺序采样,SageMix保留了显著区域的局部结构。大量的实验表明,该方法始终优于现有的混合方法在各种基准点云数据集。使用PointNet++,我们的方法在3D Warehouse数据集(MN40)和ScanObjectNN中分别实现了2.6%和4.0%的准确率增益。除了泛化性能,SageMix还提高了鲁棒性和不确定性校准。此外,当采用我们的方法的各种任务,包括部分分割和标准的2D图像分类,我们的方法取得了竞争力的表现。
2022-10-13 cs.CV cs.LG
EventRPG: Event Data Augmentation with Relevance Propagation Guidance
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Northeastern University(东北大学);Seeing Machines(Seeing Machines公司);Monash University(莫纳什大学);Peking University(北京大学)
针对事件相机分类任务中SNN过拟合问题,提出基于相关性传播的显著性增强方法EventRPG,在多个识别任务上达到最优性能。
2024-03-14 cs.CV
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Center for Applied Scientific Computing(应用科学计算中心)
自动编码器是一个人工神经网络模型,它学习未标记数据的隐藏表示。对于线性传递函数,它类似于主成分分析(PCA)。虽然这两种方法都使用权重向量进行线性变换,但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性(SNS)的方法,排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差(NED)来衡量直方图的“兴趣度”,并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集,我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
SGCCNet: Single-Stage 3D Object Detector With Saliency-Guided Data Augmentation and Confidence Correction Mechanism
Chinese Academy of Sciences(中国科学院);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Liaoning Province(辽宁省)
本文提出单阶段3D检测器SGCCNet,通过显著性引导数据增强和置信度校正机制分别解决低质量目标学习不足与定位-分类置信度不一致问题,在KITTI上取得领先精度并具备良好可移植性。
2024-07-01 cs.AI cs.CV
UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional Variational Autoencoders
Australian National University(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Data61;Nankai University(南开大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Northwestern Polytechnical University(西北工业大学)
在本文中,我们提出了第一个框架(UCNet),通过从数据标记过程中学习,采用不确定性进行RGB-D显著性检测。现有的RGB-D显著性检测方法将显著性检测任务视为点估计问题,并在确定性学习管道之后产生单个显著性图。受显著性数据标记过程的启发,我们提出了通过条件变分自编码器的概率RGB-D显著性检测网络来模拟人类注释的不确定性,并通过在潜在空间中采样来为每个输入图像生成多个显著性图。通过提出的显着性共识过程,我们能够基于这些多个预测生成准确的显着性图。对6个具有挑战性的基准数据集对18个竞争算法的定量和定性评估证明了我们的方法在学习显着性图分布方面的有效性,从而在RGB-D显着性检测中实现了新的最先进技术。
2020-04-13 cs.CV
GuidedMixup: An Efficient Mixup Strategy Guided by Saliency Maps
Korea University(高丽大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出一种由显著性图引导的高效数据增强方法GuidedMixup,通过高效配对算法和平滑插值保留显著区域,在低计算开销下提升了模型泛化能力及对噪声和受损数据集的鲁棒性。
2023-06-29 cs.AI cs.CV cs.LG
COSE: A Consistency-Sensitivity Metric for Saliency on Image Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出COSE度量,利用数据增强量化显著性图的致性与敏感性,评估图像分类中解释方法的可靠性,发现多数方法更擅长解释Transformer模型,GradCAM整体表现较好但存在细粒度数据集上可变性不足的问题,并强调需平衡致性与敏感性才能忠实反映模型行为。
2023-09-20 cs.CV
Video Salient Object Detection via Fully Convolutional Networks
Beijing Institute of Technology(北京理工大学);University of East Anglia(东安格利亚大学)
本文提出了一种深度学习模型来有效地检测视频中的显著区域。它解决了两个重要问题:(1)在缺乏足够大的像素级注释视频数据的情况下进行深度视频显着性模型训练,以及(2)快速视频显着性训练和检测。所提出的深度视频显著性网络由两个模块组成,分别用于捕获空间和时间显著性信息。动态显着性模型,明确地纳入显着性估计从静态显着性模型,直接产生时空显着性推断,而无需耗时的光流计算。我们进一步提出了一种新的数据增强技术,该技术从现有的注释图像数据集模拟视频训练数据,这使我们的网络能够学习不同的显着性信息,并防止与有限数量的训练视频过拟合。利用我们的合成视频数据(150K视频序列)和真实视频,我们的深度视频显着性模型成功地学习了空间和时间显着性线索,从而产生准确的时空显着性估计。我们在DAVIS数据集(MAE为0.06)和FBMS数据集(MAE为0.07)上推进了最先进的技术,并且以更快的速度(所有步骤均为2fps)完成。
2017-12-09 cs.CV
Rethinking Data Augmentation for Single-source Domain Generalization in Medical Image Segmentation
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University (XJTLU)(西交利物浦大学);Duke Kunshan University(昆山杜克大学)
医学图像分割中的单源领域泛化(SDG)是一项具有挑战性的重要任务,因为领域移位在临床图像数据集中非常常见。以前的尝试大多数只进行全局/随机增强。它们的扩充样本通常在多样性和信息量方面不足,从而无法覆盖可能的目标域分布。在本文中,我们重新思考的数据增强战略SDG在医学图像分割。受医学图像的类级表示不变性和风格可变性的启发,我们假设看不见的目标数据可以从$C$(类号)随机变量的线性组合中采样,其中每个变量遵循类级的位置-尺度分布。因此,可以通过一般形式对随机变量进行采样来容易地进行数据扩充。在经验方面,我们在全局和局部(即类级)区域上使用约束B $\acute{\rm e}$ zier变换来实现这种策略,这可以大大增加增强多样性。进一步提出了一种显著性平衡融合机制,通过引入梯度信息,以适当的方向和幅度引导增强来丰富信息量。作为一个重要的贡献,我们从理论上证明了我们提出的增强可以导致不可见的目标域上的泛化风险的上界,从而证实了我们的假设。结合这两种策略,我们的显着性平衡位置规模增强(SLAug)在两个具有挑战性的SDG任务中大大超过了最先进的作品。代码可在https://github.com/Kaiseem/SLAug上获得。
2022-11-27 cs.CV
Concept Saliency Maps to Visualize Relevant Features in Deep Generative Models
Institute of Theoretical Physics, University of Wroclaw(弗罗茨瓦夫大学理论物理研究所);University of Warsaw(华沙大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在生成模型中评估、解释和可视化高级概念,例如变分自编码器(VAE),部分是由于缺乏在监督学习中生成显着图所需的已知预测类而具有挑战性。虽然显著图可以帮助识别相关特征(例如,像素),类似的框架在无监督学习中得到充分研究。因此,我们引入了一种新的方法来获得显着图的潜在表示已知或新的高层次的概念,通常称为概念向量生成模型。概念得分,类似于分类任务中的类得分,被定义为概念向量和编码的输入数据之间的点积,其可以容易地用于计算梯度。由此产生的概念显着性图显示,以突出被认为是重要的高层次概念的输入功能。我们的方法被应用到VAE的CelebA数据集的潜在空间,其中已知的属性,如“微笑”和“帽子”被用来阐明相关的面部特征。此外,我们的应用程序的空间转录组(ST)的小鼠嗅球的数据展示了潜在的代表性的形态层和分子特征,在推进我们对复杂的生物系统的理解。通过将流行的显着图方法扩展到生成模型,所提出的概念显着图有助于提高深度学习中潜变量模型的可解释性。代码再现和实现概念显着性图:https://github.com/lenbrocki/concept-saliency-maps
2019-10-29 cs.CV cs.LG stat.ML
FaceSaliencyAug: Mitigating Geographic, Gender and Stereotypical Biases via Saliency-Based Data Augmentation
Dublin City University(都柏林城市大学);University of Galway(戈尔韦大学)
本文提出 FaceSaliencyAug 数据增强方法,通过在人脸显著区域随机应用掩码来提升数据多样性,从而缓解 CNN 和 ViT 模型中的地理、性别及刻板印象偏见,并在多个数据集上验证了其去偏效果。
2024-10-17 cs.AI cs.CV
Energy-Based Generative Cooperative Saliency Prediction
The Australian National University(澳大利亚国立大学);Baidu Research(百度研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
传统的显着性预测模型通常学习从图像到其显着性图的确定性映射,因此无法解释人类注意力的主观性质。在本文中,模型的视觉显着性的不确定性,我们研究的显着性预测问题的角度来看,生成模型学习的条件概率分布的显着性图给定的输入图像,并处理显着性预测作为一个采样过程,从学习的分布。具体而言,我们提出了一个生成式合作显着性预测框架,其中条件潜变量模型(LVM)和条件基于能量的模型(EBM)联合训练,以合作的方式预测显着对象。LVM用作快速但粗略的预测器以有效地产生初始显著性图,然后通过EBM的迭代Langevin修订来细化,EBM用作缓慢但精细的预测器。这种从粗到细的合作显着性预测策略提供了两全其美。此外,我们提出了一个“协作学习,同时恢复”的策略,并将其应用于弱监督的显着性预测,其中显着性注释的训练图像的部分观察。最后,我们发现EBM中的学习能量函数可以作为一个细化模块,可以细化其他预训练显着性预测模型的结果。实验结果表明,我们的模型可以产生一组不同的和合理的显着性图的图像,并获得最先进的性能在完全监督和弱监督显着性预测任务。
2022-06-23 cs.CV
Adaptive Augmentation-Aware Latent Learning for Robust LiDAR Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory(深空探测全国重点实验室(深空探测实验室))
A3Point通过自适应增强感知潜在学习框架,有效缓解恶劣天气下的语义偏移问题,提升激光雷达语义分割的鲁棒性。
2026-03-01 cs.CV
Toward Better Understanding of Saliency Prediction in Augmented 360 Degree Videos
Shanghai Jiao Tong University(上海交通大学);Beijing University of Technology(北京工业大学);University of Macau(澳门大学)
增强现实(AR)将数字内容覆盖到现实中。在增强现实系统中,对用户的视觉注视和头部运动的正确和精确的估计可以通过在感兴趣的区域上分配更多的计算资源来提高体验质量。然而,在使用AR系统或建模AR视觉注意力时,对用户的视觉探索的理解研究不足。为了弥合现实世界场景和虚拟信息增强场景的显着性预测之间的差距,我们构建了ARVR显着性数据集,其中包含20人观看的12个不同视频。采用虚拟现实技术来模拟真实世界。将对象识别和跟踪的注释作为增强内容混合到全向视频中。收集原始视频和增强视频的头部和眼睛运动的显著性注释,并一起构成ARVR数据集。我们还设计了一个模型,这是能够解决显着性预测问题的AR。局部块图像被提取来模拟视口并抵消投影失真。提取局部视口中的显著视觉线索来构成空间特征。光流信息被估计为重要的时间特征。我们还考虑了虚拟信息和现实之间的相互作用。区分了增强信息的组成,并估计了对抗增强和互补增强的联合效果。我们通过将每个块图像作为一个节点来生成图。在图的边权值的计算中考虑了视觉显著性机制和观看行为的特征,并将其解释为马尔可夫链。转移到每个块图像的视觉注意力的分数通过该链上的平衡分布来估计。
2020-07-20 cs.CV cs.HC eess.IV
Learning Category-level Shape Saliency via Deep Implicit Surface Networks
South China University of Technology(华南理工大学);Samsung USA(三星美国);I2R ASTAR(新加坡科技研究局资讯通信研究院)
本文的动机是从一个基本的好奇心是什么定义一类对象的形状。例如,我们可能知道飞机有翅膀,椅子有腿。鉴于同一类别的不同实例之间的形状变化很大,我们正式感兴趣的是为连续物体表面上的单个点定义一个量;该量指定单个表面点如何有助于形成作为类别的形状。我们把这样的数量作为类别级别的形状显着性或形状显着性的简称。从技术上讲,我们建议从深层隐式表面网络中学习同一类别的形状实例的显着性图;隐式表面场中采样点的显着性得分通过约束输入潜在代码的能力来预测。我们还通过额外的对比训练损失来增强显着性预测。我们期望这样的学习表面地图的形状显着性具有平滑,对称和语义代表性的属性。我们通过比较我们的方法与其他方法的显着性计算来验证这些属性。值得注意的是,我们表明,通过利用学习的形状显着性,我们能够重建对象表面的类别显着或实例特定的部分;学习的显着性的语义代表性也反映在其有效性,以指导更好的点云分类的表面点的选择。
2020-12-14 cs.CV
KeepAugment: A Simple Information-Preserving Data Augmentation Approach
University of Texas Austin(德克萨斯大学奥斯汀分校);Facebook Inc(脸书公司)
数据增强(DA)是训练最先进的深度学习系统的基本技术。在本文中,我们的经验表明,数据增强可能会引入噪声增强的例子,从而损害在推理过程中的非增强数据的性能。为了缓解这个问题,我们提出了一个简单而高效的方法,被称为\emph{KeepAugment},以增加增强图像的保真度。首先利用显著图检测原始图像上的重要区域,然后在增强过程中保留这些信息区域。这种信息保存策略使我们能够生成更忠实的训练样本。从经验上讲,我们证明了我们的方法显着改善了一些现有技术的数据增强方案,例如自动增强,剪切,随机擦除,实现有前途的结果图像分类,半监督图像分类,多视图多摄像机跟踪和目标检测。
2020-11-23 cs.CV
Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE
Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院图像处理与智能控制重点实验室);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
针对扩散MoE中路由无法准确分配计算资源给显著令牌的问题,提出SharpMoE后训练框架,利用干净潜在特征作为无噪声引导信号,并引入轨迹路由损失,实现精确资源分配,在视觉生成中达到最优性能。
2026-06-26 cs.CV
Learning from Pixel-Level Noisy Label : A New Perspective for Light Field Saliency Detection
Xidian University(西安电子科技大学);Hunan University(湖南大学);The University of Western Australia(西澳大学)
考虑到可用的丰富线索,利用光场图像的显著性检测变得有吸引力,然而,这是以生成昂贵的大规模像素级注释数据为代价的。在本文中,我们提出了学习光场显着性从像素级的噪声标签获得无监督手工制作的基于显着性的方法。鉴于这一目标,一个自然的问题是:我们是否可以有效地将光场线索之间的关系,同时在一个统一的框架中识别干净的标签?我们通过将学习公式化为内部光场特征融合流和场景间相关流的联合优化来生成预测来解决这个问题。特别地,我们首先引入了像素遗忘引导融合模块,以相互增强光场特征,并利用迭代过程中的像素一致性来识别噪声像素。接下来,我们引入了跨场景噪声惩罚损失,以更好地反映训练数据的潜在结构,并使学习对噪声不变性。在多个基准数据集上进行的大量实验证明了我们框架的优越性,表明它可以学习与最先进的全监督光场显着性方法相当的显着性预测。我们的代码可在https://github.com/OLobbCode/NoiseLF上获得。
2022-04-28 cs.CV
Synesthesia via Direct Latent Augmentation:Bypassing the Decode-Encode Loop for Cross-Modal Distillation
Politecnico di Milano(米兰理工大学);The University of Tokyo(东京大学)
提出直接潜变量增强(DLA)方法,利用未解码的生成潜变量作为特权信息,并通过多层显式模拟联觉(MESSy)将密集知识迁移到纯视觉学生模型,避免了解码-编码循环的低效性。
2026-07-09 cs.CV
MGAug: Multimodal Geometric Augmentation in Latent Spaces of Image Deformations
University of Virginia(弗吉尼亚大学)
本文提出MGAug模型,首次在微分同胚潜在空间中用高斯混合先验建模多模态几何变换,并通过VAE采样形变图像进行增强,在2D分类和3D脑MRI分割上优于现有方法。
2025-03-09 cs.CV
Characterizing and Improving the Robustness of Self-Supervised Learning through Background Augmentations
University of California San Diego(加利福尼亚大学圣迭戈分校);CUNY Graduate Center(纽约市立大学研究生中心);Facebook AI Research(Facebook人工智能研究院)
自监督学习的最新进展已经在多视觉任务中显示出有希望的结果。高性能自监督方法中的一个重要组成部分是通过训练模型使用数据增强,以在嵌入空间中附近放置同一图像的不同增强视图。然而,通常使用的增强管道整体地处理图像,忽略图像的部分的语义相关性-例如,主题与背景-这可能导致虚假相关性的学习。我们的工作通过研究一类简单但高效的“背景增强”来解决这个问题,这种方法鼓励模型关注语义相关的内容,而不鼓励它们关注图像背景。通过系统的调查,我们表明,背景增强导致各种任务上的最先进的自监督方法(MoCo-v2,BYOL,SwAV)的性能大幅提高,例如,在ImageNet上的$\sim$ +1 - 2%增益,使性能与监督基线相当。此外,我们发现有限标签设置的改善更大(高达4.2%)。背景增强还提高了对许多分布偏移的鲁棒性,包括自然对抗示例、ImageNet-9、对抗攻击、ImageNet-Renditions。在生成用于背景增强的显著性掩模的过程中,我们在完全无监督的显著性检测方面也取得了进展。
2021-11-12 cs.AI cs.CV
Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Salesforce Research Asia(赛富时亚洲研究院)
本文研究了一个开放的研究问题,生成文本图像对,以改善训练的细粒度图像到文本的跨模态检索任务,并提出了一种新的框架,成对的数据增强通过揭示隐藏的语义信息的StyleGAN 2模型。具体来说,我们首先在给定的数据集上训练StyleGAN 2模型。然后,我们将真实图像投影回StyleGAN 2的潜在空间以获得潜在代码。为了使生成的图像可操作,我们进一步引入了一个潜在空间对齐模块来学习StyleGAN 2潜在代码和相应的文本标题特征之间的对齐。当我们在线进行配对数据增强时,我们首先通过随机令牌替换生成增强文本,然后将增强文本传递到潜在空间对齐模块输出潜在代码,最终将其馈送到StyleGAN 2以生成增强图像。我们在两个公共跨模态检索数据集上评估了我们的增强数据方法的有效性,其中有希望的实验结果表明,增强的文本-图像对数据可以与原始数据一起训练,以提高图像到文本的跨模态检索性能。
2022-07-29 cs.CV
Adverse Weather Conditions Augmentation of LiDAR Scenes with Latent Diffusion Models
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services德国公司)
本文提出基于潜在扩散模型的方法,通过生成模型增强激光雷达场景在恶劣天气下的真实性,提升自动驾驶系统的鲁棒性。
2025-01-03 cs.CV
Saliency-based Multiple Region of Interest Detection from a Single 360° image
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
360°图像信息丰富-它包含相机周围的全方位视觉信息。然而,覆盖360°图像的区域远大于人类的视野,因此容易忽略不同视图方向上的重要信息。为了解决这个问题,我们提出了一种方法来预测的最佳区域(ROI)从一个单一的360°图像使用的视觉显着性作为线索。针对现有的单一360°图像显著性预测数据集训练数据稀少、存在强偏差的问题,提出了一种基于球面随机数据旋转的数据增强方法。从预测的显着性图和冗余的候选区域,我们得到的ROI的最佳集合,同时考虑一个区域内的显着性和区域之间的联合交互(IoU)。我们进行的主观评价表明,所提出的方法可以选择区域,正确地总结了输入的360°图像。
2022-09-08 cs.CV cs.MM
Controllable Latent Space Augmentation for Digital Pathology
MICS, CentraleSupélec – Université Paris-Saclay(MICS,中央圣艾尔布兰理工大学——巴黎-萨克雷大学);Bioptimus, Inc.(Bioptimus公司);VitaDX International(VitaDX国际)
针对数字病理学中WSI分析的高分辨率、监督信号稀缺及现有增强方法的不足,提出可控潜空间增强模型HistAug,通过显式patch变换条件生成逼真嵌入,高效处理大量patch并提升MIL性能,低数据场景下优于现有方法。
2025-08-20 cs.CV
GLASS: Geometric Latent Augmentation for Shape Spaces
University College London(伦敦大学学院);Adobe Research(奥多比研究中心);IIT Bombay(印度理工学院孟买分校)
我们研究了在非常稀疏的3D模型集合上训练生成模型的问题。我们使用几何激励的能量来增强,从而提升示例(训练)模型的稀疏集合。我们分析尽可能刚性(ARAP)能量的Hessian,以从底层(局部)形状空间采样并投影到底层(局部)形状空间,并使用增强的数据集来训练变分自编码器(VAE)。我们对构建VAE潜在空间和增强相关数据集的过程进行了改进,以逐步揭示更丰富,更具表现力的生成空间,用于创建几何和语义有效的样本。我们的框架允许我们训练生成3D模型,即使是一小部分质量良好的3D模型,这通常是很难策划。我们广泛地评估我们的方法对一组强基线,提供消融研究,并证明对建立形状对应的应用。我们提出了多个有趣和有意义的形状变化的例子,即使从3-10个训练形状开始。
2022-04-29 cs.CV
Human-Aided Saliency Maps Improve Generalization of Deep Learning
University of Notre Dame(圣母大学)
深度学习已经推动了许多计算机视觉问题的准确性显著提高。一个持续的挑战是如何在训练数据有限的情况下实现最大的准确性。第二个持续的挑战是,训练模型通常不能很好地泛化,即使是主观上与训练集相似的新数据。我们以一种新颖的方式解决这些挑战,首次(据我们所知)探索将人类对图像显着区域的判断编码到训练数据中。我们比较了最先进的深度学习算法在生物特征呈现攻击检测中的一个困难问题上的准确性和泛化能力,该算法在(a)具有典型数据增强的原始图像上进行训练,以及(b)相同的原始图像经过转换以编码人类对显着图像区域的判断。后一种方法产生的模型具有更高的准确性和更好的泛化能力,将LivDet-Iris 2020获奖者的误差从29.78%降低到16.37%,并在leave-one-attack-type-out评估场景中实现了令人印象深刻的泛化。这项工作为如何将人类智能嵌入到深度学习的训练策略中开辟了一个新的研究领域,以在有限的训练数据的情况下实现高精度和泛化。
2021-10-20 cs.CV
Synthetic Data Supervised Salient Object Detection
Beihang University(北京航空航天大学);Harbin Institute of Technology(哈尔滨工业大学);China University of Petroleum (East China)(中国石油大学(华东));Peng Cheng Laboratory(鹏城实验室);Western University(韦仕敦大学)
虽然深度显著目标检测(SOD)已经取得了显著的进展,但深度SOD模型非常需要数据,需要大规模的像素级注释才能提供如此有希望的结果。在本文中,我们提出了一种新颖而有效的SOD方法,创造SODGAN,它可以产生无限高质量的图像掩模对,只需要很少的标记数据,这些合成对可以取代人类标记的DUTS-TR训练任何现成的SOD模型。它的贡献是三方面的。1)我们提出的扩散嵌入网络可以解决流形失配问题,并且对于潜在的代码生成来说是易于处理的,与ImageNet潜在空间更好地匹配。2)我们提出的Few-Shot显著性掩模生成器第一次可以用少量的标记数据合成无限精确的图像同步显著性掩模。3)我们提出的质量感知的合成图像可以选择高质量的合成图像掩模对噪声的合成数据池,提高质量的合成数据。我们的SODGAN第一次使用从生成模型直接生成的合成数据来处理SOD,这为SOD开辟了一个新的研究范式。大量的实验结果表明,在合成数据上训练的显著性模型可以达到在DUTS-TR上训练的显著性模型的$98.4\%$ F-测度。此外,我们的方法在半/弱监督方法中实现了新的SOTA性能,甚至优于几种全监督SOTA方法。代码可在https://github.com/wuzhenyubuaa/SODGAN上获得
2022-10-25 cs.CV
Improving Combined Detection and Classification of TEM Defects via Mask-Conditioned Latent Diffusion Augmentation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan-Ann Arbor(密歇根大学安娜堡分校)
提出一种基于掩码条件潜在扩散模型(LDM)的生成式数据增强方法,用于合成可控、自动标注的多类缺陷掩码的TEM图像,以提升小样本下Mask R-CNN模型的缺陷检测与分类性能。
2026-06-01 cs.CV
LARE: Latent Augmentation using Regional Embedding with Vision-Language Model
Waseda University(早稻田大学);University of Southern California(南加州大学)
针对视觉-语言模型将图像嵌入为单点导致分类精度受限的问题,提出LARE方法,将图像嵌入为区域并采样增强,微调VLM,在三个基准上提升分类精度,且对未见领域、小数据和不平衡数据更稳健。
2024-09-19 cs.CV
Distilling Localization for Self-Supervised Representation Learning
City University of Hong Kong(香港城市大学);Microsoft Research Asia(微软亚洲研究院)
对比学习的最新进展彻底改变了无监督表示学习。具体地说,来自同一图像的多个视图(增强)被鼓励映射到类似的嵌入,而来自不同图像的视图被分开。在本文中,通过可视化和诊断分类错误,我们观察到,目前的对比模型是无效的,在定位前景对象,限制了他们的能力,以提取区分高层次的功能。这是由于视图生成过程均匀地考虑图像中的像素的事实。为了解决这个问题,我们提出了一种数据驱动的方法来学习背景不变性。它首先估计图像中的前景显著性,然后通过将前景复制并粘贴到各种背景上来创建增强。学习仍然遵循实例判别借口任务,因此表示被训练为忽略背景内容并专注于前景。我们研究了各种显着性估计方法,发现大多数方法导致对比学习的改进。通过这种方法(DiLo),ImageNet分类上的自监督学习以及PASCAL VOC和MSCOCO上的目标检测都实现了显著的性能。
2021-01-19 cs.CV
On the Importance of Conditioning for Privacy-Preserving Data Augmentation
University of Augsburg(奥格斯堡大学)
本文揭示以深度图或边缘为条件的潜在扩散模型用于数据匿名化时存在隐私泄露风险,并通过对比学习和黑盒攻击验证其可被用于身份识别。
2025-04-08 cs.CV
Weakly Supervised Learning for Salient Object Detection
Xi’an Jiaotong University(西安交通大学)
监督显著目标检测的最新进展在基准数据集上取得了显着的性能。然而,训练这样的模型需要昂贵的显着对象的像素级注释。此外,许多现有的显著性目标检测模型假设在输入图像中存在至少一个显著性目标。这样的假设通常会导致背景图像上的显著性图不那么吸引人,这些图像根本不包含显著对象。为了避免昂贵的像素级显著区域标注的要求,在本文中,我们研究了弱监督学习方法的显著目标检测。给定一组背景图像和显著对象图像,我们提出了一种解决方案,共同解决显著对象的存在和检测任务。我们采用了潜在的SVM框架,并制定了两个问题在一个单一的综合目标函数:超像素的显着性标签建模为隐变量,并涉及到一个分类项的条件显着对象存在变量,这反过来又取决于全局图像和区域显着性特征和显着性标签分配。在基准数据集上的实验结果验证了该方法的有效性。
2015-09-08 cs.CV
Data Augmentation via Latent Diffusion Models for Detecting Smell-Related Objects in Historical Artworks
Pattern Recognition Lab, Friedrich-Alexander Universität Erlangen-Nürnberg, Germany(模式识别实验室,埃尔朗根-纽伦堡 Friedrich-Alexander 大学)
本文研究利用潜在扩散模型生成合成数据来缓解历史艺术品中气味相关物体检测面临的标注稀疏与类别不平衡问题,验证了该方法能提升检测精度,并表明其在小数据场景下有效且具备扩展潜力。
2025-09-18 cs.CV
DefFiller: Mask-Conditioned Diffusion for Salient Steel Surface Defect Generation
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
提出掩码条件扩散模型DefFiller,无需像素级标注即可生成配对掩码的钢材缺陷样本,并开发评估框架验证其能显著提升缺陷检测性能。
2024-12-20 cs.CV
Towards Composable Distributions of Latent Space Augmentations
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个潜在的空间图像增强,允许多个增强容易组合的组合框架。图像增强已被证明是一种有效的技术,用于提高各种各样的图像分类和生成任务的性能。我们的框架是基于变分自编码器架构,并使用一种新的方法,通过线性变换的潜在空间本身的增强。我们探讨的损失和增强潜在的几何形状,以执行的转换是可组合的和非自愿的,从而使转换容易组合或倒置。最后,我们证明了这些属性在某些增强对中表现得更好,但是我们可以将潜在空间转移到其他增强集以修改性能,有效地约束VAE的瓶颈,以保留我们关心的特定增强和图像特征的方差。我们证明了我们的方法的有效性与MNIST数据集对标准VAE和条件VAE的初始结果。这种潜在增强方法允许对潜在空间进行更大的控制和几何可解释性,使其成为该领域研究人员和从业者的宝贵工具。
2023-03-06 cs.AI cs.CV cs.LG
Causality-inspired Latent Feature Augmentation for Single Domain Generalization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The University of British Columbia(不列颠哥伦比亚大学)
本文针对单域泛化提出因果启发的潜在特征增强方法,通过学习特征级变换元知识生成多样化隐式变换,从而捕获稳定域不变因果特征,并在多个基准上超越现有单域和多源域泛化方法。
2024-06-10 cs.CV
Rollable Latent Space for Azimuth Invariant SAR Target Recognition
NEC corporation(NEC公司)
针对方位不变合成孔径雷达(SAR)目标识别问题,提出了一种可滚动的特征空间(RLS)方法。在SAR目标识别中,标记数据的稀缺性和视角的有限性是一个关键问题,RLS是一个设计的空间,其中潜在特征的滚动对应于目标的三维旋转。因此,可以使用不同视图的潜在特征来推断任意视图的潜在特征。这一特性进一步使我们能够从RLS中有限的视图中增加数据。基于RLS的分类器与和没有数据增强和一个传统的分类器训练的目标正面拍摄的评估超过未经训练的目标背面拍摄。结果表明,基于RLS的分类器与增强提高了30%的准确性相比,传统的分类器。
2018-04-20 cs.CV
HSMix: Hard and Soft Mixing Data Augmentation for Medical Image Segmentation
University of the Basque Country(巴斯克大学);IKERBASQUE(ikerbasque研究所)
HSMix通过硬软混合数据增强技术提升医学图像分割性能,结合同质区域混合与亮度调整,增强数据多样性并保留语义信息。
2025-11-18 cs.CV cs.LG