首页/论文/2004.11498

arXiv 2004.114982020-04cs.CV

挖掘自相似性：基于表位表示的标签超分辨率

Mining self-similarity: Label super-resolution with epitomic representations

Yale University（耶鲁大学）；Microsoft AI for Good Research Lab（微软人工智能公益研究实验室）；Microsoft Research（微软研究院）

Nikolay Malkin, Anthony Ortiz, Caleb Robinson, Nebojsa Jojic

备注：: ECCV 2020 final version

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们表明，简单的基于补丁的模型，如摘要，可以有更优越的性能，目前的最先进的语义分割和标签超分辨率，它使用深卷积神经网络。我们推导出一种新的训练算法的表位，它允许，第一次，从非常大的数据集学习，并得出标签超分辨率算法作为一个统计推断算法的表位表示。我们说明了我们的土地覆盖制图和医学图像分析任务的方法。

英文摘要：

We show that simple patch-based models, such as epitomes, can have superior performance to the current state of the art in semantic segmentation and label super-resolution, which uses deep convolutional neural networks. We derive a new training algorithm for epitomes which allows, for the first time, learning from very large data sets and derive a label super-resolution algorithm as a statistical inference algorithm over epitomic representations. We illustrate our methods on land cover mapping and medical image analysis tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

MICIK：挖掘跨层固有相似性知识进行深度模型压缩

MICIK: MIning Cross-Layer Inherent Similarity Knowledge for Deep Model Compression

Arizona State University（亚利桑那州立大学）；Samsung Research America（三星美国研究院）；University of Delaware（特拉华大学）

最先进的深度模型压缩方法利用低秩近似和稀疏修剪来从学习的隐藏层中去除冗余参数。然而，它们单独处理每个隐藏层，而忽略了跨层的公共组件，因此无法充分利用潜在的冗余空间进行压缩。为了解决上述问题，并使一个模型的进一步压缩，消除跨层冗余和挖掘逐层继承的知识是必要的。本文提出了一个整体的模型压缩框架，即跨层固有相似性知识挖掘（MICIK），以充分挖掘潜在的冗余空间。所提出的MICIK框架同时，（1）学习跨深度神经网络层的公共和唯一权重分量以提高压缩率;（2）保留邻近层和远距离层的固有相似性知识以最小化准确性损失;以及（3）可以补充其他现有的压缩技术，例如知识蒸馏。在大规模卷积神经网络上进行的大量实验表明，MICIK优于最先进的模型压缩方法，在VGG-16上减少了16倍参数，在GoogLeNet上减少了6倍参数，所有这些都没有精度损失。

2019-02-03cs.CV

基于粗到细相似性挖掘的直推Zero-Shot哈希算法

Transductive Zero-Shot Hashing via Coarse-to-Fine Similarity Mining

Sun Yan-Sen University（中山大学）

零次散列（Zero-Shot Hashing，简称ZSH）是在没有训练数据的情况下学习新类或目标类的散列模型，是一个重要而具有挑战性的问题。大多数现有的CNOH方法利用迁移学习通过中间共享的语义表示之间看到的/源类和新的/目标类。然而，由于具有不相交性，从源数据集学习的散列函数在直接应用于目标类时会有偏差。在本文中，我们研究了转导性的CCRH，即，我们有新类别的未标记数据。提出了一种简单有效的联合学习方法，通过由粗到细的相似性挖掘将知识从源数据转移到目标数据。它主要由拟议的深层架构中的两个构建块组成：1）共享双流网络，其中第一流对源数据进行操作，第二流对未标记数据进行操作，以学习有效的公共图像表示，以及2）从粗到精模块，其开始于从目标类中找到最具代表性的图像，然后进一步检测这些图像之间的相似性，以贪婪的方式转移源数据与目标数据的相似性。在多个基准数据集上的测试结果表明，该方法与现有方法相比具有显著的改进效果。

2017-11-08cs.CV

跨域血管分割：通过潜在相似性挖掘和迭代联合优化

Cross-Domain Vessel Segmentation via Latent Similarity Mining and Iterative Co-Optimization

Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）

本文提出一种跨域血管分割框架，通过挖掘潜在血管相似性并迭代联合优化生成与分割网络，提升跨域图像合成质量和分割精度，实验显示在临床场景中表现优异。

2026-04-02cs.CV

面向多模态数据集蒸馏的低秩相似性挖掘

Low-Rank Similarity Mining for Multimodal Dataset Distillation

Shanghai Jiao Tong University（上海交通大学）

本文提出低秩相似性挖掘（LoRS）方法，通过同时蒸馏图像-文本对和真实相似性矩阵并利用低秩分解，解决多模态数据集蒸馏中模态对应关系建模的难题，显著提升视觉-语言数据集蒸馏效果。

2024-06-06cs.CVcs.LG

基于相似性的声纳ATR系统在线领域自适应数据采掘

Similarity-based data mining for online domain adaptation of a sonar ATR system

Seebyte Ltd（Seebyte有限公司）；University of Edinburgh（爱丁堡大学）

由于现场数据采集的昂贵性，训练数据的缺乏往往限制了自动目标识别（ATR）系统的性能。通常采用领域自适应技术来解决这一问题，但现有的方法不能满足水下系统资源和时间的限制。我们建议通过使用一种新的数据选择方法在线微调ATR算法来解决这个问题。我们提出的数据挖掘方法依赖于视觉相似性，优于传统的硬挖掘方法。我们提出了一个比较性能分析，在广泛的模拟环境中，并强调使用我们的方法快速适应以前看不见的环境的好处。

2020-09-16cs.CVcs.LGcs.SD

基于相关性在线挖掘的视频检索模型学习

Learning video retrieval models with relevance-aware online mining

Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Udine（乌迪内大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）

由于每小时上传的视频和相关字幕的数量，基于深度学习的跨模态视频检索解决方案正吸引越来越多的关注。一种典型的方法是学习一个联合的文本-视频嵌入空间，其中视频及其相关字幕的相似性被最大化，而所有其他字幕的相似性较低，称为否定。这种方法假设只有数据集中的视频和字幕对是有效的，但是不同的字幕（正字幕）也可能描述其视觉内容，因此其中一些可能会被错误地惩罚。为了解决这个缺点，我们提出了相关性感知否定和肯定挖掘（RANP），它的基础上的语义的否定，提高了他们的选择，同时也增加了其他有效的积极的相似性。我们探讨了这些技术对两个视频-文本数据集：EPIC-Kitchen-100和MSR-VTT的影响。通过使用所提出的技术，我们在nDCG和mAP方面实现了相当大的改进，从而获得了最先进的结果，例如，EPIC-Kitchen-100上的nDCG和mAP分别为+5.3%和3.0%。我们在\url{https://github.com/aranciokov/ranp}上共享代码和预训练模型。

2022-03-16cs.CV

更多相关论文收起更多论文

基于分级相似性监督的大规模地点识别

Data-efficient Large Scale Place Recognition with Graded Similarity Supervision

University of Groningen（格罗宁根大学）；University of Twente（特文特大学）

视觉位置识别（VPR）是计算机视觉视觉定位的一项基本任务。现有的方法是使用图像对来训练的，这些图像对要么描绘相同的地方，要么不描绘相同的地方。这样的二元指示不考虑从不同位置拍摄的相同地点的图像之间的相似性的连续关系，其由相机姿态的连续性质确定。二进制相似性将噪声监督信号引入到VPR方法的训练中，这会在局部极小值中停滞，并且需要昂贵的硬挖掘算法来保证收敛。由于相机姿态差异，同一地点的两个图像仅部分共享视觉线索，因此我们部署了自动重新标注策略来重新标记VPR数据集。我们计算分级相似性标签的图像对的基础上可用的本地化元数据。此外，我们提出了一个新的广义对比损失（GCL），使用分级相似性标签训练对比网络。我们证明，使用新的标签和GCL允许免除从硬对挖掘，并训练图像描述符，表现更好的VPR最近邻搜索，获得优越的或可比的结果比方法，需要昂贵的硬对挖掘和重新排序技术。代码和模型可在：https://github.com/marialeyvallina/generalized_contrastive_loss

2023-03-25cs.CVeess.IV

基于语义概念挖掘的无监督哈希算法

Unsupervised Hashing with Semantic Concept Mining

Beijing Institute of Technology（北京理工大学）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（北京海量语言信息处理与云计算应用工程技术研究中心）；Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huazhong University of Science and Technology（华中科技大学）

近年来，为了提高无监督图像检索的性能，人们提出了大量的无监督哈希算法，通过设计一个语义相似度矩阵，该矩阵是基于预训练的CNN模型提取的图像特征之间的相似度。然而，这些方法往往忽略了图像中包含的高级抽象语义概念。直观地说，概念在计算图像之间的相似度中起着重要的作用。在现实场景中，每幅图像都与一些概念相关联，如果两幅图像共享更多相同的概念，则它们之间的相似度会更大。受上述直觉的启发，在这项工作中，我们提出了一种新型的无监督哈希和语义概念挖掘，称为UHSCM，它利用VLP模型来构建高质量的相似性矩阵。具体来说，首先收集一组随机选择的概念。然后，通过采用视觉语言预训练（VLP）模型与提示工程，这已显示出强大的权力，在视觉表示学习，根据训练图像的概念集去噪。其次，UHSCM再次利用VLP模型挖掘图像的概念分布，并根据挖掘出的概念分布构造高质量的语义相似度矩阵。最后，以语义相似度矩阵为指导信息，提出了一种新的基于对比度损失的正则化项的哈希损失算法来优化哈希网络。在三个基准数据集上的大量实验表明，该方法在图像检索任务中的性能优于最先进的基线。

2022-09-23cs.CVcs.IR

抑制图文匹配中梯度消失的选择性硬否定挖掘

Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching

Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司）

近年来，一系列的图文匹配方法取得了令人瞩目的成绩。然而，我们观察到，大多数现有的ITM模型在训练开始时都存在梯度消失的问题，这使得这些模型容易陷入局部极小值。大多数ITM模型采用三重态损失，硬负挖掘（HN）作为优化目标。我们发现，优化ITM模型只使用硬负样本很容易导致梯度消失。在本文中，我们推导出在训练过程中梯度为零的条件。当正对相似性和负对相似性之间的差接近0时，图像和文本编码器上的梯度都将接近0。为了缓解梯度消失问题，我们提出了一种选择性硬负挖掘（SelHN）策略，该策略根据梯度消失条件选择是否挖掘硬负样本。SelHN可以即插即用应用于现有的ITM模型，以提供更好的训练行为。为了进一步确保梯度的反向传播，我们使用SelHN构建了一个剩余视觉语义嵌入模型，表示为RVSE++。在两个ITM基准上进行的大量实验证明了RVSE++的实力，实现了最先进的性能。

2023-03-01cs.CVcs.MM

基于自监督学习的强引力透镜挖掘

Mining for Strong Gravitational Lenses with Self-supervised Learning

University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）

我们采用自监督表示学习从暗能量光谱仪器遗留成像调查的数据发布9中提取7600万个星系图像的信息。针对新的强引力透镜候选者的识别，我们首先创建了一个快速的相似性搜索工具，发现新的强透镜，只有一个标记的例子。然后，我们展示了如何在自监督表示上训练一个简单的线性分类器，只需在CPU上花费几分钟，就可以高效地自动对强镜头进行分类。我们提出了1192个新的强透镜候选者，我们通过一个简短的视觉识别活动确定，并发布了一个基于网络的交互式相似性搜索工具和顶级网络预测，以促进众包快速发现额外的强引力透镜和其他稀有物体：https://github.com/georgestein/ssl-legacysurvey。

2022-06-21astro-ph.COastro-ph.IMcs.CV

DSGC-Net：一种基于特征关联挖掘的用于人群计数的双流图卷积网络

DSGC-Net: A Dual-Stream Graph Convolutional Network for Crowd Counting via Feature Correlation Mining

Taiyuan University of Technology（太原科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Trento（特伦托大学）；University of Pisa（比萨大学）

针对复杂人群场景中密度分布差异大、个体表征不一致导致计数精度受限的问题，提出含密度近似与表征近似双流的DSGC-Net，通过构建两类语义图挖掘特征关联，在三个主流数据集上性能超越现有最优方法。

2025-09-02cs.CV

感知、挖掘与纯化：一种用于实例分割的新型对象挖掘框架

Perceive, Excavate and Purify: A Novel Object Mining Framework for Instance Segmentation

Meituan（美团）

本文提出一种对象挖掘框架，通过语义感知、对象挖掘和实例纯化三个步骤解决实例分割中难以区分对象发现与实例关系建模问题，在COCO数据集上取得优于现有方法的效果。

2023-04-18cs.CV

ASM: 面向自然场景下人脸表情识别的自适应样本挖掘

ASM: Adaptive Sample Mining for In-The-Wild Facial Expression Recognition

Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）

针对人脸表情识别数据集中的标签歧义与噪声问题，提出自适应样本挖掘方法ASM，通过类别自适应阈值划分样本并结合三正则化策略优化，在多数据集上性能超越现有最优方法。

2023-10-09cs.CV

用于无监督3D动作表示学习的对比正挖掘

Contrastive Positive Mining for Unsupervised 3D Action Representation Learning

Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）

近年来，基于对比的三维动作表示学习取得了很大的进展。然而，严格的积极/消极约束尚未放松，非自我积极的使用还有待探索。本文提出了一种用于无监督骨架三维动作表示学习的对比积极挖掘框架。CPM识别上下文队列中的非自我肯定以促进学习。具体地说，暹罗编码器采用和训练，以匹配的相似性分布的扩增实例在参考上下文队列中的所有实例。通过识别队列中的非自我肯定实例，提出了一种积极的增强学习策略，利用挖掘的积极性的知识，以提高学习的潜在空间对类内和类间的多样性的鲁棒性。实验结果表明，提出的CPM是有效的，并优于现有的最先进的无监督方法在具有挑战性的NTU和PKU-MMD数据集。

2022-08-06cs.CVcs.MM

TSMini：一种简单却高效的轨迹相似度学习模型

TSMini: A Simple Yet Highly Effective Trajectory Similarity Learning Model

The University of Melbourne（墨尔本大学）；National University of Singapore（新加坡国立大学）；Aalborg University（奥胡斯大学）

针对轨迹相似度近似精度不足的问题，提出带子视图建模机制和k近邻损失的TSMini模型，其性能平均优于现有最先进模型15%

2026-09-09cs.CVcs.DBcs.LG

基于硬否定挖掘的超声视频图像表示的无监督对比学习

Unsupervised Contrastive Learning of Image Representations from Ultrasound Videos with Hard Negative Mining

Indian Institute of Technology, Delhi（德里印度理工学院）；Postgraduate Institute of Medical Education and Research（医学教育与研究研究生院）

丰富的时间信息和视点的变化使得视频数据成为使用无监督对比学习（UCL）技术学习图像表示的有吸引力的选择。最先进的（SOTA）对比学习技术将视频中的帧视为嵌入空间中的正帧，而来自其他视频的帧则被视为负帧。我们观察到，与自然场景视频中对象的多个视图不同，超声（US）视频捕获器官的不同2D切片。因此，即使是相同的US视频的时间上远离的帧之间也几乎没有相似性。在本文中，我们建议使用这种框架作为硬底片。我们提倡在UCL框架中的硬度敏感负面挖掘课程中挖掘视频内和跨视频负面，以学习丰富的图像表示。我们部署我们的框架来学习表示胆囊（GB）恶性肿瘤从美国的视频。我们还构建了第一个包含64个视频和15，800帧的大规模美国视频数据集，用于学习GB表示。我们表明，使用我们的框架训练的标准ResNet 50骨干可以将使用SOTA UCL技术预训练的模型以及ImageNet上用于GB恶性肿瘤检测任务的监督预训练模型的准确性提高2- 6%。我们进一步验证了我们的方法在公开可用的COVID-19病理肺部US图像数据集上的通用性，并显示出与SOTA相比1.5%的改进。源代码、数据集和模型可在https://gbc-iitd.github.io/usucl上获得。

2022-07-26cs.CVeess.IV

聚类相似函数演化的遗传编程：表示与分析

Genetic Programming for Evolving Similarity Functions for Clustering: Representations and Analysis

Victoria University of Wellington（惠灵顿维多利亚大学）

聚类是一个困难的和广泛研究的数据采掘任务，有许多品种的聚类算法在文献中提出。几乎所有的算法都使用相似性度量，例如距离度量（例如欧几里得距离）来决定将哪些实例分配给同一个集群。这些相似性度量通常是预定义的，并且不能容易地针对特定数据集的属性进行定制，这导致所产生的聚类的质量和可解释性的限制。在本文中，我们提出了一种新的方法来自动进化的相似性函数为一个给定的聚类算法，通过使用遗传编程。我们引入了一种新的基于遗传编程的方法，该方法自动选择一个小的特征子集（特征选择），然后使用各种功能（特征构建）将它们组合起来，以产生动态和灵活的相似性函数，这些函数是专门为给定的数据集设计的。我们演示了如何演变的相似性函数可以用来执行聚类使用基于图形的表示。在一系列大型高维数据集上的实验结果表明，该方法可以实现比基准方法更高和更一致的性能。我们进一步扩展所提出的方法，自动产生多个互补的相似性函数，通过使用多树的方法，这给进一步的性能改进。我们还分析了自动进化的相似性函数的可解释性和结构，以深入了解它们如何以及为什么优于标准距离度量。

2019-10-22cs.CVcs.NE