Deep Multi-View Semi-Supervised Clustering with Sample Pairwise Constraints
College of Information Science and Technology, Hainan University(海南大学信息科学技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Hainan University(海南大学)
针对现有多视图聚类忽略弱监督信息、难以保留多视图特征属性的问题,提出联合三类损失、融入成对约束、微调完整自编码器的DMSC方法,在8个图像数据集上性能优于现有最优方法。
2023-05-05 cs.CV cs.LG
Location embedding based pairwise distance learning for fine-grained diagnosis of urinary stones
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);Yangtze River Delta Research Institute of NPU(西北工业大学长三角研究院);CSIRO Data61(联邦科学与工业研究组织数据61分部);La Trobe University(拉筹伯大学);School of Engineering, Shantou University(汕头大学工学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Information, Xiamen University(厦门大学信息学院);AIDD, Faculty of Applied Science, Macao Polytechnic University(澳门理工大学应用科学学院AIDD);Shuang-Ho Hospital, Taipei Medical University(台北医学大学双和医院);National Yang Ming Chiao Tung University(国立阳明交通大学);School of Design, The Hong Kong Polytechnic University(香港理工大学设计学院);School of Medicine, College of Medicine, Taipei Medical University(台北医学大学医学院)
本文提出LEPD-Net,结合低剂量腹部X射线成像与结石位置嵌入,通过上下文感知区域增强和细粒度成对距离学习,显著提升尿路结石细粒度诊断性能。
2024-06-29 cs.CV
On Clustering and Embedding Mixture Manifolds using a Low Rank Neighborhood Approach
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
来自紧密(非线性)混合物的样品通常被建模为从光滑流形中提取。数据包含具有一些共同组成材料的多种紧密混合物的情况可以被认为是共享边界的流形。处理这些数据的两个重要步骤是(i)识别(聚类)数据中存在的不同混合流形,以及(ii)通过将每个混合流形映射到某个低维欧氏空间(嵌入)来消除数据中存在的非线性。流形聚类和嵌入技术似乎是一个理想的工具,这项任务,但目前国家的最先进的算法表现不佳的高光谱数据,特别是在嵌入任务。我们提出了一种新的基于重构的算法,用于改进混合流形的聚类和嵌入。该算法试图将每个目标点重建为其最近邻居的仿射组合,并对邻居进行额外的秩惩罚,以确保在重建中仅使用与目标点相同的流形上的邻居。使用这种技术生成的重建矩阵是块对角的,可以用于聚类(使用谱聚类)和嵌入。在各种模拟和真实的混合数据集上显示了算法相对于其竞争对手的改进性能。
2017-08-12 cs.CV
Simultaneous Subspace Clustering and Cluster Number Estimating based on Triplet Relationship
Nankai University(南开大学);Cardiff University(卡迪夫大学);Chinese Academy of Sciences(中国科学院)
在本文中,我们提出了一个统一的框架,同时发现集群的数量和分组的数据点到他们使用子空间聚类。分布在高维空间中的真实数据可以被分解为低维子空间的并集,这可以有益于各种应用。为了探索这种内在结构,最先进的子空间聚类方法通常优化所有样本之间的自表示问题,以构建用于谱聚类的成对亲和图。然而,具有成对相似性的图缺乏分割的鲁棒性,特别是对于位于两个子空间的交集上的样本。为了解决这个问题,我们设计了一个超相关的数据结构称为\textit{triplet relationship},它揭示了高相关性和局部紧密性之间的三个样本。三元组关系可以从自我表示矩阵中导出,并用于迭代地将数据点分配给聚类。每个三元组中的三个样本被鼓励是高度相关的,并被认为是在聚类过程中的元元素,这显示出比成对关系分割两个密集分布的子空间时更鲁棒。基于三元组关系,我们提出了一个统一的优化方案来自动计算聚类分配。具体来说,我们优化模型选择奖励和融合奖励,同时最大限度地提高来自不同集群的三胞胎的相似性,同时最小化来自同一集群的三胞胎的相关性。该算法还自动揭示了聚类和融合组的数量,以避免过度分割。在人工数据集和真实数据集上的大量实验结果验证了该方法的有效性和鲁棒性。
2019-01-23 cs.CV
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University(东南大学);Caritas Institute of Higher Education(明爱专上学院);City University of Hong Kong(香港城市大学)
在这封信中,我们提出了一种新的半监督子空间聚类方法,它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵,我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此,我们将这两个矩阵堆叠成一个3-D张量,其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外,我们使用输入样本的局部几何结构来补充全局低秩先验,以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题,这是进一步解决了一个替代的迭代算法。此外,我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明,我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering
Beijing Institute of Technology(北京理工大学);Tencent AI Lab(腾讯AI实验室);Hulu LLC.(Hulu有限责任公司)
聚类是计算机视觉和机器学习中最基本的任务之一。在本文中,我们提出了变分深度嵌入(VaDE),变分自动编码器(VAE)的框架内的一种新的无监督生成聚类方法。具体而言,VaDE使用高斯混合模型(GMM)和深度神经网络(DNN)对数据生成过程进行建模:1)GMM挑选聚类; 2)从中生成潜在嵌入; 3)然后DNN将潜在嵌入解码为可观察量。VaDE中的推理是以变分的方式进行的:不同的DNN用于将可观察量编码为潜在嵌入,因此可以使用随机梯度变分贝叶斯(SGVB)估计器和重新参数化技巧来优化证据下限(ELBO)。本文包括与强基线的定量比较,实验结果表明,VaDE显着优于国家的最先进的聚类方法的4个基准从各种形式。此外,通过VaDE的生成性质,我们展示了其为任何指定的聚类生成高度真实的样本的能力,而无需在训练过程中使用监督信息。最后,VaDE是一个灵活和可扩展的无监督生成聚类框架,比GMM更通用的混合模型可以很容易地插入。
2017-06-28 cs.CV
Deep convolutional embedding for digitized painting clustering
Department of Computer Science University of Bari(巴里大学计算机科学系)
由于多种原因,对艺术品进行聚类很困难。一方面,根据领域知识和视觉感知识别有意义的模式是非常困难的。另一方面,将传统的聚类和特征约简技术应用于高维像素空间可能是无效的。为了解决这些问题,我们建议使用深度卷积嵌入模型进行数字化绘画聚类,其中将原始输入数据映射到抽象的潜在空间的任务与在该潜在特征空间中找到一组聚类质心的任务联合优化。定量和定性的实验结果表明了该方法的有效性。该模型还能够超越其他最先进的深度聚类方法来解决同一问题。所提出的方法可以用于几个艺术相关的任务,特别是视觉链接检索和历史知识发现绘画数据集。
2020-10-22 cs.CV
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法,通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集,以增强半监督噪声标签学习,并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Affinity CNN: Learning Pixel-Centric Pairwise Relations for Figure/Ground Embedding
TTI Chicago(芝加哥丰田技术研究院);Sony Corp.(索尼公司);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
光谱嵌入提供了一个框架来解决感知组织问题,包括图像分割和图形/背景组织。从描述像素之间的成对关系的亲和矩阵,它将像素聚类到区域中,并使用复值扩展,根据层对像素进行排序。我们训练一个卷积神经网络(CNN)来直接预测定义这个亲和矩阵的成对关系。然后,光谱嵌入将这些预测分解为场景的全局一致的分割和图形/背景组织。实验表明,显着的好处,这种直接耦合相比,以前的作品,使用明确的中间阶段,如边缘检测,从图像的路径上的亲和力。我们的研究结果表明,谱嵌入作为一个强大的替代条件随机场(CRF)为基础的全球化计划通常耦合到深神经网络。
2016-04-11 cs.CV cs.LG cs.NE
Context-Aware Hypergraph Construction for Robust Spectral Clustering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The University of Adelaide(阿德莱德大学);State University of New York, Binghamton(纽约州立大学宾汉姆顿分校)
谱聚类是无监督数据分析的有力工具。在本文中,我们提出了一个上下文感知的超图相似性度量(CAHSM),这导致了强大的谱聚类的情况下,噪声数据。我们构造了三种超图-成对超图、k-最近邻超图和高阶过聚类超图。成对超图捕获数据点的成对相似性; kNN超图捕获每个点的邻域;聚类超图编码数据集中的高阶上下文。通过结合这三个超图的亲和度信息,CAHSM算法能够探索数据集的内在拓扑信息。因此,使用CAHSM的数据聚类往往更健壮。考虑到顶点的类内紧性和类间可分性,我们进一步设计了一个判别超图划分准则(DHPC)。利用CAHSM和DHPC,一个强大的谱聚类算法。理论分析和实验验证了该算法的有效性和鲁棒性。
2014-01-04 cs.CV cs.LG
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域,它将集群与深度神经网络(DNN)架构联系起来。深度聚类方法对高维数据进行下采样,这也可能与聚类损失有关。深度聚类也被引入到半监督学习(SSL)中。大多数SSL方法依赖于成对约束信息,这是一个矩阵,包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder,下采样高维数据的聚类嵌入点。据我们所知,这是第一个与传统分类器DNN架构相关的研究工作,具有成对损失减少技术。训练过程是半监督的,并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法,这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
Unsupervised Deep Embedding for Clustering Analysis
University of Washington(华盛顿大学);Facebook AI Research (FAIR)(脸书人工智能研究院)
聚类是许多数据驱动应用领域的核心,并且在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习表示聚类。在本文中,我们提出了深度嵌入式聚类(DEC),这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射,并在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估表明,国家的最先进的方法显着改善。
2016-05-24 cs.CV cs.LG
A probabilistic constrained clustering for transfer learning and image category discovery
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
基于神经网络的聚类最近已经流行,并且特别地,已经提出了约束聚类公式以使用深度学习来执行迁移学习和图像类别发现。其核心思想是制定一个具有成对约束的聚类目标,可用于训练深度聚类网络;因此,聚类分配及其底层特征表示是端到端联合优化的。在这项工作中,我们提供了一种新的聚类公式来解决以前的工作在优化更深的网络和更大量的类别方面的可扩展性问题。所提出的目标直接最小化负对数似然的集群分配相对于成对约束,没有超参数,并证明了改进的可扩展性和性能的监督学习和无监督迁移学习。
2018-06-28 cs.AI cs.CV cs.LG
Multi-Perspective, Simultaneous Embedding
The University of Arizona(亚利桑那大学)
我们描述MPSE:基于数据点之间的多个成对距离,用于可视化高维数据的多视角同时嵌入方法。具体而言,MPSE计算3D中的点的位置,并通过保留每个给定距离矩阵的2D投影(平面)提供数据的不同视图。我们考虑两个版本的问题:固定的预测和可变的预测。具有固定投影的MPSE将定义在数据点上的一组成对距离矩阵以及相同数量的投影作为输入,并将点嵌入3D中,以便在给定的投影中保留成对距离。具有可变投影的MPSE将一组成对距离矩阵作为输入,并将点嵌入3D中,同时还计算保留成对距离的适当投影。所提出的方法可以在多种情况下使用:从在同一组顶点上创建多个图形的同时嵌入,到从多个2D快照重建3D对象,再到从多个视点分析数据。我们提供了一个功能原型的MPSE是基于多维缩放的自适应和随机泛化到多个距离和多个变量的投影。我们提供了一个广泛的定量评估与不同大小的数据集,并使用不同数量的投影,以及几个例子,说明所得到的解决方案的质量。
2020-08-06 cs.CV cs.DS
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题,提出深度谱聚类(DSC),通过深度网络和幂迭代学习嵌入,并用贪心策略优化Kmeans,端到端联合训练,在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
Semi-Supervised Clustering with Neural Networks
IIIT-Delhi(德里英德拉普拉斯塔信息技术学院)
最近,使用神经网络的聚类在机器学习和计算机视觉应用中表现出有前途的性能。然而,现有方法的性能受到无监督学习或依赖于大量标记数据样本的限制。在本文中,我们提出了一种新的聚类方法,它使用来自很少的标记数据样本(<总数据的5%)的成对语义约束,并利用大量的未标记数据来驱动聚类方法。我们定义了一个新的损失函数,它使用对象之间的成对语义相似性结合约束k均值聚类,有效地利用标记和未标记的数据在同一个框架。所提出的网络使用卷积自动编码器来学习将数据分组为k个指定聚类的潜在表示,同时还学习聚类中心。我们评估和比较了几个数据集和最先进的深度聚类方法的性能。
2018-07-10 cs.CV cs.LG stat.ML
An Empirical Study on Clustering Pretrained Embeddings: Is Deep Strictly Better?
Google Research(谷歌研究院);University of Colorado, Boulder(科罗拉多大学博尔德分校)
最近在人脸嵌入聚类方面的研究发现,无监督的、浅层的、基于分类的方法--包括$k$ -均值和层次凝聚聚类--不如有监督的、深层的、归纳的方法。虽然报告的改进确实令人印象深刻,但实验主要限于人脸数据集,其中聚类嵌入具有高度区分性或按类别分离(Recall@1高于90%,通常接近天花板),并且实验方法似乎倾向于深度方法。我们在三个数据集上对17种聚类方法进行了大规模的实证研究,并获得了一些可靠的发现。值得注意的是,深度方法对于具有更多不确定性的嵌入来说是非常脆弱的,在这种情况下,它们与基于层次分析的浅层方法相匹配,甚至表现更差。当嵌入具有高度区分性时,深度方法确实优于基线,与过去的结果一致,但方法之间的差距比以前报道的要小得多。我们相信我们的基准扩展了监督聚类方法的范围,超越了人脸领域,可以作为这些方法可以改进的基础。为了实现可重复性,我们在附录中包含了所有必要的细节,并计划发布代码。
2022-11-09 cs.CV cs.LG
Angular Constraint Embedding via SpherePair Loss for Constrained Clustering
Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
提出SpherePair损失,通过角度空间中的几何约束嵌入实现深度约束聚类,无需预设聚类数,兼具可扩展性与理论保证,性能优于现有方法。
2025-10-08 cs.AI cs.CV cs.LG
Neural Manifold Clustering and Embedding
Redwood Center(雷德伍德中心);Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
给定非线性流形的并集,非线性子空间聚类或流形聚类旨在基于流形结构对数据点进行聚类,并且还学习将每个流形参数化为特征空间中的线性子空间。深度神经网络具有在高度非线性设置下实现这一目标的潜力,因为它们具有很大的容量和灵活性。我们认为,实现流形聚类与神经网络需要两个基本成分:一个特定于域的约束,以确保识别的流形,和一个学习算法嵌入每个流形的线性子空间中的特征空间。这项工作表明,许多约束可以通过数据增强来实现。对于子空间特征学习,可以使用最大编码速率降低(MCR $^2$)目标。将它们放在一起产生{ \em神经流形聚类和嵌入}(NMCE),这是一种用于通用流形聚类的新方法,其性能显着优于基于自动编码器的深度子空间聚类。此外,在更具挑战性的自然图像数据集上,NMCE也可以优于其他专门为聚类设计的算法。定性,我们证明,NMCE学习一个有意义的和可解释的特征空间。由于NMCE的形成与几种重要的自监督学习(SSL)方法密切相关,我们相信这项工作可以帮助我们更深入地理解SSL表示学习。
2022-01-24 cs.CV cs.LG
Locally Linear Embedding Clustering Algorithm for Natural Imagery
Colorado State University(科罗拉多州立大学)
描述自然图像颜色内容的能力是图像处理的一个重要应用。图像的逐像素着色可以自然地被视为颜色空间中的点,并且这些点的固有结构和分布通过聚类提供图像中的颜色信息的量化。在本文中,我们提出了一种新的拓扑驱动的聚类算法,允许分割的颜色特征的数字图像。该算法融合了局部线性嵌入(LLE)和矢量量化的颜色信息映射到一个较低的维空间,识别不同的颜色区域,并分类像素在一起的基础上的接近度测量和颜色内容。据观察,这些技术允许显着降低颜色分辨率,同时保持图像的视觉上重要的功能。
2012-02-20 cs.CG cs.CV math.GT