Spatiotemporal Classification with limited labels using Constrained Clustering for large datasets
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Minnesota(明尼苏达大学)
通过表示学习和聚类创建可分离的表示对于分析只有几个标签的大型非结构化数据集至关重要。可分离表示可以产生具有更好分类能力的监督模型,并有助于生成新的标记样本。大多数分析大型数据集的无监督和半监督方法都没有利用现有的少量标签来获得更好的表示。在本文中,我们提出了一个时空聚类范式,使用空间和时间的功能结合约束损失产生可分离的表示。我们展示了这种方法在新发布的数据集ReaLSAT上的工作,ReaLSAT是全球超过68万个湖泊的地表水动态数据集,使其成为生态和可持续性方面的重要数据集。使用这个大型的未标记数据集,我们首先展示了时空表示与空间或时间表示相比如何更好。然后,我们展示了如何使用具有少量标签的约束损失来学习更好的表示。最后,我们展示了我们的方法如何使用很少的标签,从未标记的数据中挑选出新的标记样本,这些样本可用于增强监督方法,从而实现更好的分类。
2022-10-14 cs.LG
Constrained 1-Spectral Clustering
Max Planck Institute for Computer Science(马克斯·普朗克计算机科学研究所);Saarland University(萨尔大学)
聚类中先验信息的一种重要形式是不能链接和必须链接约束。我们提出了一个普遍的谱聚类技术,它集成了这样的限制。受最近提出的$1$ -谱聚类无约束问题的启发,我们的方法是基于紧松弛的约束归一化切割成一个连续的优化问题。相对于所有其他的方法,已建议约束谱聚类,我们总是可以保证满足所有的约束。此外,我们的软配方允许优化归一化的削减和违反约束的数量之间的权衡。提供了一种有效的实现,其可扩展到大型数据集。在实验中,我们始终优于所有其他提出的方法。
2015-05-24 cs.LG stat.ML
Weighted Sparse Subspace Representation: A Unified Framework for Subspace Clustering, Constrained Clustering, and Active Learning
University of Cambridge(剑桥大学);Lancaster University(兰卡斯特大学)
基于谱的子空间聚类方法在许多具有挑战性的应用中已经被证明是成功的,例如基因测序、图像识别和运动分割。在这项工作中,我们首先提出了一种新的基于谱的子空间聚类算法,旨在表示每个点作为一个稀疏的凸组合的几个附近的点。然后,我们将算法扩展到约束聚类和主动学习设置。我们开发这样一个框架的动机源于这样一个事实,即通常可以提前获得少量的标记数据;或者有可能以一定的成本标记某些点。后一种情况通常在验证集群分配的过程中遇到。仿真和真实数据集上的实验表明,该方法是有效的,具有竞争力的国家的最先进的方法。
2021-06-08 cs.LG stat.ML
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China(电子科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近,可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上,忽略了聚类的复杂应用场景。为了解决这个问题,在本文中,我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件,我们系统地区分聚类方法的方法,先验知识和架构。具体地,根据四个类别介绍了深度聚类方法,即,传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后,我们讨论了开放的挑战和潜在的未来机会,在不同领域的深度集群。
2022-10-09 cs.LG
Correlation Clustering with Constrained Cluster Sizes and Extended Weights Bounds
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑图上的相关聚类问题,同时对聚类大小和边的正负权重进行约束。我们的贡献是双重的:首先,我们介绍了有界集群大小的相关聚类问题。其次,我们扩展了政权的权重值,集群可以执行恒定的近似保证在多项式时间和应用的结果有界集群大小的问题。
2015-05-22 cs.DS cs.LG
Modularity-Based Clustering for Network-Constrained Trajectories
Télécom ParisTech(巴黎电信学院);Université Paris I(巴黎第一大学)
我们提出了一种新的聚类方法的移动对象的轨迹,受到约束的底层道路网络。该方法建立了一个相似性图的基础上,这些轨迹,然后使用模块化优化层次图聚类重新组轨迹相似的配置文件。我们的实验研究表明,所提出的方法优于经典的层次聚类,并给出了一个简短的洞察可视化的聚类结果。
2012-10-05 cs.LG physics.data-an stat.ML
Semi-Supervised Constrained Clustering: An In-Depth Overview, Ranked Taxonomy and Future Research Directions
DaSCI Andalusian Institute(DaSCI安达卢西亚研究所);University of Granada(格拉纳达大学);Ghent University - imec(根特大学-imec);University of Jaén(哈恩大学)
聚类是一种众所周知的无监督机器学习方法,能够自动对具有相似特征的离散实例集进行分组。约束聚类是对该过程的半监督扩展,当专家知识可用于指示可以利用的约束时,可以使用该过程。这种约束的著名例子是must-link(表示两个实例属于同一个组)和cannot-link(两个实例绝对不属于一起)。约束聚类的研究领域已经显着增长,多年来提出了各种各样的新算法和更先进的约束类型。然而,没有统一的概述,可以很容易地理解各种各样的可用方法,限制和基准。为了弥补这一点,本研究提出了详细的约束聚类的背景,并提供了一个新的排名分类的约束类型,可用于约束聚类。此外,重点介绍了实例级成对约束,并概述了其应用及其历史背景。最后,它提出了一个统计分析,涵盖307个约束聚类方法,根据它们的特点进行分类,并提供了一个排名分数,表明哪些方法最有潜力的基础上,他们的流行程度和验证质量。最后,基于此分析,潜在的陷阱和未来的研究方向。
2023-02-28 cs.AI cs.LG
Spatially-constrained clustering of geospatial features for heat vulnerability assessment of favelas in Rio de Janeiro
UMR Espace-Dev, French National Research Institute for Sustainable Development (IRD)(法国可持续发展国家研究所空间发展研究中心);Fundação Oswaldo Cruz (Fiocruz)(奥斯沃阿尔多·克鲁兹基金会)
本文通过结合空间约束聚类与地表温度分析,揭示了里约热内卢贫民窟两种不同形态对热暴露的影响差异,为全球无房者社区的针对性规划提供框架。
2026-04-28 cs.LG
On Constrained Spectral Clustering and Its Applications
University of California, Davis(加州大学戴维斯分校)
约束聚类已被充分研究的算法,如$K$ -均值和层次聚类。然而,如何满足这些算法设置中的许多约束已被证明是棘手的。编码许多约束的一种替代方法是使用谱聚类,这仍然是一个发展中的领域。在本文中,我们提出了一个灵活的框架约束谱聚类。与以前的一些努力,隐式编码必须链接和不能链接的约束,通过修改图形拉普拉斯算子或约束的基础特征空间,我们提出了一个更自然和原则的制定,明确编码的约束作为约束优化问题的一部分。我们的方法提供了几个实际的优点:它可以编码的程度的信念,必须链接和不能链接的约束,它保证下限如何以及给定的约束满足使用用户指定的阈值,它可以解决确定性在多项式时间通过广义特征分解。此外,通过继承目标函数的谱聚类和编码的约束明确,现有的分析无约束谱聚类技术仍然有效,我们的配方。我们验证了我们的方法的有效性,人工和真实数据集上的实证结果。我们还展示了一个创新的使用编码大量的约束:迁移学习通过约束。
2012-09-21 cs.LG stat.ML
Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学)
识别新的用户意图是对话系统中的基本任务。然而,由于意图的定义受到先验知识的强烈指导,很难得到令人满意的聚类结果。现有的方法通过密集的特征工程结合先验知识,这不仅会导致过拟合,而且使其对聚类数敏感。在本文中,我们提出了带聚类细化的约束深度自适应聚类(CDAC+),这是一种端到端的聚类方法,可以自然地将成对约束作为先验知识来指导聚类过程。此外,我们通过强制模型从高置信度分配中学习来细化聚类。在消除低置信度分配后,我们的方法对聚类的数量惊人地不敏感。在三个基准数据集上的实验结果表明,我们的方法可以在强基线上产生显着的改进。
2019-11-20 cs.CL cs.LG
Uncertainty-Aware Probabilistic Constrained Clustering from Entangled Pairwise Supervision
The University of Manchester(曼彻斯特大学)
针对现实中成对监督的不确定性问题,提出ECI-PP框架结合ProbPair目标,在概率约束聚类任务中优于现有DCC方法且鲁棒性强。
2026-10-15 cs.AI cs.LG
A Unified Framework for Clustering Constrained Data without Locality Property
Michigan State University(密歇根州立大学);University of Science and Technology of China(中国科学技术大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文考虑了一类$\mathbb{R}^{d}$中的点的约束聚类问题,其中$d$可能是相当高的.这些问题的一个共同特点是,他们的最佳聚类不再具有局部性(由于额外的约束),这是一个关键的属性,许多算法所需的无约束的同行。为了克服局部性损失带来的困难,本文提出了一个统一的框架,称为{ \em剥离和封闭(PnE)},迭代求解两个变种的约束聚类问题,{ \em约束$k$ -均值聚类}($k$ -CMeans)和{ \em约束$k$ -中值聚类}($k$ -CMedian)。我们的框架是基于两个独立的几何技术,称为{ \em单纯形引理}和{ \em弱单纯形引理},分别为$k$ -CMeans和$k$ -CMedian。单纯形引理(或较弱的单纯形引理)使我们能够通过在单纯形(或单纯形的周围区域)中搜索与空间维数无关的小尺寸网格来有效地近似未知点集的平均(或中值)点,因此可以用于处理高维数据。如果$k$和$\frac{1}ε$是固定的数字,我们的框架在几乎线性的时间内生成({ \em即,} $O(n(\log n)^{k+1}d)$)、$O((\log n)^{k})$ $k$ -$k$均值或中位数点的元组候选,其中一个诱导$k$ -C均值或$k$ -C中位数的$(1+ε)$ -近似,其中$n$是点数。结合这个统一的框架与特定问题的选择算法(确定最好的$k$元组候选人),我们得到一个$(1+ε)$…
2018-10-02 cs.CG cs.LG
Approximation Algorithm for Constrained $k$-Center Clustering: A Local Search Approach
School of Accounting, Information Systems and Supply Chain, RMIT University(会计、信息系统与供应链学院,皇家墨尔本理工大学);School of Mathematics and Statistics, Fuzhou University(数学与统计学院,福州大学);School of Integrated Circuits, Guangdong University of Technology(集成电路学院,广东省技术大学);School of Information Technology, Deakin University(信息技术学院,德金大学);Western Sydney University(西澳大学);CSIRO’s Data61 and Responsible AI Research (RAIR) Centre, Adelaide University(CSIRO的数据61和负责任的人工智能研究(RAIR)中心,阿德莱德大学)
本文提出基于支配匹配集转换的局部搜索框架,解决受限k-中心聚类问题,实现最佳近似比2,实验表明算法在真实和合成数据集上优于基线方法。
2026-01-17 cs.LG
Constrained Clustering: General Pairwise and Cardinality Constraints
University of Oxford(牛津大学);King Khalid University(哈立德国王大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们研究约束聚类,约束引导聚类过程。在现有的工作中,两类约束已被广泛探讨,即成对和基数约束。成对约束强制两个实例的集群标签相同(必须链接约束)或不同(不能链接约束)。基数约束鼓励集群大小满足用户指定的分布。大多数现有的约束聚类模型一次只能利用一类约束。我们强制执行上述两个类别到一个统一的聚类模型开始的整数规划制定的标准K-均值。由于这两个类别提供不同的有用信息,因此利用这两个类别可以获得更好的聚类性能。然而,由于在统一公式中的二元和二次约束,优化是困难的。为了解决这个问题,我们采用了两种技术:等价地取代二进制约束的两个连续的约束的交集;另一个是通过引入额外的变量转化为双线性约束的二次约束。我们得到了一个等价的连续的简单的约束条件,它可以有效地解决了交替方向法的乘子。在人工数据和真实数据上的大量实验表明:(1)利用单一类别的约束,所提出的模型优于或竞争SOTA约束聚类模型;(2)联合利用两类约束,所提出的模型表现出更好的性能比单一类别的情况下。实验结果表明,该方法充分利用了约束条件,聚类性能较经典的Adjusted Random、Mirkin's和Huber's等聚类指标提高了2%-5%。
2023-01-27 cs.LG stat.ML
A Binary Optimization Approach for Constrained K-Means Clustering
Queensland University of Technology(昆士兰科技大学);University of Liverpool(利物浦大学)
K-Means聚类在许多计算机视觉问题中仍然起着重要的作用。虽然在质心更新和集群分配之间交替的传统Lloyd方法主要用于实践,但它可能收敛到具有空集群的解决方案。此外,某些应用可能要求集群满足特定的约束集合,例如,集群大小、must-link/cannot-link。已经介绍了几种方法来解决约束K-Means聚类。然而,由于K-Means的非凸性质,现有的方法可能会导致次优解,这些次优解很难近似真实的聚类。在这项工作中,我们提供了一个新的视角来解决这个问题。特别是,我们重新考虑约束K-Means作为一个二进制优化问题,并提出了一种新的优化方案,在二进制域中搜索可行的解决方案。这种方法允许我们解决约束K-Means,其中可以同时执行多种类型的约束。在合成数据集和真实数据集上的实验结果表明,与几种常用的聚类方法相比,该方法具有更好的聚类精度和更快的运行速度。
2018-10-29 cs.CV cs.LG
A Bibliographic View on Constrained Clustering
Bangor University(班戈大学)
在Web-of-Science上对约束聚类进行关键字搜索,返回了不到3,000个文档。我们对这些论文进行了自动分析,并编制了我们自己的183篇论文的参考书目,我们根据它们的主题和实验研究(如果有的话)进行了更详细的分析。本文通过帕累托分析,使用引文计数和出版年份,介绍了该领域及其子主题的总体趋势。我们列出可用的软件和分析我们的参考集合的实验部分。我们发现明显缺乏大型比较实验。在我们回顾的主题中,应用研究最近最为丰富,还有深度学习,主动学习和集成学习。
2022-09-22 cs.IR cs.LG
Groupwise Constrained Reconstruction for Subspace Clustering
School of Computer Science, Fudan University(复旦大学计算机科学学院);University of Technology, Sydney(悉尼科技大学)
基于重构的子空间聚类方法计算样本的自重构矩阵,并将其用于谱聚类以获得最终的聚类结果。它们的成功很大程度上依赖于基本子空间是独立的假设,然而,这并不总是在子空间数量增加的应用中成立。在本文中,我们提出了一种新的基于重构的子空间聚类模型,而不做子空间独立性假设。在我们的模型中,重建矩阵的某些属性使用潜在聚类指标来明确表征,并且用于谱聚类的亲和矩阵可以直接从潜在聚类指标的后验而不是重建矩阵中构建。在合成数据集和真实数据集上的实验结果表明,该模型的性能优于现有的方法。
2012-06-18 cs.LG stat.ML
Multiple Manifold Clustering Using Curvature Constrained Path
University of California, San Diego(加州大学圣迭戈分校)
多个曲面的聚类问题是一项具有挑战性的任务,特别是当曲面相交时。Isomap等可用方法无法捕捉交叉点附近表面的真实形状,并导致不正确的聚类。Isomap算法使用点之间的最短路径。最短路径算法的主要缺点是缺乏曲率约束,导致不同表面上的点之间存在路径。在本文中,我们通过对Isomap中使用的最短路径算法施加曲率约束来解决这个问题。该算法随机选择几个界标节点,然后检查每个界标节点和邻域图中的每个其他节点之间是否存在曲率约束路径。我们为每个点构建一个二进制特征向量,其中每个条目表示该点与特定地标的连接。然后,二进制特征向量可以作为传统的聚类算法,如层次聚类的输入。我们将我们的方法应用于模拟和一些真实的数据集,并显示,它执行最好的方法,如K-流形和谱多流形聚类。
2018-12-04 cs.LG stat.ML
Deep Clustering via Distribution Learning
University of Alberta(阿尔伯塔大学)
本文提出基于分布学习的深度聚类方法DCDL,通过理论分析指导聚类优化,并引入聚类蒙特卡洛边缘化解决分布学习难以直接应用的问题,在常用数据集上取得优于现有方法的聚类效果。
2024-08-06 cs.LG
How to Achieve the Intended Aim of Deep Clustering Now, without Deep Learning
State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China(新型软件技术国家重点实验室,南京大学,南京,中国);School of Artificial Intelligence, Nanjing University, Nanjing, China(人工智能学院,南京大学,南京,中国)
本文探讨了深度聚类方法是否能克服k-均值聚类的根本限制,并发现非深度学习方法可通过利用数据分布信息实现深度聚类的目标。
2026-08-26 cs.LG
Constrained Centroid Clustering: A Novel Approach for Compact and Structured Partitioning
AI & CS Department, Mahindra University(人工智能与计算机科学系,马恒达大学)
本文提出约束质心聚类(CCC),通过限制聚类中心到最远点的最大距离并利用拉格朗日推导闭式解,在合成圆形数据上实现了比K-means和GMM更紧凑且保持角度结构的聚类。
2025-08-18 cs.LG stat.ML
Deep Learning with Nonparametric Clustering
聚类是机器学习和数据采掘中的一个基本问题。影响聚类性能的一个重要因素是如何学习或设计数据表示(或功能)。幸运的是,深度学习的最新进展可以有效地学习无监督特征,并在许多分类问题中取得了最先进的性能,例如字符识别,对象识别和文档分类。然而,人们很少关注深度学习在无监督聚类问题中的潜力。在本文中,我们提出了一个具有非参数聚类的深度信念网络。作为一种无监督方法,我们的模型首先利用了深度学习的优势进行特征表示和降维。然后,它执行非参数聚类下的最大间隔框架-判别聚类模型,可以有效地在线训练的代码空间。最后在深度信念网络中对模型参数进行优化。因此,该模型可以在一个统一的框架中学习用于聚类的特征并推断模型的复杂性。实验结果表明,我们的方法的优势,竞争力的基线。
2015-01-13 cs.LG
Leveraging Union of Subspace Structure to Improve Constrained Clustering
University Michigan(密歇根大学)
在计算机视觉和其他背景下的许多聚类问题也是分类问题,其中每个聚类共享一个有意义的标签。特别是子空间聚类算法通常应用于符合这种描述的问题,例如人脸图像或手写数字。虽然在这些数据集上请求人工输入很简单,但我们的目标是尽可能减少这种输入。我们提出了一个成对约束的聚类算法,积极选择查询的基础上的联盟的子空间模型。该算法的中心步骤是在查询点之间的最小间隔估计的子空间,类似于分类器的利润,这些谎言附近的决策边界。我们证明了位于子空间的交点附近的点是具有低边缘的点。我们的程序可以在任何输出亲和矩阵的子空间聚类算法之后使用。我们在几个数据集上证明,我们的算法比具有子空间结构的数据集上的最先进的主动查询算法更快地降低了聚类错误,并且在其他数据集上具有竞争力。
2017-09-13 cs.CV cs.LG
Constrained fractional set programs and their application in local clustering and community detection
Saarland University(萨尔大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
集合函数比的(约束)最小化是聚类和社区检测中经常出现的问题。由于这些优化问题通常是NP难的,因此在实践中使用凸或谱松弛。虽然这些松弛可以全局最优地解决,但它们往往过于松散,从而导致结果远离最优。在本文中,我们表明,每一个约束的非负集函数的比例最小化问题允许一个紧松弛成一个无约束的连续优化问题。这一结果导致一个灵活的框架,解决网络分析中的约束问题。虽然不能保证所产生的非凸问题的全局最优解,但在约束局部聚类问题上,我们的表现优于宽松的凸或谱松弛。
2013-06-14 cs.LG math.OC stat.ML
A probabilistic constrained clustering for transfer learning and image category discovery
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
基于神经网络的聚类最近已经流行,并且特别地,已经提出了约束聚类公式以使用深度学习来执行迁移学习和图像类别发现。其核心思想是制定一个具有成对约束的聚类目标,可用于训练深度聚类网络;因此,聚类分配及其底层特征表示是端到端联合优化的。在这项工作中,我们提供了一种新的聚类公式来解决以前的工作在优化更深的网络和更大量的类别方面的可扩展性问题。所提出的目标直接最小化负对数似然的集群分配相对于成对约束,没有超参数,并证明了改进的可扩展性和性能的监督学习和无监督迁移学习。
2018-06-28 cs.AI cs.CV cs.LG
Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Mining Electronic Health Records to Investigate Effectiveness of Ensemble Deep Clustering
Department of Computer Science(计算机科学系);Tennessee State University(田纳西州立大学)
针对电子健康记录中传统聚类方法在嵌入表示上的局限,提出基于集成嵌入的深度聚类方法,结合多种嵌入维度与经典聚类,在心力衰竭患者队列中取得最佳综合性能。
2026-06-08 cs.LG
Ensemble of Unsupervised Deep Learning for Clustering Imbalanced Tabular Data
Tennessee State University(田纳西州立大学);Enosis Solutions(伊诺西斯解决方案公司);North Carolina A&T State University(北卡罗来纳农工州立大学)
本文针对不平衡表格数据,提出两种无监督深度聚类集成方法,经16个二分类表格数据集实验,其在ACC、NMI、ARI指标上优于单个方法,可作为监督分类的有力替代方案。
2026-08-04 cs.LG
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies(诺基亚技术)
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现,人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体,并使用编码器输出作为聚类的表示/特征。在本文中,我们证明了在自动编码器训练期间对这些表示的l2归一化约束,使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时,k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法,使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明,所提出的异常检测方法大大提高了准确性相比,以前提出的深层方法,如基于重建误差的异常检测。
2018-02-01 cs.LG
Constrained Bilinear Factorization Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
多视图聚类是一个重要而基本的问题。已有的多视点子空间聚类方法大多假设所有视点共享同一个系数矩阵。然而,在这种假设下,多视图数据的底层信息没有得到充分利用,因为不同视图的系数矩阵应该具有相同的聚类属性,而不是在多个视图之间是均匀的。为此,本文提出了一种新的约束双线性分解多视图子空间聚类(CBF-MSC)方法。具体地说,对所有系数矩阵进行带正交约束和低秩约束的双线性分解,使它们具有相同的迹范数而不是等价的,从而更充分地挖掘多视图数据的一致性信息.最后,一个增广拉格朗日乘子(ALM)为基础的算法来优化目标函数。在九个基准数据集上进行的综合实验验证了所提出的方法与几种最先进的方法相比的有效性和竞争力。
2021-03-24 cs.LG stat.ML
On consistency of constrained spectral clustering under representation-aware stochastic block model
Indian Institute of Science(印度科学学院)
谱聚类由于其灵活性、计算效率和良好的理论性能保证而在实践中得到广泛应用。最近,谱聚类已被研究,以找到平衡的集群人口水平的限制。这些约束由辅助分类节点属性形式的附加信息指定。在本文中,我们考虑的情况下,这些属性可能是不可观察的,但表现为一个辅助图的潜在特征。出于这一动机,我们研究约束谱聚类的目的是找到平衡的集群在一个给定的\textit{similarity graph} $\mathcal{G}$,这样每个人都充分表示相对于一个辅助图$\mathcal{R}$(我们称之为表示图)。我们提出了一个个人层面的平衡约束,形式化这个想法。我们的工作导致一个有趣的随机块模型,不仅植物给定的分区在$\mathcal{G}$,但也植物的辅助信息编码的表示图$\mathcal{R}$。在这种情况下,我们开发了谱聚类的非归一化和归一化变体。这些算法使用$\mathcal{R}$在$\mathcal{G}$中找到近似满足所提出的约束的聚类。我们还建立了第一个统计一致性结果的约束谱聚类下的个人水平的限制,从上述变体的随机块模型采样的图形。我们的实验结果证实了我们的理论发现。
2022-03-03 cs.LG stat.ML
Snapshot Spectral Clustering -- a costless approach to deep clustering ensembles generation
Semantics(4Semantics);Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
本文提出 Snapshot Spectral Clustering 深度聚类集成方法,通过组合深度神经网络生成的多视图提升聚类效果,并降低集成构建的计算成本。
2023-07-17 cs.LG
Fed-BRDECS: Privacy-Preserving and Heterogeneity-Aware Federated Deep Embedded Clustering
Northwestern University(西北大学);Intel Corporation(英特尔公司)
针对联邦深度聚类中的隐私泄露与数据异构问题,提出Fed-BRDECS框架,通过局部样本稳定性损失和预测平衡采样及质心重启,在图像、文本及时间序列任务上优于现有基线。
2026-10-07 cs.LG
Near-Optimal Algorithms for Constrained k-Center Clustering with Instance-level Background Knowledge
School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学学院);School of Accounting, Information Systems and Supply Chain, RMIT University(皇家墨尔本理工大学会计、信息系统与供应链学院);School of Information Technology, Deakin University(德肯大学信息科技学院);Western Sydney University(西悉尼大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
针对带必连/勿连约束的k-中心聚类近似难、计算难的问题,结合反向支配集、LP整多面体与对偶技术提出首个达到最优近似比2的高效算法,经真实数据集实验验证在聚类代价、质量与速度上均优于基线。
2025-06-12 cs.AI cs.LG
Multi-view constrained clustering with an incomplete mapping between views
Bryn Mawr College(布林莫尔学院);University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
多视图学习算法通常假设不同视图之间的完全二分映射,以便在学习过程中交换信息。然而,许多应用程序只提供视图之间的部分映射,这对当前方法提出了挑战。为了解决这个问题,我们提出了一个多视图算法的基础上约束聚类,可以与不完整的映射。在每个视图中给定一组成对约束,我们的方法使用本地相似性度量将这些约束传播到可以映射到其他视图的实例,从而允许通过部分映射跨视图传输传播的约束。它使用co-EM迭代地估计每个视图内的传播基于当前的聚类模型,跨视图传输的约束,然后更新聚类模型。通过在视图之间交替学习过程,该方法产生与所有视图一致的统一聚类模型。我们表明,这种方法显着提高了聚类性能比其他几种方法传输的约束,并允许多视图聚类可靠地应用时,给出了有限的视图之间的映射。我们的评估表明,传播的约束具有较高的精度相对于数据中的真正的集群,解释他们的好处,在单视图和多视图学习场景的聚类性能。
2012-10-09 cs.AI cs.LG
Deep Embedding Clustering Driven by Sample Stability
Shanxi University(山西大学)
针对现有深度聚类依赖人工伪目标的问题,提出样本稳定性驱动的DECS算法,通过自编码器构建初始空间并学习受稳定性约束的聚类嵌入特征,经理论收敛验证和五数据集实验,性能优于现有最优聚类方法。
2024-01-29 cs.LG
Deep Visual Attention-Based Transfer Clustering
KLE Technological University(KLE科技大学)
在本文中,我们提出了一种方法来改进深度传输聚类(DTC)的技术时,应用到较少的变异数据分布。聚类可以被认为是最重要的无监督学习问题。聚类的一个简单定义可以表述为“将对象组织成组的过程,其成员在某些方面是相似的”。图像聚类是机器学习和计算机视觉领域中一项重要而又具有挑战性的任务。我们已经讨论了数据汇集的聚类,其中数据是较少变异的。我们已经讨论了通过使用基于注意力的分类器而不是常规分类器作为深度转移聚类中的初始特征提取器的改进。我们强制该模型只学习图像中所需的感兴趣区域,以获得不考虑背景的可区分和鲁棒的特征。本文是对现有的深度迁移聚类算法的改进,以减少数据分布的变异.
2021-07-06 cs.LG
Graph-Based Approaches to Clustering Network-Constrained Trajectory Data
Télécom ParisTech(巴黎电信学院);Université Paris I Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
尽管聚类轨迹数据在过去几年中引起了相当大的关注,但大多数先前的工作假设移动对象可以在欧几里得空间中自由移动,并且没有考虑潜在道路网络的最终存在及其对评估轨迹之间相似性的影响。在本文中,我们提出了两种方法来聚类网络约束的轨迹数据。第一种方法发现沿着道路网络的相同部分行进的轨迹的集群。第二种方法是面向路段的,其目的是根据路段共有的轨迹将路段分组在一起。这两种方法都使用一个图模型来描述观察w.r.t.之间的相互作用。它们的相似性,并使用社区发现算法对该相似性图进行聚类。我们还提出了合成数据上获得的实验结果来展示我们的主张。
2012-10-02 cs.LG stat.ML
SHADE: Deep Density-based Clustering
University of Vienna(维也纳大学);UniVie Doctoral School Computer Science(维也纳大学计算机科学博士学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);ds:UniVie(维也纳大学数据科学中心)
针对高维含噪数据中任意形状簇检测难题,提出首个将密度连通性纳入损失函数的深度聚类算法SHADE,无需用户输入即可自动聚类,聚类质量更优且嵌入空间利于结果可视化解释。
2024-10-08 cs.LG
Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering
Guangdong University of Technology(广东工业大学)
非负矩阵分解(NMF)是一种广泛使用的数据表示技术。受深度学习的表达能力的启发,已经提出了几种配备有深度架构的NMF变体。然而,这些方法大多使用唯一的非负性,而忽略了任务特定的数据特征。在本文中,我们提出了一种新的深度近似正交非负矩阵分解方法,同时施加非负性和正交性,目的是通过使用不同层次的抽象数据进行层次聚类。在两个人脸图像数据集上的实验表明,该方法比其他深度矩阵分解方法和最先进的单层NMF变体具有更好的聚类性能。
2017-11-20 cs.LG
Deep Transductive Semi-supervised Maximum Margin Clustering
半监督聚类是机器学习和计算机视觉中一个非常重要的研究课题。这个问题的关键挑战是如何学习一个度量,使得共享相同标签的实例在嵌入空间上更可能彼此接近。然而,很少有人注意到学习更好的表示时,数据躺在非线性流形。幸运的是,深度学习最近在特征学习方面取得了巨大成功。受深度学习的启发,我们提出了一种深度转换的半监督最大边缘聚类方法。更具体地说,给定成对约束,我们利用标记和未标记的数据学习一个非线性映射下的最大间隔框架聚类分析。因此,我们的模型统一了半监督聚类框架中的直推学习,特征学习和最大间隔技术。我们用限制性玻尔兹曼机(RBM)逐层预训练深度网络结构,并用梯度下降优化我们的目标函数。通过检查最违反的约束,我们的方法通过误差反向传播更新模型参数,其中自动学习深度特征。实验结果表明,我们的模型是显着优于最先进的半监督聚类。
2015-01-26 cs.LG
Decorrelating Adversarial Nets for Clustering Mobile Network Data
Technical University of Munich(慕尼黑工业大学);Nokia Bell Labs(诺基亚贝尔实验室)
深度学习将在实现未来移动网络的认知自动化方面发挥关键作用。深度聚类是深度学习的一个子集,对于许多网络自动化用例来说,它可能是一个有价值的工具。不幸的是,大多数最先进的聚类算法的目标图像数据集,这使得他们很难应用到移动网络数据,由于其高度调整的性质和相关的假设数据。在本文中,我们提出了一种新的算法DANCE(Decorrelating Adversarial Nets for Decorrelating Friendly Encoding),旨在成为一种可靠的深度聚类方法,在应用于网络自动化用例时也表现良好。DANCE使用重构聚类方法,将潜在表示中的聚类相关特征与聚类无关特征分离。这种分离从集群中删除了不必要的信息,提高了一致性和峰值性能。我们全面评估了DANCE和其他选择的最先进的深度聚类算法,并表明DANCE在移动网络数据集上的性能明显优于这些算法。
2021-03-11 cs.LG
Deep clustering with fusion autoencoder
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
近年来,将深度学习技术用于聚类研究中的表示学习引起了广泛的关注,产生了一种新的聚类范式,即深度聚类(DC)。通常,DC模型利用自动编码器来学习内在特征,从而促进聚类过程。目前,一种称为变分自编码器(VAE)的生成模型在DC研究中得到了广泛的认可。然而,普通的VAE不足以感知全面的潜在特征,导致聚类性能下降。在本文中,提出了一种新的DC方法来解决这个问题。具体来说,生成对抗网络和VAE被合并到一个新的自动编码器中,称为融合自动编码器(FAE),用于识别更有区别的表示,这有利于下游的聚类任务。此外,FAE实现了深度残差网络架构,进一步增强了表示学习能力。最后,FAE的潜在空间被转换成由深密集神经网络形成的嵌入空间,用于将不同的聚类彼此拉开并折叠各个聚类内的数据点。在多个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
2022-01-14 cs.LG
Constrained variable clustering and the best basis problem in functional data analysis
Institut Télécom(电信研究院);Télécom ParisTech(巴黎高等电信学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
函数数据分析涉及由常规函数描述的数据,而不是由有限数量的实值变量描述的数据。虽然一些稳健的数据分析方法可以直接应用于从功能数据的细网格采样获得的非常高维的向量,但是所有方法都受益于减少由规律性引起的冗余的功能的先前简化。在本文中,我们建议使用一个聚类方法,目标变量,而不是个人设计一组函数的分段常数表示。由变量的函数性质引起的邻近约束允许多项式复杂度算法给出最优解。
2012-01-04 cs.LG stat.ML
Efficient Deep Clustering of Human Activities and How to Improve Evaluation
由于手表和手机中可穿戴传感器的激增以及深度学习方法的进步,最近对人类活动记录(HAR)进行了大量研究,这些方法避免了从原始传感器信号中手动提取特征的需要。应用于HAR的深度学习的一个显著缺点是需要手动标记的训练数据,这对于HAR数据集来说尤其难以获得。在无监督环境中,以深度HAR聚类模型的形式开始取得进展,该模型可以在没有任何标签的情况下为数据分配标签以进行训练,但是评估深度HAR聚类模型存在问题,这使得评估该领域和设计新方法变得困难。在本文中,我们强调了如何评估深度HAR聚类模型的几个不同问题,详细描述了这些问题,并进行了仔细的实验,以说明它们对结果的影响。然后,我们讨论这些问题的解决方案,并建议未来的深度HAR聚类模型的标准评估设置。此外,我们提出了一个新的深度聚类模型HAR。当在我们提出的设置下进行测试时,我们的模型比现有模型表现得更好(或与现有模型相当),同时也更有效,并且通过避免自动编码器的需要,能够更好地扩展到更复杂的数据集。
2022-09-17 cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文提出Kempe Swap K-Means算法,通过双重迭代过程在约束空间中优化聚类,结合可控扰动提升全局搜索能力,实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Large Scale Constrained Clustering With Reinforcement Learning
本文研究大规模约束聚类问题,提出通过强化学习训练智能体生成可行且近最优解的方法,克服了传统组合优化求解器处理大规模实例的困难。
2024-02-15 cs.AI cs.LG
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学)
成对约束下的聚类是一种重要的知识发现工具,它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现,在许多应用程序中自然出现,并且对于用户来说是直观的。然而,当学习内核或度量时,将离散约束放松到连续域以简化优化的常见做法可能会损害泛化,因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法,联合聚类数据和学习的内核,根据现有的成对约束。为了更好地推广,我们的方法被设计为最大化约束满足,而不放松成对约束到一个连续的域,其中它们通知距离。我们表明,所提出的方法优于现有的方法在大量不同的公开可用的数据集,我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Optimal Decision Trees For Interpretable Clustering with Constraints (Extended Version)
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出首个基于SAT的带约束可解释聚类框架,利用决策树在满足聚类约束的同时提供强理论保证,并揭示了可解释性与约束满足之间的权衡。
2023-05-16 cs.AI cs.LG
Towards Explainable Clustering: A Constrained Declarative based Approach
LIFO;Univ. Orléans(奥尔良大学);INSA Centre Val de Loire(中央卢瓦尔河谷国立应用科学学院)
提出ECS方法,通过约束声明式聚类集成专家知识,结合覆盖率和区分度实现高质量可解释聚类。
2024-03-26 cs.AI cs.LG
Robust and Efficient Fuzzy C-Means Clustering Constrained on Flexible Sparsity
Northwestern Polytechnical University(西北工业大学);Zhengzhou University(郑州大学)
聚类是数据采掘中的一种有效技术,它根据某些属性对一组对象进行分组。在各种聚类方法中,K-Means算法家族由于简单和高效而受到欢迎。然而,现有的基于K-Means的聚类算法大多不能很好地处理离群点,难以有效地解决嵌入$L_0$ -范数约束的问题。针对上述问题,提出了一种新的聚类算法REFCMFS,该算法将$L_{2,1}$范数鲁棒损失作为数据驱动项,并对隶属度矩阵施加$L_0$范数约束,使模型更加鲁棒和稀疏.特别地,REFCMFS通过一个排序函数将$\|\cdot\|_0$吸收到目标函数中,设计了一种新的方法来简化和求解$L_0$ -范数约束,而不需要任何近似变换。这些改进不仅使REFCMFS有效地获得了更有前途的性能,而且为解决嵌入$L_0$ -范数约束的问题提供了一种新的易处理的、巧妙的优化方法。理论分析和在多个公共数据集上的实验验证了本文提出的REFCMFS方法的有效性和合理性。
2019-09-05 cs.LG stat.ML
Constrained Hierarchical Clustering via Graph Coarsening and Optimal Cuts
ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院ENSTA Paris);Greenworking
针对短文本词语的层次聚类,本文提出结合软约束正则化最小二乘的图粗化与基于约束的最优切割方法,以满足水平和垂直结构约束,并取得优异且轻量的聚类效果。
2023-12-07 cs.LG math.OC
Angular Constraint Embedding via SpherePair Loss for Constrained Clustering
Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
提出SpherePair损失,通过角度空间中的几何约束嵌入实现深度约束聚类,无需预设聚类数,兼具可扩展性与理论保证,性能优于现有方法。
2025-10-08 cs.AI cs.CV cs.LG
How to Use Temporal-Driven Constrained Clustering to Detect Typical Evolutions
University Lumière Lyon 2(里昂第二大学)
在本文中,我们提出了一个新的时间感知的相异性措施,考虑到时间维度。在描述空间中接近但在时间上遥远的观察被认为是不相似的。我们还提出了一种方法来执行分割的连续性,通过引入,在目标函数中,从正态分布函数的启发惩罚项。我们将这两个命题结合成一个新的时间驱动的约束聚类算法,称为TDCK-手段,它创建一个分区的连贯的集群,无论是在多维空间和时间空间。该算法使用软半监督约束,鼓励属于同一实体的相邻观测被分配到同一聚类。我们将我们的算法应用于政治研究数据集,以检测典型的进化阶段。我们适应香农熵,以衡量实体的邻接,我们表明,我们的主张一贯提高集群的时间凝聚力,没有任何显着的损失,在多维方差。
2016-01-11 cs.DS cs.LG