Clustering with Noisy Queries
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们发起了一个严格的理论研究聚类与嘈杂的查询（或一个错误的预言）。给定一组$n$元素，我们的目标是通过向Oracle请求最少数量的成对查询来恢复真正的聚类。Oracle可以回答以下形式的查询："元素$u$和$v$属于同一个簇吗？"--可以交互式地（自适应查询）或非自适应地预先询问查询，但是其答案可能是错误的，概率为$p$。在本文中，我们提供了第一个信息理论的查询数量的下限聚类与嘈杂的甲骨文在这两种情况下。我们设计了新的算法，密切配合这个查询的复杂性下限，即使当集群的数量是未知的。此外，我们设计的计算效率的算法，自适应和非自适应设置。该问题捕获/概括了多个应用场景。它的直接动机是越来越多的工作使用众包{\em实体解析}，一个基本的和具有挑战性的数据挖掘任务，旨在识别数据库中引用同一实体的所有记录。在这里，crowd代表嘈杂的预言机，查询的数量直接关系到众包的成本。另一个应用来自社交网络中的{\em符号边缘预测}问题，其中社交交互可以是正面的和负面的，并且必须通过查询几对来识别所有成对交互的符号。此外，聚类与嘈杂的预言是密切相关的聚类，导致其中的改进。最后，介绍了一个新的研究方向，在流行的{\em随机块模型}，其中有一个不完整的随机块模型矩阵来恢复集群。
2017-06-22 cs.DS cs.IT cs.LG
Query-Efficient Correlation Clustering
ISI Foundation（意大利科学与技术研究所）；Amalfi Analytics（阿马尔菲分析公司）；Eurecat（欧洲应用技术研究中心）；Boston University（波士顿大学）
相关聚类可以说是最自然的聚类公式。给定n个对象和成对相似性度量，目标是对对象进行聚类，以便在最大程度上将相似对象放在同一个聚类中，将不相似对象放在不同的聚类中。相关聚类的一个主要缺点是它需要$Θ(n^2)$成对相似性作为输入。这通常是不可行的计算，甚至只是存储。本文研究了相关聚类的\emph{query-efficient}算法。具体来说，我们设计了一个相关聚类算法，给定的$Q$查询的预算，达到一个解决方案，其预期的分歧数是最多$3\cdot OPT + O(\frac{n^3}{Q})$，其中$OPT$是实例的最佳成本。它的运行时间是$O(Q)$，并且可以很容易地使其成为非自适应的（这意味着它可以在一开始就指定所有查询，并使它们并行）。恒定的因素，我们的算法产生了一个可证明的最佳权衡查询的数量$Q$和最坏情况下的错误达到，即使是自适应算法。最后，我们进行了实验研究，我们提出的方法在合成和真实数据，显示了我们的算法的可扩展性和准确性。
2020-02-26 cs.DS cs.LG
Semisupervised Clustering by Queries and Locally Encodable Source Coding
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
信源编码是信息论中数据压缩的规范问题。在可局部编码的信源编码中，每个压缩比特仅依赖于输入的几个比特。在本文中，我们表明，最近流行的半监督聚类模型是等效的本地可编码源编码。在这个模型中，任务是执行未标记元素的多类标记。一开始，我们可以并行地向一个oracle提出一组简单的查询，后者为这些查询提供（可能是错误的）二进制答案。查询不能涉及两个以上的元素（或固定的常量）。现在，所有元素的标记（或聚类）必须基于嘈杂的查询答案来执行。目标是恢复所有正确的标签，同时最大限度地减少此类查询的数量。与本地可编码源代码的等价性使我们能够找到各种场景中所需查询数量的下限。我们提供查询方案的基础上成对的“相同的集群”查询和成对的与查询，并显示可证明的性能保证每个计划。
2020-11-09 cs.IT cs.LG math.IT
Optimal Clustering with Noisy Queries via Multi-Armed Bandit
Fudan University（复旦大学）
出于许多应用的动机，我们研究了一个错误的预言机的聚类。在该问题中，存在属于$k$未知簇的$n$项，允许算法询问oracle两个项是否属于同一簇。然而，来自神谕的答案只有在概率为$\frac{1}{2}+\fracδ{2}$的情况下才是正确的。目标是以最少的噪声查询来恢复隐藏的聚类。以前的工作表明，这个问题可以解决$O(\frac{nk\log n}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询，而$Ω(\frac{nk}{δ^2})$查询是必要的。因此，对于$k$和$δ$的任何值，在上限和下限之间仍然存在非平凡的差距。在这项工作中，我们获得了第一个匹配的上限和下限的参数范围很广。特别地，提出了一种新的带$O(\frac{n(k+\log n)}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询的多项式时间算法.此外，我们证明了一个新的下界的$Ω(\frac{n\log n}{δ^2})$，结合现有的$Ω(\frac{nk}{δ^2})$界，匹配我们的上限到一个添加剂$\text{poly}(k,\frac{1}δ,\log n)$长期。为了得到新的结果，我们的主要成分是我们的问题和多臂强盗之间的一个有趣的联系，这可能会提供有用的见解，为其他类似的问题。
2022-07-12 cs.LG
COBRAS: Fast, Iterative, Active Clustering with Pairwise Constraints
Department of Computer Science, KU Leuven（比利时鲁汶大学计算机科学系）
基于约束的聚类算法利用背景知识来构造与特定用户的兴趣一致的聚类。这种背景知识通常是通过允许聚类系统向用户提出成对查询来获得的：这两个元素是否应该在同一个聚类中？主动聚类方法的目标是通过首先查询信息量最大的对来最小化获得良好聚类所需的查询数量。理想情况下，用户应该能够回答其中的几个查询，检查结果聚类，并重复这两个步骤，直到获得满意的结果。我们提出了COBRAS，一种主动聚类与成对的约束，适合这样一个互动的聚类过程。COBRAS中的一个核心概念是超级实例：数据中的一个局部区域，其中所有实例都被假设属于同一个集群。COBRAS构建这样的超级实例在一个自上而下的方式产生高质量的结果在聚类过程的早期，并不断完善这些超级实例，更多的成对查询，以获得更详细的clustrings.We实验证明，COBRAS产生良好的聚类在快速运行时间，使其成为一个很好的候选人的迭代聚类场景上面概述。
2018-03-29 cs.AI cs.LG stat.ML
Exact Recovery of Mangled Clusters with Same-Cluster Queries
Sapienza University of Rome（罗马第一大学）；Univ. of Milan（米兰大学）；Google（谷歌）；Istituto Italiano di Tecnologia（意大利理工学院）
研究了半监督主动聚类框架下的聚类恢复问题。给定一组有限的输入点，以及揭示任何两个点是否位于同一个簇中的预言，我们的目标是使用尽可能少的查询来精确地恢复所有簇。为此，我们放松了Ashtiani等人的球形$k$ -均值聚类假设。以允许具有边缘的任意椭圆形簇。这消除了聚类是基于中心的假设（即，通过优化问题定义），并且包括通过旋转、轴缩放和点删除的任何组合单独变换球形簇的所有那些情况。我们表明，即使在这个更一般的设置，它仍然是可以恢复的潜在的聚类使用的查询数量，规模仅与输入点的数量几何。更确切地说，我们设计了一个算法，给定$n$点被划分成$k$集群，使用$O(k^3 \ln k \ln n)$ oracle查询和$\tilde{O}(kn + k^3)$时间来恢复聚类，具有零误分类错误。的$O(\cdot)$符号隐藏了指数依赖的簇的维数，这是必要的，从而表征查询的复杂性的问题。我们的算法是简单的，易于实现，也可以学习集群使用低拉伸分离器，一类椭球体与额外的理论保证。在大规模人工数据集上的实验表明，该算法能够准确、高效地重构聚类。
2020-10-30 cs.LG stat.ML
Document clustering with evolved multiword search queries
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University College London（伦敦大学学院）；University of Brighton（布莱顿大学）
本文提出用演化搜索查询进行文档聚类，通过优化查询减少重叠，并结合KNN分配未匹配文档，在8个数据集上取得最高准确率，同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
Clustering Semi-Random Mixtures of Gaussians
Rutgers University（罗格斯大学）；Northwestern University（西北大学）
高斯混合模型（GMM）是用于$k$均值聚类问题的最广泛使用的统计模型，并且形成用于机器学习和数据分析中的聚类的流行框架。在本文中，我们提出了一个自然的半随机模型的$k$ -均值聚类，概括了高斯混合模型，我们相信这将是有用的，在确定强大的算法。在我们的模型中，允许半随机对手对从高斯混合模型生成的数据进行任意的“单调”或有益的更改。我们的第一个贡献是一个多项式时间算法，可证明恢复地面真相小分类错误w. h. p.，假设各部件之间有一定的间隔。也许令人惊讶的是，我们分析的算法是流行的劳埃德算法的$k$ -均值聚类，这是在实践中的方法的选择。我们的第二个结果补充了上限，给出了一个几乎匹配的信息理论的下界所产生的任何$k$ -均值聚类算法的半随机模型的误分类点的数量。
2017-11-23 cs.DS cs.LG
Query K-means Clustering and the Double Dixie Cup Problem
UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑的问题近似$K$ -均值聚类离群值和侧信息提供了相同的集群查询和可能的噪音答案。我们的解决方案表明，在一些温和的假设下，最小的集群大小，可以获得一个$(1+ε)$ -近似的概率至少$1-δ$，其中$ε>0$和$δ\in(0,1)$的最佳潜力，使用预期数量的$O(\frac{K^3}{εδ})$无噪声同簇查询和基于比较的聚类的复杂性$O(ndK + \frac{K^3}{εδ})$，在这里，$n$表示点的数量和$d$空间的维度。与少数其他已知的方法，执行重要性采样，以考虑小集群的大小相比，所提出的查询技术减少了查询的数量的一个因素，大约$O(\frac{K^6}{ε^3})$，在可能丢失非常小的集群的成本。我们将此设置扩展到对Oracle的某些查询产生错误信息的情况，以及某些点（称为离群值）不属于任何聚类的情况。我们的证明技术不同于以前的方法用于$K$ -均值聚类分析，因为它们依赖于估计的集群的大小和精确的质心估计和随后的非平凡的双迪克西杯问题的推广所需的点的数量。我们说明了所提出的算法在合成和真实数据集，包括MNIST和CIFAR $10$的性能。
2018-11-12 cs.LG stat.ML
Fairness, Semi-Supervised Learning, and More: A General Framework for Clustering with Stochastic Pairwise Constraints
Wellesley College（韦尔斯利学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland, College Park（马里兰大学帕克分校）
度量聚类是从组合优化和数据采掘到机器学习和运筹学等领域的基础。然而，在各种情况下，我们可能有额外的要求或知识，不同于底层的度量，关于哪些点对应该聚集在一起。为了捕捉和分析这样的情况下，我们引入了一个新的家庭的\emph{stochastic pairwise constraints}，我们纳入几个基本的聚类目标（半径/中位数/手段）。此外，我们证明了这些约束可以简洁地建模一个有趣的应用程序集合，其中包括聚类中的\emph{Individual Fairness}和半监督学习中的\emph{Must-link}约束。我们的主要结果包括一个一般的框架，产生近似算法与可证明的保证重要的聚类目标，而在同一时间产生的解决方案，尊重随机成对约束。此外，对于某些目标，我们设计改进的结果的情况下，必须链接的约束，这也是最好的可能从理论的角度来看。最后，我们提出了实验证据，验证了我们的算法的有效性。
2021-03-02 cs.DS cs.LG
Spectral Robustness for Correlation Clustering Reconstruction in Semi-Adversarial Models
Sapienza University（罗马第一大学）；Bocconi University（博科尼大学）
相关聚类是一个重要的聚类问题，有着广泛的应用。我们研究了这个问题的重建版本，其中一个是寻求重建一个潜在的聚类，已被随机噪声和对抗性修改损坏。关于后者，在文献中有一个标准的“后对抗”模型，其中对抗性修改在噪声之后。在这里，我们介绍并分析了一个“预对抗”模型，其中对抗性修改先于噪声。给定来自这种半对抗生成模型的输入，目标是几乎完美地重建潜在聚类，并且具有很高的概率。我们专注于隐藏聚类具有几乎相等大小的情况，并显示以下内容。在对抗前的环境中，谱算法是最佳的，因为它们一直重建到信息论阈值，超过该阈值就不可能重建。这与后对抗设置相反，在后对抗设置中，它们恢复隐藏聚类的能力在阈值之前停止，但基于SDP的算法最佳地填补了这一空白。这些结果突出了迄今为止未知的光谱算法的鲁棒性，表明它们比以前认为的更脆弱。
2022-02-08 cs.DS cs.LG
Efficient Clustering with Limited Distance Information
Boston University（波士顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Maastricht University（马斯特里赫特大学）；University of Southern California（南加州大学）
给定一个点集S和一个未知的度量D上S，我们研究的问题，有效地划分成k个集群，同时查询点之间的距离很少。在我们的模型中，我们假设我们可以访问一个与所有查询，给定一个点s 2 S返回s和所有其他点之间的距离。我们表明，给定一个自然的假设的结构的实例，我们可以有效地找到一个准确的聚类只使用O（k）距离查询。我们使用我们的算法通过序列相似性对蛋白质进行聚类。这个设置非常适合我们的模型，因为我们可以使用一个快速的序列数据库搜索程序来查询整个数据集的序列。我们进行的实证研究表明，即使我们查询点之间的距离的一小部分，我们产生的聚类是接近所需的聚类由手动分类。
2014-08-09 cs.AI cs.LG
On Margin-Based Cluster Recovery with Oracle Queries
Univ. of Milan（米兰大学）；Google（谷歌）；Istituto Italiano di Tecnologia（意大利技术研究院）
我们研究了一个积极的集群恢复问题，给定一组$n$点和一个oracle回答查询，如“这两个点在同一个集群？“，任务是使用尽可能少的查询来精确恢复所有群集。首先，我们引入一个简单但一般的概念，集群之间的利润率，捕捉，作为特殊情况下，在以前的工作中使用的利润率，经典的SVM利润率，和基于中心的聚类的稳定性的标准概念。然后，根据我们的利润假设，我们设计的算法，在各种设置，恢复所有的集群完全使用$O(\log n)$查询。对于欧几里德的情况下，$\mathbb{R}^m$，我们给出了一个算法，恢复任意凸簇，在多项式时间内，并与查询的数量是低于现有的最佳算法的$Θ(m^m)$因素。对于一般的伪度量空间，集群可能不是凸的或可能没有任何概念的形状，我们给出了一个算法，实现了$O(\log n)$查询界，并证明是近最优的包装数量的空间的函数。最后，聚类实现的二进制概念类，我们给出了一个组合表征的可恢复性与$O(\log n)$查询，我们表明，在欧氏空间中的许多概念类，这种表征是等价于我们的边际条件。我们的研究结果表明，集群边缘和活跃的集群可恢复性之间有很深的联系。
2021-06-09 cs.LG stat.ML
Deep Transductive Semi-supervised Maximum Margin Clustering
半监督聚类是机器学习和计算机视觉中一个非常重要的研究课题。这个问题的关键挑战是如何学习一个度量，使得共享相同标签的实例在嵌入空间上更可能彼此接近。然而，很少有人注意到学习更好的表示时，数据躺在非线性流形。幸运的是，深度学习最近在特征学习方面取得了巨大成功。受深度学习的启发，我们提出了一种深度转换的半监督最大边缘聚类方法。更具体地说，给定成对约束，我们利用标记和未标记的数据学习一个非线性映射下的最大间隔框架聚类分析。因此，我们的模型统一了半监督聚类框架中的直推学习，特征学习和最大间隔技术。我们用限制性玻尔兹曼机（RBM）逐层预训练深度网络结构，并用梯度下降优化我们的目标函数。通过检查最违反的约束，我们的方法通过误差反向传播更新模型参数，其中自动学习深度特征。实验结果表明，我们的模型是显着优于最先进的半监督聚类。
2015-01-26 cs.LG
A New Homogeneity Inter-Clusters Measure in SemiSupervised Clustering
University of Tunis（突尼斯大学）
在数据采掘的许多研究中，提出了一种新的学习方法，称为半监督学习。这种类型的学习结合了难以获得的未标记和标记数据。然而，在无监督方法中，仅使用未标记的数据。半监督聚类结果的重要性和有效性问题越来越受到人们的重视。通过改进相似度计算方法，可以提高聚类的准确率。因此，我们引入了一种新的方法，半监督聚类使用一个创新的新的同质性措施产生的集群。我们的实验结果表明，显着提高准确性的结果。
2013-04-13 cs.LG
Semi-Supervised Clustering via Structural Entropy with Different Constraints
Beihang University（北京航空航天大学）；Salesforce AI Research（Salesforce人工智能研究院）；Didi Chuxing（滴滴出行）；Lehigh University（理海大学）
本研究提出基于结构熵的半监督聚类方法SSE，统一整合成对、标签等多类约束，支持划分式与层次聚类，在多数据集上精度优于现有11种同类方法，可用于生物单细胞数据分析。
2023-12-18 cs.LG
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
Semi-Supervised Information-Maximization Clustering
Daniele Calandriello
半监督聚类的目的是在聚类算法的决策过程中引入先验知识。在本文中，我们提出了一种新的半监督聚类算法的信息最大化原则的基础上。该方法是一个扩展的无监督的信息最大化聚类算法的基础上平方损失互信息，有效地将必须链接和不能链接。所提出的方法是计算效率，因为聚类的解决方案可以通过特征分解解析。此外，所提出的方法允许系统优化的调谐参数，如内核宽度，给定的程度的信念，必须链接和不能链接。通过实验证明了该方法的有效性。
2013-05-01 cs.LG stat.ML
Faster DBSCAN via subsampled similarity queries
Google Research（谷歌研究）；Waymo
DBSCAN是一种流行的基于密度的聚类算法。它计算数据集的$ε$ -邻域图，并使用高度节点的连通分量来确定聚类。然而，全邻域图可能太昂贵而无法以$O(n^2)$的最坏情况复杂度来计算。在本文中，我们提出了一个简单的变种称为SNG-DBSCAN，它集群的基础上的一个子采样$ε$ -邻域图，只需要访问相似性查询对点，特别是避免了任何复杂的数据结构，需要嵌入的数据点本身。程序的运行时间为$O(sn^2)$，其中$s$为采样率。我们表明，在一些自然的理论假设下，$s \approx \log n/n$是足够的统计集群恢复保证导致$O(n\log n)$的复杂性。我们提供了一个广泛的实验分析，表明在大型数据集上，可以对邻域图的$0.1\%$进行子采样，与scikit-learn的DBSCAN实现相比，可以实现超过200倍的加速和250倍的RAM消耗减少，同时仍然保持有竞争力的聚类性能。
2020-10-22 cs.LG stat.ML
COBRAS-TS: A new approach to Semi-Supervised Clustering of Time Series
KU Leuven（鲁汶大学）
聚类在数据分析中是普遍存在的，包括对时间序列的分析。它本质上是主观的：不同的用户可能喜欢对特定数据集进行不同的聚类。半监督聚类通过允许用户提供应该（不应该）在同一个集群中的实例的示例来解决这个问题。本文研究了时间序列的半监督聚类问题。我们表明，COBRAS，一个国家的最先进的半监督聚类方法，可以适应这种设置。我们将这种方法称为COBRAS-TS。广泛的实验评估支持以下声明：（1）COBRAS-TS在时间序列的半监督聚类方面远远优于当前的技术水平，因此为该领域提供了一个新的基线;（2）COBRAS-TS可以识别具有分离分量的聚类;（3）COBRAS-TS可以识别以小的局部模式为特征的聚类;（4）少量的半监督可以大大提高时间序列的聚类质量;（5）聚类算法的选择很重要（与文献中的早期权利要求相反）。
2018-05-02 cs.AI cs.LG stat.ML
SE-shapelets: Semi-supervised Clustering of Time Series Using Representative Shapelets
School of Information Technology, Deakin University（迪肯大学信息技术学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Data61 in CSIRO（澳大利亚联邦科学与工业研究组织Data61）
针对现有时间序列聚类方法难以发现代表性Shapelets导致精度低的问题，提出SE-Shapelets方法，利用少量标记和伪标记数据，结合显著子序列链和线性判别选择技术，在UCR数据集上取得更高聚类精度。
2023-11-15 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology（格拉茨技术大学）；Know-Center GmbH（Know-Center有限公司）；Jagiellonian University（雅盖隆大学）
我们将半监督聚类问题与约束马尔可夫聚合联系起来，即，划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素，通过定义状态之间的转移概率（通过相应数据点之间的相似性）以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类（CoMaC）是最近的信息理论框架（无监督）马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明，CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
Deep Semi-Supervised Embedded Clustering (DSEC) for Stratification of Heart Failure Patients
Sensyne Health plc（森赛恩健康公司）
确定疾病的表型对于住院患者护理和药物开发具有相当大的益处。诸如电子健康记录的高维数据集的结构通常通过数据的嵌入来表示，其中聚类方法用于对类似结构的数据进行分组。如果已知数据中存在子组，则可以使用监督方法来影响所发现的聚类。我们建议将深度嵌入式聚类扩展为半监督深度嵌入式聚类算法，通过数据中的已知标签对子组进行分层。在这项工作中，我们应用深度半监督嵌入式聚类，从4，487名心力衰竭和对照患者的电子健康记录中确定数据驱动的心力衰竭患者亚组。我们发现临床相关的集群从嵌入式空间来自异构数据。所提出的算法可以潜在地发现具有不同结果的新的未诊断的患者亚组，从而改进治疗。
2021-01-17 cs.LG
Semi-supervised model-based clustering with controlled clusters leakage
Jagiellonian University（雅盖隆大学）
在本文中，我们专注于在部分分类的数据集中发现聚类。我们提出了一个半监督版本的高斯混合模型，称为C3L，检索给定类别的自然子群。与其他半监督模型相比，C3L由用户定义的泄漏水平参数化，控制初始分类和结果聚类之间的最大不一致性。我们的方法可以实现为一个模块，在实际的专家系统，以检测集群，它结合了专家知识和真实的数据分布。此外，它可以用于改善不太灵活的聚类技术，如投影寻踪聚类的结果。本文对该模型进行了深入的理论分析，并提出了一种有效的快速优化算法。实验结果表明，C3L算法能够找到高质量的聚类模型，可以应用于部分分类数据中有意义组的发现。
2017-05-04 cs.LG stat.ML
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Mixed Membership Graph Clustering via Systematic Edge Query
Oregon State University（俄勒冈州立大学）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）
这项工作认为聚类节点的一个很大程度上不完整的图。在问题设置下，只能对边进行少量查询，但整个图是不可观察的。该问题在使用有限注释的大规模数据聚类、受限调查资源下的社区发现以及隐藏/移除节点交互下的图拓扑推断中得到应用。先前的工作从各种角度解决了这个问题，例如，基于凸规划的低秩矩阵完备化和基于主动查询的团发现。尽管如此，许多现有的方法被设计用于估计节点的单簇成员资格，但是节点可能经常具有混合（即，多组）成员资格。一些查询和计算范例，例如，凸方法中提倡的随机查询模式和基于核范数的优化可能引起可扩展性和实现挑战。这项工作的目的是学习混合成员的节点使用查询边缘。所提出的方法是与系统查询原理一起开发的，系统查询原理可以由系统设计者控制和调整，以适应实现挑战-例如，以避免查询物理上难以获取的边。我们的框架还具有轻量级和可扩展的算法与成员学习保证。最后通过人群聚类和社区发现实验验证了该方法的有效性。
2021-07-12 cs.LG stat.AP
A Computational Theory and Semi-Supervised Algorithm for Clustering
Cyber Innovation Lab, VCX, Airbus, Newport, UK（网络安全创新实验室、VCX、空客、新波特、英国）
本文提出聚类的计算理论及半监督算法，将聚类视为异常检测的对偶，利用簇中位数和感知异常检测算法实现无参数高效聚类，并通过少量已知关系指导交互式迭代过程，在合成与真实数据集上优于主流方法。
2025-07-16 cs.LG
Bridged Clustering: Semi-Supervised Sparse Bridging
Bridged Clustering是一种半监督方法，通过稀疏桥梁连接输入和输出聚类，实现高效且可解释的预测。
2026-02-13 cs.LG
A Classification-Based Approach to Semi-Supervised Clustering with Pairwise Constraints
Jagiellonian University（雅盖隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在本文中，我们介绍了一个神经网络框架的半监督聚类（SSC）与成对（必须链接或不能链接）的限制。与现有方法相比，我们将SSC分解为两个更简单的分类任务/阶段：第一阶段使用一对连体神经网络将未标记的点对标记为必须链接或不能链接;第二阶段使用第一阶段在基于监督神经网络的聚类方法中产生的完全成对标记的数据集。所提出的方法S3 C2（用于聚类的半监督连体分类器）的动机是观察到二元分类（例如分配成对关系）通常比部分监督的多类聚类更容易。另一方面，基于分类，我们的方法只解决了定义明确的分类问题，而不是不太明确的聚类任务。在各种数据集上的实验表明了该方法的高性能。
2020-01-18 cs.LG stat.ML
Semi-supervised Clustering Ensemble by Voting
Dalhousie University（达尔豪斯大学）
聚类集成是无监督学习的最新进展之一。它的目的是将不同算法得到的聚类结果或同一聚类算法对同一数据集的不同运行得到的聚类结果结合起来，这是通过一个一致性函数来实现的，这种方法的效率和准确性已经在许多文献中得到了证明。在本文的第一部分中，我们对现有文献中的聚类集成方法进行了比较。所有这些方法包括两个主要步骤：集成生成和共识功能。在本文的第二部分中，我们建议在聚类集成过程中加入监督，以获得更多的增强聚类结果。监督可以在两个地方应用：通过在聚类集成生成步骤中使用半监督算法，或者以共识函数阶段使用的反馈形式。此外，我们引入了一个灵活的两个参数的加权机制，第一个参数描述了所研究的数据集和用于生成基本分区的半监督聚类算法之间的兼容性，第二个参数用于提供用户对这些分区的反馈。这两个参数参与基于“重新标记和投票”的共识函数，以产生最终的聚类。
2012-08-20 cs.LG stat.ML
Semisoft Task Clustering for Multi-Task Learning
Renmin University of China（中国人民大学）
多任务学习（MTL）旨在通过利用多个相关预测任务中的有用信息来提高它们的性能。由于其灵活性和能力，以减少未知系数大幅，基于任务聚类的MTL方法引起了相当大的关注。受数据半软聚类思想的启发，提出了一种半软任务聚类方法，该方法能够同时揭示纯任务和混合任务的任务簇结构，并选择相关特征.我们的方法背后的主要假设是，每个集群都有一些纯任务，每个混合任务可以表示为不同集群中纯任务的线性组合。为了解决由此产生的非凸约束优化问题，我们设计了一个有效的三步算法。基于人工和真实数据集的实验结果验证了该方法的有效性和效率。最后，我们将所提出的方法扩展到一个强大的任务聚类问题。
2022-11-28 cs.LG stat.ML
Applying Semi-Automated Hyperparameter Tuning for Clustering Algorithms
James Cook University（詹姆斯·库克大学）；Queensland University of Technology（昆士兰理工大学）
在处理聚类问题时，选择正确的聚类算法和参数是必不可少的，因为每个聚类算法都擅长找到特定性质的聚类。由于聚类算法的无监督性质，没有可用于经验评估的地面真值，这使得通过超参数调整的参数选择过程的自动化变得困难。以前的聚类算法超参数调整方法依赖于内部度量，这些度量通常偏向于某些算法，或者具有一些可用的地面真值标签，将问题转移到半监督空间中。这项初步研究提出了一个框架，半自动超参数调整聚类问题，使用网格搜索开发一系列的图形和易于解释的指标，然后可以用于更有效的特定领域的评估。初步结果表明，内部指标无法捕捉的语义质量的集群开发和内部指标驱动的方法会得出不同的结论比那些由人工评估。
2021-08-25 cs.LG cs.SE
Semi-supervised cross-entropy clustering with information bottleneck constraint
Jagiellonian University（雅盖隆大学）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们提出了一种半监督聚类方法，CEC-IB，模型数据与一组高斯分布和检索集群的基础上提供的部分标签的用户（分区级边信息）。通过将交叉熵聚类（CEC）的思想与信息瓶颈方法（IB）的思想相结合，我们的方法在三个相互冲突的目标之间进行交易：数据集建模的准确性，模型的简单性，以及聚类与边信息的一致性。实验表明，CEC-IB在经典的半监督场景中具有与高斯混合模型（GMM）相当的性能，但速度更快，对噪声标签更具鲁棒性，自动确定最佳聚类数量，并且在边信息中不存在所有类别时表现良好。此外，与其他半监督模型相比，它可以成功地应用于发现自然子群，如果分区级别的边信息是来自一个层次聚类的顶层。
2017-05-03 cs.LG stat.ML
K-GBS3FCM -- KNN Graph-Based Safe Semi-Supervised Fuzzy C-Means
Federal University of Uberlândia（Uberlândia联邦大学）；Computer Science Faculty（计算机学院）
本文提出K-GBS3FCM算法，利用KNN图动态评估标注与未标注数据的邻域关系，并通过正则化参数和平均安全度调节标注数据影响，在多数基准测试中显著提升了安全半监督聚类精度。
2024-11-22 cs.LG
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域，它将集群与深度神经网络（DNN）架构联系起来。深度聚类方法对高维数据进行下采样，这也可能与聚类损失有关。深度聚类也被引入到半监督学习（SSL）中。大多数SSL方法依赖于成对约束信息，这是一个矩阵，包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder，下采样高维数据的聚类嵌入点。据我们所知，这是第一个与传统分类器DNN架构相关的研究工作，具有成对损失减少技术。训练过程是半监督的，并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法，这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Mitigating shortage of labeled data using clustering-based active learning with diversity exploration
North Carolina A & T State University（北卡罗来纳农工州立大学）；Clark Altanta University（克拉克亚特兰大大学）
本文提出了一种新的基于聚类的主动学习框架，即基于聚类的采样的主动学习（ALCS），以解决标记数据不足的问题。ALCS采用基于密度的聚类方法来探索集群结构的数据，而不需要详尽的参数调整。提出了一种基于双聚类边界的样本查询方法，提高了算法在高重叠类分类时的学习性能。此外，我们开发了一个有效的多样性探索策略，以解决查询样本之间的冗余。我们的实验结果证明了ALCS方法的有效性。
2022-07-06 cs.AI cs.LG
Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Center of Data Science（数据科学中心）
该研究针对半监督分类问题，从理论上证明关系知识蒸馏（RKD）可转化为谱聚类并实现低聚类误差，提出聚类感知半监督学习框架，揭示了RKD与一致性正则化分别提供全局与局部视角。
2023-10-23 cs.LG stat.ML
Semi-Supervised Clustering via Dynamic Graph Structure Learning
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）
大多数现有的基于半监督图的聚类方法通过细化亲和矩阵或直接约束数据点的低维表示来利用监督信息。亲和矩阵表示图的结构，对基于图的半监督聚类的性能至关重要。然而，现有的方法采用静态的亲和矩阵来学习数据点的低维表示，并且在学习过程中没有优化亲和矩阵。本文提出了一种新的动态图结构学习方法用于半监督聚类。在这种方法中，我们同时优化亲和矩阵和低维表示的数据点，利用给定的成对约束。此外，我们提出了一个交替的最小化方法，证明了收敛性来解决所提出的非凸模型。在迭代过程中，我们的方法循环更新数据点的低维表示，并细化亲和矩阵，从而产生动态亲和矩阵（图结构）。具体来说，对于亲和度矩阵的更新，我们强制具有显著不同的低维表示的数据点具有亲和度值0。此外，我们构造的初始亲和矩阵，通过集成的局部距离和整体的自我表示的数据点之间。在不同设置下的8个基准数据集上的实验结果表明了该方法的优越性。
2022-09-06 cs.LG
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge（剑桥大学）
半监督聚类是将数据点聚类成簇的任务，其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的，大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的，因为它们可以从数据中推断出聚类的数量。然而，这些模型不能很好地处理高维数据，并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点，而不需要预先指定集群的数量或模型复杂的密度，数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质，并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering
National Physical Laboratory（英国国家物理实验室）；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Digital Surf（Digital Surf公司）
本文提出了一个变形的Guédon和Verhynin的方法估计的聚类矩阵的混合高斯框架下通过半定规划。一个面向聚类的嵌入推导出这个估计。该过程适用于非常高维的数据，因为它只基于成对距离。理论guarantees提供和特征值优化方法，提出了计算嵌入。通过蒙特卡罗实验和与文献中其他嵌入的比较，说明了该方法的性能。
2016-06-29 cs.LG stat.ML
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology（佐治亚理工学院）
本文提出Kempe Swap K-Means算法，通过双重迭代过程在约束空间中优化聚类，结合可控扰动提升全局搜索能力，实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Semi-supervised clustering methods
Univ. of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
聚类分析方法试图将数据集划分为同质的子组。它在各种各样的应用中都很有用，包括文件处理和现代遗传学。传统的聚类方法是无监督的，这意味着没有结果变量，也不知道数据集中观测之间的关系。然而，在许多情况下，除了特征的值之外，关于聚类的信息也是可用的。例如，一些观测的聚类标签可能是已知的，或者某些观测可能已知属于同一聚类。在其他情况下，人们可能希望识别与特定结果变量相关联的聚类。本文介绍了几种聚类算法（称为“半监督聚类”方法），可以应用在这些情况下。这些方法中的大多数是流行的k-means聚类方法的修改，并且将详细描述其中的几个。还提供了一些其他半监督聚类算法的简要描述。
2013-07-01 cs.LG stat.ME stat.ML
An Exact Algorithm for Semi-supervised Minimum Sum-of-Squares Clustering
Sapienza University of Rome（罗马第一大学）；University of Rome Tor Vergata（罗马第二大学）
最小平方和聚类（MSSC），或k均值类型聚类，传统上被认为是一个无监督的学习任务。近年来，利用背景知识提高聚类质量，促进聚类过程的可解释性，已成为数学优化与机器学习交叉研究的热点。在数据聚类中利用背景信息的问题被称为半监督或约束聚类。在本文中，我们提出了一个分支和切割算法的半监督MSSC，其中背景知识作为成对的必须链接和不能链接的约束。对于下界方法，我们解决了MSSC离散最优化模型的半定规划松弛问题，并使用了一种割平面方法来加强下界。对于上界，相反，通过使用整数规划工具，我们使用的k-均值算法的约束情况下的适应。第一次，提出的全局优化算法有效地管理，以解决现实世界的实例多达800个数据点与不同的组合必须链接和不能链接的约束条件，并与一个通用的功能。这个问题的大小大约是由最先进的精确算法解决的实例的四倍。
2022-07-24 cs.LG math.OC
Kernelized Locality-Sensitive Hashing for Semi-Supervised Agglomerative Clustering
Columbia University（哥伦比亚大学）
大规模的凝聚聚类受到计算负担的阻碍。我们提出了一种新的方案，其中精确的实例间距离计算被替换为核化局部敏感哈希（KLSH）哈希值之间的汉明距离。这导致了一种方法，大大减少了计算时间。此外，我们通过距离度量学习利用某些标记的数据点，以实现与K-Means相比具有竞争力的精确度和召回率，但计算时间要少得多。
2013-01-16 cs.CV cs.LG stat.ML
Relaxed Oracles for Semi-Supervised Clustering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
成对“同簇”查询是半监督聚类中最广泛使用的监督形式之一。然而，要求人类神谕正确回答每个查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出了一个有效的算法来处理这种不确定性的查询响应。两个现实的弱预言模型被认为是在回答的歧义取决于两点之间的距离。我们表明，一个小的查询复杂度是足够的有效聚类的概率高，提供更好的对弱预言。合成和真实数据的实验结果表明，我们的方法在克服监督的不确定性，产生高质量的集群的有效性。
2017-11-20 cs.LG stat.ML
Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents
MYbank, Ant Group（蚂蚁集团网商银行）
现实世界中的大多数对话系统依赖于预定义的意图和答案来提供问答服务，因此，从大型语料库中发现潜在的意图对于构建此类对话服务非常重要。考虑到大多数场景中已知的意图很少，大多数意图等待被发现，我们专注于半监督文本聚类，并试图使所提出的方法受益于标记样本，以获得更好的整体聚类性能。在本文中，我们提出了深度对比半监督聚类（DCSC），它的目的是在一个半监督的方式聚类文本样本，并提供分组的意图给操作人员。为了使DCSC充分利用有限的已知意图，我们提出了一个两阶段的DCSC训练过程，其中DCSC将在标记样本和未标记样本上进行训练，并获得更好的文本表示和聚类性能。我们在两个公共数据集上进行了实验，将我们的模型与几种流行的方法进行了比较，结果表明DCSC在所有数据集和情况下都取得了最佳性能，表明了我们工作中改进的效果。
2022-01-07 cs.AI cs.CL cs.LG
Constraint-Based Clustering Selection
KU Leuven（鲁汶大学）
半监督聚类方法在聚类过程中加入了有限的监督。通常，这种监督由用户以成对约束的形式提供。现有的方法使用这样的约束在以下方式之一：他们适应他们的聚类过程，他们的相似性度量，或两者兼而有之。所有这些方法都在各个聚类算法的范围内运行。相比之下，我们建议使用约束条件来选择非常不同的无监督聚类算法生成的聚类，运行不同的参数设置。我们的经验表明，这种简单的方法往往优于现有的半监督聚类方法。
2016-09-23 cs.LG stat.ML
A semi-supervised sparse K-Means algorithm
University of Sheffield（谢菲尔德大学）；Department of Computer Science（计算机科学系）
我们考虑的问题，数据聚类与未识别的特征质量和少量的标记数据时，提供。可以采用无监督稀疏聚类方法来检测聚类所需的特征子组，并且半监督方法可以使用标记数据来创建约束并增强聚类解决方案。在本文中，我们提出了一个采用这些技术的K-Means变体。我们表明，该算法保持了其他半监督算法的高性能，此外还保留了从无信息特征中识别信息的能力。我们研究的合成和真实世界的数据集上的算法的性能。我们使用不同数量和类型的约束，以及不同的聚类初始化方法的情况。
2020-10-18 cs.LG stat.ML
Rethinking Semi-Supervised Node Classification with Self-Supervised Graph Clustering
The University of Hong Kong（香港大学）；Hong Kong Baptist University（香港 Baptist 大学）；Shenzhen University（深圳大学）
本文提出NCGC框架，结合自监督图聚类与半监督分类，通过改进的消息传递范式和多任务学习提升节点分类性能。
2025-11-25 cs.LG cs.SI
COBRA: A Fast and Simple Method for Active Clustering with Pairwise Constraints
KU Leuven（鲁汶大学）
聚类本质上是不适定的：单个数据集通常存在多个有效的聚类，如果没有任何额外的信息，聚类系统就无法知道它应该生成哪个聚类。这促使在聚类中使用约束，因为它们允许用户将他们的兴趣传达给聚类系统。基于主动约束的聚类算法选择最有用的约束进行查询，旨在使用尽可能少的约束产生良好的聚类。我们提出了COBRA，一个积极的方法，第一次过集群的数据运行K-means与$K$，这是打算太大，随后合并产生的小集群成较大的成对约束的基础上。在其合并步骤中，COBRA是能够保持成对查询的数量低，最大限度地利用约束传递性和蕴涵。我们的实验表明，COBRA优于国家的最先进的聚类质量和运行时间，而不需要预先的集群数量。
2018-01-30 cs.AI cs.LG stat.ML
An efficient density-based clustering algorithm using reverse nearest neighbour
University of Hertfordshire（赫特福德大学）；University of Essex（埃塞克斯大学）
基于密度的聚类是发现实体（集群）的高密度区域的任务，这些区域被连续的低密度区域彼此分开。DBSCAN可以说是最流行的基于密度的聚类算法。但是，其群集恢复能力取决于这两个参数的组合。在本文中，我们提出了一种新的基于密度的聚类算法，它使用反向最近邻（RNN），并有一个单一的参数。我们还表明，它是可能的估计一个很好的值，这个参数使用聚类有效性指数。RNN查询使我们的算法能够考虑多个实体来估计密度，并恢复分离不佳或密度不同的集群。我们在合成数据集和真实数据集上的实验表明，我们提出的算法优于DBSCAN及其最近的变体ISDBSCAN。
2018-11-19 cs.LG stat.ML
Supercm: Revisiting Clustering for Semi-Supervised Learning
Department of Physics and Technology（物理与技术系）；UiT The Arctic University of Norway（北极大学）
提出Supercm方法，通过扩展可微聚类模块显式引入聚类假设，利用标注数据引导聚类中心，构建了端到端的深度半监督学习框架，有效提升基线性能并可与现有方法结合。
2025-06-30 cs.CV cs.LG
