Semi-Supervised Clustering with Inaccurate Pairwise Annotations
Pontifícia Universidade Católica do Rio de Janeiro（里约热内卢天主教大学）；CIRRELT；Polytechnique Montréal（蒙特利尔理工学院）
成对关系信息是在难以获取类标签的领域中提供部分监督的有用方法。这项工作提出了一个聚类模型，该模型以必须链接和不能链接关系的形式合并成对注释，并考虑可能的注释不准确性（即，当专家提供成对监督时的常见设置）。我们提出了一个生成模型，假设高斯分布的数据样本以及随机块模型产生的必须链接和不能链接的关系。我们采用了最大似然方法，并证明，即使当监督是薄弱和不准确的，占关系信息显着提高聚类性能。关系信息还有助于检测现实世界数据集中不符合原始数据分布假设的有意义的组。此外，我们扩展了模型，以整合专家的准确性先验知识，并讨论在何种情况下使用这些知识是有益的。
2021-04-05 cs.LG
Deep Clustering with Self-Supervision using Pairwise Similarities
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出自监督深度聚类框架DCSS，先通过簇特定损失训练自编码器形成超球状潜在空间，再利用成对相似性构建K维空间以处理复杂簇分布，在七个基准数据集上验证了有效性。
2024-05-06 cs.LG
Fuzzy Discriminant Clustering with Fuzzy Pairwise Constraints
Inner Mongolia University（内蒙古大学）；Jilin University（吉林大学）；Beijing University of Technology（北京工业大学）；Hainan University（海南大学）
在半监督模糊聚类中，本文扩展了传统的成对约束（即，必须链接或不能链接）到模糊成对约束。模糊成对约束允许监督者提供一对样本的隐式模糊向量之间的相似性或不相似性的等级。该约束条件能较好地反映样本间的复杂关系，避免了模糊特征的消除。我们提出了一个模糊判别聚类模型（FDC）融合模糊成对约束。在我们的FDC的非凸优化问题是解决一个修改的期望最大化算法，涉及到解决几个不定二次规划问题（IQPP）。进一步，提出了一种对角块坐标下降（DBCD）算法，其稳定点得到保证，并在一定条件下可以获得全局解。为了适应不同的应用，FDC被扩展到各种度量空间，例如，再生核希尔伯特空间在多个基准数据集和人脸表情数据库上的实验结果表明，与一些最先进的聚类模型相比，我们的FDC具有更好的性能。
2021-04-17 cs.LG
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）
成对约束下的聚类是一种重要的知识发现工具，它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现，在许多应用程序中自然出现，并且对于用户来说是直观的。然而，当学习内核或度量时，将离散约束放松到连续域以简化优化的常见做法可能会损害泛化，因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法，联合聚类数据和学习的内核，根据现有的成对约束。为了更好地推广，我们的方法被设计为最大化约束满足，而不放松成对约束到一个连续的域，其中它们通知距离。我们表明，所提出的方法优于现有的方法在大量不同的公开可用的数据集，我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Semi-supervised Clustering with Two Types of Background Knowledge: Fusing Pairwise Constraints and Monotonicity Constraints
DaSCI Andalusian Institute（安达卢西亚DaSCI研究所）；University of Granada（格拉纳达大学）；University of Jaén（哈恩大学）
本研究针对两种类型的背景知识：成对约束和单调性约束的存在下进行聚类的问题。为了实现这一点，正式的框架进行聚类单调性约束下，首先，定义，导致在一个特定的距离测量。之后，通过设计一个目标函数，该目标函数结合了建议的距离度量和基于成对约束的惩罚项，以融合这两种类型的信息，来集成成对约束。该目标函数可以用EM优化方案来优化。所提出的方法作为第一种方法，它解决的问题，因为它是第一种方法设计的工作与上述两种类型的背景知识。我们的建议是测试在各种基准数据集和现实世界的案例研究。
2023-02-25 cs.AI cs.LG
Uncertainty-Aware Probabilistic Constrained Clustering from Entangled Pairwise Supervision
The University of Manchester（曼彻斯特大学）
针对现实中成对监督的不确定性问题，提出ECI-PP框架结合ProbPair目标，在概率约束聚类任务中优于现有DCC方法且鲁棒性强。
2026-10-15 cs.AI cs.LG
Shift of Pairwise Similarities for Data Clustering
Chalmers University of Technology（查尔姆斯理工大学）
本文提出通过对成对相似度进行自适应偏移来改进聚类，并设计高效局部搜索算法，实验表明其在多个数据集上优于常见聚类方法。
2025-02-05 cs.AI cs.LG
Correlation Clustering with Active Learning of Pairwise Similarities
Chalmers University of Technology（查尔姆斯理工大学）
针对成对相似度未预先给出的相关聚类问题，提出通用的主动学习框架，具备反馈灵活、适应任意算法与查询策略及抗噪等优势，并设计了多种新颖查询策略，实验验证了其有效性。
2024-02-12 cs.LG stat.ML
A3S: A General Active Clustering Method with Pairwise Constraints
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
针对传统半监督主动聚类在大类别数据集上查询成本高的问题，提出基于聚类调整的A3S框架，通过信息论指导的自适应聚合分裂调整初始聚类，在多数据集上以更少查询实现更优性能与可扩展性。
2024-07-14 cs.AI cs.LG
Integrating Tensor Similarity to Enhance Clustering Performance
South China University of Technology（华南理工大学）
大多数聚类方法的性能取决于所使用的成对亲和力，这通常是由一个相似性矩阵表示。然而，成对相似性是众所周知的，其脆弱性的噪声污染或样本或特征的不平衡，从而阻碍了准确的聚类。为了解决这个问题，我们建议使用样本之间的信息，以提高聚类性能。证明了在可分解假设下，一个简化的相似度（用四阶张量表示）等于两两相似度矩阵的Kronecker积，或者在不可分解假设下，提供两两相似度缺失的互补信息.然后，通过特征值分解，从张量相似性获得高阶相似性矩阵。高阶相似性捕捉空间信息作为一个强大的补充，成对相似性。它进一步与流行的成对相似性（IPS2）相结合，以提高聚类性能。大量的实验表明，所提出的IPS2显着优于以前的基于相似性的方法在现实世界的数据集，它能够处理欠采样和噪声数据集的聚类任务。
2020-06-26 cs.LG stat.ML
Fairness, Semi-Supervised Learning, and More: A General Framework for Clustering with Stochastic Pairwise Constraints
Wellesley College（韦尔斯利学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland, College Park（马里兰大学帕克分校）
度量聚类是从组合优化和数据采掘到机器学习和运筹学等领域的基础。然而，在各种情况下，我们可能有额外的要求或知识，不同于底层的度量，关于哪些点对应该聚集在一起。为了捕捉和分析这样的情况下，我们引入了一个新的家庭的\emph{stochastic pairwise constraints}，我们纳入几个基本的聚类目标（半径/中位数/手段）。此外，我们证明了这些约束可以简洁地建模一个有趣的应用程序集合，其中包括聚类中的\emph{Individual Fairness}和半监督学习中的\emph{Must-link}约束。我们的主要结果包括一个一般的框架，产生近似算法与可证明的保证重要的聚类目标，而在同一时间产生的解决方案，尊重随机成对约束。此外，对于某些目标，我们设计改进的结果的情况下，必须链接的约束，这也是最好的可能从理论的角度来看。最后，我们提出了实验证据，验证了我们的算法的有效性。
2021-03-02 cs.DS cs.LG
Constrained Clustering: General Pairwise and Cardinality Constraints
University of Oxford（牛津大学）；King Khalid University（哈立德国王大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们研究约束聚类，约束引导聚类过程。在现有的工作中，两类约束已被广泛探讨，即成对和基数约束。成对约束强制两个实例的集群标签相同（必须链接约束）或不同（不能链接约束）。基数约束鼓励集群大小满足用户指定的分布。大多数现有的约束聚类模型一次只能利用一类约束。我们强制执行上述两个类别到一个统一的聚类模型开始的整数规划制定的标准K-均值。由于这两个类别提供不同的有用信息，因此利用这两个类别可以获得更好的聚类性能。然而，由于在统一公式中的二元和二次约束，优化是困难的。为了解决这个问题，我们采用了两种技术：等价地取代二进制约束的两个连续的约束的交集;另一个是通过引入额外的变量转化为双线性约束的二次约束。我们得到了一个等价的连续的简单的约束条件，它可以有效地解决了交替方向法的乘子。在人工数据和真实数据上的大量实验表明：（1）利用单一类别的约束，所提出的模型优于或竞争SOTA约束聚类模型;（2）联合利用两类约束，所提出的模型表现出更好的性能比单一类别的情况下。实验结果表明，该方法充分利用了约束条件，聚类性能较经典的Adjusted Random、Mirkin's和Huber's等聚类指标提高了2%-5%。
2023-01-27 cs.LG stat.ML
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Clustering from Sparse Pairwise Measurements
Sorbonne Universités, UPMC Univ. Paris 06（索邦大学联盟，巴黎第六大学）；INRIA and École Normale Supérieure（法国国家信息与自动化研究所和巴黎高等师范学院）
我们考虑的问题，分组项目成集群的基础上，项目之间的随机成对比较。我们介绍三个密切相关的算法，这项任务：一个信念传播算法近似贝叶斯最优解，和两个频谱算法的基础上的非回溯和Bethe Hessian算子。对于两个对称集群的情况下，我们推测，这些算法是渐近最优的，因为它们检测的集群，只要它是信息理论上可能这样做。我们证实了这一说法的光谱方法，我们介绍。
2016-05-19 cond-mat.dis-nn cs.LG cs.SI
A Pairwise Fair and Community-preserving Approach to k-Center Clustering
University of Maryland（马里兰大学）；Wellesley College（韦尔斯利学院）；Carnegie Mellon University（卡内基梅隆大学）；Northwestern University（西北大学）
聚类是机器学习中的一个基本问题，有着广泛的应用。随着机器学习作为自动化系统的后端越来越普遍，人们对公平性的担忧也随之产生。目前关于公平性的许多文献都涉及监督学习（群体公平性）中对受保护类的歧视。我们定义了一个不同的公平聚类的概念，其中两个点（或一个社区的点）变得分离的概率是由它们的成对距离（或社区直径）的递增函数所限定的。我们捕捉到这样一种情况，即数据点代表从聚集在一起获得一些好处的人。当某些点被确定性地分开时，不公平就会出现，无论是任意的还是有人打算伤害它们，就像在选区划分中那样。作为回应，我们正式定义了两种新类型的公平性的聚类设置，成对的公平性和社区保护。为了探索我们的公平性目标的实用性，我们设计了一种方法来扩展现有的$k$中心算法，以满足这些公平性的约束。对这种方法的分析证明，可以在保持公平性的同时实现合理的近似。在实验中，我们比较了我们的方法的有效性，经典的$k$中心算法/算法，并探讨最佳聚类和公平性之间的权衡。
2020-07-14 cs.DS cs.LG stat.ML
Deep Clustering with Incomplete Noisy Pairwise Annotations: A Geometric Regularization Approach
Oregon State University（俄勒冈州立大学）
本文针对深度约束聚类中标注噪声问题，先分析逻辑DCC损失的理论性质，再提出基于几何因子分析的损失函数，在未知标注混淆下仍可证明地识别数据成员身份，并在多个数据集上验证有效性。
2023-05-30 cs.LG
Optimal interval clustering: Application to Bregman clustering and statistical mixture learning
Université des Antilles-Guyane（安的列斯-圭亚那大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一个通用的动态规划方法来计算$n$标量元素到$k$成对不相交区间的最佳聚类。这种情况下，包括一维欧几里德$k$ -手段，$k$ -medoids，$k$ -中位数，$k$ -中心等，我们扩展的方法，将集群大小的限制，并显示如何选择合适的$k$模型选择。最后，我们在两个案例研究中说明和改进了该方法：Bregman聚类和统计混合学习最大化完整的可能性。
2014-05-26 cs.IT cs.LG math.IT
Neural network-based clustering using pairwise constraints
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
提出了一种基于神经网络的端到端聚类框架。我们设计了一种新的策略，利用对比标准，直接从原始数据中推数据形成集群，除了学习适合这种聚类的特征嵌入。该网络使用弱标签进行训练，特别是数据实例之间的部分成对关系。然后在输出层通过前馈数据获得聚类分配及其概率。该框架具有一个有趣的特性，即不需要显式指定聚类中心，因此产生的聚类分布纯粹是数据驱动的，并且不需要预定义距离度量。实验表明，该方法优于传统的两阶段方法（特征嵌入与k-means）的显着保证金。它也比较有利的标准交叉熵损失的分类性能。鲁棒性分析还表明，该方法在很大程度上是不敏感的集群的数量。具体来说，我们表明，占主导地位的集群的数量接近真正的集群数量，即使是一个大的k用于聚类。
2016-04-26 cs.LG stat.ML
Clustering With Pairwise Relationships: A Generative Approach
School of Computing, University of Utah（犹他大学计算机学院）；Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
半监督学习（SSL）在当前的数据分析应用中已经变得非常重要，在这些应用中，未标记数据的数量呈指数级增长，用户输入仍然受到物流和费用的限制。作为SSL的子类，约束聚类利用数据点之间关系形式的用户输入（例如，属于同一类或不同类的数据点对），并且可以显著地提高无监督聚类的性能，以便反映特定数据点之间的关系的用户定义的知识。现有的算法将这样的用户输入，直观地，无论是硬约束或软处罚，这是从聚类模型的任何生成或统计方面分开，这导致在配方是次优的，不够一般。在本文中，我们提出了一个原则性的，生成的方法来概率模型，没有特别的处罚，由用户定义的成对关系的联合分布。该模型考虑了一般的基本分布，而不假设一个特定的形式，并依赖于期望最大化模型拟合。对于标准形式的分布，所提出的方法导致更新参数的封闭形式的解决方案。
2018-05-06 cs.LG stat.ML
Deep Multi-View Semi-Supervised Clustering with Sample Pairwise Constraints
College of Information Science and Technology, Hainan University（海南大学信息科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hainan University（海南大学）
针对现有多视图聚类忽略弱监督信息、难以保留多视图特征属性的问题，提出联合三类损失、融入成对约束、微调完整自编码器的DMSC方法，在8个图像数据集上性能优于现有最优方法。
2023-05-05 cs.CV cs.LG
Pairwise Adjusted Mutual Information
Technische Universität München（慕尼黑工业大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
用于量化两个聚类之间的相似性的公知度量是经调整的互信息。与互信息相比，引入了基于标签随机排列的校正项，防止了两个聚类偶然相似。不幸的是，这种调整使得度量在计算上昂贵。在本文中，我们提出了一种新的调整的基础上{pairwise}标签排列，而不是完整的标签排列。具体来说，我们考虑排列，其中只有两个样本，随机均匀选择，交换他们的标签。我们表明，相应的调整后的度量，这可以明确表示，行为类似于标准调整后的互信息评估聚类的质量，同时具有低得多的时间复杂度。这两个指标进行比较的质量和性能的实验的基础上合成和真实的数据。
2021-03-23 cs.LG
PASS: Certified Subset Repair for Classical and Quantum Pairwise Constrained Clustering
University of South Florida（南佛罗里达大学）；Fordham University（福特汉姆大学）
PASS通过认证子集修复技术，在经典和量子配对约束聚类中实现高效优化，减少计算资源消耗并提升聚类性能。
2026-03-07 cs.ET cs.LG
Bayesian Distance Clustering
University of Florida（佛罗里达大学）；Duke University（杜克大学）
基于模型的聚类被广泛应用于各种应用领域。然而，对稳健性的基本担忧仍然存在。特别是，结果可以是敏感的内核代表内集群数据密度的选择。利用数据点之间的成对差异的属性，我们提出了一类贝叶斯距离聚类方法，它依赖于建模的成对距离的可能性，而不是原始数据。虽然数据中的一些信息被丢弃，但我们对建模假设具有很大的鲁棒性。所提出的方法代表了一个有吸引力的中间地带之间的距离和基于模型的聚类，从这些典型的方法中的每一个借鉴的优势。我们说明了戏剧性的收益，推断集群的能力，通常的内核选择没有很好地表示。包括一个模拟研究，以评估相对于竞争对手的性能，我们应用的方法来聚类的大脑基因组表达数据。保留字：基于距离的聚类;混合模型;基于模型的聚类;模型规格错误;成对距离矩阵;部分可能性;鲁棒性
2019-06-25 cs.LG stat.ML
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University（东南大学）；Caritas Institute of Higher Education（明爱专上学院）；City University of Hong Kong（香港城市大学）
在这封信中，我们提出了一种新的半监督子空间聚类方法，它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵，我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此，我们将这两个矩阵堆叠成一个3-D张量，其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外，我们使用输入样本的局部几何结构来补充全局低秩先验，以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题，这是进一步解决了一个替代的迭代算法。此外，我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明，我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法，通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集，以增强半监督噪声标签学习，并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Systematically and efficiently improving $k$-means initialization by pairwise-nearest-neighbor smoothing
Bocconi University（博科尼大学）
我们提出了一个元方法初始化（播种）的$k$均值聚类算法称为PNN平滑。它包括将给定的数据集分割成$J$随机子集，单独对每个子集进行聚类，并使用成对最近邻（PNN）方法合并得到的聚类。它是一种元方法，在这个意义上，当聚类各个子集时，可以使用任何播种算法。如果该播种算法的计算复杂性在数据$N$的大小和簇的数量$k$方面是线性的，则PNN平滑在适当选择$J$的情况下也几乎是线性的，并且在实践中相当有竞争力。我们的经验表明，使用几个现有的播种方法和测试的几个合成和真实的数据集，该程序的结果在系统上更好的成本。特别是，我们的方法，增强$k$ -手段++播种证明优越的有效性和速度相比，流行的“贪婪”$k$ -手段++的变种。我们的实现可以在https://github.com/carlobaldassi/KMeansPNNSmoothing.jl上公开获得。
2022-12-09 cs.LG stat.ML
Information-Theoretic Active Correlation Clustering
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚姆勒大学）；University of Gothenburg（哥德堡大学）
本文提出基于信息论的主动学习方法，用于在相似性信息有限或昂贵时提高相关聚类的效率和准确性。
2025-12-10 cs.LG stat.ML
Calibrated model-based evidential clustering using bootstrapping
Université de Technologie de Compiègne（贡比涅技术大学）；Shanghai University（上海大学）
证据聚类是一种聚类方法，其中聚类成员的不确定性由形成证据划分的Dempster-Shafer质量函数的集合表示。在本文中，我们建议通过自举有限混合模型来构造这些质量函数。在第一步中，我们计算所有成对概率（任何两个对象属于同一类的概率）的bootstrap百分位数置信区间。然后，我们构造一个证据分区，使成对的信念和可信度近似的置信区间的界限。这种证据划分是校准的，在这个意义上，成对的置信度区间包含“大部分时间”的真实概率，即，其概率接近所定义的置信水平。通过仿真验证了这种频率论性质，并使用几个真实数据集证明了该方法的实用性。
2020-04-06 cs.LG stat.CO stat.ML
Context-Aware Hypergraph Construction for Robust Spectral Clustering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Adelaide（阿德莱德大学）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
谱聚类是无监督数据分析的有力工具。在本文中，我们提出了一个上下文感知的超图相似性度量（CAHSM），这导致了强大的谱聚类的情况下，噪声数据。我们构造了三种超图-成对超图、k-最近邻超图和高阶过聚类超图。成对超图捕获数据点的成对相似性; kNN超图捕获每个点的邻域;聚类超图编码数据集中的高阶上下文。通过结合这三个超图的亲和度信息，CAHSM算法能够探索数据集的内在拓扑信息。因此，使用CAHSM的数据聚类往往更健壮。考虑到顶点的类内紧性和类间可分性，我们进一步设计了一个判别超图划分准则（DHPC）。利用CAHSM和DHPC，一个强大的谱聚类算法。理论分析和实验验证了该算法的有效性和鲁棒性。
2014-01-04 cs.CV cs.LG
Some Developments in Clustering Analysis on Stochastic Processes
Claremont Graduate University（克莱蒙特研究生大学）
本文回顾了聚类随机过程的一些研究进展，并得出结论：当随机过程是遍历的且相异性测度满足三角不等式时，可以得到渐近一致的聚类算法。当过程是分布遍历，协方差遍历和局部渐近自相似，分别提供的例子。
2019-08-05 cs.LG stat.ML
Cluster Analysis on Locally Asymptotically Self-similar Processes with Known Number of Clusters
Claremont Graduate University（克莱蒙特研究生大学）
本文对一类局部渐近自相似随机过程进行聚类分析，其中多重分数布朗运动就是其中的代表。在已知真实聚类数的情况下，引入了一种新的基于协方差的相异性测度，并由此得到了近似渐近相容的聚类算法。在模拟研究中，聚类数据采样从多分数布朗运动与不同的功能赫斯特参数说明了所提出的算法的近似渐近一致性。聚集全球金融市场的股票指数回报和主权CDS利差提供了一个成功的现实世界的应用。
2020-01-14 cs.LG stat.ML
A Polynomial-Time Approximation for Pairwise Fair $k$-Median Clustering
Portland State University（波特兰州立大学）；Ben Gurion University（本古里安大学）；University of Alberta（阿尔伯塔大学）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田理工学院）
本文针对多群体成对公平k-中位数聚类问题，提出了首个不违反公平约束的多项式时间O(k²·ℓ·t)近似算法，并证明了即使ℓ=2时该问题也几乎与均匀容量约束k-中位数同样困难。
2025-02-27 cs.AI cs.DS cs.LG
Cold-Start Active Correlation Clustering
Chalmers University of Technology \& University of Gothenburg Sweden；Chalmers University of Technology \& University of Gothenburg
本文提出一种覆盖意识方法，解决冷启动场景下主动相关聚类中的成对相似性查询问题，通过合成和现实世界实验验证了方法的有效性。
2026-03-07 cs.AI cs.LG cs.SI
Optimal Top-$k$ Identification from Pairwise Comparisons
研究从成对比较中进行固定置信度前\(k\)项识别的主动学习问题，刻画下界结构为鞍点问题并开发渐近最优算法，构造自适应比较分配算法并证明其渐近最优，最小化比较预期数量。
2026-07-13 cs.LG stat.AP stat.ML
A probabilistic constrained clustering for transfer learning and image category discovery
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
基于神经网络的聚类最近已经流行，并且特别地，已经提出了约束聚类公式以使用深度学习来执行迁移学习和图像类别发现。其核心思想是制定一个具有成对约束的聚类目标，可用于训练深度聚类网络;因此，聚类分配及其底层特征表示是端到端联合优化的。在这项工作中，我们提供了一种新的聚类公式来解决以前的工作在优化更深的网络和更大量的类别方面的可扩展性问题。所提出的目标直接最小化负对数似然的集群分配相对于成对约束，没有超参数，并证明了改进的可扩展性和性能的监督学习和无监督迁移学习。
2018-06-28 cs.AI cs.CV cs.LG
Locally linear representation for image clustering
Sichuan University（四川大学）
在面向图的子空间学习和聚类中，相似图的构造是关键。在相似性图中，每个顶点表示一个数据点，边权重表示两个点之间的相似性。有两种流行的方案来构造相似性图，即，基于成对距离的方案和基于线性表示的方案。现有的大部分工程只涉及上述其中一个方案，并受到一定的限制。具体地，与基于线性表示的方法相比，基于成对距离的方法对噪声和离群值敏感。另一方面，存在基于线性表示的算法错误地选择子空间间点来表示点的可能性，这将降低性能。在本文中，我们提出了一种算法，称为局部线性表示（LLR），它集成了两两距离与线性表示在一起，以解决问题。该算法能够自动对一组点集上的每个数据点进行编码，这些点集不仅能够以较小的残差表示目标点，而且与欧氏空间中的点接近。实验结果表明，该方法在子空间学习和子空间聚类方面具有良好的应用前景。
2017-05-16 cs.LG stat.ML
Semi-Supervised Clustering with Neural Networks
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
最近，使用神经网络的聚类在机器学习和计算机视觉应用中表现出有前途的性能。然而，现有方法的性能受到无监督学习或依赖于大量标记数据样本的限制。在本文中，我们提出了一种新的聚类方法，它使用来自很少的标记数据样本（<总数据的5%）的成对语义约束，并利用大量的未标记数据来驱动聚类方法。我们定义了一个新的损失函数，它使用对象之间的成对语义相似性结合约束k均值聚类，有效地利用标记和未标记的数据在同一个框架。所提出的网络使用卷积自动编码器来学习将数据分组为k个指定聚类的潜在表示，同时还学习聚类中心。我们评估和比较了几个数据集和最先进的深度聚类方法的性能。
2018-07-10 cs.CV cs.LG stat.ML
Semisupervised Clustering by Queries and Locally Encodable Source Coding
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
信源编码是信息论中数据压缩的规范问题。在可局部编码的信源编码中，每个压缩比特仅依赖于输入的几个比特。在本文中，我们表明，最近流行的半监督聚类模型是等效的本地可编码源编码。在这个模型中，任务是执行未标记元素的多类标记。一开始，我们可以并行地向一个oracle提出一组简单的查询，后者为这些查询提供（可能是错误的）二进制答案。查询不能涉及两个以上的元素（或固定的常量）。现在，所有元素的标记（或聚类）必须基于嘈杂的查询答案来执行。目标是恢复所有正确的标签，同时最大限度地减少此类查询的数量。与本地可编码源代码的等价性使我们能够找到各种场景中所需查询数量的下限。我们提供查询方案的基础上成对的“相同的集群”查询和成对的与查询，并显示可证明的性能保证每个计划。
2020-11-09 cs.IT cs.LG math.IT
Attributed Graph Clustering with Multi-Scale Weight-Based Pairwise Coarsening and Contrastive Learning
Stirling College, Chengdu University（成都大学斯特林学院）；College of Computer Science, Chengdu University（成都大学计算机学院）
提出 MPCCL 属性图聚类模型，利用多尺度加权成对粗化保留结构，并通过一对多对比、图重建与 KL 约束提升特征多样性和跨尺度一致性。
2025-07-28 cs.LG
Angular Constraint Embedding via SpherePair Loss for Constrained Clustering
Department of Computer Science, The University of Manchester（计算机科学系，曼彻斯特大学）
提出SpherePair损失，通过角度空间中的几何约束嵌入实现深度约束聚类，无需预设聚类数，兼具可扩展性与理论保证，性能优于现有方法。
2025-10-08 cs.AI cs.CV cs.LG
Unsupervised spectral learning
在谱聚类和谱图像分割中，数据从给定的成对相似性矩阵S开始被分割。矩阵S是手工构造的，或者是在单独的训练集上学习的。在本文中，我们展示了如何实现无监督模式下的谱聚类。我们的算法从一组观察到的成对特征开始，这些特征是未知参数相似性函数的可能组成部分。这个函数是迭代学习的，同时也是数据的聚类。该算法在模拟数据和实际数据上都取得了较好的效果。
2012-07-04 cs.LG stat.ML
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Semi-crowdsourced Clustering with Deep Generative Models
Tsinghua University（清华大学）
我们考虑半监督聚类问题，其中众包提供关于数据的小子集上的成对比较的噪声信息，即，样本对是否在同一个聚类中。我们提出了一种新的方法，包括一个深度生成模型（DGM）来表征数据的低级特征，以及一个统计关系模型，用于在其子集上进行噪声成对注释。这两部分共享潜在变量。为了使模型在其复杂性和拟合数据之间自动权衡，我们还开发了其完全贝叶斯变体。推理的挑战是解决快速（自然梯度）随机变分推断算法，在那里我们有效地结合了变分消息传递的关系部分和摊销学习的DGM在一个统一的框架下。在合成数据集和真实数据集上的实证结果表明，我们的模型优于以前的众包聚类方法。
2018-10-29 cs.LG stat.ML
Generating automatically labeled data for author name disambiguation: An iterative clustering method
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
为了训练用于监督作者姓名消歧的算法，许多研究依赖于手工标记的真实数据，这些数据生成起来非常费力。本文表明，标记的训练数据可以自动生成的信息功能，如电子邮件地址，合著者的名字，并引用参考文献，可从出版记录。为此，使用外部权威数据库来决定用于匹配每个特征上的名称实例的高精度规则。然后，在目标歧义数据中选择名称实例进行基于规则的成对匹配过程。接下来，通过通用实体解析算法将它们合并到聚类中。聚类过程在其他特征上重复，直到进一步合并是不可能的。在228 K个作者姓名实例中的26，566个实例上进行测试，这种迭代聚类产生了精确标记的数据，成对F1 = 0.99。标记的数据代表人口数据的名称种族和共同消除歧义的名称组大小分布。此外，在标记数据上训练的机器学习算法消除了测试数据中的24 K个名称的歧义，成对F1 = 0.90 ~ 0.92。讨论了应用这种方法解决大规模学术数据中作者姓名歧义的几个挑战。
2021-02-05 cs.DL cs.IR cs.LG
Discovering the Graph Structure in the Clustering Results
Markov Processes Inc.（马尔可夫过程公司）
在标准的聚类分析中，例如k-means，除了聚类位置和它们之间的距离之外，重要的是要知道它们是否相互连接或分离。本文的主要重点是发现所产生的集群之间的关系。我们提出了一种新的方法，这是基于成对重叠的k-均值聚类，除了聚类的均值提供了它们之间的关系的图形结构。所提出的方法具有一组参数，可以调整这些参数以控制模型的灵敏度和两个相邻聚类的均值之间的成对重叠间隔的期望相对大小，即，重叠的程度。我们提出了计算该参数的精确公式。本文提出的实证研究表明，我们的方法不仅适用于玩具数据，但也恭维标准的聚类结果与一个合理的图结构的真实数据集，如金融指数和餐馆。
2017-05-18 cs.LG stat.ML
Affinity Clustering Framework for Data Debiasing Using Pairwise Distribution Discrepancy
Research Institute CODE, Bundeswehr University Munich（慕尼黑联邦国防军大学CODE研究所）
本文提出 MASC 亲和聚类数据增强框架，通过数据集间分布差异构建相似矩阵并谱聚类，引入相似情境真实数据平衡非二元受保护属性分布，实现可比现有方法的有效去偏。
2023-06-02 cs.AI cs.LG stat.ML
An Algebraic Approach to Constrained K-means Clustering
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）；Shiga University（滋贺大学）
针对带成对约束的K-means聚类存在的可行分配缺失或计算成本高的问题，提出用Gröbner基简化约束的代数方法，实验表明其在低计算成本下聚类质量相当或更优。
2026-10-14 cs.LG stat.CO stat.ME
Efficient Path Algorithms for Clustered Lasso and OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
在高维回归中，根据其对结果的影响进行特征聚类通常与特征选择一样重要。为此，聚类Lasso和八角形收缩和回归聚类算法（OSCAR）被用来自动生成特征组，分别由成对$L_1$范数和成对$L_\infty$范数。本文提出了有效的路径算法聚类Lasso和OSCAR的正则化参数来构建解决方案的路径。尽管穷举成对正则化中的项太多，但通过使用这些项的对称性来降低其计算成本。利用图论的有关理论，导出了检验各特征组次梯度方程的简单等价条件。数值实验结果表明，所提出的算法比现有的算法更有效。
2020-06-16 cs.LG stat.CO stat.ML
Lead-lag detection and network clustering for multivariate time series with an application to the US equity market
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
在多变量时间序列系统中，已经观察到某些变量组部分地引导系统的演化，而其他变量以时间延迟跟随这种演化;结果是时间序列变量之间的超前-滞后结构。本文提出了一种多变量系统中时间序列超前-滞后簇的检测方法。我们证明，网络的成对的领先滞后关系之间的时间序列可以被有益地解释为一个有向网络，存在合适的算法检测的领先滞后集群对高成对的不平衡。在我们的框架内，我们考虑了一些选择成对的领先滞后度量和定向网络聚类组件。我们的框架验证了多变量领先滞后时间序列系统和每日真实世界的美国股票价格数据的合成生成模型。我们展示了我们的方法是能够检测统计上显着的领先滞后集群在美国股市。我们研究的背景下，这些集群的性质的领先滞后关系的实证金融文献，并展示了如何将其用于建设的预测性金融信号。
2022-01-20 cs.LG q-fin.ST stat.ME
Psoriasis Severity Assessment with a Similarity-Clustering Machine Learning Approach Reduces Intra- and Inter-observation variation
LEO Innovation Lab（LEO创新实验室）；Herlev Hospital（赫尔勒夫医院）；Colentina Clinical Hospital（科伦蒂纳临床医院）
银屑病是一种复杂的疾病，在基因型和表型上有许多变异。医学的普遍进步使医生和皮肤科医生的评估和治疗更加复杂。即使我们所有的技术进步，我们仍然主要使用20世纪70年代开发的评估工具Psign Area and Severity Index（PASI）进行严重性评估。在这项研究中，我们评估了一种方法，涉及数字图像，比较网络应用程序和相似性聚类，开发，以提高评估工具的内部和观察员之间的变化。从移动终端收集患者图像。在大约1周后采集相同病变区域的图像。五位皮肤科医生通过改良PASI、绝对评分和使用相似性聚类的相对成对PASI评分评估银屑病的严重程度，并使用一次显示两张图像的网络程序进行。由相同或不同皮肤科医生对单张照片进行mPASI评分，mPASI评分分别为50%至80%。使用相似性聚类的重复mPASI比较显示一致的mPASI评级> 95%。绝对评分和成对评分进展之间的Pearson相关性为0.72。
2020-09-28 cs.CV cs.LG
Active Clustering with Model-Based Uncertainty Reduction
SUNY at Buffalo（纽约州立大学布法罗分校）
半监督聚类试图通过结合人类专业知识提供的辅助信息来增强传统的聚类方法，以增加所得到的聚类的语义意义。然而，大多数当前的方法是\emph{passive}，在这个意义上，边信息被预先提供并且被随机选择。这可能需要大量的约束，其中一些可能是冗余的，不必要的，甚至对聚类结果有害。因此，为了将这样的半监督算法扩展到更大的问题，期望追求\emph{active}聚类方法-即，通过仅在将具有最大影响的地方请求人的输入来最大化可用人力劳动的有效性的算法。在这里，我们提出了一个新的在线框架，主动半监督谱聚类，选择成对的约束聚类进行，基于不确定性减少的原则。使用一阶泰勒展开，我们分解成一个梯度和一个步骤规模，通过矩阵扰动理论和集群分配熵的应用程序计算，分别预期的不确定性降低问题。由此产生的模型用于估计数据集中每个样本的不确定性降低潜力。然后，我们提出的人类用户与成对查询，只有最好的候选样本。我们使用三种不同的图像数据集（人脸、树叶和狗）、一组常见的UCI机器学习数据集和一个基因数据集来评估我们的方法。结果验证了我们的分解公式，并表明我们的方法始终优于现有的最先进的技术，以及对噪声和未知数量的聚类具有鲁棒性。
2014-02-14 cs.CV cs.LG stat.ML
Doing well with less! On Sampling Techniques for Empirical Pairwise Loss Estimation/Minimization
IDS, LTCI Télécom Paris Palaiseau, France（IDS、LTCI 雷电巴黎实验室，巴黎帕莱索，法国）
本文利用调查采样技术，通过直接对成对样本进行采样而非单个观测，在保留少量信息的情况下实现与全量成对评估相当的估计或优化性能，为精度与计算成本之间提供了理论上有依据的权衡。
2026-06-01 cs.LG stat.ML
Query-augmented Active Metric Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学香槟分校）；University of California, Irvine（加利福尼亚大学尔湾分校）；Eli Lilly and Company（礼来公司）
在本文中，我们提出了一个主动度量学习方法的聚类与成对约束。该方法主动查询信息实例对的标签，同时通过合并未标记的实例对来估计底层度量，从而导致更准确和高效的聚类过程。特别是，我们通过生成更多的成对标签来增加查询的约束，以在学习度量时提供额外的信息来提高聚类性能。此外，我们增加了度量学习的鲁棒性，通过更新学习的度量顺序和惩罚不相关的功能自适应。此外，我们还提出了一种新的主动查询策略，该策略通过引入邻域结构来更准确地评估实例对的信息增益，从而在不增加额外标签成本的情况下提高了聚类效率。在理论上，我们提供了一个更严格的误差界的建议度量学习方法，利用增强查询相比，使用现有的限制。此外，我们还研究了改进使用主动查询策略，而不是随机选择。仿真和真实数据集的数值研究表明，所提出的方法是特别有利的，当显着的功能和不相关的功能之间的信噪比低。
2021-11-08 cs.LG stat.ML
Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery
Nanyang Technological University（南洋理工大学）；University of Macau（澳门大学）；Dalian University of Technology（大连理工大学）
针对高维多尺度数据的单一带宽核谱聚类不足问题，提出多核谱聚类方法，建立逐元素特征向量扰动界，证明其结合近似K-means可高概率实现数据精确恢复。
2026-08-11 cs.LG math.ST stat.ML
