COBRAS: Fast, Iterative, Active Clustering with Pairwise Constraints
Department of Computer Science, KU Leuven（比利时鲁汶大学计算机科学系）
基于约束的聚类算法利用背景知识来构造与特定用户的兴趣一致的聚类。这种背景知识通常是通过允许聚类系统向用户提出成对查询来获得的：这两个元素是否应该在同一个聚类中？主动聚类方法的目标是通过首先查询信息量最大的对来最小化获得良好聚类所需的查询数量。理想情况下，用户应该能够回答其中的几个查询，检查结果聚类，并重复这两个步骤，直到获得满意的结果。我们提出了COBRAS，一种主动聚类与成对的约束，适合这样一个互动的聚类过程。COBRAS中的一个核心概念是超级实例：数据中的一个局部区域，其中所有实例都被假设属于同一个集群。COBRAS构建这样的超级实例在一个自上而下的方式产生高质量的结果在聚类过程的早期，并不断完善这些超级实例，更多的成对查询，以获得更详细的clustrings.We实验证明，COBRAS产生良好的聚类在快速运行时间，使其成为一个很好的候选人的迭代聚类场景上面概述。
2018-03-29 cs.AI cs.LG stat.ML
Probabilistic K-means Clustering via Nonlinear Programming
Beijing University of Technology（北京工业大学）；Guilin University of Electronic Technology（桂林电子科技大学）
K-means算法是一种经典的聚类算法，有着广泛的应用。然而，自1981年以来，软K均值，或m=1的模糊c均值仍然没有解决。为了解决这个具有挑战性的开放问题，我们提出了一种新的聚类模型，即概率K均值（PKM），这也是一个非线性规划模型约束的线性等式和线性不等式。理论上，我们可以通过主动梯度投影来求解该模型，但效率较低。因此，我们进一步提出了最大步长主动梯度投影和快速最大步长主动梯度投影，以更有效地解决这个问题。通过实验，我们从初始化鲁棒性、聚类性能、下降稳定性、迭代次数和收敛速度五个方面对PKM算法的性能进行了评估。
2020-11-20 cs.LG stat.ML
Active clustering with bandit feedback
INRAE（法国国家农业食品与环境研究院）；Institut Agro（法国国家农业、食品与环境学院）；Univ Montpellier（蒙彼利埃大学）；Université Paris-Saclay（巴黎萨克雷大学）；Institut für Mathematik, Universität Potsdam（波茨坦大学数学研究所）
针对带次高斯反馈的随机老虎机中的隐藏臂分区问题，本文给出非渐近预算下界，并提出计算高效且在多数情形下达到下界的 ACB 主动聚类算法。
2024-06-17 cs.LG stat.ML
Fast kNN mode seeking clustering applied to active learning
PRLab, Delft University of Technology（代尔夫特理工大学模式识别实验室）；Prime Vision（Prime Vision 公司）
一个显着更快的算法，提出了原来的kNN模式搜索过程。它的优点是在高维向量空间中是可行的，并导致唯一的，定义良好的模式。此外，没有任何额外的计算工作，它可以产生一个多尺度层次的聚类。时间复杂度为O（n^1.5）结果计算时间从10^4个物体的秒到10^5个物体的分钟到10^6个物体的不到一小时不等。时间复杂度为O（n）。该程序非常适合于寻找大的小集群集，从而是一个候选人，以分析数以百万计的对象中的数千个集群。kNN模式搜索过程可以通过将聚类分配给聚类的模态对象的类来用于主动学习。最多可达150万个手写体数字的实例表明了该方法的可行性。将基于聚类得到的分类结果与最近邻规则和基于相同标记对象训练的支持向量分类器得到的分类结果进行了比较。可以得出结论，使用聚类结构进行分类可以明显优于使用训练的分类器。然而，使用聚类进行分类的缺点在于，没有获得可以用于样本外对象的分类器。
2017-12-20 cs.LG stat.ML
A3S: A General Active Clustering Method with Pairwise Constraints
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
针对传统半监督主动聚类在大类别数据集上查询成本高的问题，提出基于聚类调整的A3S框架，通过信息论指导的自适应聚合分裂调整初始聚类，在多数据集上以更少查询实现更优性能与可扩展性。
2024-07-14 cs.AI cs.LG
Query-augmented Active Metric Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学香槟分校）；University of California, Irvine（加利福尼亚大学尔湾分校）；Eli Lilly and Company（礼来公司）
在本文中，我们提出了一个主动度量学习方法的聚类与成对约束。该方法主动查询信息实例对的标签，同时通过合并未标记的实例对来估计底层度量，从而导致更准确和高效的聚类过程。特别是，我们通过生成更多的成对标签来增加查询的约束，以在学习度量时提供额外的信息来提高聚类性能。此外，我们增加了度量学习的鲁棒性，通过更新学习的度量顺序和惩罚不相关的功能自适应。此外，我们还提出了一种新的主动查询策略，该策略通过引入邻域结构来更准确地评估实例对的信息增益，从而在不增加额外标签成本的情况下提高了聚类效率。在理论上，我们提供了一个更严格的误差界的建议度量学习方法，利用增强查询相比，使用现有的限制。此外，我们还研究了改进使用主动查询策略，而不是随机选择。仿真和真实数据集的数值研究表明，所提出的方法是特别有利的，当显着的功能和不相关的功能之间的信噪比低。
2021-11-08 cs.LG stat.ML
Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
基于成对相似性的层次聚类是广泛应用于科学领域的常用工具。然而，在许多问题中，获得或计算待聚类的项目之间的相似性可能是昂贵的。本文研究了N个项目的层次聚类的基础上的一个小子集的成对相似性，显着小于完整的N（N-1）/2相似性。首先，我们表明，如果集群内的相似性超过集群间的相似性，那么它是可以正确地确定从少至3 N对数N相似性的层次聚类。我们证明了这种数量级的节省成对相似性的数量需要顺序选择的相似性，以获得自适应的方式，而不是随机挑选。然后，我们提出了一个积极的聚类方法，是强大的异常相似性的一个有限的部分，并显示如何即使在这些嘈杂的相似性值的存在下，我们可以解决层次聚类使用仅O（N log^2 N）成对的相似性。
2011-02-18 cs.IT cs.LG math.IT
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University（清华大学）
稀疏子空间聚类（SSC）是一种对低维子空间中的高维数据点进行聚类的方法。然而，虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性，但是SSC的其他变体，诸如基于正交匹配追踪的SSC（OMP-SSC），在追求提高时间效率时损失聚类准确性。在这封信中，我们提出了一种新的主动OMP-SSC，它提高了OMP-SSC的聚类精度，通过自适应更新数据点和随机丢弃的数据点在OMP过程中，同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法，并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析，并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
A Correlation Clustering Approach to Link Classification in Signed Networks -- Full Version --
Università degli Studi di Milano（米兰大学）；Università dell’Insubria（因苏布里亚大学）
受社会平衡理论的启发，我们提出了一种基于关联聚类指数的标记网络链接分类理论。我们得出学习界限的相关聚类在三个基本的转导学习设置：在线，批量和主动。我们的主要算法的贡献是在积极的设置，在那里我们引入了一个新的家庭的有效的链接分类器的基础上覆盖的输入图与小电路。这些是第一个主动算法的链接分类错误的界限，持有任意签署的网络。
2013-02-28 cs.DS cs.LG stat.ML
Mitigating shortage of labeled data using clustering-based active learning with diversity exploration
North Carolina A & T State University（北卡罗来纳农工州立大学）；Clark Altanta University（克拉克亚特兰大大学）
本文提出了一种新的基于聚类的主动学习框架，即基于聚类的采样的主动学习（ALCS），以解决标记数据不足的问题。ALCS采用基于密度的聚类方法来探索集群结构的数据，而不需要详尽的参数调整。提出了一种基于双聚类边界的样本查询方法，提高了算法在高重叠类分类时的学习性能。此外，我们开发了一个有效的多样性探索策略，以解决查询样本之间的冗余。我们的实验结果证明了ALCS方法的有效性。
2022-07-06 cs.AI cs.LG
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company（好奇人工智能公司）
我们考虑半监督的Few-Shot分类问题，其中分类器需要使用几个标记的示例和（可能是许多）未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类，并使用少数标记示例指导聚类过程。我们注意到，在许多实际应用中，通过用户反馈请求少量标签，可以显著提高自适应性能。我们展示了良好的性能，使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Boston University（波士顿大学）
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中，它可能是可行的，以获得一些目标数据标记，但成本效益，它是可取的，选择一个最大的信息子集通过主动学习（AL）。我们研究了主动领域自适应（Active DA）领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入（CLUE），主动DA，执行不确定性加权聚类，以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
Active Clustering with Model-Based Uncertainty Reduction
SUNY at Buffalo（纽约州立大学布法罗分校）
半监督聚类试图通过结合人类专业知识提供的辅助信息来增强传统的聚类方法，以增加所得到的聚类的语义意义。然而，大多数当前的方法是\emph{passive}，在这个意义上，边信息被预先提供并且被随机选择。这可能需要大量的约束，其中一些可能是冗余的，不必要的，甚至对聚类结果有害。因此，为了将这样的半监督算法扩展到更大的问题，期望追求\emph{active}聚类方法-即，通过仅在将具有最大影响的地方请求人的输入来最大化可用人力劳动的有效性的算法。在这里，我们提出了一个新的在线框架，主动半监督谱聚类，选择成对的约束聚类进行，基于不确定性减少的原则。使用一阶泰勒展开，我们分解成一个梯度和一个步骤规模，通过矩阵扰动理论和集群分配熵的应用程序计算，分别预期的不确定性降低问题。由此产生的模型用于估计数据集中每个样本的不确定性降低潜力。然后，我们提出的人类用户与成对查询，只有最好的候选样本。我们使用三种不同的图像数据集（人脸、树叶和狗）、一组常见的UCI机器学习数据集和一个基因数据集来评估我们的方法。结果验证了我们的分解公式，并表明我们的方法始终优于现有的最先进的技术，以及对噪声和未知数量的聚类具有鲁棒性。
2014-02-14 cs.CV cs.LG stat.ML
Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
现有技术的子空间聚类方法基于将每个数据点表示为其他数据点的线性组合，同时用$\ell_1$、$\ell_2$或核范数正则化系数矩阵。保证$\ell_1$正则化给出子空间保持亲和性（即，来自不同子空间的点之间没有连接），但是簇可以不连接。$\ell_2$和核范数正则化通常会改善连通性，但仅对独立子空间给出子空间保持亲和性。混合的$\ell_1$、$\ell_2$和核范数正则化提供了子空间保持和连通性属性之间的平衡，但这是以增加的计算复杂性为代价的。本文研究了弹性网络正则化子（$\ell_1$和$\ell_2$范数的混合）的几何结构，并利用它导出了一个可证明正确的和可扩展的有效集方法来寻找最佳系数。我们的几何分析还提供了一个理论上的理由和几何解释之间的平衡的连通性（由于$\ell_2$正则化）和子空间保持（由于$\ell_1$正则化）属性的弹性网络子空间聚类。实验结果表明，该方法不仅具有最佳的聚类性能，而且能够有效地处理大规模数据集。
2016-05-09 cs.CV cs.LG stat.ML
Cold-Start Active Correlation Clustering
Chalmers University of Technology \& University of Gothenburg Sweden；Chalmers University of Technology \& University of Gothenburg
本文提出一种覆盖意识方法，解决冷启动场景下主动相关聚类中的成对相似性查询问题，通过合成和现实世界实验验证了方法的有效性。
2026-03-07 cs.AI cs.LG cs.SI
Correlation Clustering with Adaptive Similarity Queries
University of Rome Sapienza（罗马第一大学）；Università degli Studi di Milano（米兰大学）；IIT（意大利理工学院）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）
在相关聚类中，我们给出了$n$对象以及每对对象之间的二进制相似性得分。目标是将对象划分为聚类，以便最大限度地减少与分数的不一致。在这项工作中，我们研究相关聚类作为一个主动学习问题：每个相似性得分可以通过查询来学习，目标是尽量减少分歧和查询的总数。一方面，我们描述了简单的主动学习算法，可证明实现了几乎最佳的权衡，同时给予集群恢复保证，我们测试他们在不同的数据集。另一方面，我们证明了信息理论界的查询数量，以保证规定的分歧界。这些结果给出了查询和聚类错误之间的权衡的丰富的表征。
2020-01-14 cs.LG stat.ML
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore（新加坡国立大学）
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训，这在实践中可能很难或昂贵。给定标记预算，主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示，并选择一些未标记的节点进行标记获取。然而，它们没有充分利用未标记节点中存在的表示能力。我们认为，在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中，我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类（LSCALE），我们充分利用标记和未标记的节点的表示能力。具体来说，为了选择用于标记的节点，我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外，我们还设计了一个增量式分簇模块，以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明，我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Data Skeleton Learning: Scalable Active Clustering with Sparse Graph Structures
School of Computer Science and Software Engineering, Southwest Petroleum University（计算机科学与软件工程学院，西南石油大学）；School of Computer and Software Engineering, Xihua University（计算机与软件工程学院，西华大学）；Web Sciences Center, University of Electronic Science and Technology of China（网络科学中心，电子科技大学）；College of Science and Engineering, University of Minnesota（科学与工程学院，明尼苏达大学）
本文提出一种基于双稀疏图的数据骨架学习主动聚类算法，通过协同更新数据骨架与约束图，降低计算与内存开销，以更少用户约束实现更精确、可扩展的聚类。
2025-09-10 cs.LG
Active Distance-Based Clustering using K-medoids
Sharif University of Technology（谢里夫理工大学）
k-medoids算法是一种分区的、基于质心的聚类算法，它使用数据点的成对距离，并试图将具有$n$点的数据集直接分解成一组$k$不相交的聚类。然而，k-medoids本身需要数据点之间的所有距离，这在许多应用中并不容易获得。在本文中，我们介绍了一种新的方法，它只需要一小部分的整个距离集，并努力估计未知的距离使用查询的上限。该算法利用三角不等式计算未知距离的上界估计。我们的方法是建立在一个递归的方法来聚类对象，并选择一些点主动从每一束数据，并获得这些突出点之间的距离从Oracle。实验结果表明，该方法只使用一个小的子集的距离可以找到适当的聚类在许多真实世界和合成数据集。
2015-12-12 cs.LG
Foundation Model Makes Clustering A Better Initialization For Cold-Start Active Learning
Centre for Quantitative Medicine, Duke-NUS Medical School（杜克-新加坡国立大学医学院定量医学中心）；Duke University（杜克大学）
本文提出将基础模型与聚类方法结合，利用其生成的紧凑嵌入替代原始特征，为冷启动主动学习选择初始样本，实验证明该方法在临床图像分类与分割任务中优于基线。
2024-03-27 cs.CV cs.LG
FAL-CUR: Fair Active Learning using Uncertainty and Representativeness on Fair Clustering
Eindhoven University of Technology（埃因霍温理工大学）；Leiden University（莱顿大学）
针对现有主动学习方法提升公平性时易降低准确率的问题，提出结合公平聚类与基于不确定性、代表性的采集函数的FAL-CUR策略，在四个真实数据集上实现公平性15%-20%提升且准确率稳定。
2023-12-19 cs.LG
Multi-view Information-theoretic Co-clustering for Co-occurrence Data
Jiangnan University（江南大学）；Hong Kong Polytechnic University（香港理工大学）；University of Technology Sydney（悉尼科技大学）
多视图聚类是近年来研究的热点。现有的多视图聚类方法大多只关注单视图聚类。由于同现数据元素涉及样本-特征同现的计数，因此同时沿着样本和特征进行双侧聚类更有效。为了充分利用多视图聚类中场景中同现点的双侧聚类优势，提出了一种双侧多视图聚类方法，多视图信息理论联合聚类（MV-ITCC）。该方法在信息论的框架下实现了对多视图数据的双边聚类。更具体地说，它利用意见之间的协议和分歧，共享一个共同的聚类结果沿样本维，并保持聚类结果的每个视图特定沿特征维。此外，还采用了最大熵机制来控制不同观点的重要性，从而在平衡一致和不一致方面取得了适当的平衡。在文本和图像多视图数据集上进行了广泛的实验。结果清楚地表明了所提出的方法的优越性。
2019-05-25 cs.LG stat.ML
A Structural-Clustering Based Active Learning for Graph Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；The University of Aberdeen（阿伯丁大学）
针对图主动学习中结构信息利用不足的问题，提出融合 SCAN 社区检测与 PageRank 评分的 SPA 节点选择方法，以更低查询时间和更少超参数提升准确率与 macro-F1。
2023-12-07 cs.LG
scICML: Information-theoretic Co-clustering-based Multi-view Learning for the Integrative Analysis of Single-cell Multi-omics data
ShanghaiTech University（上海科技大学）；The Chinese University of Hong Kong（香港中文大学）
现代高通量测序技术使我们能够从同一个单细胞中分析多种分子模式，为分析多个生物层的细胞异质性提供了前所未有的机会。然而，这些技术生成的数据集往往具有高噪声水平和高度稀疏性，给数据分析带来了挑战。在本文中，我们开发了一种新的基于信息论的协同聚类的多视图学习（scICML）方法，用于多组学单细胞数据集成。scICML利用共同聚类来聚合每个数据视图的相似特征，并揭示细胞的共同聚类模式。此外，scICML自动匹配不同数据类型的链接特征的聚类，以考虑不同类型基因组特征的生物依赖性结构。我们在四个真实世界数据集上的实验表明，scICML提高了整体聚类性能，并为外周血单核细胞的数据分析提供了生物学见解。
2022-05-19 cs.LG stat.ML
Cautious Active Clustering
University of California San Diego（加州大学圣地亚哥分校）；Claremont Graduate University（克莱蒙特研究生大学）
我们考虑欧氏空间上从未知概率测度采样的点的分类问题。我们研究的问题，查询类标签在一个非常小的数量明智地选择的点，以便能够附加适当的类标签的每一个点在集合中。我们的方法是考虑未知的概率测度作为每个类的条件概率的凸组合。我们的技术涉及到使用一个高度本地化的内核从厄米多项式构造，以创建一个层次的估计支持的组成概率措施。我们不需要对任何概率测度的性质做任何假设，也不需要事先知道所涉及的类的数量。我们给出了理论上的保证衡量的$F$分数为我们的分类方案。实例包括超光谱图像中的分类和MNIST分类。
2020-12-08 cs.LG math.ST stat.ML
Active Learning of Custering with Side Information Using $\eps$-Smooth Relative Regret Approximations
聚类被认为是一种非监督学习设置，其目标是将数据点的集合划分为不相交的聚类。通常，从业者给出或假设聚类数量的界限$k$。这个问题的许多版本已经被定义，最著名的是$k$ -均值和$k$ -中位数。聚类的无监督性质的一个潜在问题是确定相似性函数。缓解这种困难的一种方法被称为边信息聚类，或者半监督聚类。在这里，从业者以数据点对的“必须被聚类”或“必须被分离”标签的形式并入辅助信息。每一条这样的信息都有一个“查询成本”（通常涉及人工响应请求）。然后，将标签的集合作为严格约束或软约束并入通常的聚类算法中，可能向所选择的聚类目标添加成对约束惩罚函数。我们的工作主要是与边信息聚类。我们问如何选择数据点对。我们的分析产生了一种方法，证明比简单地随机选择它们更好。粗略地说，我们表明，分布必须是有偏见的，以便更多的重量放在对事件的元素在较小的集群中的一些最佳解决方案。当然，我们不知道最优解，因此我们不知道偏差。使用最近推出的方法$\eps$ -光滑的相对遗憾近似的Ailon，Begleiter和以斯拉，我们可以显示一个迭代的过程，提高了集群和偏见串联。该过程可证明收敛到最优解的速度（查询成本方面）比算法选择对一致。
2012-01-31 cs.LG
Almost Asymptotically Optimal Active Clustering Through Pairwise Observations
National University of Singapore（国立新加坡大学）；Indian Institute of Technology Hyderabad（印度海得拉巴理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通过成对观测实现近似最优的主动聚类，利用测度变化技术建立查询次数下界，并设计渐近最优算法。
2026-02-05 cs.IT cs.LG math.IT
Analysis of Self-Supervised Learning and Dimensionality Reduction Methods in Clustering-Based Active Learning for Speech Emotion Recognition
Unit of Computing Sciences, Tampere University, Finland（图皮大学计算科学系，芬兰）；Helsinki University Hospital, Helsinki, Finland（赫尔辛基大学医院，芬兰）
本文研究了在语音情感识别中，利用自监督学习和降维方法提升基于聚类的主动学习性能，探讨了特征空间局部和全局拓扑结构对主动学习的影响，发现降维不影响性能且二维特征表现良好。
2022-06-21 cs.LG cs.SD eess.AS
Guess What's on my Screen? Clustering Smartphone Screenshots with Active Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Stanford University（斯坦福大学）
个人日常活动的很大一部分是通过数字设备体验的。特别是智能手机已经成为内容消费和社交互动的首选界面之一。因此，识别嵌入在频繁捕获的智能手机屏幕截图中的内容是研究媒体行为和健康干预计划的关键先决条件，这些计划分析了活动的相互作用和随着时间的推移的内容切换。屏幕截图图像可以描述异构的内容和应用程序，使得适当分类的先验定义成为一项繁琐的任务，即使对于人类来说也是如此。对屏幕上捕获的敏感数据的隐私保护意味着与手动注释相关的成本很大，因为这项工作无法众包。因此，有必要研究数字屏幕截图分类的无监督和半监督方法的实用性。这项工作介绍了在只有有限数量的标签可用时，在大型屏幕截图集上应用聚类的含义。在本文中，我们开发了一个框架，用于将K-Means聚类与主动学习相结合，以有效利用标记和未标记的样本，其目标是发现潜在类并描述大量的屏幕截图数据。我们测试了类概率传播的SVM嵌入式或XGBoost嵌入式解决方案是否提供了更良好的集群配置。视觉和文本矢量表示的屏幕截图图像的推导和组合，以评估多模态功能的整体性能的相对贡献。
2019-01-10 cs.CV cs.LG cs.MM
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University（南京大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对离线偏好学习中的用户相似性识别与数据不平衡挑战，提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法，通过聚类聚合数据并主动补充信息量最少的维度样本，理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Information theoretic model validation for clustering
Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）
聚类中的模型选择需要（i）指定合适的聚类原则和（ii）通过根据数据中的噪声水平选择适当数量的聚类来控制模型阶数复杂度。我们提倡一种信息理论的观点，在测量的不确定性量化的数据分区的集合，从而诱导聚类的解决方案空间中的不确定性。一个聚类模型，它可以容忍更高水平的波动的测量比替代模型，被认为是优越的，提供聚类解决方案是同样的信息。\emph{informativeness}和\emph{robustness}之间的这种折衷用作模型选择标准。数据划分应该从一个数据集推广到一个同样可能的第二个数据集的要求引起了一个新的概念的结构诱导信息。
2010-06-02 cs.IT cs.LG math.IT
Feature-Based Image Clustering and Segmentation Using Wavelets
Johns Hopkins University（约翰斯·霍普金斯大学）
像素亮度是聚类和分割算法中广泛使用的特征，仅使用亮度值进行分割可能会受到噪声和缺乏空间上下文信息的影响。小波变换常用于图像去噪和分类。我们提出了一种新的方法，将小波特征的分割和聚类算法。传统的K-均值，模糊c-均值（FCM），和主动轮廓无边缘（ACWE）算法进行了修改，以适应小波特征，导致强大的聚类/分割算法。同时引入了一个加权参数来控制低频子带信息的权重。新的算法表现出的能力，收敛到不同的分割结果的基础上的频率信息来自小波子带。
2019-07-05 cs.LG eess.IV stat.ML
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而，谱聚类方法无法扩展到大的数据集，因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法，这是一种有效的基于采样的算法，用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息，过早地减少与采样点的相似性矩阵的秩。此外，目前的理解是有限的，关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制，这项工作提出了一个原则性的谱聚类算法，利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果，以减少目前的差距和数值实验与实际和合成数据。实验结果表明，该方法的有效性和效率相比，现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线，以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering
Coordinated Science Laboratory（协调科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
摘要抽象在概念学习和知识发现中起着关键作用，本文主要研究计算抽象。特别是，我们研究的性质，抽象通过一组理论的方法，正式将其作为数据驱动的-而不是数据驱动的-层次聚类。因此，所得到的聚类框架是无数据，无特征，无相似性和全局层次--四个关键特征，使其区别于常见的数据聚类模型，如$k$ -手段。除了抽象的理论基础，我们还提出了一个自上而下和自下而上的方法来建立一个实用的抽象生成方法的算法基础。最后，通过理论解释和实际应用，我们说明了我们的抽象框架与统计学的进一步耦合实现了香农的信息格，甚至进一步将学习带入画面。这不仅提供了我们提出的计算抽象的一个用例，而且还为自动概念学习和知识发现的原则和认知方式迈出了第一步。
2019-07-22 cs.IT cs.LG math.IT
Demystifying Information-Theoretic Clustering
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；Santa Fe Institute（圣塔菲研究所）；Indiana University（印第安纳大学）
我们提出了一种新的方法，聚类数据是基于信息理论的原则，不需要参数假设。以前的尝试使用信息论来定义集群在一个无干扰的方式是基于最大化的数据和集群标签之间的互信息。我们证明，这种直觉存在一个基本的概念缺陷，导致聚类性能随着数据量的增加而恶化。相反，我们回到信息论的公理基础上定义一个有意义的聚类度量的基础上的概念下粗粒度的有限数据的一致性。
2014-02-05 cs.IT cs.LG math.IT
A Novel Approach for Effective Multi-View Clustering with Information-Theoretic Perspective
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study（深圳高等研究院）；Lehigh University（理海大学）
针对多视图聚类中的跨视图冗余问题，提出信息论框架 SUMVC，通过 SCMVC 提取一致信息并以充分表示下界抑制冗余，理论与多数据集实验验证了其优越性能。
2023-09-25 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology（格拉茨技术大学）；Know-Center GmbH（Know-Center有限公司）；Jagiellonian University（雅盖隆大学）
我们将半监督聚类问题与约束马尔可夫聚合联系起来，即，划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素，通过定义状态之间的转移概率（通过相应数据点之间的相似性）以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类（CoMaC）是最近的信息理论框架（无监督）马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明，CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
Information-Theoretic Generative Clustering of Documents
Waseda University（早稻田大学）
本文提出生成式聚类（GC），利用大语言模型生成的文本进行聚类，通过KL散度定义相似度并结合重要性采样算法，取得了超越现有方法的SOTA性能，并有效提升了生成式文档检索的准确率。
2024-12-18 cs.CL cs.IR cs.IT
An Information-theoretic Perspective of Hierarchical Clustering
Beihang University（北京航空航天大学）
Dasgupta \cite{dasgupta2016cost}提出了一种用于层次聚类的组合代价函数。Cohen-Addad等人在\cite{cohen2019hierarchical}中将它推广到一个称为容许函数的一般形式。在本文中，我们研究层次聚类从\emph{information-theoretic}的角度来看，并制定了一个新的目标函数。我们还建立了这两个视角之间的关系。在算法方面，我们摒弃了传统的自顶向下和自底向上的框架，提出了一种新的框架，在目标函数的指导下递归地对聚类树的\emph{sparsest}层次进行分层。为了实际使用，我们得到的聚类树不是二叉的。HCSE算法通过一种新颖的、可解释的机制输出一棵$k$级的聚类树，自动选择$k$，不需要任何超参数。我们在人工数据集上的实验结果表明HCSE在寻找内在层次数方面具有很大的优势，在真实数据集上的实验结果表明HCSE也比流行的算法LOUVAIN和HLP具有竞争力的成本。
2021-08-13 cs.LG
Unifying Information-Theoretic and Pair-Counting Clustering Similarity
School of Data Science, University of Virginia（数据科学学院，弗吉尼亚大学）
本文通过加权展开和高阶扩展两个视角，统一了配对计数与信息论两类聚类相似性度量，揭示了它们之间的分析联系。
2026-06-02 cs.IT cs.LG math.IT
Co-Clustering via Information-Theoretic Markov Aggregation
Technical University of Munich（慕尼黑工业大学）；Rohde & Schwarz GmbH & Co. KG（罗德与施瓦茨有限两合公司）；Graz University of Technology（格拉茨工业大学）；KNOW-CENTER Gmbh（KNOW-CENTER有限公司）
我们提出了一个信息理论成本函数的共同聚类，即，用于基于两个集合的元素之间的相似性对两个集合进行同时聚类。通过构建一个简单的随机游走相应的二分图，我们的成本函数是来自最近提出的广义框架信息理论马尔可夫链聚合。我们的成本函数的目标是最小化相关的信息损失，因此它连接到信息瓶颈形式主义。此外，通过连接到马尔可夫聚合，我们的成本函数是不是特设的，但继承其理由与相应的马尔可夫聚合问题的操作质量。此外，我们表明，适当的参数设置，我们的成本函数是相同的，从文献中，如信息理论的协同聚类Dhillon等人的知名方法。因此，了解这个参数的影响承认以前提出的信息理论的成本函数之间的关系有更深的了解。我们强调了不同参数的成本函数的一些优点和缺点。我们还说明了我们的成本函数的性能，优化了一个简单的顺序启发式，在几个合成和现实世界的数据集，包括新闻组20和MovieLens100k数据集。
2018-06-15 cs.IT cs.LG math.IT
Information theoretic underpinning of self-supervised learning by clustering
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心）；Surrey Institute for People-Centred AI (PAI)（Surrey 以人为本的人工智能研究所）
本文通过类比监督学习，将自监督学习建模为K-L散度优化，提出通过教师分布约束防止模式崩溃，并理论化了知识蒸馏与中心化等常用方法。
2026-05-12 cs.IT cs.LG math.IT
