Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Boston University（波士顿大学）
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中，它可能是可行的，以获得一些目标数据标记，但成本效益，它是可取的，选择一个最大的信息子集通过主动学习（AL）。我们研究了主动领域自适应（Active DA）领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入（CLUE），主动DA，执行不确定性加权聚类，以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
Autonomous Cross Domain Adaptation under Extreme Label Scarcity
Nanyang Technological University（南洋理工大学）；University of South Australia（南澳大学）；Monash University（莫纳什大学）；Singapore Institute of Manufacturing Technology, A*Star（新加坡科技研究局新加坡制造技术研究院）
跨域多流分类是一个具有挑战性的问题，要求快速的领域自适应，以处理不同的，但相关的流在永无止境的和快速变化的环境。尽管现有的多流分类器假设在目标流中没有标记的样本，但是它们仍然产生昂贵的标记成本，因为它们需要源流的完全标记的样本。针对跨域多流分类问题中的标签短缺问题，提出了一种新的分类方法，即在处理运行前只提供很少的源数据流标签样本。我们的解决方案，即学习流处理部分地面真理（LEOPARD），是建立在一个灵活的深度聚类网络，其隐藏节点，层和集群的添加和删除动态变化的数据分布。深度聚类策略的基础是同时进行特征学习和聚类技术，从而产生聚类友好的潜在空间。领域自适应策略依赖于对抗性领域自适应技术，其中特征提取器被训练为欺骗对源流和目标流进行分类的领域分类器。我们的数值研究表明LEOPARD的有效性，它提供了改进的性能相比，突出的算法在15的24例。LEOPARD的源代码在\url{https://github.com/wengweng001/LEOPARD.git}中共享，以便进一步研究。
2022-09-04 cs.AI cs.LG
Bringing Clustering to MLL: Weakly-Supervised Clustering for Partial Multi-Label Learning
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）
本文提出WSC-PML方法，通过聚类矩阵分解解决多标签学习中的标签噪声问题，通过三阶段流程提升学习效果，实验表明优于六种现有方法。
2026-04-10 cs.LG
CSAL: Self-adaptive Labeling based Clustering Integrating Supervised Learning on Unlabeled Data
University of Technology Sydney（悉尼科技大学）
由于监督训练过程，监督分类方法可以预测未知数据的标签。分类的成功在很大程度上依赖于标记的训练数据。聚类是揭示未标记数据聚集性的有效方法，但大多数聚类方法的性能受到标记数据缺失的限制。然而，在实际应用中，获取标记数据是耗时的，有时甚至是不可能的。聚类和分类相结合是一种很有前途的方法，可以大大提高性能。在本文中，我们提出了一个创新的和有效的聚类框架的基础上，自适应标签（CSAL）集成的聚类和分类的未标记的数据。首先采用聚类方法对数据进行划分，并从聚类后的数据中选取一定比例的数据进行分类器训练。为了改进训练的分类器，期望最大化算法的迭代过程被设计到所提出的聚类框架CSAL。在公开数据集上进行实验，测试聚类算法和分类模型的不同组合以及各种训练数据标记方法。实验结果表明，我们的方法以及自适应方法优于其他方法。
2015-02-18 cs.LG
Selective Pseudo-label Clustering
University of Oxford（牛津大学）
深度神经网络（DNN）提供了一种解决高维数据聚类这一挑战性任务的方法。DNN可以提取有用的特征，从而产生更低维的表示，这更适合于聚类技术。由于聚类通常是在纯无监督的环境中执行的，其中没有可用的训练标签，因此出现了如何训练DNN特征提取器的问题。最准确的现有方法将DNN的训练与聚类目标相结合，因此来自聚类过程的信息可以用于更新DNN以产生更好的聚类特征。这种方法的一个问题是，聚类算法产生的这些“伪标签”是嘈杂的，它们包含的任何错误都会损害DNN的训练。在本文中，我们提出了选择性伪标签聚类，它只使用最有信心的伪标签来训练DNN。我们正式证明在一定条件下的性能增益。应用于图像聚类的任务，新的方法实现了国家的最先进的性能在三个流行的图像数据集。代码可在https://github.com/Lou1sM/clustering上获得。
2021-07-22 cs.LG
Improved Spectral Clustering via Embedded Label Propagation
谱聚类是机器学习和数据采掘领域的一个重要研究课题。现有的谱聚类算法大多建立在高斯-拉普拉斯矩阵上，而高斯-拉普拉斯矩阵对参数敏感。我们提出了一种新的参数自由，距离一致的局部线性嵌入。提出的距离一致LLE保证了距离较近的数据点之间的边具有更大的权值，并提出了一种基于嵌入标签传播的改进谱聚类算法。我们的算法建立在现有技术的两个进步基础上：1）标签传播，它根据邻近节点的距离将节点标签传播到相邻节点; 2）流形学习，它已被广泛用于利用数据点的流形结构。首先，我们对原始数据进行标准谱聚类，并将每个聚类分配给k个最近的数据点。接下来，我们通过密集的未标记的数据区域传播标签。大量的实验与各种数据集验证了该算法的优越性相比，目前最先进的光谱算法。
2015-10-06 cs.LG
CTRL: Clustering Training Losses for Label Error Detection
Princeton University（普林斯顿大学）
提出CTRL框架，通过聚类训练损失曲线将样本分为干净与噪声标签以检测多类数据集中的标签错误，并在移除噪声样本后重训练模型，在图像和表格数据集上实现了最先进的检测准确率。
2023-09-12 cs.LG
Partial Label Clustering
Chien-Shiung Wu College, Southeast University, Nanjing 210096, China（陈世英学院，东南大学，南京）；College of Software Engineering, Southeast University, Nanjing 210096, China（软件工程学院，东南大学，南京）；School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（计算机科学与工程学院，东南大学，南京）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用关键实验室（东南大学），教育部，中国）
本文首次提出部分标签聚类问题，通过权重矩阵构建、标签消歧和约束传播的联合建模，利用有限部分标签提升聚类性能，并在实验中优于现有约束聚类及部分标签学习方法。
2025-05-06 cs.LG
Spatiotemporal Classification with limited labels using Constrained Clustering for large datasets
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Minnesota（明尼苏达大学）
通过表示学习和聚类创建可分离的表示对于分析只有几个标签的大型非结构化数据集至关重要。可分离表示可以产生具有更好分类能力的监督模型，并有助于生成新的标记样本。大多数分析大型数据集的无监督和半监督方法都没有利用现有的少量标签来获得更好的表示。在本文中，我们提出了一个时空聚类范式，使用空间和时间的功能结合约束损失产生可分离的表示。我们展示了这种方法在新发布的数据集ReaLSAT上的工作，ReaLSAT是全球超过68万个湖泊的地表水动态数据集，使其成为生态和可持续性方面的重要数据集。使用这个大型的未标记数据集，我们首先展示了时空表示与空间或时间表示相比如何更好。然后，我们展示了如何使用具有少量标签的约束损失来学习更好的表示。最后，我们展示了我们的方法如何使用很少的标签，从未标记的数据中挑选出新的标记样本，这些样本可用于增强监督方法，从而实现更好的分类。
2022-10-14 cs.LG
Fuzzy Adaptive Resonance Theory, Diffusion Maps and their applications to Clustering and Biclustering
University of Michigan – Ann Arbor（密歇根大学安娜堡分校）；University of Missouri – Rolla（密苏里大学罗拉分校）；GE Global Research（通用电气全球研究中心）
本文提出了一种结合扩散映射和模糊自适应共振理论的高维数据聚类算法FARDiff（Fuzzy Adaptive Resonance Dif- fusion）。我们描述了这种方法的一些应用和未来研究的一些问题。
2015-10-06 cs.LG cs.NE
K-GBS3FCM -- KNN Graph-Based Safe Semi-Supervised Fuzzy C-Means
Federal University of Uberlândia（Uberlândia联邦大学）；Computer Science Faculty（计算机学院）
本文提出K-GBS3FCM算法，利用KNN图动态评估标注与未标注数据的邻域关系，并通过正则化参数和平均安全度调节标注数据影响，在多数基准测试中显著提升了安全半监督聚类精度。
2024-11-22 cs.LG
Manifold Clustering with Schatten p-norm Maximization
School of Telecommunications Engineering, Xidian University（电信工程学院，西安电子科技大学）
针对流形聚类中数据结构与标签不一致的问题，提出一种融合K-means与流形学习的新框架，通过最大化标签的Schatten p-范数保持类别平衡，实验验证了其优越性。
2025-04-29 cs.LG
Resolving Multi-Modal Regression by Difference-Quotient-Based Clustering:Fast Coarse Conditional-Label Assignment
Guangdong Polytechnic Normal University（广东技术师范大学）
针对多模态回归的均值崩溃问题，提出差商聚类（DQC）方法，通过最小化簇内差异分配标签，在合成基准上取得优于随机标签和均值崩溃的最小平方误差，为后续生成优化减轻负担。
2026-08-27 cs.LG
Forest Fire Clustering for Single-cell Sequencing with Iterative Label Propagation and Parallelized Monte Carlo Simulation
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Irvine（加州大学欧文分校）
在单细胞测序时代，越来越需要使用聚类方法从数据中提取见解。在这里，我们介绍森林火灾聚类，一种有效的和可解释的方法，从单细胞数据的细胞类型发现。森林火灾聚类使得最小的先验假设，并且与当前方法不同，计算每个细胞被分配细胞类型标签的非参数后验概率。这些后验分布允许评估每个细胞的标签置信度，并能够计算“标签熵”，突出显示沿发育轨迹的过渡。此外，我们表明，森林火灾聚类可以在在线学习环境中进行鲁棒的归纳推理，并且可以轻松扩展到数百万个单元格。最后，我们证明了我们的方法优于国家的最先进的聚类方法在不同的基准模拟和实验数据。总体而言，森林火灾聚类是一个有用的工具，在大规模的单细胞分析中发现罕见的细胞类型。
2022-05-26 cs.LG stat.ML
Integrating Unsupervised Clustering and Label-specific Oversampling to Tackle Imbalanced Multi-label Data
TCG Crest Kolkata, India（印度加尔各答TCG Crest）；School of Computer Science, University College Dublin, Ireland（爱尔兰都柏林大学学院计算机科学学院）；Indian Statistical Institute Kolkata, India（印度统计研究所加尔各答分所）
在多标签数据集中，经常存在非常频繁标签和非常不频繁标签的混合。标签频率的这种变化，类型类别的不平衡，为构建高效的多标签分类算法带来了重大挑战。在本文中，我们解决这个问题，提出了一个少数类过采样方案，UCLSO，它集成了无监督聚类和标签特定的数据过采样。执行聚类以找出多标签数据集的关键不同和局部连接的区域（与标签信息无关）。接下来，对于每个标签，我们探索聚类集中少数点的分布。只有聚类中的少数点用于生成用于过采样的合成少数点。即使所有标签的聚类集都是相同的，合成少数点的分布也会在标签中有所不同。训练数据集用特定于标签的合成少数点的集合来增强，并且训练分类器以独立地预测每个标签的相关性。在12个多标签数据集和几种多标签算法上的实验结果表明，该方法与其他同类算法相比具有很好的性能。
2021-09-25 cs.AI cs.LG
Deep Multi-View Subspace Clustering with Anchor Graph
University of Electronic Science and Technology of China（电子科技大学）；Lehigh University（利哈伊大学）
提出基于锚图的深度多视图子空间聚类方法，通过锚图降低复杂度，利用伪标签优化嵌入，并结合对比学习增强聚类性能。
2023-05-11 cs.LG
Feature extraction using Spectral Clustering for Gene Function Prediction using Hierarchical Multi-label Classification
Pontificia Universidad Javeriana（哈维里亚那天主教大学）
基因注释解决了预测基因和功能之间未知关联的问题（例如，生物学过程）。尽管最近取得了进展，但主要依赖于体内生物实验的注释程序所需的成本和时间仍然非常高。本文提出了一种新的在硅片上的方法，结合聚类分析和层次多标签分类（HMC）的注释问题。该方法使用谱聚类从基因共表达网络（GCN）中提取新的特征，丰富了预测任务。HMC是用来建立多个估计，考虑基因功能的层次结构。所提出的方法被应用到玉米，在世界上最具优势和生产力的作物之一的案例研究。这些结果说明了计算机模拟方法是减少基因注释时间和成本的关键。更具体地说，他们强调了以下方面的重要性：（i）构建代表GCN中基因关系结构的新特征来注释基因;（ii）考虑生物过程的结构以获得一致的预测。
2022-04-28 cs.LG
Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks
在本文中，我们讨论了一种不同类型的半监督设置：对所有观测值都可以使用粗略的标记，但模型必须为每个观测值学习精细的潜在注释。在文本分类、蛋白质功能预测、图像分类以及医学和基因组学研究等探索性科学研究中，可能会遇到这种情况下的问题。我们认为这种设置是同时执行监督分类（根据可用的粗标签）和无监督聚类（在每个粗标签内），并提出了一种新的输出层修改称为自动聚类输出层（ACOL），允许并发分类和聚类基于图的活动正则化（GAR）技术。由于所提出的输出层修改在输出层为每个类复制softmax节点，因此GAR允许在传统纠错学习框架上的这些副本之间进行竞争学习，以最终使神经网络能够在这种部分监督设置中学习潜在注释。我们演示了粗糙标签监督如何影响性能，并有助于传播子类之间的有用聚类信息。三个最流行的图像数据集MNIST，SVHN和CIFAR-100的比较测试严格证明了所提出的方法的有效性和竞争力。
2017-08-09 cs.LG
Clustering of Time-Varying Graphs Based on Temporal Label Smoothness
Tokyo University of Agriculture and Technology（东京农工大学）；Tokyo University of Science（东京理科大学）；Osaka University（大阪大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种基于标签时间平滑性假设的时变图节点聚类方法，将其构建为带平滑约束的谱聚类优化问题，并用原始-对偶分裂算法求解，实验验证了其有效性。
2023-05-11 cs.LG eess.SP
Cryptocurrency Address Clustering and Labeling
安全性是区块链技术最重要的品质之一。例如，人们可以简单地创建一个比特币地址来发送和接收资金，而无需向任何机构提供KYC。一般来说，加密货币地址背后的真实身份是未知的，但是，通过分析行为模式，可以根据其所有权对一些地址进行聚类，从而为具有已知属性的地址分配标签。这些标签可进一步用于法律和合规目的，以协助执法调查。在本文档中，我们讨论了为加密货币地址分配归属标签的方法。
2020-03-30 cs.CR cs.LG
Self-Supervised Graph Embedding Clustering
针对K-means一步降维聚类存在的超参数依赖、聚类中心初始化限制及类别平衡难的问题，提出融合流形学习与K-means的自监督图嵌入框架，实现无质心K-means与流形-标签一致性，理论证明最大化ℓ₂,₁-范数可维持类别平衡，实验验证其聚类性能优异可靠。
2024-10-30 cs.LG
Regression on imperfect class labels derived by unsupervised clustering
Aalborg University Hospital（奥尔堡大学医院）；Aalborg University（奥尔堡大学）
在许多应用中，通过无监督聚类识别的类标签回归的结果是自定义的。然而，通常忽略由学习算法引起的类别标签的错误分类，这潜在地导致估计的效果参数的严重偏差。由于其普遍性，我们建议纠正的情况下，使用模拟和外推法。从高斯混合模型的模拟数据的性能说明。最后，我们将我们的方法应用于一项研究，该研究回归了来自多发性骨髓瘤患者骨髓样本基因表达数据的无监督聚类的类标签上的总生存期。
2019-08-16 cs.LG stat.ME stat.ML
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research（塔塔咨询服务研究院）；Tata Consultancy Services Ltd.（塔塔咨询服务有限公司）
监督分类技术的性能往往恶化时，数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络（DNN），这需要大量的数据集来执行分类任务。这是一个严峻的挑战，特别是在加工和制造行业，其中数据有限，标签嘈杂。我们提出了一个半监督级联聚类（SSCC）算法来提取模式，并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵（CEM）来定位和消除噪声标签，并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖，以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的，即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集（包括工业数据集）上进行测试时，与支持向量机（SVM）相比，它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Weakly supervised clustering: Learning fine-grained signals from coarse labels
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）
考虑一个分类问题，我们无法访问单个训练样本的标签，而只能获得子群体的平均标签。我们给出了这种设置的实际例子，并展示了如何将这样的分类任务有效地分析为弱监督聚类问题。我们提出了三种方法来解决弱监督聚类问题，包括在我们的实验中表现良好的潜变量模型。我们说明了我们的方法上的分析汇总的选举数据和行业数据集，这是本研究的原始动机。
2015-09-15 cs.LG stat.ML
Self-supervised Contrastive Attributed Graph Clustering
Xidian University（西安电子科技大学）；Westfield State University（韦斯特菲尔德州立大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
提出自监督对比属性图聚类网络SCAGC，利用不精确聚类标签设计自监督对比损失学习节点表示，并直接输出聚类标签，解决样本外问题，在四个基准数据集上优于11种方法。
2021-10-15 cs.AI cs.LG
ScanMix: Learning from Severe Label Noise via Semantic Clustering and Semi-Supervised Learning
University of Oxford（牛津大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）；Otto-von-Guericke-Universität Magdeburg（马格德堡奥托·冯·格里克大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Surrey（萨里大学）
我们提出了一种新的训练算法，ScanMix，探讨语义聚类和半监督学习（SSL），以允许优越的鲁棒性，严重的标签噪声和竞争的鲁棒性，非严重的标签噪声问题相比，最先进的（SOTA）方法。ScanMix基于期望最大化框架，其中E-step估计潜在变量以基于其外观和分类结果对训练图像进行聚类，M-step优化SSL分类并通过语义聚类学习有效的特征表示。我们提出了一个理论结果，表明ScanMix的正确性和收敛性，以及一个实证结果，表明ScanMix在CIFAR-10/-100（具有对称，不对称和语义标签噪声），Red Mini-ImageNet（来自受控噪声Web标签），Clothing 1 M和WebVision上具有SOTA结果。在所有具有严重标签噪声的基准测试中，我们的结果与当前的SOTA具有竞争力。
2022-10-16 cs.CV cs.LG
LayerMatch: Do Pseudo-labels Benefit All Layers?
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Beijing Jiaotong University（北京交通大学）
针对伪标签对不同网络层影响不同的现象，提出 LayerMatch 方法，通过 Grad-ReLU 减轻线性分类层的噪声干扰，并利用 Avg-Clustering 加速特征提取层收敛，在半监督学习基准上显著超越现有方法。
2024-06-27 cs.LG
REPA: Client Clustering without Training and Data Labels for Improved Federated Learning in Non-IID Settings
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Lancaster University（兰卡斯特大学）
针对 non-IID 联邦学习中聚类依赖本地训练或标签数据的问题，本文提出 REPA，利用监督自编码器生成客户端数据分布嵌入，实现免训练、免标签聚类并达到先进性能。
2023-09-25 cs.LG
Discriminative Entropy Clustering and its Relation to K-means and SVM
University of Waterloo（滑铁卢大学）
本文研究基于熵的无监督聚类，澄清其与K-means的差异并证明其与SVM的间隔最大化联系，提出带鲁棒反向交叉熵的自标注熵聚类方法，在多个深度聚类基准上取得最优性能。
2024-09-29 cs.CV cs.LG
Interpretable label-free self-guided subspace clustering
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
针对子空间聚类算法超参数调优依赖标记数据的问题，提出一种基于伪标签计算聚类质量指标、通过迭代划分超参数子区间实现无标签调优的方法，在多个算法和数据集上验证了性能，还可通过子空间基可视化提升可解释性。
2024-11-26 cs.CV cs.LG
A multi-stage semi-supervised improved deep embedded clustering method for bearing fault diagnosis under the situation of insufficient labeled samples
Harbin Institute of Technology（哈尔滨工业大学）
虽然数据驱动的故障诊断方法已得到广泛应用，但模型训练需要大量的标记数据。然而，在实际工业中实现这一点的困难阻碍了这些方法的应用。为此，提出了一种结合半监督学习和改进的深度嵌入聚类（IDEC）的多阶段半监督改进的深度嵌入聚类（MS-SSIDEC）方法，用于联合挖掘稀缺标记数据和海量未标记数据。在第一阶段，提出了一种基于跳过连接的卷积自动编码器（SCCAE），它可以自动将未标记的数据映射到低维特征空间，并预先训练成为故障特征提取器。在第二阶段，提出了一种半监督改进的深度嵌入式聚类（SSIDEC）网络进行聚类。它首先使用可用的标记数据进行初始化，然后用于同时优化聚类标记分配并使特征空间更加聚类友好。为了解决过拟合现象，在此阶段引入虚拟对抗训练（VAT）作为正则化项。在第三阶段，伪标签是由SSIDEC的高质量的结果获得。标记的数据集可以通过这些伪标记的数据来增强，然后利用这些伪标记的数据来训练轴承故障诊断模型。两个公共数据集的滚动轴承振动数据被用来评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督故障诊断任务中都取得了良好的效果。该方法通过有效地挖掘无监督数据，为有限标记样本情况下的故障诊断提供了一种新的方法。
2021-11-23 cs.AI cs.LG eess.SP
Discrete Optimal Graph Clustering
Shandong Normal University（山东师范大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东计算机科学中心（国家超级计算济南中心））；Shandong Artificial Intelligence Institute（山东人工智能研究院）；University of Electronic Science and Technology of China（电子科技大学）；San Diego State University（圣地亚哥州立大学）
基于图的聚类是聚类的主要方法之一。大部分工作在三个独立的步骤：相似性图的构建，聚类标签松弛和标签离散化与k-means。这种常见的做法有三个缺点：1）预定义的相似性图通常是固定的，并且对于后续聚类可能不是最佳的。2)聚类标记的松弛过程可能导致显著的信息丢失。3)标签离散化可能偏离真实的聚类结果，因为k均值对聚类质心的初始化敏感。为了解决这些问题，在本文中，我们提出了一个有效的离散最优图聚类（DOGC）框架。一个结构化的相似性图，理论上是最佳的聚类性能自适应学习的指导下，合理的排名约束。此外，为了避免信息丢失，我们显式地对中间连续标签进行离散变换，从而导出具有离散解的易处理的优化问题。此外，为了补偿学习标签的不可靠性并提高聚类精度，我们设计了一个自适应鲁棒模块，该模块基于学习的离散聚类标签学习未知数据的预测函数。最后，一个迭代优化策略的收敛性保证发展直接解决聚类结果。在真实和合成数据集上进行的大量实验表明，与几种最先进的聚类方法相比，我们提出的方法具有优越性。
2019-04-25 cs.IR cs.LG stat.ML
Collision Cross-entropy for Soft Class Labels and Deep Clustering
University of Waterloo（滑铁卢大学）
本文提出碰撞交叉熵损失，以替代香农交叉熵处理软标签分类与深度聚类，通过最大化预测类别与真实类别相等的碰撞概率，改善自标记聚类性能，并给出高效EM算法加速伪标签估计。
2023-11-27 cs.CV cs.LG
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore（新加坡国立大学）
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训，这在实践中可能很难或昂贵。给定标记预算，主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示，并选择一些未标记的节点进行标记获取。然而，它们没有充分利用未标记节点中存在的表示能力。我们认为，在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中，我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类（LSCALE），我们充分利用标记和未标记的节点的表示能力。具体来说，为了选择用于标记的节点，我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外，我们还设计了一个增量式分簇模块，以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明，我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Semi-Unsupervised Learning: Clustering and Classifying using Ultra-Sparse Labels
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
在分类的半监督学习中，假设数据的每个地面真值类都存在于小标记数据集中。许多真实世界的稀疏标记数据集显然不是这种类型。很容易出现这样的情况：某些类别的数据只在未标记的数据集中找到--也许标记过程是有偏见的--所以我们没有任何标记的例子来训练某些类别。我们称这种学习机制为$\textit{semi-unsupervised learning}$，这是半监督学习的一种极端情况，其中某些类在训练集中没有标记的样本。首先，我们概述了与尝试将基于深度生成模型（DGM）的半监督学习算法应用于此类数据集相关的陷阱。然后，我们展示了如何结合聚类和半监督学习，使用DGMs，可以带来承担这个问题。我们研究了几个不同的数据集，展示了当一半的地面真值类完全未标记而另一半标记稀疏时，如何仍然可以有效地学习。
2021-01-08 cs.LG stat.ML
Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering
Harbin Engineering University, China.（哈尔滨工程大学）
针对现有最优传输方法在短文本聚类中忽视语义一致性的问题，提出新框架，设计实例级注意力机制并融入OT公式，获取兼顾语义一致性和全局结构信息的伪标签，提升短文本聚类效果，优于现有方法。
2026-07-14 cs.LG stat.ML
Collaborative Learning of Semi-Supervised Clustering and Classification for Labeling Uncurated Data
The University of Tennessee（田纳西大学）
特定领域的图像集在科学和商业的各个领域都有潜在的价值，但通常没有经过精心策划，也没有任何方法可以轻松提取相关内容。为了对这样的图像数据采用当代的监督图像分析方法，必须首先对它们进行清理和组织，然后针对在特定领域中采用的术语进行手动标记，这是耗时且昂贵的努力。为了解决这个问题，我们设计并实现了Plud系统。Plud提供了一个迭代的半监督工作流程，以最大限度地减少专家的工作量，并处理逼真的大型图像集合。我们相信它可以支持标记数据集，无论其大小和类型如何。Plud是无监督聚类、人工辅助和监督分类的迭代序列。随着每次迭代，1）标记数据集增长，2）分类方法的通用性及其准确性增加，以及3）手动工作减少。我们评估了我们的系统的有效性，通过将其应用于超过一百万张记录人体分解的图像。在我们的实验中，我们将手动标记与在Plud支持下进行的标记进行了比较，我们发现它减少了标记数据所需的时间，并为这个新领域生成了高度准确的模型。
2020-03-09 cs.LG stat.ML
Local Graph Clustering with Noisy Labels
University of Waterloo（滑铁卢大学）
本文研究如何利用含噪节点标签进行局部图聚类，提出基于标签构建加权图并执行图扩散的方法，从理论上证明其恢复优势，并在多个真实数据集上将F1最高提升13%。
2024-03-04 cs.LG cs.SI stat.ML
Privacy-preserving Continual Federated Clustering via Adaptive Resonance Theory
Osaka Metropolitan University（大阪公立大学）；Okayama University（冈山大学）；Universiti Malaya（马来亚大学）；Southern University of Science and Technology（南方科技大学）；Tokyo Metropolitan University（东京都立大学）
本文提出一种基于自适应共振理论的隐私保护持续联邦聚类算法，无需预先指定簇数即可处理分布未知或持续变化的数据，并在合成与真实数据集上取得优于现有联邦聚类方法的性能。
2023-09-07 cs.CR cs.LG cs.NE
Deep Graph-Level Clustering Using Pseudo-Label-Guided Mutual Information Maximization Network
Fuzhou University（福州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
在这项工作中，我们研究的问题划分一组图到不同的组，使在同一组中的图是相似的，而在不同的组中的图是不相似的。这个问题以前很少被研究，虽然已经有很多的工作，节点聚类和图分类。这个问题是具有挑战性的，因为它是很难衡量的相似性或图之间的距离。一种可行的方法是使用图核计算图的相似性矩阵，然后执行谱聚类，但现有的图核在测量图之间的相似性的有效性是非常有限的。为了解决这个问题，我们提出了一种新的方法，称为深度图级聚类（DGLC）。DGLC利用图同构网络来学习图级表示，通过最大化整个图和子结构的表示之间的互信息，在正则化的聚类模块，确保通过伪标签的歧视性表示。DGLC以端到端的方式实现图级表示学习和图级聚类。在六个基准数据集上的实验结果表明，与许多基线相比，我们的DGLC具有最先进的性能。
2023-02-05 cs.AI cs.LG
Label-independent hyperparameter-free self-supervised single-view deep subspace clustering
Division of Computing and Data Science, Ruđer Bošković Institute（计算与数据科学系，鲁德·博克维奇研究所）
本文提出一种无需超参数调节的单视图深度子空间聚类方法，通过层间自表达损失、子空间结构范数优化、多阶段学习框架和相对误差终止机制提升聚类性能。
2025-04-25 cs.CV cs.LG
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz（康斯坦茨大学）
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法，并介绍了一种新的方法，称为热图聚类。在那里，我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法，称为激活聚类，它也使用$k$均值聚类，但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击，标签一致的中毒攻击和标签一致的中毒攻击，减少幅度贴纸。我们表明，热图聚类始终优于激活聚类。然而，当考虑标签一致的中毒攻击，后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
Clustering Algorithms and RAG Enhancing Semi-Supervised Text Classification with Large LLMs
CIB
本文提出“先聚类、再标注、后增强”框架，通过聚类选取地标并结合RAG、LLM重写和同义词替换生成合成标注数据，在Reuters和Web of Science数据集上分别取得95.41%和82.43%的最新准确率，显著降低人工标注成本并保障数据质量与隐私。
2024-12-26 cs.CL cs.LG
A Scalable Approach to Clustering Embedding Projections
Apple（苹果公司）
针对嵌入投影可视化中点聚类计算成本高的问题，提出一种在投影二维空间用核密度估计的高效聚类算法，速度快数个数量级，还提供了算法设计、基准测试及标签生成等应用。
2025-05-16 cs.HC cs.LG
Correlation Clustering via Strong Triadic Closure Labeling: Fast Approximation Algorithms and Practical Lower Bounds
Texas A&M University（德州农工大学）
相关聚类是一种基于成对相似性和相异性得分的聚类框架，但其最佳近似算法依赖于不切实际的线性规划松弛。我们提出了更快的近似算法，避免这些松弛，两个研究良好的特殊情况下：集群编辑和集群删除。我们完成这一点，通过绘制新的连接到边缘标签的问题有关的原则，强三元封闭。这导致了更快和更实用的线性规划算法，以及极其可扩展的组合技术，包括第一个组合近似算法的集群删除。在实践中，我们的算法产生近似的解决方案，几乎匹配最好的算法的质量，而缩放到更大的数量级的问题。
2022-06-23 cs.DM cs.DS cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法，通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集，以增强半监督噪声标签学习，并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Convolutional Clustering for Unsupervised Learning
Purdue University（普渡大学）
为训练深度神经网络标记数据的任务是艰巨而繁琐的，需要数百万个标签才能实现当前最先进的结果。这种对大量标记数据的依赖可以通过利用经由无监督学习技术的分层特征来放松。在这项工作中，我们提出了训练一个基于增强版k-means聚类算法的深度卷积网络，它减少了类似过滤器形式的相关参数的数量，从而提高了测试分类的准确性。我们称我们的算法为卷积k均值聚类。我们进一步表明，学习深度卷积神经网络层之间的连接可以提高其在少量标记数据上训练的能力。我们的实验表明，该算法优于其他技术，学习过滤器无监督。具体来说，我们在STL-10上获得了74.1%的测试准确度，在MNIST上获得了0.5%的测试误差。
2016-02-16 cs.CV cs.LG
Semi-supervised Predictive Clustering Trees for (Hierarchical) Multi-label Classification
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Jožef Stefan International Postgraduate School（约热夫·斯泰凡国际研究生学院）；University of Bari（巴里大学）
本文针对多标签及层次多标签分类任务，提出基于预测聚类树的半监督学习方法，并扩展为随机森林集成方法，在23个数据集上验证了其优于有监督方法，同时保持可解释性并降低时间复杂度。
2024-03-30 cs.AI cs.LG
Cross-Modality Clustering-based Self-Labeling for Multimodal Data Classification
Faculty of Information；Communication Technology Wrocław University of Science；School of Computer Science University of Birmingham Birmingham, United Kingdom
本文提出CMCSL方法，通过跨模态聚类与标签交叉传播，在少量预标注数据下实现更可靠的多模态自标注，并在MM-IMDb的20个数据集上验证其提升各模态分类性能的有效性。
2024-08-05 cs.CV cs.LG
iCVI-ARTMAP: Accelerating and improving clustering using adaptive resonance theory predictive mapping and incremental cluster validity indices
Guise AI, Inc.（Guise AI 公司）；Applied Computational Intelligence Laboratory, Missouri University of Science and Technology（密苏里科技大学应用计算智能实验室）
提出了一种自适应共振理论预测映射（ARTMAP）模型，即iCVI-ARTMAP，该模型采用增量聚类有效性指数（iCVI）进行无监督学习。将iCVI扩展到ARTMAP的决策和多对一映射能力可以改善样本被递增分配到的聚类的选择。这些改进是通过智能地执行以下操作来实现的：在聚类之间交换样本分配、拆分和合并聚类，以及在需要重新计算iCVI值时缓存变量的值。使用递归公式使iCVI-ARTMAP能够大大减少与基于聚类有效性指数（CVI）的离线聚类相关的计算负担。根据iCVI和数据集的不同，它可以实现比使用批量CVI计算时短两个数量级的运行时间。在这项工作中，增量版本的Calinski-Harabasz，WB-指数，谢-贝尼，Davies-Bouldin，Pakhira-Bandyopadhyay-Maulik，和负熵增量集成到模糊ARTMAP。实验结果表明，在大多数合成基准数据集上，iCVI-ARTMAP算法的性能优于模糊自适应共振理论（ART）、双警戒模糊ART、kmeans、谱聚类、高斯混合模型和层次凝聚聚类算法。在对投影和由深度聚类模型生成的潜在空间进行聚类时，它在现实世界的图像基准数据集上也表现出竞争力。当然，iCVI-ARTMAP的性能取决于所选的iCVI及其对手头数据的适用性;幸运的是，它是一个通用模型，可以轻松嵌入其他iCVI。
2020-08-22 cs.LG cs.NE stat.ML
An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.（Verint系统公司）
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理（IVA）的关键步骤。我们在Verint Intent Manager（VIM）中创建了一个灵活且可扩展的聚类管道，该管道集成了语言模型的微调、高性能k-NN库和社区发现技术，可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的，因为预先训练的语言模型不能编码文本，以有效地表面特定的聚类结构时，目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道，并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时，此群集管道可生成高质量的结果，从而提高数据分析师的性能，并减少从客户服务数据中揭示意图所需的时间，从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
Clustering Time Series Data through Autoencoder-based Deep Learning Models
Georgia Institute of Technology（佐治亚理工学院）；Texas Tech University（得克萨斯理工大学）；University of Debrecen（德布勒森大学）
机器学习，特别是深度学习算法是数据分析的新兴方法。这些技术已经将传统的基于数据采掘的分析从根本上转变为基于学习的模型，在该模型中，现有的数据集连同它们的聚类标签（即，训练集）被学习以构建监督学习模型并预测未见过数据的聚类标签（即，测试集）。特别地，深度学习技术能够捕获和学习给定数据集中的隐藏特征，从而为聚类和标记问题构建更准确的预测模型。然而，主要问题是时间序列数据通常是未标记的，因此基于监督学习的深度学习算法不能直接适用于解决这些特殊和复杂类型数据集的聚类问题。为了解决这个问题，本文介绍了一个两阶段的方法聚类时间序列数据。首先，引入一种新的技术来利用这些特性（例如，波动性），以便创建标签，从而能够将问题从无监督学习转换为监督学习。其次，构建基于自动编码器的深度学习模型来学习和建模时间序列数据的已知和隐藏特征以及它们创建的标签，以预测看不见的时间序列数据的标签。本文报告了一个案例研究，其中金融和股票的时间序列数据选择70个股票指数聚类成不同的群体，使用介绍的两阶段程序。实验结果表明，该方法对未知时间序列数据的聚类和标签预测准确率达到87.5%.
2020-04-11 cs.LG stat.ML
Generating automatically labeled data for author name disambiguation: An iterative clustering method
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
为了训练用于监督作者姓名消歧的算法，许多研究依赖于手工标记的真实数据，这些数据生成起来非常费力。本文表明，标记的训练数据可以自动生成的信息功能，如电子邮件地址，合著者的名字，并引用参考文献，可从出版记录。为此，使用外部权威数据库来决定用于匹配每个特征上的名称实例的高精度规则。然后，在目标歧义数据中选择名称实例进行基于规则的成对匹配过程。接下来，通过通用实体解析算法将它们合并到聚类中。聚类过程在其他特征上重复，直到进一步合并是不可能的。在228 K个作者姓名实例中的26，566个实例上进行测试，这种迭代聚类产生了精确标记的数据，成对F1 = 0.99。标记的数据代表人口数据的名称种族和共同消除歧义的名称组大小分布。此外，在标记数据上训练的机器学习算法消除了测试数据中的24 K个名称的歧义，成对F1 = 0.90 ~ 0.92。讨论了应用这种方法解决大规模学术数据中作者姓名歧义的几个挑战。
2021-02-05 cs.DL cs.IR cs.LG
