Explaining reviews and ratings with PACO: Poisson Additive Co-Clustering
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Google Strategic Technologies(谷歌战略技术部);Marianas Labs(马里亚纳实验室)
理解用户的动机提供了比推荐项目的能力更有价值的信息。通常,这可以通过仔细阅读评级和评论文本来实现,因为正是后者明确表达了特定偏好的理由。不幸的是,矩阵分解推荐方法会导致难以解释的大型复杂模型,并难以向用户清楚地解释推荐。相比之下,在本文中,我们通过简洁的加性共聚类来解决这个问题。我们设计了一种新的贝叶斯技术,总结共同聚类的泊松分布。有了这种新的技术,我们提出了一个新的贝叶斯模型,通过一个简单的共同聚类的总和的收视率和文本评论的联合协同过滤。我们的模型结构简单,产生易于解释的建议。即使有一个简单,简洁的结构,我们的模型在预测评论评级方面也优于竞争对手。
2015-12-06 cs.LG stat.ML
A Review of Stochastic Block Models and Extensions for Graph Clustering
Lancaster University(兰卡斯特大学);Newcastle University(纽卡斯尔大学);The Alan Turing Institute(艾伦·图灵研究所)
在过去的十年左右,基于模型的图聚类(也称为块建模)得到了快速发展。我们回顾了不同的方法和扩展提出了不同的方面,在这方面,如图的类型,聚类方法,推理方法,以及是否选择或估计组的数量。我们还回顾了将块建模与主题建模和/或纵向建模相结合的模型,关于这些模型如何处理多种类型的数据。不同的方法如何应对各种问题将进行总结和比较,以方便从业者的需求,这些文献领域的现状的简要概述。
2019-10-30 cs.LG stat.ML
A review of systematic selection of clustering algorithms and their evaluation
数据分析在工业价值创造中发挥着不可或缺的作用。在这种情况下,聚类分析能够在很少或没有先验知识的情况下探索给定的数据集,并识别未知的模式。随着(大)数据复杂性在数量、种类和速度方面的增加,这变得更加重要。许多聚类分析工具从早期就已经开发出来,并且各种不同的聚类算法是巨大的。由于选择正确的聚类过程对数据分析的结果至关重要,因此用户需要在从原始数据中提取知识的过程中获得支持。因此,本文的目的在于识别一个系统的选择逻辑聚类算法和相应的验证概念。我们的目标是使潜在的用户选择一个算法,最适合他们的需求和他们的底层数据聚类问题的属性。此外,支持用户选择正确的验证概念来理解聚类结果。在综合文献综述的基础上,本文提出了聚类方法评价和验证概念选择的评价标准。该标准适用于几个常见的算法和算法的选择过程是支持的伪代码为基础的例程,考虑底层数据结构的介绍。
2021-06-24 cs.LG
Review of Single-cell RNA-seq Data Clustering for Cell Type Identification and Characterization
City University of Hong Kong(香港城市大学)
近年来,单细胞RNA测序技术的发展使我们能够以高通量的方式在单细胞分辨率下进行大规模的转录组学分析。无监督学习如数据聚类已经成为识别和表征新细胞类型和基因表达模式的核心组成部分。在这项研究中,我们回顾了现有的单细胞RNA测序数据聚类方法的相关优势和局限性的关键见解。此外,我们还回顾了上游单细胞RNA测序数据处理技术,如质量控制,归一化和降维。我们在两个单细胞转录组数据集上进行性能比较实验,以评估几种流行的单细胞RNA测序聚类方法。
2020-01-03 cs.LG q-bio.GN q-bio.QM
Comparative Analysis of Optimization Strategies for K-means Clustering in Big Data Contexts: A Review
University of Washington(华盛顿大学);Satbayev University(萨特巴耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所)
本文针对大数据下K-means聚类的可扩展性问题,对比分析并行化、近似、采样等优化方法,基于LIMA准则从速度、质量、简洁性维度评估,揭示速度精度权衡,为相关应用提供全面参考。
2024-05-20 cs.AI cs.LG math.OC
Incremental hierarchical text clustering methods: a review
Federal University of Lavras (UFLA)(拉夫拉斯联邦大学(UFLA))
本文针对动态文本数据的组织需求,综述了2010-2018年间的层次增量文本聚类技术,梳理相关核心概念并对比不同方法的特征,为该领域研究提供参考。
2023-12-12 cs.LG
A Review of Evolutionary Multi-objective Clustering Approaches
Federal University of Paraná(巴拉那联邦大学);University of Orléans(奥尔良大学)
进化多目标聚类(Evolutionary Multi-Objective Clustering,EMOC)是一种现代聚类技术,它被广泛应用于模式提取,使我们能够通过考虑多个标准来分析复杂数据的不同方面。在这篇文章中,我们提出了EMOC研究的进展分析,并提供了一个配置文件,这个研究领域考虑了广泛的映射的文献,以确定已被采用的设计EMOC方法的主要方法和概念。这篇评论提供了一个全面的EMOC研究,支持新人或繁忙的研究人员在了解现有算法的一般功能,并指导新方法的产生。为此,我们引入了一个通用的架构EMOC描述的主要元素应用于设计EMOC算法,我们将它们与文献中发现的主要功能。此外,我们根据突出主要功能或应用领域的共享特性对EMOC算法进行了分类。最后,本文讨论了未来研究的一些潜在课题。
2022-04-01 cs.LG
Homogenous and Heterogenous Parallel Clustering: An Overview
Boston University(波士顿大学);Ryerson University(瑞尔森大学)
计算机体系结构和网络的最新进展为聚类算法的并行化提供了机会。这种分而治之的策略通常会导致更好的结果,集中式集群的时间性能大大提高。本文回顾了主要的并行集群,并提供了深入了解他们的战略。该审查汇集了平行集群不同的尝试,以提供在这一新兴领域的进展的全面说明
2022-02-14 cs.DC cs.LG
Exact and rapid linear clustering of networks with dynamic programming
University of Vermont(佛蒙特大学);Université Laval(拉瓦尔大学)
针对一维位置网络的聚类问题,本文提出 O(n^2) 动态规划算法,可为多类目标给出可证明最优解,并在相近运行时间内显著优于现有启发式方法。
2023-12-08 cs.DS cs.LG cs.SI
DISCERN: Diversity-based Selection of Centroids for k-Estimation and Rapid Non-stochastic Clustering
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
基于中心的聚类算法(如K-Means)的应用之一是将数据点划分为K个聚类。在某些示例中,特征空间与我们试图解决的潜在问题有关,有时我们可以获得合适的特征空间。然而,虽然K-Means是最有效的离线聚类算法之一,但它不具备估计聚类数的能力,这在某些实际情况下是有用的。其他实用的方法太复杂了,因为它们需要对每个可能的K至少运行一次K-Means。为了解决这个问题,我们提出了一个类似于K-Means++的K-Means初始化,它能够基于特征空间估计K,同时以确定性的方式为K-Means找到合适的初始质心。然后,我们比较了所提出的方法,DISCERN,与一些最实用的K估计方法,同时还比较了随机初始化时,使用K-Means++和使用DISCERN的K-Means的聚类结果。结果表明,在估计和最终的聚类性能的改善。
2020-09-22 cs.LG stat.ML
A Rapid Pattern-Recognition Method for Driving Types Using Clustering-Based Support Vector Machines
Beijing Institute of Technology(北京理工大学);UC Berkeley(加州大学伯克利分校)
提出了一种快速模式识别方法来表征驾驶员曲线通过行为。为了缩短识别时间,提高驾驶风格的识别率,提出了一种基于k均值聚类的支持向量机(kMC-SVM)方法,并将其用于驾驶员的驾驶风格分类。首先将车速和节气门开度作为反映驾驶风格的特征参数。其次,为了区分驾驶员曲线通过行为,减少支持向量的数量,采用k-均值聚类方法对两类驾驶数据进行提取和聚类,缩短识别时间。然后,基于聚类结果,利用支持向量机方法生成超平面,用于判断和预测人类驾驶员属于哪种类型。最后,为了验证kMC-SVM方法的有效性,设计并进行了交叉验证实验。研究结果表明,与SVM方法相比,$ k $ MC-SVM方法是一种有效的驾驶风格分类方法,分类时间短。
2016-05-22 cs.CV cs.LG stat.ML
Approximating Spectral Clustering via Sampling: a Review
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab(法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔理工学院、GIPSA实验室);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱聚类是指一系列无监督学习算法,其基于相似性图的特征向量计算原始数据的谱嵌入。这种数据的非线性变换既是这些算法成功的关键,也是它们的致命弱点:当处理超过数万个点时,形成一个图并计算其主特征向量确实在计算上是令人望而却步的。在本文中,我们回顾了主要的研究工作,旨在减少这种计算成本。我们专注于方法,来与理论控制的聚类性能,并在其操作中采用某种形式的采样。这种方法在机器学习、数值线性代数和图形信号处理文献中比比皆是,其中包括Nyström近似、地标、粗化、核心集和压缩谱聚类。我们提出的近似保证可用于每个和讨论实际的优点和局限性。令人惊讶的是,尽管所探索的文献范围很广,但我们得出的结论是,理论与实践之间仍然存在差距:最具可扩展性的方法只是出于直观的动机或松散的控制,而那些具有端到端保证的方法则依赖于强有力的假设或能够有限地增加计算时间。
2019-01-29 cs.LG stat.ML
Influence of various text embeddings on clustering performance in NLP
本研究针对电商评论星级与文本不匹配问题,对比BERT、Word2Vec两类文本嵌入对多种聚类算法性能的影响,发现嵌入类型显著影响聚类效果,DBSCAN性能更优但标记更多异常值,为文本聚类研究提供参考。
2023-05-04 cs.CL cs.IR cs.LG
A review of mean-shift algorithms for clustering
University of California, Merced(加州大学默塞德分校)
描述数据集的聚类结构的一种自然方法是找到包含高密度数据的区域。这可以用核密度估计以非参数方式完成,其模式和聚类可以使用均值漂移算法找到。我们描述了基于核密度估计和均值漂移算法的聚类背后的理论和实践。我们讨论了均值漂移的模糊和非模糊版本;关于均值漂移算法和高斯混合的理论结果;与尺度空间理论,谱聚类和其他算法的关系;跟踪,流形和图数据以及流形去噪的扩展; K模式和拉普拉斯K模式算法;大数据集的加速策略;以及在图像分割、流形去噪和多值回归中的应用。
2015-03-02 cs.CV cs.LG stat.ML
A Short Survey on Data Clustering Algorithms
City University of Hong Kong(香港城市大学)
随着数据的快速增长,聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如,生物信息学、语音识别和金融分析。从形式上讲,给定一组数据实例,聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集,其中预先定义相似性度量。在这项工作中,国家的最先进的聚类算法从设计概念到方法进行了审查,不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上,对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
Rapid Near-Neighbor Interaction of High-dimensional Data via Hierarchical Clustering
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
计算高维、不规则分布的数据点之间的近邻交互是许多基于图或基于核的机器学习算法和应用的基本任务。这样的计算,涉及大的,稀疏的相互作用矩阵,暴露了传统的数据和计算重新排序技术的限制,以提高现代计算机存储层次结构上的空间和时间的局部性。我们介绍了一种新的方法来获得矩阵置换,使一个理想的稀疏配置文件。该方法的区别在于指导原则,以获得具有密集块的块稀疏的轮廓。我们的配置文件模型和措施捕获影响空间和时间局部性的基本属性,并允许在稀疏配置文件的变化,而不施加限制到一个固定的模式。第二个区别在于通过探索和利用隐藏在数据中但固有的多尺度聚类结构来获得所需配置文件的有效算法。该算法完成其任务的关键组件低维嵌入数据特定的主特征轴,分层数据聚类,多级矩阵压缩存储,和多级交互计算。我们提供了两个重要的数据分析算法的案例研究的实验结果。由此产生的性能是显着可比的BLAS性能的最佳情况下的相互作用所管辖的一个定期带状矩阵具有相同的稀疏性。
2017-09-12 cs.LG
A review of clustering models in educational data science towards fairness-aware learning
L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学);Institute for Didactics of Mathematics and Physics, Leibniz University Hannover(汉诺威莱布尼茨大学数学与物理教学研究所);Research Institute CODE, Bundeswehr University Munich(慕尼黑联邦国防军大学CODE研究所)
本文综述了教育数据科学中的聚类模型及其公平性,重点研究应用于教育活动的公平聚类模型,以确保分析学生数据时的公平性。
2023-01-09 cs.CY cs.LG
A Review and Evaluation of Elastic Distance Functions for Time Series Clustering
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
本文回顾并评估了九种弹性距离度量在时间序列聚类中的性能,发现结合编辑与规整的 MSM 方法表现最佳,推荐将 MSM 与 k-medoids 结合作为基准算法。
2023-04-26 cs.LG
Some Developments in Clustering Analysis on Stochastic Processes
Claremont Graduate University(克莱蒙特研究生大学)
本文回顾了聚类随机过程的一些研究进展,并得出结论:当随机过程是遍历的且相异性测度满足三角不等式时,可以得到渐近一致的聚类算法。当过程是分布遍历,协方差遍历和局部渐近自相似,分别提供的例子。
2019-08-05 cs.LG stat.ML
Clustering -- Basic concepts and methods
Freie Universität Berlin(柏林自由大学)
我们回顾聚类作为一种分析工具和基本概念从介绍性的角度。什么是集群,如何以编程方式实现集群?如何为集群任务表示和准备数据?如何验证聚类结果?基于连接性的方法与基于原型的方法在几种流行方法的上下文中得到了反映:讨论了单链接,谱嵌入,k均值和高斯混合,以及基于密度的协议(H)DBSCAN,Jarvis-Patrick,CommonNN和密度峰值。
2022-12-01 cs.LG
Kernel Spectral Clustering and applications
在本章中,我们回顾了与核谱聚类(KSC)相关的主要文献,KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式,由加权核PCA目标描述。正如在分类器的情况下,二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外,多路聚类可以通过经由纠错输出码(ECOC)编码方案组合一组二元决策函数来获得。由于其基于模型的性质,KSC方法包括三个主要步骤:训练,验证,测试。在验证阶段,执行模型选择以获得调优参数,如数据中存在的聚类数。这是一个主要的优势相比,经典的谱聚类的聚类参数的确定是不清楚的,依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练,它就能够很好地推广到看不见的测试点。除了基本公式,稀疏KSC算法的基础上不完全Cholesky分解(ICD)和$L_0$,$L_1, L_0 + L_1$,组Lasso正则化。在这方面,我们展示了如何处理大规模数据。此外,两种可能的方式来执行层次聚类和软聚类方法。最后,考虑了实际应用,如图像分割,电力负荷时间序列聚类,文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
Rapid Review of Generative AI in Smart Medical Applications
Rutgers University(罗格斯大学)
该综述探讨生成式模型在智能医疗设备中的应用,指出其可提升诊断效率、降低成本,结合IoT技术可赋能远程医疗,同时也提及了计算、伦理等方面的挑战。
2024-06-08 cs.LG
Grapevine: A Wine Prediction Algorithm Using Multi-dimensional Clustering Methods
Stanford University(斯坦福大学)
我们提出了一种方法,采用多维聚类和无监督学习方法的葡萄酒推荐系统。我们的算法首先对一个大型的葡萄酒评论语料库进行聚类。然后,它使用产生的葡萄酒集群作为最常见口味的近似值,通过优化用户偏好的集群内的价格质量比来向用户推荐葡萄酒。
2018-06-29 cs.IR cs.LG stat.ML
Hypergraph Clustering for Finding Diverse and Experienced Groups
Cornell University(康奈尔大学)
在组建一个团队或一群人时,我们通常会在特定任务中寻求专业知识的平衡,同时保持每个团队中技能的多样性。在这里,我们认为,在超图中发现不同的和有经验的群体聚类的问题与多个边缘类型。输入数据是一个具有多个超边类型的超图--表示关于一组个体过去经历的信息--输出是一组节点。与公平或平衡聚类的相关问题相比,我们根据过去的各种经验(而不是,例如,受保护的属性),目标是形成在边缘类型的参与方面既有经验又有多样性的群体。换句话说,多样性和经验都是从超边的类型来衡量的。我们的聚类模型是基于一个正则化版本的基于边的超图聚类目标,我们还展示了如何天真的目标实际上没有多样性的经验权衡。虽然我们的目标函数是NP-难优化,我们设计了一个有效的2-近似算法,并展示了如何计算的正则化超参数,导致有意义的多样性经验的权衡界限。我们展示了这个框架在在线评论平台中的应用,其目标是为产品类型策划用户评论集。在这种情况下,“体验”对应于熟悉产品类型的用户,而“多样性”对应于已经查看过相关产品的用户。
2020-10-28 cs.IR cs.LG cs.SI
Clustering to the Fewest Clusters Under Intra-Cluster Dissimilarity Constraints
University of Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院);ISAE-ENSMA(国立高等航空航天学院-ENSMA);SRD(SRD(需结合上下文,此处可能为特定研究部门或机构))
本文介绍了等宽聚类问题,其中有效的分区必须满足簇内相异性约束。与大多数现有的聚类算法不同,等宽聚类既不依赖于密度,也不依赖于预定义数量的预期类,而是依赖于相异性阈值。它的主要目标是确保最终用其集群代表替换任何对象所引起的误差的上限。在这种约束下,我们主要关注最小化集群的数量,以及潜在的子目标。我们认为,等宽聚类是一个健全的聚类问题,并讨论其与其他优化问题,现有的和新的实现,以及近似策略的关系。我们审查和评估合适的聚类算法,以确定各种实际的解决方案之间的权衡这个聚类问题。
2021-09-28 cs.LG
Dynamic $β$-VAEs for quantifying biodiversity by clustering optically recorded insect signals
University of Copenhagen(哥本哈根大学);FaunaPhotonics A/S(FaunaPhotonics公司)
昆虫是陆地动物中最大和最多样化的群体,构成了约。它们占所有已知物种的80%,由于它们的体积小和物种之间的相似性而难以研究。传统的监测技术依赖于耗时的诱捕方法和熟练的专家进行的繁琐的显微镜工作,以便在物种甚至科的水平上识别捕获的昆虫标本。研究人员和政策制定者迫切需要一个可扩展的监测工具,以保护生物多样性和确保人类粮食生产,因为昆虫数量迅速下降。为了改善现有的昆虫聚类方法,我们提出了一个自适应的变体的变分自编码器(VAE),它能够聚类数据的系统发育组。所提出的动态beta-VAE动态地适应重建和正则化损失项(beta值)的缩放,从而产生输入数据的有用的潜在表示。我们证明了有用的动态β-VAE光学记录的昆虫信号从斯堪的纳维亚半岛南部地区的集群未标记的目标到可能的物种。我们还证明了改进的聚类性能,在半监督设置使用一个小子集的标记数据。这些实验结果,在无监督和半监督的设置,与动态β-VAE是有前途的,在不久的将来,可以部署到监测昆虫和保护迅速下降的昆虫生物多样性。
2021-10-05 cs.LG
Human-interpretable clustering of short-text using large language models
本研究提出利用大型语言模型生成嵌入并结合高斯混合模型进行短文本聚类,该方法比传统方法更具人类可解释性,并探讨了生成式LLM在聚类验证中替代人类评审的潜力及各自偏见。
2024-12-14 cs.CL cs.LG
Online Clustering by Penalized Weighted GMM
Intel(英特尔公司)
随着大数据时代的到来,数据集正在迅速增长。数据流来自任何地方-从相机,手机,汽车和其他电子设备。聚类流数据是一个非常具有挑战性的问题。与数据集可以多次存储和扫描的传统聚类算法不同,对流数据进行聚类必须满足诸如有限内存大小、实时响应、未知数据统计和未知簇数量等约束。在本文中,我们提出了一种新的在线聚类算法,可用于聚类流数据,而不知道的簇的数量先验。在合成数据集和真实数据集上的结果表明,该算法产生的分区接近于一次聚类整个数据所能得到的分区。
2019-02-07 cs.CV cs.LG stat.ML
Fuzzy Cluster-Aware Contrastive Clustering for Time Series
Jiangsu Normal University(江苏师范大学)
针对未标记时间序列聚类,提出模糊簇感知对比聚类框架FCACC,联合优化表示学习与聚类,在三视图增强和簇感知硬负样本机制下,在40个数据集上优于八种基线方法。
2025-03-28 cs.LG
Fair Clustering via Hierarchical Fair-Dirichlet Process
Texas A&M University(德州农工大学)
本文提出一种基于分层公平狄利克雷过程模型的公平聚类新方法,以替代传统基于目标函数优化的公平聚类框架。
2023-05-27 cs.CY cs.LG stat.ML
Deep Discriminative Latent Space for Clustering
Huawei Tel Aviv Research Center(华为特拉维夫研究中心)
聚类是数据分析和机器学习中最基本的任务之一。它是许多数据驱动应用程序的核心,这些应用程序旨在将数据分成具有相似模式的组。此外,聚类是一个复杂的过程,受数据表示方法的选择的影响很大。最近的研究表明,通过有效地学习这些表示,聚类结果令人鼓舞。在大多数这些工作中,深度自动编码器最初被预训练以最小化重建损失,然后与聚类质心联合优化以提高聚类目标。这些工作主要集中在程序的聚类阶段,而没有利用初始阶段的潜在好处。在本文中,我们提出了优化自动编码器相对于一个判别成对的损失函数在自动编码器的预训练阶段。我们证明了所提出的方法所获得的高精度及其快速收敛性(例如,在预训练阶段,在不到50个历元的时间内,MNIST的精度达到92%以上),即使是小网络。
2018-05-28 cs.AI cs.CV cs.LG
MOSAIC: Modular Opinion Summarization using Aspect Identification and Clustering
Viator, TripAdvisor(Viator、TripAdvisor)
MOSAIC通过分解摘要任务为可解释的组件,提升在线市场中产品评价的实用性和可靠性,通过A/B测试和离线实验验证其在方面覆盖和忠实度上的优势。
2026-03-01 cs.CL cs.LG
Learning with Clustering Structure
INRIA - SIERRA Project Team(法国国家信息与自动化研究所 - SIERRA项目组);École Normale Supérieure(巴黎高等师范学院);École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心)
我们研究监督学习问题,使用聚类约束对特征或样本施加结构,寻求帮助预测和解释。聚类特征的问题自然出现在文本分类中,例如,通过将单词分组在一起来降低维度并识别同义词。另一方面,样本聚类问题适用于多类问题,我们可以进行多个预测,并记录最佳答案的表现。我们推导出一个统一的优化公式,突出这些问题的共同结构,并产生算法,其核心迭代复杂性相当于一个k-均值聚类步骤,可以有效地近似。我们将这些结果扩展到稀疏性和聚类约束相结合,并在聚类稀疏向量集上开发了一种新的投影算法。我们证明了我们的算法的收敛性随机的情况下,基于联盟的子空间的聚类结构的解释。最后,我们测试了我们的方法在人工数据集以及从电影评论中提取的真实数据上的鲁棒性。
2016-09-19 cs.LG
Optimal Bandwidth Selection for DENCLUE Algorithm
针对DENCLUE聚类算法参数选择长期被忽视的问题,本文提出了一种计算其最优参数的新方法,并通过实验验证了该方法的性能。
2023-08-21 cs.IR cs.LG
No Pattern, No Recognition: a Survey about Reproducibility and Distortion Issues of Text Clustering and Topic Modeling
Institute of Mathematics and Computer Science(数学与计算机科学研究所);University of São Paulo(圣保罗大学);São Carlos School of Engineering(圣卡洛斯工程学院);Institute of Informatics(信息学研究所);Federal University of Goiás(戈亚斯联邦大学)
使用机器学习算法从未标记的文本中提取知识可能是复杂的。文档分类和信息检索是可以受益于无监督学习的两个应用(例如,文本聚类和主题建模),包括探索性数据分析。然而,无监督学习范式带来了可重复性问题。初始化可导致取决于机器学习算法的可变性。此外,在考虑簇几何形状时,失真可能会产生误导。在这些原因中,异常值和异常的存在可能是一个决定性因素。尽管初始化和离群值问题与文本聚类和主题建模相关,但作者没有找到对它们的深入分析。该调查提供了这些子领域的系统文献综述(2011-2022年),并提出了一个通用术语,因为类似的程序有不同的术语。作者描述了研究机会,趋势和开放的问题。附录总结了文本向量化、因子分解和聚类算法的理论背景,这些理论背景直接或间接地与所回顾的作品相关。
2022-08-02 cs.CL cs.IR cs.LG
A Survey on Multi-View Clustering
University of Connecticut(康涅狄格大学);East China Normal University(华东师范大学)
随着信息获取技术的进步,多视图数据变得无处不在。因此,多视图学习在机器学习和数据采掘领域变得越来越流行。多视图无监督或半监督学习,如协同训练、协同正则化等得到了广泛的关注。虽然多视图聚类(MVC)方法近年来得到了迅速的发展,但目前还没有一个综述对其进行总结和分析。因此,本文回顾了组合多个数据视图的常见策略,并在此总结的基础上提出了一种新的MVC方法分类法。进一步讨论了MVC与多视图表示、集成聚类、多任务聚类、多视图监督和半监督学习的关系。几个代表性的现实世界的应用程序进行了阐述。为了促进MVC的未来发展,我们设想了几个开放的问题,可能需要进一步的调查和彻底的检查。
2018-04-03 cs.LG stat.ML
A Survey on Incomplete Multi-view Clustering
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Guangdong University of Technology(广东工业大学);University of Macau(澳门大学);Hefei University of Technology(合肥工业大学)
传统的多视图聚类试图基于所有视图都被完全观察的假设将数据划分为相应的组。然而,在实际应用中,如疾病诊断、多媒体分析、推荐系统等,常常会发现样本的视图并不是全部可用的,这就导致了传统的多视图聚类方法的失效。对这种不完整多视图数据的聚类被称为不完整多视图聚类。鉴于其良好的应用前景,近年来不完全多视图聚类的研究取得了显著的进展。然而,目前还没有一个综述来总结目前的研究进展,并指出未来的研究方向。为此,我们回顾了最近的研究不完全多视图聚类。重要的是,我们提供了一些框架来统一相应的不完全多视图聚类方法,并从理论和实验角度对一些代表性的方法进行了深入的比较分析。最后,提出了不完全多视图聚类领域的一些有待解决的问题。
2022-08-17 cs.LG cs.MM
Bipartite graph partitioning and data clustering
从数据采掘应用中产生的许多数据类型可以被建模为二分图,示例包括文本语料库中的术语和文档、购物篮分析中的客户和购买项目以及电影推荐系统中的评论者和电影。在本文中,我们提出了一种新的数据聚类方法的基础上划分的基础二分图。通过最小化二分图的不匹配顶点对之间的边权重的归一化和来构造分区。我们表明,通过计算相关的二分图的边权重矩阵的部分奇异值分解(SVD),可以得到一个近似的解决方案的最小化问题。我们指出我们的聚类算法的连接,对应分析中使用的多元分析。我们还简要讨论了将数据对象分配到多个集群的问题。在实验结果中,我们将我们的聚类算法应用于文档聚类问题,以说明其有效性和效率。
2001-08-27 cs.IR cs.LG
AWT -- Clustering Meteorological Time Series Using an Aggregated Wavelet Tree
University of Vienna(维也纳大学);Zentralanstalt für Meteorologie und Geodynamik(中央气象与地球动力学研究所)
聚类和异常值检测在气象测量中起着重要的作用。我们提出了AWT算法,时间序列数据的聚类算法,也进行隐式离群值检测在聚类过程中。AWT集成了几个著名的K-Means聚类算法的思想。它根据用户定义的阈值参数自动选择聚类数,并且它可以用于异构气象输入数据以及超过可用内存大小的数据集。我们将AWT应用于维也纳市的每小时分辨率的众包2米温度数据,以检测离群值,并调查最终的聚类是否显示出与城市土地利用特征的一般相似性和相似性。它表明,无论是异常值检测和隐式映射到土地利用特征是可能的AWT开辟了新的可能的应用领域,特别是在快速发展的城市气候和城市天气领域。
2022-12-13 cs.LG physics.ao-ph
RAMA: A Rapid Multicut Algorithm on GPU
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一个高度并行的原始-对偶算法的multicut(又名。相关聚类)问题,这是一个广泛应用于机器学习和计算机视觉的经典图聚类问题。我们的算法包括三个步骤递归执行:(1)找到冲突的循环,对应于违反的不平等的基础multicut松弛,(2)执行消息传递之间的边缘和循环,以优化拉格朗日松弛来自发现违反循环产生减少的成本和(3)收缩边缘通过矩阵矩阵乘法降低成本高。我们的算法产生原始的解决方案和下界估计的距离最优。我们实现我们的算法在GPU上,并显示产生一到两个数量级的执行速度的改善,而不牺牲解决方案的质量相比,传统的顺序算法在CPU上运行。我们可以解决非常大规模的基准问题,高达$\mathcal{O}(10^8)$变量在几秒钟内与小的原始-对偶差距。我们的代码可在https://github.com/pawelswoboda/RAMA上获得。
2022-03-11 cs.CV cs.DC cs.DS
Semi-supervised clustering methods
Univ. of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
聚类分析方法试图将数据集划分为同质的子组。它在各种各样的应用中都很有用,包括文件处理和现代遗传学。传统的聚类方法是无监督的,这意味着没有结果变量,也不知道数据集中观测之间的关系。然而,在许多情况下,除了特征的值之外,关于聚类的信息也是可用的。例如,一些观测的聚类标签可能是已知的,或者某些观测可能已知属于同一聚类。在其他情况下,人们可能希望识别与特定结果变量相关联的聚类。本文介绍了几种聚类算法(称为“半监督聚类”方法),可以应用在这些情况下。这些方法中的大多数是流行的k-means聚类方法的修改,并且将详细描述其中的几个。还提供了一些其他半监督聚类算法的简要描述。
2013-07-01 cs.LG stat.ME stat.ML
Hierarchical Clustering for Finding Symmetries and Other Patterns in Massive, High Dimensional Datasets
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
数据分析和数据挖掘涉及数据集中的无监督模式发现和结构确定。“结构”可以理解为对称性,一系列对称性通过层次来表达。这样的对称性直接指向不变量,它精确地指出了数据的内在属性和感兴趣的背景经验域。我们在这里回顾了层次结构的许多方面,包括超度量拓扑,广义超度量,与格和其他离散代数结构的联系,以及与p-adic数表示的联系。通过关注数据中的对称性,我们有了一种强大的方法来构建和分析海量的高维数据存储。我们在化学和金融的案例研究中说明了层次聚类的强大功能,并提供了其他已发表的案例研究的指针。
2010-05-14 cs.CV cs.LG stat.ML
Unbalanced Optimal Transport Dictionary Learning for Unsupervised Hyperspectral Image Clustering
本文提出利用不平衡最优传输字典学习方法,通过低维表示和光谱聚类实现超光谱图像的无监督聚类。
2026-03-10 cs.CV cs.LG math.ST