Survey of state-of-the-art mixed data clustering algorithms
United Arab Emirates University(阿联酋大学);Toronto Rehabilitation Institute(多伦多康复研究所);University Health Network(大学健康网络)
混合数据包括数字和分类特征,混合数据集经常出现在许多领域,如健康,金融和营销。聚类通常应用于混合数据集,以查找结构并将相似对象分组以供进一步分析。然而,聚类混合数据是具有挑战性的,因为很难直接应用数学运算,如求和或平均,这些数据集的特征值。在本文中,我们提出了一个分类的混合数据聚类算法的研究,确定五个主要的研究主题。然后,我们提出了一个国家的最先进的审查每个研究主题的研究工作。我们分析了这些方法的优点和缺点,并指出了未来的研究方向。最后,我们提出了在这一领域的总体挑战的深入分析,突出开放的研究问题,并讨论在该领域取得进展的指导方针。
2019-03-18 cs.AI cs.LG stat.ML
An Introductory Survey to Autoencoder-based Deep Clustering -- Sandboxes for Combining Clustering with Deep Learning
Aalto University, University of Helsinki(阿alto大学,赫尔辛基大学);Faculty of Computer Science, University of Vienna(计算机科学学院,维也纳大学)
本综述介绍基于自编码器的深度聚类基础算法,利用其无监督低维表示能力缓解维度灾难,并作为现代聚类方法的核心构建模块。
2025-05-26 cs.AI cs.LG
A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions
Zhejiang University(浙江大学);Macquarie University(麦考瑞大学);Tsinghua University(清华大学);Simon Fraser University(西蒙弗雷泽大学)
聚类是一个基本的机器学习任务,已在文献中广泛研究。经典的聚类方法遵循这样的假设,即通过各种表示学习技术将数据表示为矢量化形式的特征。随着数据的日益复杂化,传统的浅层聚类方法已经不能处理高维的数据类型。随着深度学习,特别是深度无监督学习的巨大成功,在过去的十年里,许多具有深度架构的表示学习技术被提出。最近,深度聚类的概念,即,联合优化的表示学习和聚类,已被提出,因此引起了越来越多的关注,在社会上。受深度学习在聚类(最基本的机器学习任务之一)中取得的巨大成功以及该方向的大量最新进展的启发,本文通过提出不同最先进方法的新分类法,对深度聚类进行了全面的调查。我们总结了深度聚类的基本组成部分,并通过设计深度表示学习和聚类之间的交互方式对现有方法进行分类。此外,本调查还提供了流行的基准数据集,评估指标和开源实现,以清楚地说明各种实验设置。最后但并非最不重要的是,我们讨论了深度聚类的实际应用,并提出了值得进一步研究的具有挑战性的主题作为未来的方向。
2022-06-15 cs.AI cs.LG
Clustering of Big Data with Mixed Features
Trinity College Dublin(都柏林圣三一学院)
对大规模混合数据进行聚类是数据挖掘的核心问题。许多方法采用k-means的思想,因此对初始化敏感,仅检测球形聚类,并且需要先验未知的聚类数量。本文提出了一种新的混合类型大数据聚类算法,旨在提高峰值发现技术的适用性和效率。改进有三个方面:(1)该算法适用于混合数据;(2)该算法能够检测出离群点和密度值相对较低的聚类;(3)该算法能够确定正确的聚类数。通过应用快速k-近邻方法和缩小到分量集,大大降低了算法的计算复杂度。我们目前的实验结果,以验证我们的算法在实践中工作得很好。关键词:聚类;大数据;混合属性;密度峰;最近邻图;电导。
2020-11-11 cs.LG stat.ML
Interpretable Clustering: A Survey
College of Information Science and Engineering, Henan University of Technology(河南理工大学信息科学与工程学院);School of Software, Dalian University of Technology(大连理工大学软件学院);Xinchang Power Supply Company, State Grid Corporation of China(国网浙江绍兴供电公司)
本文综述了可解释聚类算法的现状,探讨了透明聚类结果的重要性,帮助研究人员选择合适的方法,并推动高效透明的聚类算法发展。
2026-06-27 cs.AI cs.LG
Consistency of regularized spectral clustering in degree-corrected mixed membership model
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
网络分析中的社区发现是近年来的一个研究热点。在度校正混合隶属度(DCMM)模型下,提出了一种基于正则化拉普拉斯矩阵的混合正则化谱聚类(Mixed-RSC)方法.基于种群正则化Laplacian矩阵的特征分解的变体的理想锥结构,设计了混合RSC。我们证明了该算法是渐近一致的温和条件下,通过提供每个节点的推断成员向量的误差界。作为我们界限的副产品,我们提供了正则化参数τ的理论最佳选择。为了证明我们的方法的性能,我们将其与以前的基准方法一起应用于模拟和真实网络。据我们所知,这是第一个工作,设计的混合隶属度社区发现问题DCMM模型下的谱聚类算法的基础上应用正则化拉普拉斯矩阵。
2021-08-27 cs.LG cs.SI stat.ML
Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data
School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院)
本文提出WISE框架,通过二进制编码与填充对齐异构特征,结合LOFO策略和两阶段加权聚类,提升混合类型表格数据的聚类质量和可解释性。
2026-04-07 cs.LG
A Survey of Deep Graph Clustering: Taxonomy, Challenge, Application, and Open Resource
National University of Defense Technology(国防科技大学);Westlake University(西湖大学);Chinese PLA General Hospital(中国人民解放军总医院)
本文对深度图聚类领域进行了全面综述,基于四个标准提出分类法,分析现有方法与挑战,介绍六大领域应用,并提供开源代码与统一框架资源。
2023-09-12 cs.AI cs.LG
Model Based Co-clustering of Mixed Numerical and Binary Data
Orange Labs(奥兰治实验室);University of Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
共聚类是一种数据采掘技术,用于提取数据矩阵的行和列之间的底层块结构。许多方法已被研究,并已显示其能力,以连续,二元或列联表中提取这种结构。然而,很少有工作已经完成混合类型的数据进行联合聚类。在这篇文章中,我们扩展潜在块模型的基础上的联合聚类的情况下,混合数据(连续和二进制变量)。然后,我们评估所提出的方法对模拟数据的有效性,我们讨论了它的优点和潜在的限制。
2022-12-22 cs.LG math.ST stat.ML
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China(电子科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近,可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上,忽略了聚类的复杂应用场景。为了解决这个问题,在本文中,我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件,我们系统地区分聚类方法的方法,先验知识和架构。具体地,根据四个类别介绍了深度聚类方法,即,传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后,我们讨论了开放的挑战和潜在的未来机会,在不同领域的深度集群。
2022-10-09 cs.LG
Hybrid Density- and Partition-based Clustering Algorithm for Data with Mixed-type Variables
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);University of Pittsburgh(匹兹堡大学)
聚类是发现数据模式的基本技术。多年来,数据量和复杂性的稳步增长导致了新的聚类算法的改进和发展。然而,可以对具有混合变量类型(连续和分类)的数据进行聚类的算法仍然有限,尽管具有混合类型的数据非常丰富,特别是在医学领域。在现有的混合数据处理方法中,存在一些无法验证的分布假设或不同类型变量的贡献不均衡的问题。我们提出了一个两步混合密度和分区为基础的算法(HyDaP),可以检测变量选择后的集群。第一步包括基于密度和基于划分的算法来识别由连续变量形成的数据结构并识别聚类的重要变量;第二步包括基于划分的算法以及我们为混合数据设计的新的相异性度量来获得聚类结果。我们对各种场景和数据结构进行了模拟,以检查HyDaP算法与常用方法相比的性能。我们还将HyDaP算法应用于电子健康记录以识别脓毒症表型。
2019-05-06 cs.LG stat.AP stat.ML
A Supervised Feature Selection Method For Mixed-Type Data using Density-based Feature Clustering
North Carolina A&T State University(北卡罗来纳农工州立大学)
特征选择方法被广泛用于解决高维数据分类中的高计算开销和维数灾难。大多数传统的特征选择方法集中于处理同质特征,而现实世界的数据集通常具有连续和离散特征的混合。最近的一些混合类型的特征选择研究只选择与类标签相关性高的特征,而忽略了特征之间的冗余。确定适当的特征子集也是一个挑战。本文提出了一种基于密度特征聚类的有监督特征选择方法(SFSDFC),用于混合类型数据的特征选择。SFSDFC使用一种新的基于密度的聚类方法将特征空间分解为一组不相交的特征聚类。然后,采用有效的特征选择策略从这些特征簇中获得冗余度最小的重要特征子集。使用13个真实世界的基准数据集进行了广泛的实验以及与5种最先进的方法的比较研究,结果证明了SFSDFC方法的有效性。
2021-11-10 cs.LG
Mixed-Precision Neural Networks: A Survey
University of California, Irvine(加州大学欧文分校);Rain Neuromorphics Inc(Rain Neuromorphics公司)
混合精度深度神经网络可实现硬件部署所需的能效和吞吐量,特别是在资源有限的情况下,而不会牺牲准确性。然而,保持准确性的最佳每层位精度并不容易找到,特别是在大量的模型、数据集和量化技术创建了巨大的搜索空间的情况下。为了解决这个困难,最近出现了大量的文献,并提出了几个框架,取得了有希望的精度结果。在本文中,我们首先总结了文献中普遍使用的量化技术。然后,我们对混合精度框架进行了全面的调查,根据其优化技术(如强化学习)和量化技术(如确定性舍入)进行分类。此外,每个框架的优点和缺点进行了讨论,我们提出了一个并列。最后,我们给出了未来混合精度框架的指导方针。
2022-08-11 cs.AI cs.LG
Spectral Clustering of Categorical and Mixed-type Data via Extra Graph Nodes
Columbia University(哥伦比亚大学);Bowdoin College(鲍登学院)
针对类别型与混合型数据聚类,提出添加对应类别的额外图节点的谱聚类方法,无需预处理,可解释且对纯类别数据达线性时间,性能与运行时间具竞争力。
2024-03-08 cs.LG stat.ML
A Comprehensive Survey on Spectral Clustering with Graph Structure Learning
Queensland University of Technology (QUT)(昆士兰科技大学);Graduate University of Advanced Technology(高等技术研究生院);Ardakan University(阿尔达坎大学);RMIT University(皇家墨尔本理工大学)
本综述系统梳理谱聚类方法,聚焦图结构学习(GSL)在构建相似图中的作用,涵盖多种图构建技术、单/多视图框架及信息融合,并指出挑战与未来方向,以提升大规模高维数据聚类性能。
2025-01-24 cs.LG
Mixed-type Distance Shrinkage and Selection for Clustering via Kernel Metric Learning
University of British Columbia(不列颠哥伦比亚大学)
针对混合类型数据距离度量问题,提出基于混合核的 KDSUM 度量方法,通过交叉验证优化带宽选择,实现了从现有混合度量到统一度量的收缩,显著提升了聚类准确率。
2024-10-11 cs.LG stat.CO stat.ME
MAP Clustering under the Gaussian Mixture Model via Mixed Integer Nonlinear Optimization
Department of Mathematics and Statistics, University of Massachusetts Amherst, USA(马萨诸塞大学阿默斯特分校数学与统计系,美国);Data Science Program, Worcester Polytechnic Institute, USA(伍斯特理工学院数据科学项目,美国);Data Science Program and Foisie Business School, Worcester Polytechnic Institute, USA(伍斯特理工学院数据科学项目和福西商学院,美国)
提出了一种求解高斯混合模型下最大后验(MAP)聚类问题的全局优化方法,该方法将MAP聚类问题转化为混合整数非线性优化问题(MINLP),既能容纳边约束,又能保持MAP聚类问题的组合结构.我们近似MINLP通过混合整数二次规划(MIQP)变换,提高计算方面,同时保证$ε$ -全局最优。我们的方法的一个重要好处是显式量化的次优的程度,通过最优差距,途中找到全局最优的MAP聚类。数值实验比较我们的方法与其他方法表明,我们的方法找到了一个更好的解决方案比标准的聚类方法。最后,我们聚类一个真正的乳腺癌基因表达数据集,将内在的亚型信息,诱导的约束大大提高了计算性能,并产生更多的连贯性和生物逻辑上有意义的集群。
2020-03-17 cs.LG math.OC stat.ME
Interpretable Clustering with Adaptive Heterogeneous Causal Structure Learning in Mixed Observational Data
Tsinghua University(清华大学)
针对现有聚类方法因果感知不足、异质性建模欠缺的问题,提出无监督框架HCL,通过双向迭代与自监督正则从混合观测数据中联合推断潜在簇与异质因果结构,理论可识别且性能优异,可用于发现机制层面的可解释因果异质性。
2025-10-28 cs.LG
Mixed-Order Spectral Clustering for Networks
University of Sheffield(谢菲尔德大学)
聚类是从复杂网络中获得洞察力的基础,谱聚类(SC)是一种流行的方法。传统的SC聚焦于二阶结构(例如,连接两个节点的边)而不直接考虑高阶结构(例如,三角形和集团)。这促使SC扩展,直接考虑高阶结构。然而,这两种方法仅限于考虑单个订单。本文提出了一种新的混合阶谱聚类(MOSC)方法,同时建模的二阶和三阶结构,两个MOSC方法开发的基础上图拉普拉斯(GL)和随机游动(RW)。MOSC-GL结合了边和三角邻接矩阵,具有理论性能保证。MOSC-RW结合了一阶和二阶随机游动的概率解释。我们根据切割准则或三角形密度自动确定混合参数,并构造新的结构感知误差度量用于性能评估。在真实网络上的实验表明:1)两种MOSC方法的性能优于现有的SC方法,2)混合参数确定策略的有效性,以及3)结构感知误差度量提供的见解。
2018-12-25 cs.LG stat.ML
A Survey on Soft Subspace Clustering
Jiangnan University(江南大学);University of California, Davis(加利福尼亚大学戴维斯分校);The Hong Kong Polytechnic University(香港理工大学)
子空间聚类(SC)是一种很有前途的聚类技术,它根据簇与高维空间中子空间的关联来识别簇。SC可以分为硬子空间聚类(HSC)和软子空间聚类(SSC)。虽然HSC算法已被广泛研究并被科学界广泛接受,但SSC算法相对较新,但近年来由于更好的适应性而受到更多关注。本文综述了现有的SSC算法及其最新进展。SSC算法被系统地分为三大类,即常规SSC(CSSC)、独立SSC(ISSC)和扩展SSC(XSSC)。最后,对这些算法的特点进行了分析,并对SSC的发展前景进行了展望。
2016-04-08 cs.LG
Co-clustering based exploratory analysis of mixed-type data tables
Orange Labs(奥兰治实验室);University of Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
协同聚类是一类无监督的数据分析技术,它将数据表的实例和变量之间现有的底层依赖结构提取为同质块。这些技术中的大多数仅限于相同类型的变量。在本文中,我们提出了一种混合数据的共聚类方法的基础上的两个步骤的方法。在第一步中,所有变量根据分析师选择的箱数进行二进制化,在数值情况下通过等频率离散化,或在分类情况下保持最频繁的值。第二步对实例和二进制变量应用联合聚类,从而产生实例组和变量部分组。我们将这种方法应用于几个数据集,并与应用于相同数据的多重对应分析的结果进行比较。
2022-12-22 cs.LG math.ST stat.ML
Mixed Membership Graph Clustering via Systematic Edge Query
Oregon State University(俄勒冈州立大学);School of Electrical Engineering and Computer Science(电气工程与计算机科学学院)
这项工作认为聚类节点的一个很大程度上不完整的图。在问题设置下,只能对边进行少量查询,但整个图是不可观察的。该问题在使用有限注释的大规模数据聚类、受限调查资源下的社区发现以及隐藏/移除节点交互下的图拓扑推断中得到应用。先前的工作从各种角度解决了这个问题,例如,基于凸规划的低秩矩阵完备化和基于主动查询的团发现。尽管如此,许多现有的方法被设计用于估计节点的单簇成员资格,但是节点可能经常具有混合(即,多组)成员资格。一些查询和计算范例,例如,凸方法中提倡的随机查询模式和基于核范数的优化可能引起可扩展性和实现挑战。这项工作的目的是学习混合成员的节点使用查询边缘。所提出的方法是与系统查询原理一起开发的,系统查询原理可以由系统设计者控制和调整,以适应实现挑战-例如,以避免查询物理上难以获取的边。我们的框架还具有轻量级和可扩展的算法与成员学习保证。最后通过人群聚类和社区发现实验验证了该方法的有效性。
2021-07-12 cs.LG stat.AP
MMM: Clustering Multivariate Longitudinal Mixed-type Data
Univ Lyon, Univ Lyon 2, ERIC(里昂大学、里昂第二大学、ERIC)
提出MMM模型,通过矩阵多元正态分布混合在潜在维度聚类多元纵向混合型数据,同时建模异质性与时间依赖,无需条件独立假设。
2025-09-15 cs.LG stat.ME stat.ML
GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering
Guangdong University of Technology(广东工业大学);Tsinghua University(清华大学);Peking University(北京大学);Shenzhen University(深圳大学);Xiamen University(厦门大学)
针对混合数据聚类中语义丰富度与可扩展性的矛盾,提出GRACE框架,通过多视角LLM查询实现一次性语义嵌入,兼顾可扩展性与聚类性能,优于11种对比方法。
2026-08-11 cs.AI cs.CL cs.IT
A Survey of Some Density Based Clustering Techniques
Icfai University Nagaland(那兰市伊克法伊大学);Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院)
本文对DBSCAN、OPTICS等多种基于密度的聚类方法进行综述,分析其特点、优缺点及在不同数据集上的适用性,为数据挖掘中的模式提取提供方法参考。
2023-07-23 cs.DB cs.LG
A Survey on Incomplete Multi-view Clustering
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Guangdong University of Technology(广东工业大学);University of Macau(澳门大学);Hefei University of Technology(合肥工业大学)
传统的多视图聚类试图基于所有视图都被完全观察的假设将数据划分为相应的组。然而,在实际应用中,如疾病诊断、多媒体分析、推荐系统等,常常会发现样本的视图并不是全部可用的,这就导致了传统的多视图聚类方法的失效。对这种不完整多视图数据的聚类被称为不完整多视图聚类。鉴于其良好的应用前景,近年来不完全多视图聚类的研究取得了显著的进展。然而,目前还没有一个综述来总结目前的研究进展,并指出未来的研究方向。为此,我们回顾了最近的研究不完全多视图聚类。重要的是,我们提供了一些框架来统一相应的不完全多视图聚类方法,并从理论和实验角度对一些代表性的方法进行了深入的比较分析。最后,提出了不完全多视图聚类领域的一些有待解决的问题。
2022-08-17 cs.LG cs.MM
A Survey on Multi-View Clustering
University of Connecticut(康涅狄格大学);East China Normal University(华东师范大学)
随着信息获取技术的进步,多视图数据变得无处不在。因此,多视图学习在机器学习和数据采掘领域变得越来越流行。多视图无监督或半监督学习,如协同训练、协同正则化等得到了广泛的关注。虽然多视图聚类(MVC)方法近年来得到了迅速的发展,但目前还没有一个综述对其进行总结和分析。因此,本文回顾了组合多个数据视图的常见策略,并在此总结的基础上提出了一种新的MVC方法分类法。进一步讨论了MVC与多视图表示、集成聚类、多任务聚类、多视图监督和半监督学习的关系。几个代表性的现实世界的应用程序进行了阐述。为了促进MVC的未来发展,我们设想了几个开放的问题,可能需要进一步的调查和彻底的检查。
2018-04-03 cs.LG stat.ML
A Short Survey on Data Clustering Algorithms
City University of Hong Kong(香港城市大学)
随着数据的快速增长,聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如,生物信息学、语音识别和金融分析。从形式上讲,给定一组数据实例,聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集,其中预先定义相似性度量。在这项工作中,国家的最先进的聚类算法从设计概念到方法进行了审查,不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上,对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
Clustering Approaches for Mixed-Type Data: A Comparative Study
CNRS, AMSE, Aix-Marseille University(法国国家科学研究中心、艾克斯-马赛经济学院、艾克斯-马赛大学);I2M, Airbus Helicopters, Aix-Marseille University(机械与工程研究所、空客直升机公司、艾克斯-马赛大学)
本文比较了混合类型数据聚类方法,发现KAMILA、LCM和k-prototypes在调整兰德指数上表现最佳。
2025-11-24 cs.LG stat.AP stat.ME
DECT-MULTRA: Dual-Energy CT Image Decomposition With Learned Mixed Material Models and Efficient Clustering
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor, MI, 48109 USA(美国密歇根大学安娜堡分校电气工程与计算机科学系)
双能量计算机断层扫描(DECT)成像由于其材料分解能力在高级成像应用中起着重要作用。图像域分解使用线性矩阵求逆直接在CT图像上操作,但是分解的材料图像可能由于噪声和伪影而严重退化。本文提出了一种新的方法称为DECT-MULTRA图像域DECT材料分解,结合传统的惩罚加权最小二乘(PWLS)估计与正则化的基础上学习变换(MULTRA)模型的混合联盟。我们提出的方法预先学习从所有基础材料中提取的补丁的通用材料稀疏化变换的联合,以及从多材料补丁的跨材料稀疏化变换的联合。共材质变换捕捉不同材质图像之间的共同属性,而跨材质变换捕捉交叉依赖性。所提出的PWLS制定有效地优化交替之间的图像更新步骤和稀疏编码和聚类步骤,这两个步骤具有封闭形式的解决方案。我们的方法的有效性与XCAT体模和临床头部数据进行了验证。结果表明,我们提出的方法提供了优越的材料图像质量和分解精度相比,其他竞争的方法。
2019-08-18 cs.LG eess.IV stat.ML
Four Algorithms for Correlation Clustering: A Survey
The University of Chicago(芝加哥大学)
在相关聚类问题中,我们给出了一组具有成对相似性信息的对象。我们的目标是将这些对象划分为尽可能匹配此信息的聚类。更具体地,成对信息被给出为加权图$G$,其边缘被二元分类器标记为"相似”或"不相似”。我们的目标是产生一个聚类,最大限度地减少权重的"分歧”:权重的总和相似的边缘跨集群和集群内的不同边缘。在这一论述中,我们集中在$G$是完整的和未加权的情况下。在此假设下,我们探讨四种近似算法的相关聚类问题。特别是,我们描述了以下算法:(i)Bansal,Blum和Chawla的$17429-$近似算法,(ii)Charikar,Guruswami和Wirth的$4-$近似算法,(iii)Ailon,Charikar和Newman的$3-$近似算法,(iv)Chawla,Makarychev,Schramm和Yaroslavtsev的$2.06-$近似算法。
2022-08-24 cs.DS cs.LG
Semisoft Task Clustering for Multi-Task Learning
Renmin University of China(中国人民大学)
多任务学习(MTL)旨在通过利用多个相关预测任务中的有用信息来提高它们的性能。由于其灵活性和能力,以减少未知系数大幅,基于任务聚类的MTL方法引起了相当大的关注。受数据半软聚类思想的启发,提出了一种半软任务聚类方法,该方法能够同时揭示纯任务和混合任务的任务簇结构,并选择相关特征.我们的方法背后的主要假设是,每个集群都有一些纯任务,每个混合任务可以表示为不同集群中纯任务的线性组合。为了解决由此产生的非凸约束优化问题,我们设计了一个有效的三步算法。基于人工和真实数据集的实验结果验证了该方法的有效性和效率。最后,我们将所提出的方法扩展到一个强大的任务聚类问题。
2022-11-28 cs.LG stat.ML
Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的非线性维数和特征提取方法的基础上,拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后,我们覆盖了图的切割和谱聚类,它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后,我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本,然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
Statistically-Robust Clustering Techniques for Mapping Spatial Hotspots: A Survey
University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
绘制空间热点,即,具有显著更高的某些事件的情况生成率的区域(例如,疾病或犯罪案件),是包括公共卫生、公共安全、交通、农业、环境科学等在内的不同社会领域中的重要任务。这些领域所需的聚类技术由于虚假结果的高经济和社会成本而不同于传统聚类方法(例如,犯罪集群的虚假警报)。因此,需要明确的统计严格性来控制虚假检测的比率。为了解决这一挑战,用于预测鲁棒聚类的技术(例如,扫描统计)已经被数据挖掘和统计社区广泛研究。在这次调查中,我们提出了一个最新的和详细的审查模型和算法开发的这一领域。首先,我们提出了一个通用的分类法,强大的聚类,包括数据和统计建模,区域枚举和最大化,和显着性测试的关键步骤。我们进一步讨论每个关键步骤中的不同范式和方法。最后,我们强调了研究差距和潜在的未来方向,这可能是在这个不断增长的领域和超越产生新的想法和想法的垫脚石。
2021-10-10 cs.LG stat.CO stat.ML
Spectral Theory of Unsigned and Signed Graphs. Applications to Graph Clustering: a Survey
University of Pennsylvania(宾夕法尼亚大学)
本文综述了图割方法及其在加权无符号图和加权有符号图聚类中的应用。我提供了一个相当彻底的治疗的方法规范化的图削减,一个深刻的原始方法,由于施和马利克,包括完整的证明。本文的主旨是规范化割方法。在Yu和Shi工作的基础上,我们对K = 2的团簇和K> 2的团簇进行了详细的讨论。我还展示了如何图形绘制和归一化切割K-聚类可以很容易地推广到处理有符号图,这是加权图,其中权重矩阵W可能有负系数。直觉上,负系数表示距离或相异性。解决方案是将度矩阵替换为使用权重的绝对值的矩阵,并且将拉普拉斯算子替换为具有新的绝对值的度矩阵的拉普拉斯算子。据我所知,将K-way归一化聚类推广到符号图是一个新的研究方向。最后,我展示了如何比例切割的方法,其中切割是规范化的集群的大小,而不是其体积,只是一个特殊的情况下规范化的切割。
2016-01-18 cs.DS cs.LG
A comparison of cluster algorithms as applied to unsupervised surveys
Saint Joseph’s University(圣约瑟夫大学);Indian Institute of Technology(印度理工学院)
在考虑用数据回答重要问题时,无监督数据提供了广泛的洞察机会和独特的挑战。这项研究考虑了学生调查数据,具体目标是将学生分成类似的群体,其基本概念是确定不同的贫困程度。在数据清理和组织阶段考虑模糊逻辑,帮助创建逻辑因变量进行分析比较。使用多种数据简化技术,对调查进行了简化和清理。最后,多种聚类技术(k-means,k-modes和层次聚类)的应用和比较。虽然每种方法都有优点,但目标是确定哪种方法在应用于调查数据时最可行,特别是在试图确定最贫困的学生时。
2018-12-13 cs.CY cs.LG stat.ML
Learning Bayesian Networks with Heterogeneous Agronomic Data Sets via Mixed-Effect Models and Hierarchical Clustering
University of Florence(佛罗伦萨大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒·莫勒人工智能研究所);University of Milan(米兰大学)
针对异构层次农艺数据,本文提出将随机效应融入贝叶斯网络学习的方法,提升模型可解释性与因果发现能力,并将玉米产量预测错误率由28%降至17%。
2024-01-15 cs.LG stat.AP stat.ML
No Pattern, No Recognition: a Survey about Reproducibility and Distortion Issues of Text Clustering and Topic Modeling
Institute of Mathematics and Computer Science(数学与计算机科学研究所);University of São Paulo(圣保罗大学);São Carlos School of Engineering(圣卡洛斯工程学院);Institute of Informatics(信息学研究所);Federal University of Goiás(戈亚斯联邦大学)
使用机器学习算法从未标记的文本中提取知识可能是复杂的。文档分类和信息检索是可以受益于无监督学习的两个应用(例如,文本聚类和主题建模),包括探索性数据分析。然而,无监督学习范式带来了可重复性问题。初始化可导致取决于机器学习算法的可变性。此外,在考虑簇几何形状时,失真可能会产生误导。在这些原因中,异常值和异常的存在可能是一个决定性因素。尽管初始化和离群值问题与文本聚类和主题建模相关,但作者没有找到对它们的深入分析。该调查提供了这些子领域的系统文献综述(2011-2022年),并提出了一个通用术语,因为类似的程序有不同的术语。作者描述了研究机会,趋势和开放的问题。附录总结了文本向量化、因子分解和聚类算法的理论背景,这些理论背景直接或间接地与所回顾的作品相关。
2022-08-02 cs.CL cs.IR cs.LG