Entropy Regularized Power k-Means Clustering
Indian Statistical Institute(印度统计研究所);Duke University(杜克大学)
尽管其众所周知的缺点,$k$ -手段仍然是最广泛使用的数据聚类方法之一。目前的研究继续解决其缺陷,同时试图保持其简单性。最近,提出了\textit{power $k$-means}算法,通过对一族更光滑的表面进行退火来避免陷入局部极小。然而,这种方法缺乏理论依据,并且在许多特征不相关的高维情况下失败。本文通过引入\textit{entropy regularization}来学习退火时的特征相关性来解决这些问题。我们证明了所提出的方法的一致性,并推导出一个可扩展的优化最小化算法,享有封闭形式的更新和收敛保证。特别是,我们的方法保留了相同的计算复杂度的$k$ -手段和权力$k$ -手段,但产生显着的改善。它的优点是彻底评估一套真实的和合成的数据实验。
2020-01-10 cs.LG stat.ML
Feature Clustering for Support Identification in Extreme Regions
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院)
了解多变量极值的复杂结构是从投资组合监测和环境风险管理到保险的各个领域的主要挑战。在多元极值理论的框架中,极值的依赖结构的一个共同特征是角测度。这是在极端地区工作的一个适当措施,因为它提供了关于极端现象往往集中其质量的次区域的有意义的见解。本文提出了一种新的基于优化的方法来评估极端的依赖结构。这种支持识别方案重写为估计最好地捕捉极端的支持的特征簇。我们提供的降维技术应用于统计学习任务,如特征聚类和异常检测。数值实验提供了强有力的经验证据,我们的方法的相关性。
2021-02-08 cs.LG stat.ML
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多现代聚类方法可以很好地扩展到大量的数据项N,但不能扩展到大量的聚类K。本文介绍了PERCH,一个新的非贪心算法的在线层次聚类,规模庞大的N和K-一个问题的设置,我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望,我们的方法执行树旋转,以提高子树纯度和鼓励平衡。我们证明了,在自然可分性假设下,我们的非贪心算法将产生具有完美树状图纯度的树,而不管在线数据到达顺序。我们的实验表明,PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K,实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
On the Persistence of Clustering Solutions and True Number of Clusters in a Dataset
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
通常,聚类算法提供具有预先指定的聚类数目的聚类解决方案。由于缺乏对数据集中底层聚类的真实数量的先验知识,因此重要的是要有一个度量来比较具有不同数量聚类的聚类解决方案。本文量化了集群解决方案的持久性概念,可以比较具有不同数量集群的解决方案。持久性涉及的范围内的数据分辨率尺度的聚类解决方案持续存在,它是量化的最大值超过两个范数的所有相关的集群协方差矩阵。因此,我们将一组聚类解决方案中的每个元素的持久性值与不同数量的聚类相关联。我们表明,自然集群是先验已知的数据集,识别自然集群的聚类解决方案是最持久的-以这种方式,这个概念可以用来识别解决方案的真正数量的集群。在多种标准数据集和人工数据集上的实验表明,该指标在准确识别具有真实聚类数的聚类解方面优于现有的方法,如间隙统计方法、$X$-均值、$G$ -均值、$PG$ -均值、dip-means算法和信息论方法.有趣的是,我们的方法可以解释在确定性退火算法中的相变现象,其中不同的集群中心的数量相对于退火参数的变化(分叉)。
2018-11-16 cs.AI cs.LG stat.ML
Cascade of Phase Transitions for Multi-Scale Clustering
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Institut d’astrophysique spatiale(空间天体物理研究所);INRIA Saclay(法国国家信息与自动化研究所萨克雷分部);Laboratoire de recherche en informatique(计算机科学研究实验室);Universidad Complutense(马德里康普顿斯大学)
我们提出了一个新的框架,利用级联的相变过程中发生的模拟退火的期望最大化算法聚类数据集与多尺度结构。使用加权的局部协方差,我们可以提取,后验和没有任何先验知识,在不同尺度的集群的数量及其大小的信息。我们还研究了迭代方案的线性稳定性,推导出第一次过渡发生的阈值,并展示了如何近似下一个。最后,我们将模拟退火与正则化高斯混合模型的最新发展相结合,从空间结构化数据集中学习主图,这些数据集也可以表现出许多尺度。
2020-10-15 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Autonomy-Aware Clustering: When Local Decisions Supersede Global Prescriptions
Department of Mechanical Engineering(机械工程系);Indian Institute of Technology Delhi(印度理工学院德里);Coordinated Science Laboratory(协调科学实验室);University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对实体局部自主性影响聚类结果的问题,提出自主性感知聚类框架,结合强化学习与确定性退火,并引入自适应距离估计网络,无需显式模型即可将聚类误差从约35-40%降至3-4%。
2025-10-08 cs.AI cs.LG
Partitioning Relational Matrices of Similarities or Dissimilarities using the Value of Information
University of Florida(佛罗里达大学)
在本文中,我们提供了一种方法来聚类的关系矩阵,其条目对应于对象之间的相似性或不相似性。我们的方法是基于信息的价值,一个参数化的,信息理论的标准,衡量成本的变化与信息的变化。优化信息的价值会产生一种具有许多好处的确定性退火聚类风格。例如,研究人员避免需要先验地指定簇的数量,因为分区在退火过程中自然地经历相变,由此簇的数量以数据驱动的方式变化。通常也可以识别全局最佳分区。
2017-10-28 cs.AI cs.LG stat.ML
Improving k-Means Clustering Performance with Disentangled Internal Representations
College of Computer Studies De La Salle University(德拉萨大学计算机研究学院)
深度聚类算法通过联合优化聚类损失和非聚类损失来组合表示学习和聚类。在这样的方法中,深度神经网络与聚类网络一起用于表示学习。而不是遵循这个框架来提高聚类性能,我们提出了一个更简单的方法来优化纠缠的学习潜在代码表示的自动编码器。我们将纠缠定义为来自同一类或结构的点对相对于来自不同类或结构的点对的接近程度。为了测量数据点的纠缠度,我们使用了软近邻损耗,并通过引入退火温度因子对其进行了扩展。使用我们提出的方法,MNIST数据集的测试聚类准确率为96.2%,Fashion-MNIST数据集为85.6%,EMNIST Balanced数据集为79.2%,优于我们的基线模型。
2020-06-05 cs.LG cs.NE stat.ML
Simple, Scalable, and Stable Variational Deep Clustering
King Digital Entertainment, Activision Blizzard Group(动视暴雪集团King数字娱乐公司);Uppsala University(乌普萨拉大学)
深度聚类(DC)已经成为无监督聚类的最新技术。原则上,DC代表了各种无监督方法,这些方法直接从非结构化数据集中联合学习底层聚类和潜在表示。然而,DC方法通常由于操作成本高、可扩展性低和结果不稳定而应用不佳。在本文中,我们首先使用八个经验标准在工业适用性的背景下评估几个流行的DC变体。然后,我们选择专注于变分深度聚类(VDC)方法,因为它们大多符合这些标准,除了简单性,可扩展性和稳定性。为了解决这三个未满足的标准,我们介绍了四个通用算法的改进:初始$γ$ -训练,定期$β$ -退火,小批量GMM(高斯混合模型)初始化,和逆最小最大变换。我们还提出了一种新的聚类算法S3 VDC(简单,可扩展,稳定的VDC),结合所有这些改进。我们的实验表明,S3 VDC在基准任务和大型非结构化工业数据集上都优于最先进的技术,而没有任何地面真实标签。此外,我们分析评估的可用性和可解释性的S3 VDC。
2020-05-21 cs.LG stat.ML
A Bayesian non-parametric method for clustering high-dimensional binary data
Systems Biology Ireland(爱尔兰系统生物学);University College Dublin(都柏林大学)
在许多现实生活中的问题,对象描述了大量的二进制功能。例如,文档的特征在于存在或不存在某些关键字;癌症患者的特征在于存在或不存在某些突变等。在这种情况下,基于这种高维二进制特征将类似的对象/配置文件分组在一起是可取的,但具有挑战性。在这里,我提出了一个贝叶斯非参数算法聚类高维二进制数据。它使用狄利克雷过程(DP)混合模型和模拟退火,不仅聚类二进制数据,而且还找到数据中的最佳聚类数。使用模拟数据集对算法的性能进行了评估,并与其他算法进行了比较。它优于所有其他聚类方法,在模拟研究中进行了测试。它还用于对来自文档分析、手写图像分析和癌症研究的真实数据集进行聚类。它成功地根据主题划分了一组文档,基于不同书写风格的手写图像,并确定了化疗治疗的组织和突变特异性。
2016-03-08 cs.LG stat.AP stat.ML
Clustering-based Identification of Precursors of Extreme Events in Chaotic Systems
Delft University of Technology(代尔夫特理工大学)
本文提出一种基于聚类的框架,通过系统状态聚类、概率转移矩阵和状态空间细分,识别并预测混沌系统中极端事件的前兆状态。
2023-06-20 cs.LG physics.data-an physics.flu-dyn
Spectral learning of multivariate extremes
Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
提出一种基于随机k近邻图的谱聚类算法,用于分析多元极值的依赖结构,证明了其在线性因子模型下能一致识别极值簇,并给出角测度的一致估计策略。
2023-08-01 cs.LG math.ST stat.ML
Nonparametric Nearest Neighbor Descent Clustering based on Delaunay Triangulation
University of Electronic Science and Technology of China(电子科技大学)
在我们的基于物理启发的in-tree(IT)聚类算法及其之后的系列中,只有一个自由参数参与计算每个点的潜在值。在这项工作中,基于Delaunay三角剖分或其对偶Voronoi曲面细分,我们提出了一个非参数的过程来计算潜在的价值观的局部信息。这种计算虽然是非参数的,但相对来说非常粗糙,因此会产生许多局部极值点。然而,与那些基于梯度的方法不同,我们基于IT的方法通常对这些局部极值不敏感。这积极地证明了这些参数(以前)和非参数(在这项工作中)基于IT的方法的优越性。
2015-03-18 cs.CV cs.LG stat.ML
Explicit agreement extremes for a $2\times2$ table with given marginals
Universidad de Extremadura(埃斯特雷马杜拉大学)
最大化(或最小化)集群之间的协议的问题,受到给定的边际,可以正式提出了一个共同的框架下的几个协议措施。到目前为止,只有通过数值算法才有可能找到它的解决方案。在这里,一个显式的解决方案是显示的情况下,两个聚类有两个集群。
2020-01-21 cs.LG math.ST stat.ML
Clustering by the Probability Distributions from Extreme Value Theory
Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学)
聚类是无监督学习的一项重要任务。它试图自动将实例分离成连贯的子集。k-means算法是一种著名的聚类算法,它将边界上的样本点分配到一个唯一的类中,但没有利用样本的分布或密度信息。相比之下,考虑每个样本在可能的聚类中的概率可能更有益。为此,本文推广了k-means来模拟聚类的分布。因此,我们的新的聚类算法模型的分布的距离超过阈值的广义帕累托分布(GPD)极值理论(EVT)的质心。值得注意的是,我们提出了质心边缘距离的概念,使用GPD建立一个概率模型,每个类,并执行聚类算法的基础上的覆盖概率函数从GPD。这样的GPD k均值因此使得能够从概率的角度进行聚类算法。相应地,我们还引入了一个朴素的基线,称为广义极值(GEV)k均值。GEV拟合块最大值的分布。相比之下,GPD拟合超过足够大的阈值的到质心的距离的分布,导致GPD k均值的更稳定的性能。值得注意的是,GEV k-means还可以估计聚类结构,因此比经典的k-means表现得相当好。因此,在合成数据集和真实数据集上的广泛实验表明,GPD k-means优于竞争对手。github代码在https://github.com/sixiaozheng/EVT-K-means上发布。
2022-02-20 cs.AI cs.CV cs.LG
LCD: Advancing Extreme Low-Bit Clustering for Large Language Models via Knowledge Distillation
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海启智研究院);Alibaba Group(阿里巴巴集团);Huawei Technologies Ltd(华为技术有限公司)
针对大语言模型高内存高算力的部署难题,提出将聚类量化与知识蒸馏结合的LCD方法,通过优化技术、激活压缩和LUT设计,在2-3比特超低位下保持性能,推理提速最高6.2倍,成本效益更优。
2025-05-23 cs.AI cs.LG
A quantum annealing approach to graph node embedding
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出将图节点嵌入问题形式化为QUBO,并在D-Wave量子退火器上实现与评估,证明量子退火是一种可扩展且高效的图学习替代方法。
2025-03-08 cs.LG quant-ph
Quantum-Assisted Correlation Clustering
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Kaiserslautern-Landau (RPTU)(凯撒斯劳滕-兰道大学)
本文提出利用量子辅助求解器GCS-Q改进相关聚类,通过递归分裂法提升簇内一致性,实验证明其在处理复杂图结构和现实数据中的优势。
2025-09-03 cs.AI cs.LG quant-ph
Toward Quantum Utility in Finance: A Robust Data-Driven Algorithm for Asset Clustering
University of Nevada, Las Vegas, Nevada, USA(内华达大学拉斯维加斯分校);University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出GCS-Q算法,利用量子退火技术对带符号加权图进行稳健资产聚类,提升金融领域聚类质量与效率。
2025-09-13 cs.LG quant-ph
Autonomous Cross Domain Adaptation under Extreme Label Scarcity
Nanyang Technological University(南洋理工大学);University of South Australia(南澳大学);Monash University(莫纳什大学);Singapore Institute of Manufacturing Technology, A*Star(新加坡科技研究局新加坡制造技术研究院)
跨域多流分类是一个具有挑战性的问题,要求快速的领域自适应,以处理不同的,但相关的流在永无止境的和快速变化的环境。尽管现有的多流分类器假设在目标流中没有标记的样本,但是它们仍然产生昂贵的标记成本,因为它们需要源流的完全标记的样本。针对跨域多流分类问题中的标签短缺问题,提出了一种新的分类方法,即在处理运行前只提供很少的源数据流标签样本。我们的解决方案,即学习流处理部分地面真理(LEOPARD),是建立在一个灵活的深度聚类网络,其隐藏节点,层和集群的添加和删除动态变化的数据分布。深度聚类策略的基础是同时进行特征学习和聚类技术,从而产生聚类友好的潜在空间。领域自适应策略依赖于对抗性领域自适应技术,其中特征提取器被训练为欺骗对源流和目标流进行分类的领域分类器。我们的数值研究表明LEOPARD的有效性,它提供了改进的性能相比,突出的算法在15的24例。LEOPARD的源代码在\url{https://github.com/wengweng001/LEOPARD.git}中共享,以便进一步研究。
2022-09-04 cs.AI cs.LG
Generating a Diverse Set of High-Quality Clusterings
University of Utah(犹他大学)
我们提供了一个新的框架,用于生成多个高质量的分区(聚类)的单个数据集。我们的方法将这个问题分解为两个部分,生成许多高质量的分区,然后将这些分区分组,以获得k个代表。分解使得该方法非常模块化,并允许我们优化控制代表性分区选择的各种标准。
2011-07-29 cs.DB cs.LG
Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
Zhejiang University(浙江大学);Shanghai Innovation Institute(上海创新研究院);ByteDance Inc.(字节跳动公司)
针对现有LoRA组合方法需额外训练、合并技术未充分利用模块化导致性能下降的问题,提出LoRA-LEGO框架,通过按秩聚类将不同LoRA的最小语义单元分组为k个簇,以簇质心组装合并LoRA并优化规模,实验表明其合并性能优于现有方法。
2024-10-22 cs.AI cs.CL cs.LG
AMD-DBSCAN: An Adaptive Multi-density DBSCAN for datasets of extremely variable density
Sun Yat-sen University(中山大学);University of Nottingham(诺丁汉大学);Zhuhai Jieli Technology Co.,Ltd(珠海杰理科技有限公司)
针对传统DBSCAN在多密度数据集上聚类效果不佳的问题,提出仅需一个超参数的自适应多密度DBSCAN算法AMD-DBSCAN,通过改进参数自适应方法搜索多组参数对,引入邻居数方差衡量簇间密度差,在降低复杂度、缩短运行时间的同时提升了多密度场景聚类准确率。
2023-10-09 cs.DB cs.DC cs.LG
Assessment of image generation by quantum annealer
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);Institute for Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究所);Sigma-i Co., Ltd.(Sigma-i 有限公司)
量子退火最初是作为一种利用量子效应解决组合优化问题的方法提出的。D-Wave Systems发布了量子退火硬件的生产模型。然而,硬件中固有的噪声和各种环境因素阻碍了最佳解决方案的确定。此外,在具有弱量子涨落的区域中的冻结效应在极低的温度下产生近似遵循吉布斯-玻尔兹曼分布的输出。因此,量子退火器也可以作为伊辛自旋玻璃问题的快速采样器,并且有几项研究已经使用量子退火器研究了玻尔兹曼机器学习。以前的发展集中在比较经典计算机中的传统方法和量子退火机采样之间的所得分布的标准距离的性能。在这项研究中,我们专注于量子退火机作为生成模型的性能。为了评估其性能,我们准备了一个由先验数据集训练的神经网络给出的样本。评估结果表明,量子退火相比,经典的玻尔兹曼机器学习的方法有更高的性能。
2021-03-15 cond-mat.dis-nn cs.LG quant-ph