Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Towards Optimal Lower Bounds for k-median and k-means Coresets
Google Research(谷歌研究院);Aarhus University(奥胡斯大学);Sorbonne Université(索邦大学)
给定度量空间中的一组点,$(k,z)$聚类问题包括找到一组称为中心的$k$点,使得每个数据点到其最近中心的距离之和最小化为$z$的幂。特殊情况包括著名的k-中位数问题($z = 1$)和k-均值问题($z = 2$)。$k$ -中位数和$k$ -均值问题是现代数据分析的核心,海量数据应用已经提出了coreset的概念:输入点集的一个小(加权)子集,保留问题的任何解决方案的成本,直到乘法$(1 \pm \varepsilon)$因子,从而从大到小减少问题的输入。在本文中,我们提出了各种度量空间中的coreset的改进的下界。在有限度量组成的$n$点和加倍度量与加倍常数$D$,我们表明,任何coreset的$(k,z)$聚类必须至少包括$Ω(k \varepsilon^{-2} \log n)$和$Ω(k \varepsilon^{-2} D)$点,分别。这两个边界都与先前的上限匹配,直到polylog因子。在欧氏空间中,我们证明了$(k,z)$聚类的任何核心集必须至少由$Ω(k\varepsilon^{-2})$点组成。我们补充这些下限与coreset建设组成的最多$\tilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$点。
2022-02-25 cs.CG cs.DS cs.LG
Scalable k-Means Clustering via Lightweight Coresets
Google Brain(谷歌大脑);ETH Zurich(苏黎世联邦理工学院)
核心集是数据集的紧凑表示,使得在核心集上训练的模型与在完整数据集上训练的模型具有可证明的竞争力。因此,它们已成功地用于将聚类模型扩展到大规模数据集。虽然现有的方法一般只允许乘法近似误差,我们提出了一个新的概念,轻量级coresets,允许乘法和加法误差。我们提供了一个单一的算法来构建轻量级的coresets的k-means聚类以及软和硬Bregman聚类。该算法比现有的结构快得多,并行性好,所得的coresets更小。我们进一步表明,所提出的方法自然推广到统计k均值聚类,与现有的结果相比,它可以用来计算较小的总结经验风险最小化。在大量的实验中,我们证明了该算法优于现有的数据摘要策略在实践中。
2018-06-06 cs.DC cs.DS cs.LG
Complexity and Approximation of the Fuzzy K-Means Problem
Paderborn University(帕德博恩大学)
模糊$K$ -均值问题是将经典的$K$ -均值问题推广到软聚类,即每个点在某种程度上属于每个簇的聚类。虽然流行在实践中,在此之前的模糊$K$ -手段问题还没有从复杂性理论或算法的角度进行了研究。我们表明,模糊$K$ -手段的最优解不能,在一般情况下,由输入点的自由基表示。令人惊讶的是,这已经适用于一维空间中非常简单的输入。因此,不能期望精确地计算最优解。给出了模糊$K$ -均值问题的第一个$(1+ε)$ -近似算法。首先,我们提出了一个确定性的近似算法,其运行时间是多项式的$N$和线性的维度$D$的输入集,给定$K$是常数,即多项式时间近似算法给定一个固定的$K$。我们实现这一结果表明,对于每个软聚类存在一个硬聚类具有可比性。其次,通过使用已知的技术从coreset构造的$K$ -手段的问题,我们开发了一个确定性的近似算法,运行时间几乎线性$N$,但指数的维度$D$。我们补充这些结果与随机算法,它对输入集施加了一些自然的限制,其运行时间是可比的$K$ -手段,即线性的点的数量和尺寸,但指数的聚类数的一些最有效的近似算法。
2015-12-18 cs.DS cs.LG
Performance analysis of coreset selection for quantum implementation of K-Means clustering algorithm
The University of Melbourne(墨尔本大学)
预计量子计算将提供巨大的计算能力,可以为许多数据科学问题提供有效的解决方案。然而,目前这一代的量子器件体积小且有噪声,这使得处理与实际问题相关的大型数据集变得困难。核心集选择的目的是规避这个问题,减少输入数据的大小,而不损害的准确性。最近的工作表明,核心集选择可以帮助实现量子K-Means聚类问题。然而,核集选择对量子K-Means聚类性能的影响尚未被探索。在这项工作中,我们比较了两种coreset技术(BFL 16和ONESHOT)的相对性能,以及在每种情况下coreset构造的大小,相对于各种数据集和布局的优点和限制coreset选择在实现量子算法。我们还研究了去极化量子噪声和比特翻转误差的影响,并实现了量子自动编码器技术,以克服噪声的影响。我们的工作为未来在近期量子设备上实现数据科学算法提供了有用的见解,其中问题大小已通过核心集选择减少。
2022-06-16 cs.ET cs.LG quant-ph
Clustering by Contour coreset and variational quantum eigensolver
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);School of Physics, The University of Melbourne(墨尔本大学物理学院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61)
针对现有量子k-means聚类方法准确率与一致性不足、缺乏量子定制核心集技术的问题,提出结合VQE与专为量子算法设计的Contour coreset的聚类方法,实验证明其性能优于现有QAOA加通用核心集的方案。
2023-12-06 cs.LG quant-ph
Coreset Clustering on Small Quantum Computers
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
许多用于机器学习的量子算法需要访问叠加的经典数据。然而,对于许多自然数据集和算法,加载叠加的数据集所需的开销可以消除任何潜在的量子加速超过经典算法。Harrow最近的工作在混合量子经典计算中引入了一种新的范式来解决这个问题,依赖于coreset来最小化量子算法的数据加载开销。我们研究使用这种范式来执行$k$ -意味着集群在近期量子计算机,通过铸造它作为一个QAOA优化实例在一个小coreset。我们比较这种方法的性能,经典的$k$ -均值聚类数值和实验IBM Q硬件。我们能够找到的数据集coreset工作以及相对于随机抽样,QAOA可能会超过标准的$k$ -手段coreset。然而,找到同时具有核心集和QAOA的数据集--这对于超过$k$的量子优势是必要的--意味着整个数据集--似乎是具有挑战性的。
2020-04-30 cs.LG quant-ph
Determinantal Point Processes for Coresets
CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(GIPSA实验室)
当面对一个数据集太大而不能一次处理时,一个明显的解决方案是只保留其中的一部分。在实践中,这有各种各样的不同形式,其中“核心集”特别有吸引力。核心集是原始数据的(小)加权样本,具有以下保证:成本函数可以在较小的集合上而不是较大的集合上进行评估,具有较低的相对误差。对于某些类型的问题,通过仔细选择抽样分布(基于所谓的“敏感性”度量),iid随机抽样已经成为有效构建核心集的最成功的方法之一。然而,独立样本有时过于冗余,人们可能希望实施多样性会带来更好的性能。困难在于证明非iid样本的coreset性质。我们发现,coreset属性持有的样本形成的决定点过程(DPP)。DPP是有趣的,因为他们是一个罕见的例子,排斥点过程与听话的理论性质,使我们能够证明一般coreset定理。我们将我们的研究结果的k-均值和线性回归的问题,并给出了广泛的经验证据表明,小的额外的计算成本的DPP采样来优越的性能超过其iid对应。独立的利益,我们还提供了分析公式的灵敏度在线性回归和1-均值的情况下。
2020-01-06 cs.DS cs.LG stat.ML
Improved Coresets for Euclidean $k$-Means
给定$d$维度中的一组$n$点,欧几里德$k$ -均值问题(分别为:欧几里德$k$ -中值问题)包括找到$k$中心,使得平方距离(分别为距离之和)被最小化。在大数据环境中处理这个问题最流行的方法是首先通过计算一个称为coreset的加权子集来压缩数据,然后在这个子集上运行任何算法。核心集的保证是,对于任何候选解决方案,核心集成本与原始实例成本之间的比率小于$(1\pm \varepsilon)$因子。当前技术水平的核心集大小是$\tilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$(用于Euclidean $k$ -均值)和$\tilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$(用于Euclidean $k$ -中值)。这两个问题最著名的下界是$Ω(k \varepsilon^{-2})$。本文改进了$k$ -means的上界$\tilde O(\min(k^{3/2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$和$k$ -median的上界$\tilde O(\min(k^{4/3} \cdot \varepsilon^{-2},k\cdot \vareps…
2022-11-16 cs.CG cs.LG
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China(中国科学技术大学);ByteDance AI Lab(字节跳动人工智能实验室)
在许多机器学习任务中,处理大规模数据的常见方法是构建小摘要,{ \em e.g.} coreset,它可以有效地表示原始输入。然而,现实世界的数据集通常包含离群值,并且大多数现有的coreset构造方法对离群值没有弹性(特别是,离群值可以由对抗性攻击者在空间中任意定位)。在本文中,我们提出了一种新的鲁棒coreset方法,用于{ \em continuous-and-bounded learning}问题(具有离群值),其中包括机器学习中广泛的流行优化目标,{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外,我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知,这是第一个强大的和完全动态的coreset建设方法,这些优化问题。另一个亮点是,我们的核心集大小可以取决于参数空间的双倍维数,而不是目标函数的VC维数,这可能非常大,甚至难以计算。最后,我们在真实世界的数据集上进行实验,以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML
Coresets for Estimating Means and Mean Square Error with Limited Greedy Samples
University of California San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
在许多情况下,为每个数据点收集函数值可能非常昂贵,并且随机采样忽略了底层数据中的任何结构。我们引入了一个可扩展的优化算法,没有校正步骤(与弗兰克-沃尔夫及其变体相比),梯度上升的变种,在图中的coreset选择,greatly选择被认为是最重要的样本的顶点的加权子集。我们的算法通过仅在这些顶点处取加权和来估计函数的均值,并且我们可证明地限制了图中所选顶点的位置和权重方面的估计误差。此外,我们考虑的情况下,节点有不同的选择成本,并提供低成本的选择coresets的质量上的界限。我们证明了我们的算法的好处图卷积神经网络,点云和结构化图的半监督节点分类,以及传感器的位置,放置传感器的成本取决于位置的放置。我们还阐明,我们提出的方法的经验收敛速度比随机选择和各种聚类方法,同时仍然尊重传感器的放置成本。本文的结论与开发的算法在合成和真实数据集上的验证,表明它优于当前最先进的。
2020-06-22 cs.LG stat.ML
Coresets for Clustering with Fairness Constraints
EPFL(洛桑联邦理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Yale University(耶鲁大学)
在最近的一项工作中,[19]研究了经典聚类问题的以下“公平”变体,例如$k$ -means和$k$ -median:给定$\mathbb{R}^d$中的一组$n$数据点和与每个数据点相关的二进制类型,目标是对点进行聚类,同时确保每个聚类中每个类型的比例与其基本比例大致相同。随后的工作集中在将此设置扩展到每个数据点具有多个非分离的敏感类型(如种族和性别)时[6],或者解决上述工作中的聚类算法无法很好地扩展的问题。本文的主要贡献是一种公平性约束的聚类方法,涉及多个,非不相交的类型,这也是可扩展的。我们的方法是基于新的构造coreset:为$k$ -中位数目标,我们构建了一个$\varepsilon$ -coreset的大小$O(Γk^2 \varepsilon^{-d})$,其中$Γ$是不同的集合的组,一个点可能属于的数量,并为$k$ -手段目标,我们展示了如何构建一个$\varepsilon$ -coreset的大小$O(Γk^3\varepsilon^{-d-1})$。前一个结果是针对具有$k$ -中值目标的公平聚类问题的第一个已知核心集构造,后一个结果消除了对完整数据集大小的依赖性,如[39]中所述,并将其推广到多个非不相交类型。将我们的核心集插入现有的公平聚类算法中,如[5],在几种情况下会产生最快的算法。从经验上讲,我们评估我们的方法在\textbf{Adult},\text…
2019-12-17 cs.CG cs.DS cs.LG
Linear time small coresets for k-mean clustering of segments with applications
University of Haifa(海法大学);Ben-Gurion University of the Negev(内盖夫本·古里安大学)
本文提出了一种线性时间算法,用于构造小核心集,以高效解决段的k均值聚类问题,并在实时视频跟踪中验证了其有效性。
2025-11-20 cs.CG cs.CV cs.LG
On the Sensitivity of Shape Fitting Problems
University of Iowa(爱荷华大学)
在这篇文章中,我们研究形状拟合问题,$ε$ -coresets,和总灵敏度。本文重点研究了$(j,k)$ -投影聚类问题,包括$k$ -中值/ $k$ -均值、$k$ -线性聚类、$j$ -子空间近似和整数$(j,k)$ -投影聚类问题.我们得到了这些问题的总灵敏度的上界,并获得$ε$ -coresets使用这些上界。使用降维类型的参数,我们能够大大简化早期的$k$ -中位数/ $k$ -均值聚类问题的总灵敏度的结果,并获得正加权$ε$ -coresets的几个变种的$(j,k)$ -投影聚类问题。我们还扩展了较早的结果$ε$ -coresets的整数$(j,k)$ -投射聚类问题在固定的维度的情况下,高维。
2012-10-10 cs.CG cs.LG
Distributed k-Means and k-Median Clustering on General Topologies
Georgia Institute of Technology(佐治亚理工学院)
本文提供了两个流行的中心为基础的目标,k-median和k-means分布式聚类的新算法。这些算法具有可证明的保证,并改善了现有方法的通信复杂性。遵循\cite{har2004coresets}聚类的经典方法,我们将寻找低成本聚类的问题归结为寻找小规模核心集的问题。我们提供了一个分布式的方法来构建一个全球coreset,提高了以前的方法,通过降低通信复杂性,并在一般的通信拓扑结构。在大规模数据集上的实验结果表明,该方法优于其他基于核集的分布式聚类算法。
2020-01-25 cs.DC cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich(苏黎世联邦理工学院)
核心集是数据集的有效表示,使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此,它们已成功地用于将聚类模型(如K-Means和高斯混合模型)扩展到大规模数据集。然而,到目前为止,算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的,实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施,如平方欧几里德距离,马哈拉诺比斯距离,KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系,相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性,在实证评估。
2016-05-02 cs.LG stat.ML
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova(帕多瓦大学)
研究k均值聚类问题,利用预测近似输入点重要性以降低基于敏感性的方法运行时间,证明相关理论对更粗敏感性近似成立,提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Coresets for Vector Summarization with Applications to Network Graphs
University of Haifa(海法大学);MIT(麻省理工学院)
我们提供了一种确定性数据汇总算法,其通过$O(1/\eps)$向量的\emph{subset}的加权平均$\tilde{p}$来近似$\REAL^d$中的$n$向量的集合$P$的平均值$\bar{p}=\frac{1}{n}\sum_{p\in P} p$,即,独立于$n$和$d$。我们证明了$\bar{p}$和$\tilde{p}$之间的平方欧氏距离至多是$\eps$乘以$P$的方差。我们使用该算法来保持来自无界流的向量的近似和,使用独立于$d$的存储器,并且迄今为止在$n$向量中是对数的。我们的主要应用是从底层数据交换中提取并以紧凑的方式表示用户的朋友组和活动摘要。例如,在移动网络的情况下,我们可以使用GPS轨迹来识别会议,在社交网络的情况下,我们可以使用信息交换来识别朋友群。我们的算法可证明地识别{ \it重打击}项目的接近(邻接)矩阵。Heavy Hitters可用于从底层数据交换中提取并以紧凑的方式表示用户的朋友组和活动摘要。我们评估了几个大的数据集上的算法。
2017-06-17 cs.LG
Fuzzy K-Means Clustering without Cluster Centroids
School of Telecommunications Engineering, Xidian University(西安电子科技大学电信工程学院)
本文提出一种无聚类中心的模糊K-Means聚类算法,仅通过距离矩阵计算隶属度,消除对初始中心的依赖并增强鲁棒性,在真实数据集上验证了有效性。
2024-11-07 cs.LG
Hyperbolic Fuzzy C-Means with Adaptive Weight-based Filtering for Efficient Clustering
Indian Statistical Institute, Kolkata, India(印度统计研究所)
针对传统模糊C均值算法在非欧几里得空间中的局限性,提出HypeFCM算法,结合双曲几何与权重过滤机制,在Poincaré Disc模型中迭代优化聚类,显著提升了非欧几里得数据集的聚类性能。
2025-08-12 cs.LG
FCM-RDpA: TSK Fuzzy Regression Model Construction Using Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief
Huazhong University of Science and Technology(华中科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
为了有效地优化TSK模糊系统的回归问题,最近提出了一种基于正则化、DropRule和AdaBound的小批量梯度下降(MBGD-RDA)算法.本文进一步提出了FCM-RDpA,它通过用模糊c均值聚类取代规则初始化中的网格划分方法来改进MBGD-RDA,以及Powerball AdaBelief的AdaBound,它集成了最近提出的Powerball梯度和AdaBelief,以进一步加快和稳定参数优化。在22个不同规模和维度的回归数据集上进行的大量实验验证了FCM-RDpA相对于MBGD-RDA的优越性,特别是当特征维数较高时。我们还提出了一个额外的方法,FCM-RDpAx,进一步提高FCM-RDpA通过使用增强功能的规则的前因和后果。
2020-11-30 cs.AI cs.LG
Fuzzy Clustering with Similarity Queries
Tel Aviv University(特拉维夫大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
模糊或软$k$ -均值目标是众所周知的$k$ -均值问题的流行推广,将$k$ -均值的聚类能力扩展到不确定、模糊和难以聚类的数据集。在本文中,我们提出了一个半监督主动聚类框架,允许学习者与Oracle(领域专家)交互,询问某组所选项目之间的相似性。在此框架下,我们研究了聚类的查询和计算复杂性。我们证明,有几个这样的相似性查询,使人们能够得到一个多项式时间的近似算法,以其他形式的NP难问题。特别是,我们提供了模糊聚类算法,在这种设置,要求$O(\mathsf{poly}(k)\log n)$相似性查询和多项式时间复杂度,其中$n$是项目的数量运行。模糊$k$ -均值目标是非凸的,其中$k$ -均值目标是一个特殊情况,它等价于非负矩阵分解等一般非凸问题.无处不在的最小化算法(或交替最小化算法)可能会陷入局部最小值。我们的研究结果表明,通过一些相似性查询,问题变得更容易解决。最后,我们在真实世界的数据集上测试了我们的算法,显示了它们在真实世界应用中的有效性。
2021-11-04 cs.DS cs.LG stat.ML
Hybrid Fuzzy-ART based K-Means Clustering Methodology to Cellular Manufacturing Using Operational Time
West Bengal University of Technology(西孟加拉邦理工大学);Pailan College of Management & Technology(派兰管理与技术学院)
提出了一种新的混合模糊ART的K均值聚类技术来解决的零件机器分组的单元化制造系统考虑操作时间的问题。所提出的技术的性能进行了测试,从公开文献中的问题和结果进行比较,现有的聚类模型,如简单的K-means算法和修改ART 1算法,使用一个有效的修改后的性能指标,称为修改后的分组效率(MGE)在文献中发现。实验结果表明,该算法具有较好的性能.这项研究的新颖之处在于简单而有效的方法,以最少的计算工作量和时间,为车间经理提供快速的解决方案。
2012-12-20 cs.LG
Deep Autoencoder-based Fuzzy C-Means for Topic Detection
Universitas Indonesia(印度尼西亚大学)
主题检测是从文本数据集合中确定主题的过程。主题检测方法之一是基于聚类的方法,其假设质心是主题。聚类方法的优点是可以处理具有否定表示的数据。因此,聚类方法允许与更广泛的表示学习方法相结合。在本文中,我们采用深度学习通过使用深度自动编码器和模糊c均值(称为基于深度自动编码器的模糊c均值(DFCM))进行主题检测。自动编码器的编码器执行低维表示学习。模糊c均值对低维表示进行分组以识别质心。自动编码器的解码器将质心转换回原始表示,以解释为主题。我们的模拟表明,DFCM提高了基于特征空间的模糊c均值(EFCM)的一致性得分,并且与领先的标准方法,即,非负矩阵分解(NMF)或潜在狄利克雷分配(LDA)。
2021-02-02 cs.CL cs.IR cs.LG
Implementation of Fuzzy C-Means and Possibilistic C-Means Clustering Algorithms, Cluster Tendency Analysis and Cluster Validation
International University of Business Agriculture and Technology(国际商业农业与技术大学);Mississippi State University(密西西比州立大学);Rajshahi College(拉杰沙希学院)
在本文中,几个二维聚类方案。在这些情况下,软分区聚类算法(模糊C均值(FCM)和可能性C均值(PCM))的应用。然后,使用VAT可视化地调查聚类趋势,然后按照检查聚类有效性的顺序,使用三种类型的指标(例如,PC、DI和DBI)。在观察聚类算法之后,很明显,它们中的每一个都有其局限性;然而,PCM比FCM对噪声更鲁棒,因为在FCM的情况下,噪声点必须被视为任何聚类的成员。
2019-05-12 cs.CV cs.LG
Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
我们认为$k$ -均值聚类问题中的动态流设置,其中点从离散欧几里德空间$\{1, 2, \ldots, Δ\}^d$可以动态插入或删除的数据集。对于这个问题,我们提供了一个一遍coret构造算法使用空间$\tilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$,其中$k$是目标中心数。据我们所知,这是$k$的第一个动态几何数据流算法-意味着在$k$中使用空间多项式维数和近似最优(线性)。
2019-02-07 cs.DS cs.LG stat.ML
ck-means, a novel unsupervised learning method that combines fuzzy and crispy clustering methods to extract intersecting data
聚类数据是无监督机器学习领域的一个流行特征。大多数算法的目标是找到最好的方法来提取一致的数据集群,但很少有人打算聚类数据,共享两个或更多的功能之间的相同的交集。本文提出了一种方法来做到这一点。这种新方法的主要思想是使用模糊C均值(FCM)算法生成模糊聚类的数据。第二部分涉及应用一个筛选器,该筛选器选择一系列最小和最大成员资格值,并强调边界数据。μ参数定义此范围的幅度。最后,它使用FCM生成的隶属度值应用k-means算法。自然地,具有相似成员值的数据将在新的脆簇中重新分组。该算法还能够找到最佳数量的聚类的FCM和k-means算法,根据一致性的聚类的轮廓指数(SI)。结果是一个数据和聚类的列表,这些数据和聚类对共享同一交集(与两个或多个要素相交)的数据共享进行重组。CK-均值允许提取不自然地落入相同聚类中而是在两个聚类或更多聚类的交叉处的非常相似的数据。该算法也总是发现自己的最佳数量的集群。
2022-06-17 cs.LG
Creating Personalised Energy Plans. From Groups to Individuals using Fuzzy C Means Clustering
University of Nottingham(诺丁汉大学)
英国电力市场的变化意味着国内用户将被要求改变他们的使用行为,以维持供应。聚类允许将在家庭级别收集的使用概况聚类成组,并分配可用于针对营销活动的定型概况。模糊C均值聚类通过允许每个家庭成为许多组的成员来扩展这一点,因此提供了根据每个组的成员资格程度向家庭提供个性化服务的机会。此外,还可以提供关于用户行为变化如何使他们朝着更“绿色”或成本效益更高的常规使用方式发展的反馈。
2013-07-04 cs.CE cs.LG
Adaptive Fuzzy C-Means with Graph Embedding
Northwestern Polytechnical University(西北工业大学);China Telecom Corp Ltd(中国电信股份有限公司)
提出一种自适应模糊C均值聚类模型,自动学习隶属度超参数并处理非高斯簇,可退化为广义高斯混合模型,实验验证有效性。
2024-05-22 cs.LG
Accelerated Fuzzy C-Means Clustering Based on New Affinity Filtering and Membership Scaling
Xidian University(西安电子科技大学);University of Alberta(阿尔伯塔大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
模糊C均值(FCM)是一种广泛使用的聚类方法。然而,FCM及其许多加速变体在聚类过程的中后期效率较低。在该阶段中,所有样本都参与了非亲和中心的更新,大部分样本的模糊隶属度仍然通过计算样本-中心距离来更新,但样本的隶属度没有改变。这些都导致算法收敛速度慢。在本文中,一个新的亲和过滤技术的发展,以识别一个完整的非亲和中心的每个样本与低计算。然后,提出了一种新的隶属度缩放技术,将每个样本与其非亲和中心之间的隶属度设置为0,并保持其他样本的模糊隶属度。将这两种技术相结合,提出了基于新的仿射滤波和隶属度缩放的模糊聚类算法(AMFCM),以加速FCM的整个收敛过程。在合成数据集和真实数据集上的实验结果表明了该算法的可行性和有效性。与现有的算法相比,AMFCM具有更快、更有效的特点。例如,AMFCM将FCM的迭代次数平均减少了80%。
2023-02-14 cs.LG
Fuzzy c-Means Clustering for Persistence Diagrams
University of Southampton(南安普顿大学);University of Oxford(牛津大学);Harvard University(哈佛大学);University of Warwick(华威大学)
持久性图简洁地表示了点云的拓扑结构,同时具有强大的理论保证,但如何将这些信息最好地集成到机器学习工作流程中的问题仍然是开放的。在本文中,我们扩展了无处不在的模糊c均值(FCM)聚类算法的持久性图的空间,使无监督学习,自动捕获的拓扑结构的数据,而无需拓扑先验知识或额外的处理持久性图,许多其他技术需要。我们给出了理论上的收敛保证,对应于欧几里德的情况下,并实证证明我们的算法捕捉拓扑信息,通过模糊RAND指数的能力。最后,我们在两个数据集上进行了实验,这些数据集利用了我们算法的拓扑和模糊性质:机器学习中的预训练模型选择和材料科学中的晶格结构。由于预先训练的模型可以在多个任务上表现良好,因此选择最佳模型是一个自然模糊的问题;我们证明了模糊聚类持久性图允许使用决策边界的拓扑结构进行模型选择。在材料科学中,我们首次对转换后的晶格结构数据集进行分类,而概率隶属度值使我们能够在进一步研究需要昂贵的实验室时间和专业知识的情况下对候选晶格进行排名。
2021-02-15 cs.LG stat.ML
Possibilistic Fuzzy Local Information C-Means with Automated Feature Selection for Seafloor Segmentation
University of Florida(佛罗里达大学);University of Missouri(密苏里大学)
提出了一种将侧视合成孔径声纳(SAS)图像分割成不同海底区域的可能性模糊局部信息C均值(PPLICM)方法。在这项工作中,我们调查并提出了一个自动的特征选择的SAS图像分割方法的结果。将根据选择的定量聚类有效性标准评估所选特征和从图像中得到的分割,并且将使用达到期望阈值的特征子集进行分割过程。
2021-10-14 cs.CV cs.LG
Interval Type-2 Enhanced Possibilistic Fuzzy C-Means Clustering for Gene Expression Data Analysis
Boston University(波士顿大学);University of Toronto(多伦多大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
FCM和PCM聚类方法在模式识别和数据聚类中有着广泛的应用。然而,FCM是敏感的噪声和PCM偶尔产生重合的集群。PFCM是PCM模型的扩展,结合了FCM和PCM,但该方法仍然存在PCM和FCM的缺点。本文针对PFCM算法的不足,提出了增强可能性模糊c均值(EPFCM)聚类算法。EPFCM仍然对噪声敏感。因此,我们提出了一个区间类型2增强的可能性模糊c均值(IT2EPFCM)聚类方法,利用两个模糊因子$(m_1, m_2)$的模糊成员和两个模糊因子$(θ_1, θ_2)$的可能性典型性。我们的计算结果表明,所提出的方法相比,在文献中的几个国家的最先进的技术的优越性。最后,将所提出的方法应用于微阵列基因表达数据的分析。
2021-11-24 cs.CV cs.LG q-bio.GN
Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)
Maastricht University(马斯特里赫特大学)
联邦学习(FL)是一种设置,其中具有分布式数据的多方协作训练联合机器学习(ML)模型,同时将所有数据保持在各方的本地。联邦聚类是FL中的一个研究领域,它关注的是将全局相似的数据分组在一起,同时保持所有数据的本地性。我们描述了这个研究领域本身是如何引起人们的兴趣的,或者它如何帮助解决非独立同一分布(i.i.d.)等问题。在监督FL框架中的数据。这项工作的重点,但是,是一个扩展的联邦模糊$c$ -手段算法的FL设置(FFCM),对联邦聚类的贡献。我们提出了两种方法来计算全球聚类中心,并通过具有挑战性的数值实验来评估其行为。我们观察到,即使在具有挑战性的情况下,其中一种方法也能够识别出良好的全球集群,但也承认许多挑战仍然存在。
2022-01-18 cs.LG
Multi-class granular approximation by means of disjoint and adjacent fuzzy granules
Ghent University(根特大学);University of Catania(卡塔尼亚大学);University of Portsmouth(朴茨茅斯大学);Poznań University of Technology(波兹南理工大学);Polish Academy of Sciences(波兰科学院)
在粒计算中,模糊集可以由尽可能接近原始模糊集w.r.t.的粒可表示集来近似。一个给定的接近度。这样的集合被称为粒度近似。在这篇文章中,我们介绍了不相交和相邻的颗粒的概念,我们研究了新的定义如何影响颗粒近似。首先,我们表明,新的概念是重要的二进制分类问题,因为它们有助于保持决策区域分离(不相交的颗粒),并在同一时间,以覆盖尽可能多的属性空间(相邻颗粒)。稍后,我们考虑多类分类问题的粒度近似,从而定义了多类粒度近似。最后,我们展示了如何有效地计算多类粒度近似的Eukasiewicz模糊连接。我们还提供了图形插图,以便更好地理解所介绍的概念。
2022-02-15 cs.AI cs.LG
Fuzzy soft rough K-Means clustering approach for gene expression data
Periyar University(佩里亚尔大学)
聚类是医学诊断中广泛使用的数据采掘技术之一。聚类可以被认为是最重要的无监督学习技术。大多数聚类方法基于距离对数据进行分组,很少有基于相似性的聚类方法。聚类算法将基因表达数据分类成簇,并且以有效的方式将功能相关的基因分组在一起。分组被构造成使得同一集群的成员之间的关系程度强,而不同集群的成员之间的关系程度弱。在这项工作中,我们专注于具有相似的表达模式的基因之间的相似性关系,以便从所提出的模糊软粗糙K-均值算法可以做出相应的和简单的分析决策。该算法是基于模糊软集和粗糙集理论的。比较分析所提出的工作与基准算法,如K-Means和粗糙K-Means和效率的所提出的算法在这项工作中说明了使用各种聚类有效性措施,如DB指数和谢贝尼指数。
2012-12-21 cs.CE cs.LG
Variable feature weighted fuzzy k-means algorithm for high dimensional data
Indian Institute of Technology(印度理工学院)
针对高维数据聚类中特征相关性与重要性差异问题,提出通过两个熵项修改目标函数的可变特征加权模糊k均值算法,提升聚类性能并在多数据集上验证了其有效性。
2025-02-13 cs.LG stat.ML
A Visual Quality Index for Fuzzy C-Means
Université de Lyon(里昂大学);Lyon 2(里昂第二大学);ERIC EA 3083(ERIC EA 3083实验室)
聚类分析广泛应用于机器学习和数据采掘领域。模糊聚类是一种特殊的方法,它认为一个数据点可以属于多个聚类。模糊聚类有助于获得灵活的集群,如文本分类等应用程序中所需的。聚类算法的性能很大程度上取决于聚类的数量,估计最佳聚类数量是一项具有挑战性的任务。质量指数有助于估计最佳的聚类数。然而,没有质量指标可以获得不同数据集的准确聚类数量。因此,在本文中,我们提出了一个新的聚类质量指数与一个可视化的,基于图形的解决方案,帮助选择模糊分区的聚类的最佳数量。此外,我们通过对各种数值真实世界和人工数据集上的最先进的质量指标进行广泛的比较实验来验证我们的理论结果。
2018-06-05 cs.LG stat.ML
A novel framework of the fuzzy c-means distances problem based weighted distance
Pemalang District Government(北加浪安区政府);Universitas Muhammadiyah Semarang(三宝垄穆罕默迪亚大学)
聚类是数据采掘的重要内容之一,在模式识别和图像分割中有着广泛的应用。模糊C均值(FCM)是最常用的聚类算法,它被证明是高效、快速和易于实现的,然而FCM使用的是欧氏距离,这往往会导致聚类错误,特别是在处理多维和噪声数据时。近年来,研究者们提出了许多距离度量来提高FCM算法的性能,其中大多数研究者提出了加权距离。提出了一种改进FCM算法性能的Canberra加权距离。使用UCI数据集的实验结果表明,该方法优于原方法和其他聚类方法。
2019-07-31 cs.LG stat.ML
A New Validity Index for Fuzzy-Possibilistic C-Means Clustering
在一些复杂的数据集中,由于噪声数据点和离群值的存在,聚类有效性指标在确定最佳聚类数时可能会给出相互矛盾的结果。本文提出了一种新的模糊可能性c均值聚类的有效性指标称为模糊可能性(FP)指标,它可以很好地工作在存在不同的形状和密度的集群。此外,FPCM像大多数聚类算法一样容易受到一些初始参数的影响。在这方面,除了聚类的数量之外,FPCM还需要对模糊度和典型度进行先验选择。因此,我们提出了一个有效的程序来确定其最佳值。所提出的方法已经使用几个合成和真实世界的数据集进行了评估。最后的计算结果表明,所提出的方法相比,在文献中的几个著名的模糊有效性指标的能力和可靠性。最后,将该方法应用于微阵列基因表达数据聚类和医学图像分割,验证了该方法的实际应用能力。
2020-05-19 cs.AI cs.CV cs.LG
A Centroid Auto-Fused Hierarchical Fuzzy c-Means Clustering
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
与k-means和高斯混合模型(GMM)一样,具有软划分的模糊c-均值(FCM)也成为一种流行的聚类算法,并且仍然被广泛研究。然而,这些算法及其变种仍然遭受一些困难,如确定的最佳数量的集群,这是一个关键因素的聚类质量。克服这一困难的一个常见方法是使用试验和验证策略,即,遍历从大整数$\sqrt{n}$到2的每一个整数,直到找到某个聚类有效性指标的峰值所对应的最优数。但是,它几乎是不可能的,自然地构建一个自适应凝聚的层次聚类结构,使用的尝试和验证策略。甚至可能的是,现有的不同有效性指标也导致不同数量的聚类。为了有效地缓解问题,而凸聚类的动机,在本文中,我们提出了一个质心自动融合层次模糊c-均值方法(CAF-HFCM)的优化过程可以自动凝聚,形成一个集群层次,更重要的是,产生一个最佳的集群数量,而不诉诸任何有效性指标。虽然最近提出的鲁棒学习模糊c均值算法(RL-FCM)也可以自动获得最佳聚类数,而不需要任何有效性指标,但涉及到的3个超参数需要进行昂贵的调整,相反,我们的CAF-HFCM只涉及到1个超参数,使得相应的调整相对容易,更具操作性。此外,作为我们的优化目标的一个额外的好处,CAF-HFCM有效地降低了聚类性能的初始化的敏感性。此外,我们提出的CAF-HFCM方法能够直接扩展到各种变体的FCM。
2020-04-27 cs.LG stat.ML
MaxMin Linear Initialization for Fuzzy C-Means
Université de Lyon(里昂大学);ERIC EA 3083;ArAr UMR 5138
聚类是数据科学中一个广泛的研究领域。聚类的目的是发现组并识别数据集中有趣的模式。Crisp(硬)聚类认为每个数据点属于一个且仅属于一个聚类。然而,它是不够的,因为一些数据点可能属于几个聚类,就像文本分类中的情况一样。因此,我们需要更灵活的集群。模糊聚类方法,其中每个数据点可以属于几个集群,是一个有趣的替代方案。然而,播种迭代模糊算法,以实现高质量的聚类是一个问题。本文提出了一种新的线性有效的初始化算法MaxMinLinear来处理这个问题。然后,我们通过对各种数值真实世界和人工数据集的广泛实验来验证我们的理论结果。我们还测试了几个有效性指标,包括我们提出的一个新的有效性指标,转换标准化模糊差(TSFD)。
2018-08-01 cs.DB cs.LG stat.ML
Comparison of Possibilistic Fuzzy Local Information C-Means and Possibilistic K-Nearest Neighbors for Synthetic Aperture Sonar Image Segmentation
University of Florida(佛罗里达大学);University of Missouri(密苏里大学)
合成孔径声纳(SAS)图像可以生成高分辨率的海底图像。因此,分割算法可用于将图像划分为不同的海底环境。在本文中,我们比较了两种可能性分割方法。可能性方法允许检测新的或异常的环境以及已知的类的能力。可能性模糊局部信息C均值(PPLICM)算法已被应用于分割SAS图像。此外,可能性K最近邻(PKNN)算法已被用于其他领域,如地雷探测和高光谱图像。在本文中,我们比较了分割性能的半监督方法,使用PFLICM和监督方法,使用可能性K-NN。我们包括多个SAS图像的最终分割结果和每个算法的定量评估。
2019-04-01 cs.LG eess.IV stat.ML
A CEFR-Inspired Classification Framework with Fuzzy C-Means To Automate Assessment of Programming Skills in Scratch
Universidad Rey Juan Carlos(雷昂卡洛斯大学)
提出一种基于CEFR的Scratch项目评估框架,使用模糊C均值聚类对200万+项目分级,识别B2瓶颈并引入分类确定性指标以平衡自动反馈与人工审核。
2026-06-18 cs.AI cs.CY cs.LG