Fast Kernel k-means Clustering Using Incomplete Cholesky Factorization
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
基于核的聚类算法可以识别和捕捉数据集中的非线性结构，从而可以获得比线性聚类更好的性能。然而，计算和存储整个核矩阵占用大量内存，这是基于核的聚类很难处理大规模的数据集。在本文中，我们采用不完全Cholesky分解加速核聚类和节省内存空间。提出的核$k$ -均值聚类的核心思想是，我们近似的低秩矩阵和转置的产品的整个核矩阵使用不完全Cholesky分解。然后将线性$k$均值聚类应用于低秩矩阵的转置的列。我们分析和经验表明，该算法的性能是类似的内核$k$均值聚类算法，但我们的方法可以处理大规模的数据集。
2020-02-07 cs.LG stat.ML
Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
尽管取得了显著的进步，仍然有三个限制，以前的多视图聚类算法。首先，它们通常遭受高计算复杂性，限制了它们对大规模数据集的可行性。其次，他们通常通过一级融合来融合多视图信息，忽略了多级融合的可能性。第三，经常需要特定于发动机的超参数调整，这进一步削弱了它们的实用性。鉴于此，我们提出了一种快速多视图聚类集成（FastMICE）方法。特别地，提出了随机视图组的概念来捕获通用的视图之间的关系，通过该混合早期-晚期融合策略被设计为能够实现高效的多阶段融合。随着多个视图扩展到许多视图组，三个层次的多样性（w.r.t.特征、锚点和邻居）被联合利用来在早期融合中构造视图共享二分图。然后，通过快速图划分得到一组不同视图组的多样性基聚类，并将其进一步构造成统一的二分图，用于融合后期的最终聚类.值得注意的是，FastMICE具有几乎线性的时间和空间复杂度，并且没有特定于磁盘的调优。在22个多视图数据集上的实验证明了它在可扩展性（对于非常大的数据集），优越性（聚类性能）和简单性（要应用）方面的优势。代码可用：https://github.com/huangdonghere/FastMICE。
2023-01-24 cs.LG stat.ML
COBRAS: Fast, Iterative, Active Clustering with Pairwise Constraints
Department of Computer Science, KU Leuven（比利时鲁汶大学计算机科学系）
基于约束的聚类算法利用背景知识来构造与特定用户的兴趣一致的聚类。这种背景知识通常是通过允许聚类系统向用户提出成对查询来获得的：这两个元素是否应该在同一个聚类中？主动聚类方法的目标是通过首先查询信息量最大的对来最小化获得良好聚类所需的查询数量。理想情况下，用户应该能够回答其中的几个查询，检查结果聚类，并重复这两个步骤，直到获得满意的结果。我们提出了COBRAS，一种主动聚类与成对的约束，适合这样一个互动的聚类过程。COBRAS中的一个核心概念是超级实例：数据中的一个局部区域，其中所有实例都被假设属于同一个集群。COBRAS构建这样的超级实例在一个自上而下的方式产生高质量的结果在聚类过程的早期，并不断完善这些超级实例，更多的成对查询，以获得更详细的clustrings.We实验证明，COBRAS产生良好的聚类在快速运行时间，使其成为一个很好的候选人的迭代聚类场景上面概述。
2018-03-29 cs.AI cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Fast Planar Correlation Clustering for Image Segmentation
University of California, Irvine（加州大学欧文分校）
我们描述了一个新的优化方案，找到高质量的相关聚类平面图，使用加权完美匹配作为一个子程序。我们的方法提供了最佳相关聚类的能量下限，通常计算速度快，在实践中很紧。我们证明了我们的算法的图像分割的问题，这种方法优于现有的全局优化技术，在最小化的目标，并具有竞争力的最先进的生产高质量的分割。
2012-08-02 cs.CV cs.DS cs.LG
COBRA: A Fast and Simple Method for Active Clustering with Pairwise Constraints
KU Leuven（鲁汶大学）
聚类本质上是不适定的：单个数据集通常存在多个有效的聚类，如果没有任何额外的信息，聚类系统就无法知道它应该生成哪个聚类。这促使在聚类中使用约束，因为它们允许用户将他们的兴趣传达给聚类系统。基于主动约束的聚类算法选择最有用的约束进行查询，旨在使用尽可能少的约束产生良好的聚类。我们提出了COBRA，一个积极的方法，第一次过集群的数据运行K-means与$K$，这是打算太大，随后合并产生的小集群成较大的成对约束的基础上。在其合并步骤中，COBRA是能够保持成对查询的数量低，最大限度地利用约束传递性和蕴涵。我们的实验表明，COBRA优于国家的最先进的聚类质量和运行时间，而不需要预先的集群数量。
2018-01-30 cs.AI cs.LG stat.ML
Fast, Linear Time Hierarchical Clustering using the Baire Metric
与标准的二次时间凝聚层次聚类算法相比，Baire度量在数据集上诱导了一个超度量，并且具有线性计算复杂度。在这项工作中，我们经验评估这种新的方法，层次聚类。我们比较基于Baire度量的层次聚类与（i）凝聚层次聚类，在算法属性方面;（ii）广义超度量，在定义方面;和（iii）快速聚类通过k-均值分割，在结果质量方面。对于后者，我们进行了深入的天文研究。在这项工作中，我们将贝尔距离应用于斯隆数字巡天的光谱和光度红移，使用了大约50万个天文物体。我们想知道（确定成本更高）光谱红移可以预测（更容易获得）光度红移的程度，即我们寻求对光度红移进行光谱回归，并且我们为此使用集群回归。
2011-06-11 cs.IR stat.AP stat.ML
A Fast Algorithm for Clustering High Dimensional Feature Vectors
Texas A&M University（得克萨斯农工大学）
提出了一种高维数据聚类算法。如果$N$对象的$P$特征在$N\times P$矩阵${\bf X}$中表示，其中$N\ll P$，则该方法基于利用$N\times N$矩阵${\bf XX}^T$的簇相关结构。因此，计算负担主要取决于要聚类的对象的数量$N$，而不是测量的特征的数量$P$。这使得该方法在高维设置中特别有用，在高维设置中，它比许多其他流行的聚类算法快得多。除了上界的潜在集群的数量，该方法是独立的调整参数。当比较$16$其他聚类算法的$32$基因组数据集与黄金标准，我们表明，它提供了最准确的集群配置的两倍以上，往往比其最接近的竞争对手。我们说明了从高引用的基因组研究的数据的方法。
2018-11-02 cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
谱聚类（SC）是最流行的聚类方法之一，往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点：从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题，我开发了一个新的近似谱聚类使用的网络生成的神经气体（GNG），在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化，而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络，降低了计算复杂度和空间复杂度，提高了聚类质量。在这项研究中，我证明了ASC与GNG有效地减少了计算时间。此外，这项研究表明，ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo（滑铁卢大学）
在本文中，我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法，但由于特征分解而具有高计算复杂性。在这项工作中，我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵，我们只考虑有限数量的点，称为地标，并计算所有数据点与地标的相似性。然后，我们给出了图的拉普拉斯矩阵的定义，使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$，其中$n$是数据点的数量，$p$是界标的数量。最后，通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Fast redshift clustering with the Baire (ultra) metric
与标准的二次时间凝聚层次聚类算法相比，Baire度量在数据集上导出了一个超度量，并且具有线性的计算复杂性。在这项工作中，我们将贝尔距离应用于斯隆数字巡天的光谱和光度红移，使用了大约50万个天文物体。我们想知道光谱红移（更容易确定）可以预测（更容易获得的）光度红移，即我们寻求回归光谱的光度红移，我们为此开发了一个聚类最近邻回归程序。
2011-04-20 astro-ph.IM cs.IR stat.ML
Exact and Approximate Hierarchical Clustering Using A*
National Institute of Standards and Technology（美国国家标准与技术研究院）；New York University（纽约大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
层次聚类是许多领域的一项重要任务。许多方法都是基于统计学和性质所产生的聚类事后研究。然而，在一些应用中，有一个自然的成本函数，可以用来表征聚类的质量。在这些情况下，层次聚类可以看作是一个组合优化问题。为此，我们引入了一种基于A* 搜索的新方法。我们克服了过大的搜索空间相结合的A* 与一种新的\emph{trellis}数据结构。这种组合产生了从具有$10^{12}$树的搜索空间扩展到$10^{15}$树的超越现有技术的精确算法，以及改进基线的近似算法，即使在包含多于$10^{1000}$树的巨大搜索空间中也是如此。我们的经验表明，我们的方法实现了比粒子物理用例和其他聚类基准的基线更高质量的结果。我们描述了我们的方法如何提供显着改善的理论界的时间和空间复杂度的A* 聚类。
2021-04-14 cs.DS cs.LG physics.data-an
Fast and explainable clustering based on sorting
The University of Manchester（曼彻斯特大学）
本文提出了一种名为CLASSIX的快速且可解释的聚类方法，通过排序数据的贪婪聚合与组合并两个阶段完成聚类，具有近线性时间复杂度，性能媲美最先进算法，并能生成直观解释。
2024-02-15 cs.DS cs.LG stat.CO
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University（阿尔托大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
核函数是一种强有力的工具，通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中，这些可以通过交叉验证进行调整，但对于聚类来说，这并不简单，通常采用分类法。在本文中，我们研究了核参数对核$k$ -均值的影响。特别是，我们推导出一个下界，紧到常数因子，低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为，网格搜索可以是无效的超参数搜索在这种情况下，并提出了一种替代算法。此外，我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明，我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
Model-free algorithms for fast node clustering in SBM type graphs and application to social role inference in animals
本文提出一类受 Lloyd 算法启发的无模型快速节点聚类算法，适用于一般边权分布的随机块模型，在保证一致性和更低估计误差阶的同时显著提升计算速度，并成功应用于动物社会角色推断。
2025-09-19 cs.LG stat.ML
Fast and Interpretable Consensus Clustering via Minipatch Learning
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
一致性聚类被广泛应用于生物信息学等领域，以提高聚类结果的准确性、稳定性和可靠性。该方法集成了来自子采样观测的多个聚类运行的聚类同现。对于大规模生物信息学数据的应用，例如从单细胞测序数据中发现细胞类型，例如，共有聚类具有两个显著的缺点：（i）由于重复应用聚类算法而导致的计算效率低下，以及（ii）缺乏对区分聚类的重要特征的可解释性。在本文中，我们通过开发IMPACC：可解释的MiniPatch自适应共识聚类来解决这两个挑战。我们的方法采用了三大创新。我们合奏集群同现从微小的子集的观察和功能，称为minipatches，从而大大减少了计算时间。此外，我们开发了自适应采样方案的观察，从而提高了可靠性和计算节省，以及自适应采样方案的功能，这导致可解释的解决方案，通过快速学习最相关的功能，区分集群。我们研究了我们的方法在合成数据和各种真正的大规模生物信息学数据集;结果表明，我们的方法不仅产生更准确和可解释的集群解决方案，但它也大大提高了计算效率相比，标准的共识聚类方法。
2021-10-18 cs.LG stat.ME stat.ML
Clustering with Fast, Automated and Reproducible assessment applied to longitudinal neural tracking
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering, Rice University（莱斯大学电气与计算机工程系）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）
在许多领域，从神经跟踪到数据库实体解析，人类专家对聚类的手动评估是快速开发可扩展和专业聚类方法的瓶颈。为了解决这个问题，我们开发了C-FAR，一种新的方法，快速，自动化和可重复的多层次聚类算法同时评估。我们的算法需要任何数量的层次聚类树作为输入，然后策略性地查询对人类的反馈，并输出这些树提名的最佳聚类。虽然它适用于任何利用成对比较进行评估的领域中的大型数据集，但我们的旗舰应用是尖峰排序中的聚类聚合步骤，即将记录中的波形（尖峰）分配给神经元的任务。在96个神经元的模拟数据上，包括漂移和25%的黑障，我们的算法产生了相对于地面真实值的接近完美的跟踪。我们的运行时线性缩放输入树的数量，使其成为一个有竞争力的计算工具。这些结果表明，C-FAR非常适合作为聚类任务中的模型选择和评估工具。
2020-03-19 cs.LG q-bio.QM stat.ML
Fast Super-Paramagnetic Clustering
我们将股票市场的相互作用映射到自旋模型，使用基于模拟退火的超顺磁聚类（SPC）算法恢复其层次结构。这是直接比较的最大似然法，我们称之为快速超顺磁聚类（f-SPC）的修改后的实现。该方法首先适用于标准玩具测试案例问题，然后在纽约证券交易所（NYSE）超过1249天的447只股票的数据集。简要地考虑了股票市场相关矩阵的信噪比。我们的结果恢复约集群代表标准的经济部门和混合的动态发光的适应性的金融市场，并提出有关的有效性行业为基础的静态金融市场分类在世界上的实时数据分析的关注。一个关键的结果是，我们表明，f-SPC最大似然解决方案收敛到超顺磁相内的熵是最大的，这些解决方案是定性更好的高维数据集。
2019-06-20 q-fin.CP stat.ML
Scalable k-Means Clustering for Large k via Seeded Approximate Nearest-Neighbor Search
University of Illinois（伊利诺伊大学）；Department of Computer Science（计算机科学系）
针对高维大规模数据集（10⁷～10⁹点，d≥100）的极大k值k均值聚类问题，提出种子近似最近邻搜索方法优化Lloyd算法的点分配步骤，解决现有方法Ω(k²)复杂度问题。
2025-02-10 cs.CG cs.LG stat.ML
Clustering is Efficient for Approximate Maximum Inner Product Search
École Normale Supérieure（巴黎高等师范学院）；Université de Montréal（蒙特利尔大学）；Twitter Cortex（推特Cortex部门）；Université de Sherbrooke（舍布鲁克大学）
有效的最大内积搜索（MIPS）是一个重要的任务，具有广泛的适用性，在推荐系统和分类与大量的类。在最近的文献中，已经研究了基于局部敏感哈希（LSH）以及基于树的解决方案的解决方案，以在次线性时间内执行近似MIPS。在本文中，我们比较这些解决近似MIPS的另一个非常简单的方法，基于变体的k-均值聚类算法。具体来说，我们建议训练球形k-均值，减少MIPS问题的最大余弦相似性搜索（MCSS）后。两个标准的推荐系统基准测试以及大词汇量词嵌入的实验表明，这种简单的方法产生更高的加速比，相同的检索精度，比目前最先进的基于哈希和基于树的方法。当查询被噪声破坏时，这种简单的方法也会产生更鲁棒的检索。
2015-11-30 cs.CL cs.LG stat.ML
A fast and recursive algorithm for clustering large datasets with $k$-medians
高维数据的大样本快速聚类是计算统计学中的一个重要挑战。MacQueen（1967）引入了$k$ -均值算法的序列形式，借鉴他的思想，提出了一类新的基于$k$ -中值损失准则的递归随机梯度算法。由于它们的递归性质，这些算法非常快，并且很好地适应于处理允许顺序到达的大样本数据。证明了随机梯度算法几乎必然收敛于损失准则的平稳点集。一个特别注意的平均版本，这是已知的具有更好的性能，并提出了一个数据驱动的程序，允许自动选择的值的下降步骤。在模拟研究中，将平均序贯估计器的性能在计算速度和估计准确性方面与更经典的划分技术（例如$k$ -均值、修剪的$k$ -均值和PAM（围绕中心点划分））进行比较。最后，这种新的在线聚类技术说明确定电视观众配置文件的样本超过5000个电视观众测量每分钟超过24小时。
2011-10-18 stat.CO stat.ML
Multi-class Graph Clustering via Approximated Effective $p$-Resistance
University College London（伦敦大学学院）
针对基于$p$-拉普拉斯算子特征向量的聚类方法高阶特征向量计算难、$p$-电阻计算成本高的问题，本文提出$p$-电阻近似方法，证明其上下界且树图下精确，提供聚类理论依据，实验验证其相较同类方法的有效性。
2023-07-18 cs.LG stat.ML
DBSCAN++: Towards fast and scalable density clustering
Uber（优步）；Google Research（谷歌研究院）
DBSCAN是一个经典的基于密度的聚类过程，具有巨大的实际意义。然而，DBSCAN隐式地需要计算每个样本点的经验密度，导致二次最坏情况时间复杂度，这在大型数据集上太慢。我们提出DBSCAN++，一个简单的修改DBSCAN，只需要计算选定的点的子集的密度。我们的经验表明，与传统的DBSCAN相比，DBSCAN++不仅可以提供有竞争力的性能，而且还可以在带宽超参数中增加鲁棒性，同时占用一小部分运行时间。我们还提出了统计一致性保证计算成本和估计率之间的权衡。令人惊讶的是，在一定程度上，我们可以享受相同的估计率，同时降低计算成本，这表明DBSCAN++是一种次二次算法，可以获得最小最大最优水平集估计率，这可能是一种独立的质量。
2019-05-17 cs.LG stat.ML
Faster Clustering via Non-Backtracking Random Walks
Tufts University（塔夫茨大学）
本文提出了VEC-NBT，无监督图聚类技术VEC的变化，它提高了原算法的性能显着稀疏图。VEC采用最先进的word 2 vec模型的一种新的应用，通过图的节点上的随机游动将图嵌入到欧几里得空间中。在VEC-NBT中，我们修改了原来的算法，使用非回溯随机游动，而不是在VEC中使用的正常回溯随机游动。我们引入一个修改的非回溯随机游走，我们称之为勉强回溯随机游走，并表明经验，使用这种模型的随机游动的VEC-NBT需要更短的步行图上获得的结果具有可比性或更高的精度比VEC，特别是稀疏图。
2017-08-26 cs.LG cs.SI stat.ML
Fast kNN mode seeking clustering applied to active learning
PRLab, Delft University of Technology（代尔夫特理工大学模式识别实验室）；Prime Vision（Prime Vision 公司）
一个显着更快的算法，提出了原来的kNN模式搜索过程。它的优点是在高维向量空间中是可行的，并导致唯一的，定义良好的模式。此外，没有任何额外的计算工作，它可以产生一个多尺度层次的聚类。时间复杂度为O（n^1.5）结果计算时间从10^4个物体的秒到10^5个物体的分钟到10^6个物体的不到一小时不等。时间复杂度为O（n）。该程序非常适合于寻找大的小集群集，从而是一个候选人，以分析数以百万计的对象中的数千个集群。kNN模式搜索过程可以通过将聚类分配给聚类的模态对象的类来用于主动学习。最多可达150万个手写体数字的实例表明了该方法的可行性。将基于聚类得到的分类结果与最近邻规则和基于相同标记对象训练的支持向量分类器得到的分类结果进行了比较。可以得出结论，使用聚类结构进行分类可以明显优于使用训练的分类器。然而，使用聚类进行分类的缺点在于，没有获得可以用于样本外对象的分类器。
2017-12-20 cs.LG stat.ML
Efficient Eigen-updating for Spectral Graph Clustering
将图划分为顶点组，使得每个组中的顶点比分配给不同组的顶点连接得更紧密，这称为图聚类，通常用于深入了解大规模网络的组织和可视化目的。虽然最近已经提出了大量的专用技术的静态图，设计的在线图聚类方法，为不断发展的网络是一个具有挑战性的问题，少得多的文献记载。出于各种各样的应用程序有关，从生物网络的研究，通过探索通信网络，如万维网的科学参考网络的分析，这是本文的主要目的，介绍一种新的，计算效率高，方法图聚类在进化的背景下。也就是说，在这篇文章中提出的方法可以被看作是一个增量特征值解的谱聚类方法所描述的Ng。等人（2001）。增量特征值法是求对称矩阵的近似特征向量的一般方法。以及详细概述的方法，我们提出了一个理论界的质量的近似特征向量扰动理论。然后，我们推导出一种新的谱聚类算法称为增量近似谱聚类（IASC）。IASC算法易于实现，其有效性在模拟艾滋病毒流行病演变的合成和真实数据集、引用网络和电子商务网站的购买历史图上都得到了证明。
2014-01-27 stat.ML
Fast Topological Clustering with Wasserstein Distance
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Iowa（爱荷华大学）
许多现实世界中的网络所表现出的拓扑模式激发了基于拓扑的网络相似性评估方法的发展。然而，提取拓扑结构是困难的，特别是对于大型和密集的网络，其节点度范围超过几个数量级。在本文中，我们提出了一种新的和计算上实用的拓扑聚类方法，集群复杂的网络与复杂的拓扑结构，从持久的同源性和最佳运输的原则性理论。这种网络通过基于质心的聚类策略聚合成簇，基于它们的拓扑结构和几何结构，保持不同网络中节点之间的对应关系。拓扑邻近和质心的概念，其特征在于使用一种新的和有效的方法来计算Wasserstein距离和重心的持久性条形码与连接组件和周期。所提出的方法被证明是有效的，使用模拟网络和测量功能的大脑网络。
2022-03-14 cs.LG stat.ML
Rk-means: Fast Clustering for Relational Data
relational AI；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Oxford University（牛津大学）
传统的机器学习算法不能被应用，直到数据矩阵可用于处理。当需要经由特征提取查询从关系数据库获得数据矩阵时，由于数据矩阵可能比总输入关系大小大（多），计算成本可能是过高的。本文介绍了Rk-均值，或关系k -均值算法，聚类关系数据元组，而不必访问完整的数据矩阵。这样，我们就不必运行昂贵的特征提取查询并存储其输出。我们的算法利用关系数据中的底层结构。它涉及构建数据矩阵的小{ \it网格核心集}，用于后续的集群构建。这给出了k均值目标的恒定近似，同时与首先运行数据库查询然后聚类的标准方法相比具有渐进的运行时改进。实证结果显示了数量级的加速，Rk均值在数据库上的运行速度甚至比计算数据矩阵更快。
2019-10-11 cs.DB cs.LG stat.ML
Fast nonparametric clustering of structured time-series
University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）
在本出版物中，我们结合了两个贝叶斯非参数模型：高斯过程（GP）和狄利克雷过程（DP）。我们在GP模型中的创新是引入GP先验的变化，使我们能够对结构化时间序列数据进行建模，即包含我们希望对组间和组内变异性进行建模的组的数据。我们在DP模型中的创新是一种新的快速折叠变分推理过程的实现，它使我们能够比标准VB方法更快地优化变分逼近。在生物时间序列应用中，我们展示了我们的模型如何更好地捕捉数据的显著特征，从而与现有的生物分类保持更好的一致性，而相关的推理算法提供了基于EM的变分推理的两倍加速。
2014-04-14 cs.CV cs.LG stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
凸聚类是一种很有前途的新方法，聚类的经典问题，结合了强大的性能，在实证研究和严格的理论基础。尽管有这些优点，凸聚类还没有被广泛采用，由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍，我们引入了正则化，这是一种创新技术，用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果，保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中，产生了用于计算聚类解路径的凸聚类算法CARP（Convex Clustering via Acromic Regularization Paths）。在基因组学和文本分析的示例数据集上，CARP提供了比现有方法快100倍的速度，同时获得了比标准方法更精细的近似网格。此外，CARP能够改进聚类解决方案的可视化：CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图，并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现，可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
Fast greedy algorithm for subspace clustering from corrupted and incomplete data
University of Georgia（佐治亚大学）；Algosoft-Tech USA（美国Algosoft-Tech公司）
本文提出一种高效的子空间聚类算法FGSSC，能够处理高擦除率噪声数据，其聚类能力优于现有方法，计算成本略高但效率高。
2013-06-07 cs.DS cs.LG cs.NA
Fast Subspace Clustering Based on the Kronecker Product
Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）；University of York, UK（英国约克大学）
子空间聚类对于许多计算机视觉应用来说是一种有用的技术，在这些应用中，高维数据的本征维数通常小于环境维数。谱聚类作为子空间聚类的主要方法之一，通常采用稀疏表示或低秩表示来学习块对角自表示矩阵以生成子空间。然而，现有的方法需要解决一个大规模的凸优化问题与一个大的数据集，与计算复杂性达到O（N^3）的N个数据点。因此，传统的谱聚类方法的效率和可扩展性不能保证大规模数据集。本文提出了一种基于Kronecker积的子空间聚类模型。由于块对角矩阵与任何其他矩阵的Kronecker积仍然是块对角矩阵的性质，我们可以有效地学习由k个较小矩阵的Kronecker积形成的表示矩阵。通过这样做，我们的模型显着降低了计算复杂性O（kN^{3/k}）。此外，我们的模型是一般性的，可以适应不同的正则化子空间聚类方法。在两个公共数据集上的实验结果表明，与现有的几种方法相比，该模型显著提高了效率。此外，我们进行了实验上的合成数据，以验证我们的模型的可扩展性大规模数据集。
2018-03-15 cs.CV cs.LG stat.ML
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解（SNMF）模型作为许多标准聚类算法（包括流行的谱聚类方法）的简单重构而自然出现。最近的工作表明，SNMF的一个基本实例提供了优越的聚类质量相比，许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中，我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上，并产生两个快速有效的算法，其优化使用i）可证明收敛的加速邻近梯度（APG）的过程和ii）的启发式版本的交替方向乘法（ADMM）框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡：虽然前者的方法是可证明收敛的，它是相当慢，比后者的方法，我们也提供了显着的，但不太严格的数学证明其收敛性。通过大量的实验，我们不仅表明，这些方法的功效是等于最先进的SNMF算法的状态，而且，后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法，甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
Reverse engineering of CAD models via clustering and approximate implicitization
本文提出一种结合聚类分析与近似隐式化的自动逆向工程方法，可从样条或NURBS模型中恢复任意维度、任意次数的原始代数超曲面，并通过理论分析和Python数值实验验证其有效性。
2020-04-19 cs.GR cs.LG cs.NA
Agglomerative Likelihood Clustering
我们考虑快速时间序列数据聚类的问题。建立在以前的工作建模的相关性为基础的哈密顿量的自旋变量，我们提出了一个更新的快速非昂贵的凝聚似然聚类算法（ALC）。该方法取代了优化的遗传算法为基础的方法（f-SPC）凝聚递归合并框架的启发，以前的工作在经济物理学和社区检测。该方法进行了测试，噪声合成相关的时间序列数据集与内置的集群结构，以证明该算法产生有意义的非平凡的结果。我们将其应用于大到20，000个资产的时间序列数据集，我们认为，ALC可以减少计算时间成本和资源使用成本，同时被序列化的时间序列应用程序的大规模集群，因此没有明显的并行化要求。由于该算法不需要关于聚类数目的先验信息，因此可以作为快速非线性数据环境下在线学习状态检测的有效选择。
2021-10-05 physics.data-an q-fin.CP stat.ML
A-Ward_p\b{eta}: Effective hierarchical clustering using the Minkowski metric and a fast k -means initialisation
University of Hertfordshire（赫特福德大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Birkbeck University of London（伦敦大学伯贝克学院）
在本文中，我们作出了两个新的贡献，层次聚类。首先，我们介绍了一种异常模式初始化方法的层次聚类算法，称为A-Ward，能够大大减少收敛所需的时间。该方法生成具有足够大数量的聚类的初始分区。这允许集群合并过程从这个分区开始，而不是从一个仅由单例组成的平凡分区开始。我们的第二个贡献是一个扩展的病房和病房p算法的情况下，特征权重指数可以不同的指数的闵可夫斯基距离。这种新的方法，称为A-Ward p \b{eta}，是能够产生更广泛的各种聚类解决方案。我们还表明，它的参数可以合理地估计，以及通过使用聚类有效性指数。我们进行了大量的实验，使用两种类型的噪声，插入噪声功能和模糊内聚类值的一些功能的数据集。这些实验使我们能够得出结论：（i）我们的异常模式初始化方法确实减少了分层聚类算法完成所需的时间，而不会对其聚类恢复能力产生负面影响;（ii）A-Ward p \b{eta}提供了比Ward和Ward p更好的聚类恢复。
2016-11-03 cs.LG stat.ML
Fast model-based clustering of partial records
Iowa State University（爱荷华州立大学）
部分记录的数据在许多应用中经常遇到，并且通常通过首先删除不完整的情况或具有缺失值的特征或通过估算缺失值来聚类，然后将聚类算法应用于所得到的改变的数据集。在这里，我们开发的聚类方法，通过基于模型的方法，使用边际密度的观测值，假设一个有限的混合模型的多元$t$分布。我们比较我们的近似算法，相应的充分期望最大化（EM）的方法，认为缺失值在不完整的数据集，并作出随机缺失（MAR）的假设，以及删除和插补方法。由于只利用观测值，我们的方法在计算上比插补或全EM更有效。仿真研究表明，我们的方法具有良好的恢复的真实集群分区相比，在各种缺失机制的情况下删除和填补，至少是竞争力与完整的EM方法，即使当MAR假设被违反。我们的方法证明了集群的伽玛射线暴的问题，并在https://github.com/emilygoren/MixtClust上实现。
2021-08-12 astro-ph.HE cs.LG stat.CO
Fast clustering for scalable statistical analysis on structured images
INRIA（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université de Lille 1（里尔第一大学）；CNRS（法国国家科学研究中心）
使用大脑图像作为疾病或行为差异的标记受到了小效应大小和随之而来的缺乏力量的挑战，这一问题促使研究人员更系统地依赖于大型队列。再加上分辨率的提高，这导致了非常大的数据集。大脑成像的一个突出例子是人类连接组项目：20 TB的数据和增长。由此产生的数据洪水提出了严峻的挑战，一些处理步骤（判别分析，多变量模型）的易处理性，由于这些数据所带来的内存需求。在这项工作中，我们重新降维的方法，如随机投影，以取代昂贵的功能评估便宜的，同时减少内存的要求。具体来说，我们研究使用的替代方案，基于快速聚类，非常适合表现出强大的空间结构，如解剖和功能的大脑图像的信号。我们的贡献是双重的：i）我们提出了一种线性时间聚类方案，该方案绕过了这些算法中固有的渗透问题，从而提供了与传统的二次复杂度方差最小化聚类方案几乎一样好的压缩，ii）我们表明基于聚类的压缩可以具有去除高频噪声的良性效果，实际上改善了后续的估计步骤。因此，所提出的方法在几个大规模问题上产生了非常准确的模型，但在计算效率上有令人印象深刻的提高，使得分析大型数据集成为可能。
2015-11-16 cs.CV stat.ML
Enhanced Ensemble Clustering via Fast Propagation of Cluster-wise Similarities
South China Agricultural University（华南农业大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）
包围聚类是数据采掘和机器学习领域的一个研究热点。尽管集成聚类近年来取得了显著的进展，但目前的集成聚类研究仍然存在两个具有挑战性的问题。首先，大多数现有算法倾向于在对象级别上研究集成信息，但往往缺乏在更高粒度级别上探索丰富信息的能力。其次，他们主要关注直接联系（例如，直接相交或成对共现），但通常忽略了隐藏在其中的多尺度间接关系。为了解决这两个问题，本文提出了一种新的集成聚类方法的基础上快速传播的聚类相似性，通过随机游走。我们首先构建一个集群相似性图的基础集群视为图形节点和集群的Jaccard系数利用计算初始边的权重。在所构造的图上，定义转移概率矩阵，基于该转移概率矩阵进行随机游走过程以传播图的结构信息。具体地说，通过研究从不同节点开始的传播轨迹，可以通过考虑轨迹关系来导出新的聚类相似性矩阵。然后，将新得到的聚类相似度矩阵从聚类级映射到对象级，得到一个增强型共关联（ECA）矩阵，该矩阵能够同时捕获集合中对象级的同现关系和多尺度聚类关系.最后，提出了两个新的一致性函数，以获得一致性聚类结果。在各种真实世界数据集上进行的广泛实验已经证明了我们方法的有效性和效率。
2018-10-30 cs.LG stat.ML
Fast Randomized Semi-Supervised Clustering
Laboratoire de Physique Statistique (CNRS UMR-8550), PSL Universités & École Normale Supérieure（统计物理实验室（CNRS UMR-8550），PSL大学与巴黎高等师范学院）；Sorbonne Universités, UPMC Univ. Paris 06（索邦大学，巴黎第六大学（UPMC））；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure Paris（巴黎高等师范学院）；Institut de Physique Théorique CEA Saclay（法国原子能和替代能源委员会萨克雷理论物理研究所）；CNRS（法国国家科学研究中心）
我们考虑的问题，部分标记的数据从一个最小数量的随机选择的成对比较项目之间的聚类。我们引入了一个有效的本地算法的基础上的非回溯算子的幂迭代，并研究其性能在一个简单的模型。对于两个集群的情况下，我们给出的分类误差的界限，并表明，一个小的错误可以实现从$O(n)$随机选择的测量，其中$n$是数据集中的项目数。因此，我们的算法是有效的时间和空间复杂度方面。我们还调查数值模拟的合成和真实世界的数据上的算法的性能。
2016-10-09 cs.LG math.PR math.ST
Fast Discrete Distribution Clustering Using Wasserstein Barycenter with Sparse Support
The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Riverside（加州大学河滨分校）
在各种研究领域中，加权矢量袋和直方图是广泛使用的复杂对象的描述符。两者都可以表示为离散分布。D2-聚类追求服从Kantorovich-Wasserstein度量的一组离散分布的最小总簇内变异。D2聚类有一个严重的可扩展性问题，瓶颈是计算质心分布，称为Wasserstein重心，最小化其到集群成员的平方距离之和。在本文中，我们开发了一个修改的Bregman ADMM方法计算近似离散Wasserstein重心的大型集群。在支持点的重心是未知的，并具有低基数的情况下，我们的方法实现了高精度的经验，大大降低了计算成本。我们的方法和它的替代品的优点和缺点，通过实验进行检查，我们建议他们各自的使用方案。此外，我们开发的串行和并行版本的算法。通过对大规模数据的实验，我们证明了新方法的计算效率，并研究了它们的收敛性和数值稳定性。在不同领域的多个数据集上得到的聚类结果与相应领域中广泛使用的一些方法相比具有很强的竞争力。
2017-01-09 cs.LG stat.CO stat.ML
Fast K-Means Clustering with Anderson Acceleration
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
本文提出了一种加速K均值聚类Lloyd算法的新方法，通过将Lloyd算法的分配和更新步骤视为固定点迭代，并应用安德森加速技术，动态调整参数m以实现鲁棒且一致的加速效果。
2018-05-27 cs.LG cs.NA math.NA
