STCAD: Scalable Trajectory Clustering and Anomaly Detection on Terabyte-Scale AIS Data
该研究提出STCAD框架,通过自定义BERT模型与CURE层次聚类实现TB级AIS轨迹的无监督聚类,结合重构损失与聚类噪声分配检测异常,在国家级AIS数据集上验证了方法的有效性。
2026-08-12 cs.LG
Scalable Hierarchical Agglomerative Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google LLC(谷歌有限责任公司);Facebook(脸书);University of Southern California(南加州大学)
凝聚聚类的适用性,推断层次和平面聚类,是有限的,其可扩展性。现有的可扩展的层次聚类方法牺牲质量的速度,往往导致过度合并的集群。在本文中,我们提出了一个可扩展的,凝聚的层次聚类方法,不牺牲质量和规模数十亿的数据点。我们进行了详细的理论分析,表明在温和的可分性条件下,我们的算法不仅可以恢复最佳的平面划分,而且还提供了一个两个近似的非参数DP均值目标。这介绍了一种新的应用程序的层次聚类作为一个近似算法的非参数聚类目标。我们还涉及到我们的算法的经典层次凝聚聚类方法。我们进行了广泛的实证实验,在分层和扁平的聚类设置,并表明我们提出的方法实现了国家的最先进的结果公开可用的聚类基准。最后,我们证明了我们的方法的可扩展性,将其应用到一个数据集的30亿次查询。人类对发现的聚类的评价表明,我们的方法发现的聚类质量比目前最先进的聚类质量更好。
2021-09-30 cs.LG
Scalable Multi-view Clustering via Explicit Kernel Features Maps
CDC Informatique(信息科技公司)
本文提出一种可扩展的多视图聚类方法,通过显式核特征映射和非迭代优化策略,提升大规模数据集的聚类效率和准确性。
2026-01-22 cs.LG
Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题,提出将其作为邻域图中标签传播过程的新视角,引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图,在降计算成本同时保持聚类质量,处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand(奥克兰大学计算机科学学院);Department of Mathematics and Computer Science, University of Southern Denmark, Denmark(丹麦南部大学数学与计算机科学系)
本文提出CluProp框架,将高维空间中的变密度聚类转化为邻域图上的标签传播过程,通过高效的传播机制缓解传统密度方法的参数敏感性,实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
Graph Approximation and Clustering on a Budget
Weizmann Institute of Science(魏茨曼科学研究所)
我们考虑从相似性矩阵(如谱聚类和低维嵌入)学习的问题,当计算成对相似性是昂贵的,只有有限数量的条目可以观察到。我们提供了一个理论分析,使用标准的概念图近似,显着推广以前的结果(集中在两个集群的谱聚类)。我们还提出了一种基于自适应采样的新算法方法,该方法在实验上与之前的方法相匹配或改进,同时更加通用且计算成本更低。
2014-06-10 cs.AI cs.CV cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文提出Kempe Swap K-Means算法,通过双重迭代过程在约束空间中优化聚类,结合可控扰动提升全局搜索能力,实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Radius-Guided Post-Clustering for Shape-Aware, Scalable Refinement of k-Means Results
Independent Researcher(独立研究者)
针对k-means在非凸形状上表现不佳且需预设簇数的问题,提出半径引导的后聚类方法,通过合并半径重叠的簇重建非凸形状,支持递归划分实现可扩展性,在基准数据集上以极低计算开销取得高准确率。
2025-04-28 cs.LG
Highly Efficient Rotation-Invariant Spectral Embedding for Scalable Incomplete Multi-View Clustering
University of Macau(澳门大学);China University of Geosciences(中国地质大学)
针对不完整多视图聚类中数据恢复不适配谱聚类、计算复杂及旋转失配问题,提出RISE方法,通过不完整二分图学习嵌入并恢复旋转不变共识表示,以线性复杂度算法实现高效可扩展聚类。
2025-01-21 cs.LG
Fast and Scalable Semi-Supervised Learning for Multi-View Subspace Clustering
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对现有多视图子空间聚类方法计算复杂度高的问题,提出了具备线性复杂度的FSSMSC方法,通过统一优化模型同步学习锚图与标签传播,结合交替更新算法和低维表示推导实现高效聚类,经多规模基准实验验证了其有效性与高效性。
2024-08-11 cs.LG
A Scalable Global Optimization Algorithm For Constrained Clustering
Department of Industrial and Systems Engineering, University of South Florida(南佛罗里达大学工业与系统工程系);Bellini College of AI, Cybersecurity, and Computing, University of South Florida(南佛罗里达大学人工智能、网络安全与计算学院)
针对约束聚类中成对约束导致的NP困难全局优化问题,提出SDC-GBB可分解分支定界框架,通过质心伪样本和几何剪枝实现并行扩展,处理规模较现有方法大200-1500倍,最优性差距小于3%。
2025-10-26 cs.LG
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
One-step Bipartite Graph Cut: A Normalized Formulation and Its Application to Scalable Subspace Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
本文提出一步归一化二分图切割准则(OBCut),等价于迹最大化,并集成自适应锚点学习与二分图学习,实现线性时间可扩展子空间聚类,实验验证其有效性与可扩展性。
2023-05-12 cs.LG
Scalable Density-based Clustering with Random Projections
University of Auckland(奥克兰大学)
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS,利用随机投影提升高维聚类效率,支持多种距离度量,在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Data Skeleton Learning: Scalable Active Clustering with Sparse Graph Structures
School of Computer Science and Software Engineering, Southwest Petroleum University(计算机科学与软件工程学院,西南石油大学);School of Computer and Software Engineering, Xihua University(计算机与软件工程学院,西华大学);Web Sciences Center, University of Electronic Science and Technology of China(网络科学中心,电子科技大学);College of Science and Engineering, University of Minnesota(科学与工程学院,明尼苏达大学)
本文提出一种基于双稀疏图的数据骨架学习主动聚类算法,通过协同更新数据骨架与约束图,降低计算与内存开销,以更少用户约束实现更精确、可扩展的聚类。
2025-09-10 cs.LG
Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
本文提出ReSCALE,通过将Gumbel采样和顺序削减替代传统方法,实现大语言模型在推理中的可扩展推理能力提升,解决了搜索预算增加时准确率下降的问题。
2026-03-22 cs.AI cs.LG
Ultra-Scalable Spectral Clustering and Ensemble Clustering
South China Agricultural University(华南农业大学);Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);Nanchang University(南昌大学)
本文主要研究谱聚类算法在资源有限的超大规模数据集上的可扩展性和鲁棒性。提出了两种新的聚类算法:超可扩展谱聚类(U-SPEC)和超可扩展集成聚类(U-SENC)。在U-SPEC中,提出了一种混合的代表选择策略和K-最近代表的快速近似方法,用于构造稀疏的亲和子矩阵。通过将稀疏子矩阵解释为二分图,然后利用转移割来有效地划分图并获得聚类结果。在U-SENC中,多个U-SPEC聚类器被进一步集成到一个集成聚类框架中,以增强U-SPEC的鲁棒性,同时保持高效率。基于多个U-SEPC的集成生成,在对象和基簇之间构造一个新的二分图,然后进行有效的划分,以达到一致的聚类结果。值得注意的是,U-SPEC和U-SENC都具有接近线性的时间和空间复杂度,并且能够在具有64 GB内存的PC上健壮且高效地划分千万级非线性可分离数据集。在各种大规模数据集上的实验证明了算法的可扩展性和鲁棒性。MATLAB代码和实验数据可在https://www.researchgate.net/publication/330760669上获得。
2019-03-05 cs.LG stat.ML
FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance
Symantec Research Labs(赛门铁克研究实验室)
FISHDBC是一种灵活的、增量的、可扩展的、基于层次密度的聚类算法。它很灵活,因为它使用户能够处理任意数据,跳过通常将原始数据转换为数值数组的特征提取步骤,让用户定义任意距离函数。它是增量的和可扩展的:它避免了其他方法在非度量空间中的$\mathcal O(n^2)$性能,并且当添加很少的项时,只需要轻量级计算来更新聚类。它是分层的:它产生“扁平”聚类,该聚类可以扩展为树结构,从而当数据探索需要时,用户可以将聚类分组和/或划分为子聚类或超聚类。它是基于密度的,近似于HDBSCAN*,是DBSCAN的一种演变。
2019-10-16 cs.DS cs.LG stat.ML
Scalable Incomplete Multi-View Clustering with Structure Alignment
National University of Defense Technology(国防科技大学);Intelligent Game and Decision Lab(智能博弈与决策实验室)
提出SIMVC-SA框架,通过视图特定锚点图捕获互补信息,并设计结构对齐模块解决锚点未对齐问题,实现线性复杂度的高效不完整多视图聚类。
2023-08-31 cs.LG
SDCOR: Scalable Density-based Clustering for Local Outlier Detection in Massive-Scale Datasets
Amirkabir University of Technology(阿米拉比尔理工大学);University of Twente(特温特大学);ICAR-CNR(意大利国家研究委员会计算与高性能网络研究所)
本文提出了一种基于密度的批量聚类方法,用于大规模数据集的局部离群点检测。与传统算法不同的是,传统算法假设所有的数据都是内存驻留的,我们提出的方法是可扩展的,并在有限的内存缓冲区内逐块处理输入数据。首先建立临时聚类模型,然后通过分析点的连续内存负载来逐步更新聚类模型。随后,在可扩展聚类结束时,获得原始聚类的近似结构。最后,通过对整个数据集的另一次扫描并使用合适的标准,为每个对象分配一个离群分数,称为SDCOR(可扩展的基于密度的聚类离群率)。在真实数据集和人工数据集上的测试表明,该方法具有较低的线性时间复杂度,与传统的基于密度的方法相比,具有更高的效率和有效性,传统的基于密度的方法需要将所有数据加载到内存中,而基于距离的方法可以对驻留在磁盘上的数据执行。
2021-07-05 cs.LG stat.ML
Scalable Deep Unsupervised Clustering with Concrete GMVAEs
HubSpot Inc.(HubSpot公司)
离散随机变量是概率聚类模型的自然组成部分。已经开发了一些具有离散潜变量的VAE变体。训练这样的方法需要对离散潜在变量进行边缘化,导致训练时间复杂度在数量聚类中是线性的。在这些方法中,通过对离散变量应用连续松弛,我们可以将训练时间复杂度降低到所使用的聚类数量不变。我们证明,在实践中,对于一个这样的方法,高斯混合VAE,使用连续松弛对聚类的质量没有负面影响,但提供了大量减少训练时间,减少训练时间CIFAR-100与20个集群从47小时到不到6小时。
2019-09-18 cs.LG stat.ML
Tree-Wasserstein Barycenter for Large-Scale Multilevel Clustering and Scalable Bayes
RIKEN AIP(理化学研究所先进工业科学与技术研究所);Monash University(莫纳什大学);UC Berkeley(加州大学伯克利分校);Kyoto University(京都大学)
本文研究了Wasserstein重心问题的一个变种,我们称之为树-Wasserstein重心,利用一类特定的地面度量,即树度量,用于瓦瑟斯坦距离。借鉴树结构,我们提出了一个有效的算法方法来解决树Wasserstein重心及其变种。该方法不仅计算速度快,而且内存使用效率高。利用树Wasserstein重心及其变体,我们扩大了多级聚类和可扩展的贝叶斯,特别是对于大规模的应用程序中的支持数量在概率测度是大的。从经验上讲,我们在大规模合成和真实数据集上对我们提出的方法进行了测试。
2020-02-27 cs.LG stat.ML
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);IBM(国际商业机器公司)
我们介绍Grinch,一个新的算法,大规模的,非贪婪的层次聚类与一般的连接功能,计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程,这些子例程在新点到达时有效地重新配置层次结构,支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类:我们证明,当模型是一致的地面真相聚类,Grinch保证产生一个集群树包含地面真相,独立的数据到达顺序。我们在基准和作者共指数据集(具有标准和学习的链接函数)上的实证结果表明,Grinch比其他可扩展方法更准确,并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
Scalable Co-Clustering for Large-Scale Data through Dynamic Partitioning and Hierarchical Merging
City University of Hong Kong(香港城市大学)
针对现有联合聚类方法可扩展性差、难处理大规模数据的问题,本文提出结合大矩阵划分与层次联合聚类合并的可扩展方法,有效提升效率,稠密矩阵计算时间降约83%,稀疏矩阵最高降30%。
2025-03-19 cs.DC cs.LG
Scalable and Adaptive Spectral Embedding for Attributed Graph Clustering
Nanjing University(南京大学)
针对大规模属性图聚类计算与内存成本高的问题,提出无参数学习的可扩展自适应谱嵌入方法SASE,兼具线性复杂度与优异聚类性能。
2024-08-11 cs.LG stat.ML
Scalable Deep Subspace Clustering Network
Department of Computer Science University of Quebec at Montreal(计算机科学系魁北克大学蒙特利尔分校)
SDSNet通过地标近似、联合优化和因子化表示实现O(n)复杂度,提升子空间聚类的计算效率
2025-12-24 cs.CV cs.LG
Scalable Deep Graph Clustering with Random-walk based Self-supervised Learning
The Ohio State University(俄亥俄州立大学);Kent State University(肯特州立大学);Augusta University(奥古斯塔大学)
本文提出可扩展深度图聚类算法RwSL,将拉普拉斯平滑与广义PageRank关联,利用随机游走图滤波器和自监督小批量训练,在百万级节点和18亿条边的图上实现高效聚类。
2023-01-18 cs.LG cs.SI
Scalable Initialization Methods for Large-Scale Clustering
Faculty of Information Technology, University of Jyvaskyla(于韦斯屈莱大学信息技术学院)
在这项工作中,提出了两种新的初始化方法的K-均值聚类。这两个建议都是基于对K均值应用分治方法||初始化策略的类型。第二种方案也利用随机投影方法产生的多个低维子空间进行初始化。所提出的方法是可扩展的,可以并行运行,这使得他们适合于初始化大规模的问题。在实验中,将所提出的方法与K-means++和K-means||方法使用广泛的参考和合成大规模数据集进行。针对后者,提出了一种新的高维聚类数据生成算法。实验表明,所提出的方法相比,有利的国家的最先进的。我们还观察到,目前最流行的K-means++初始化的行为像随机的非常高维的情况下。
2020-07-23 cs.LG stat.ML
Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个简单,易于实现的神经网络压缩算法,实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验(对应于k-means目标)来修改原始优化问题,以实现参数量化,以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同,我们的方法使用网络参数的硬聚类分配,这对标准网络训练增加了最小的变化或开销。我们还通过实验证明,捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University(佛罗里达州立大学)
本文提出一种基于损失最小化的鲁棒聚类算法,解决带异常值的高斯混合模型的大规模聚类问题,提供理论保证并可作为 k-means 初始化策略,在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Simple and Scalable Sparse k-means Clustering via Feature Ranking
Department of Statistical Science, Duke University(杜克大学统计科学系);Departments of Computational Medicine, Statistics, and Human Genetics, UCLA(加州大学洛杉矶分校计算医学、统计与人类遗传学系)
聚类是无监督学习中的一项基本活动,当特征空间是高维时,聚类是非常困难的。幸运的是,在许多现实场景中,只有少数特征与区分聚类相关。这激发了稀疏聚类技术的发展,这种技术通常依赖于高计算复杂度的外部算法中的k均值。目前的技术还需要仔细调整收缩参数,进一步限制了它们的可扩展性。在本文中,我们提出了一个新的框架,稀疏k均值聚类,是直观的,简单的实现,并具有竞争力的国家的最先进的算法。我们表明,我们的算法享有一致性和收敛性的保证。我们的核心方法很容易推广到几个特定于任务的算法,如聚类属性的子集和部分观察到的数据设置。我们通过模拟实验和真实数据基准,包括三体小鼠蛋白质表达的案例研究,彻底展示了这些贡献。
2020-10-22 cs.LG stat.ML
Simple, Scalable, and Stable Variational Deep Clustering
King Digital Entertainment, Activision Blizzard Group(动视暴雪集团King数字娱乐公司);Uppsala University(乌普萨拉大学)
深度聚类(DC)已经成为无监督聚类的最新技术。原则上,DC代表了各种无监督方法,这些方法直接从非结构化数据集中联合学习底层聚类和潜在表示。然而,DC方法通常由于操作成本高、可扩展性低和结果不稳定而应用不佳。在本文中,我们首先使用八个经验标准在工业适用性的背景下评估几个流行的DC变体。然后,我们选择专注于变分深度聚类(VDC)方法,因为它们大多符合这些标准,除了简单性,可扩展性和稳定性。为了解决这三个未满足的标准,我们介绍了四个通用算法的改进:初始$γ$ -训练,定期$β$ -退火,小批量GMM(高斯混合模型)初始化,和逆最小最大变换。我们还提出了一种新的聚类算法S3 VDC(简单,可扩展,稳定的VDC),结合所有这些改进。我们的实验表明,S3 VDC在基准任务和大型非结构化工业数据集上都优于最先进的技术,而没有任何地面真实标签。此外,我们分析评估的可用性和可解释性的S3 VDC。
2020-05-21 cs.LG stat.ML
The ParClusterers Benchmark Suite (PCBS): A Fine-Grained Analysis of Scalable Graph Clustering
MIT(麻省理工学院);Google(谷歌公司);UMD(马里兰大学学院公园分校)
本文提出了ParClusterers基准测试套件(PCBS),包含高度可扩展的并行图聚类算法和基准测试工具,用于简化不同算法的比较,并标准化评估可扩展图聚类算法在质量与性能上的权衡。
2024-11-15 cs.AI cs.DC cs.LG
Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
The Hong Kong Polytechnic University, PolyU(香港理工大学,PolyU);Hong Kong Polytechnic University Daya Bay Technology(香港理工大学达亚拜技术);Innovation Research Institute(创新研究院)
针对大语言模型合并中专家权重读取的I/O瓶颈,提出MergePipe,一种预算感知的执行层,通过将合并问题转化为专家访问集问题,在显式I/O预算下选择要访问的专家增量块,实现高达11倍加速且参数偏差极小。
2026-05-28 cs.LG cs.SY eess.SY
A Novel Scalable Apache Spark Based Feature Extraction Approaches for Huge Protein Sequence and their Clustering Performance Analysis
Indian Institute of Technology Indore(印度理工学院印多尔分校);Mahindra Ecole Centrale(马恒达中央学院);ICAR-Indian Institute of Soybean Research(印度农业研究委员会-印度大豆研究所)
基因组测序项目正在迅速增加高维蛋白质序列数据集的数量。使用传统的机器学习方法对高维蛋白质序列数据集进行聚类带来了许多挑战。存在许多不同的特征提取方法并且被广泛使用。然而,从数以百万计的蛋白质序列中提取特征变得不切实际,因为它们不能用当前的算法缩放。因此,需要一种有效的特征提取方法来提取重要特征。我们提出了两种基于Apache Spark的可扩展特征提取方法,分别称为60 d-SPF(60-dimensional Scalable Protein Feature)和6d-SCPSF(6-dimensional Scalable Co-occurrence-based Probability-Specific Feature)。所提出的60 d-SPF和6d-SCPSF方法捕获氨基酸的统计特性,以创建分别以60维和6维特征表示每个蛋白质序列的固定长度的数字特征向量。预处理的巨大蛋白质序列被用作两种聚类算法的输入,即,可伸缩随机抽样与迭代优化模糊c均值(SRSIO-FCM)和可伸缩文字模糊c均值(SLFCM)聚类。我们已经进行了广泛的实验,在各种大豆蛋白数据集上,以证明所提出的特征提取方法,60 d-SPF,6d-SCPSF,和现有的特征提取方法的有效性SRSIO-FCM和SLFCM聚类算法。在Silhouette指数和Davies-Bouldin指数方面的报告结果表明,所提出的60 d…
2022-04-21 cs.AI cs.LG q-bio.QM
Highly-Economized Multi-View Binary Compression for Scalable Image Clustering
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));The University of Queensland(昆士兰大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);ETH Zurich(苏黎世联邦理工学院);University of Electronic Science and Technology of China(电子科技大学)
如何经济地对大规模多视点图像进行聚类是计算机视觉中一个长期存在的问题。为了应对这一挑战,我们引入了一种新的方法,称为高度经济化的可扩展图像聚类(HSIC),从根本上超越了传统的图像聚类方法,通过二进制压缩。我们直观地将二进制表示学习和高效的二进制聚类结构学习统一到一个联合框架中。特别是,通过利用多个视图中的可共享信息和个体信息来捕获其潜在的相关性来学习常见的二进制表示。同时,在L21范数约束下,通过有效的离散优化,实现了具有鲁棒二进制质心的聚类分配。通过这种方式,沉重的连续值欧几里德距离的计算可以成功地减少有效的二进制XOR操作在聚类过程中。据我们所知,HSIC是第一个专门为可扩展多视图图像聚类而设计的二进制聚类工作。在四个大规模图像数据集上的大量实验结果表明,HSIC始终优于最先进的方法,同时显着减少计算时间和内存占用。
2018-09-17 cs.CV cs.DM cs.LG
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI(IBM研究院人工智能部门);Carnegie Mellon University(卡内基梅隆大学);College of William and Mary(威廉与玛丽学院);Huawei Research(华为研究院)
谱聚类是最有效的聚类方法之一,它可以捕捉数据中隐藏的聚类结构。然而,它不能很好地扩展到大规模的问题,由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类,其中大多数妥协相当大的信息损失的原始数据,以减少计算瓶颈。在本文中,我们提出了一种新的可扩展的谱聚类方法,使用随机装箱功能(RB),同时加快相似图的建设和特征分解。具体来说,我们隐式地近似的图形相似性(内核)矩阵的内积由RB生成的大型稀疏特征矩阵。然后,我们引入了一个国家的最先进的SVD求解器,有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块,我们将计算成本从数据点数量的二次降低到线性,同时实现类似的精度。我们的理论分析表明,通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明,该方法在准确性和运行时间上都优于或匹配最先进的方法。此外,我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
A Scalable Approach to Clustering Embedding Projections
Apple(苹果公司)
针对嵌入投影可视化中点聚类计算成本高的问题,提出一种在投影二维空间用核密度估计的高效聚类算法,速度快数个数量级,还提供了算法设计、基准测试及标签生成等应用。
2025-05-16 cs.HC cs.LG
Scalable Community Detection via Parallel Correlation Clustering
MIT(麻省理工学院);Google(谷歌)
图聚类和社区发现是现代数据采掘的核心问题。分析数十亿级数据的需求日益增长,这就要求针对这些问题的算法更快、更可扩展。在这种聚类算法的质量和速度之间存在一定的权衡。在本文中,我们设计了可扩展的算法,实现高质量的基础上地面真相评估时。我们基于LambdaCC目标(由Veldt等人介绍)开发了一个通用的顺序和共享内存并行框架,其包括模块化和相关聚类。我们的框架由高度优化的实现组成,这些实现可扩展到数十亿条边的大型数据集,并在未加权和加权图上获得与地面实况数据相比高质量的聚类。我们的实证评估表明,该框架提高了可扩展的社区发现的速度和质量之间的最先进的权衡。例如,在具有双向超线程的30核机器上,我们的实现实现了比其他相关性集群基线高出几个数量级的加速,比我们自己的顺序基线高出28.44倍的加速,同时保持或提高了质量。
2021-07-27 cs.AI cs.DC cs.LG
KFC: A Scalable Approximation Algorithm for $k$-center Fair Clustering
Hong Kong University of Science and Technology(香港科技大学)
本文研究了基于$k-$中心目标的公平聚类问题。在公平聚类中,输入是$N$点,每个点属于$l$保护组中的至少一个,例如男性、女性、亚洲人、西班牙人。目标是将$N$点聚类成$k$簇,以最小化经典聚类目标函数。然而,还有一个额外的约束,即在某种公平性概念下,每个集群都需要是公平的。这确保了在任何组群中没有任何群体“任职人数过多”或“任职人数不足”。我们的工作建立在Chierichetti等人(NIPS 2017),Bera等人(NeurIPS 2019),Ahmadian等人(KDD 2019)和Bercea等人的工作基础上。我们获得了一个随机的$3-$近似算法的$k-$中心目标函数,击败了以前的最先进的($4-$近似)。我们在真实数据集上测试了我们的算法,并表明我们的算法在找到良好的集群方面是有效的,没有过度代表性或代表性不足,在运行时速度,聚类成本方面超过了目前的最新技术水平,同时实现了类似的公平性违规。
2020-11-07 cs.DS cs.LG
Scalable Posterior Uncertainty for Flexible Density-Based Clustering
Department of Statistics and Data Sciences, UT Austin(统计与数据科学系,德克萨斯大学奥斯汀分校)
本文提出一种结合martingale后验分布与密度聚类的新框架,通过预测重采样方案实现密度不确定性量化,利用可微密度估计器提升大规模数据处理效率,并在图像和单细胞RNA测序数据中验证了其有效性。
2026-10-21 cs.LG stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University(密歇根理工大学)
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中,我们引入了一个高度可扩展的,频谱保持的图稀疏化算法,使建立超稀疏NN(u-NN)图与保证保留的原始图频谱,如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网,而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树(LSST)从原始图,然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST,提出了一种特征值稳定性检查方案,该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外,提出了一种增量图致密化方案,用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明,各种知名的数据集,该方法可以显着降低NN图的复杂性,导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
A General Anchor-Based Framework for Scalable Fair Clustering
针对现有公平聚类算法复杂度高难以适配大规模数据的问题,本文提出即插即用的通用AFCF框架,通过公平锚点采样、锚点图公平标签传播实现线性时间扩展,实验证实其可大幅提速且保持性能与公平性。
2025-11-13 cs.AI cs.LG
S^2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering
University of Electronic Science & Technology of China(电子科技大学)
针对现有基于锚点的大规模多视图聚类方法仅探索全局相关性的局限,提出S^2MVTC方法,通过构建嵌入特征张量、设计TLFA算子及施加一致性约束学习视图内和跨视图相关性,在六个数据集上的聚类性能和运行效率均优于现有最优算法。
2024-04-11 cs.CV cs.LG
DBSCAN++: Towards fast and scalable density clustering
Uber(优步);Google Research(谷歌研究院)
DBSCAN是一个经典的基于密度的聚类过程,具有巨大的实际意义。然而,DBSCAN隐式地需要计算每个样本点的经验密度,导致二次最坏情况时间复杂度,这在大型数据集上太慢。我们提出DBSCAN++,一个简单的修改DBSCAN,只需要计算选定的点的子集的密度。我们的经验表明,与传统的DBSCAN相比,DBSCAN++不仅可以提供有竞争力的性能,而且还可以在带宽超参数中增加鲁棒性,同时占用一小部分运行时间。我们还提出了统计一致性保证计算成本和估计率之间的权衡。令人惊讶的是,在一定程度上,我们可以享受相同的估计率,同时降低计算成本,这表明DBSCAN++是一种次二次算法,可以获得最小最大最优水平集估计率,这可能是一种独立的质量。
2019-05-17 cs.LG stat.ML
Active clustering with bandit feedback
INRAE(法国国家农业食品与环境研究院);Institut Agro(法国国家农业、食品与环境学院);Univ Montpellier(蒙彼利埃大学);Université Paris-Saclay(巴黎萨克雷大学);Institut für Mathematik, Universität Potsdam(波茨坦大学数学研究所)
针对带次高斯反馈的随机老虎机中的隐藏臂分区问题,本文给出非渐近预算下界,并提出计算高效且在多数情形下达到下界的 ACB 主动聚类算法。
2024-06-17 cs.LG stat.ML
Sketch-and-Lift: Scalable Subsampled Semidefinite Program for $K$-means Clustering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
半定规划(SDP)是一个强大的工具,用于解决各种各样的计算困难的问题,如聚类。尽管有很高的准确性,半定的程序在实践中往往太慢,在大型(甚至中等)数据集上的可扩展性差。在本文中,我们介绍了一个线性时间复杂度算法近似的SDP放松$K$ -均值聚类。所提出的草图和升降机(SL)的方法解决了一个二次采样数据集上的SDP,然后传播的解决方案的所有数据点的最近的质心舍入过程。结果表明,SL的方法享有类似的确切的恢复阈值的$K$ -意味着SDP在整个数据集上,这是已知的信息理论上紧高斯混合模型下。SL方法可以自适应增强的理论性能时,集群大小是不平衡的。我们的模拟实验表明,所提出的方法的统计精度优于国家的最先进的快速聚类算法,而不牺牲太多的计算效率,并与原来的$K$ -意味着SDP大大减少了运行时间。
2022-02-09 cs.LG stat.ML
Scalable Spectral Clustering with Group Fairness Constraints
University of Kentucky(肯塔基大学)
本文提出可扩展的公平谱聚类算法s-FairSC,通过零空间投影和Hotelling紧缩避免稠密矩阵运算,在保持与FairSC相当聚类质量的同时实现约12倍加速,并具备良好的可扩展性。
2023-04-14 cs.LG stat.ML
Scalable Distributed Approximation of Internal Measures for Clustering Evaluation
University of Padova(帕多瓦大学)
聚类评估中最广泛使用的内部度量是轮廓系数,其朴素的计算需要二次距离计算,这对于大规模数据集显然是不可行的。令人惊讶的是,没有已知的通用方法来有效地近似聚类的轮廓系数,具有严格可证明的高精度。在本文中,我们提出了第一个可扩展的算法来计算这样一个严格的近似评估聚类的基础上的任何度量距离。我们的算法取决于概率与大小成比例(PPS)的抽样方案,并且对于任何固定的$\varepsilon, δ\in (0,1)$,它近似的轮廓系数在一个纯粹的加性误差$O(\varepsilon)$与概率$1-δ$,使用非常少量的距离计算。我们还证明了该算法可以适应于获得严格的近似的聚类质量的其他内部措施,如凝聚力和分离。重要的是,我们使用MapReduce模型提供了该算法的分布式实现,该模型以恒定轮运行,并且在每个工作者处仅需要次线性局部空间,这使得我们的估计方法适用于大数据场景。我们进行了广泛的实验评估,我们的轮廓近似算法,比较其性能的一些基线的真实和合成数据集。实验提供的证据表明,与其他算法不同,我们的估计策略不仅提供了严格的理论保证,而且还能够在精确计算所需时间的一小部分内返回高度准确的估计,并且其分布式实现具有高度可扩展性,从而能够计算非常大的数据集的内部测量,其中精确计算是禁止的。
2021-01-20 cs.DS cs.LG
Multiple Graph Learning for Scalable Multi-view Clustering
Xidian University(西安电子科技大学);School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);Chongqing University of Posts and Telecommunications(重庆邮电大学)
基于图的多视图聚类由于能够有效地刻画多媒体数据之间的复杂结构和关系,已经成为一个活跃的研究课题。然而,现有的方法存在以下不足:(1)由于图的构造和特征分解,它们在大规模图学习中效率低下甚至失败。(2)它们不能很好地利用嵌入在不同视图的图中的互补信息和空间结构。为了更好地利用互补信息并解决基于图的多视图聚类的可扩展性问题,提出了一种基于少量锚点和张量Schatten p范数最小化的高效多图学习模型.具体地说,我们通过锚图为每个视图构造一个隐藏的、易处理的大图,并通过张量Schatten p-范数正则化器很好地利用了不同视图锚图中嵌入的互补信息.最后,我们开发了一个有效的算法,该算法与数据大小呈线性关系,以解决我们提出的模型。在多个数据集上的实验结果表明,我们提出的方法优于一些国家的最先进的多视图聚类算法。
2021-08-15 cs.CV cs.LG
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Dalhousie University, Canada(加拿大达尔豪斯大学);University of Calgary, Canada(加拿大卡尔加里大学)
提出VQLC框架,通过向量量化学习离散潜在概念,在保持可解释性的同时,实现与K-Means相当的计算效率,并优于层次聚类在大规模数据上的扩展性。
2026-06-11 cs.CL cs.LG
Scalable Model-Based Clustering with Sequential Monte Carlo
Lancaster University(兰卡斯特大学);Microsoft Research(微软研究院)
本文提出一种基于序列蒙特卡洛的聚类算法,通过分解问题提升效率,适用于大规模和复杂分布数据的聚类任务。
2026-04-16 cs.LG stat.CO stat.ML
HG-means: A scalable hybrid genetic algorithm for minimum sum-of-squares clustering
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学)
最小平方和聚类(MSSC)是一种广泛使用的聚类模型,其中流行的K均值算法构成了局部最小化器。众所周知,K-means的解决方案可以任意远离真正的MSSC全局最优值,并且已经针对该问题提出了数十种替代算法。然而,在文献中没有其他算法被主要采用。这可能与计算工作量的差异有关,或者与MSSC的近最优解对聚类有效性仅具有边际影响的假设有关。在这篇文章中,我们质疑这种信念。我们引入了一个有效的基于人口的元启发式算法,使用K-均值作为局部搜索结合问题定制的交叉,变异和多样化运营商。该算法可以被解释为多起始K均值,其中基于搜索历史对初始中心位置进行仔细采样。该方法是可扩展的和准确的,优于所有最近的国家的最先进的算法MSSC的解决方案的质量,衡量的深度局部极小值。对于具有大量特征的重叠高斯混合数据集,这种增强的准确性导致聚类比其他算法更接近地面实况。因此,改进的全局优化方法似乎是必要的,以更好地利用MSSC模型在高维。
2018-12-19 cs.LG stat.ML
Scalable Algorithms for Individual Preference Stable Clustering
Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术学院)
本文提出并分析了个体偏好稳定聚类的局部搜索算法,证明其具有O(log n)稳定性保证,并改进至近线性时间复杂度O~(nk)。
2024-03-15 cs.AI cs.CY cs.DS