arXiv 1702.013962017-02cs.DCcs.SI

基于Tabu搜索的聚类算法及其在Spark上的并行实现

A Tabu Search based clustering algorithm and its parallel implementation on Spark

Yinhao Lu, Buyang Cao, Cesar Rego, Fred Glover

摘要：

著名的K-means聚类算法已广泛应用于从数据分析到物流应用的不同应用领域。然而，K-means算法可能会受到诸如初始质心选择等因素的影响，并且很容易陷入局部最优。本文提出了一种改进的K-means聚类算法，该算法通过Tabu搜索策略进行了扩展，更好地适应了大数据应用的需求。我们的设计进一步增强，以利用基于Spark框架的并行处理。计算实验证明了我们的禁忌搜索的聚类算法的优越性，在广泛使用的版本的K-means方法体现在Spark MLlib，比较算法的可扩展性，准确性和有效性。

英文摘要：

The well-known K-means clustering algorithm has been employed widely in different application domains ranging from data analytics to logistics applications. However, the K-means algorithm can be affected by factors such as the initial choice of centroids and can readily become trapped in a local optimum. In this paper, we propose an improved K-means clustering algorithm that is augmented by a Tabu Search strategy, and which is better adapted to meet the needs of big data applications. Our design is further enhanced to take advantage of parallel processing based on the Spark framework. Computational experiments demonstrate the superiority of our Tabu Search based clustering algorithm over a widely used version of the K-means approach embodied in Spark MLlib, comparing the algorithms in terms of scalability, accuracy, and effectiveness.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于Hadoop MapReduce和Spark的多K均值++卫星图像聚类

Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark

图像聚类是卫星图像挖掘的重要步骤之一。在我们的实验中，我们在MapReduce作业的同一次迭代中同时运行多个具有不同初始质心和k值的K-means算法。对于初始质心的初始化，我们已经实现了可扩展的K-Means++ MapReduce（MR）作业[1]。我们还为多个聚类输出运行了简化轮廓指数[2]的验证算法，再次在MR作业的相同迭代中。本文探讨了上述聚类算法在MapReduce和Spark作业等大数据平台上运行时的行为。之所以选择Spark，是因为它在快速处理方面很受欢迎，特别是在涉及迭代的情况下。

2016-05-06cs.DC

基于Hadoop和Spark的高效大文本数据聚类算法

Efficient Big Text Data Clustering Algorithms using Hadoop and Spark

文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。

2021-12-01cs.DC

GPIC - GPU功率迭代群集

GPIC - GPU Power Iteration Cluster

本文提出了一种新的聚类算法GPIC，一种基于图形处理器（GPU）加速的幂迭代聚类算法（PIC）。我们的算法是基于原来的PIC建议，适应利用GPU架构，保持算法的原始属性。该方法与串行和并行Spark实现进行了比较，在测试问题中实现了相当大的速度提升。

2016-04-10cs.DC

分布式Silhouette算法：评估大数据上的聚类

Distributed Silhouette Algorithm: Evaluating Clustering on Big Data

Politecnico di Torino（都灵理工大学）

在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。

2023-03-24cs.AIcs.DCcs.DS

在大型超级计算机上评估Apache Spark的基准研究

A Benchmarking Study to Evaluate Apache Spark on Large-Scale Supercomputers

随着数据集大小的增加，高性能计算（HPC）中的数据分析任务越来越依赖于复杂的并行计算和核外方法来提高系统利用率。此外，随着HPC系统的增长，存储器访问和数据共享正在成为性能瓶颈。云计算采用通常建立在低成本计算节点的松散连接组上而不依赖于共享存储和/或存储器的数据处理范例。Apache Spark是一个流行的云计算大规模数据分析引擎，我们已经通过作业提交脚本成功部署在生产集群上。在本文中，我们描述了消息传递接口（MPI）和基于云的应用程序的常见并行分析流程。我们开发了一个有效的基准来衡量这些任务的性能特征，使用这两种类型的系统，特别是比较MPI/C为基础的分析与火花。基准测试是一个数据处理管道，代表了使用map-reduce实现的典型分析框架。在Spark的例子中，我们还考虑了语言是否通过使用Python和Scala（一种构建在Java虚拟机（JVM）上的语言）编写测试来发挥作用。我们包括来自阿贡国家实验室的两个大型系统的性能结果，其中包括Theta，Cray XC 40超级计算机，我们的实验运行65，536个核心（1024个节点，每个节点64个核心）。我们的实验结果进行了讨论，其适用性的背景下，未来的HPC架构。除了了解性能之外，我们的工作还表明，Spark等技术虽然通常针对基于云的多租户环境，但在传统的集群/超级计算环境中显示出数据分析需求的前景。

2019-09-27cs.DCcs.SE

分布式环境下大数据聚类的最新方法撰写总结

Writing summary for the state-of-the-art methods for big data clustering in distributed environment

大数据处理系统处理大量的非结构化和结构化数据，通过聚类分析进行存储、处理和分析，这有助于识别看不见的模式，找到它们之间的关系。在大数据技术中，对共享机器进行聚类分析有助于导出关系并使用上下文中的数据做出决策。它可以处理各种形式的原始表格数据以及结构化、半结构化和非结构化数据。数据不必具有线性特性。它可以反映关联和相关的模式和分组。本文的主要贡献和发现是收集和总结最近的大数据聚类技术，以及它们在任何分布式环境中的优点和缺点。

2022-11-10cs.DC

更多相关论文收起更多论文

$\ell_p$ -距离下单链聚类的大规模并行算法及其难度

Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances

我们提出了大规模并行（MPC）算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明，$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离（除了汉明，我们显示一个确切的算法）。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设（足够大的尺寸取决于所使用的距离）。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明，这些数据集表现出几个数量级的加速。

2018-03-25cs.DBcs.DCcs.DS

clusterNOR：一个基于NUMA的优化聚类框架

clusterNOR: A NUMA-Optimized Clustering Framework

聚类算法是迭代的，具有复杂的数据访问模式，导致许多小的随机内存访问。并行实现的性能受到每次迭代的同步障碍和倾斜工作负载的影响。我们重新考虑现代非统一内存架构（NUMA）的集群并行化，以最大限度地提高独立、异步计算的效率。我们消除了许多障碍，减少了远程内存访问，并最大限度地提高缓存重用。我们实现了“集群NUMA优化的并行”（clusterNOR）可扩展的并行框架，提供算法构建块。该系统是通用的，我们演示了九个现代聚类算法，有简单的实现。clusterNOR包括（i）存储器内，（ii）半外部存储器，以及（iii）分布式存储器执行，使得能够针对变化的存储器和硬件预算进行计算。对于依赖于欧氏距离的算法，clusterNOR定义了一个更新的Elkan三角不等式修剪算法，该算法使用的内存逐渐减少，因此可以在十亿点数据集上工作。clusterNOR通过概括基本原理、提供统一的编程接口并将范围扩展到分层和线性代数类算法，扩展并扩展了k-means聚类的“knor”库的范围。我们优化的复合效果是速度比其他最先进的解决方案（如Spark的MLlib和Apple的Turi）提高了一个数量级。

2021-01-17cs.DC

基于Spark Streaming的基于最优特征选择的无监督Logistic回归（OFS-ULR）模型在生活日志数据中的实证分析

Empirical Analysis of Lifelog Data using Optimal Feature Selection based Unsupervised Logistic Regression (OFS-ULR) Model with Spark Streaming

IIIT Allahabad（阿拉哈巴德印度信息技术学院）

普适医疗监测系统领域的最新进展导致实时生成大量的生活日志数据。慢性病是发展中国家和发达国家最严重的健康挑战之一。据世卫组织统计，这占所有死亡人数的73%，占全球疾病负担的60%。慢性病分类模型现在正在利用生活日志数据的潜力来探索更好的医疗保健实践。建立一种基于最优特征选择的无监督Logistic回归模型（OFS-ULR），用于慢性病分类。由于生活日志数据分析是至关重要的，由于其敏感的性质，因此传统的分类模型表现出有限的性能。因此，利用生活日志数据设计新的分类器对慢性病进行分类是时代的需要。建立一个好的模型的关键部分取决于数据集的预处理，识别重要特征，然后用合适的超参数训练学习算法以获得更好的性能。所提出的方法使用一系列步骤来改进现有方法的性能，例如（i）去除冗余或无效实例，（ii）使用聚类标记数据并将数据划分为类，（iii）通过应用一些领域知识或选择算法来识别合适的特征子集，（iv）超参数调整模型以获得最佳结果，以及（v）使用Spark流式传输环境的性能评估。为此，在实验中使用两个时间序列数据集来计算准确率、召回率、精确率和f1分数。实验分析证明了所提出的方法的适用性相比，传统的分类器和我们的新构建的模型取得了最高的准确性和降低了训练的复杂性之间的所有。

2022-04-12cs.DCcs.LG

一种有效的大规模均值漂移聚类的分布式近似最近邻算法

A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering

University of Paris 13（巴黎第十三大学）

在本文中，我们的目标是一类的模式聚类方法，其中集群的概率密度函数，生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广，它计算任意形状的聚类，定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力，但对于无监督学习来说，它是一种计算成本很高的方法。因此，我们介绍了两个贡献，旨在提供一个线性的时间复杂度的聚类算法，而不是二次时间复杂度的精确均值漂移聚类。首先，我们提出了一个可扩展的过程来近似密度梯度上升。其次，我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希（LSH）来近似最近的邻居。这两种技术可用于中等大小的数据集。此外，我们表明，使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤，也可以提高专用的分类指标。对于后者，提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法，我们提出了实验结果，说明他们的标签的准确性和解决具体问题的潜力。

2019-02-11cs.AIcs.DCcs.LG

无服务器GPU架构用于企业人力资源分析：一种生产规模的BDaaS实现

Serverless GPU Architecture for Enterprise HR Analytics: A Production-Scale BDaaS Implementation

Department of Engineering Management and Systems Engineering, George Washington University, USA（工程管理与系统工程系，乔治华盛顿大学）；Workday, Inc.（Workday公司）；Department of Computer Science and Information Technology, Youngstown State University, USA（计算机科学与信息技术系，扬斯敦州立大学）

本文提出了一种结合无服务器GPU和TabNet的BDaaS架构，实现了高吞吐量、低延迟和合规性的企业人力资源分析解决方案。

2026-01-29cs.AIcs.DCcs.LG

基于MapReduce的地理分布式大数据处理综述

A Survey on Geographically Distributed Big-Data Processing using MapReduce

Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。

2017-07-06cs.DBcs.DC

通过局部收缩的大规模连接组件

Connected Components at Scale via Local Contractions

作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。

2018-07-27cs.DCcs.DS

基于LSH的高不平衡数据集中大数据实例选择算法

An Instance Selection Algorithm for Big Data in High imbalanced datasets based on LSH

Universidad de Antioquia（安蒂奥基亚大学）；Universidad Politécnica de Madrid（马德里理工大学）

在真实环境中训练机器学习（ML）模型通常涉及大数据集和高级不平衡样本，其中感兴趣的类别未被表示（少数类别）。使用经典ML模型的实用解决方案使用训练算法的并行/分布式实现、基于模型的近似解决方案或应用实例选择（IS）算法来消除冗余信息来解决大型数据集的问题。然而，大型和高度不平衡数据集的组合问题却很少得到解决。这项工作提出了三种新的方法是能够处理大型和不平衡的数据集。所提出的方法使用局部敏感哈希（LSH）作为基本聚类技术，然后三种不同的采样方法应用于LSH生成的聚类（或桶）的顶部。这些算法是在Apache Spark框架中开发的，保证了它们的可扩展性。在三个不同的数据集上进行的实验表明，所提出的IS方法可以在几何平均值方面将基础ML模型的性能提高5%到19%。

2022-10-09cs.DCcs.DScs.LG

基于GPU的并行MAX-MIN蚂蚁系统的实现

Implementing a GPU-based parallel MAX-MIN Ant System

最大最小蚁群算法（MAX-MIN Ant System，MMAS）是最著名的蚁群优化算法之一，在求解复杂的组合优化问题上有着广泛的应用前景。摩尔定律的减速，以及能够以高速进行通用计算的图形处理单元（GPU）的可用性，引发了对基于GPU的ACO实现的开发的相当大的研究努力。在本文中，我们讨论了一系列新的想法，以改善基于GPU的并行MMAS实现，使其能够更好地利用两个后续的Nvidia GPU架构提供的计算能力。具体而言，基于加权水库采样算法，我们提出了一种新的并行实现的节点选择过程，这是在MMAS和其他ACO算法的心脏。我们还提出了另一个关键组件-禁忌列表结构-这是在ACO的解决方案建设阶段使用的内存效率的实现。所提出的实现，结合现有的方法，导致总共六个MMAS的变种，这是一组旅行推销员问题（TSP）的情况下，从198到3,795城市进行评估。结果表明，我们的MMAS实现与最先进的基于GPU和基于多核CPU的并行ACO实现相比具有竞争力：事实上，Nvidia V100 Volta GPU的时间分别减少了7.18倍和21.79倍。最快的MMAS变体能够在解决1，002个城市的实例时每秒生成超过100万个候选解决方案。此外，我们表明，结合2-opt局部搜索启发式，建议的并行MMAS发现高质量的解决方案的TSP实例高达18,512个节点。

2020-01-18cs.DCcs.NE