Scalable Community Detection via Parallel Correlation Clustering
MIT（麻省理工学院）；Google（谷歌）
图聚类和社区发现是现代数据采掘的核心问题。分析数十亿级数据的需求日益增长，这就要求针对这些问题的算法更快、更可扩展。在这种聚类算法的质量和速度之间存在一定的权衡。在本文中，我们设计了可扩展的算法，实现高质量的基础上地面真相评估时。我们基于LambdaCC目标（由Veldt等人介绍）开发了一个通用的顺序和共享内存并行框架，其包括模块化和相关聚类。我们的框架由高度优化的实现组成，这些实现可扩展到数十亿条边的大型数据集，并在未加权和加权图上获得与地面实况数据相比高质量的聚类。我们的实证评估表明，该框架提高了可扩展的社区发现的速度和质量之间的最先进的权衡。例如，在具有双向超线程的30核机器上，我们的实现实现了比其他相关性集群基线高出几个数量级的加速，比我们自己的顺序基线高出28.44倍的加速，同时保持或提高了质量。
2021-07-27 cs.AI cs.DC cs.LG
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions
Oakland University（奥克兰大学）
针对有限资源环境下批处理的可扩展性与资源管理挑战，本文提出将单体流程分解为并行无服务器函数的方法，经DistilBERT模型与IMDb数据集的情感分析案例验证，该方法可在成本不变的情况下将执行时间减少95%以上，提升大规模机器学习推理的效率与经济性。
2025-01-30 cs.DC cs.LG
GSPMD: General and Scalable Parallelization for ML Computation Graphs
Google（谷歌）
我们提出了GSPMD，一个自动的，基于编译器的并行化系统，用于常见的机器学习计算。它允许用户以与单个设备相同的方式编写程序，然后通过一些关于如何分配张量的注释给出提示，GSPMD将基于这些注释并行计算。它的分区表示简单而通用，允许它在各种模型上表达不同或混合的并行范例。GSPMD根据有限的用户注释为每个操作员推断分区，从而方便扩展现有的单设备程序。它解决了生产使用中的几个技术挑战，使GSPMD能够在多达2048个Cloud TPUv3内核上实现50%至62%的计算利用率，适用于多达1万亿个参数的模型。
2021-12-23 cs.DC cs.LG
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC（南加州大学）；MIT（麻省理工学院）
基于计算统计推断的抽样问题，我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$，和一个常数$-1 \leq p \leq 1$，我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$，使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵，使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$，我们的算法在$m$中以接近线性的方式工作，并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样，它在随机性方面是最优的，在工作量和并行复杂度方面几乎是最优的。此外，我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
Parallel Scan Recurrent Neural Quantum States for Scalable Variational Monte Carlo
Department of Physics；Astronomy, University of California, Davis, California 95616, USA；Astronomy, San Jos\'e State University, San Jos\'e, California 95192, USA；Department of Applied Mathematics, University of Waterloo, Waterloo, ON N2L 3G1, Canada；Vector Institute, Toronto, Ontario, M5G 0C6, Canada
本文提出并行扫描循环神经量子态，通过并行化递归结构实现高效变分蒙特卡洛计算，在一维和二维空间中实现大规模自旋晶格模拟。
2026-05-13 cond-mat.dis-nn cond-mat.str-el cs.LG
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种分布式训练框架，通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性，实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations
University of Southern California（南加州大学）
强化学习（RL）在机器人、游戏和医疗保健等应用领域取得了巨大成功。然而，训练RL代理非常耗时。目前的实现表现出性能不佳，由于挑战，如不规则的内存访问和线程级同步开销的CPU。在这项工作中，我们提出了一个框架，用于在多核系统上生成可扩展的强化学习实现。重播缓冲区是RL算法的关键组件，它有助于存储从环境相互作用中获得的样本以及学习过程的数据采样。我们定义了一个新的数据结构的优先级重放缓冲区的基础上$K$ -ary和树，支持异步并行插入，采样，和优先级更新。为了解决不规则内存访问的挑战，我们提出了一种新的数据布局来存储和树的节点，减少了缓存未命中的数量。此外，我们提出了$\textit{lazy writing}$机制，以减少线程级的同步开销的重放缓冲区操作。我们的框架采用并行演员同时收集数据，通过环境的相互作用，并行学习者执行随机梯度下降使用收集的数据。我们的框架支持广泛的强化学习算法，包括DQN，DDPG等。我们通过使用OpenAI基准测试在CPU + GPU平台上进行实验，证明了我们的框架在加速RL算法方面的有效性。
2021-12-22 cs.LG cs.SY eess.SY
Towards Scalable and Stable Parallelization of Nonlinear RNNs
Stanford University（斯坦福大学）；Wu Tsai Neurosciences Institute（吴蔡神经科学研究所）；GE Healthcare（GE医疗）；Liquid AI
针对非线性RNN并行方法DEER复杂度高、数值不稳定的问题，提出拟牛顿近似降复杂度、基于ELK关联结合并行卡尔曼平滑提升稳定性的方案，实现更大规模更稳定的非线性RNN并行求值。
2025-01-15 cs.LG
Efficient classification using parallel and scalable compressed model and Its application on intrusion detection
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；School of Software Microelectronics, Peking University（北京大学软件与微电子学院）
为了实现入侵检测中的高效分类，提出了一种水平压缩和垂直压缩相结合的压缩模型。水平压缩采用OneR算法，垂直压缩采用仿射传播算法，从大量的训练数据中选择具有代表性的小样本。为了能够在计算上压缩具有可伸缩性的更大容量的训练数据，然后针对上述模型压缩过程的每个步骤实现并评估基于MapReduce的并行化方法，可以直接使用常见但有效的分类方法。在KDD 99和CMDC 2012两个公开的入侵检测数据集上的实验应用研究表明，基于压缩模型的分类方法可以有效地将检测速度提高184倍，最重要的是，其代价是平均精度差异小于1%.
2014-05-14 cs.CR cs.LG
SPILDL: A Scalable and Parallel Inductive Learner in Description Logic
King Saud University（沙特国王大学）
本文提出面向描述逻辑的可扩展并行归纳学习器 SPILDL，支持 $\mathcal{ALCQI}^{\mathcal{(D)}}$ 与字符串属性，并结合共享内存、分布式内存及 CPU+GPU 评估，最高实现约 560 倍加速。
2024-12-01 cs.AI cs.DC cs.DS
LLMEasyQuant: Scalable Quantization for Parallel and Distributed LLM Inference
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
LLMEasyQuant通过模块化和系统感知的量化框架，实现高效低比特LLM推理，支持多种量化方法并优化多GPU和分布式环境下的性能。
2025-11-27 cs.LG
PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）；Université Côte d’Azur（蔚蓝海岸大学）
在本文中，我们介绍了PARTIME，这是一个用Python编写并基于PyTorch的软件库，专门用于在数据随着时间的推移而连续流动时加速神经网络，用于学习和推理。现有的库被设计为利用数据级并行性，假设样本是批处理的，这在基于流数据的应用程序中并不自然满足。相应地，PARTIME在数据样本从流中变得可用时开始处理每个数据样本。PARTIME包装了实现前馈多层网络的代码，并将逐层处理分配给多个设备，如图形处理单元（GPU）。由于其基于流水线的计算方案，PARTIME允许设备并行执行计算。在推理时，这导致缩放能力理论上与设备数量成线性关系。在学习阶段，PARTIME可以利用非i.i.d.具有随时间平滑演变的样本的流式数据的性质，用于有效的梯度计算。进行实验是为了在在线学习中将PARTIME与经典的非并行神经计算进行经验比较，将操作分布在多达8个NVIDIA GPU上，显示出在设备数量上几乎呈线性的显着加速，减轻了数据传输开销的影响。
2022-12-02 cs.LG
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport（布里奇波特大学）
AdaBoost是机器学习中的一种重要算法，在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器，然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的，但它的学习执行时间可能会很长，具体取决于应用程序，例如，在人脸检测中，学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用，需要大幅减少学习时间，使得可以结合自适应的近实时的目标检测系统。在本文中，我们开发了一个混合并行和分布式AdaBoost算法，利用多个核心的CPU通过轻量级线程，并通过Web服务软件架构使用多台机器，以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构，并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比，它使用单级主从并行和分布式实现[1]，在四个节点上仅实现了2.66的加速比，我们在31个工作站上实现了95.1的加速比，每个工作站都有一个四核处理器，每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Breaking the Nonsmooth Barrier: A Scalable Parallel Method for Composite Optimization
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；MILA（蒙特利尔学习算法研究所）；DIRO（蒙特利尔大学计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）
由于其简单性和优异的性能，随机梯度下降的并行异步变体已成为解决多核架构上的大范围大规模最优化问题的流行方法。然而，尽管它们在实际中取得了成功，但仍然缺乏对非光滑目标的支持，使得它们不适合机器学习中的许多感兴趣的问题，例如Lasso，Group Lasso或凸约束的经验风险最小化。在这项工作中，我们提出并分析ProxASAGA，一个完全异步稀疏方法的启发SAGA，方差减少增量梯度算法。该方法易于实现，并显着优于现有技术的几个非光滑，大规模的问题。我们证明，我们的方法实现了理论上的线性加速比相对于顺序版本的假设下的稀疏梯度和块分离的近端。多核架构上的经验基准测试表明，在20核机器上实际加速高达12倍。
2017-11-05 cs.LG math.OC stat.ML
Layer-Wise Partitioning and Merging for Efficient and Scalable Deep Learning
Manchester Metropolitan University（曼彻斯特城市大学）；University of Sheffield（谢菲尔德大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
深度神经网络（DNN）模型通常从一层到另一层顺序训练，这会导致前向、后向和更新锁定的问题，导致训练时间方面的性能较差。现有的并行策略，以减轻这些问题提供次优的运行时性能。在这项工作中，我们提出了一种新的逐层划分和合并，向前和向后传递并行框架，以提供更好的训练性能。所提出的工作的新颖性包括：1）分层分区和合并模型，可以最大限度地减少设备之间的通信开销，而无需在训练过程中使用现有策略的内存成本; 2）前向传递和后向传递并行化和优化，以解决更新锁定问题并最大限度地减少总训练成本。对真实用例的实验评估表明，该方法在训练速度方面优于最先进的方法;并且在不影响非并行方法的准确性性能的情况下，实现了几乎线性的加速比。
2022-07-22 cs.DC cs.LG
Accurate, Efficient and Scalable Training of Graph Neural Networks
University of Southern California（南加利福尼亚大学）；US Army Research Lab（美国陆军研究实验室）
图神经网络（GNN）是在图上生成节点嵌入的强大深度学习模型。当在大型图上应用深度GNN时，以有效和可扩展的方式进行训练仍然具有挑战性。我们提出了一种新的并行训练框架。通过将小的子图作为小批量进行采样，与最先进的小批量方法相比，我们减少了数量级的训练工作量。然后，我们并行化的关键计算步骤紧耦合共享内存系统。对于图形采样，我们利用并行内和跨采样器实例，并提出了一个有效的数据结构，支持并发访问的采样器。理论上，并行采样器相对于处理单元的数量实现了接近线性的加速比。对于子图内的特征传播，我们通过数据分区来提高缓存利用率并减少DRAM流量。我们的分区是一个2-近似策略，最大限度地减少通信成本相比，最佳的。我们进一步开发了一个运行时调度器来重新排序训练操作，并调整小批量子图，以提高并行性能。最后，我们将上述并行化策略推广到支持多种类型的GNN模型和图采样器。所提出的训练在可扩展性、效率和准确性方面同时优于最先进的训练。在40核Xeon平台上，与串行实现相比，我们在采样步骤中实现了60倍的加速（使用AVX），在特征传播步骤中实现了20倍的加速。我们的算法能够快速训练更深层次的GNN，与Tensorflow实现相比，速度提高了几个数量级。我们在https://github.com/GraphSAINT/GraphSAINT上开源我们的代码。
2020-10-05 cs.DC cs.LG
Efficient Parallel Multi-Hop Reasoning: A Scalable Approach for Knowledge Graph Analysis
Intel Corporation（英特尔公司）
针对大规模知识图谱上多跳推理的时间效率问题，本文提出利用领域学习嵌入并行寻找三跳查询前K条路径的算法，并在Intel与AMD架构上验证其高性能与可扩展性。
2024-06-11 cs.AI cs.DC cs.DS
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland（马里兰大学）；Microsoft（微软）；HEALTH[at]SCALE；Flatiron Health；Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
我们提出了一个集成的方法，在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略，在一小组变量上学习模型，并迭代地合并到一个全局解决方案中。结构学习涉及组合操作，如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型，该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的，并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
FastOmniTMAE: Parallel Clause Learning for Scalable and Hardware-Efficient Tsetlin Embeddings
Department of ICT University of Agder（信息与通信技术系阿格德大学）；School of Engineering Newcastle University（工程学院新castle大学）
本文提出FastOmniTMAE，通过并行评估和更新阶段提升训练效率，实现分类任务5倍加速，同时在FPGA和SoC上实现高效逻辑嵌入学习。
2026-05-07 cs.LG
Scalable Motif Counting for Large-scale Temporal Graphs
Ocean University of China（中国海洋大学）；Massachusetts Institute of Technology（麻省理工学院）；The University of Hong Kong（香港大学）
时间图分析中的一个基本问题是对小的连通子图模式（即，基序），这有益于广泛的现实世界应用，诸如异常检测、结构预测和网络表示学习。然而，现有的工作集中在精确的时间模体是不可扩展的大规模时间图数据，由于其沉重的计算成本或固有的并行性不足。在这项工作中，我们提出了一个可扩展的并行框架，精确计数的时间图案在大规模的时间图。我们首先分类的时间图案基于其独特的属性，然后设计定制的算法，提供有效的策略，以准确地计算每个类别的主题实例。此外，我们紧凑的数据结构，即三重和四重计数器，使我们的算法能够直接识别每个类别的时间模体实例，根据边缘信息和边缘之间的关系，从而显着提高计数效率。基于所提出的计数算法，我们设计了一个分层的并行框架，具有节点间和节点内的并行策略，并充分利用现代CPU的多线程能力，并发地计算所有的时间图案。在16个真实世界的时态图数据集上进行的大量实验证明了我们提出的时态基序计数框架的优越性和能力，与最先进的方法相比，实现了高达538* 的加速比。我们的方法的源代码可在https://github.com/steven-ccq/FAST-temporal-motif上获得。
2022-04-20 cs.LG cs.SI
ParlayANN: Scalable and Deterministic Parallel Graph-Based Approximate Nearest Neighbor Search Algorithms
Carnegie Mellon University（卡内基梅隆大学）；UC Riverside（加州大学河滨分校）；University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
针对现有并行图ANNS算法扩展性差和不确定性问题，提出ParlayANN库，包含四种确定性并行算法，可扩展至十亿级数据集，并通过实验验证其高效性和全面比较。
2024-02-08 cs.IR cs.LG
