Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
Biased Local SGD for Efficient Deep Learning on Heterogeneous Systems
Inha University（延世大学）；Mondrian AI（蒙德里安人工智能）
本研究提出有偏局部SGD方法，通过引入数据采样和模型聚合的偏差，提升异构系统中深度学习的训练效率，实现比同步SGD更快的训练速度和相近的准确性。
2026-02-23 cs.LG
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.（赛博艾坚特公司）
近年来，利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化（BO）在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索，但这些方法假设同步设置或不可扩展。在本文中，我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明，该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
pySOT and POAP: An event-driven asynchronous framework for surrogate optimization
Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）；National University of Singapore（新加坡国立大学）
本文介绍了使用异步并行优化（POAP）和Python代理优化（pySOT）的管道。POAP是一个事件驱动的框架，用于构建和组合异步优化策略，旨在对并发函数求值有用的昂贵函数进行全局优化。POAP由三个组件组成：一个能够进行功能评估的工作者池，提出评估或其他操作的策略，以及一个协调工作者和策略之间交互的控制器。pySOT是同步和异步代理优化策略的集合，在POAP框架中实现。我们支持的随机RBF方法的Regis和舒梅克随着各种扩展的这种方法，和一般的代理优化策略，涵盖了大多数贝叶斯最优化方法。我们已经实现了许多不同的代理模型、试验设计、采集功能和大量的测试问题。我们做了广泛的同步和异步并行之间的比较，发现异步计算的优势增加的方差的评估时间或处理器的数量增加。我们观察到一个接近线性的速度与4，8和16个处理器在同步和异步设置。
2019-07-30 cs.LG cs.MS math.OC
Probabilistic Inference of Simulation Parameters via Parallel Differentiable Simulation
University of Southern California（南加州大学）；NVIDIA（英伟达）
为了准确地再现真实世界的测量结果，仿真器需要有一个适当的物理系统模型，并需要识别模型的参数。我们解决后一个问题，估计参数通过贝叶斯推理方法，近似后验分布的模拟参数给定的真实传感器测量。通过扩展常用的高斯似然模型的轨迹，通过多次射击制定，我们选择的基于粒子的推理算法斯坦变分梯度下降是能够识别高度非线性，欠驱动系统。我们利用GPU代码生成和可微模拟来并行评估许多粒子的可能性及其梯度。我们的算法比可比基线更准确地推断模拟参数的非参数分布，并通过基于梯度的优化有效地处理参数约束。我们评估几个物理实验的估计性能。在一个欠驱动的机制，一个7自由度的机器人手臂激发一个未知的质量配置的对象，我们演示了我们的推理技术可以识别参数之间的对称性，并提供高度准确的预测。项目网址：https://uscresl.github.io/prob-diff-sim
2022-02-27 cs.LG cs.RO
Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
针对时间敏感黑盒优化问题，提出基于满足型Thompson采样的并行贝叶斯优化方法，通过率失真理论平衡信息量与次优性，在锂电快充实验中优于传统方法。
2023-10-19 cs.LG cs.SY eess.SY
Diffusive Load Balancing of Loosely-Synchronous Parallel Programs over Peer-to-Peer Networks
使用未充分利用的互联网资源被广泛认为是一种可行的高性能计算形式。据报道，使用400万个自愿的互联网主机，大约40 T FLOPS的持续处理能力可以解决非常复杂的并行问题。与此同时，拥有超过5000万参与者的点对点（P2P）文件共享网络已经证明了分布式系统的规模能力。本文致力于研究负载均衡技术的一般类松散同步并行算法时，在P2P网络上执行。我们发现，分散的，扩散的负载均衡可以有效地平衡负载，并促进P2P的动态特性。虽然适度的动态性可以有益于负载均衡，但是由于需要增加负载迁移，显著的动态性阻碍了并行程序性能。据我们所知，这项研究提供了新的见解松散同步并行程序在互联网上的性能。
2004-10-05 cs.DC
Raiders of the Lost Log: Synchronous Parallel In-Place Models and Algorithms
UC Irvine（加州大学欧文分校）
针对现有并行原地模型在中间处理器数量下无原地保证的问题，提出同步PIP模型族，并设计高效同步并行算法，利用并行增强扫描技术确保所有处理器数量下严格原地。
2026-06-16 cs.DC cs.DS
Efficient Implementation of a Synchronous Parallel Push-Relabel Algorithm
基于FIFO的推重标记算法能够在现代大型最大流问题实例上优于基于最高标签的变体，我们引入了一种有效的算法实现，该算法使用粗粒度并行来避免现有并行方法的问题。我们展示了良好的相对和绝对的加速比，我们的算法上的一组大型图形实例取自现实世界的应用程序。在现代40核机器上，我们的并行实现优于现有的顺序实现高达12倍，其他并行实现高达3倍。
2015-07-23 cs.DC cs.DS
An Optimal Level-synchronous Shared-memory Parallel BFS Algorithm with Optimal parallel Prefix-sum Algorithm and its Implications for Energy Consumption
我们提出了一种高效的并行级同步宽度优先搜索（BFS）算法的共享存储器架构，实现了理论上的并行运行时间的下限。无论图的形状如何，最优性都保持不变。我们还证明了这一最优方案的能源消耗经验的含义。关键的想法是永远不要使用超过必要的处理核心来有效地完成任何计算步骤中的工作。我们保持其余的核空闲以节省能量并减少其他资源争用（例如，带宽、共享高速缓存等）。我们的BFS不使用锁和原子指令，并且很容易扩展到共享内存协处理器。
2022-09-19 cs.CC cs.DC cs.DS
Elastic Bulk Synchronous Parallel Model for Distributed Deep Learning
York University（约克大学）；IBM Canada（IBM加拿大公司）
批量同步并行（BSP）是一种著名的通用并行计算同步模型，已成功地用于机器学习模型的分布式训练。BSP的一个普遍缺点是它要求工作者在每次迭代中等待掉队者。为了改善经典BSP的这一缺点，我们提出了ELASTICBSP模型，旨在放宽其严格的同步要求。该模型在训练阶段提供了更大的灵活性和适应性，而不会牺牲训练模型的准确性。我们还提出了一个有效的方法，实现该模型，命名为ZIPLINE。该算法是可调的，可以有效地平衡收敛质量和迭代吞吐量之间的权衡，以适应不同的环境或应用。一个彻底的实验评估表明，我们提出的ELASTICBSP模型收敛速度更快，更高的精度比经典的BSP。它还实现了与其他合理同步模型相当（如果不是更高）的准确性。
2020-01-06 cs.DC cs.LG stat.ML
Bulk-synchronous pseudo-streaming algorithms for many-core accelerators
大容量同步并行（BSP）模型为编写具有可预测性能的并行程序提供了一个框架。在本文中，我们扩展的BSP模型，以支持我们将所谓的伪流算法的加速器。我们还概括的BSP成本函数，这些算法，使它有可能预测的运行时间为目标的程序众核加速器，并确定可能的瓶颈。在这个新的框架内的算法的几个例子将进行探讨。我们通过提出少量新的BSP原语来扩展BSPlib标准，以便以可移植的方式创建和使用流。我们将介绍一个名为Epiphany BSP的软件库，该库实现了用于P2P开发板的这些想法。最后，我们将给出伪流算法的实验结果上的Xuelella平台。
2017-03-23 cs.DC
Synchronous Relaxation for Parallel Ising Spin Simulations
提出了一种新的模拟Ising自旋系统的并行算法。顺序原型是n重方式算法引用{BKL 75}，这是有效的，但很难并行化使用保守的方法。并行算法是乐观的。与其他乐观算法不同，例如，时间扭曲我们的算法是同步的它也属于被称为“松弛”的模拟类，因此它被命名为“同步松弛”。“”我们推导出该算法的性能保证。如果N是PE的数量，那么在弱假设下，我们表明每单位时间处理的正确事件的数量平均至少是N/log（N）的数量级。所有通信延迟、处理时间和忙等待都被考虑在内。
2004-05-17 cond-mat.mtrl-sci cs.DC cs.DS
Elasticity in Parallel Sparse Triangular Solve
Huawei（华为）
提出一种用于并行稀疏三角线性系统求解的陈旧同步并行执行模式，并设计通用有向无环图调度器ElasticDivide，通过重叠同步与计算实现7%-30%的几何平均加速。
2026-07-03 cs.DC
Encoding fairness in a synchronous concurrent program algebra: extended version with proofs
并发程序精化代数为支持共享内存并发程序的组合式机械推理提供了一个合适的基础，例如，它支持Jones的依赖/保证方法。该代数利用了Aczel的并发跟踪模型和Milner的SCCS相似的同步并行操作符。本文着眼于在程序代数中定义一种形式的公平性。编码允许一个原因，公平执行一个单独的进程，以及定义公平并行的基本并行运算符，其中没有公平性的假设。建立了支持公平性和公平并行的代数理论。
2018-05-04 cs.DC cs.LO
Oscars: Adaptive Semi-Synchronous Parallel Model for Distributed Deep Learning with Global View
深度学习已经成为生活中不可或缺的一部分，如人脸识别、NLP等，但深度模型的训练一直是一个挑战，而近年来，训练数据和模型的复杂度呈现爆炸式增长，因此训练方式逐渐向分布式训练转变。经典的同步策略虽然能保证准确率但频繁的通信会导致训练速度慢，异步策略虽然训练速度快但不能保证准确率，而且面对异构集群的训练，上述工作效率不高，一方面会造成资源的严重浪费，另一方面频繁的通信也使得训练速度慢，为此，本文提出了一种基于local-SDG的半同步训练策略，有效提高了异构资源集群的利用效率，减少了通信开销，加快了训练速度，保证了模型的准确性。
2021-02-17 cs.DC
A Case for Stale Synchronous Distributed Model for Declarative Recursive Computation
一旦递归中允许聚合，一大类传统的图和数据采掘算法可以用Datasheet和其他基于逻辑的语言简洁地表达。事实上，对于大多数BigData算法，在递归中使用非单调聚合所带来的困难语义问题通过Pre-Mappability（PreM）解决，PreM是一种属性，可以确保对于递归中使用聚合的程序，存在等效的聚合分层程序。在本文中，我们表明，通过将分层程序的形式抽象语义与非分层程序的有效操作语义结合在一起，PreM也可以促进和提高它们的并行执行。我们证明了PreM优化的无锁和可分解的并行半天真评价产生相同的结果作为单一的执行器程序。因此，PreM可以被同化到不同的分布式系统的数据并行计算计划，无论这些是否遵循批量同步并行（BSP）或异步计算模型。此外，我们表明，非线性递归查询可以使用混合陈旧的同步并行（SSP）模型在分布式环境中进行评估。在提供了一个正式的正确性证明的递归查询评估与PreM在这个宽松的同步模型下，我们提出了实验证据，其好处。本文正在考虑接受逻辑编程理论与实践（TPLP）。
2019-07-24 cs.DB cs.DC cs.LO
Lossy Bulk Synchronous Parallel Processing Model for Very Large Scale Grids
在一个非常大规模的网格并行算法的性能显着影响底层的互联网协议和互连。由于TCP的可靠性，许多网格编程平台都使用TCP，通常会进行一些优化以降低其成本。然而，TCP在高带宽和高延迟的网络环境中表现不佳。另一方面，UDP是可用的最快的协议，因为它省略了连接建立过程，中断和重传，牺牲了可靠的传输。许多新的批量数据传输方案使用UDP进行数据传输，如RBUDP，Tsunami和SABUL已被引入，并显示出比TCP更好的性能。在本文中，我们考虑使用UDP和检查数据包丢失和加速之间的关系，相对于网格节点的数量。我们的测量表明，平均5%-15%之间的数据包丢失率在广泛分布在互联网上的PlanetLab节点之间并不罕见。我们表明，传输多个副本相同的数据包产生更高的加速比。我们展示了最小数量的数据包重复需要最大限度地提高可能的加速比，对于给定数量的节点使用BSP为基础的模型。我们的工作表明，通过使用适当数量的数据包副本，我们可以提高并行程序的性能。
2006-12-20 cs.CC cs.DC cs.PF
DPP-PMRF: Rethinking Optimization for a Probabilistic Graphical Model Using Data-Parallel Primitives
提出了一种新的概率图模型优化并行算法。该算法依赖于数据并行原语（DPP），它提供了硬件架构上的可移植性能。我们评估CPU和GPU的图像分割问题的结果。与串行基线相比，我们观察到高达13倍（CPU）和44倍（GPU）的运行时加速。我们还将我们的性能与基于OpenMP的参考算法进行了比较，并发现加速高达7倍（CPU）。
2018-09-13 cs.DC
Papaya: Practical, Private, and Scalable Federated Learning
Meta AI
跨设备联邦学习（FL）是一种分布式学习范式，它具有与传统分布式学习不同的几个挑战，每个设备上的系统特性的可变性，以及与中央服务器协调的数百万客户端是主要的。文献中描述的大多数FL系统是同步的-它们执行来自各个客户端的模型更新的同步聚合。扩展同步FL具有挑战性，因为增加并行训练的客户端数量会导致训练速度的收益递减，类似于大批量训练。此外，掉队者阻碍同步外语训练。在这项工作中，我们概述了生产异步FL系统设计。我们的工作解决了上述问题，概述了一些系统设计挑战及其解决方案，并触及了为数百万客户构建生产FL系统所产生的原则。从经验上讲，我们证明了在近一亿台设备上训练时，异步FL比同步FL收敛得更快。特别是，在高并发设置中，异步FL比同步FL快5倍，通信开销几乎少8倍。
2022-04-25 cs.DC cs.LG
On the Convergence Analysis of Asynchronous SGD for Solving Consistent Linear Systems
在大数据和机器学习领域，数据并行，分布式随机算法在当今引起了极大的关注。虽然这些算法的同步版本是很好地理解其收敛性，其异步同行的收敛性分析没有得到广泛的研究。在本文中，我们提出并分析了一个{ \it分布式，异步并行} SGD解决一个任意一致的线性系，通过将系统转化为随机最优化问题，研究了Richtárik和Takác在[35]。我们比较了我们的异步SGD算法的收敛速度与同步并行算法提出的Richtárik和Takánik在[35]在不同的选择超参数--步长，阻尼因子，处理器的数量，和延迟因子。我们证明了我们的异步并行SGD算法也具有全局线性收敛速率，类似于{ \em basic}方法和[35]中的同步并行方法，用于通过随机重构求解任意相容线性系。我们还表明，我们的异步并行SGD改进后的{ \em基本}方法具有更好的收敛速度时，处理器的数量大于4。我们进一步表明，这种异步的方法比它的同步对应的某些线性系渐近更好。此外，对于某些线性系，我们计算所需的处理器的最小数量，我们的异步并行SGD是更好的，并发现这个数字可以低至两个病态的问题。
2020-04-05 cs.CC cs.DC cs.NA
Response-Time Analysis and Optimization for Probabilistic Conditional Parallel DAG Tasks
实时系统越来越多地使用多核处理器，以满足热，功率和计算需求。为了利用多核处理器提供的架构并行性，必须提供并行任务模型、调度算法和相对于实时约束的响应时间分析。在本文中，我们提出了一个基于预约的调度算法，零星的约束最后期限并行条件DAG任务的概率执行行为的应用程序，可以容忍有限数量的最后期限错过和有限的迟到。我们设计的规则和分析，以保证有限的迟到一个指定的有界概率$k$-连续的最后期限错过，而不强制执行迟到的作业立即中止。
2021-01-26 cs.DC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.（超威半导体公司）
针对BSP模型在非规则负载下的通信瓶颈，提出结合LCI和OpenMP的多线程细粒度异步BSP方法，通过细粒度零拷贝主动消息实现计算通信重叠，在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
Asynchronous Parallel Computing Algorithm implemented in 1D Heat Equation with CUDA
本文给出了基于CUDA的一维热传导方程异步并行计算算法的稳定性和性能分析。本文的主要目的在于通过提供CUDA代码来快速、方便地实现异步并行计算算法。我们表明，在nVIDIA GPU设备上进行的模拟与异步方案优于同步并行计算算法。此外，我们还讨论了异步并行计算算法的一些缺点。
2015-11-02 cs.DC
Practical Parallel External Memory Algorithms via Simulation of Parallel Algorithms
本文介绍了PEMS 2，它是对PEMS（并行外部存储系统）的改进。PEMS在外部存储器（EM）上下文中执行批量同步并行（BSP）算法，使得能够计算超过主存储器大小的非常大的数据集。许多并行算法已经被设计和实现为批量同步并行计算模型。这样的算法通常假设整个数据集一次存储在主存储器中。PEMS通过使用磁盘空间作为额外的“虚拟处理器”的存储器来克服这个限制，而不需要对算法进行任何修改。之前的工作表明，这是一种很有前途的方法，可以随着计算资源（即处理器和磁盘）的添加而扩展。然而，该技术招致显着的开销相比，专用的EM算法。PEMS 2对模拟过程进行了改进，旨在减少此开销以及运行模拟所需的磁盘空间量。还引入了新功能，包括异步I/O和对多核处理器的支持。实验结果表明，这些变化显着提高了仿真的运行时间。PEMS 2缩小了模拟BSP算法和手工EM算法之间的性能差距，为使用超过RAM大小的数据集的BSP算法提供了一个实用的系统。
2010-01-19 cs.DC cs.DS
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph（圭尔夫大学）；SHARCNET, Compute Canada（加拿大计算公司SHARCNET）
我们开发了一个可扩展和可扩展的训练框架，可以在集群中的节点上利用GPU，并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现，其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中，我们分析了框架的收敛性和能力，以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外，我们探索新的方法来减少由交换参数引起的通信开销。最后，我们将该框架作为开源发布，以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Multiprocessor Scheduling Using Parallel Genetic Algorithm
任务调度是并行计算中最具挑战性的问题。因此，不适当的调度将减少甚至放弃利用并行化的真正潜力。遗传算法（GA）已成功地应用于解决调度问题。适应度评价是遗传算法中最耗时的运算，影响了遗传算法的性能。同步主从算法在复杂的多代问题中优于顺序算法。
2012-09-24 cs.DC
Augur: a Modeling Language for Data-Parallel Probabilistic Inference
Oracle Labs（甲骨文实验室）；Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
为每个新的概率模型实现推理过程是耗时且容易出错的。概率编程通过允许用户指定模型并让编译器自动为其生成推理过程来解决这个问题。为了使这种方法实用，重要的是生成具有合理性能的推理代码。在本文中，我们提出了一个概率编程语言和编译器的贝叶斯网络，旨在有效地利用数据并行架构，如GPU。我们的语言完全集成在Scala编程语言中，并受益于IDE支持，类型检查和代码完成等工具。我们表明，编译器可以生成可扩展到数千个GPU核心的数据并行推理代码，利用贝叶斯网络中的条件独立关系。
2014-06-10 cs.AI cs.DC cs.PL
Accelerating Distributed ML Training via Selective Synchronization
Indiana University Bloomington（印第安纳大学布卢明顿分校）
针对分布式BSP训练通信成本高、现有替代方案易损失精度的问题，本文提出低开销的SelSync选择性同步方法，通过动态决策每步是否通信及配套优化，在半同步训练下实现与BSP相当或更优精度，最高提速14倍。
2024-01-29 cs.CV cs.DC cs.LG
On the stability and performance of the solution of sparse linear systems by partitioned procedures
在本文中，我们提出，评估和分析的并行同步Jacobi算法的性能，通过不同的分区程序，包括带行分裂，带行稀疏模式分裂和子结构分裂，在解决稀疏大型线性系。通过对一组三维Laplace方程和一组希克苏鲁伯陨石坑重力场的数值实验，验证了分裂对求解稀疏大型线性系的并行同步迭代的影响.数值结果清楚地表明，子结构的方法相比，带行分裂策略的兴趣。
2021-12-04 cs.DC cs.NA math.NA
Probabilistic Performance Analysis of Parallel Signature Search Strategies in Multi-Level Tree Networks
Stony Brook University（石溪大学）
该研究针对多级树型网络的并行签名搜索策略，开发了概率框架预测完成时间，经多核原型验证，可提供高效先验预测以支持资源成本优化。
2026-08-31 cs.DC
Parallel Approximate Steady-state Analysis of Large Probabilistic Boolean Networks (Technical Report)
概率布尔网络（PBN）是一种广泛用于生物系统建模的计算框架。PBN的稳态动力学在生物系统的分析中具有特殊的意义。然而，获得这种系统的稳态分布构成了一个重大的挑战，由于状态空间爆炸的问题，经常出现在大型PBN的情况下。唯一可行的方法是使用统计方法。在我们以前的工作中，我们已经考虑了两状态马尔可夫链方法和Skart方法来分析大型PBN。然而，在大PBN的情况下，这两种方法所需的样本量通常是巨大的，并且生成它们在计算时间方面是昂贵的。简化样本生成是解决这一问题的理想方法。在本文中，我们考虑结合德国和鲁宾的方法与两个状态的马尔可夫链方法或Skart方法的并行化。第一种方法可用于并行运行多个独立的马尔可夫链，并控制其收敛到稳态，而其他两种方法可用于确定所需的样本大小计算的稳态概率的状态的兴趣。实验结果表明，我们提出的组合可以减少计算大PBN的稳态概率显着的时间成本。
2015-08-31 cs.DC q-bio.QM
Probabilistic Recurrence Relations for Work and Span of Parallel Algorithms
在本文中，我们提出了一种方法来获得尾界的随机变量满足一定的概率递归出现在随机并行分治算法的分析。在这样的算法中，最初进行一些计算来处理输入x，然后将其随机地分成子问题$h_1(x), ..., h_n(x)$，并且算法在每个子问题上并行地递归进行。输入x上的总功W（x）则满足$W(x) = a(x) + \sum_{i=1}^n W (h_i(x))$形式的概率递归，而跨度（最长的顺序依赖链）满足$S(x) = b(x) + \max_{i=1}^n S(h_i(x))$，其中a（x）和b（x）是分解x并组合递归调用结果的功和跨度。Karp以前已经提出了在n = 1的情况下获得尾界的方法，并且在n > 1时对工作递归进行了某些更强的假设，但留下了跨度递归的问题。我们首先展示如何扩展他的技术来处理跨度递归。然后，我们表明，在某些情况下，工作复发可以有界的假设比卡普的转换成一个相关的跨度复发，并应用我们的第一个结果。我们证明了我们的结果，推导出尾界的工作和跨度的快速排序和高度的随机生成的二叉搜索树。
2017-04-07 cs.DC cs.DS
Massively Parallel Probabilistic Computing with Sparse Ising Machines
受量子计算发展的启发，构建特定领域的经典硬件来解决计算困难的问题越来越受到关注。在这里，通过引入系统的稀疏化技术，我们展示了一个大规模的并行架构：稀疏伊辛机（sIM）。利用稀疏性，sIM实现了理想的并行性：其关键品质因数-每秒翻转-与系统中的概率位（p位）数量呈线性关系。这使得sIM比实现标准吉布斯采样的CPU快6个数量级。与TPU和GPU中的优化实现相比，sIM在采样方面提供了5- 18倍的加速。在整数分解等基准问题中，sIM可以可靠地分解高达32位的半素数，远远大于D-Wave和其他概率求解器的先前尝试。引人注目的是，sIM在解决3SAT问题方面击败了竞赛获奖的SAT求解器（在运行时达到4- 700倍，达到95%的准确率）。即使使用更快的时钟使采样不精确，sIM也可以通过进一步的加速找到正确的基态。我们介绍的问题编码和稀疏化技术可以应用于其他伊辛机（经典和量子），我们提出的架构可以用于通过模拟CMOS或纳米器件将演示的5，000 - 10，000 p比特扩展到1，000，000或更多。
2022-02-21 cond-mat.dis-nn cs.DC cs.ET
Physics-inspired Ising Computing with Ring Oscillator Activated p-bits
摩尔定律的接近尾声一直在推动特定领域硬件的开发，以解决一系列特殊的问题。沿着这些路线，具有固有随机构建块（p位）的概率计算已经显示出显著的前景，特别是在硬优化和统计采样问题的背景下。已经提出了p位，并在从异步架构中的小规模随机磁性隧道结（sMTJ）到同步架构中的大规模CMOS的不同硬件基板中进行了演示。在这里，我们设计并实现了一个真正的异步和中等规模的p-计算机（与$\approx$ 800 p位），密切模拟现场可编程门阵列（FPGA）中的sMTJ的异步动态。使用硬的种植伊辛玻璃问题的奇美拉格的实例，我们评估的异步架构的性能对一个理想的，同步的设计，执行并行化（色）精确吉布斯采样。我们发现，尽管缺乏任何仔细的同步，异步设计实现了并行性，在理想的，仔细调整和并行化的同步设计的算法缩放。我们的研究结果突出了大规模p计算机的前景，其中数百万个自由运行的p位由纳米级构建块（如随机磁性隧道结）制成。
2022-05-15 cs.AR cs.DC cs.ET
Prob-GParareal: A Probabilistic Numerical Parallel-in-Time Solver for Differential Equations
University of Warwick（华威大学）；University of St. Gallen（圣加仑大学）
提出Prob-GParareal，通过高斯过程建模Parareal校正函数，为微分方程的并行时间求解提供不确定性量化，并在五个基准ODE系统上验证了精度和鲁棒性。
2026-08-25 cs.DC cs.NA math.NA
An efficient implementation of parallel simulated annealing algorithm in GPUs
本文针对GPU平台提出并实现了模拟退火算法的高效并行版本，通过CUDA开发了顺序、异步和同步三种实现，并以归一化Schwefel函数最小化问题为基准验证了同步版本在收敛性、精度和计算成本间的综合优势，同时开发了结合局部最小化的混合方法。
2024-07-30 cs.DC math.OC
Communication-efficient parallel Bruhat decomposition
St Petersburg State University（圣彼得堡国立大学）
本文针对BSP模型中Bruhat分解的通信与同步复杂度挑战，提出一种新的块递归、通信高效的并行Bruhat分解算法，解决了BSP模型中递归算法表达的问题。
2026-08-11 cs.DC cs.DS
Probabilistic Graphical Models on Multi-Core CPUs using Java 8
Norwegian University of Science and Technology（挪威科技大学）；Aalborg University（奥尔堡大学）
在本文中，我们讨论了软件设计问题的并行计算智能算法的多核CPU上的发展，使用新的Java 8函数编程功能。特别是，我们专注于概率图形模型（PGMs），并提出了并行化的一系列算法，处理从数据中推断和学习PGMs。即，最大似然估计，重要性采样，和贪婪搜索解决组合优化问题。通过这些具体的例子，我们解决了为PGM定义有效数据结构的问题，并使用Java 8特性对相同大小的数据集进行并行处理。我们还提供了直接的技术来编码并行算法，无缝地利用多核处理器。实验分析，使用我们的开源AMIDST（分析的MassIve数据流）Java工具箱进行，显示了所提出的解决方案的优点。
2016-04-27 cs.AI cs.DC stat.ML
A Probabilistic Machine Learning Approach to Scheduling Parallel Loops with Bayesian Optimization
提出了一种新的并行循环调度策略-贝叶斯优化增广因子分解自调度（BO FSS）。BO FSS是因子分解自调度（FSS）算法的自动调整变体，基于贝叶斯优化（BO），一种黑盒优化算法。其核心思想是通过BO求解一个优化问题来自动调整FSS的内部参数。调优过程只需要在线测量目标循环的执行时间。为了应用BO，我们使用两个高斯过程（GP）概率机器学习模型来建模执行时间。值得注意的是，我们提出了一个局部感知的GP模型，它假设时间局部性效应类似于一个指数递减函数。通过精确地建模的时间局部性效应，我们的本地感知GP模型加速BO的收敛。我们实现了BO FSS上的GCC实现的OpenMP标准，并评估其性能对其他调度算法。此外，为了量化我们的方法在不同工作负载上的性能变化，或者用我们的术语来说，工作负载鲁棒性，我们测量了极大极小遗憾。根据极大极小遗憾性，BO FSS算法比其他算法表现出更好的一致性。在考虑的工作负载中，BO FSS平均将FSS的执行时间缩短了22%和5%。
2022-06-12 cs.DC cs.PF
ProbGraph: High-Performance and High-Accuracy Graph Mining with Probabilistic Set Representations
重要的图挖掘问题，如聚类，计算要求很高。为了显著加速这些问题，我们提出了ProbGraph：一种图形表示，可以实现简单快速的近似并行图形挖掘，并在工作，深度和结果准确性方面具有强有力的理论保证。其关键思想是使用概率集合表示（如布隆过滤器）来表示顶点集。这些表示比原始顶点集的处理速度快得多，这要归功于矢量化和小尺寸。我们使用这些表示作为重要的并行图挖掘算法，如团计数或聚类的构建块。当使用ProbGraph进行增强时，这些算法的性能显著优于调优的并行精确基线（在32个核心上高达近50倍），同时确保许多输入图形数据集的准确性超过90%。我们的新的边界和算法的基础上，具有理想的统计特性的概率集表示的数据分析社区的单独的兴趣。
2022-11-21 cs.DC cs.DS
BSF-skeleton: A Template for Parallelization of Iterative Numerical Algorithms on Cluster Computing Systems
本文描述了一种使用并行BSF框架为集群计算系统创建应用程序的方法，该框架基于作者早先开发的并行计算的原始BSF（Bulk Synchronous Farm）模型。该模型使用主/从范例。BSF模型的主要优点是它允许在实现并行算法之前估计其可扩展性。BSF模型的另一个重要特性是以列表的形式表示问题数据，这大大简化了构建应用程序的逻辑。BSF框架设计用于使用MPI库在C++中创建并行程序。BSF框架的范围是高计算复杂性的迭代数值算法。BSF骨架具有以下显著特征。- BSF框架完全封装了与并行化程序相关的所有方面。- BSF框架允许在应用程序开发的所有阶段进行无错误编译。- BSF框架支持OpenMP编程模型和工作流。
2021-06-04 cs.DC cs.MS
SkyQuery: An Implementation of a Parallel Probabilistic Join Engine for Cross-Identification of Multiple Astronomical Databases
多波长天文学研究需要根据球坐标和其他性质，对多个星表中的相同天体的探测进行交叉识别。由于大数据量和球面几何，对称的N路关联的天文探测是一个计算密集型的问题，即使复杂的索引方案被用来排除明显错误的候选人。遗留的天文目录已经包含了超过一亿个物体的探测，而正在进行的和未来的调查将产生数十亿个物体的目录，每个物体在不同的时间有多个探测。位置测量的变化的统计误差、移动和延伸的对象以及其他物理特性使得有必要使用能够包括各种先验的数学上正确的、适当的贝叶斯概率算法来执行交叉识别。有一次，这些大目录的成对交叉识别对于许多天文场景是不够的。因此，一个新的系统是必要的，可以交叉识别多个目录的需求，有效和可靠的。在本文中，我们提出了我们的解决方案的基础上集群的商品服务器和普通的关系数据库。交叉识别问题是在基于SQL的语言中制定的，但扩展了特殊的子句。这些特殊的查询在空间上按坐标范围划分，并编译成普通SQL查询的复杂工作流。然后，使用托管相同数据集的相同镜像的服务器集群在并行框架中执行工作流。
2012-06-21 astro-ph.IM cs.DB cs.DC
