EinDecomp: Decomposition of Declaratively-Specified Machine Learning and Numerical Computations for Parallel Execution
本文提出基于扩展爱因斯坦求和记法的声明式编程抽象,将张量计算重写为张量关系计算以统一数据并行与模型并行,并研究最优分解算法,通过实验验证其价值。
2024-10-03 cs.DC
PPLS/D: Parallel Pareto Local Search based on Decomposition
Pareto局部搜索(PLS)是求解多目标组合优化(MCOP)问题的元算法的基本组成部分。本文提出了一种基于分解的并行Pareto局部搜索算法(PPLS/D)。PPLS/D利用并行计算和问题分解技术提高了PLS的效率。该算法将原始搜索空间分解为L个子区域,在这些子区域内同时执行L个并行搜索过程。在每个子区域内,PPLS/D过程由唯一的标量目标函数指导。PPLS/D不同于众所周知的两阶段Pareto局部搜索(2 PPLS),因为它使用标量目标函数以细粒度的方式引导PLS过程的每一步。在实验研究中,PPLS/D的基本PLS和最近提出的PLS变种上的多目标无约束二进制二次规划问题(mUBQP)和多目标旅行商问题(mTSP),最多有四个目标。实验结果表明,无论初始解是随机生成的还是由探试法生成的,PPLS/D算法的性能都明显优于其他两种PLS算法。
2018-11-09 cs.DC
Avoiding Serialization Effects in Data-Dependency aware Task Parallel Algorithms for Spatial Decomposition
空间分解是并行代码的一个流行基础。在任务并行的框架下,空间域上的计算可以被视为一个任务。如果相邻的域交互并共享结果,则需要同步对特定数据的访问,以避免竞争条件。这是各种应用的情况,如大多数分子动力学和许多计算流体动力学代码。在这里,我们提出了一个意想不到的问题,可能会发生在依赖驱动的任务并行化模型,如StarSs:访问特定空间域的任务被视为相互依赖的,依赖关系通过内存地址自动检测。因此,任务生成的顺序将对依赖关系树产生严重影响。在最坏的情况下,会达到完整的串行化,并且不能并行计算两个任务。我们提出了详细的问题的基础上,从分子动力学的一个例子,并介绍了一个理论框架来计算的程度序列化。此外,我们提出的策略,以避免这种不必要的问题。我们建议将这些策略作为在此类场景中使用依赖驱动的任务并行编程模型(如StarSs)时的最佳实践。
2014-01-17 cs.DC
A New Dynamical Domain Decomposition Method for Parallel Molecular Dynamics Simulation on Grid
发展了一种新的拉格朗日物质粒子--动力学区域分解方法(MPD ^[3]),用于在异构计算网络上对非稳态非均匀体系进行大规模并行分子动力学模拟。MPD ^[3]基于模拟物质的Voronoi分解。Voronoi多边形的映射被称为Dirichlet镶嵌,并用于计算流体动力学中的网格生成。从流体力学的角度来看,运动的Voronoi多边形看起来像一个物质粒子(MP)。MP可以交换粒子和信息。为了平衡异构计算条件,MP中心应该依赖于定时数据。在此基础上,提出了一种简单有效的迭代算法,该算法定义了MP中心随时间变化的平衡位移。MPD^3程序在各种计算环境和物理问题中进行了测试。我们已经证明了MPD ^[3]是一种用于MD模拟的高度自适应分解算法。结果表明,良好的平衡分解可以导致动态Voronoi多边形镶嵌。人们希望类似的方法可以成功地应用于其他粒子方法,如蒙特卡罗,粒子在细胞,光滑粒子流体动力学。
2004-05-24 cs.DC
A Parallel and Distributed Rust Library for Core Decomposition on Large Graphs
University of Pisa(比萨大学);University of Calabria(卡拉布里亚大学)
本文提出了一种基于Rust语言的并行和分布式库,用于高效计算大规模图的核心分解,通过优化算法和并发机制实现了显著的速度提升。
2025-11-28 cs.DC
Communication-efficient parallel Bruhat decomposition
St Petersburg State University(圣彼得堡国立大学)
本文针对BSP模型中Bruhat分解的通信与同步复杂度挑战,提出一种新的块递归、通信高效的并行Bruhat分解算法,解决了BSP模型中递归算法表达的问题。
2026-08-11 cs.DC cs.DS
Static task mapping for heterogeneous systems based on series-parallel decompositions
Otto-von-Guericke University Magdeburg(马格德堡奥托·冯·古里克大学)
本文提出基于图分解和建模评估的任务映射原则,通过串行-并行分解生成高效任务映射算法,优于混合整数线性规划和HEFT算法,在复杂环境中提升调度效率。
2025-02-27 cs.DC
RECEIPT: REfine CoarsE-grained IndePendent Tasks for Parallel Tip decomposition of Bipartite Graphs
Tip分解是二分网络中稠密子图挖掘的核心,在垃圾邮件检测、关联网络分析等方面有着广泛的应用。Tip分解创建了一个层次结构,由蝴蝶(2,2-bicliques)中顶点的参与度决定了顶点诱导子图的密度。为了构建层次结构,现有的算法迭代地遵循删除更新(剥离)过程:删除蝴蝶数量最少的顶点,并相应地更新其2跳邻居的蝴蝶计数。探索2跳邻域的需要使得尖端分解在计算上非常昂贵。此外,在剥离最小的蝴蝶顶点的固有顺序性,使派生的并行算法容易沉重的同步。在本文中,我们提出了一种新的并行tip分解算法-- REfine CoarsE-grained Independent Tasks(RECEIPT),通过将顶点划分为多个独立的子集,可以同时剥离,放松了剥离顺序的限制。这使得RECEIPT能够同时实现高度并行性和同步的显著减少。此外,RECEIPT采用了混合剥离策略以及其他优化,大大减少了楔形探测和执行时间。我们进行详细的实验评估共享内存多核服务器上的RECEIPT。它可以比最先进的算法更快地处理一些最大的公开可用的二分数据集-分别实现线程同步和遍历wedge数量的1100倍和64倍减少。使用36个线程,RECEIPT可以提供高达17.1倍的自相关加速。我们的RECEIPT实现可以在https://github.com/kartiklakhotia/RECEIPT上找到。
2020-10-17 cs.DC
Theoretically and Practically Efficient Parallel Nucleus Decomposition
本文研究了核分解问题,这已被证明是有用的,在寻找密集的子结构图。我们提出了一种新的并行算法,是有效的理论和实践。我们的算法实现了与最佳顺序算法匹配的工作复杂度,同时还具有低深度(并行运行时间),这显著改进了仅有的现有并行核分解算法(Sariyuce等人,PVLDB 2018)。我们的算法的理论效率的关键是使用一个理论上有效的并行算法的团列表和桶。我们介绍了几个新的实用优化,包括一个新的多级哈希表结构,以存储信息的集团空间效率和技术,用于遍历这种结构的高速缓存效率。在一个具有双向超线程的30核机器上,我们实现了比Sariyuce等人的最先进的并行核分解算法高达55倍的加速,并且高达40倍的自相关并行加速比。我们能够有效地计算更大的核分解比以前的工作在几百万规模的图形的第一次。
2022-08-11 cs.DC cs.DS
cuFastTuckerPlus: A Stochastic Parallel Sparse FastTucker Decomposition Using GPU Tensor Cores
针对大规模稀疏张量分解,提出FastTuckerPlus算法,将问题分解为两个非凸问题并用随机梯度下降交替求解,同时设计基于GPU张量核心的细粒度并行实现cuFastTuckerPlus,实现3-5倍加速。
2024-05-23 cs.DC
The HIVE Tool for Informed Swarm State Space Exploration
群验证和并行随机深度优先搜索是在大状态空间中搜索错误的非常有效的并行技术。然而,如果没有错误,并行化的可扩展性就完全丧失了。在最近的工作中,我们提出了一种机制来通知工人探索状态空间的哪些部分。这种机制与任何基于动作的形式主义兼容,其中状态空间可以由标记的转换系统表示。通过这种扩展,每个工作者可以严格限制,每次只能探索状态空间的一小部分。在本文中,我们提出了HIVE工具连同两个搜索算法,这两个搜索算法被添加到LTSmin工具套件中,以执行预处理步骤,并执行有界工人搜索。新的工具是用来协调知情的群体探索,和两个新的LTSmin算法用于预处理模型和执行个人搜索。
2011-11-02 cs.DC cs.LO cs.SE
Parallel Direct Domain Decomposition Methods (D3M) for Finite Elements
提出了一种基于区域分解法(DDM)和有向无环图(DAG)调度的并行直接求解方法。计算被表示为一系列小任务,这些任务在DDM域或精简矩阵的密集矩阵块上操作。这些任务可以使用它们的DAG依赖关系和权重(取决于计算和通信成本的估计)进行静态调度以并行执行。与MUMPS 5.1.2在电学大问题上的性能比较表明,并行效率提高了20%,内存减少了30%,运行时间略快,同时保持了相同的精度。
2020-02-11 cs.CE cs.DC
Enhancing Physics-Informed Neural Networks with a Hybrid Parallel Kolmogorov-Arnold and MLP Architecture
School of Integrated Circuits(集成电路学院);Anhui University(安徽大学)
本文提出 HPKM-PINN 架构,通过缩放因子 ξ 融合并行的 KAN 与 MLP 分支,在 PINN 框架内平衡可解释性与非线性特征学习,显著降低了 PDE 求解的相对误差并提升了数值稳定性。
2025-03-30 cs.DC cs.LG
Space and Time Efficient Parallel Graph Decomposition, Clustering, and Diameter Approximation
我们开发了一种新的并行分解策略,为未加权,无向图,基于不断增长的不相交的连接集群从一批中心逐步选择尚未发现的节点。相对于类似的以前的分解,我们的策略行使更严格的控制集群的数量和它们的最大半径。我们提出了我们的并行图分解的两个重要应用:(1)$k$ -中心聚类近似;(2)直径近似。在这两种情况下,我们得到的算法,具有多对数近似因子,并服从于一个分布式的实现,是面向大规模(长直径)的图形。计算所需的总空间在问题大小上是线性的,并且对于具有低倍维的图,平行深度在直径上基本上是次线性的。据我们所知,我们是第一个平行近似这些问题,实现子直径并行时间,为相关的一类图,只使用线性空间。除了理论上的保证,我们的算法允许一个非常简单的实现集群架构:我们报告了大量的实验,证明其有效性和效率的大型图形相比,替代已知的方法。
2015-02-06 cs.DC cs.DS
Parallel Sparse Tensor Decomposition in Chapel
在大数据分析中,使用张量分解从大型稀疏多变量数据中提取模式是一种流行的技术。由于不规则的数据访问和被处理的张量的不断增长的大小,设计并行的、高性能的张量分解算法存在许多挑战。在实现张量分解的共享内存算法方面已经有很多努力,其中大部分都集中在传统的C/C++与OpenMP框架上。然而,Chapel正在成为一种越来越流行的编程语言,由于其表达能力和编写可扩展的并行程序的简单性。在这项工作中,我们端口的最先进的C/OpenMP并行稀疏张量分解工具,SPLATT,教堂的状态。我们提出了一个性能研究,调查我们的教堂代码中的瓶颈,并讨论了提高其性能的方法。此外,我们还讨论了Chapel中对我们的移植工作有益的特性。我们证明了我们的Chapel代码在运行时间和可扩展性方面与C/OpenMP代码具有竞争力,实现了原始代码的83%-96%的性能和高达32个核心的近线性可扩展性。
2018-12-14 cs.DC cs.PF
Parallel Algorithms for Hierarchical Nucleus Decomposition
本文提出可扩展的并行层次核分解算法,通过核心度计算与层次构建交错、并发并查集及近似算法,在30核机器上实现最高58.84倍加速,并给出理论界限。
2024-01-20 cs.DC cs.DS
Parallel $k$-Core Decomposition: Theory and Practice
针对现有$k$-核分解算法并行度与工作效率不足的问题,提出含采样、垂直粒度控制及分层桶结构的高效并行框架,在96核机器上多数测试图中性能显著优于主流并行算法。
2025-03-24 cs.DC cs.DS
Parallel and Streaming Algorithms for K-Core Decomposition
Google Research(谷歌研究院)
$k$ -核心分解是许多机器学习和数据采掘应用中的基本原语。我们提出了第一个分布式和第一个流算法来计算和维护一个近似的$k$核心分解与可证明的保证。我们的算法实现了严格的界限上的空间复杂度,同时边界的通过或计算轮数。我们这样做,提出了一个新的强大的草图技术$k$核心分解,然后通过显示它可以有效地计算流和MapReduce模型。最后,我们证实了我们的素描技术的有效性经验上的一些公开的图形。
2018-11-23 cs.DC cs.DS cs.LG
Image Gradient Decomposition for Parallel and Memory-Efficient Ptychographic Reconstruction
重叠关联成像是一种流行的显微成像模式,用于许多科学发现,并创下了最高图像分辨率的记录。不幸的是,重叠关联重建的高图像分辨率需要大量的存储器和计算,迫使许多应用程序牺牲其图像分辨率以换取更小的存储器占用和更短的重建时间。在本文中,我们提出了一种新的图像梯度分解方法,显着减少了内存足迹重叠关联重建镶嵌图像梯度和衍射测量到瓷砖。此外,我们提出了一种并行图像梯度分解方法,使异步点对点通信和并行流水线与大量的GPU上的开销最小。我们在具有16632个探针位置的钛酸铅材料数据集(PbTiO3)上的实验表明,我们的梯度分解算法将内存占用减少了51倍。此外,它通过扩展到4158个GPU实现了2.2分钟内的解决方案,与6个GPU的运行时间相比,具有364%的超线性强大扩展效率。这种性能比最先进的算法高出2.7倍的内存效率,9倍的可扩展性和86倍的速度。
2022-12-16 cs.DC eess.IV
A Multilevel Approach for the Performance Analysis of Parallel Algorithms
我们提供了一个多层次的方法来分析并行算法的性能。这种方法的主要成果是,该算法被描述为使用一组运营商是相互关联的,根据问题分解。分解层次决定了算法的粒度。一组块矩阵(分解和执行)突出了算法的基本特征,如固有的并行性和开销来源。
2019-01-14 cs.DC cs.PF math.OC
Large-Scale Linear Energy System Optimization: A Systematic Review on Parallelization Strategies via Decomposition
本综述系统梳理了大规模线性能源系统优化中的并行分解策略,提出了模型分类方案,指出无普适最优方法,并建议了基准测试标准与报告规范,其见解可推广至运筹学领域。
2025-08-08 cs.DC cs.MS math.OC
Stream-K: Work-centric Parallel Decomposition for Dense Matrix-Matrix Multiplication on the GPU
我们介绍Stream-K,一个以工作为中心的矩阵乘法(GEMM)和稠密线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的,我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用,而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上,我们对GEMM的Stream-K并行化可产生高达14 $\times$和6.7 $\times$的峰值加速比,以及在32,824个GEMM问题几何中比最先进的数学库(如CUTLASS和cuBLAS)更高且更一致的平均性能响应。此外,我们从每个浮点精度的单个瓦片大小配置中实现了这种性能,而今天的数学库采用复杂的内核选择算法来从大量的内核变体中进行选择。
2023-01-09 cs.DC cs.DS
Parallel Nonnegative CP Decomposition of Dense Tensors
Wake Forest University(维克森林大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种分布式内存并行算法,用于计算密集张量的非负CP分解,通过并行化MTTKRP运算提升效率,验证了算法在数百节点上的扩展性及性能优势。
2018-06-19 cs.DC cs.MS cs.NA
Multi-node environment strategy for Parallel Deterministic Multi-Objective Fractal Decomposition
Université Paris-Est(巴黎东大学)
本文提出了一种新的实现确定性多目标(MO)优化称为多目标分形分解算法(Mo-FDA)。原算法是针对单目标大规模连续优化问题设计的。它是基于分而治之的战略和几何分形分解的搜索空间使用超球体。然后,为了处理MO问题的标量化方法。在这项工作中,已经开发了一种新的方法,在多节点环境中使用容器。在多目标优化的经典基准上,将Mo-FDA的性能与文献中的最新算法进行了比较
2019-08-04 cs.AI cs.CY cs.DC
Spectral domain decomposition method for physically-based rendering of photochromic/electrochromic glass windows
本文介绍了耗时的问题固有的基于物理的图像渲染算法。首先,玻璃材料的光学特性进行了测量的样品上的真实玻璃和其他物体材料的酒店房间内的特征推导光谱数据从多个三色图像。然后,我们提出了渲染模型和光线跟踪算法实现的Virtuocean,一个开源软件。为了加快光线与物体相互作用的计算速度,采用区域分解方法对光线跟踪算法进行了并行化。数值实验表明,与经典的并行化技术获得的加速比显着不如那些实现了并行区域分解方法。
2019-12-09 cs.DC cs.GR
Beam-tracing domain decomposition method for urban acoustic pollution
本文介绍了在低资源并行平台上快速解决大型声学问题的方法。一种区域分解方法与动态负载平衡方案相结合,以有效地加速几何声学方法。研究的几何方法实现了一个光束跟踪方法的交叉处理的光线跟踪方法。除了在多个子域上的全局处理的分布之外,第二并行化级别借助于多线程和共享存储器机制来操作。数值实验表明,这种方法允许处理大规模的开放域的并行计算的目的在几台机器上。在日本东京新宿区的一个大型模型上模拟了汽车交通引起的城市声污染。良好的加速结果说明了这种新的区域分解方法的性能。
2019-12-09 cs.DC physics.comp-ph
Parallel Spectral Graph Sparsification via Low Diameter Decompositions
ETH Zurich(苏黎世联邦理工学院)
研究提出一种无求解器并行谱稀疏化算法,依赖并行低直径分解和独立采样,改进了此前方法,消除对目标近似精度ε的依赖,通过估计边的鲁棒连通性进行子采样,并经实验验证性能良好。
2026-07-29 cs.DC cs.DS
Parareal with a physics-informed neural network as coarse propagator
本文提出用物理信息神经网络(PINN)替代传统数值积分器作为 Parareal 算法的粗传播器,在 Black-Scholes 方程上验证了更好的加速比,并利用 GPU 与 CPU 的异构计算进一步提升了单节点性能。
2023-06-05 cs.CE cs.DC cs.NA
Efficient parallel CP decomposition with pairwise perturbation and multi-sweep dimension tree
CP张量分解与交替最小二乘(ALS)的成本占主导地位的矩阵化张量倍Khatri-Rao产品(MTTKRP)内核,这是必要的设置二次优化子问题。最先进的并行ALS实现使用维度树来避免每个ALS扫描内跨MTTKRP的冗余计算。在本文中,我们提出了两个新的并行算法来加速CP-ALS。我们介绍了多扫描维树(MSDT)算法,它需要一个N阶输入张量和第一个收缩的输入矩阵之间的收缩每(N-1)/N扫描一次。该算法相对于已知的最佳方法将前导阶计算成本降低了2(N-1)/N。此外,我们引入了一个更有效的通信方法来并行近似CP-ALS算法,成对扰动。这种技术使用微扰校正的子问题,而不是重新计算的收缩,渐近加速ALS。我们的基准测试结果表明,每扫描时间达到1.25倍的MSDT和1.94倍的速度相比,最先进的尺寸树上运行的1024个处理器的Stampede 2超级计算机成对扰动。
2020-10-22 cs.DC cs.NA math.NA
Parallel Performance of Algebraic Multigrid Domain Decomposition (AMG-DD)
代数多重网格(AMG)是一种广泛使用的可扩展求解器和预处理器的大规模线性系统的离散化的一类椭圆型偏微分方程。虽然AMG具有最佳的计算复杂性,但随着现代机器上处理器数量的持续增长,通信成本已成为限制其可扩展性的重要瓶颈。本文探讨了一种新的算法,代数多重网格区域分解(AMG-DD),专门设计来限制通信的设计,实现和并行性能。AMG-DD的目标是提供一个低通信替代标准AMG V-周期通过交易一些额外的计算开销显着降低通信成本。数值结果表明,AMG-DD实现了优越的精度,每通信成本相比,AMG,并加速AMG上的一个大型GPU集群。
2020-01-21 cs.DC cs.MS cs.NA
A Relaxation-based Network Decomposition Algorithm for Parallel Transient Stability Simulation with Improved Convergence
PEAK Reliability(PEAK可靠性公司)
本文提出了一种基于松弛的网络分解算法,用于解决大规模互联电力系统暂态稳定模拟中的大规模微分代数方程组问题,通过并行计算提高收敛性和计算效率。
2018-10-05 cs.DC cs.SY eess.SY
Unlocking massively parallel spectral proper orthogonal decompositions in the PySPOD package
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of California San Diego(加州大学圣地亚哥分校);Pennsylvania State University(宾夕法尼亚州立大学)
提出基于MPI的分布式谱本征正交分解算法并在PySPOD中实现,通过分布空间维度保留时间维快速傅里叶变换以避免瓶颈,支持大型数据集模态分析。
2024-07-31 cs.DC cs.MS physics.comp-ph
Coded Computing for Fault-Tolerant Parallel QR Decomposition
本文提出一种容错并行QR分解算法,将编码计算融入并行Gram-Schmidt方法,构建满足后正交化条件的校验和生成矩阵,并提出达到最小校验和下界的节点内系统MDS编码策略,以极低开销实现容错。
2023-11-20 cs.DC cs.IT cs.SY