RPYFMM: Parallel Adaptive Fast Multipole Method for Rotne-Prager-Yamakawa Tensor in Biomolecular Hydrodynamics Simulations
RPYFMM是一个软件包,用于有效评估生物分子流体动力学模拟中由Rotne-Prager-Yamakawa(RPY)张量相互作用控制的势场。在我们的算法中,RPY张量被分解为四个拉普拉斯相互作用的线性组合,每个相互作用都使用自适应快速多极方法(FMM)[1]进行评估,其中指数展开被应用于多极到局部平移算子的对角化。RPYFMM通过利用DASHMM库在共享和分布式内存计算机上提供统一的执行[2,3]。初步的数值计算结果表明,1500万个粒子(珠)的分子系统的相互作用可以在一秒钟内计算的Cray XC 30集群使用12288个核心,同时实现约54%的强缩放效率。
2017-11-08 cs.DC
HAP: Hybrid Adaptive Parallelism for Efficient Mixture-of-Experts Inference
本文提出HAP方法,通过将MoE架构分解为Attention和Expert模块并结合整数线性规划动态选择混合并行策略,在多种GPU平台上实现最高1.77倍推理加速。
2025-08-26 cs.DC
Efficient Sparse Matrix Kernels based on Adaptive Workload-Balancing and Parallel-Reduction
稀疏矩阵-向量和矩阵-矩阵乘法(SpMV和SpMM)在传统(图分析,科学计算)和新兴(稀疏DNN,GNN)领域都是基础。工作负载平衡和并行减少是高效SpMV的广泛使用的设计原则。然而,以前的工作未能解决如何实现和自适应地使用这两个原则的SpMV/MM。为了克服这一障碍,我们首先完成了实现空间的优化,填补了以前的工作中缺失的三个部分,包括:(1)我们表明,工作负载平衡和并行减少可以通过一个片段减少算法实现SIMD洗牌原语相结合。(2)我们表明,并行减少可以实现在SpMM通过加载稠密矩阵行与向量记忆操作。(3)我们表明,稀疏行的向量化加载,并行减少的好处的一部分,可以共存的顺序减少SpMM通过临时缓存稀疏矩阵元素在共享内存中。在自适应使用方面,我们分析了两个原则的好处如何从输入数据空间的两个特性:不同的稀疏模式和密集矩阵宽度的变化。我们发现这两个原则的好处随着总工作量的增加而消失,即增加密集矩阵宽度。我们还确定,SpMV和SpMM,不同的稀疏矩阵功能,影响工作负载平衡的有效性。我们的设计在不同的GPU和密集矩阵宽度上始终超过cuSPARSE 1.07 - 1.57倍,与最佳选择相比,内核选择规则涉及5 - 12%的性能损失。我们的内核正在被集成到流行的图学习框架中,以加速GNN训练。
2021-10-14 cs.DC
Adaptive Parallel Downloader for Large Genomic Datasets
FastBioDL通过自适应并发控制器和在线优化,动态调整并发流以最大化吞吐量,在公共基因组数据集上实现高达4倍加速,为大规模数据下载提供高效稳健方案。
2025-08-07 cs.DC
The Adaptive Priority Queue with Elimination and Combining
优先级队列是基本的抽象数据结构,通常用于在并行编程中管理有限的资源。几个建议的并行优先级队列实现都是基于跳跃列表的,利用了add()操作的并行性。此外,已经提出了诸如平面组合(Flat Combining)的方法,以通过将由单个线程执行的多个操作合并在一起来减少争用。虽然这种技术可以减少锁切换开销和优先级队列中的removeMin()操作所需的指针更改次数,但它也会造成顺序瓶颈并限制并行性,特别是对于非冲突的add()操作。在本文中,我们描述了一种新的优先级队列设计,利用并行插入的可扩展性与批量删除的效率。此外,我们提出了一个新的消除算法适用于一个优先级队列,这进一步增加了并发平衡的工作负载与类似数量的add()和removeMin()操作。我们实现和评估我们的设计,使用各种技术,包括锁定,原子操作,硬件事务内存,以及采用自适应算法给定的工作负载。
2014-08-05 cs.DC
AdiosStMan: Parallelizing Casacore Table Data System Using Adaptive IO System
本文研究了Casacore和CASA库中使用的Casacore表数据系统(CTDS)及其并行化方法,CTDS提供了一种存储管理器插件机制,供第三方开发者设计和实现自己的CTDS存储管理器。考虑到这一点,我们研究了各种存储后端技术,这些技术可以通过实施新的存储管理器来为CTDS启用并行I/O。在对自适应IO系统(ADIOS)进行性能测试的基础上,实现了一个基于ADIOS的并行CTDS存储管理器。然后,我们应用CASA MSTransform频率分割任务来验证ADIOS Storage Manager。我们还运行了一系列性能测试,以检查大规模并行场景中的I/O吞吐量。
2017-03-27 astro-ph.IM cs.DC
Adaptive parallelism with RMI: Idle high-performance computing resources can be completely avoided
在实践中,并行计算作业的标准调度几乎总是留下可用硬件的显著部分未被使用,即使许多作业仍在队列中等待。原因很简单,这些等待作业的资源请求是固定的,与可用的、未使用的资源不匹配。然而,利用替代的但现有的和完善的技术,可以实现不需要预设的固定资源的完全自动化的自适应并行。在这里,我们证明了这样的自适应并行程序确实可以填补所有这样的调度差距,即使在现实生活中的情况下,大型超级计算机。
2019-02-01 cs.DC physics.chem-ph physics.comp-ph
Parallel adaptive procedure for CFD simulations
本文介绍了一个基于有限体积法的并行非结构网格等离子体模拟程序。该代码动态地细化和粗化网格,以准确地解决有关电子密度的不同特征。我们的目的是检查性能的一个新的并行自适应网格细化(PAMR)的ADAPT平台上推出的程序,解决了一个相对复杂的系统耦合的流动偏微分方程的泊松方程。实现涉及MUMPS并行多波前直接求解器和网格划分方法使用METIS,以提高性能的框架。标准MPI用于建立处理器之间的通信。PAMR程序的性能分析表明,该方法的效率和电离波的传播方程的潜力。
2022-12-23 cs.DC physics.comp-ph
Parallel and distributed asynchronous adaptive stochastic gradient methods
随机梯度法(SGM)是训练深度学习模型的主要方法。自适应版本(例如,Adam和AMSGrad)在实践中得到了广泛的使用,部分原因是它们比非自适应版本实现了更快的收敛,同时产生的开销很少。另一方面,异步(异步)并行计算表现出显着更高的速度比同步(同步)对应。异步并行非自适应SGM已经在文献中从理论和实际性能的角度进行了很好的研究。自适应SGM也可以以并行方式实现,没有太大困难。然而,据我们所知,没有理论结果的并行自适应SGM已建立。自适应SGM的二阶矩项是自适应SGM分析的难点。在本文中,我们提出了一种基于AMSGrad的并行自适应SGM。我们表明,所提出的方法继承了收敛保证AMSGrad的凸和非凸问题,如果老化(也称为延迟)所造成的dupy是有界的。我们的收敛速度的结果表明,如果$τ=o(K^{\frac{1}{4}})$,其中$τ$是陈旧性和$K$是迭代次数接近线性的并行化加速。该方法在凸和非凸机器学习问题上进行了测试,数值结果表明其明显优于同步对应和并行非自适应SGM。
2022-04-13 cs.DC cs.NA math.NA
Parallel Monitors for Self-adaptive Sessions
本文提出了一种数据驱动的多方会话自适应模型。系统编排由全局类型规定。参与者通过与监视器相关联的进程来体现,监视器控制参与者的行为。每个参与者都可以访问和修改一组全球数据,这些数据能够在价值观发生重大变化时触发调整。使用并行组合来构建全局类型、监视器和进程可以实现很大程度的灵活性:适配步骤可以动态地重新配置一组参与者,而不改变其余的参与者,即使两组进行通信。
2016-06-20 cs.DC cs.LO
AdEle: An Adaptive Congestion-and-Energy-Aware Elevator Selection for Partially Connected 3D NoCs
通过降低全连接3D片上网络(NoC)中的垂直连接数量,部分连接3D NoC(PC-3DNoC)有助于缓解可靠性和制造问题。本文提出了一种新的,自适应拥塞和能量感知的电梯选择方案称为AdEle,以改善PC-3DNoCs的流量分布。AdEle采用离线多目标模拟退火算法来寻找好的电梯子集,并采用在线电梯选择策略来增强路由过程中的电梯选择。在不同的实际应用流量和配置场景下,与最先进的技术相比,AdEle平均将网络延迟提高了10.9%(最高可达14.6%),而能耗开销不到6.9%。
2021-10-11 cs.AR cs.DC cs.PF
Adaptive Massively Parallel Constant-round Tree Contraction
Miller和Reif的FOCS'85经典和基本的树收缩算法是一种广泛适用于并行解决大量树问题的技术。此外,它还被用作大量并行图算法的算法设计技术。然而,在所有先前探索的计算模型中,树收缩仅在并行运行时间的$Ω(\log n)$轮中实现。在这项工作中,我们不仅介绍了一个广义的树收缩方法,但也表明它可以在$O(1/ε^3)$轮自适应大规模并行计算(AMPC)设置,其中每台机器有$O(n^ε)$本地内存的一些$0 < ε< 1$高效地计算。AMPC是利用分布式哈希表的大规模并行计算(MPC)的一种实用扩展。一般来说,MPC是MapReduce、Hadoop、Spark和Flume的抽象模型,这些模型目前在整个行业中广泛使用,近年来在理论界得到了广泛的研究。最后但并非最不重要的是,我们表明,我们的结果扩展到多个问题的树,包括但不限于最大和最大匹配,最大和最大独立集,树同构测试,等等。
2021-11-02 cs.DC cs.DS
Adaptive and Parallel Multiscale Framework for Modeling Cohesive Failure in Engineering Scale Systems
本文提出自适应并行多尺度框架,结合基于支持向量机的离线数据库微尺度模型和新型并行网络库,实现弯曲粘接层裂纹扩展模拟,并在风力涡轮机叶片极限弯矩预测中验证其有效性。
2024-04-18 cs.CE cs.DC cs.NA
Accelerating Deep Neural Network guided MCTS using Adaptive Parallelism
针对DNN-MCTS中CPU端搜索树运算串行导致的瓶颈问题,提出自适应选择最优并行方案及高效搜索通信批量大小的方法,在Alphazero棋类基准上实现1.5×-3×加速。
2023-10-09 cs.DC cs.PF
An Optimized, Parallel Computation of the Ghost Layer for Adaptive Hybrid Forest Meshes
我们讨论了并行算法来收集拓扑信息的进程外网格邻居元素。这些信息通常被称为幽灵层,其创建是执行大多数并行的、基于元素的计算机模拟的基本的、必要的任务。方法的不同之处在于,重影层可以是被维护和修改的网格数据结构的固有部分,或者根据需要保持分离并被构造/删除。在这项工作中,我们提出了一个更新的设计后,后者的方法,我们赞成其模块化的算法和数据结构。我们的目标是任意自适应的,非一致的森林(oc)树网格的混合元素的形状,如立方体,棱柱和四面体,并限制自己的脸鬼。我们的算法具有较低的复杂度和冗余,因为我们减少了它的通用余维1子算法,可以灵活地组合。我们涵盖了几个现有的解决方案作为特殊情况,并进一步优化使用递归,摊销树搜索和遍历。
2019-10-22 cs.DC cs.MS
IOPathTune: Adaptive Online Parameter Tuning for Parallel File System I/O Path
并行文件系统包含从客户端到存储服务器的复杂I/O路径。高效的I/O路径需要正确设置多个参数,因为默认设置通常无法提供最佳性能,特别是对于HPC环境中的各种工作负载。现有的调优策略在适应性、及时性和灵活性方面存在不足。我们提出IOPathTune,它自适应地调整PFS I/O路径在线从客户端,而不表征的工作负载,做昂贵的分析,并与其他机器进行通信。我们在Lustre上实施了IOPathTune,并利用CloudLab在三种不同的场景中对20种不同的Filebench工作负载进行了评估。我们观察到与默认配置相比,性能达到或更好,在独立执行时高达231%。在多个客户端执行中,IOPathTune的整体性能比CAPES高89.57%。
2023-01-16 cs.DC cs.SY eess.SY
Parallel CPU- and GPU-based connected component algorithms for event building for hybrid pixel detectors
针对Timepix系列混合像素探测器高数据吞吐量下的实时聚类需求,提出基于并查集与路径压缩的并行连通分量算法,GPU实现达每秒3亿命中,较CPU方法加速两个数量级并减少数据丢失。
2024-12-16 cs.DC physics.ins-det
Parallel Closed-Loop Connected Vehicle Simulator for Large-Scale Transportation Network Management: Challenges, Issues, and Solution Approaches
城市交通网络的规模和复杂性的增加大大增加了车辆网络仿真的执行时间和资源需求,超过了顺序仿真器的能力。从智慧城市的角度来看,对并行和分布式仿真环境的需求是不可避免的,特别是当整个城市范围的信息系统预计将与众多服务和ITS应用集成时。在本文中,我们提出了一个概念模型的集成分布式连接车辆模拟器(IDCVS),可以模拟实时交通在一个大的都会区,结合硬件在环仿真与闭环耦合的SUMO和OMNET++。我们还讨论了挑战,问题和解决方案,实现这样一个并行的闭环交通网络模拟器,通过解决交通网络分区问题,同步和可扩展性问题。设想的集成仿真工具的一个独特的功能是,它利用通过多个道路传感器DSRC车载单元,磁力计,环路检测器和视频检测器收集的车辆轨迹。该模型的另一个主要特点是在交通和通信仿真平台的混合并行。我们确定的挑战和问题,在IDCVS纳入这种多级并行。我们还讨论了集成硬件在环仿真的方法,解决涉及预处理传感器数据,过滤和外推丢失的数据,管理大型实时交通数据,并处理不同的数据格式的步骤。
2018-05-05 cs.CY cs.DC
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology(查尔姆斯理工大学)
随机梯度下降(SGD)在高维非凸目标函数优化问题中非常有用,因此构成了若干机器学习和数据分析方法的重要组成部分。最近,有重要的工作,了解固有的并行性SGD,其收敛性能。异步并行SGD(AsyncPSGD)由于其所观察到的性能优势而受到特别关注。另一方面,这意味着在理解算法的执行及其收敛性方面存在固有的挑战,这源于线程的贡献可能基于旧的(陈旧的)状态视图。在这项工作中,我们的目标是加深AsyncPSGD的理解,以提高统计效率,在存在陈旧的梯度。我们提出了新的模型,捕捉在实际环境中的陈旧分布的性质。使用所提出的模型,我们推导出一个陈旧的自适应SGD框架,MindTheStep-AsyncPSGD,用于以在线方式调整步长,这可证明减少了重复的负面影响。此外,我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究,展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Massively Parallel Algorithms for Finding Well-Connected Components in Sparse Graphs
大规模并行计算(MPC)平台出现的一个基本问题是,与PRAM等经典并行模型相比,如何利用MPC范式的额外功能来实现更快的算法?以前的研究已经确定稀疏图连通性问题是这种改进的主要障碍:虽然用于在任何$n$ -顶点图中找到连通分量的经典的循环PRAM算法已经知道了三十多年,但是没有$o(\log{n})$ -循环MPC算法已知用于此任务,并且每台机器的$n$存储器中具有真正的次线性。这个问题出现在处理大量但稀疏的图形与$O(n)$边缘,其中有趣的参数设置是$n^{1-Ω(1)}$内存每台机器。这是证明,实现$o(\log{n})$轮算法的连接一般稀疏图与$n^{1-Ω(1)}$每台机器的内存可能是不可能的,这一猜想也形成了多个条件硬度结果的基础上轮复杂性的MPC模型中的其他问题。我们采取机会主义的方法对稀疏图的连通性问题,通过设计一个算法,提高了性能保证方面的输入图的连接结构。形式上,我们设计了一个算法,找到所有连接组件的频谱间隙至少$λ$在图中的$O(\log\log{n} + \log{(1/λ)})$ MPC轮和$n^{Ω(1)}$内存每台机器。因此,该算法在稀疏的“良好连接”分量(即,$λ\geq 1/\text{polylog}{(n)}$),每台机器只使用$n^{Ω(1)}$内存和$\widetilde{O}(n)$总内存,并且即使当$o(\log n)$。
2018-05-08 cs.DC cs.DS
EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization
本文介绍了进化优化代码EOS的主要特点,进化优化在Sapienza,它的成功应用于具有挑战性的,现实世界的空间轨迹优化问题。EOS是一种全局优化算法,用于求解实值变量的约束和无约束问题。它实现了一些著名的差分进化(DE)算法的改进,即自适应的控制参数,流行病机制,聚类技术,一个$\varepsilon$约束的方法来处理非线性约束,和一个同步岛模型来处理多个种群并行。研究结果表明,与现有的单种群自适应差分进化算法相比,该算法在求解高维空间或高约束空间的轨迹优化问题时具有更高的性能.
2020-07-13 cs.DC cs.NE math.OC
Parallel Graph Algorithms in Constant Adaptive Rounds: Theory meets Practice
我们研究基本的图形问题,如图的连通性,最小生成森林(MSF),和近似最大(重量)匹配在分布式设置。特别是,我们专注于自适应大规模并行计算(AMPC)模型,这是一个理论模型,捕获MapReduce的计算与分布式哈希表增强。我们展示了第一个AMPC算法的所有研究的问题,运行在一个恒定的轮数,并只使用$O(n^ε)$空间每台机器,其中$0 < ε< 1$。我们的研究结果改进了AMPC模型中的先前结果,以及MPC模型中最知名的结果,MPC模型是支撑许多流行的分布式计算框架(如MapReduce,Hadoop,Beam,Pregel和GitHub)的理论模型。最后,我们提供了一个经验比较的算法在MPC和AMPC模型中的容错分布式计算环境。我们经验评估我们的算法上的一组大型现实世界的图形,并表明,我们的AMPC算法可以实现优化MPC基线的运行时间和轮的复杂性的改善。
2020-09-24 cs.DC cs.DS
Parallelizable global conformal parameterization of simply-connected surfaces via partial welding
保形曲面参数化在图形学、图像学和可视化等领域有着广泛的应用,如纹理映射、图谱构建、配准、网格重构等。虽然具有较高分辨率的网格更像光滑表面,但它们对现有的参数化算法造成了计算困难。在这项工作中,我们提出了一种新的并行化算法计算的整体保形参数化的简单连接的表面通过部分焊接地图。一个给定的单连通表面首先被划分成更小的子域。然后并行计算所有子域的局部共形参数化。参数化子域的边界随后集成一致使用一种新的技术称为部分焊接,这是基于保角焊接理论。最后,通过求解拉普拉斯方程的每个子域使用更新的边界条件,我们得到了一个全局共形参数化的给定曲面,双射性保证准共形理论。通过引入额外的形状约束,我们的方法可以很容易地扩展到实现简单连通的开放曲面的圆盘共形参数化和亏格为0的封闭曲面的球面共形参数化。实验结果表明,我们提出的算法的有效性。当与最先进的共形参数化方法相比,我们的方法在计算时间和精度上都有了显着的提高。
2020-03-02 cs.CG cs.DC cs.GR
Multiscale Parallel Simulation of Malignant Pleural Mesothelioma via Adaptive Domain Partitioning -- an Efficiency Analysis Study
本文提出一种针对恶性胸膜间皮瘤生长模拟框架的并行效率分析方法,通过自适应域划分、CPM与PDE耦合及mpi4py并行化,显著降低计算开销并提升求解效率。
2025-05-05 cs.CE cs.DC q-bio.QM
Recoil: Parallel rANS Decoding with Decoder-Adaptive Scalability
针对传统并行 rANS 解码中分区开销固定且不适用于内容分发的问题,提出 Recoil 方法,利用中间状态实现比特流任意位置解码,通过启发式分割和元数据存储自适应调整并行开销,在保持吞吐量的同时减少不必要数据传输。
2023-06-26 cs.DC cs.IT math.IT
Parallel simulation and adaptive mesh refinement for 3D elastostatic contact mechanics problems between deformable bodies
CEA(法国原子能和替代能源委员会);Aix-Marseille Université, CNRS, Centrale Marseille(艾克斯-马赛大学,法国国家科学研究中心,马赛中央理工学院)
本文提出了一种并行自适应网格细化方法,用于高效求解变形体之间的弹性静力学接触问题,通过节点配对与超参数化元素技术提升计算效率与精度。
2025-11-25 cs.DC cs.NA math.NA
Adaptive parallelization of multi-agent simulations with localized dynamics
针对多智能体仿真(MABSs)大规模计算耗时问题,提出一种共享内存、自下而上的异步并行执行协议,适用于局部更新的顺序计算模型,在文化动力学与疾病传播仿真中展现了性能提升。
2023-04-04 cs.CE cs.DC cs.MA