Lower Bounds for Shared-Memory Leader Election under Bounded Write Contention
针对随机无障碍算法,给出了具有单写多读(SWMR)寄存器的异步共享内存模型中leader选举的单步复杂度的严格对数下界.该方法扩展到下限的随机无障碍算法使用多写寄存器下有界写并发,显示之间的权衡的领导者选举算法的单步复杂性,和最坏情况下的竞争引起的处理器在执行。
2022-03-25 cs.DC
Regional Consistency: Programmability and Performance for Non-Cache-Coherent Systems
并行程序员面临着可编程性和性能这两个经常不可调和的目标。HPC系统使用分布式存储器来实现可扩展性,从而牺牲了共享存储器编程模型的可编程性优势。此外,异构体系结构的快速采用(通常具有非高速缓存一致性存储器系统)进一步增加了支持共享存储器编程模型的挑战。我们的主要目标是定义一个内存一致性模型,提出了熟悉的基于线程的共享内存编程模型,但允许良好的应用程序性能的非缓存一致性系统,包括分布式内存集群和基于加速器的系统。我们提出了区域一致性(RegC),一个新的一致性模型,实现这一目标。在多达256个处理器的代表性基准测试的结果表明,在我们的原型分布式共享内存系统的背景下,RegC的潜力。
2013-01-18 cs.DC
A Complexity Separation Between the Cache-Coherent and Distributed Shared Memory Models
我们考虑异步多处理器系统中的进程通过访问共享内存进行通信。在这样的多处理器中的进程之间的信息交换需要称为\emph{remote memory references}(RMR)的昂贵的存储器访问,其在连接处理器和主存储器的互连上生成通信。在本文中,我们比较了两种流行的共享内存架构模型,即\emph{cache-coherent}(CC)和\emph{distributed shared memory}(DSM)模型,在他们的权力有效地解决同步问题的RMR。我们考虑的特定问题需要一个进程向其他进程的子集发送“信号”。我们表明,这个问题的一个变种可以非常有效地解决相对于RMR的CC模型,但不是这样的DSM模型,即使我们考虑摊销RMR的复杂性。据我们所知,这是CC和DSM模型之间在摊销RMR复杂性方面的第一次分离。它也是第一个在RMR复杂性方面的分离(对于异步系统),它不以任何方式依赖于等待自由-一个过程在有限数量的自己的步骤中取得进展的要求。
2011-09-23 cs.DC
An Asynchronous Many-Task Algorithm for Unstructured $S_{N}$ Transport on Shared Memory Systems
University of Bristol(布里斯托大学);AWE(英国原子能管理局)
针对非结构化网格离散纵标 $S_N$ 输运求解器在共享内存众核架构上的扩展性瓶颈,提出一种新的异步多任务(AMT)算法,显著提升了计算性能并分析了改善原因。
2025-10-13 cs.DC
Checkpointing with cp: the POSIX Shared Memory System
我们提出了Abacus的检查点方案,一个$N$体模拟代码,在POSIX共享内存或ramdisk中分配所有持久状态。检查点操作变得像将文件从ramdisk复制到外部存储一样简单。每个时间步调用一次主模拟可执行文件,内存映射输入状态,计算输出状态直接到ramdisk,并取消映射输入状态。主可执行程序仍然不知道检查点的概念,当需要检查点时,顶级驱动程序代码在可执行程序调用之间启动文件系统副本。由于唯一的信息流是通过ramdisk上的文件,所以只要模拟是正确的,检查点就必须是正确的。然而,我们发现,对于多GB的状态,取消共享内存的映射会带来很大的开销。这可以通过多线程来部分缓解,但最终,我们不建议将共享内存用于大型状态。
2021-02-25 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台:共享内存多处理器,分布式多处理器,集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名,被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD(OpenMP):(a)一个非递归的合并排序和(b)混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD(MPI)使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统,并消除所有的内部数据传输之间的不同节点,我们的模型实现了一个一步MSD-Radix分发数据在10个包(MPI),而每个节点的并行核心使用Quicksort排序他们的数据分区顺序,然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时,混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序,但对于较大的数据,集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
CloudChain: A Cloud Blockchain Using Shared Memory Consensus and RDMA
区块链技术可以在不信任的各方之间实现安全的计算环境。许可区块链特别受到公司,企业和政府机构的启发,因为它们具有效率,可定制性和治理友好的特性。显然,区块链和云计算的无缝融合可以极大地受益于许可区块链;然而,大多数在云上实现的区块链最初是为松散耦合的网络设计的,其中节点异步通信,未能利用云服务器的紧密耦合特性。在本文中,我们提出了一个创新的面向云的区块链- CloudChain,它是一个模块化的三层系统,由网络层,共识层和区块链层组成。CloudChain基于共享内存模型,其中节点通过直接内存访问进行同步通信。我们使用远程直接内存访问技术实现了共享内存模型,并在此基础上提出了一种共享内存共识算法,以确保持久性和活性这两个关键的区块链安全属性对抗拜占庭节点。在基于RoCEv 2的测试平台上实现了CloudChain原型系统,通过实验验证了CloudChain的可行性和高效性。
2021-06-08 cs.DC
Shared Memory Parallelization of MTTKRP for Dense Tensors
矩阵化张量乘Khatri-Rao积(MTTKRP)是计算张量CP分解算法的计算瓶颈。在本文中,我们开发了共享内存并行算法的MTTKRP涉及密集张量。该算法将几乎所有的计算都转换为矩阵运算,以便使用优化的BLAS子例程,并且它们避免了在内存中重新排序张量条目。我们的实现基准的顺序和并行性能,表现出高的顺序性能和高效的并行扩展。我们使用我们的并行实现来计算一个神经成像数据集的CP分解,并实现了高达$7.4\times$在现有的并行软件的加速比。
2017-08-29 cs.DC
Concurrent Computing with Shared Replicated Memory
并发系统的行为理论指出,任何并发系统都可以被行为等价的并发抽象状态机(cASM)捕获。虽然该理论一般假设共享位置,但如果不同的代理只能通过消息进行交互,即共享仅限于邮箱,则该理论仍然有效。在存储器管理代理和只能通过向存储器代理发送查询和更新请求来访问共享存储器的其他代理之间甚至可以存在严格的分离。本文专门研究由存储管理子系统维护的复制数据,而复制既不出现在请求中,也不出现在相应的应答中。我们展示了如何与这样的存储管理的并发系统的行为可以指定使用并发通信ASM。我们提供了一个高层次的地面模型解决不同的复制策略和数据中心之间的内部消息传递的几个改进。对于所有这些改进,我们分析它们对运行的影响,以便可以有意识地做出关于一致性程度的决定。
2019-02-13 cs.DC
Anonymous Processors with Synchronous Shared Memory
我们考虑同步分布式系统中,匿名处理器通过共享读写变量进行通信。我们的目标是让所有处理器都为自己分配唯一的名称。我们认为这个问题的情况下确定的数量$n$是已知的或不,是否同时尝试写入不同的值到同一个存储单元是允许的或不,以及是否共享变量的数量是一个常数独立的$n$或它是无界的。对于已知的$n$,我们给拉斯维加斯算法,在最佳的预期时间内运行,由可用的共享内存的量确定,并使用最佳的$O(n\log n)$预期数量的随机位。对于未知的$n$,我们给出蒙特卡罗算法,产生正确的输出时,终止概率是$1-n^{-Ω(1)}$,这是最好的可能时,几乎肯定终止,并使用$O(n\log n)$随机位。
2016-09-01 cs.DC
Providing High and Controllable Performance in Multicore Systems Through Shared Resource Management
在多核系统上并发执行的多个应用程序在不同的共享资源(例如主存储器和共享高速缓存)处相互干扰。这种应用程序间干扰如果不受控制,会导致系统性能严重下降和不可预测的应用程序减速。虽然以前的工作已经提出了应用程序感知的内存调度作为一种解决方案,以减轻应用程序间的干扰和提高系统性能,以前提出的内存调度技术会导致高硬件复杂性和不公平地减慢一些应用程序。此外,先前提出的存储器干扰减轻技术没有被设计为精确地控制应用性能。本文旨在通过减轻和量化共享资源干扰的影响来实现多核系统中的高性能和可控性能。首先,为了减轻内存干扰,实现高性能,我们提出了黑名单内存调度,实现高性能和公平性,在低复杂度。接下来,为了量化内存干扰的影响,并实现可控的性能,在存在内存带宽干扰,我们提出了内存干扰引起的减速估计(MISE)模型。我们提出并演示了两个用例,可以利用MISE提供软性能保证和高的整体性能/公平性。最后,除了内存带宽干扰外,我们还试图量化共享缓存干扰对应用程序速度降低的影响。为此,我们提出了应用程序减速模型(ASM)。我们提出并演示了ASM的几个用例,这些用例利用ASM提供软性能保证并提高性能和公平性。
2015-08-12 cs.DC
Actors vs Shared Memory: two models at work on Big Data application frameworks
这项工作的目的是分析两种不同的并发模型,即共享内存模型和演员模型,可以影响管理大量数据的应用程序的开发,大数据应用程序的独特之处。本文通过对MapReduce和Bulk Synchronous Parallel两种算法方案的具体工程分析,对两种模型进行了比较。这两个项目都在两个具体的平台上双重实现:Akka Cluster和Managed X10。其结果既是大数据分析场景中模型的概念比较,也是基于集群平台上的具体执行的实验分析。
2015-05-12 cs.DC
Scaling atomic ordering in shared memory
本文提出TRAM,一种基于覆盖树架构的共享内存原子多播协议,相比现有共享内存协议吞吐量提升3倍以上、延迟降低2.3倍以上,并大幅优于消息传递协议。
2025-09-09 cs.DC
Partition Consistency: A Case Study in Modeling Systems with Weak Memory Consistency and Proving Correctness of their Implementations
多进程系统,包括网格系统、多处理器和多核计算机,包含各种专用硬件和软件机制,这些机制加快了计算速度,但导致复杂的内存行为。因此,并发程序的可能结果可能是不可预料的。存储器一致性模型是对这种系统的行为的描述。抽象内存一致性模型的目标是捕获具体的实现和架构。因此,实现或体系结构的形式化规范是必要的,并且需要证明抽象模型和具体模型之间的对应关系。本文提供了一个案例研究这一进程。我们指定了一个新的模型,分区一致性,概括了许多现有的一致性模型。一个具体的消息传递网络模型也被指定。在此网络模型上实现了分区一致性,并证明了其正确性。一个中间层次的抽象是用来促进证明。所有三个抽象层次都是使用同一个框架来指定的。本文旨在说明一个一般的方法和技术,指定内存一致性模型,并证明其实现的正确性。
2013-06-01 cs.DC
Election in Fully Anonymous Shared Memory Systems: Tight Space Bounds and Algorithms
本文讨论由$n$异步进程组成的完全匿名系统中的选举,这些进程通过原子读写寄存器或原子读-修改-写寄存器进行通信。给定一个整数$d\in\{1,\dots, n-1\}$,考虑两个选举问题:$d$ -选举(至少一个且至多$d$进程被选举)和精确$d$ -选举(精确$d$进程被选举).完全匿名意味着进程和共享寄存器都是匿名的。内存匿名性意味着进程可能对共享寄存器的名称不一致。也就是说,相同的寄存器名$A$可以表示用于不同进程的不同寄存器,并且由进程使用的寄存器名$A$和由另一进程使用的寄存器名$B$可以寻址相同的共享寄存器。
2022-03-06 cs.DC
Byzantine-linearizable Single-Writer Multi-Reader Register in the GPU-Inspired Shared Memory Model
University of Cyprus(塞浦路斯大学);IIT Hyderabad(海德拉巴印度理工学院)
该研究在GPU启发式共享内存模型中,针对任意线程可能表现拜占庭行为的问题,实现了两种拜占庭线性化SWMR寄存器,利用GPU锁步执行弥补访问控制缺失,为分布式容错寄存器提供了新方案。
2026-10-14 cs.DC
Fast Shared-Memory Barrier Synchronization for a 1024-Cores RISC-V Many-Core Cluster
本文针对1024核RISC-V众核集群TeraPool,通过对比优化屏障实现、微调树型屏障,大幅降低同步开销,首次实现了上千紧耦合处理单元的共享内存屏障同步。
2023-07-17 cs.DC
CXL Shared Memory Programming: Barely Distributed and Almost Persistent
本文首次定义了基于 CXL 的共享内存故障模型,区分数据与进程故障,并提出针对性的处理方法,以应对 CXL 特有的易失性和低延迟挑战。
2024-07-17 cs.DC
Software-Distributed Shared Memory for Heterogeneous Machines: Design and Use Considerations
分布式共享内存(DSM)允许使用方便的共享内存编程模型将应用程序实现和部署到分布式体系结构上,在该模型中,一组任务能够分配和访问数据,而不管它们的远程本地化。随着HPC和嵌入式环境中分布式异构体系结构的发展,人们对诸如DSM之类的系统重新产生了兴趣,这些系统简化了复杂硬件的可编程性。在这份报告中,一些设计考虑,建立一个完整的软件DSM(S-DSM)。这个S-DSM被称为SAT(Share Among Things),是在欧洲项目M2 DC(Modular Microserver DataCentre)的框架内由CEA(法国替代能源和原子能委员会)开发的,以解决在微服务器架构上管理共享数据的问题。S-DSM的特点是将大型数据自动分解为称为块的原子块,可以部署多个一致性协议来管理不同的块,基于事件编程的混合编程模型和微睡眠机制来减少消息接收的能耗。
2020-09-03 cs.DC
POSH: Paris OpenSHMEM: A High-Performance OpenSHMEM Implementation for Shared Memory Systems
在本文中,我们提出了POSH,OpenSHMEM标准的开源实现的设计和实现。我们提出了一个模型,其通信,并证明了OpenSHMEM规范中定义的内存模型的一些属性。我们提出了一些性能测量的POSH特色的通信库,并将它们与现有的单边通信库。POSH可从\url{http://www.lipn.fr/~coti/POSH}下载。% 9 - 67
2014-03-30 cs.DC
Reducing shared memory footprint to leverage high throughput on Tensor Cores and its flexible API extension library
针对Tensor Core使用中共享内存带宽瓶颈问题,提出含灵活寄存器操控、无额外共享内存SGEMM仿真双组件的WMMA API扩展库,降低共享内存占用,在A100上实现超FP32 SIMT峰值且精度对标cuBLAS的单精度批量SGEMM性能。
2023-08-29 cs.DC
Multi-threaded Graph Coloring Algorithm for Shared Memory Architecture
在本文中,我们提出了多线程算法的图着色适用于共享内存编程模型。我们对文献中广泛使用的现有算法进行了修改,并证明了修改后算法的正确性。我们还提出了一种新的方法来解决着色使用锁的问题。使用来自真实世界图的数据集,我们评估了算法在英特尔平台上的性能。我们比较的顺序方法V/S我们提出的方法的性能,并分析了现有的算法从文献中获得的加速比。结果表明,所获得的加速比是相应的。我们还提供了一个方向,为今后的工作,进一步提高性能方面的不同指标。
2015-10-04 cs.DC
Custom 8-bit floating point value format for reducing shared memory bank conflict in approximate nearest neighbor search
k-最近邻搜索用于各种应用,例如机器学习、计算机视觉、数据库搜索和信息检索。虽然精确最近邻搜索的计算成本巨大,但近似最近邻搜索(ANNS)却引起了人们的广泛关注。IVFPQ是ANNS方法之一。虽然我们可以利用共享内存的高带宽和低延迟来计算NVIDIA GPU上IVFPQ的搜索阶段,但由于共享存储体冲突,吞吐量可能会降低。为了减少存储体冲突和提高搜索吞吐量,我们提出了一种自定义的8位浮点值格式。这种格式没有符号位,可以通过几条指令从FP 32转换为FP 32。我们在GPU上使用这种格式进行IVFPQ,与FP 32和FP 16相比,在没有显著召回损失的情况下实现了更好的性能。
2023-01-17 cs.DC
Separation and Equivalence results for the Crash-stop and Crash-recovery Shared Memory Models
线性化,传统的并发数据结构的正确性条件被认为是不够的非易失性共享内存模型,其中进程恢复崩溃后。对于这种崩溃恢复共享内存模型,严格线性化被认为是合适的,因为与线性化不同,它确保崩溃操作在崩溃之前生效或根本不生效。这项工作形式化和回答的问题,是否实现的数据类型的崩溃停止共享内存模型也是严格线性化的崩溃恢复模型。这项工作提出了一个严格的研究,以证明如何帮助机制,通常采用非阻塞实现,是算法的抽象,从严格的线性化划定线性化。我们的第一个贡献形式化的崩溃-恢复模型,以及显式的进程崩溃和恢复如何在标准的崩溃-停止共享内存模型上引入更多的维度。我们做了以下技术贡献:(i)证明了严格线性化与任何已知的帮助定义无关;(ii)给出了帮助自由的自然定义,证明了任何完全对象类型的无障碍、可线性化和无帮助的实现也是严格线性化的;(iii)最后,我们证明了对于一个大类的对象类型,一个非阻塞严格线性化的实现不能有帮助。从整体上看,这项工作提供了第一个精确的表征的复杂性,在应用一个并发的实现设计的崩溃停止模型的崩溃恢复模型,反之亦然。
2020-12-07 cs.DC
Partially Replicated Causally Consistent Shared Memory: Lower Bounds and An Algorithm
本文的重点是在{ \em部分复制}分布式共享存储器(DSM)系统,提供了共享读/写寄存器的抽象的因果一致性。在分布式共享存储器系统中保持因果一致性在过去已经受到了极大的关注,主要是在{ \em完全复制}上,其中每个副本存储共享存储器中所有寄存器的副本。为了确保因果一致性,必须在任何给定副本执行更新之前执行所有因果在先更新。因此,需要一些用于跟踪因果依赖关系的机制,例如在完全复制的上下文中,向量元素的数量等于副本的数量的向量时间戳。在本文中,我们研究因果一致性{ \em部分复制系统},其中每个副本可以存储只有一个子集的共享寄存器。在前人工作的基础上,本文主要做了三个方面的工作:1.我们对元数据(我们称之为{ \em时间戳})提出了一个必要条件,每个副本必须维护该元数据才能准确地跟踪因果关系。必要条件标识副本的时间戳必须跟踪的{ \em共享图}中的一组有向边。2.我们提出了一个算法,用于实现因果一致性使用的时间戳,匹配上述必要条件,从而表明该条件是必要的和充分的。3.我们定义了时间戳空间大小的度量,并给出了时间戳大小的下限(以位为单位)。在几种特殊情况下,我们的算法的下限匹配。
2019-05-29 cs.DC
Parallel Delta-Stepping Algorithm for Shared Memory Architectures
我们提出了一个共享内存实现的并行算法,称为增量步进,解决单源最短路径问题的有向和无向图。为了减少同步成本,我们做了一些偏离的算法,并讨论了后果。我们研究的行为,我们的实现小世界和无标度图,以及图形所产生的游戏地图。我们收集多核CPU和英特尔至强融核的性能数据。当在顺序模式下运行时,我们的实现优于Boost Graph Library中的Dijkstra算法在小直径图上的实现。在CPU和协处理器上,我们实现了至少50%并行效率的整体性能。
2017-02-20 cs.DC
On the Relevance of Wait-free Coordination Algorithms in Shared-Memory HPC:The Global Virtual Time Case
共享存储器/多核架构上的高性能计算可能由于协调算法而遭受不可忽略的性能瓶颈,然而协调算法对于确保总体正确性和/或支持内务操作的执行(例如,恢复计算资源(例如,内存)。虽然在设计/开发上更加复杂,但是从经典协调算法到无等待算法的范式切换可以显著提高HPC应用程序的性能。在本文中,我们探讨了这种模式的转变在共享内存架构的相关性,通过集中在并行离散事件仿真的背景下,其中的全球虚拟时间(GVT)代表一个基本的协调算法。它允许计算参与并行/分布式计算的所有实体通过的逻辑时间值的下限。因此,它可以用来区分哪些事件属于计算的过去历史-从而被认为是提交的-并允许内存恢复(例如,为了支持状态可恢复性而采取的过时日志)和不可撤销的操作(例如I/O)。我们比较的参考(阻塞)算法共享内存,一个由藤本和Hybinette \cite{Fuj97},提出了一个创新的无等待的实现,强调什么设计选择必须执行这种范式转变,以及什么是协调算法中删除关键部分的性能影响。
2020-04-21 cs.DC
Causal Consistency: Beyond Memory
在分布式系统中,强一致性是昂贵的,当不是不可能的,因果一致性提供了一个有价值的抽象来表示程序执行的偏序。除了每个计算实体的程序顺序之外,因果顺序还包含影响共享对象的事件之间的语义链接-通信信道中的消息发送和接收,共享寄存器上的读取和写入。基于语义链接的语义方法很难适应其他数据类型,如队列或计数器,因为它们需要对每个数据类型的因果依赖关系进行特定分析。本文提出了一种新的方法来定义因果一致性的任何抽象数据类型的顺序规格的基础上。它探索,形式化和研究因果一致性的三种变化之间的差异,并根据PRAM,最终一致性和顺序一致性强调它们:弱因果一致性,在关注收敛时捕获因果关系保存的概念;因果收敛混合弱因果一致性和收敛;因果一致性,当应用于共享记忆时与因果记忆一致。
2016-03-14 cs.DC
Maintenance of Strongly Connected Component in Shared-memory Graph
在本文中,我们提出了一个在线的全动态算法,以维护强连通组件的有向图在共享存储器结构。边和顶点通过固定数量的线程同时添加或删除。据我们所知,这是第一个提出使用线性并发有向图的工作,并且使用有序和无序的基于列表的集合来构建。我们提供了一个经验比较顺序和粗粒度。结果表明,根据不同的工作负载分布和应用程序,我们的算法的吞吐量增加了3到6倍。我们相信在线图有巨大的应用。最后,我们展示了如何将该算法扩展到在线图中的社区发现。
2018-04-10 cs.DC
Enhanced computation method of topological smoothing on shared memory parallel machines
为了更好地分割图像,我们需要预处理应用程序,例如平滑,以减少噪声。在本文中,我们提出了一个增强的计算方法,平滑二维物体在二进制的情况下。与现有的方法不同,所提出的方法提供了一个并行计算和更好的存储管理,同时保留的拓扑结构(连接组件的数量)的原始图像通过使用同伦变换定义的数字拓扑结构的框架。我们引入了一个适应的并行化策略,称为分裂,分布和合并(SDM)的策略,它允许有效的并行化的一大类拓扑运算符。为了获得更好的加速比和更好的内存分配,我们关注任务调度和管理。平滑过程中的分布式工作由可变数量的线程完成。在2D灰度图像(512*512)上,使用8核共享内存并行机(SMPM)(2个Xeon E5405,运行频率为2GHz)进行测试,性能提升5.2,缓存成功率为70%。
2016-03-30 cs.DC
A Distributed Shared Memory Model and C++ Templated Meta-Programming Interface for the Epiphany RISC Array Processor
Adapteva Epiphany众核架构包括一个可扩展的2D网状片上网络(NoC),由低功耗RISC内核组成,具有最少的非核功能。尽管这样的处理器提供了高计算能量效率和并行可扩展性,但开发解决独特架构特征的有效编程模型已经提出了许多挑战。我们在这里提出了一个分布式共享内存(DSM)模型支持软件透明使用C++模板元编程技术。该方法提供了一个非常简单的并行编程模型非常适合的架构。初步结果表明,该方法,并提供洞察的编程模型的效率和能力的NoC支持DSM没有明确的控制数据移动和本地化。
2017-04-26 cs.DC
The Computational Power of Distributed Shared-Memory Models with Bounded-Size Registers
本文研究有界大小寄存器是否足以替代无界寄存器实现分布式共享内存模型的普适性,并回答在最多 t 个进程崩溃时该模型是否仍具有普适性。
2023-09-25 cs.DC
Leveraging access mode declarations in a model for memory consistency in heterogeneous systems
在向软件公开不相交内存空间的系统上,程序必须解决内存一致性问题并执行数据传输,以便始终访问有效数据。存在几种方法来确保所访问的存储器的一致性。在这里,我们感兴趣的声明性方法的验证,其中计算的每个组件都注释有一个访问模式,声明该组件读取或写入内存的哪一部分。编程框架使用组件注释来保证内存访问的有效性。这是VectorPU中使用的机制,VectorPU是一个用于编程CPU-GPU异构系统的C++库。本文证明了VectorPU中采用的软件缓存一致性机制的正确性。在VectorPU的范围之外,本文提供了一种简单有效的内存一致性机制的形式化,该机制基于每个组件对每个内存空间的影响的显式声明。我们提出的形式主义也考虑到数组的一个单一的有效性状态存储在整个数组;处理重叠数组的其他机制也进行了研究。
2019-10-24 cs.DC
Parallel image thinning through topological operators on shared memory parallel machines
在本文中,我们提出了一个强大的拓扑细化算子的并发实现。该算子能够直接作用于灰度图像而不修改其拓扑结构。我们介绍了一种适应并行化方法,它结合了分裂,分布和合并(SDM)的战略和混合并行技术(数据和线程并行)。引入的策略允许有效的并行化的一大类拓扑算子,主要包括,λ-leveling,crossonization和波峰恢复算法。为了实现良好的加速,我们关心线程的协调。细化过程中的分布式工作由可变数量的线程完成。在2D灰度图像(512*512)上的测试,使用具有8个CPU内核(2个Xeon E5405,以2 GHz的频率运行)的共享内存并行机(SMPM),显示出6.2的增强,使用8个线程最大实现125张图像/秒的节奏。
2016-03-30 cs.DC
Multicore-aware parallel temporal blocking of stencil codes for shared and distributed memory
需要新的算法和优化技术来平衡带宽匮乏的多核芯片的加速趋势。众所周知,模板代码的性能可以通过时间分块来改善,从而减轻对存储器接口的压力。我们介绍了一种新的流水线的方法,使显式使用共享缓存在多核环境中,最大限度地减少同步和边界开销。对于共享内存节点的集群,我们演示了如何在混合共享/分布式内存环境中成功地采用时间块。
2009-12-22 cs.DC cs.PF
Real-time topological image smoothing on shared memory parallel machines
平滑滤波是图像预处理和模式识别的首选方法。本文提出了一种新的二值情况下二维物体的并行光顺方法。所提出的方法提供了一个并行计算,同时通过使用同伦变换保持拓扑结构。我们引入了一个适应的并行化策略,称为分裂,分布和合并(SDM)的策略,它允许有效的并行化的一大类拓扑算子,主要包括,平滑,tenonization,分水岭算法。为了实现良好的加速比,我们关心任务调度。平滑过程中的分布式工作由可变数量的线程完成。使用具有8个CPU核心(2个Xeon E5405以2GHz的频率运行)的共享内存并行机(SMPM)对2D二值图像(512*512)进行测试,显示出5.2的增强,从而实现每秒32幅图像的节奏。
2016-03-30 cs.DC
Global-Local View: Scalable Consistency for Concurrent Data Types
在高争用工作负载下,对共享对象的并发可线性化访问可能代价高昂。许多应用程序应用ad-hoc技术来消除同步原子更新的需要,这可能导致非线性实现。我们提出了一个新的编程模型,利用这种模式的并发访问对象在共享内存系统。在这个模型中,每个线程维护共享对象的不同视图-线程本地视图和全局视图。由于线程本地视图不是共享的,因此可以在不产生同步开销的情况下对其进行更新。只有在线程本地视图与全局视图合并后,这些本地更新才对其他线程可见。这以牺牲线性化能力为代价实现了更好的性能。我们表明,它是可能的,以保持线程的本地视图,并有效地执行合并的几个数据类型,并评估其性能和可扩展性相比,线性化的实现。此外,我们讨论了数据类型和相关的编程模型的一致性语义。
2017-05-10 cs.DC
A new and five older Concurrent Memory Reclamation Schemes in Comparison (Stamp-it)
存储管理是几乎所有共享存储器、并发数据结构和算法中的关键组件,包括共享存储器资源的有效分配和随后的回收。本文贡献了一个新的,无锁,摊销的恒定时间的内存回收计划称为\emph{Stamp-it},并比较它的五个著名的,选择性有效的计划,从文献中,即无锁引用计数,危险指针,基于静态的回收,基于纪元的回收,和新的基于纪元的回收。提供了一个广泛的,实验评估与新的和常用的基准,在四个不同的共享内存系统的硬件支持的线程数范围从48到512,显示邮票,它是有竞争力的,在许多情况下和方面优于其他计划。
2017-12-17 cs.DC
Hierarchical Shared Memory-Aware Optimization for TRSM on GPU Platforms
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出HSMA-TRSM优化框架,针对GPU平台的TRSM,通过分层共享内存感知设计,在三类加速器上相较cuBLAS、rocBLAS获最高2.05倍、2.06倍加速比。
2026-08-27 cs.DC
Leveraging MPI-3 Shared-Memory Extensions for Efficient PGAS Runtime Systems
MPI-3的单边通信原语的宽松语义和丰富功能使MPI成为实现PGAS模型的有吸引力的候选者。然而,这种实现的性能受到以下事实的影响:当前MPI RMA实现在通信请求的源和目标共享公共的本地物理存储器时通常具有大的开销。在本文中,我们提出了一个优化的PGAS类运行时系统,它使用新的MPI-3共享内存扩展服务于节点内的通信请求和MPI-3单边通信原语服务于节点间的通信请求。我们的运行时系统的性能进行了评估Cray XC 40系统通过低级别的通信基准测试,随机访问基准测试和模板内核。实验结果表明,我们的混合运行时系统的性能相匹配的低级别的RMA库的节点内传输,和MPI-3的节点间传输的性能。
2016-03-07 cs.DC
Shared-Memory Parallel Maximal Clique Enumeration from Static and Dynamic Graphs
最大团枚举(MCE)是一个基本的图挖掘问题,并作为一个原语在识别图中的密集结构是有用的。由于MCE的高计算成本,并行方法是必不可少的处理大型图。我们提出了MCE的共享内存并行算法,具有以下特性:(1)并行算法相对于最先进的顺序算法是可证明的工作高效的(2)算法具有可证明的小并行深度,表明它们可以扩展到大量处理器,以及(3)我们在多核机器上的实现随着核数量的增加而显示出良好的加速和扩展行为,并且比用于MCE的现有共享存储器并行算法快得多;例如,在某些输入图上,虽然先前的工作要么耗尽存储器,要么在5小时内完成,但我们的实现使用32个核心在一分钟内完成。我们还提出了工作效率的并行算法,用于维护一个动态图中的所有最大集团,是通过添加边的变化。
2020-01-30 cs.DC
Efficient Orchestration of Host and Remote Shared Memory for Memory Intensive Workloads
由于很少的贡献,一个统一的内存编排框架,有效地管理主机和远程空闲内存的发展,我们提出代客,一个有效的方法来编排主机和远程共享内存,以提高内存密集型工作负载的性能。本文有三个原创性的贡献。首先,我们重新设计的关键路线中的数据流,通过引入一个主机协调的内存池,作为本地缓存,以减少主机和远程内存编排的关键路线中的延迟。其次,Valet通过Valet主机协调内存池管理本地内存,跨容器利用未使用的本地内存,这允许容器根据工作负载需求动态扩展和收缩其内存分配。第三,Valet基于两个优化在远程对等体上提供了有效的远程存储器回收技术:(1)基于活动的牺牲者选择方案,以允许选择最不活跃的数据块来服务驱逐请求,以及(2)迁移协议,以将最不活跃的数据块移动到存储器压力较小的远程节点。因此,Valet可以有效地降低本地节点上的性能影响和迁移开销。我们在NoSQL系统和机器学习(ML)工作负载上的广泛实验表明,Valet优于现有的代表性远程分页系统,与传统的操作系统交换设施相比,大数据和ML工作负载的吞吐量提高了226倍,延迟降低了98%,与最先进的远程分页系统相比,吞吐量提高了5.5倍,延迟降低了78.4%。Valet在https://github.com/git-disl/Valet上开源。
2020-08-28 cs.DC
A 1024 RV-Cores Shared-L1 Cluster with High Bandwidth Memory Link for Low-Latency 6G-SDR
本研究提出一种面向6G基带处理的开源架构,通过1024个RISC-V核共享L1内存搭配高带宽内存链路,实现亚毫秒延迟下的领先能效与极低数据移动开销。
2024-08-04 cs.DC
Space-Time Trade-off in Bounded Iterated Memory
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工学院);Télécom SudParis, Inria Saclay, Institut Polytechnique de Paris(南巴黎电信学院,Inria萨克雷中心,巴黎理工学院)
研究有界迭代共享内存中模拟无界全信息协议的渐近轮复杂度,推导出轮复杂度下界并提出了针对可用比特数定制的渐近最优有界全信息算法。
2025-09-16 cs.DC
Parallel and distributed Gröbner bases computation in JAS
本文研究了多核计算节点的分布式并行计算机上的并行格罗布纳基算法。总结了三种不同的格罗布纳基实现:共享内存并行、纯分布内存并行和分布内存与共享内存相结合的并行。最后一种算法称为分布式混合算法,在主节点和工作节点之间只使用一个控制通信信道,并将多项式保存在节点上的共享内存中。多项式在单独的分布式数据结构中被异步传输到算法的控制流。实现是通用的,适用于所有实现的(精确)字段。我们提出了新的性能测量和讨论的算法的性能。
2010-07-30 cs.DC
SWARM: Replicating Shared Disaggregated-Memory Data in No Time
提出 SWARM,一种针对分解内存共享对象的复制方案,通过 Safe-Guess 协议和 In-n-Out 技术实现单次往返的强一致性和无等待复制,构建的 SWARM-KV 在低延迟开销下显著优于现有方案。
2024-09-24 cs.DC
Sparkle: Optimizing Spark for Large Memory Machines and Analytics
Spark是一个内存分析平台,面向当今的商用服务器环境。它依赖Hadoop分布式文件系统(HDFS)来持久化中间检查点状态和最终处理结果。在Spark中,不可变数据用于存储每次迭代中的数据更新,这使得它对于长时间运行的迭代工作负载效率低下。非确定性垃圾收集器进一步解决了这个问题。Sparkle是一个优化Spark内存使用的库。它利用大的共享内存来实现更好的数据洗牌和中间存储。Sparkle用共享内存方法取代了当前基于TCP/IP的shuffle,并提出了一种高效更新的堆外内存存储。我们进行了一系列的实验上的横向扩展集群和纵向扩展的机器。优化的shuffle引擎利用共享内存,提供相对于Vanilla Spark快1.3倍至6倍的性能。堆外内存存储以及共享内存洗牌引擎在使用大规模真实超链接图的概率图处理工作负载上提供了超过20倍的性能提升。虽然Sparkle最大的好处是在大内存机器上运行,但与具有同等硬件设置的横向扩展集群相比,它也实现了1.6倍至5倍的性能提升。
2017-08-18 cs.DC
Shared Virtual Memory: Its Design and Performance Implications for Diverse Applications
本文细粒度剖析AMD GPU的Shared Virtual Memory设计及其与应用访问模式的交互,揭示超额订阅下激进预取与驱逐策略导致的颠簸瓶颈,并提出缓解算法与设计改进。
2024-05-10 cs.DC
Experience with Distributed Memory Delaunay-based Image-to-Mesh Conversion Implementation
本研究评估了基于共享内存实现构建的分布式内存Delaunay图像转网格算法的可扩展性与开发效率,发现分布式版本有一定加速比但单节点开销较高,对黑盒复用共享内存代码的思路提出质疑。
2023-08-24 cs.DC
RegDem: Increasing GPU Performance via Shared Memory Register Spilling
GPU利用率(以占用率衡量)受到并行线程对片上资源(如寄存器和程序员管理的共享内存)的组合使用的限制。更高的资源需求意味着更低的有效并行线程数,从而降低程序性能。我们的调查发现,登记册往往是占用限制器。事实上,基于nvcc编译器的方法将过多的寄存器溢出到片外存储器,忽略了共享存储器,使片内资源未得到充分利用。为了减轻寄存器的需求,本文提出了一种二进制翻译技术,称为RegDem,溢出过多的寄存器,未充分利用的共享内存通过转换GPU汇编代码(SASS)。大多数GPU程序不完全使用共享内存,因此允许RegDem使用它进行寄存器溢出。RegDem实现的更高占用率超过了访问共享内存而不是将数据放置在寄存器中的略高成本。本文还提出了一个编译时的性能预测模型,从一组程序变量中选择最佳版本的指令失速。累积起来,这些技术以9%的几何平均值优于nvcc编译器,最高观察到18%。
2019-07-05 cs.DC cs.PF
Performance Evaluation of Unified Parallel C for Molecular Dynamics
分区全局地址空间(PGAS)将共享内存编程的概念以及消息传递提供的数据分布和局部性控制集成到单个并行编程模型中。将分布式数据与共享内存结合起来的目的是培养一种局部感知的共享内存范例。PGAS由单个共享地址空间组成,该空间在线程之间进行分区。每个线程在本地内存中都有一部分共享地址空间,因此它可以通过主要对本地数据进行计算来利用数据局部性。统一并行C(UPC)是ISO C的并行扩展和PGAS模型的实现。在本文中,我们评估UPC的性能的基础上,从分子动力学的真实世界的情况。
2016-03-12 cs.DC
Verifying Sequential Consistency on Shared-Memory Multiprocessors by Model Checking
共享内存多处理器的内存模型是多处理器设计者和程序员之间的契约。顺序一致性存储器模型指定在每个处理器处执行的存储器(读取和写入)事件之间的总顺序。如果在跟踪中存在所有存储器事件的总顺序,则存储器系统的跟踪满足顺序一致性,该总顺序既与每个处理器处的总顺序一致,又具有对位置的每个读取事件返回对该位置的最后写入的值的属性。共享内存系统的描述通常由处理器的数量、内存位置的数量和数据值的数量来参数化。它已被证明,即使是有限的参数值,验证一般共享存储器系统的顺序一致性是不可判定的。我们观察到,在实践中,共享内存系统满足因果关系和数据独立性的属性。因果关系是读事件的值从写事件的值流出的属性。数据独立性是所有跟踪都可以通过重命名来自其中写入的值彼此不同的跟踪的数据值来生成的属性。如果因果和数据独立的系统也具有这样的属性,即每个位置的写入事件的逻辑顺序与它们的时间顺序相同,则可以在算法上验证顺序一致性。具体来说,我们提出了一种模型检验算法来验证此类系统在有限数量的处理器和存储器位置以及任意数量的数据值的序列一致性。
2001-08-25 cs.AR cs.DC
Scaling Shared-Memory Data Structures as Distributed Global-View Data Structures in the Partitioned Global Address Space model
分区全局地址空间(PGAS)是一种内存模型,其中全局地址空间在集群中的计算节点之间显式分区,致力于弥合共享内存和分布式内存编程之间的差距。为了进一步弥合这一差距,已经采用了全局视图分布式数据结构,例如“全局数组”或“分布式数组”。这项工作演示了如何共享内存数据结构可以修改,以规模在分布式内存。本文提出了一种分布式互锁哈希表(DIHT),它是从互锁哈希表(IHT)中引入的全局视图分布式映射数据结构。在64个节点上,每个节点44个核心,DIHT提供了高达110倍的Chapel标准库HashedDist的性能。
2021-11-30 cs.DC cs.DS
Mutex-based Desanonymization of an Anonymous Read/Write Memory
匿名共享内存是一种内存,其中进程对同一个共享读/写寄存器使用不同的名称。作为示例,由进程$p$命名为$A$的共享寄存器和由另一进程$q$命名为$B$的共享寄存器可以对应于完全相同的寄存器$X$,并且类似地,对于可以对应于相同寄存器$Y\neq X$的$p$处的名称$B$和$q$处的名称$A$。因此,各进程在登记册名称上始终存在分歧。这种新的匿名概念最近由G. Taubenfeld(PODC 2017),他提出了几种内存匿名算法和不可能性结果。本文介绍了一个新的问题(新的我们的知识),包括在“去匿名化”的匿名共享内存。为此,提出了一种算法,该算法从由$m$匿名读/写原子寄存器(即,在它们的名称上没有先验的一致性),允许每个进程计算局部寻址映射,使得所有进程在每个寄存器的名称上一致。所提出的构造是基于一个底层的死锁无互斥算法$n\geq 2$进程(最近提出的一份文件中合著的本文的一些作者),因此继承了其必要和充分条件的大小$m$的匿名存储器,即$m$必须属于集合$M(n)=\{m:~$,使$\forall~ \ell: 1<\ell \leq n:~ \gcd(\ell,m)=1\}\setminus \{1\}$。这个算法也是对称的,因为进程标识只能通过相等来比较,它需要所有进程的参与,因此它可以是系统初始化的一部分。最后但并非最不重要的是,该算法具有一流的值得注意的属性,即,它的简…
2019-03-28 cs.DC