Crystalline: Fast and Memory Efficient Wait-Free Reclamation
从历史上看,基于无锁引用计数的存储管理效率非常低,特别是对于以读取为主的工作负载。因此,诸如基于时期的回收(EBR)、危险指示器(HP)或其组合的方法已经受到显著关注。EBR表现出出色的性能,但由于潜在的无限内存使用而阻塞。相比之下,HP是非阻塞的,可以实现很好的内存效率,但速度要慢得多。此外,HP仅在一般情况下无锁。近年来,一些新的内存回收方法如WFE和Hyaline被提出。WFE实现了等待自由,但内存效率较低,在超额订阅的情况下性能不佳; Hyaline实现了更高的性能和内存效率,但缺乏等待自由。我们提出了一个新的无等待内存回收方案,晶体,同时解决了高性能,高内存效率和等待自由的挑战。Crystalline保证完全的无等待,即使线程是动态回收的,异步回收内存,任何线程都可以回收由任何其他线程退役的内存,并确保所有线程之间(几乎)平衡的回收工作负载。后两个属性导致Crystalline的高性能和高存储效率。同时确保所有三个属性需要克服我们在本文中讨论的独特挑战。Crystalline的实现依赖于在x86-64或ARM 64等商品硬件上广泛可用的专用指令。我们的实验评估表明,晶体表现出出色的可扩展性和内存效率,并实现卓越的吞吐量比典型的回收计划,如EBR的线程数量的增长。
2021-08-05 cs.DC
Universal Wait-Free Memory Reclamation
本文针对无等待并发数据结构中删除的内存块,提出了一种通用的内存回收方案--无等待时期(WFE)。WFE的关键创新在于它完全无需等待。尽管某些现有技术为某些数据结构提供了类似的保证,但是它们缺乏对任意无等待数据结构的支持。因此,开发人员通常被迫将其无等待数据结构与无锁危险指针或(潜在阻塞的)基于时期的内存回收结合起来。由于这两种方案都提供较弱的进度保证,它们基本上丧失了无等待数据结构的强进度保证。虽然使原始的危险指针计划或基于epoch的回收完全无等待似乎是不可行的,但我们通过一个更近的(无锁)危险时期计划实现了这一目标,我们扩展了该计划以保证等待自由。由于这个扩展是不平凡的,我们讨论了与构建通用无等待内存回收有关的所有挑战。WFE可在无处不在的x86_64和AArch64(ARM)架构上实现。它的API大多与Hazard Pointers兼容,这允许将现有的数据结构轻松转换为WFE。我们的实验评估表明,WFE的性能接近基于时代的开垦,几乎匹配原始的危险时代计划,同时提供了更强的无等待进度保证。
2020-01-12 cs.DC
EEMARQ: Efficient Lock-Free Range Queries with Memory Reclamation
多版本并发控制(MVCC)是数据库系统和并发数据结构中实现线性范围查询的一种常用机制。核心思想是保留以前版本的节点来服务范围查询,同时仍然提供原子读取和更新。现有的并发数据结构实现,支持线性范围查询,要么是缓慢的,使用锁,或依赖于阻塞回收方案。我们提出EEMARQ,第一个计划,使用MVCC与无锁内存回收获得一个完全无锁的数据结构,支持线性插入,删除,包含和范围查询。评估表明,EEMARQ在大多数工作负载上都优于现有解决方案,具有更低的空间开销,同时提供完全的锁自由。
2022-10-31 cs.DB cs.DC
Snapshot-Free, Transparent, and Robust Memory Reclamation for Lock-Free Data Structures
我们提出了一个家庭的安全内存回收计划,透明,这是快速,可扩展的,和透明的底层无锁数据结构。Hyaline是基于引用计数的-由于开销高,在过去被认为是不切实际的内存回收。Hyaline仅在回收期间使用引用计数器,而在访问单个对象时不使用,这减少了对象访问的开销。由于使用引用计数器,任意线程最终都会释放内存,因此Hyaline的回收工作负载(几乎)在所有线程之间平衡,这与大多数先前的回收方案(如基于epoch的回收(EBR)或危险指针(HP))不同。Hyaline通常会产生(优秀的)EBR级性能和(良好的)HP级内存效率,这对所有现有方案来说都是一个具有挑战性的折衷。Hyaline方案提供:(i)高绩效;(ii)良好的内存效率;(iii)健壮性:即使在存在停滞线程的情况下也限制内存使用,这是EBR的一个众所周知的问题;(iv)透明性:支持几乎无限数量的线程(v)自主性:避免特殊的OS机制并且对运行时或编译器环境是非侵入性的; ㈥简单:使得能够容易地集成到非托管C/C++代码中;以及(vii)通用性:支持许多数据结构。所有现有的方案都缺少一个或多个属性。我们已经在x86(-64)、ARM 32/64、PowerPC和MIPS上实现并测试了Hyaline。一般的方法需要LL/SC或双宽度CAS,而专用版本也可以使用单宽度CAS。我们的评估显示,Hyaline的吞吐量非常高--在一次测试中,…
2021-05-01 cs.DC
Publish on Ping: A Better Way to Publish Reservations in Memory Reclamation for Concurrent Data Structures
本文提出 publish-on-ping 内存回收方法,结合 POSIX 信号与延迟回收,让线程按需发布保留信息以替代风险指针,并构建 EpochPOP 变体,在多种数据结构和负载下实现 1.2-4 倍性能提升。
2025-06-04 cs.DC cs.PL
Memory Reclamation for Recoverable Mutual Exclusion
互斥是并发系统中处理冲突的一种常用技术。随着非易失性存储器技术的最新发展,可恢复互斥(RME)问题越来越受到关注,RME是进程可以失败并恢复的ME的特殊情况。然而,为了确保RME的问题也是实际的利益,而不仅仅是一个理论,内存回收构成了一个主要的障碍,在几个RME算法。RME算法通常需要动态分配内存,这会随着时间的推移增加算法的内存占用。由于并发性和故障,这些算法通常没有配备合适的垃圾回收。在这项工作中,我们提出了第一个“一般”可恢复的内存回收算法的背景下,可恢复的互斥。我们的算法可以很容易地插入到任何RME算法,并保持所有的正确性属性和最理想的性能的算法。我们的算法的空间开销是$\mathcal{O}(n^2 * sizeof(node)\ )$,其中$n$是系统中的进程总数。在远程内存引用(RMR)方面,我们的算法是RMR最优的,即它有一个恒定的RMR开销每通道。我们的RMR和空间复杂度适用于$CC$和$DSM$内存模型。
2021-03-02 cs.DC
Fixing Non-blocking Data Structures for Better Compatibility with Memory Reclamation Schemes
The Pennsylvania State University(宾夕法尼亚州立大学)
SCOT通过改进内存回收方案与非阻塞数据结构的兼容性,实现了性能优化和更高的吞吐量。
2026-03-09 cs.DC
Opacity of Memory Management in Software Transactional Memory
建议通过增量验证来建立事务存储器的不透明度。根据基于时间的内存回收的静默被应用于处理导致内存访问违规的注定失败的事务。不幸的是,这种方法会增加内存消耗,并且不包括事务之外的回收。本文介绍了一种不同的方法,它结合了增量验证和沙箱元素来解决这些问题。
2013-08-13 cs.DC cs.OS
Turning Manual Concurrent Memory Reclamation into Automatic Reference Counting
安全内存回收(SMR)方案是无锁数据结构和并发编程的重要工具。然而,手动SMR方案是出了名的难以正确应用,而自动方案,如引用计数,十多年来一直被认为对于实际目的来说太慢。最近的一波工作已经推翻了这个长期持有的概念,并表明引用计数可以像危险指针一样可扩展,危险指针是最常见的手动技术之一。尽管有这些巨大的改进,但这些方案与更快的手动技术(如基于时期的回收(EBR))之间的性能差距仍高达2倍或更多。在这项工作中,我们首先提出这些想法,并表明在许多情况下,自动引用计数实际上可以像最快的手动SMR技术一样快。我们概括了我们以前的并发延迟引用计数(CDRC)算法,以获得一种方法,用于将任何标准的手动SMR技术转换为具有类似性能的自动引用计数技术。我们的第二个贡献是扩展了这个框架,以支持弱指针,这是引用计数指针,自动打破指针周期不贡献的引用计数,从而解决了一个常见的弱点,引用计数垃圾回收。我们的C++库实现的实验表明,我们的自动技术与他们的手动同行,我们的弱指针实现优于最知名的原子弱指针库的数量级高线程数。总之,我们表明,可以实现自动存储管理的易用性,而不显着的成本,实际性能或一般适用性。
2022-04-12 cs.DC
Reclaiming memory for lock-free data structures: there has to be a better way
基于锁的数据结构的存储器回收通常是容易的。然而,这对于无锁数据结构来说是一个重大的挑战。诸如垃圾回收之类的自动技术效率低下或使用锁,而非自动技术要么开销很高,要么不适用于许多数据结构。例如,当危险指针(最常见的非自动技术之一)应用于许多无锁数据结构时,可能会出现一些微妙的问题。基于纪元的回收(EBR)是迄今为止最有效的非自动技术,它允许未回收对象的数量无限增长,因为一个崩溃的进程可以阻止所有其他进程回收内存。我们开发了一种更有效的分布式EBR变体来解决这个问题。它基于许多操作系统(如Linux和UNIX)提供的信令。我们的新方案需要$O(1)$摊销步骤的数据结构和$O(1)$步骤在最坏的情况下,每次从数据结构中删除一个对象。在任何时候,$O(mn^2)$对象都在等待被释放,其中$n$是进程的数量,$m$是大多数数据结构的小常量。实验结果表明,在多线程、多操作混合和多争用的情况下,该算法的开销平均为10%,最差为28%.我们的计划也优于一个高度调整的危险指针的平均75%的实现。通常,内存回收被紧密地编织到无锁数据结构代码中。为了提高模块性和方便比较不同的内存回收方案,我们还引入了一个高度灵活的抽象。它允许程序员通过改变一行代码,轻松地交换回收、对象池、分配和释放的方案,几乎没有开销。
2017-12-04 cs.DC
Analysis of Memory Ballooning Technique for Dynamic Memory Management of Virtual Machines (VMs)
内存膨胀是虚拟机的动态存储管理技术。内存回收是管理程序使用的内存回收技术操作的一部分,以允许物理主机系统从某些客户虚拟机(VM)检索未使用的内存并与其他虚拟机共享。内存膨胀允许来宾虚拟机所需的RAM总量超过主机上可用的物理RAM量。内存超量使用可以在虚拟机管理程序中实现更高的整合率。使用内存超量使用,用户可以在物理机上整合VM,以便以最佳方式利用物理资源,同时提供良好的性能。因此,内存回收是内存过度使用的一个组成部分。在本文中,我们解决的内存膨胀的基本原因是使用内存密集型虚拟机的内存超量使用。通过对现有回收技术的比较,确定了内存过度使用状态下的代价关联。本文的目的是分析虚拟机动态存储管理的内存膨胀技术。为了进行这项分析,我们在DIU创新科技中心实验室安装和配置了基于VMware的虚拟化软件,例如VMware Server、vCenter Server、vSphere Client,以监控和分析虚拟机的内存膨胀技术性能。用两个不同的测试用例对内存膨胀技术的性能进行了评估。其目的是帮助用户了解这种技术如何影响性能。最后,我们给出了在不同的内存限制下,使用膨胀或交换时的吞吐量,并分析了这种技术的VM性能问题。
2014-11-26 cs.DC
Paving the way for Distributed Non-Blocking Algorithms and Data Structures in the Partitioned Global Address Space
分区的全局地址空间在共享内存和分布式内存之间架起了一座桥梁,通过这座桥梁,共享内存概念(如非阻塞编程)能够适应分布式系统(如超级计算机)。为了实现非阻塞算法,我们提出了通过远程直接内存地址和指针压缩对远程内存中的对象执行可扩展原子操作的方法。为了解决分布式系统中并发安全的内存回收问题,我们将基于历元的内存回收方法应用于分布式内存,并以支持全局视图编程的方式实现。这个结构是为Chapel程序设计语言设计和实现的,但是可以进行调整和推广,以适用于其他语言和库。
2020-03-15 cs.DC
Are Your Epochs Too Epic? Batch Free Can Be Harmful
本文揭示 EBR 等批量内存回收与现代分配器交互导致的性能损耗,提出随时间摊销大批量释放的简单修复,并在十种算法及 192 线程系统上验证显著加速。
2024-01-20 cs.DC
Memory Bounds for Concurrent Bounded Queues
本文研究无阻塞有界队列的内存最优性,证明在一般情形下其内存开销与并发进程数成线性关系,为并发数据结构内存优化提供理论界限。
2024-01-16 cs.DC cs.DS
Ember: Making Unified Virtual Memory Practical for Discrete-Memory GPUs
Technical University of Munich(慕尼黑工业大学)
Ember是一款UVM管理框架,通过混合地址空间、计数器驱动区域提升等技术,在不修改应用的情况下,使GPU显存过度订阅性能大幅优于原生UVM及性能分析引导方案。
2026-10-12 cs.DC cs.OS
Practically and Theoretically Efficient Garbage Collection for Multiversioning
多版本控制广泛应用于数据库、事务内存和并发数据结构中。它可用于支持在存在并发更新操作的情况下显示为原子的只读事务。任何维护每个对象的多个版本的系统都需要一种有效地回收它们的方法。我们实验比较各种现有的回收技术,将它们应用到多版本树和多版本哈希表。使用这些实验的见解,我们开发了两个新的多版本垃圾回收(MVGC)技术。这些技术使用两种新颖的并发版本列表数据结构。我们的实验评估表明,我们最快的技术与现有最快的MVGC技术竞争,同时在某些工作负载上使用更少的空间。我们的新技术提供了强大的理论界限,特别是在空间使用方面。这些界限确保方案具有一致的性能,避免了其他技术的非常高的最坏情况下的空间使用。
2023-01-08 cs.DB cs.DC
The solvability of consensus in iterated models extended with safe-consensus
安全共识任务是由Afek,Gafni和Lieber(DISC' 09)引入的,作为对经典共识的削弱。当存在并发时,共识输出可以是任意的,甚至不是任何进程的输入。他们表明,在无等待系统中,安全共识等同于共识。我们研究了三个共享记忆迭代模型中的共识的可解性,该模型扩展了安全共识黑箱的能力。在第一个迭代模型中,对于第$i$次迭代,进程写入内存,然后对其进行快照,最后调用安全共识框。我们证明,在这个模型中,共识是无法实现的。在第二个迭代模型中,进程首先调用安全共识,然后写入内存,最后快照它。我们表明,这个模型是等效于前一个模型,因此共识不能实现。在最后一个迭代模型中,进程写入内存,调用安全共识盒,最后对内存进行快照。我们表明,在这个模型中,任何等待免费实现的共识需要$\binom{n}{2}$安全共识黑盒,这个界限是紧的。
2022-07-23 cs.DC
Intra-node Memory Safe GPU Co-Scheduling
高性能计算系统中的GPU仍然没有得到充分利用,这是因为无法安全地调度多个应用程序共享同一GPU。本文中报告的研究旨在通过提出一个框架来提高GPU的利用率,我们称之为schedGPU,以促进节点内GPU协同调度,从而通过考虑内存约束,可以在多个应用程序之间安全地共享GPU。两种方法,即客户端-服务器和共享内存的方法进行了探讨。然而,与前一种方法相比,共享内存方法更适合,因为其开销更低。schedGPU中提出了四种策略来处理等待访问GPU的应用程序,其中两种占优先级。在三个实际应用中验证了schedGPU的可行性。关键的观察结果是实现了性能增益。对于单个应用程序,获得超过10倍的增益,如通过GPU利用率和GPU内存利用率测量的。对于包含多个应用程序的工作负载,总执行时间的加速高达5倍。此外,平均GPU利用率和平均GPU内存利用率分别提高了5倍和12倍。
2017-12-12 cs.DC
GPUArmor: A Hardware-Software Co-design for Efficient and Scalable Memory Safety on GPUs
GPUArmor提出软硬件协同设计,利用编译器分析与小型内存旁路转换缓冲(MLB)实现GPU内存安全,平均运行时开销仅2.3%,存储需求可忽略,并扩展至无需重编译的变体。
2025-02-26 cs.DC cs.SY eess.SY
A Concurrent Language with a Uniform Treatment of Regions and Locks
程序设计语言研究的一个挑战是设计和实现多线程低级语言,为存储器安全和数据竞争提供静态保证。为了实现这一目标,我们提出了一个并发语言采用安全区域为基础的存储管理和层次锁定的区域。区域和锁都是统一处理的,并且语言支持所有权转移,区域的早期释放和以安全的方式提前释放锁。
2010-02-04 cs.DC cs.PL
Last-use Opacity: A Strong Safety Property for Transactional Memory with Early Release Support
事务存储器(TM)是一种并发控制抽象,它允许程序员指定要作为事务原子地执行的代码块。然而,由于事务代码可以包含几乎任何操作,因此必须在任何给定时间关注共享变量的状态。例如,在一个示例中,与数据库事务相反,如果TM事务读取陈旧值,则它可能执行危险操作,如尝试除以零、访问非法内存地址或进入无限循环。因此,可串行化性是不够的,TM中需要更强的安全属性,这些属性规定了可以读取的值,即使是中止的事务。因此,开发了许多TM安全特性,包括不透明度以及TMS 1和TMS 2。然而,这些强大的属性排除了使用早期发布作为优化TM的技术,因为它们实际上禁止从实时事务中读取。另一方面,允许提前发布的属性要么不足以防止上述任何问题(可恢复性),要么在提前发布的事务上添加额外的条件,限制其适用性(弹性不透明度,实时不透明度,虚拟世界一致性)。本文介绍了最后一次使用不透明度,一个新的TM安全属性,这意味着是一个强大的属性,如不透明度和可串行化之间的妥协。该属性消除了所有不一致的视图,但只有一小部分不一致的视图,并且对事务没有严格的条件。为了说明,我们提出了一个最后使用不透明TM算法,并表明它满足新的安全属性。
2016-03-25 cs.DC
Parameterized safety verification of round-based shared-memory systems
我们考虑分布式算法的参数化验证问题,其目标是开发技术来证明给定算法的正确性,而不管参与进程的数量。受异步二进制共识算法的启发[J. Aspnes,Fast deterministic consensus in a noisy environment. Journal of Algorithms,2002],我们考虑了基于轮的分布式算法与共享内存通信。这些系统中的一个特殊挑战是:1)进程的数量是无限的,更重要的是,2)每一轮都有一组新的寄存器。因此,验证算法需要管理两个无穷大的来源。在这种情况下,我们证明了安全验证问题,其中包括在决定是否所有可能的执行避免给定的错误状态,是PSPACE完整的。对于安全验证问题的负实例,我们还提供了指数下限和上限的最小数目的过程中所需的错误执行和最小轮上的错误状态可以覆盖。
2022-04-25 cs.DC cs.FL cs.LO
Dynamic Checking of Safe Concurrent Memory Access using Shared Ownership
在共享存储器并发编程中,可以使用诸如监视器或通道之类的同步机制来保护共享资源。然而,这些机制和它们所保护的资源之间的联系只是隐含地给出的;这使得程序员很难正确地应用这些机制,编译器也很难检查资源是否得到了适当的保护。本文提出了一种自动检查共享内存是否被正确访问的机制,使用一种称为共享所有权的方法。与传统的所有权相比,共享所有权允许多个所有者拥有资源,从而提供了更大的灵活性。在此方法的基础上,我们定义了一个抽象的资源访问模型,提供操作来管理数据依赖关系,以及共享和访问权限的转移。该模型是严格定义的使用正式的语义,并显示是免费的数据竞争。当模拟模型和程序执行时,此属性可用于检测不安全的内存访问。该方法的表现力和效率证明了各种程序使用常见的同步机制。
2014-07-04 cs.DC cs.SE
A Wait-Free Universal Construct for Large Objects
并发性作为一个研究课题已经有50多年的历史了。尽管如此,许多开发人员仍在努力调整他们的顺序代码以使其能够被并发访问。这种需求推动了通用解决方案和特定的并发数据结构。无等待的通用构造很有吸引力,因为它们可以将任何对象的顺序实现转换为等价的、并发的、无等待的实现。虽然从研究的角度来看,这些技术是高度相关的,但当底层对象或数据结构相当大时,这些技术的实际用途有限。复制操作会消耗大量CPU资源,并显著降低性能。为了克服这个限制,我们设计了CX,一个基于多实例的无等待通用构造,大大减少了复制操作的数量。该构造维护对象的有限数量的实例,这些实例可能是最新的。我们将CX应用于数据结构的几个顺序实现,包括STL实现,并将它们与现有的无等待构造进行比较。我们的评估表明,CX在大多数实验中表现得更好,甚至可以与手写的无锁和无等待的数据结构相媲美,同时提供无等待的进度,安全的内存回收和高的读取器可扩展性。
2019-11-05 cs.DC
Thread-safe lattice Boltzmann for high-performance computing on GPUs
本文提出基于Hermite投影重构碰撞后分布的线程安全格子玻尔兹曼方法,在GPU上实现二维和三维峰值性能并显著降低数十亿节点模拟的内存占用。
2023-04-13 cs.DC physics.flu-dyn
Safe Privatization in Transactional Memory
transmandemory(TM)通过让程序员将某些代码块指定为原子代码块来促进并发应用程序的开发。使用TM的程序员通常希望在事务内部和外部访问相同的数据,例如,以提高性能或支持遗留代码。在这种情况下,程序员理想地希望TM保证强原子性,其中事务可以被视为相对于非事务访问也以原子方式执行。由于保证任意程序的强原子性是非常昂贵的,研究人员建议只保证某些无数据竞争(DRF)程序,特别是那些遵循私有化习语的程序:从某个时候开始,线程同意可以非事务性地访问给定对象。在TM中安全地支持私有化是非常重要的,因为这通常需要正确地插入事务围栏,直到所有活动事务完成。不幸的是,目前没有就事务性DRF的单一定义达成共识,特别是因为现有的DRF概念没有考虑到事务性围栏。在本文中,我们提出了这样一个概念,并证明,如果TM满足一定的条件推广不透明性和使用它的程序是DRF假设强原子性,那么程序确实具有强原子语义。我们表明,我们的DRF概念允许程序员使用私有化的成语。我们还提出了一种方法来证明我们的不透明度的推广,并将其应用到TL2 TM。
2018-01-12 cs.DC
Safety of Deferred Update in Transactional Memory
事务内存允许用户将指令序列声明为推测性的\emph{transactions},可以是\emph{commit}或\emph{abort}。如果事务提交,它看起来是顺序执行的,因此提交的事务构成正确的顺序执行。如果一个事务中止,它的任何指令都不会影响其他事务。\emph{opacity}的流行标准要求中止事务的视图也必须与提交事务构成的全局顺序一致。这被认为是重要的,因为由中止的事务观察到的不一致可能导致致命的不可恢复的错误或在无限循环中浪费系统。直观地说,不透明实现必须确保事务在提交或中止之前获得的中间视图不会受到尚未开始提交的事务的影响,即所谓的\emph{deferred-update}语义。在本文中,我们打算正式把握这种直觉。我们提出了一个变种的不透明性,明确要求的顺序,以尊重延迟更新语义。我们表明,我们的标准是一个安全属性,即,它是前缀封闭和极限封闭。与opacity不同,我们的属性还确保历史的序列化意味着其前缀的序列化。最后,我们表明,我们的属性是等价于不透明的,如果我们假设没有两个事务提交相同的值在同一个变量,并提出了一个反例的情况下,“唯一写”的假设不成立。
2013-04-10 cs.DC
Guardian: Safe GPU Sharing in Multi-Tenant Environments
针对多租户GPU共享中的内存安全隐患,本文提出PTX级边界检查方法Guardian,通过地址空间分区、底层调用拦截和PTX级内核插桩实现动态空间共享与内存隔离,在Caffe和PyTorch等框架上平均开销仅9%。
2024-10-16 cs.DC