A CXL Memory Rack for Multi-Turn LLM Serving
SK hynix America(SK海力士美国);Virginia Tech(弗吉尼亚理工大学)
研究针对多轮大语言模型服务中键值缓存重用问题,提出HyMCache框架集成CXL混合内存。利用多轮缓存访问特性优化DRAM管理,通过请求级前缀预取等技术,在真实原型上评估,相比其他方案有性能优势且节省DRAM。
2026-08-07 cs.DC
Analysis and Optimized CXL-Attached Memory Allocation for Long-Context LLM Fine-Tuning
针对长上下文LLM微调中CPU内存瓶颈问题,提出支持张量级控制的PyTorch扩展与CXL感知内存分配器,通过合理放置张量实现接近纯DRAM的微调吞吐量,为突破内存限制提供可行方案。
2025-10-30 cs.DC
Evaluating Emerging CXL-enabled Memory Pooling for HPC Systems
当前的HPC系统提供静态配置并与计算节点紧密耦合的存储器资源。然而,HPC系统上的工作负载正在不断发展。不同的工作负载导致需要可配置的内存资源来实现高性能和高利用率。在这项研究中,我们评估的内存子系统设计利用CXL启用内存池。研究了组合存储器子系统的两个有前途的用例-细粒度容量供应和可扩展带宽供应。我们开发了一个模拟器来探索各种内存组合对性能的影响。我们还提供了一个分析器来识别应用程序中的内存使用模式及其优化机会。七个科学和六个图形应用程序进行评估各种模拟内存配置。当池内存支持75%的内存占用时,七分之三的科学应用程序的性能影响小于10%。结果还表明,动态配置的高带宽系统可以有效地支持带宽密集型的非结构化网格为基础的应用程序,如OpenFOAM。最后,我们确定通过共享内存池作为一个实际的挑战,采用HPC系统的干扰。
2022-11-04 cs.DC
A Programming Model for Disaggregated Memory over CXL
Technion(以色列理工学院);ETH Zürich(苏黎世联邦理工学院);Tel Aviv University(特拉维夫大学)
本文提出CXL0,首个面向CXL的并发编程模型,通过高层次抽象和形式化语义,支持分布式部分崩溃环境下的持久化并发算法。
2026-01-24 cs.DC cs.ET
Next-Gen Computing Systems with Compute Express Link: a Comprehensive Survey
针对处理器与设备互连性能落后于计算性能的问题,本文全面综述了基于英特尔CXL技术的计算系统进展,涵盖单机(内存扩展、统一内存)与分布式场景,探讨了未来内存中心计算方向。
2025-02-20 cs.DC
Exploring and Evaluating Real-world CXL: Use Cases and System Adoption
University of California, Merced(加州大学默塞德分校)
本研究测试三款真实CXL内存扩展卡,评估其基本性能及对HPC和LLM应用的影响,并提出数据对象级交错策略以匹配内存访问模式,揭示了CXL内存应用的挑战与机遇。
2025-02-16 cs.AR cs.DC cs.PF
cMPI: Using CXL Memory Sharing for MPI One-Sided and Two-Sided Inter-Node Communications
University of California, Merced(加州大学默塞德分校)
cMPI通过CXL内存共享优化MPI通信,显著降低跨节点通信的延迟和带宽,适用于高性能计算场景。
2025-12-13 cs.AR cs.DC cs.NI
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
Virginia Tech(弗吉尼亚理工大学);SK Hynix America(SK海力士美国);SK Hynix(SK海力士)
TraCT通过利用CXL共享内存实现解耦LLM服务,显著降低TTFT、P99延迟并提升吞吐量。
2025-12-20 cs.DC
Pooling Engram Conditional Memory in Large Language Models using CXL
Peking University(北京大学);Alibaba Cloud(阿里云);Shandong Yingxin Computer Technology Co., Ltd(山东英信计算机技术有限公司);Renmin University of China(中国人民大学);The University of Hong Kong(香港大学)
本文提出利用CXL内存池存储恩格拉条件记忆,以实现大语言模型的高效存储和低延迟访问。
2026-03-10 cs.AR cs.DC
Aquifer: Hierarchical Memory Pooling with CXL and RDMA for MicroVM Snapshots
The Chinese University of Hong Kong(香港中文大学);Virginia Tech(弗吉尼亚理工大学)
针对生产云集群中25-35%的DRAM内存浪费问题,提出Aquifer系统,利用CXL和RDMA构建分层内存池,通过热感知快照格式和基于所有权的缓存一致性协议,实现微VM快照的快速恢复。
2026-06-24 cs.DC cs.OS
CCCL: Node-Spanning GPU Collectives with CXL Memory Pooling
University of California, Merced(加州大学默塞德分校);Zhejiang University(浙江大学);ByteDance(字节跳动);Xconn-Tech(芯联创科技)
本文提出CCCL库,利用CXL共享内存池实现跨节点GPU操作,解决同步、数据交错和通信并行化问题,实验显示在多个节点上性能提升显著,证明CXL在可扩展内存导向GPU通信中的潜力。
2026-05-06 cs.DC cs.ET
AXLE: Coordinated Offloading with Asynchronous Back-Streaming in Computational Memory Systems
School of Computer Science Georgia Institute of Technology Atlanta, USA;Memory System Research SK hynix Inc. Icheon, South Korea
针对CXL计算内存系统中不同卸载模型的权衡,提出异步回传协议AXLE,通过协调CXL.io和CXL.mem实现结果回传和异步流水线,显著降低端到端运行时间并减少空闲时间。
2026-05-30 cs.DC
SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL
Peking University(北京大学);Alibaba Cloud(阿里云);Renmin University of China(中国人民大学)
针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈,提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC,相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。
2026-06-19 cs.DC
Telepathic Datacenters: Fast RPCs using Shared CXL Memory
本文提出RPCool框架,利用CXL共享内存传递指针避免序列化,并通过内存权限管理和RDMA回退保障安全与可扩展性,相比现有机制大幅降低RPC往返延迟。
2024-08-21 cs.DC cs.OS
HybridTier: an Adaptive and Lightweight CXL-Memory Tiering System
HybridTier提出一种自适应轻量级CXL内存分层系统,通过同时跟踪长期访问频率与短期动量并采用概率跟踪和局部性优化数据结构,在提升性能的同时显著降低内存和缓存开销。
2025-07-03 cs.DC cs.OS
ITME: Inference Tiered Memory Expansion with Disaggregated CXL-Hybrid Memories
SK hynix(SK海力士)
针对大语言模型推理中TB级上下文状态的内存瓶颈,提出ITME架构,利用CXL混合内存实现字节可寻址的远程内存扩展,通过确定性访问模式优化数据移动,提升吞吐量达35.7%。
2026-06-17 cs.DC
Beluga: A CXL-Based Memory Architecture for Scalable and Efficient LLM KVCache Management
Alibaba Cloud Computing(阿里云计算)
Beluga通过CXL交换机实现GPU与CPU共享大规模内存池,显著提升LLM推断中的KVCache管理效率。
2025-11-27 cs.AI cs.DC
NEURON-Fabric: CXL-Side Low-Bit Gradient Aggregation for Distributed Training
Carleton University(卡尔顿大学)
提出NEURON-Fabric架构,在CXL内存控制器中实现低比特梯度聚合,通过G-Binary和G-Ternary方法减少通信量,同时保留FP32路径,在CIFAR-10/ResNet-18等任务上接近FP32精度,梯度流量降至3.6-5.4%。
2026-06-16 cs.DC
DIKTAMO: Extending CXL for Resilience to CPU Failures
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Technical University of Athens(雅典国立技术大学);FORTH(希腊研究所)
ReCXL通过引入副本和日志单元,实现对CPU故障的容错性,使应用程序在节点故障后能正确恢复,仅增加30%的延迟。
2026-10-06 cs.DC
TPP: Transparent Page Placement for CXL-Enabled Tiered-Memory
本文提出操作系统级透明页面放置机制 TPP,通过轻量级热冷页识别与主动降级/提升策略优化 CXL 分层内存性能,在生产环境中较 Linux 提升 18%,并已合入 Linux v5.18。
2023-05-28 cs.DC cs.OS
Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving
Seagate Technology, LLC(希捷科技有限责任公司)
本文提出一种Kubernetes DRA驱动,使可组合CXL内存成为可调度资源,实现跨节点KV缓存共享,显著降低LLM服务TTFT,验证了内存解聚的可行性。
2026-09-11 cs.DC cs.LG
Equilibria: Fair Multi-Tenant CXL Memory Tiering At Scale
Carnegie Mellon University(卡内基梅隆大学);Meta
Equilibria通过多租户支持和灵活的公平策略,解决大规模数据中心中CXL内存分层的公平性和性能问题,提升性能达52%。
2026-04-20 cs.DC cs.OS
The Hitchhiker's Guide to Programming and Optimizing Cache Coherent Heterogeneous Systems: CXL, NVLink-C2C, and AMD Infinity Fabric
本文全面分析了由CXL、NVLink-C2C和Infinity Fabric互连的现代缓存一致性异构系统,开发了基准测试套件Heimdall进行性能分析,揭示了系统架构设计并为未来优化指明方向。
2025-07-14 cs.AR cs.DC cs.OS
The Fabric Is the Cluster Driver: Cross-Layer eBPF Policies for GPU-CXL Fabrics
UC Santa Cruz(加州大学圣克鲁兹分校)
该研究提出 fabric_ext 中间件编译器与运行时,通过语义移动图实现跨 GPU-CXL Fabric 多层的 eBPF 策略,以处理 LLM 预填充等场景下的跨岛数据流需求。
2026-07-30 cs.DC
DPC: A Distributed Page Cache over CXL
Huawei Technologies Switzerland AG(华为瑞士技术有限公司);Huawei Technologies Co., Ltd(华为技术有限公司);ETH Zurich(苏黎世联邦理工学院)
本文提出DPC,一种基于CXL 3.0内存语义的分布式页面缓存,通过统一集群主存作为单一缓存预算,减少数据冗余和一致性开销,实现在实际工作负载中高达12.4倍的加速。
2026-04-21 cs.DC cs.OS
DFabric: Scaling Out Data Parallel Applications with CXL-Ethernet Hybrid Interconnects
China(中国)
DFabric通过CXL-Ethernet混合互连技术实现数据并行应用的扩展,解决跨机架通信带宽限制问题。
2024-10-30 cs.AR cs.DC cs.ET
Compute Can't Handle the Truth: Why Communication Tax Prioritizes Memory and Interconnects in Modern AI Infrastructure
针对LLMs和RAG带来的通信瓶颈,提出基于CXL的模块化数据中心架构与混合CXL-over-XLink设计,结合分层内存模型,有效提升了AI基础设施的可扩展性、吞吐量与灵活性。
2025-07-13 cs.AR cs.DC
NotNets: Accelerating Microservices by Bypassing the Network
本文提出NotNets,利用CXL 3.0远端内存共享消息负载与元数据来模拟RPC通信,从而绕过传统网络以降低微服务场景下的通信开销。
2024-04-09 cs.DC
MANTA: Machine Learning Augmented Tiering Advisor
University of Wisconsin – Madison(威斯康星大学麦迪逊分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技);ETH Zurich(苏黎世联邦理工学院)
针对内存分层中启发式策略滞后于热集变化的问题,提出MANTA,利用运行时访问特征预测页面有用性并集成轻量级学习模型到ARMS,在模拟CXL和Optane上实现最高5.6倍加速。
2026-10-02 cs.DC cs.OS
Snapshot: Fast, Userspace Crash Consistency for CXL and PM Using msync
提出 Snapshot,一种基于编译器注解的 FAMS 用户空间实现,通过在 DRAM 中保留数据副本并在调用 msync() 时同步更新,有效解决了传统 FAMS 的开销和写放大问题,在 CXL 和 PM 环境下显著提升了崩溃一致性性能。
2023-10-25 cs.DC cs.OS
TrEnv-X: Transparently Share Serverless Execution Environments Across Different Functions and Nodes
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
TrEnv-X通过整合无服务器平台与操作系统及CXL/RDMA远程内存池,实现跨函数的可重用沙箱和内存模板,降低创建开销并提升内存弹性,实验表明其在P99延迟和内存使用上均有显著提升。
2026-03-21 cs.DC cs.OS
Optimal Resilience in Systems that Mix Shared Memory and Message Passing
我们调查的最小数量的故障,可以分区的系统中,进程通过共享内存和消息传递进行通信。我们证明,这个数字准确地捕捉了实现各种共享对象(如寄存器和原子快照)并解决常见任务(如随机共识,近似一致和重命名)的算法所能实现的弹性。这对m&m-model和基于集群的混合模型都有影响。
2020-12-20 cs.DC
Atomic Read/Write Memory in Signature-free Byzantine Asynchronous Message-passing Systems
本文提出了一种无签名的分布式算法,它在一个$n$进程异步消息传递系统上建立一个原子读/写共享存储器,在该系统中,多达$t<n/3$进程可以提交Byzantine故障。从概念的角度来看,该算法被设计为尽可能接近Attiya,Bar-Noy和Dolev(JACM 1995)提出的算法,该算法在$n$进程异步消息传递系统中构建原子寄存器,其中多达$t<n/2$进程可能崩溃。所提出的算法特别简单。它不使用密码学来处理拜占庭进程,并且从$t$弹性的角度来看($t<n/3$)是最佳的。读操作需要$O(n)$消息,写操作需要$O(n^2)$消息。
2015-12-07 cs.DC
Streaming Message Interface: High-Performance Distributed Memory Programming on Reconfigurable Hardware
分布式存储器编程是在高性能计算(HPC)系统中使用的已建立的范例,其需要节点和设备之间的显式通信。当FPGA部署在分布式环境中时,通信通常通过主机进行处理,牺牲性能,或者通过固定的设备到设备连接进行流式传输,牺牲灵活性。我们提出了流消息接口(SMI),一个通信模型和API,统一了明确的消息传递与面向硬件的编程模型,促进最小的开销,灵活,高效的FPGA间通信。代替批量传输,消息在计算期间通过网络流式传输,允许通信无缝集成到流水线设计中。我们提出了一个高层次的综合实现SMI针对一个专用的FPGA互连,暴露运行时可配置的路由与支持任意网络拓扑结构,并实现了一组分布式内存基准。使用SMI,程序员可以在可重构硬件上实现分布式、可扩展的HPC程序,而不会偏离硬件设计的最佳实践。
2019-09-07 cs.DC
Shared Memory-Aware Latency-Sensitive Message Aggregation for Fine-Grained Communication
本研究针对HPC中细粒度通信,提出共享内存感知的消息聚合方案,以降低消息开销和延迟,并通过代理应用验证其有效性。
2024-11-05 cs.DC
Accelerating Irregular Computations with Hardware Transactional Memory and Active Messages
我们提出了原子主动消息(AAM),一种机制,加速不规则图形计算共享和分布式内存机器。AAM背后的关键思想是硬件事务存储器(HTM)可以用于在高度并行环境中简单有效地处理不规则结构。我们说明了技术,如粗化和合并,使硬件事务大大加快图形processing.We AAM英特尔Haswell和IBM蓝色基因/Q进行详细的性能分析,我们说明了不同的HTM参数,影响图形处理的效率之间的各种性能权衡。AAM可用于实现现有编程模型提供的抽象,并提高不规则图形处理代码(如Graph 500或Galois)的性能。
2020-10-29 cs.DC
Towards Disaggregation-Native Data Streaming between Devices
针对资源解耦数据中心中跨设备数据流需经 CPU 内存暂存的问题,本文提出为设备配备解耦原生、设备无关的数据流机制,实现任意设备间直接传输以降低处理延迟。
2024-03-28 cs.DC
Impossibility of Strongly-Linearizable Message-Passing Objects via Simulation by Single-Writer Registers
构造复杂分布式系统的一个关键方法是通过可线性化并发对象的模块化组合。一个突出的例子是共享寄存器,它在消息传递系统之上有容错实现,允许共享内存的优点延续到消息传递。然而,线性寄存器在随机程序中使用时并不总是正确的。加强线性化,称为强线性化,已被证明可以保持概率行为,以及其他超安全属性。为了利用消息传递系统中的组合和抽象,了解消息传递中是否存在强线性化的寄存器实现是至关重要的。本文回答了这个问题的否定:有没有强线性化的容错消息传递实现的多写寄存器,最大寄存器,快照或计数器。这一结果证明了从Helmi等人的相应结果减少。减少是BG模拟的一种新的扩展,连接共享内存和消息传递,支持长寿对象,并保持强线性化。主要的技术挑战来自于在模拟消息传递算法中容忍的潜在极小部分故障和可能影响模拟共享存储器系统的大部分故障之间的差异。这种减少是通用的,可以看作是消息传递中共享内存的ABD模拟的逆。
2021-08-27 cs.DC
Some Problems in Compact Message Passing
本文旨在解决的问题,设计分布式算法的设置紧凑的内存,即亚线性位的工作内存为任意连接的网络。我们网络中的节点可能具有比其可能邻居的数量低得多的内部存储器,这意味着节点可能无法存储其邻居的所有ID。这些算法对于诸如物联网之类的小型设备的大型网络、对于无线或自组织网络是有用的,并且通常作为存储器高效算法。我们介绍了紧凑的消息传递(CMP)模型,标准的消息传递模型的扩展,考虑在一个更细的粒度,节点可以交错的读取和写入与内部计算,使用一个端口只有一次在一轮。由于低存储器需求,需要交错来进行有意义的计算,并且交错类似于具有执行流算法的节点的分布式网络。请注意,内部内存大小限制了消息大小的上限,因此例如对于日志内存,该模型比Congest模型弱;对于此类模型,我们的算法也将直接工作。我们给出了具有log^2-记忆节点的CMP模型的早期结果。我们介绍了局部紧函数和紧协议的概念,并给出了一些经典的分布式问题(领导选举,树的建设和遍历)的解决方案。在此基础上,我们通过设计用于查找标记二叉树的特定子树的局部紧凑函数,解决了在自修复树中的紧凑路由消息(TCS 2017)中提出的紧凑自修复路由算法CompactFTZ的紧凑预处理的开放问题。因此,我们介绍了第一个完全紧凑的自愈路由算法。我们还给出了独立的完全紧凑版本的宽恕树[PODC 08]和Thorup-Zwick的基于树的紧凑路由[SPAA 01]。
2018-05-21 cs.DC
Tiga: Compiling Graph Message Passing at Scale
Tiga是一个即时编译器,通过多级中间表示和流式分区执行,在内存受限设备上高效编译图消息传递,减少运行时和内存使用,支持分布式执行。
2026-09-22 cs.DC
Vertex Coloring with Communication and Local Memory Constraints in Synchronous Broadcast Networks
顶点着色问题在基于同步轮的系统中受到了很多关注,在每个轮中,进程可以向所有邻居发送消息,并从每个邻居接收消息。因此,该通信模型特别适合于点对点通信信道。已经提出了几种适合于这些系统的顶点着色算法。它们的区别主要在于它们需要的轮数和它们使用的颜色数量。本文考虑了一个广播/接收通信模型,其中可能发生消息冲突和消息冲突(冲突发生时,在同一轮,消息发送到同一进程的太多的邻居;冲突发生时,一个进程和它的邻居之一在同一轮广播)。这种通信模型适用于进程共享通信带宽的系统。更确切地说,本文认为,在一轮的情况下,一个进程可以广播消息到它的邻居或接收消息,从最多$m$。这捕获了与通信相关的约束或本地存储器约束,该约束声明,无论进程的邻居的数量如何,其本地存储器允许其在每轮期间接收和存储最多$m$消息。本文首先定义了相应的一般顶点多色问题(一个顶点可以有几种颜色)。然后,它集中在树网络,它提出了一个下界的颜色$K$的数量是必要的(即,$K=\lceil\fracΔ{m}\rceil+1$,其中$Δ$是通信图的最大程度),和一个关联的着色算法,这是最佳的$K$。
2016-04-12 cs.DC
Performance Evaluation of Parallel Message Passing and Thread Programming Model on Multicore Architectures
共享内存系统上的多核架构的当前趋势强调了并行性的需求。虽然有一些编程模型来表示并行性,线程编程模型已经成为一个标准,以支持这些系统,如OpenMP,和POSIX线程。MPI(消息传递接口)仍然是当今高性能计算中使用的主要模型,它面临着这一挑战。以前的MPI版本MPI-1没有共享内存的概念,而当前的MPI版本2 MPI-2对共享内存系统的支持有限。在这项研究中,MPI的MPI-2版本将与OpenMP进行比较,看看MPI在多核/ SMP(对称多处理器)机器上的性能如何。将在多核共享内存机器架构上比较用于线程编程模型的OpenMP和用于消息传递编程模型的MPI,以查看谁在速度和吞吐量方面具有更好的性能。用于评估评估并行编程解决方案的可扩展性的应用程序是可定制矩阵维数的矩阵乘法。大量的大规模并行计算的研究都是使用NSA Parallel Benchmark(NPB)等大规模测试标准进行测试的[1]。本文的研究将在一个小规模的并行计算环境下进行,重点是利用自行开发的测试程序对MPI和OpenMPI并行编程模型进行性能评估。
2010-12-10 cs.DC
Local Mutual Exclusion for Dynamic, Anonymous, Bounded Memory Message Passing Systems
Arizona State University(亚利桑那州立大学);Paderborn University(帕德博恩大学)
针对动态匿名消息传递系统,提出一种局部互斥算法,保证互斥和无锁自由,每节点内存O(Δ),消息大小Θ(1)。
2022-02-24 cs.DC
Scaling atomic ordering in shared memory
本文提出TRAM,一种基于覆盖树架构的共享内存原子多播协议,相比现有共享内存协议吞吐量提升3倍以上、延迟降低2.3倍以上,并大幅优于消息传递协议。
2025-09-09 cs.DC
Efficient Processing of Very Large Graphs in a Small Cluster
受Google的Pregel成功的启发,最近开发了许多用于大图迭代计算的系统。这些系统提供了一个用户友好的顶点为中心的编程接口,其中程序员只需要指定一个通用顶点的行为时,开发一个并行图形算法。然而,大多数现有的系统要求输入图驻留在集群中的机器的存储器中,并且少数核外系统遭受诸如稀疏计算工作量的效率差、对网络带宽的高要求以及由外部存储器连接和分组引起的昂贵成本等问题。在本文中,我们介绍了GraphD系统的用户处理非常大的图形与普通的计算资源。GraphD通过在本地磁盘上流式传输边缘和消息,同时并行传输消息,将计算与通信完全重叠。对于消息合并器适用的Pregel算法,GraphD消除了任何昂贵的外部内存连接或group-by的需要。这些关键技术使GraphD能够实现与内存中Pregel类似系统相当的性能,而无需在内存中保留边缘和消息。我们证明了使用GraphD用n台机器处理图G=(V,E),每台机器只需要O(|V| /n)的内存空间,允许GraphD扩展到非常大的图与一个小的集群。大量的实验表明,GraphD以数量级击败了现有的核外系统,并实现了与运行足够内存的内存系统相当的性能。
2016-01-21 cs.DC
A Loosely Self-stabilizing Protocol for Randomized Congestion Control with Logarithmic Memory
我们考虑在对等分布式系统中的拥塞控制。这个问题可以简化为以下场景:考虑一组$V$的$n$对等体(本文中称为客户端),它们希望向一个固定的公共对等体(本文中称为服务器)发送消息。我们假设每个客户端$v \in V$以概率$p(v) \in [0,1)$发送消息,并且服务器具有$σ\in \mathbb{N}$的容量,即,它每轮最多可以接收$σ$消息,并且丢弃多余的消息。当客户端发送消息时,服务器可以修改这些概率。理想情况下,我们希望收敛到所有$v,w \in V$都具有$\sum p(v) = σ$和$p(v) = p(w)$的状态。我们提出了一个松散的自我稳定协议,稍微放松legimate状态。我们的协议可以让系统从任何初始状态收敛到一个状态,其中$\sum p(v) \in \left[σ\pm ε\right]$和$|p(v)-p(w)| \in O(\frac{1}{n})$。然后,在预期中为$Ω(n^{\mathfrak{c}})$轮次维护此属性。特别地,初始客户端概率和服务器变量不一定是明确定义的,即,它们可以具有任意值。我们的协议只使用$O(W + \log n)$位的内存,其中$W$是节点标识符的长度,使其非常轻量级。最后,我们指出一个下界的收敛时间,看到我们的协议执行渐近最优(一些多对数因子)。
2019-09-11 cs.DC
Faabric: Fine-Grained Distribution of Scientific Workloads in the Cloud
由于其高度并行性和资源需求,许多科学应用程序都受益于云部署。如今,科学应用程序在专用的虚拟机池上执行,导致资源碎片化:用户为未充分利用的资源付费,而提供商无法在应用程序之间重新分配未使用的资源。虽然无服务器云计算可以解决这些问题,但其编程模型与科学应用程序中共享内存和消息传递的使用不兼容:无服务器函数在动态调度函数时不直接在同一VM上共享内存或支持消息传递语义。我们描述了Faabric,一个新的无服务器云运行时,透明地分发应用程序与共享内存和消息传递跨虚拟机。Faabric通过一种称为Granules的新执行抽象,以细粒度(线程/进程)的方式调度计算来实现这一点。为了支持共享内存,Granules使用WebAssembly隔离,但直接共享内存;为了支持消息传递,Granules提供异步点对点通信。Faabric调度Granules以满足应用程序的并行性需求。它还将更改同步到Granule的共享内存,并迁移Granule以提高局部性。
2023-02-22 cs.DC cs.OS
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索(BFS)算法,通信开销往往比运算开销大得多,限制了算法的可扩展性。在本文中,我们充分降低分布式BFS的通信成本,通过压缩和筛选的消息。首先,我们利用位图压缩算法,以减少通信之前的消息的大小。其次,我们提出了一种新的分布式目录算法,交叉目录,以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明,该算法的性能是Graph 500中基准实现的2.2倍,通信时间减少了79.0%,性能速率达到了12.1 GTEPS(每秒十亿次边缘访问)。
2012-08-28 cs.DC cs.DS
A Coded Shared Atomic Memory Algorithm for Message Passing Architectures
本文考虑了分布式消息传递系统中模拟原子(可线性化)多写多读共享内存的通信和存储开销。本文的主要贡献有三个:(1)提出了一种原子共享存储仿真算法,我们称之为编码原子存储(CAS)。该算法使用纠删编码方法。在存储系统中的$N$服务器是弹性的$f$服务器故障,我们表明,CAS的通信成本是$\frac{N}{N-2f}$。CAS的存储成本是无限的。(2)我们提出了一个修改的CAS算法称为CAS与垃圾回收(CASGC)。CASGC算法由整数$δ$参数化,并且具有有限的存储成本。我们表明,在每一个执行的写操作是并发的读操作的数量不大于$δ$,参数$δ$的CASGC算法满足原子性和活性。我们明确地描述了CASGC的存储成本,并表明它具有相同的通信成本CAS。(3)我们描述了一种算法称为通信成本最优原子存储(CCOAS)算法,实现了比CAS和CASGC更小的通信成本。具体地,CCOAS引起$\frac{N}{N-f}$的读写通信成本,该成本是根据对象值的数量来测量的。并讨论了CCOAS与CAS和CASGC相比的不足之处。
2014-07-15 cs.DC cs.IT math.IT