Client-side transparent caching for remote ROOT data analysis
Massachusetts Institute of Technology(麻省理工学院);CERN(欧洲核子研究组织)
针对高能物理远程ROOT数据分析的网络延迟问题,提出透明客户端缓存uCache,经基准测试可显著提升后续分析速度,1TB缓存可满足10-20TB数据集需求。
2026-09-02 cs.DC hep-ex
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
Multiverse Computing
该研究针对长上下文LLM服务中远程KV层过慢导致的性能问题,提出分片MLA KV存储、划分远程层等四项优化,使预填充吞吐量提升34%,相关变更已提交至LMCache上游。
2026-10-16 cs.DC cs.LG
Storm: a fast transactional dataplane for remote data structures
RDMA是一项令人兴奋的技术,它使主机能够访问远程主机的内存,而无需涉及远程CPU。先前的工作展示了如何使用RDMA来提高分布式内存存储系统的性能。然而,由于需要在有限的NIC缓存中缓存的活动协议状态的数量,RDMA被广泛认为具有可伸缩性问题。这些问题导致了几个基于软件的建议,以提高可扩展性的权衡性能。在这项工作中,我们根据较新的RDMA硬件重新审视这些权衡,并提出了扩展RDMA的新准则。我们表明,使用单侧远程内存原语导致更高的性能相比,发送/接收和基于内核的系统在机架规模的环境。基于这些见解,我们设计并实现了Storm,一个事务数据平面,使用单侧读写的RPC原语。我们发现,在使用Mellanox ConnectX-4的Infinband EDR集群上,Storm的性能分别比eRPC、FaRM和LITE高出3.3倍、3.6倍和17.1倍。
2019-02-06 cs.DC
Cortex: Achieving Low-Latency, Cost-Efficient Remote Data Access For LLM via Semantic-Aware Knowledge Caching
National University of Singapore(新加坡国立大学);USTC(中国科学技术大学);University of Toronto(多伦多大学);Sea AI Lab(Sea AI 实验室)
Cortex通过语义感知的知识缓存架构,实现LLM代理在远程数据访问中的低延迟和低成本,提升吞吐量和准确性。
2026-02-03 cs.DC
From RDMA to RDCA: Toward High-Speed Last Mile of Data Center Networks Using Remote Direct Cache Access
本文通过系统的测量研究表明,现代分布式应用的高内存带宽消耗会导致高速RDMA网络中网络吞吐量的显著下降和尾部延迟的大幅增加,其根本原因是应用进程和网络进程之间的高内存带宽竞争。这种争用导致接收主机的NIC处频繁的数据包丢弃,这触发了网络的拥塞控制机制,并最终导致网络性能下降。为了解决这个问题,我们进行了一个关键的观察,即给定分布式存储服务,它从网络接收的绝大多数数据最终将被写入高速存储介质(例如,SSD)的CPU。因此,我们建议在处理接收到的数据时绕过主机内存,以完全规避此性能瓶颈。特别是,我们设计了Lamda,一种新型的接收器缓存处理系统,消耗少量的CPU缓存来处理从网络中接收到的数据线速率。我们实现了一个原型的Lamda和评估其性能广泛的Clos为基础的测试平台。实验结果表明,在分布式存储应用中,Lamda在存储节点内存带宽消耗为零的情况下,网络吞吐量提高了4.7%,在内存带宽压力下,大数据块和小数据块的网络吞吐量分别提高了17%和45%。Lamda还可以应用于延迟敏感的HPC应用程序,将其通信延迟降低35.1%。
2023-03-25 cs.DC cs.NI
DRackSim: Simulator for Rack-scale Memory Disaggregation
本研究提出机架级硬件解聚内存仿真基础设施DRackSim,通过应用级与队列仿真等方法建模完整系统,集成DRAMSim2并与Gem5增量验证,测试不同配置下HPC工作负载的性能影响。
2023-09-19 cs.DC
DiFache: Efficient and Scalable Caching on Disaggregated Memory using Decentralized Coherence
DiFache通过去中心化一致性消除集中式缓存管理,实现解耦内存的高效可扩展缓存,在真实轨迹上最高提升10.83倍性能。
2025-05-23 cs.DC
Asynchronous Distributed-Memory Triangle Counting and LCC with RMA Caching
三角形数和局部聚类系数是图分析的两个核心度量。它们在诸如社区发现和链接推荐等分析中得到了广泛的应用。当前最先进的解决方案遭受同步开销或分发图所需的昂贵的预计算,从而实现有限的缩放能力。我们提出了一个完全异步实现的三角形计数和局部聚类系数的基础上一维分区,使用远程存储器访问传输数据,避免同步。此外,我们展示了这些算法如何在远程存储器访问上呈现数据重用,以及如何通过缓存这些访问来提高整体通信时间。最后,我们扩展了CLaMPI,MPI RMA的软件层缓存系统,包括应用程序特定的分数缓存条目和影响驱逐过程,以提高缓存效率。我们的研究结果表明,共享内存的改进,我们实现了14倍的加速从4到64个节点的LiveJournal1图上的分布式内存。此外,我们演示了如何缓存远程访问减少了高达73%的总运行时间相对于非缓存版本。最后,我们将我们的实现与2020年图形冠军论文TriC进行了比较,并在无标度图上实现了高达100倍的速度。
2022-03-01 cs.DC
A Complexity Separation Between the Cache-Coherent and Distributed Shared Memory Models
我们考虑异步多处理器系统中的进程通过访问共享内存进行通信。在这样的多处理器中的进程之间的信息交换需要称为\emph{remote memory references}(RMR)的昂贵的存储器访问,其在连接处理器和主存储器的互连上生成通信。在本文中,我们比较了两种流行的共享内存架构模型,即\emph{cache-coherent}(CC)和\emph{distributed shared memory}(DSM)模型,在他们的权力有效地解决同步问题的RMR。我们考虑的特定问题需要一个进程向其他进程的子集发送“信号”。我们表明,这个问题的一个变种可以非常有效地解决相对于RMR的CC模型,但不是这样的DSM模型,即使我们考虑摊销RMR的复杂性。据我们所知,这是CC和DSM模型之间在摊销RMR复杂性方面的第一次分离。它也是第一个在RMR复杂性方面的分离(对于异步系统),它不以任何方式依赖于等待自由-一个过程在有限数量的自己的步骤中取得进展的要求。
2011-09-23 cs.DC
SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL
Peking University(北京大学);Alibaba Cloud(阿里云);Renmin University of China(中国人民大学)
针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈,提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC,相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。
2026-06-19 cs.DC
Tessera: Demand-Driven KV Cache Management for Retrieval-Augmented LLM Serving
University of California, Santa Cruz(加州大学圣克鲁兹分校)
Tessera通过将检索作为控制平面,实现需求驱动的KV缓存管理,解决RAG和智能体记忆中重复内容的KV重用问题,显著降低TTFT并保持答案质量。
2026-09-29 cs.DC
Canvas: Isolated and Adaptive Swapping for Multi-Applications on Remote Memory
用于数据中心应用的远程存储器技术最近已经获得了很大的普及。现有的远程存储器技术仅关注单个应用设置的效率。但是,当多个应用程序在远程内存系统上共同运行时,可能会发生严重的干扰,导致意外的速度下降,即使向每个应用程序授予相同数量的物理资源。这种放缓源于应用程序交换数据路径的大量共享。Canvas是一个重新设计的交换系统,它完全隔离了远程内存应用程序的交换路径。Canvas允许每个应用程序拥有其专用的交换分区、交换缓存、预取器和RDMA带宽。交换隔离为基于每个应用程序自己的访问模式和需求的自适应优化技术奠定了基础。我们开发了三种这样的技术:(1)自适应交换条目分配,(2)语义感知预取,和(3)二维RDMA调度。对一组广泛部署的应用程序的全面评估表明,Canvas最大限度地减少了性能变化,并大大降低了性能下降。
2022-10-12 cs.DC cs.NI cs.OS
Effectively Prefetching Remote Memory with Leap
通过远程内存访问取代磁盘交换,RDMA上的内存分解可以提高内存受限应用程序的性能。然而,最先进的内存分解解决方案仍然使用为慢速磁盘设计的数据路径组件。因此,应用程序经历的远程存储器访问延迟显著高于底层低延迟网络的延迟,后者本身对于许多应用程序来说太高。在本文中,我们提出了飞跃,由于内存解聚的远程内存访问的预取解决方案。在其核心,Leap采用了一种在线的、基于多数的预取算法,这提高了页面缓存的命中率。我们在内核中提供了一个轻量级和高效的数据路径,将每个应用程序的数据路径隔离到分散的内存中,并减轻了传统吞吐量优化操作所带来的延迟瓶颈。在Linux内核中集成Leap将内存受限应用程序的中间和尾部远程页面访问延迟分别提高了104.04倍和22.62倍,与默认数据路径相比。与最先进的解决方案相比,这使得使用分散内存的应用程序的性能提高了10.16倍。
2019-11-22 cs.DC cs.OS
Efficient Orchestration of Host and Remote Shared Memory for Memory Intensive Workloads
由于很少的贡献,一个统一的内存编排框架,有效地管理主机和远程空闲内存的发展,我们提出代客,一个有效的方法来编排主机和远程共享内存,以提高内存密集型工作负载的性能。本文有三个原创性的贡献。首先,我们重新设计的关键路线中的数据流,通过引入一个主机协调的内存池,作为本地缓存,以减少主机和远程内存编排的关键路线中的延迟。其次,Valet通过Valet主机协调内存池管理本地内存,跨容器利用未使用的本地内存,这允许容器根据工作负载需求动态扩展和收缩其内存分配。第三,Valet基于两个优化在远程对等体上提供了有效的远程存储器回收技术:(1)基于活动的牺牲者选择方案,以允许选择最不活跃的数据块来服务驱逐请求,以及(2)迁移协议,以将最不活跃的数据块移动到存储器压力较小的远程节点。因此,Valet可以有效地降低本地节点上的性能影响和迁移开销。我们在NoSQL系统和机器学习(ML)工作负载上的广泛实验表明,Valet优于现有的代表性远程分页系统,与传统的操作系统交换设施相比,大数据和ML工作负载的吞吐量提高了226倍,延迟降低了98%,与最先进的远程分页系统相比,吞吐量提高了5.5倍,延迟降低了78.4%。Valet在https://github.com/git-disl/Valet上开源。
2020-08-28 cs.DC
FlexKV: Flexible Index Offloading for Memory-Disaggregated Key-Value Store
The Chinese University of Hong Kong(香港中文大学);Duke Kunshan University(杜克昆山大学)
FlexKV通过动态卸载索引到计算节点,利用强大CPU提升性能,解决内存解耦键值存储中的索引处理和缓存效率问题。
2025-12-18 cs.DC
DAK: Direct-Access-Enabled GPU Memory Offloading with Optimal Efficiency for LLM Inference
Cornell University(康奈尔大学)
本文提出DAK框架,通过直接访问远程内存优化GPU内存卸载,提升系统带宽效率,实验显示在NVLink-C2C和PCIe系统中性能提升达3倍和1.8倍。
2026-04-28 cs.DC
OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching
Imperial College London(帝国理工学院);KAIST(韩国科学技术院);Microsoft Research(微软研究院);University of Edinburgh(爱丁堡大学)
针对LLM推理中HBM容量受限问题,提出以内存为中心的OasisKV系统,通过前瞻稀疏预取技术解耦KV缓存存储与HBM,在精度损失极小的情况下显著提升推理吞吐量并降低内存占用。
2026-08-11 cs.DC
Memtrade: A Disaggregated-Memory Marketplace for Public Clouds
我们介绍Memtrade,第一个公共云的内存分解系统。公共云为跨不同租户的资源分解带来了一系列独特的挑战,包括安全性、隔离和定价。Memtrade允许生产者虚拟机(VM)在有限的时间内将其未分配的内存和已分配但空闲的应用程序内存出租给远程消费者VM。Memtrade不需要对主机级系统软件进行任何修改,也不需要云提供商的支持。它使用应用程序感知控制循环来收获生产者内存,以形成具有最小性能影响的分布式瞬态远程内存池;它采用代理来匹配生产者与消费者,同时满足性能约束;并且它将匹配的内存作为安全的键值缓存公开给消费者。我们使用真实集群跟踪的评估表明,Memtrade为消费者提供了显着的性能优势(将平均读取延迟提高到2.8倍),同时保持机密性和完整性,对生产者应用程序的影响很小(性能降低不到2.1%)。
2021-08-16 cs.DC
Hash Table Design for RDMA:Challenges and Opportunities
Nanjing University(南京大学)
本文综述了在RDMA远程内存上部署哈希表面临的网络开销、并发控制和资源限制三大挑战,并总结了现有优化策略与未来方向。
2026-07-15 cs.DC
MemExchange: Utility-Driven Distributed Memory Reallocation for Multi-Tenant Datacenters
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Microsoft(微软)
研究云环境下内存管理问题,提出MemExchange系统,利用基于在线未命中率曲线估计的边际效用分配,通过RDMA重新分配空闲内存,设计MTC协议支持远程访问,经实验验证其能降低远程访问开销、提高内存利用率并降低租户未命中率。
2026-07-15 cs.DC
NUMAscope: Capturing and Visualizing Hardware Metrics on Large ccNUMA Systems
高速缓存一致性非统一存储器访问(ccNUMA)系统使并行应用程序能够扩展到数千个核心和许多TB的主存储器。然而,由于远程访问的成本增加,因此需要采取额外的措施来将应用程序扩展到高核心数,并处理比典型服务器所能容纳的数据量大得多的数据。与优化应用程序以提高缓存利用率的方式类似,还需要优化应用程序以提高ccNUMA系统上的数据局部性,从而有效地使用更大的拓扑。优化应用程序的第一步是了解是什么减慢了它的速度。因此,分析工具或手动检测是实现这一目标所必需的。然而,当在大型ccNUMA系统上优化应用程序时,捕获和呈现可操作遥测的机制有限。这部分是由于这种互连的专有性质,但也由于缺乏开发人员或供应商可以利用的通用和可访问(阅读开源)框架的开发。在本文中,我们提出了一个开源的,可扩展的框架,捕获高速率的片上事件与低开销(<10%的单核利用率)。所提出的框架可以在实时或记录模式下操作,从而允许实时监控或捕获以用于稍后的工作负载后或离线分析。高分辨率可视化可通过基于标准的(Web)交互式图形界面或方便的文本界面进行快速分析。
2021-11-23 cs.DC
HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
HyperOffload通过图驱动的编译器方法优化超节点架构上的LLM内存管理,减少峰值内存使用并提升计算效率。
2026-02-03 cs.AI cs.AR cs.DC