FlexKV: Flexible Index Offloading for Memory-Disaggregated Key-Value Store
The Chinese University of Hong Kong（香港中文大学）；Duke Kunshan University（杜克昆山大学）
FlexKV通过动态卸载索引到计算节点，利用强大CPU提升性能，解决内存解耦键值存储中的索引处理和缓存效率问题。
2025-12-18 cs.DC
Clio: A Hardware-Software Co-Designed Disaggregated Memory System
内存分解由于其在有效利用内存和易于管理等方面的优势，近年来引起了人们的广泛关注。到目前为止，内存分解研究都采用了两种方法之一：使用常规服务器构建/模拟内存节点，或者使用没有处理能力的原始内存设备构建它们。前者会带来更高的货币成本，并面临尾部延迟和可扩展性限制，而后者会带来性能，安全性和管理问题。基于服务器的内存节点和没有处理能力的内存节点是两种极端的方法。我们通过提出一种基于硬件的内存分解解决方案来寻求中间的最佳点，该解决方案在内存节点处具有适当的处理能力。此外，我们采取了一种全新的方法，从内存解聚的需求出发，设计了一个内存解聚本机系统。我们构建了Clio，这是一个分散的内存系统，可以在基于硬件的内存节点上虚拟化，保护和管理分散的内存。Clio硬件包括一个新的虚拟内存系统、一个定制的网络系统和一个计算卸载框架。在构建Clio的过程中，我们不仅共同设计了操作系统功能、硬件架构和网络系统，还共同设计了计算节点和内存节点。我们的Clio FPGA原型表明，每个内存节点可以实现100 Gbps的吞吐量和端到端的延迟为2.5 us（中位数）和3.2 us（第99百分位数）。Clio的扩展性也更好，并且尾部延迟比RDMA低几个数量级。与基于CPU和基于SmartNIC的分散式存储器系统相比，它的能耗节省了1.1倍至3.4倍，并且比基于软件的SmartNIC解决方案快2.7倍。
2022-01-20 cs.DC
Disaggregated Memory with SmartNIC Offloading: a Case Study on Graph Processing
本文提出SODA架构，将解聚内存管理任务卸载到路径外可编程SmartNIC（Nvidia BlueField DPU），通过优化通信路径、流水线数据移动及缓存预取，在图处理应用中相比本地SSD最高加速7.9倍，并减少42%网络流量。
2024-10-03 cs.DC
MemServe: Context Caching for Disaggregated LLM Serving with Elastic Memory Pool
MemServe 是一个统一系统，通过弹性内存池 MemPool 管理分布式内存和 KV 缓存，首次将上下文缓存与分离式推理结合，并利用全局调度器提升缓存重用，显著改善作业完成时间和首字时间。
2024-12-21 cs.DC
emucxl: an emulation framework for CXL-based disaggregated memory applications
针对CXL设备未商用、缺乏标准仿真平台的问题，本研究提出用户空间库emucxl，搭配基于NUMA的CXL仿真后端，提供标准化API与抽象层，支持内存解聚应用开发测试。
2024-04-12 cs.DC
uBFT: Microsecond-scale BFT using Disaggregated Memory [Extended Version]
VMware Research（VMware研究）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
uBFT通过解耦内存实现微秒级BFT，显著提升状态机复制系统的性能和容错能力。
2026-02-13 cs.DC
Survey of Disaggregated Memory: Cross-layer Technique Insights for Next-Generation Datacenters
本文综述分离内存技术，从硬件、架构、系统和应用层面分析其设计挑战与解决方案，并探讨未来发展方向，以支持下一代弹性高效数据中心。
2025-03-27 cs.AR cs.DC
Optimising Virtual Resource Mapping in Multi-Level NUMA Disaggregated Systems
本文针对多级 NUMA 解耦系统中资源访问延迟不均的问题，提出一种基于虚拟核心绑定和内存迁移的 NUMA 感知映射算法，并在 288 核、约 1TB 内存的系统上验证其相比默认 Linux 调度器能显著提升应用性能。
2025-01-02 cs.DC
Proceedings of 3rd Workshop on Heterogeneous Composable and Disaggregated Systems
本文介绍第三届HCDS研讨会，聚焦异构可组合分解系统如何通过资源池化与动态组合减少资源供需失衡，并探索其与操作系统及运行时集成以提升工作负载收益。
2024-04-22 cs.DC
Memtrade: A Disaggregated-Memory Marketplace for Public Clouds
我们介绍Memtrade，第一个公共云的内存分解系统。公共云为跨不同租户的资源分解带来了一系列独特的挑战，包括安全性、隔离和定价。Memtrade允许生产者虚拟机（VM）在有限的时间内将其未分配的内存和已分配但空闲的应用程序内存出租给远程消费者VM。Memtrade不需要对主机级系统软件进行任何修改，也不需要云提供商的支持。它使用应用程序感知控制循环来收获生产者内存，以形成具有最小性能影响的分布式瞬态远程内存池;它采用代理来匹配生产者与消费者，同时满足性能约束;并且它将匹配的内存作为安全的键值缓存公开给消费者。我们使用真实集群跟踪的评估表明，Memtrade为消费者提供了显着的性能优势（将平均读取延迟提高到2.8倍），同时保持机密性和完整性，对生产者应用程序的影响很小（性能降低不到2.1%）。
2021-08-16 cs.DC
Diluting the Scalability Boundaries: Exploring the Use of Disaggregated Architectures for High-Level Network Data Analysis
传统的数据中心设计有一个严格的服务器架构，这些服务器提供超出平均工作负载的资源，以处理偶尔出现的数据高峰。异构数据中心正朝着具有更好资源配置的更具成本效益的架构发展。在本文中，我们研究了密集型数据应用程序使用分散架构的可行性，与面向服务器的架构的单片方法。特别是，我们已经测试了一个主动网络分析系统，其中的工作负载需求是高度可变的。在dReDBox分解架构的上下文中，结果显示使用远程内存资源引起的开销很大，在66\%和80\%之间，但我们也观察到，对于压力情况，内存使用量比平均工作负载高一个数量级。因此，在常规系统中针对最坏情况确定存储器的尺寸将导致显著的资源浪费。最后，我们发现，对于选定的用例，并行性受到内存的限制。因此，使用分散式架构将允许增加并行性，这同时将减轻由远程存储器引起的开销。
2017-09-18 cs.DC
Design and Evaluation of a Rack-Scale Disaggregated Memory Architecture For Data Centers
本文探索机架级分解内存架构，设计轨迹驱动模拟器评估性能，发现互连与远程内存队列争用均增加延迟，提出新内存分配策略降低延迟，实验验证了其可行性与可接受的平均访问延迟。
2023-04-08 cs.AR cs.DC
DiFache: Efficient and Scalable Caching on Disaggregated Memory using Decentralized Coherence
DiFache通过去中心化一致性消除集中式缓存管理，实现解耦内存的高效可扩展缓存，在真实轨迹上最高提升10.83倍性能。
2025-05-23 cs.DC
CIDER: Boosting Memory-Disaggregated Key-Value Stores with Pessimistic Synchronization
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室）；Duke Kunshan University（杜克昆山大学）
本文提出CIDER框架，通过悲观同步减少内存解耦键值存储的I/O冗余，提升吞吐量达6.6倍。
2026-04-03 cs.DB cs.DC
DecLock: A Case of Decoupled Locking for Disaggregated Memory
DecLock通过去中心化协调与集中式状态维护分离锁机制，解决内存解耦中NIC争用导致的性能瓶颈，显著提升吞吐量并降低延迟。
2025-05-23 cs.DC
CXL Memory as Persistent Memory for Disaggregated HPC: A Practical Approach
本文通过基于Intel FPGA CXL IP的多NUMA硬件原型及STREAM、STREAM-PMem评测，验证CXL内存在分解式HPC中充当持久内存的可行性与编程迁移便利性。
2023-08-21 cs.DC
Memory-Disaggregated In-Memory Object Store Framework for Big Data Applications
最近，记忆分解的概念在研究中越来越受到关注。通过存储器分解，数据中心计算节点可以直接访问相邻节点上的存储器，因此能够克服本地存储器限制，从而为分布式计算引入新的数据管理范例。本文提出并演示了一个内存分解内存对象存储框架的大数据应用程序，利用新引入的ThymesisFlow内存分解系统。该框架将现有Apache Arrow Plasma对象存储框架的功能扩展到分布式系统，使客户端能够轻松高效地跨多个计算节点生成和使用数据对象。这使得大数据应用程序能够以更低的开发成本越来越多地利用并行处理。此外，本文还包括延迟和吞吐量测量，这些测量表明，与本地相比，远程分散内存访问只会带来适度的性能损失（约6.5 vs约5.75 GiB/s）。研究结果可用于指导未来系统的设计，利用内存分解以及新提出的框架。这项工作是开源的，可在https://doi.org/10.5281/zenodo.6368998上公开访问。
2022-04-27 cs.AR cs.DC
Ditto: An Elastic and Adaptive Memory-Disaggregated Caching System
Ditto 是首个面向内存分离架构的缓存系统，通过客户端为中心的缓存框架和分布式自适应缓存方案，在弹性资源变化下实时选择最优缓存算法，显著提升缓存命中率，性能最高达到现有系统的 9 倍。
2023-09-19 cs.DC
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
Virginia Tech（弗吉尼亚理工大学）；SK Hynix America（SK海力士美国）；SK Hynix（SK海力士）
TraCT通过利用CXL共享内存实现解耦LLM服务，显著降低TTFT、P99延迟并提升吞吐量。
2025-12-20 cs.DC
Disaggregated and optically interconnected memory: when will it be cost effective?
已经针对服务器中心提出了"分解服务器"概念，其中相同类型的服务器资源被聚合在它们各自的池中，例如计算池、内存池、网络池和存储池。通过根据工作负载的需求从这些池中分配适量的资源，动态地构建每个服务器。模块化、更高的封装和冷却效率以及更高的资源利用率都是建议的好处。随着超大型数据中心的出现，包含数万台服务器的“云”，数据中心效率已成为一个重要的话题。很少有计算机芯片和系统供应商正在研究硅光子学和分解存储器系统，并经常发布公告。在本文中，我们研究的成本和性能之间的权衡，建立一个分散的内存系统，在数据中心的DRAM模块被池化，例如在内存的机箱和机架。计算池和存储器池通过光学互连来互连，以克服电气结构的距离和带宽问题。我们构建了一个简单的成本模型，其中包括延迟成本，带宽成本和预期从一个分散的内存系统的节省。然后，我们确定了一个分散的存储器系统成为成本竞争力与传统的直接连接的存储器系统的水平。我们的分析表明，一个机架规模的分散存储器系统将有一个不平凡的性能损失，并在数据中心规模的惩罚是不切实际的高，和光学互连成本至少是一个因素的10更昂贵的地方，他们应该相比，传统的直接连接的存储器系统。
2015-03-03 cs.AR cs.DC cs.PF
DINOMO: An Elastic, Scalable, High-Performance Key-Value Store for Disaggregated Persistent Memory (Extended Version)
我们提出了Dinomo，一种新的键值存储的分散持久内存（DINO）。Dinomo是第一个同时实现高通用情况性能、可伸缩性和轻量级在线重新配置的KVMs键值存储。我们观察到，以前提出的键值存储的架构限制，防止他们同时实现所有三个目标。Dinomo使用了一种新颖的技术组合来实现这些目标，例如所有权分区，分散的自适应缓存，选择性复制以及无锁和无日志索引。与最先进的密钥值存储相比，Dinomo在各种工作负载上的吞吐量至少提高了3.8倍，具有更高的可扩展性，同时提供快速的重新配置。
2022-09-19 cs.DB cs.DC
DEX: Scalable Range Indexing on Disaggregated Memory [Extended Version]
针对内存分解环境，提出可扩展B+-树DEX，通过逻辑分区、轻量级缓存和成本感知卸载减少远程访问，性能超越现有方法1.7-56.3倍。
2024-05-23 cs.DB cs.DC
A Quantitative Approach for Adopting Disaggregated Memory in HPC Systems
本文提出一种三层次定量方法剖析 HPC 应用对内存系统的需求，并通过仿真评估揭示预取与干扰的影响，最终在 BFS 和作业调度中实现远程访问减少 50% 与 13% 加速。
2023-08-28 cs.DC
SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL
Peking University（北京大学）；Alibaba Cloud（阿里云）；Renmin University of China（中国人民大学）
针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈，提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC，相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。
2026-06-19 cs.DC
ITME: Inference Tiered Memory Expansion with Disaggregated CXL-Hybrid Memories
SK hynix（SK海力士）
针对大语言模型推理中TB级上下文状态的内存瓶颈，提出ITME架构，利用CXL混合内存实现字节可寻址的远程内存扩展，通过确定性访问模式优化数据移动，提升吞吐量达35.7%。
2026-06-17 cs.DC
Cache Coherence Over Disaggregated Memory
Purdue University（普渡大学）
本文提出SELCC协议，通过共享-独占锁机制实现高效的缓存一致性，适用于解耦内存环境，实验显示其在有限计算能力下性能优越。
2025-02-23 cs.DB cs.DC cs.ET
Lotus: Optimizing Disaggregated Transactions with Disaggregated Locks
The Chinese University of Hong Kong（香港中文大学）；Huawei（华为）
Lotus通过解耦锁优化分布式事务，提升事务吞吐量和降低延迟。
2025-12-18 cs.DC
Transparent Serverless execution of Python multiprocessing applications
访问透明性意味着使用相同的操作访问本地和远程资源。通过透明性，未经修改的单机应用程序可以在分散的计算，存储和内存资源上运行。通过透明性隐藏分布式系统的复杂性将带来巨大的好处，例如在云中灵活的分散资源上扩展本地并行科学应用程序。本文提出了一个性能评估，我们评估的可行性，访问透明度超过国家的最先进的云分解资源的Python多处理应用程序。我们已经将多处理模块与一个实现接口，该实现透明地在无服务器函数上运行进程，并将内存中的数据存储用于共享状态。为了评估透明度，我们在云中运行了四个未经修改的应用程序：Uber Research的演化策略，Baselines-AI的近端策略优化，Pandaral.lel的Arrame和ScikitLearn的Hyperparameter tuning。我们比较了使用我们的库在分散的资源上运行的相同应用程序的执行时间和可扩展性，以及大型VM中的单机Python多处理库。对于相同的资源，尽管远程通信的开销很大，但有效地使用消息传递抽象的应用程序可以获得类似的结果。其他共享内存密集型应用程序由于高远程内存延迟而无法执行。结果表明，Python的多处理库设计是实现透明性的一个推动因素：使用高效的分解抽象的遗留应用程序可以透明地扩展到VM有限的资源之外，以提高并行性，而无需更改底层代码或架构。
2022-11-22 cs.DC
Sherman: A Write-Optimized Distributed B+Tree Index on Disaggregated Memory
内存解聚体系结构将CPU和内存物理分离为独立的组件，通过高速RDMA网络连接，大大提高了数据库的资源利用率。然而，这样的体系结构对数据库中的数据索引提出了独特的挑战，这是由于有限的RDMA语义和存储器侧接近零的计算能力。现有的索引支持分散的内存，要么遭受低写性能，或需要硬件修改。本文介绍了谢尔曼，写优化的分布式B+树索引的分散内存，提供高性能的商品RDMA存储器。Sherman结合了RDMA硬件功能和对RDMA友好的软件技术，从三个角度提高了索引写入性能。首先，为了减少往返，Sherman通过利用RDMA的按顺序传递属性来合并依赖的RDMA命令。第二，为了加速并发访问，Sherman引入了一种分层锁，利用了RDMA的片上存储器。最后，为了减轻写入放大，Sherman使用两级版本机制来定制B + Tree的数据结构布局。我们的评估表明，谢尔曼是一个数量级更快的吞吐量和第99百分位延迟典型的写密集型工作负载，与最先进的设计相比。
2021-12-19 cs.DB cs.DC cs.NI
Analyzing a Two-Tier Disaggregated Memory Protection Scheme Based on Memory Replication
针对内存复制与纠错码结合易产生冗余开销的问题，提出RAMP模型以优化两层解耦内存保护策略，实验显示其可将保护存储成本从27%降至17.7%，且性能开销极小。
2025-02-24 cs.AR cs.DC
A Programming Model for Disaggregated Memory over CXL
Technion（以色列理工学院）；ETH Zürich（苏黎世联邦理工学院）；Tel Aviv University（特拉维夫大学）
本文提出CXL0，首个面向CXL的并发编程模型，通过高层次抽象和形式化语义，支持分布式部分崩溃环境下的持久化并发算法。
2026-01-24 cs.DC cs.ET
DisagFusion: Asynchronous Pipeline Parallelism and Elastic Scheduling for Disaggregated Diffusion Serving
Renmin University of China（中国人民大学）；SenseTime（商汤科技）；Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；Beihang University（北京航空航天大学）
针对扩散模型部署中阶段间负载不均和调度脆弱性问题，提出DisagFusion，通过异步流水线并行和混合实例调度策略，实现吞吐量提升3.4-20.5倍、端到端延迟降低18.5倍。
2026-05-25 cs.DC
JITA4DS: Disaggregated execution of Data Science Pipelines between the Edge and the Data Centre
本文的目标是执行数据科学（DS）管道支持的数据处理，传输和共享跨多个资源执行贪婪进程。当前的数据科学流水线环境提供具有计算资源的各种基础设施服务，诸如通用处理器（GPP）、图形处理单元（GPU）、现场可编程门阵列（FPGA）和张量处理单元（TPU），其与平台和软件服务耦合以设计、运行和维护DS流水线。这些一刀切的解决方案将数据管道任务完全外部化。然而，一些任务可以在边缘执行，后端可以提供及时的资源，以确保ad-hoc和弹性执行环境。本文介绍了一种创新的可组合的“Just in Time Architecture”，用于为数据科学管道（JITA-4DS）配置DC和相关的资源管理技术。JITA-4DS是一个跨层的管理系统，它既了解应用程序的特性，又了解底层的基础设施，从而打破了应用程序、中间件/操作系统和硬件层之间的障碍。构建可定制的虚拟数据中心（VDC）需要这些层的垂直集成，以满足动态变化的数据科学管道的要求，如性能、可用性和能耗。因此，本文展示了一个实验模拟，专门用于运行数据科学工作负载，并确定调度JITA-4DS实现的资源分配的最佳策略。
2021-08-05 cs.DC
VenusRL: A Fully Disaggregated Agentic RL System with Priority Scheduling and Scalable Interaction
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beihang University（北京航空航天大学）；Infrawaves；Shanghai Innovation Institute（上海创新研究院）；Shanghai Qiji Zhifeng Co., Ltd.（上海奇绩智峰有限公司）
针对智能体强化学习训练中吞吐量受限于慢轨迹和沙箱内存浪费两大瓶颈，提出完全解耦系统VenusRL，通过优先级调度和内存共享实现4.24倍加速及89%成本降低。
2026-10-05 cs.DC
Building Atomic, Crash-Consistent Data Stores with Disaggregated Persistent Memory
字节可寻址持久存储器（PM）终于进入了生产。随之而来的一个重要而紧迫的问题是如何在现有的网络中心中部署它们。一种可行的方法是将PM作为独立设备连接到网络，作为分散的持久性存储器或存储器。无需对计算中心中的现有服务器进行更改;无需包含处理器，构建计算设备的成本很低;通过在计算服务器之间共享计算资源，它们提供了很大的弹性和高效的资源打包。本文探讨了不同的方法来组织数据库和构建数据存储与数据库。具体来说，我们提出了三种架构的并行计算：1）计算节点直接访问并行计算（DPM-Direct）; 2）计算节点发送请求到协调服务器，然后访问并行计算完成请求（DPM-Central）; 3）计算节点直接访问并行计算进行数据操作，并与控制平面的全局元数据服务器（DPM-Sep）进行通信。基于这些架构，我们构建了三个原子的、崩溃一致的数据存储。我们使用微基准测试和YCSB评估了它们的性能、可扩展性和CPU成本。我们的评估结果表明，DPM-Direct具有很大的小尺寸读取，但写性能差; DPM-Central具有最好的写性能时，集群的规模是小的，但表现不佳，当规模增加;和DPM-Sep整体表现良好。
2019-01-07 cs.DC cs.NI
BanaServe: Unified KV Cache and Dynamic Module Migration for Balancing Disaggregated LLM Serving in AI Infrastructure
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Lab of IOTSC, Faculty of Science and Technology, University of Macau（澳门科技大学物联网与感知系统国家重点实验室、理学院）；AIOS Team, Alibaba Group Inc（阿里巴巴集团 AIOS 团队）
BanaServe通过统一的KV缓存和动态模块迁移，平衡解耦LLM服务中的计算与内存资源，提升吞吐量和效率。
2025-10-15 cs.DC
DMG: A Scalable and Efficient Memory-Disaggregated Graph Processing System
The Chinese University of Hong Kong（香港中文大学）；Duke University（杜克大学）；Microsoft Research（微软研究院）
研究针对传统图形处理系统资源利用不足及现有DM图形处理系统不实用的问题，提出DMG系统，通过优化图形存储检索、更新协调及负载均衡等方法，实现计算和内存资源弹性扩展，性能提升且降低缓存需求。
2026-07-24 cs.DB cs.DC
LLMServingSim 2.0: A Unified Simulator for Heterogeneous and Disaggregated LLM Serving Infrastructure
本文提出LLMServingSim 2.0，通过统一运行时框架模拟异构和解耦LLM服务基础设施中的硬件软件交互，验证其在真实部署中具有高精度和高效能。
2026-03-23 cs.AI cs.DC
GCS: Generalized Cache Coherence For Efficient Synchronization
针对分解共享内存中分层式同步原语可扩展性差的问题，提出缓存一致性与同步层协同设计的GCS方案，通过在协议层引入等待队列和任意大小缓存行实现时空泛化，可将内存键值存储性能提升1-2个数量级。
2023-05-03 cs.DC cs.NI
DUET: Disaggregated Hybrid Mamba-Transformer LLMs with Prefill and Decode-Specific Packages
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Ulsan（蔚山科学技术院）
DUET通过解耦预填和解码阶段，利用专用加速器提升大语言模型性能，实现更快的首个token生成时间、更高的吞吐量和更低的token间时间。
2026-03-16 cs.AR cs.DC
HBM Is Not All You Need: Efficient Disaggregated LLM Serving across Memory-heterogeneous Accelerators
Shanghai Jiao Tong University（上海交通大学）；UltraRISC
针对LLM推理中预填充阶段HBM带宽闲置问题，提出HMA-Serve系统，通过分阶段量化、计算-传输流水线和延迟反量化，在GDDR加速器上高效执行预填充，实现3.2倍吞吐提升和4.8倍性价比提升。
2026-06-29 cs.AR cs.DC
ASTRA-sim2.0: Modeling Hierarchical Networks and Disaggregated Systems for Large-model Training at Scale
Georgia Institute of Technology（佐治亚理工学院）；Meta；Intel（英特尔公司）
针对分布式训练软硬件协同设计栈复杂的问题，扩展开源ASTRA-sim基础设施为ASTRA-sim2.0，支持任意模型并行化策略、多维异构拓扑生成及解耦内存系统建模，助力系统设计人员高效开展大规模分布式训练平台的设计空间探索。
2023-03-24 cs.DC cs.LG
Hardware-assisted Trusted Memory Disaggregation for Secure Far Memory
内存分解提供了跨网络连接系统的高效内存利用。它允许一个节点使用同一集群中远程节点的部分内存。最近的研究已经改进了基于RDMA的存储器解聚系统，支持比前一代解聚存储器更低的延迟和更高的带宽。然而，由于RDMA的访问验证机制的限制，当前的分散存储器系统仅以粗粒度管理远程存储器。在这样的系统中，为了支持细粒度的远程页面分配，需要假设所有参与系统的可信度，因此节点中的安全漏洞可以传播到整个集群。从安全性的角度来看，内存提供节点必须保护其内存免受内存请求节点的攻击。另一方面，存储器请求节点需要其存储器内容的机密性和完整性保护，即使它们存储在远程节点中。针对目前系统中隔离支持较弱的问题，本研究提出了一种新的硬件辅助的内存分解系统。基于FPGA的安全特性，每个节点FPGA板中的逻辑提供了一个安全的存储器分解引擎。通过其自己的网络，一组基于FPGA的引擎形成了一个可信的内存分解系统，该系统与每个参与节点的特权软件隔离。安全存储器分解系统允许在存储器提供节点中进行细粒度的存储管理，同时通过硬件硬化机制来保证访问验证。此外，该系统隐藏了从远程节点观察到的内存访问模式，支持遗忘。我们的评估与FPGA实现表明，这种细粒度的安全分散存储器是可行的，具有可比的性能，以最新的基于软件的技术。
2021-09-06 cs.CR cs.DC
DaeMon: Architectural Support for Efficient Data Movement in Disaggregated Systems
资源分解通过在物理上分离服务器中的硬件设备，为数据中心中的资源扩展、利用和故障处理提供了经济高效的解决方案。服务器的架构是由处理器、内存和存储设备组成的池，这些设备被组织为通过高带宽网络互连的独立故障隔离组件。然而，一个关键的挑战是通过网络从远程存储器模块访问数据的高性能损失。解决这一挑战是困难的，因为分散式系统在网络延迟/带宽方面具有很高的运行时可变性，并且页面迁移可以显著延迟其他页面中的关键路线高速缓存行访问。本文对完全分散系统中不同的数据移动策略进行了表征分析，评估了它们在各种工作负载下的性能开销，并介绍了DaeMon，这是第一个软件透明的机制，可以显着减轻完全分散系统中的数据移动开销。首先，为了实现系统中多个硬件组件的可扩展性，我们使用透明处理数据迁移的专用引擎增强了每个计算和内存单元。其次，为了实现高性能，并提供跨各种网络，体系结构和应用程序特性的鲁棒性，我们实现了一个协同的方法，带宽划分，链路压缩，解耦的数据移动的多个粒度，并在数据移动的自适应粒度选择。我们使用最先进的精确模拟器在不同网络和架构配置的各种工作负载中评估DaeMon。DaeMon将系统性能和数据访问成本分别提高了2.39 $\times$和3.06 $\times$，超过了广泛采用的以页面粒度移动数据的方法。
2023-01-18 cs.AR cs.DC cs.PF
Disaggregated Design for GPU-Based Volumetric Data Structures
针对 GPU 体数据结构偏重局部性而忽视占用率、通信与内核融合的问题，提出解耦设计，并在多 GPU LBM 求解器中验证其灵活性与最高 3 倍加速。
2025-08-31 cs.DC cs.PF
Architectural Support for Efficient Data Movement in Disaggregated Systems
资源分解通过在物理上分离服务器中的硬件设备，为数据中心中的资源扩展、利用和故障处理提供了经济高效的解决方案。服务器的架构是由处理器、内存和存储设备组成的池，这些设备被组织为通过高带宽网络互连的独立故障隔离组件。然而，一个关键的挑战是通过网络从远程存储器模块访问数据的高性能损失。解决这一挑战是困难的，因为分散式系统在网络延迟/带宽方面具有很高的运行时可变性，并且页面迁移可以显著延迟其他页面中的关键路线高速缓存行访问。本文介绍了DaeMon，第一个软件透明和强大的机制，以显着减轻完全分散的系统中的数据移动开销。首先，为了实现系统中多个硬件组件的可扩展性，我们使用透明处理数据迁移的专用引擎增强了每个计算和内存单元。其次，为了实现高性能，并提供跨各种网络，体系结构和应用程序特性的鲁棒性，我们实现了一个协同的方法，带宽划分，链路压缩，解耦的数据移动的多个粒度，并在数据移动的自适应粒度选择。我们评估DaeMon在各种各样的工作负载在不同的网络和体系结构配置使用一个国家的最先进的准确的模拟器，并证明DaeMon显着提高系统性能和数据访问成本的广泛采用的方法移动数据在页面粒度。
2023-01-23 cs.AR cs.DC cs.PF
SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
针对LLM推理预填充与解码阶段硬件需求不匹配的问题，提出专用芯片SPAD，以“少即是多”设计分别优化两阶段，在保持性能的同时显著降低硬件成本与功耗。
2025-10-09 cs.AR cs.DC cs.LG
The Dawn of Disaggregation and the Coherence Conundrum: A Call for Federated Coherence
本文针对解聚内存中的缓存一致性问题，提出联邦一致性模型，仅在节点内提供一致性，以避免可扩展性限制和硬件复杂性，并支持简单编程范式与同步库。
2025-04-22 cs.AR cs.DC
Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Apple（苹果公司）
Armada提出GREM分区算法与解耦架构，实现高效大规模GNN分布式训练，分区质量媲美METIS，内存减少8-65倍，速度提升8-46倍，运行时间改进达4.5倍。
2025-02-25 cs.DC cs.LG
Hybrid Edge Partitioner: Partitioning Large Power-Law Graphs under Memory Constraints
在内部管理和处理图结构数据的分布式系统解决了图划分问题，以最小化其通信开销和查询运行时间。除了计算复杂性--最优图划分是NP难的--另一个重要的考虑因素是内存开销。现实世界的图通常具有巨大的尺寸，使得将完整的图加载到内存中进行分区是不经济或不可行的。目前，减少内存开销的常用方法是依赖于流分区算法。虽然最新的流算法在某些图上导致合理的分区质量，但它们仍然不能完全与内存分区器竞争。在本文中，我们提出了一个新的系统，混合边缘分区（HEP），可以分区图，适合部分进入内存，同时产生高的分区质量。HEP通过将图的边集分成两个子集，可以灵活地调整其内存开销。一个子集划分NE++，一种新颖的，高效的内存算法，而另一个子集划分的流的方法。我们对大型真实世界图的评估表明，在许多情况下，HEP同时优于内存分区和流分区。因此，HEP是现有解决方案的有吸引力的替代方案，这些解决方案无法微调其存储器开销。最后，我们表明，使用HEP，我们在Spark/GraphX上实现了分布式图处理作业的显着加速，与最先进的分区算法相比。
2021-03-23 cs.DC
Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects
Department of ECE, Duke University（电子工程系，杜克大学）；Advanced Micro Devices Inc.（先进微器件公司）；Department of Computer Science, Duke University（计算机科学系，杜克大学）
针对分解式 GPU 中 NUMA 效应影响注意力机制性能的问题，提出空间感知调度策略 Swizzled Head-first Mapping，在 MI300X 上实现高达 50% 性能提升和高缓存命中率。
2025-11-03 cs.AR cs.DC cs.LG
Venus: An Efficient Edge Memory-and-Retrieval System for VLM-based Online Video Understanding
School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, China（计算机科学与工程学院，中山大学，广州，中国）；Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China（信息工程系，香港中文大学，香港特别行政区，中国）；Shenzhen Smart City Communications Co., Ltd., China（深圳智慧城市通信有限公司，中国）
Venus提出了一种高效的边缘内存与检索系统，通过边缘-云解耦架构实现快速的在线视频理解，显著降低系统开销并提升响应速度。
2026-01-07 cs.AI cs.DC
GEMEL: Model Merging for Memory-Efficient, Real-Time Video Analytics at the Edge
UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
视频分析管道已稳步转向边缘部署，以减少带宽开销和隐私侵犯，但在此过程中，面临着不断增长的资源紧张。最值得注意的是，边缘盒GPU缺乏同时容纳越来越多（越来越复杂）的实时的【形】推理模型所需的内存。不幸的是，依赖于GPU资源的时间/空间共享的现有解决方案是不够的，因为所需的交换延迟导致不可接受的帧丢失和精度违规。我们提出了模型合并，一种新的存储管理技术，利用边缘视觉模型之间的架构相似性，明智地共享他们的层（包括权重），以减少工作负载的内存成本和交换延迟。我们的系统GEMEL通过以下方式将合并有效地集成到现有管道中：（1）利用关于每个模型内存使用和层间依赖关系的几个指导性观察，以快速识别富有成效和保持准确性的合并配置，以及（2）改变边缘推理计划以最大限度地提高合并效益。在不同工作负载上的实验表明，相对于单独的时间/空间共享，GEMEL减少了高达60.7%的内存使用，并将整体准确性提高了8-39%。
2022-05-04 cs.AI cs.DC
BitTrain: Sparse Bitmap Compression for Memory-Efficient Training on the Edge
Brown University（布朗大学）
边缘训练使神经网络能够在内存受限的边缘设备上部署后从新数据中持续学习。以前的工作主要是减少模型参数的数量，这只有利于推理。然而，激活的内存占用是边缘训练的主要瓶颈。现有的增量训练方法对最后几层进行微调，牺牲了重新训练整个模型的准确性。在这项工作中，我们研究了训练深度学习模型的内存足迹，并使用我们的观察结果提出了BitTrain。在BitTrain中，我们利用激活稀疏性，并提出了一种新的位图压缩技术，可以减少训练过程中的内存占用。我们在训练的前向传递过程中以我们提出的位图压缩格式保存激活，并在优化器计算的后向传递过程中恢复它们。所提出的方法可以无缝集成到现代深度学习框架的计算图中。我们的实现在构造上是安全的，并且对模型训练的准确性没有负面影响。实验结果表明，在稀疏度为50%时，内存占用减少了34%。在训练过程中进一步修剪导致超过70%的稀疏性，这可以导致内存占用减少高达56%。BitTrain推进了为边缘设备带来更多机器学习功能的努力。我们的源代码可以在https://github.com/scale-lab/BitTrain上找到。
2021-10-29 cs.DC cs.LG
