ScalePool: Hybrid XLink-CXL Fabric for Composable Resource Disaggregation in Unified Scale-up Domains
Panmnesia, Inc.(潘内米亚公司)
ScalePool提出统一XLink-CXL混合架构,实现可组合资源解聚,通过分层内存策略将LLM训练加速最高1.84倍,内存密集型延迟降低4.5倍。
2025-10-16 cs.DC
INDIGO: Page Migration for Hardware Memory Disaggregation Across a Network
针对硬件内存解聚中现有页面迁移机制未考虑网络拥塞导致的可变传输开销、性能不佳的问题,提出具备网络感知的INDIGO框架,结合页面遥测与学习式自适应方法,实现性能提升与网络流量降低。
2025-03-23 cs.DC
Disaggregation and the Application
本文从运行在这些数据中心上的应用程序的角度研究了分解的数据中心架构,并对迄今为止提出的抽象提出了挑战。特别是,我们认为,操作系统分散的数据中心不应该抽象分散的硬件资源,如内存,计算和存储远离应用程序,而是应该给他们的信息,并控制这些资源。为此,我们提出了额外的操作系统抽象和接口的分解,并展示了它们如何可以提高数据传输的数据并行框架,并加快故障恢复复制,容错应用程序。本文研究的技术挑战,在提供应用程序与此额外的功能,并提出了几个初步的建议,以克服这些挑战。
2019-10-29 cs.DC cs.OS
Clio: A Hardware-Software Co-Designed Disaggregated Memory System
内存分解由于其在有效利用内存和易于管理等方面的优势,近年来引起了人们的广泛关注。到目前为止,内存分解研究都采用了两种方法之一:使用常规服务器构建/模拟内存节点,或者使用没有处理能力的原始内存设备构建它们。前者会带来更高的货币成本,并面临尾部延迟和可扩展性限制,而后者会带来性能,安全性和管理问题。基于服务器的内存节点和没有处理能力的内存节点是两种极端的方法。我们通过提出一种基于硬件的内存分解解决方案来寻求中间的最佳点,该解决方案在内存节点处具有适当的处理能力。此外,我们采取了一种全新的方法,从内存解聚的需求出发,设计了一个内存解聚本机系统。我们构建了Clio,这是一个分散的内存系统,可以在基于硬件的内存节点上虚拟化,保护和管理分散的内存。Clio硬件包括一个新的虚拟内存系统、一个定制的网络系统和一个计算卸载框架。在构建Clio的过程中,我们不仅共同设计了操作系统功能、硬件架构和网络系统,还共同设计了计算节点和内存节点。我们的Clio FPGA原型表明,每个内存节点可以实现100 Gbps的吞吐量和端到端的延迟为2.5 us(中位数)和3.2 us(第99百分位数)。Clio的扩展性也更好,并且尾部延迟比RDMA低几个数量级。与基于CPU和基于SmartNIC的分散式存储器系统相比,它的能耗节省了1.1倍至3.4倍,并且比基于软件的SmartNIC解决方案快2.7倍。
2022-01-20 cs.DC
Memory-Disaggregated In-Memory Object Store Framework for Big Data Applications
最近,记忆分解的概念在研究中越来越受到关注。通过存储器分解,数据中心计算节点可以直接访问相邻节点上的存储器,因此能够克服本地存储器限制,从而为分布式计算引入新的数据管理范例。本文提出并演示了一个内存分解内存对象存储框架的大数据应用程序,利用新引入的ThymesisFlow内存分解系统。该框架将现有Apache Arrow Plasma对象存储框架的功能扩展到分布式系统,使客户端能够轻松高效地跨多个计算节点生成和使用数据对象。这使得大数据应用程序能够以更低的开发成本越来越多地利用并行处理。此外,本文还包括延迟和吞吐量测量,这些测量表明,与本地相比,远程分散内存访问只会带来适度的性能损失(约6.5 vs约5.75 GiB/s)。研究结果可用于指导未来系统的设计,利用内存分解以及新提出的框架。这项工作是开源的,可在https://doi.org/10.5281/zenodo.6368998上公开访问。
2022-04-27 cs.AR cs.DC
Towards Disaggregation-Native Data Streaming between Devices
针对资源解耦数据中心中跨设备数据流需经 CPU 内存暂存的问题,本文提出为设备配备解耦原生、设备无关的数据流机制,实现任意设备间直接传输以降低处理延迟。
2024-03-28 cs.DC
MIND: In-Network Memory Management for Disaggregated Data Centers
存储器-计算分解通过将存储器和计算物理地分离到网络连接的资源“刀片”中,来保证数据中心中的资源的透明弹性、高利用率和均衡使用。然而,现有的设计以资源弹性为代价来实现性能,将存储器共享限制到单个计算刀片以避免网络上代价高昂的存储器一致性流量。在这项工作中,我们表明,新兴的可编程网络交换机可以使一个有效的共享内存抽象的分散架构,通过放置在网络结构中的存储管理逻辑。我们发现,集中在网络中的存储管理允许带宽和延迟有效的实现网络中的高速缓存一致性协议,而可编程交换机ASIC支持其他存储管理逻辑线速。我们实现这些见解到MIND,在网络存储管理单元的机架规模的内存分解。MIND实现了透明的资源弹性,同时与现实世界工作负载的先前内存分解建议的性能相匹配。
2021-10-19 cs.DC
Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation
Sun Yat-sen University(中山大学);Huawei Cloud(华为云)
针对LLM服务中预填充与解码分离导致的资源利用率低问题,提出Adrenaline注意力分解与卸载机制,将解码阶段注意力计算卸载至预填充实例,提升内存与计算利用率,实现最高1.68倍吞吐量提升。
2025-03-26 cs.DC cs.LG
From Attention to Disaggregation: Tracing the Evolution of LLM Inference
Capital One
本文梳理了大语言模型推理从 Transformer 注意力机制到解耦式架构的演进,提出将预填充与解码阶段分离以独立扩展,从而缓解资源争用并优化延迟、吞吐量和成本。
2025-10-16 cs.DC
The Dawn of Disaggregation and the Coherence Conundrum: A Call for Federated Coherence
本文针对解聚内存中的缓存一致性问题,提出联邦一致性模型,仅在节点内提供一致性,以避免可扩展性限制和硬件复杂性,并支持简单编程范式与同步库。
2025-04-22 cs.AR cs.DC
DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss
The University of Tokyo(东京大学);SB Intuitions Corp.(SB Intuitions公司)
DisaggKD将知识蒸馏的教师与学生跨节点解耦,通过行窗口词汇分片损失与预取环优化,在Qwen模型对上实现同置部署的损失与速度优势,且大模型对下解耦部署可避免同置的内存不足问题。
2026-10-14 cs.CL cs.DC cs.LG
Revealing the Challenges of Attention-FFN Disaggregation for Modern MoE Models and Hardware Systems
Baidu Inc.(百度公司)
本文研究了注意力-前馈网络解耦在大规模MoE模型和硬件系统中的性能限制,揭示了其在特定条件下优于传统专家并行方法的适用场景。
2026-02-10 cs.DC
CODA: Algorithm-Hardware Co-design for Edge Video Diffusion via NMP-Enabled Compute-Cache Operator Disaggregation
Peking University(北京大学);Alibaba Group Inc.(阿里巴巴集团)
研究在边缘设备部署视频扩散模型时速度慢的问题,提出CODA架构,通过计算-缓存算子分解,分离计算与缓存路径、重组缓存活动并利用分支独立性,实现端到端加速和能源效率提升,且保持生成质量。
2026-07-17 cs.AR cs.DC
Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation
Tsinghua University(清华大学);ByteDance(字节跳动)
本文提出模型-注意力解聚方法,将内存密集的注意力算子部署到廉价内存优化设备上,并开发了Lamina推理系统,在相似成本下实现比现有方案高16.1%~90.1%的吞吐量。
2025-04-10 cs.DC cs.LG
Memtrade: A Disaggregated-Memory Marketplace for Public Clouds
我们介绍Memtrade,第一个公共云的内存分解系统。公共云为跨不同租户的资源分解带来了一系列独特的挑战,包括安全性、隔离和定价。Memtrade允许生产者虚拟机(VM)在有限的时间内将其未分配的内存和已分配但空闲的应用程序内存出租给远程消费者VM。Memtrade不需要对主机级系统软件进行任何修改,也不需要云提供商的支持。它使用应用程序感知控制循环来收获生产者内存,以形成具有最小性能影响的分布式瞬态远程内存池;它采用代理来匹配生产者与消费者,同时满足性能约束;并且它将匹配的内存作为安全的键值缓存公开给消费者。我们使用真实集群跟踪的评估表明,Memtrade为消费者提供了显着的性能优势(将平均读取延迟提高到2.8倍),同时保持机密性和完整性,对生产者应用程序的影响很小(性能降低不到2.1%)。
2021-08-16 cs.DC
DEX: Scalable Range Indexing on Disaggregated Memory [Extended Version]
针对内存分解环境,提出可扩展B+-树DEX,通过逻辑分区、轻量级缓存和成本感知卸载减少远程访问,性能超越现有方法1.7-56.3倍。
2024-05-23 cs.DB cs.DC
CrossPool: Efficient Multi-LLM Serving for Cold MoE Models through KV-Cache and Weight Disaggregation
School of Software, Beihang University(北京航空航天大学软件学院)
针对冷MoE模型权重与KV缓存竞争GPU内存的问题,提出CrossPool引擎,将FFN权重和KV缓存分离到不同内存池,结合规划器、虚拟化器和流水线调度器,显著提升内存利用率和长上下文支持,P99 TBT降低达10.4倍。
2026-06-29 cs.AI cs.DC cs.LG
A Quantitative Approach for Adopting Disaggregated Memory in HPC Systems
本文提出一种三层次定量方法剖析 HPC 应用对内存系统的需求,并通过仿真评估揭示预取与干扰的影响,最终在 BFS 和作业调度中实现远程访问减少 50% 与 13% 加速。
2023-08-28 cs.DC
Lovelock: Towards Smart NIC-hosted Clusters
本文提出Lovelock集群设计,用无头智能网卡替代服务器以支撑分析、查询处理和机器学习训练等数据密集型应用,在保持性能的同时降低成本和能耗。
2023-09-22 cs.DC
Efficiently Serving Large Multimodal Models Using EPD Disaggregation
Huawei Technologies Canada, BC, Canada(华为加拿大技术有限公司);Simon Fraser University, BC, Canada(西蒙弗雷泽大学);Huawei Cloud, China(华为云)
提出 EPD 解耦框架,将大型多模odal模型的编码、预填充和解码阶段分离到专用资源,通过缓存多媒体 token、并行化编码负载等优化,显著提升内存效率、批处理大小及 SLO 达成率。
2025-06-28 cs.AI cs.CV cs.DC
PDD: Unleashing Economical and Flexible Heterogeneous LLM Inference via Cross-Datacenter Prefill-Decode Disaggregation
Infinigence-AI(智谱AI);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
PDD提出三层跨数据中心预填充-解码分离架构,通过RDMA重叠传输与解码移交机制,在异构GPU上实现高达37.5%的效益成本比提升。
2026-09-15 cs.AR cs.DC
A Case for Asymmetric Non-Volatile Memory Architecture
字节可寻址非易失性存储器(NVM)是一种很有前途的技术,因为它同时提供类似DRAM的性能,类似磁盘的容量和持久性。当前的NVM部署是对称的,其中NVM设备直接附接到服务器。由于更高的密度,NVM提供更大的容量,并且可以在服务器之间共享。不幸的是,在对称设置中,NVM设备的可用性受到其所附接的特定机器的影响。高可用性可以通过将数据复制到远程机器上的NVM来实现。但是,它需要在本地内存中完全复制数据结构,从而限制了工作集的大小。本文重新思考NVM部署,并提出了一个非对称NVM架构,从持久性数据存储器的服务器。在所提出的AsymNVM体系结构中,NVM设备(后端节点)可以由多个服务器(前端节点)共享,并提供可恢复的持久数据结构。非对称架构通过RDMA成为可能,并且遵循最近的资源分解的行业趋势。基于AsymNVM体系结构构建了AsymNVM框架,实现了:1)高性能持久数据结构更新; 2)NVM数据管理; 3)并发控制; 4)崩溃一致性和复制。其核心思想是使用操作日志来减少由于RDMA写入而导致的停顿,并在前端节点中实现高效的缓存和缓存。为了评估性能,我们构建了八种广泛使用的数据结构和两个基于AsymNVM框架的应用程序,并使用行业工作负载的痕迹。在一个有10台机器的集群中,结果表明,AsymNVM实现了与最佳对称架构相当的性能,同时避免了解聚的所有缺点。与基准AsymNVM相比,优化后的加…
2019-01-30 cs.DC
DisaggRec: Architecting Disaggregated Systems for Large-Scale Personalized Recommendation
基于深度学习的个性化推荐系统被广泛用于生产网络中心的在线面向用户的服务,其中采购和管理大量硬件资源以可靠地提供低延迟服务而不中断。随着推荐模型的不断发展和规模的不断增长,我们的分析项目(部署了单片服务器的服务器中心)将花费高达12.4倍的总拥有成本(TCO)来满足未来三年对模型规模和复杂性的要求。此外,通过深入的表征,我们发现,单片基于服务器的集群遭受资源闲置和浪费高达30%的总拥有成本的资源配置在固定的比例。为了应对这一挑战,我们提出了DisaggRec,这是一个用于大规模推荐服务的分类系统。DisaggRec实现了计算和内存资源的独立解耦横向扩展,以满足快速发展的工作负载不断变化的需求。它还通过隔离计算节点和存储器节点的故障来提高系统可靠性。分解的这两个主要好处共同降低了高达49.3%的TCO。此外,解聚合还可以灵活、敏捷地配置未来网络中心日益增加的硬件异构性。通过部署具有近内存处理能力的新硬件,我们的评估表明,在三年的模型发展过程中,与基于服务器的单片集群相比,分散式集群实现了21%-43.6%的TCO节省。
2022-12-02 cs.DC
Don't let your Memory defy you: Fragmentation-Aware Serverless Allocation with Elastic Memory Locality
National Technical University of Athens(雅典国立技术大学)
本文提出Memoryless,一种碎片感知的无服务器资源管理器,通过弹性内存局部性匹配实例形状与碎片化节点容量,减少节点使用率高达40%并降低CPU stranded 44%。
2026-09-23 cs.DC
Survey of Disaggregated Memory: Cross-layer Technique Insights for Next-Generation Datacenters
本文综述分离内存技术,从硬件、架构、系统和应用层面分析其设计挑战与解决方案,并探讨未来发展方向,以支持下一代弹性高效数据中心。
2025-03-27 cs.AR cs.DC
GPU Memory and Utilization Estimation for Training-Aware Resource Management: Opportunities and Limitations
IT University of Copenhagen(哥本哈根信息技术大学);University of Copenhagen(哥本哈根大学)
本文分析了三种GPU内存估计方法的优劣,通过合成数据集评估了其准确性与通用性,并指出分析模型、CPU库和ML方法在通用性和硬件适应性上的局限。
2026-04-27 cs.DC
RollMux: Phase-Level Multiplexing for Disaggregated RL Post-Training
Hong Kong University of Science and Technology(香港科技大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团)
RollMux通过跨集群编排优化强化学习后训练的资源利用,提升效率1.84倍,实现100%服务等级目标。
2025-12-15 cs.DC
Hash Table Design for RDMA:Challenges and Opportunities
Nanjing University(南京大学)
本文综述了在RDMA远程内存上部署哈希表面临的网络开销、并发控制和资源限制三大挑战,并总结了现有优化策略与未来方向。
2026-07-15 cs.DC
DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving
针对分布式 LLM 服务中的流水线气泡、GPU 显存浪费和故障恢复慢问题,提出 DéjàVu 系统,基于 DéjàVuLib 实现 prompt-token 分离、微批次交换与状态复制。
2024-03-04 cs.DC
Heterogeneous Computing: The Key to Powering the Future of AI Agent Inference
Imperial College London(伦敦帝国理工学院);Microsoft Research(微软研究院)
本文提出运算强度和容量足迹指标,揭示AI代理推理中内存瓶颈问题,并提出异构计算和硬件协同设计以提升大规模AI推理效率。
2026-01-29 cs.AI cs.AR cs.DC
Thread and Data Mapping in Software Transactional Memory: An Overview
本文综述了仅利用软件事务内存(STM)运行时信息指导线程与数据映射的现有研究,分析了STM在映射方面的挑战与机遇,并展望了该领域未来研究方向。
2025-02-25 cs.DC
Accelerating SLIDE Deep Learning on Modern CPUs: Vectorization, Quantizations, Memory Optimizations, and More
Rice University(莱斯大学);Ant Group(蚂蚁集团);Intel Corporation(英特尔公司)
在CPU(中央处理器)上实现深度学习正获得越来越多的关注。商用x86架构上的增强AI功能具有商业吸引力,因为它可以重用现有硬件和简化虚拟化。在这方面的一个值得注意的工作是SLIDE系统。SLIDE是基于稀疏哈希表的反向传播的C++实现,在训练数亿个参数神经模型时,它被证明比GPU快得多。在本文中,我们认为,SLIDE的当前实现是次优的,并没有利用现代CPU中的几个机会。特别是,我们展示了SLIDE的计算如何通过AVX(高级矢量扩展)-512实现矢量化的独特可能性。此外,我们强调不同类型的内存优化和量化的机会。结合所有这些,我们在相同的硬件上获得了高达7倍的计算加速。我们的实验集中在大型(数亿个参数)推荐和NLP模型上。我们的工作突出了在现代CPU上实现深度学习随机算法的几个新视角和机会。我们在https://github.com/RUSH-LAB/SLIDE上提供代码和基准测试脚本
2021-03-06 cs.DC cs.LG cs.PF
Knowledge Discovery on Blockchains: Challenges and Opportunities
我们研究了区块链技术在资源约束下的分布式事件检测的适用性。因此,我们提供了一个测试套件与几个有前途的共识方法(工作量证明,权益证明,分布式工作量证明和实用的内核工作量证明)。这是第一项分析区块链共识方法在资源约束设备中用于知识发现任务的通信成本的工作。实验表明,我们提出的分布式工作量证明和实用的内核工作量证明的实现提供了一个比工作量证明的CPU使用率和通信成本的好处。测试进一步表明,在低数据率的情况下,通过挖掘的延迟不会造成伤害,可以集成拟议的区块链实现。然而,区块链的使用需要数据广播,这会导致通信开销以及基于地址列表的内存需求。
2020-10-06 cs.DC
FFT, FMM, and Multigrid on the Road to Exascale: performance challenges and opportunities
FFT、FMM和多重网格方法是椭圆偏微分方程中广泛使用的快速、高度可扩展的求解器。然而,新兴的大规模计算系统与当前的千万亿次计算机相比带来了挑战。最近的努力(Dongarra等人,2011年)已经确定了在设计exascale软件时的几个限制,包括大规模并发、弹性管理、利用异构系统的高性能、能源效率以及利用预期在exascale时更深更复杂的存储层次结构。在本文中,我们进行了基于模型的比较的FFT,FMM,多重网格方法的背景下,这些投影约束。此外,我们使用性能模型来预测基于当前技术趋势的即将到来的exascale系统配置的预期性能。
2020-03-27 cs.DC cs.PF
Revenue Maximization Approaches in IaaS Clouds: Research Challenges and Opportunities
创收是任何企业的主要关注点,特别是在云计算中,提供商和消费者之间没有直接的互动。云计算是当今企业的新兴核心,然而,其与传统市场的复杂性(例如,安装和迁移)是主要挑战。它赚得更多,但需要模范的表现和营销技能。近年来,云计算已经成为提供桌面服务的成功范例。预计到2023年将投资超过3310亿美元,同样,预计将有510亿台设备连接到云。基础设施即服务(IaaS)提供物理资源(例如,计算、内存、存储和网络)作为VM实例。在本文中,主要的收入因素被归类为SLA和惩罚管理,资源可扩展性,客户满意度和管理,资源利用和供应,成本和价格管理,广告和拍卖。这些参数进行了详细的研究,并发现了新的动力学研究人员在该领域的云。
2020-04-24 cs.DC
A Survey of Large-Scale Deep Learning Serving System Optimization: Challenges and Opportunities
George Mason University(乔治梅森大学);Microsoft(微软);University of Pittsburgh(匹兹堡大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
深度学习(Deep Learning,DL)模型在视觉、语言、医疗、商业广告、娱乐等多个应用领域都取得了卓越的性能,随着深度学习应用的快速发展,其底层服务硬件都呈现出强劲的规模化趋势,即:模型缩放和计算缩放,例如,最近的预训练模型具有数千亿个参数,占用~TB级内存,以及最新的GPU加速器提供数百TFLOPS。随着这两种扩展趋势的出现,DL推理服务系统中出现了新的问题和挑战,其逐渐趋向于大规模深度学习服务系统(LDS)。本调查旨在总结和分类大规模深度学习服务系统的新挑战和优化机会。通过提供一种新的分类方法,总结计算范式,并阐述最新的技术进展,我们希望这项调查可以揭示新的优化观点,并激励大规模深度学习系统优化的新工作。
2022-02-18 cs.DC cs.LG