Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
Keio University（庆应义塾大学）
本文提出分布式提示缓存方法，通过多台低功耗边缘设备协同共享中间状态以提升LLM推理性能，实验表明可显著降低TTFT和TTLT。
2026-04-10 cs.DC cs.LG
Distributed Caching for Complex Querying of Raw Arrays
随着应用程序继续以指数级增长的速度生成多维数据，快速分析以提取有意义的结果变得非常重要。数据库社区已经开发了数组数据库，通过一系列技术缓解了这个问题。原位机制提供了对原始格式的原始数据的直接存取访问-无需加载和分区。并行处理可扩展到最大的数据集。内存中缓存减少了跨查询工作负载访问相同数据时的延迟。然而，我们不知道任何关于多维原始数组的分布式缓存的工作。在本文中，我们介绍了一个分布式的框架成本为基础的缓存多维数组在本机格式。给定一组包含数组部分的文件和一个在线查询工作负载，该框架分两个阶段计算有效的缓存计划。首先，该计划通过不断改进不断发展的R树索引，从每个输入文件中识别要本地缓存的单元。在第二阶段中，确定将单元格最优分配给将依赖单元格并置以使总体数据传输最小化的节点。我们设计的缓存驱逐和放置启发式算法，考虑历史查询工作量。一个彻底的实验评估两个真实的数据集在三种文件格式证实了优越性-多达两个数量级-所提出的框架在缓存开销和工作负载执行时间方面超过现有的技术。
2018-03-16 cs.DB cs.DC
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标（SLO）至关重要。已经表明，快速高速缓存可以保证集群存储系统的负载均衡。然而，当系统扩展到多个集群时，快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡，要么为缓存一致性带来很高的开销。我们提出DistCache，一个新的分布式缓存机制，提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象，并使用二次选择的幂自适应路由查询。我们证明，DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量，通过统一的技术，从扩展图，网络流，排队论。DistCache是一种通用解决方案，可应用于许多存储系统。我们展示了DistCache的好处，提供设计，实施和评估的用例，新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Execution Templates: Caching Control Plane Decisions for Strong Scaling of Data Analytics
云框架的控制平面在调度粒度和性能之间进行权衡。集中式系统按任务粒度进行调度，但每秒只能调度几千个任务。分布式系统每秒调度数十万个任务，但更改调度的成本很高。我们提出了执行模板，一个控制平面的抽象，可以调度每秒数十万的任务，同时支持细粒度的，每任务的调度决策。执行模板利用程序的重复控制流来缓存频繁执行的任务块。在模板中执行任务需要发送一条消息。大规模的计划更改会安装新模板，而小的更改会将编辑应用到现有模板。对Nimbus（一种数据分析框架）中的执行模板进行评估发现，它们提供了集中式控制平面的细粒度调度灵活性，同时匹配分布式控制平面的强大扩展性。执行模板支持复杂的实际应用程序，例如具有三重嵌套循环和数据相关分支的流体模拟。
2017-05-04 cs.DC
Risk Management for Distributed Arbitrage Systems: Integrating Artificial Intelligence
North Carolina State University（北卡罗来纳州立大学）；Columbia University（哥伦比亚大学）
本研究调研对比AI在分布式套利系统风险管理中的应用，分析三类缓存技术的性能提升作用，考察AI对多类风险的缓解效果，结合Aave等案例说明AI与缓存融合可革新该领域风险管理。
2025-03-24 cs.AI cs.DC cs.LG
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University（约翰霍普金斯大学）；Argonne National Laboraotory（阿贡国家实验室）
PTStore 受 CDN 客户端缓存设计启发，通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理，减少缓存访问延迟与负载不平衡，能大幅扩大 KV 缓存大小，使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
Ditto: An Elastic and Adaptive Memory-Disaggregated Caching System
Ditto 是首个面向内存分离架构的缓存系统，通过客户端为中心的缓存框架和分布式自适应缓存方案，在弹性资源变化下实时选择最优缓存算法，显著提升缓存命中率，性能最高达到现有系统的 9 倍。
2023-09-19 cs.DC
Overview of Caching Mechanisms to Improve Hadoop Performance
本文全面概述了改进Hadoop性能的缓存策略，提出基于缓存利用的新型分类法，并设计了结合H-SVM-LRU和CLQLMRS的混合缓存方法HIC，使作业执行时间平均缩短31.2%。
2023-10-23 cs.DC
MemServe: Context Caching for Disaggregated LLM Serving with Elastic Memory Pool
MemServe 是一个统一系统，通过弹性内存池 MemPool 管理分布式内存和 KV 缓存，首次将上下文缓存与分离式推理结合，并利用全局调度器提升缓存重用，显著改善作业完成时间和首字时间。
2024-12-21 cs.DC
A Random Structure for Optimum Cache Size Distributed hash table (DHT) Peer-to-Peer design
我们提出了一个新的和易于实现的分布式哈希表（DHT）对等结构，采用随机缓存策略，允许{ \em多对数搜索时间}，而只有一个{ \em常数缓存}的大小。我们还表明，一个非常大的类的确定性缓存策略，它涵盖了几乎所有以前提出的分布式哈希表系统，不能实现polylog搜索时间与恒定的缓存大小。通常，新方案是第一个已知的具有以下高度期望的特性的DHT结构：（a）具有恒定高速缓存大小的随机高速缓存策略;（b）$O(log^{2}(N))$的平均搜索时间;（c）$O(log^{3}(N))$的保证搜索时间;（d）具有用于节点删除和添加的恒定开销的真正本地高速缓存动态;（e）从任何初始网络状态向期望结构的自组织;以及（f）允许用于各种权衡的无缝手段，例如，搜索速度或匿名性，代价是更大的缓存大小。
2002-10-14 cs.DC cs.NI
ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
Harvard University（哈佛大学）；University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）；UC Davis（加州大学戴维斯分校）
ShadowServe 是首个 SmartNIC 加速的无干扰分布式前缀缓存系统，通过控制平面与数据平面分离及分块流水线和最小拷贝内存管理，在低带宽下显著降低 TPOT 和 TTFT 并提升吞吐量。
2025-09-21 cs.AI cs.DC cs.LG
SMURF: Efficient and Scalable Metadata Access for Distributed Applications
随着大数据处理和分析主导分布式和云基础设施的使用，对分布式元数据访问和传输的需求也在增加。在许多应用程序域中，生成的数据量超过PB，而相应的元数据量达到TB甚至更多。本文提出了一种新的解决方案，有效的和可扩展的元数据访问的分布式应用程序在广域网，称为SMURF。我们的解决方案结合了新颖的流水线和并发传输机制与可靠性，提供分布式连续缓存和预取策略，以回避获取延迟，并实现可扩展的和高性能的元数据获取/预取服务在云中。我们还研究了真实跟踪日志中的语义局部性现象，这在元数据访问预测中没有得到很好的利用。我们实现了一种新的预取预测器的基础上，这一观察，并比较它与现有的三个国家的最先进的预取计划雅虎！Hadoop审计跟踪。通过有效地缓存和预取元数据的访问模式的基础上，我们的连续体缓存和预取机制显着提高本地缓存命中率，降低了平均读取延迟。我们从真实的审计跟踪中重放了大约2000万次元数据访问操作，其中我们的系统在预取预测期间实现了90%的准确性，并且与最先进的机制相比，平均获取延迟减少了50%。
2021-05-29 cs.DC cs.NI
GreenDyGNN: Runtime-Adaptive Energy-Efficient Communication for Distributed GNN Training
Tennessee Technological University（田纳西理工大学）；University at Buffalo（布法罗大学）
本文提出GreenDyGNN，通过动态缓存管理在分布式GNN训练中降低能耗，适应运行时网络变化，实现比传统方法更高的能效。
2026-04-25 cs.DC
OD-MoE: On-Demand Expert Loading for Cacheless Edge-Distributed MoE Inference
The Chinese University of Hong Kong（香港中文大学）
OD-MoE通过按需专家加载技术，实现无缓存边缘分布式MoE推断，显著提升内存利用率和推断效率。
2025-12-03 cs.DC
SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference
Department of Electrical and Computer Engineering, The University of Hong Kong（电子与计算机工程系，香港大学）
SlimCaching通过优化边缘服务器上的专家缓存，减少MoE模型的推理延迟，采用贪心分解和动态规划方法解决非子模性问题。
2026-03-01 cs.DC cs.LG cs.NI
FalconFS: Distributed File System for Large-Scale Deep Learning Pipeline
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）；Huawei Technologies（华为技术有限公司）
FalconFS是一种面向深度学习流水线优化的分布式文件系统，采用无状态客户端架构，通过服务器端路径解析和并发请求合并技术，提升吞吐量达12.81倍，并已在生产环境中运行一年。
2026-01-08 cs.DC cs.PF
Stochastic Non-preemptive Co-flow Scheduling with Time-Indexed Relaxation
协同流对现代调度设置进行建模，该现代调度设置常见于分布式和云计算中的各种应用中。随机同流任务包含一组具有随机分布大小的并行流。此外，许多应用程序需要非抢占式调度的同流任务。本文给出了随机非抢占式同流调度的一种近似算法。所提出的方法使用时间索引的线性松弛，并使用其解决方案来提出一个可行的时间表。该算法实现了竞争比$(2\log{m}+1)(1+\sqrt{m}Δ)(1+mΔ){(3+Δ)}/{2}$的零释放时间，和$(2\log{m}+1)(1+\sqrt{m}Δ)(1+mΔ)(2+Δ)$一般释放时间，其中$Δ$表示的处理时间的变异系数的平方的上界，和$m$是服务器的数量。
2018-02-23 cs.DC cs.DS
A Semantic Quantum Circuit Cache for Scalable and Distributed Quantum-Classical Workflows
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出量子电路缓存，通过语义等价检测减少冗余计算，提升量子-经典工作流效率。
2026-04-29 cs.DC quant-ph
Smart caching in a Data Lake for High Energy Physics analysis
University of Perugia（佩鲁贾大学）；INFN - Sezione di Perugia（意大利国家核物理研究所佩鲁贾分部）；University "G. D’Annunzio" of Chieti-Pescara（基耶蒂-佩斯卡拉“加布里埃尔·邓南遮”大学）
几乎所有科学领域的数据生产都在持续增长，这在数据访问和管理方面提出了新的问题，特别是在最终用户以及他们可以访问的资源分布在世界各地的情况下。这项工作的重点是在高能物理领域的背景下，在数据湖基础设施的数据缓存管理。我们提出了一种基于强化学习技术的自主方法，以改善用户体验并控制基础设施的维护成本。
2022-08-02 cs.DB cs.DC cs.LG
GX-Plug: a Middleware for Plugging Accelerators to Distributed Graph Processing
最近，研究界强调了制定大规模图处理的可扩展性连续体的必要性，它可以从分布式图系统中获得横向扩展的好处，并从高性能加速器中获得纵向扩展的好处。为此，我们提出了一个中间件，称为GX插件，便于集成两者的优点。作为一个中间件，GX插件在支持不同的运行时环境、计算模型和编程模型方面是通用的。此外，为了提高中间件的性能，我们研究了一系列的技术，包括流水线洗牌，同步缓存和跳过，和工作负载平衡，分别为内，间，和超越迭代优化。实验表明，我们的中间件有效地插件加速器代表分布式图形系统，例如，GraphX和Powergraph，加速比高达20倍。
2022-03-31 cs.DC
Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments
Department of Electrical Engineering & Computer Science（电气工程与计算机科学系）；The University of Missouri（密苏里大学）
针对联邦学习通信瓶颈，本文提出 FIFO、LRU 和基于优先级的缓存策略，选择性转发重要模型更新，在 CIFAR-10 与医学数据集上以极小准确率损失降低通信开销。
2025-07-19 cs.AI cs.CV cs.DC
TDC-Cache: A Trustworthy Decentralized Cooperative Caching Framework for Web3.0
School of Electronic and Optical Engineering, Nanjing University of Science and Technology（南京理工大学电子与光学工程学院）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心）；Purple Mountain Laboratories（紫金山实验室）；School of Electrical Engineering and Telecommunications, The University of New South Wales（新南威尔士大学电子与电信工程学院）
本文提出TDC-Cache框架，通过去中心化预言机网络和深度强化学习优化缓存策略，提升Web3.0的缓存效率与安全性。
2025-12-10 cs.DC cs.LG
Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
针对分布式GNN训练的特征通信瓶颈，本文提出基于顶点包含概率的缓存策略，构建SALIENT++系统，在大幅降低通信量与存储开销的同时显著提升训练速度。
2023-05-04 cs.DC cs.LG cs.PF
