首页/论文/1905.07641

arXiv 1905.076412019-05cs.PFcs.NI

基于对象共享的缓存系统

On a caching system with object sharing

George Kesidis, Nader Alfares, Xi Li, Bhuvan Urgaonkar, Mahmut Kandemir, Takis Konstantopoulos

摘要：

我们考虑一个由多个代理共享的内容缓存系统。缓存可以位于边缘云数据中心中，并且代理可以为大量移动最终用户提供服务。每个代理在共享缓存中操作自己的具有一定容量的LRU列表。错误地出现在多个LRU列表中的对象的长度与它们相等地划分，即，在LRU之间共享对象。我们提供了一个“工作集”的近似方法来快速估计这种对象共享下的缓存命中概率，这可以用来促进准入控制。建议使用setrequestoverhead。我们给出了数值计算结果与对象共享（MCD-OS）的原型OURMemCacheD。

英文摘要：

We consider a content-caching system thatis shared by a number of proxies. The cache could belocated in an edge-cloud datacenter and the proxies couldeach serve a large population of mobile end-users. Eachproxy operates its own LRU-list of a certain capacity inthe shared cache. The length of objects simultaneouslyappearing in plural LRU-lists is equally divided amongthem,i.e., object sharing among the LRUs. We provide a "working-set" approximation for this system to quicklyestimate the cache-hit probabilities under such objectsharing, which can be used to facilitate admission control.Also, a way to reduce ripple evictions,i.e.,setrequestoverhead, is suggested. We give numerical results for ourMemCacheD with Object Sharing (MCD-OS) prototype.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于对象大小的缓存策略

Caching Policies based on Object Sizes

Pennsylvania State University（宾夕法尼亚州立大学）

该研究针对不同缓存大小与工作负载，评估考虑对象长度的缓存驱逐策略，针对分段缓存设计混合策略，并为SIEVE及其扩展版本开发工作集近似方法。

2026-10-16cs.PF

近似索引的递增相似缓存

Ascent Similarity Caching with Approximate Indexes

Inria（法国国家信息与自动化研究所）；University of Verona（维罗纳大学）

相似性搜索是多媒体检索系统和推荐系统中的一个关键操作，它在未来的机器学习和增强现实应用中也将发挥重要作用。当这些系统需要为具有严格延迟约束的大型对象提供服务时，靠近最终用户的边缘服务器可以作为相似性缓存来加速检索。在本文中，我们提出了一种新的相似性缓存策略，它通过使用（i）整个目录的（近似）索引来决定哪些对象在本地提供服务，哪些从远程服务器检索，以及（ii）镜像上升算法来更新本地对象集，即使请求过程没有表现出任何统计规律性，也具有很强的保证。

2022-09-22cs.LGcs.NIcs.PF

可变对象大小最优缓存的实用界

Practical Bounds on Optimal Caching with Variable Object Sizes

许多最近的缓存系统旨在提高未命中率，但有没有良好的感觉，从业者有多少进一步的未命中率可以改善。换句话说，系统社区是否应该继续解决这个问题？目前，对这个问题没有原则性的答案。在实践中，对象的大小往往会变化几个数量级，其中计算最佳未命中率（OPT）是已知的NP-难。少数已知的结果缓存与可变的对象大小提供了非常弱的界限，是不切实际的计算上的痕迹的现实长度。我们提出了一种新的方法来计算上下限的OPT. Our关键的洞察力是代表缓存作为一个最小成本的流问题，因此，我们称我们的方法为基于流的离线最优（FOO）。我们证明，在简单的独立性假设下，FOO的界限变得紧密的对象的数量趋于无穷大。事实上，FOO在1000万次生产CDN和存储跟踪请求上的错误可以忽略不计：最多0.3%。因此，FOO第一次揭示了可变对象大小缓存的局限性。虽然FOO非常准确，但在具有数亿请求的跟踪上，它在计算上是不切实际的。因此，我们扩展FOO，以获得更有效的界限OPT，我们称之为实用的基于流的离线最优（PFOO）。我们评估PFOO的几个完整的生产跟踪，并使用它来比较OPT以前的在线政策。该分析表明，目前的缓存系统实际上仍然远远不是最佳的，比OPT多遭受11-43%的缓存未命中，而最佳的离线边界表明基本上没有改进的余地。

2018-07-05cs.PF

一个新的非预期缓存命中概率上界

A New Upper Bound on Cache Hit Probability for Non-anticipative Caching Policies

高速缓存系统长期以来对于提高各种网络和基于web的在线应用的性能至关重要。在这样的系统中，端到端应用程序的性能很大程度上取决于从缓存传输的对象的分数，也称为缓存命中概率。许多缓存策略已经被提出和实现，以提高命中概率。在这项工作中，我们提出了一种新的方法来计算所有非预期缓存策略的命中概率上限，即，对于不了解未来请求的策略。我们的关键见解是根据其危险率（HR）函数值与其大小的比率对对象进行排序，并将具有最大比率的对象放置在缓存中，直到缓存容量耗尽。在一些统计假设下，我们证明了我们提出的HR大小比为基础的排序模型计算的最大可实现的命中概率，并作为所有非预期缓存策略的上限。我们推导出一些特定的对象请求到达过程下的上界的封闭形式的表达式。我们还提供了仿真结果来验证其正确性，并将其与最先进的上界进行比较。我们发现它比各种对象请求到达过程的最先进的上限更紧。

2021-06-11cs.PF

共享KV缓存用于复制的27B推理：正确性失败与性能边界

Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries

UNSW Sydney（悉尼新南威尔士大学）

本研究通过工程案例验证共享KV缓存的正确性修复，并测量27B推理副本间延迟，发现交替放置可显著降低首令牌时间，而固定放置收益甚微。

2026-09-15cs.DCcs.LGcs.PF

动态内容流行度下缓存策略的有效性分析

Efficient analysis of caching strategies under dynamic content popularity

在本文中，我们开发了一种新的技术来分析在不同的缓存策略和现实的交通条件下运行的孤立和互连的缓存。我们的方法的主要优势是能够考虑不断添加到系统目录中的动态内容，其受欢迎程度随着时间的推移，根据所需的配置文件。我们这样做的同时，保持简单性和计算效率的模型开发下固定流行的条件下，这是需要分析几个缓存策略。我们的主要成就是表明，内容流行度动态对缓存性能的影响可以有效地捕获到基于固定内容目录的分析模型中（即，其大小和对象的受欢迎程度不随时间改变的目录）。

2014-11-26cs.PF

更多相关论文收起更多论文

LeadCache：网络中的遗憾最优缓存

LeadCache: Regret-Optimal Caching in Networks

Chennai Mathematical Institute（钦奈数学研究所）；Indian Institute of Technology Madras（马德拉斯印度理工学院）

我们认为在网络缓存的背景下，在线预测问题。假设多个用户通过二分网络连接到多个缓存。在任何时间段，每个用户都可以请求从大型目录中选择的任意文件。如果所请求的文件被高速缓存在连接到用户的高速缓存中的至少一个中，则满足用户在槽处的请求。我们的目标是预测，预取，并以最佳方式分配文件的缓存在每个插槽，以最大限度地提高缓存命中的总数。由于目标函数的非凸性和非光滑性，该问题是非平凡的。在本文中，我们提出了$\texttt{LeadCache}$ -一个有效的在线缓存政策的基础上，跟随扰动领导者的范例。我们发现，$\texttt{LeadCache}$是遗憾最优的$\tilde{O}(n^{3/8}),$的一个因素，其中$n$是用户的数量。我们设计了两个有效的实现的$\texttt{LeadCache}$政策，一个基于Pipage舍入和其他基于Madow的采样，其中每一个都使得每一个迭代一次调用LP求解器。此外，与强定律型的假设，我们表明，在$\texttt{LeadCache}$下的文件提取的总数仍然几乎肯定有限的无限地平线。最后，我们利用图着色的结果得到了一个近似紧的后悔下界。我们的结论是，基于学习的$\texttt{LeadCache}$政策决定性地优于国家的最先进的缓存政策在理论上和经验。

2021-10-26cs.ITcs.LGcs.NI

分布式上下文管理系统中基于强化学习的自适应上下文缓存方法

Reinforcement Learning Based Approaches to Adaptive Context Caching in Distributed Context Management Systems

Deakin University（迪肯大学）

性能指标驱动的上下文缓存对分布式上下文管理系统的实时上下文查询的吞吐量和响应时间有着深远的影响。本文提出了一种基于强化学习的方法来自适应缓存上下文，其目标是最小化上下文管理系统在响应上下文查询时所产生的成本。我们的新算法，使上下文查询和子查询，以重用和重用缓存的上下文在一个有效的方式。这种方法与传统的数据缓存方法的区别在于三个主要特征。首先，我们不使用上下文或上下文查询负载的先验知识来进行选择性上下文缓存准入。其次，我们开发并采用创新的启发式模型来计算预期的性能缓存的项目时，作出决定。第三，我们的策略定义了一个时间感知的连续缓存动作空间。我们提出了两个强化学习代理，一个价值函数估计行动者-批评者代理和一个策略搜索代理使用深度确定性策略梯度方法。本文还提出了自适应的政策，如驱逐和缓存内存扩展，以补充我们的目标。我们的方法进行评估，使用综合生成的负载的上下文子查询和合成数据集的灵感来自现实世界的数据和查询样本。我们进一步研究不同设置下的最佳自适应缓存配置。本文介绍，比较和讨论我们的研究结果，建议的选择性缓存方法达到短期和长期的成本和性能效率。本文表明，所提出的方法优于其他模式的上下文管理，如重定向器模式，数据库模式，并缓存所有的政策高达60%的成本效率。

2023-02-09cs.IRcs.LGcs.PF

科学数据网内缓存的访问趋势

Access Trends of In-network Cache for Scientific Data

University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley Nat’l Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）；University of California, San Diego（加州大学圣地亚哥分校）；California Institute of Technology（加州理工学院）

科学合作越来越多地依赖于大量数据进行工作，其中许多采用分层系统将数据复制到全球用户社区。社区中的每个用户通常会选择不同的数据子集来执行分析任务;然而，研究小组的成员通常会研究需要类似数据对象的相关研究主题。因此，存在可能的大量数据共享。在这项工作中，我们研究了被称为南加州PB级缓存的联合存储缓存的访问痕迹。通过研究这种缓存系统的访问模式和潜在的网络流量减少，我们的目标是探索的可预测性的缓存使用和更一般的网络数据缓存的潜力。我们的研究表明，这种分布式存储缓存是能够减少网络流量的一个因素的2.35在研究期间的一部分。我们进一步表明，机器学习模型可以预测缓存利用率的准确度为0.88。这表明这种缓存使用是可预测的，这对于管理复杂的网络资源（例如网络内缓存）可能很有用。

2022-05-11cs.DCcs.LGcs.NI

具有最优切换遗憾的在线缓存

Online Caching with Optimal Switching Regret

Indian Institute of Technology Madras（印度理工学院马德拉斯分校）

我们认为经典的未编码的缓存问题从在线学习的观点。存储容量有限的高速缓存一次可以保存大型编录中的$C$文件。用户在每个时隙从目录中请求任意文件。在来自用户的文件请求到达之前，缓存策略会用它选择的任何$C$文件填充缓存。在缓存命中的情况下，策略接收单位奖励，否则接收零奖励。除此之外，还有一个与将文件提取到缓存相关的成本，我们称之为切换成本。我们的目标是设计一个缓存策略，招致最小的遗憾，同时考虑由于缓存命中的奖励和切换成本，由于文件提取。本文的主要贡献是切换遗憾分析的跟随扰动领导者为基础的随时缓存策略，这是有一个顺序最优切换遗憾。在这方面的追求，我们提高了最有名的切换遗憾约束这个问题的一个因素的$Θ(\sqrt{C}).$我们得出结论，通过比较不同的流行的缓存策略的性能，从商业CDN服务器公开可用的跟踪。

2021-01-18cs.ITcs.LGcs.PF

多阶段并行大数据框架的中间数据缓存优化

Intermediate Data Caching Optimization for Multi-Stage and Parallel Big Data Frameworks

在大数据和云计算时代，大量数据从用户应用程序中产生，需要在数据中心进行处理。数据并行计算框架，例如Apache Spark，被广泛用于大规模执行这种数据处理。具体来说，Spark利用分布式内存来缓存中间结果，表示为弹性分布式数据集（RDD）。这使得Spark在迭代机器学习和数据采掘算法的实现上比其他并行框架更有优势，因为它避免了重复计算或硬盘访问来检索RDD。默认情况下，缓存决策由程序员自行决定，LRU策略用于在缓存已满时驱逐RDD。然而，当目标是最小化总工作量时，LRU严重不足，导致任意次优缓存决策。本文设计了一种多阶段大数据处理平台自适应确定和缓存最有价值的中间数据集的算法，这些中间数据集可以在未来重用。我们的解决方案自动决定缓存哪些RDD：这相当于在直接非循环图（DAG）中识别节点，表示其输出应在内存中持久化的计算。我们的实验结果表明，我们提出的缓存优化解决方案可以提高Spark上的机器学习应用程序的性能，减少了12%的重新计算RDD的总工作量。

2018-05-07cs.PF