On Resource Pooling and Separation for LRU Caching
使用最近最少使用（LRU）原则的缓存系统现在已经变得无处不在。这些系统的一个基本问题是，缓存空间是否应该集中在一起或划分，以服务于多个数据项请求流，以最大限度地减少未命中概率。在本文中，我们表明，这个问题没有直接的是或不是答案，这取决于关键因素的复杂组合，包括，例如，请求速率、跨不同请求流的重叠数据项、数据项流行度及其大小。具体来说，我们的特点是渐近错过概率多个竞争的请求流下的资源池和分离LRU缓存时，缓存大小是大的。分析上，我们表明，它是渐近最优的，共同服务多个流，如果他们的数据项的大小和流行度分布是相似的，他们的到达率没有显着差异; LRU缓存的自组织属性自动优化它们之间的资源分配渐近。否则，分离这些流可能会更好，例如，当数据大小变化很大时。我们还量化了临界点，超过这个临界点，当重叠的数据项超过一定的水平时，资源池比每个流的分离更好。从技术上讲，我们推广了现有的结果的LRU缓存的渐近错过概率为广泛的一类重尾分布，并将其扩展到多个竞争流与不同的数据项大小，这也验证了切近似在一定条件下。这些结果为提高缓存系统的性能提供了新的见解。
2017-08-04 cs.PF
Catalog Dynamics: Impact of Content Publishing and Perishing on the Performance of a LRU Cache
互联网严重依赖于内容分发网络和透明缓存来应对用户不断增长的流量需求。然而，内容本质上是多功能的：一旦在给定的时间发布，其受欢迎程度就会随着时间的推移而消失。然后，对给定文档的所有请求都集中在发布时间和有效失效时间之间。在本文中，我们提出了一个新的模型的内容请求的到来，它考虑到了内容目录的动态性质。基于在Orange网络上收集的两个大流量轨迹，我们使用半实验的方法，确定内容请求过程的不变量。这使我们能够定义一个简单的数学模型的内容请求，通过扩展所谓的“切近似”，然后我们计算的LRU缓存与这样的请求过程，表示其命中率馈送的性能。我们通过与基于轨迹的模拟进行比较，数值验证了我们的模型具有良好的精度。
2014-09-11 cs.NI cs.PF math.PR
Spatial multi-LRU Caching for Wireless Networks with Coverage Overlaps
本文介绍了一种新的家庭分散的缓存政策，适用于无线网络的边缘节点（站）有限的存储。这些策略基于最近最少使用的替换原则，并且在这里被称为空间多LRU。基于这些，以向被多于一个站覆盖并因此能够访问多于一个站的用户提供内容多样性的方式更新高速缓存库存。提出了两种变化，即多LRU-一个和-所有，这在涉及的缓存中插入的副本的数量不同。通过引入空间近似，我们提出了一种类似于Che的方法来预测命中概率，该方法在独立参考模型下给出了非常准确的结果。结果表明，多LRU的性能增加更多的多覆盖区域的增加，它的性能接近其他建议的集中式政策，当多覆盖是足够的。对于非线性业务，multi-LRU-One的性能优于multi-LRU-All，而当业务表现出时间局部性时，-All的变化可以表现得更好。
2016-02-24 cs.NI cs.PF
On a caching system with object sharing
我们考虑一个由多个代理共享的内容缓存系统。缓存可以位于边缘云数据中心中，并且代理可以为大量移动最终用户提供服务。每个代理在共享缓存中操作自己的具有一定容量的LRU列表。错误地出现在多个LRU列表中的对象的长度与它们相等地划分，即，在LRU之间共享对象。我们提供了一个“工作集”的近似方法来快速估计这种对象共享下的缓存命中概率，这可以用来促进准入控制。建议使用setrequestoverhead。我们给出了数值计算结果与对象共享（MCD-OS）的原型OURMemCacheD。
2020-07-23 cs.NI cs.PF
Radial Extremality for LRU Caching and the Fill--Holst Conjecture
Headlamp Software（头灯软件）
本文证明在独立参考模型中，均匀流行度向量是LRU缓存命中率的唯一全局最小化器，并沿均匀向量出发的射线严格递增，从而验证了Fill-Holst关于移动至前端规则的Schur-凹性猜想的径向部分。
2026-05-25 cs.PF math.PR
Performance of spatial Multi-LRU caching under traffic with temporal locality
在这项工作中，一个新的家庭的分散式高速缓存的无线网络的政策，被称为空间多LRU。这些通过利用多覆盖来提高缓存命中概率。提出了两种变化，多LRU-一个和-所有，其中不同的覆盖边缘缓存中插入的副本的数量。评估是在空间流量下进行的，表现出时间的局部性，具有不同的内容目录和依赖的需求。性能度量是命中概率，并且将策略与（1）单个LRU和（2）具有周期性流行度更新的所有集中式策略的上限进行比较。数值结果表明，多LRU策略优于两种比较策略。原因是他们对流行变化的被动适应。在-One和-All之间，哪一个更可取主要取决于可用的存储空间和流量特性。表现也取决于人气造型。
2016-06-29 cs.IT cs.NI cs.PF
Intermediate Data Caching Optimization for Multi-Stage and Parallel Big Data Frameworks
在大数据和云计算时代，大量数据从用户应用程序中产生，需要在数据中心进行处理。数据并行计算框架，例如Apache Spark，被广泛用于大规模执行这种数据处理。具体来说，Spark利用分布式内存来缓存中间结果，表示为弹性分布式数据集（RDD）。这使得Spark在迭代机器学习和数据采掘算法的实现上比其他并行框架更有优势，因为它避免了重复计算或硬盘访问来检索RDD。默认情况下，缓存决策由程序员自行决定，LRU策略用于在缓存已满时驱逐RDD。然而，当目标是最小化总工作量时，LRU严重不足，导致任意次优缓存决策。本文设计了一种多阶段大数据处理平台自适应确定和缓存最有价值的中间数据集的算法，这些中间数据集可以在未来重用。我们的解决方案自动决定缓存哪些RDD：这相当于在直接非循环图（DAG）中识别节点，表示其输出应在内存中持久化的计算。我们的实验结果表明，我们提出的缓存优化解决方案可以提高Spark上的机器学习应用程序的性能，减少了12%的重新计算RDD的总工作量。
2018-05-07 cs.PF
Spatial multi-LRU: Distributed Caching for Wireless Networks with Coverage Overlaps
本文介绍了一种新的家庭分散的缓存政策，适用于无线网络的边缘节点（站）有限的存储。这些基于最近最少使用替换原则的策略在这里被称为空间多LRU。它们以向被一个以上的站覆盖并因此能够访问该站的用户提供内容多样性的方式更新高速缓存库存。提出了两种变化，多LRU-一个和-所有，这在所涉及的缓存中插入的副本的数量不同。我们分析了他们的表现下两种类型的交通需求，独立参考模型（ESTA）和模型，表现出时间局部性。对于非线性系统，我们提出了一个类似于Che的近似来预测命中概率，这给出了非常准确的结果。数值评估表明，多LRU的性能增加更多的多覆盖区域的增加，它是接近集中式策略的性能，当多覆盖是足够的。对于MIMO业务，multi-LRU-One优于multi-LRU-All，而当业务表现出时间局部性时，-All变化可以执行得更好。这两种变化都优于简单的LRU。当流行知识不准确时，新策略可以比集中式策略表现得更好。
2016-12-13 cs.IT cs.MM cs.NI
Performance Model for Similarity Caching
本文提出RND-TTL近似方法，通过引入RND-TTL缓存模型并求解不动点方程组来估计相似性缓存策略RND-LRU的命中率，并在合成与真实轨迹上验证了其有效性。
2023-09-21 cs.NI cs.PF
Cache Miss Estimation for Non-Stationary Request Processes
本文的目的是评估最近最少使用（LRU）缓存，当它提供了一个非平稳的请求过程的泊松簇点过程。首先，我们使用Palm理论构建一个概率空间，描述如何考虑标记文档相对于请求过程的其余部分。这个框架使我们能够推导出一个通用的积分公式的预期数量的未命中的标记文件。然后，我们考虑的限制时，高速缓存大小和到达率成比例地走向无穷大，并使用积分公式推导出一个渐近展开的未命中概率的幂的倒数的高速缓存大小。这使我们能够量化和提高所谓的切近似的准确性。
2017-11-29 cs.PF math.PR
A Biophysically-Inspired Feedback Controller for Multi-Class Cache Fairness
针对多租户LLM服务的缓存公平性问题，提出受生物物理启发的多类缓存替换策略，在合成工作负载上缩小了LRU与Belady的未命中率差距，实现公平性与吞吐量的可调权衡。
2026-08-18 cs.DC cs.OS cs.PF
Exact Analysis of TTL Cache Networks: The Case of Caching Policies driven by Stopping Times
TTL缓存模型最近重新获得了重要的研究兴趣，主要是由于它们能够适应流行的缓存策略，如LRU。本文提出了基于TTL的缓存网络的最先进的分析，通过开发两个正交的通用性和计算复杂性的精确方法。第一种方法概括了现有的结果更新请求下的线网络的缓存政策，从而驱逐的停止时间驱动的广泛的类。所得到的结果进一步推广，使用第二种方法，前馈网络与马尔可夫到达过程（MAP）的要求。MAP特别适合于非线网络，因为它们不仅在叠加和分裂下是闭合的，如已知的，而且在输入-输出高速缓存操作下也是闭合的，如本文针对相位型TTL分布所证明的。这两个封闭属性的关键好处是，它们共同使第一次精确分析的前馈网络的TTL缓存在很大程度上的一般性。
2014-02-24 cs.NI cs.PF
Network Cache Design under Stationary Requests: Exact Analysis and Poisson Approximation
最大化命中概率的缓存算法设计已得到广泛研究。在本文中，我们将每个内容与效用相关联，该效用是相应内容命中率或命中概率的函数。我们制定了一个缓存优化问题，以最大限度地提高在所有内容的平稳和遍历请求过程中的效用之和。这个问题一般是非凸的，但是当请求间时间（irt）分布具有非增风险率函数时，我们将其转化为凸优化问题。我们提供了一些irt分布的显式最优解，并比较了基于命中率（HRB）和基于命中概率（HPB）问题的解决方案。我们制定了一个逆向工程的基础上的双重实现的LRU下平稳到达。我们还提出了分散的算法，可以实现使用有限的信息，并使用离散时间李雅普诺夫技术（DTLT），以正确地表征其稳定性。我们发现，解决HRB的分散算法比分散HPB算法更强大。根据这些结果，我们进一步提出了轻量级泊松近似分散和在线算法，这些算法在实现最佳命中率和命中概率方面是准确和有效的。
2019-03-05 cs.NI cs.PF
Protection Is (Nearly) All You Need: Structural Protection Dominates Scoring in Globally Capped KV Eviction
Independent Researcher（独立研究者）
本文研究了在共享全局受限解码时间Harness下的KV缓存淘汰问题，发现结构保护在保持质量方面起关键作用，通过保留边界缓存恢复了大部分参考天花板质量，并展示了保护机制在不同模型上的有效性。
2026-05-18 cs.CL cs.CR cs.LG
Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models
UC Santa Barbara（圣巴巴拉大学）；Alibaba Group（阿里巴巴集团）
NVMe和SSD作为新兴存储技术的代表，具有数据持久性、高访问速度、低功耗和字节可寻址等特点，在众多领域得到了广泛的应用。然而，高性能采用这些技术的一个关键问题是如何正确定义智能缓存层，以便能够很好地弥合新兴技术和主存之间的性能差距。为此，我们提出了菲比，重用意识的强化学习框架的最佳在线缓存，适用于各种新兴的存储模型。通过与缓存环境和数据流的持续交互，Phoebe能够从单个跟踪中提取关键的时间数据依赖性和相对位置信息，随着时间的推移变得越来越智能。为减少在线学习期间的培训开销，我们利用定期培训来摊销成本。Phoebe在一组Microsoft云存储工作负载上进行评估。实验结果表明，Phoebe能够将LRU和基于在线学习的缓存策略的缓存未命中率分别缩小到Belady最优策略的70.3%和52.6%。
2020-11-13 cs.AI cs.LG cs.OS
Impact of Traffic Characteristics on Request Aggregation in an NDN Router
本文重新审视了命名数据网络（NDN）路由器中缓存的性能评估，其中内容存储（CS）由待定兴趣表（PIT）补充。PIT聚合在下载延迟内到达的对给定内容的请求，并且因此带来了超出由于CS命中而导致的上行带宽使用的额外减少。我们通过提出一种更容易适用于一般流量模型的新型数学框架并考虑替代缓存插入策略，扩展了之前关于非零下载延迟（非ZDD）缓存的工作。具体来说，我们评估使用LRU过滤器，以提高CS命中率性能，在这种非ZDD的上下文中。我们还考虑了由于有限的内容生命周期的需求的时间局部性的影响。该模型被用来量化的PIT对上游带宽减少的影响，特别是表明，这是显着的，只有相对较小的内容目录或高的平均请求率，每个内容。我们进一步探讨如何过滤器的有效性与有限的内容的生命周期取决于目录的大小和交通强度。
2019-03-15 cs.NI cs.PF
