Joint Cache Resource Allocation and Request Routing for In-network Caching Services
网内缓存被认为是一种有效的解决方案,以减轻内容服务器和网络的负担。高速缓存服务提供商(SP)总是有动机通过考虑内容提供方(CP)扮演的不同角色来更好地利用其高速缓存资源,例如,他们的商业模式、流量特征、偏好。本文研究了多Cache多CP环境下的Cache资源分配问题。我们提出了一个缓存分区的方法,其中每个缓存可以被划分成切片,每个切片专用于一个内容提供方。我们提出了一个内容无关的请求路由算法,由个人缓存,优化每个CP的路由策略。我们与每个内容提供商相关联的实用程序,是其内容交付性能的函数,并制定了一个优化问题的目标,以最大限度地提高所有内容提供方的效用之和。我们建立的问题的双凸性,并开发基于凸的子问题的分散(在线)算法。该模型进一步扩展到带宽受限和最小延迟的情况下,我们证明了基本属性,并开发高效的算法。最后,我们提出的数值结果显示我们的机制和我们的算法的收敛性的有效性。
2017-12-11 cs.NI
Catalog Dynamics: Impact of Content Publishing and Perishing on the Performance of a LRU Cache
互联网严重依赖于内容分发网络和透明缓存来应对用户不断增长的流量需求。然而,内容本质上是多功能的:一旦在给定的时间发布,其受欢迎程度就会随着时间的推移而消失。然后,对给定文档的所有请求都集中在发布时间和有效失效时间之间。在本文中,我们提出了一个新的模型的内容请求的到来,它考虑到了内容目录的动态性质。基于在Orange网络上收集的两个大流量轨迹,我们使用半实验的方法,确定内容请求过程的不变量。这使我们能够定义一个简单的数学模型的内容请求,通过扩展所谓的“切近似”,然后我们计算的LRU缓存与这样的请求过程,表示其命中率馈送的性能。我们通过与基于轨迹的模拟进行比较,数值验证了我们的模型具有良好的精度。
2014-09-11 cs.NI cs.PF math.PR
Exact Analysis of TTL Cache Networks: The Case of Caching Policies driven by Stopping Times
TTL缓存模型最近重新获得了重要的研究兴趣,主要是由于它们能够适应流行的缓存策略,如LRU。本文提出了基于TTL的缓存网络的最先进的分析,通过开发两个正交的通用性和计算复杂性的精确方法。第一种方法概括了现有的结果更新请求下的线网络的缓存政策,从而驱逐的停止时间驱动的广泛的类。所得到的结果进一步推广,使用第二种方法,前馈网络与马尔可夫到达过程(MAP)的要求。MAP特别适合于非线网络,因为它们不仅在叠加和分裂下是闭合的,如已知的,而且在输入-输出高速缓存操作下也是闭合的,如本文针对相位型TTL分布所证明的。这两个封闭属性的关键好处是,它们共同使第一次精确分析的前馈网络的TTL缓存在很大程度上的一般性。
2014-02-24 cs.NI cs.PF
No-Regret Caching with Noisy Request Estimates
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学)
本文提出噪声-跟随-扰动-领导者(NFPL)算法,在请求估计有噪声时实现次线性遗憾,并在合成与真实轨迹上验证优于经典缓存策略。
2023-09-05 cs.LG cs.NI cs.PF
Adaptive TTL-Based Caching for Content Delivery
内容分发网络(CDN)在互联网上提供大部分用户请求的内容,包括网页、视频和软件下载。CDN服务器缓存并提供用户请求的内容。设计自动适应现实世界内容请求的异构性,突发性和非平稳性的缓存算法是一个重大挑战,也是我们工作的重点。虽然有很多工作的静态请求流量的缓存算法,非静态请求流量的工作非常有限。因此,大多数现有模型对于非平稳的生产CDN流量是不准确的。我们提出了两个TTL为基础的缓存算法,并提供可证明的保证内容请求流量是突发性和非平稳的。第一个算法称为d-TTL动态适应TTL参数使用随机近似方法。给定一个可行的目标命中率,我们表明,命中率的d-TTL收敛到其目标值的一般类的突发流量,允许马尔可夫依赖于时间和非平稳到达。第二种算法称为f-TTL,它使用两个缓存,每个缓存都有自己的TTL。第一级缓存自适应地过滤掉非静态流量,而第二级缓存存储频繁访问的静态流量。给定命中率和预期缓存大小的可行目标,f-TTL渐进地实现这两个目标。我们实现了d-TTL和f-TTL,并使用来自生产CDN服务器的5亿个请求组成的广泛的九天跟踪来评估这两种算法。我们表明,d-TTL和f-TTL收敛到他们的命中率目标的误差约为1.3%。但是,f-TTL需要比d-TTL小得多的缓存大小才能达到相同的命中率,因为它有效地过滤掉了很少访问的对象的非静态流量。
2017-12-09 cs.NI
Flexible Content Placement in Cache Networks using Reinforced Counters
在本文中,我们研究的内容放置在缓存网络的问题。我们考虑一个网络的请求路由是基于随机游走。内容放置是使用一种新的机制,称为加强计数器。对于每个内容,我们关联一个计数器,该计数器在每次请求内容时递增,并且以固定速率递减。我们建模和分析这种机制,调整其参数,以实现所需的性能目标,为一个单一的缓存或缓存网络。我们还表明,最佳的静态内容放置,没有加强计数器,是NP难在不同的设计目标。
2015-03-18 cs.NI
On the Impact of Network Delays on Time-to-Live Caching
我们考虑生存时间(TTL)缓存,它用特定的(可能是可更新的)过期时间标记缓存中的每个对象。TTL高速缓存的现有技术模型假定零对象获取延迟,即,从不同的缓存或源服务器获取不在缓存中的请求对象所需的时间。特别是,在缓存层次结构中,这种延迟对性能指标,如对象命中概率有显着的影响。最近的工作表明,对象获取延迟对缓存性能的影响将继续增加,这是由于与处理和内存访问时间相比,请求间时间(由于更高的数据中心链路速率)缩小之间的缩放不匹配。在本文中,我们分析了基于树的缓存层次结构与随机对象提取延迟,并提供了相应的对象命中概率的精确分析。我们的分析可以理解的随机延迟和TTL的缓存指标的影响,通过马尔可夫到达过程为特征的请求流模型的广泛类别。这是通过一个度量表示的,我们表示延迟损伤的命中概率。此外,我们分析和扩展国家的最先进的近似的命中概率考虑到延迟。我们提供的数值和基于跟踪的模拟为基础的评估结果表明,较大的TTL不能有效地补偿对象提取延迟的不利影响。我们的评估还表明,与我们的精确模型不同,最先进的近似方法不能很好地捕捉对象获取延迟的影响,特别是对于缓存层次结构。令人惊讶的是,我们表明,这种延迟的命中概率的影响是不是单调的,但取决于请求流的属性,以及TTL。
2022-01-27 cs.NI
Analyzing the Performance of LRU Caches under Non-Stationary Traffic Patterns
这项工作提出,以我们所知的文献,第一个分析模型,以解决性能的LRU(最近最少使用)实现缓存在非平稳交通条件下,即,当内容的流行度随着时间而演变时。我们使用Monte Carlo模拟验证模型的准确性。我们表明,该模型是能够准确地估计缓存命中概率,当流行的内容是非平稳的。我们发现,在LRU实现缓存的性能与i)系统中的内容的生命周期,ii)与其相关联的请求的量,iii)内容请求量的分布和iv)随着时间的推移的流行度配置文件的形状之间存在依赖性。
2013-01-21 cs.NI
Bulk content delivery using co-operating end-nodes with upload/download limits
我们研究的问题,优化成本的内容交付在一个合作网络的缓存在终端节点。高速缓存可以例如在从网站(诸如Netflix、Blockbuster等)下载视频的用户的计算机内,DVR(如TiVo或有线电视盒)用作视频点播服务或公共热点(如带缓存的Wi-Fi接入点)的一部分,部署在城市中,为移动用户提供内容。每个缓存通过不产生额外成本的介质(即WiFi,家庭LAN)本地服务用户请求;如果请求未被缓存,则必须从另一个缓存或中央服务器获取。在我们的模型中,每个缓存都有一个分层的回程互联网连接,有一个使用上限(以及此后固定的每字节成本)。将发送给中央服务器的请求重定向到具有未使用回程容量的其他缓存可以降低网络成本。我们的目标是开发一种机制,以最佳方式1)将数据放入缓存,2)将请求路由到缓存,以降低内容交付的总体成本。我们开发了一个多标准近似的LP舍入过程的基础上,与一个小的(常数因子)爆破在存储和上传限制的每个缓存,给出了一个数据的位置,是在常数因子的最佳。此外,为了加快解决方案,我们提出了一种技术,集群缓存成组,解决组内的数据放置问题,并结合结果在舍入阶段,以获得全局solution.Based广泛的模拟,我们表明,我们的计划在实践中表现得非常好,给成本在$5--15$ %的最佳,并将中央服务器处的网络负载减少多达55%,而仅在极限内发生边际爆炸。此外,我们证明,我们的方法优于非合作缓存机制约20%…
2012-09-10 cs.NI
Probabilistic Caching in Wireless D2D Networks: Cache Hit Optimal vs. Throughput Optimal
从传统的缓存命中优化在启用缓存的无线网络,我们认为一种替代的优化方法的概率缓存放置在随机无线D2D缓存网络考虑到D2D传输的可靠性。使用随机几何的工具,我们提供了一个封闭形式的近似缓存辅助吞吐量,它衡量的密度成功地服务于本地设备缓存的请求,我们得到了最佳的缓存概率与数值优化。与缓存命中最优的情况相比,通过缓存辅助吞吐量优化获得的最优缓存概率在成功服务的用户请求的密度方面显示出显着的增益,特别是在密集的用户环境中。
2016-11-09 cs.IT cs.NI math.IT
Cache Discovery Policies of MANET
在不可能建立网络基础设施的情况下,Ad-hoc网络被认为是特别重要的。以往对Ad-hoc网络的研究主要集中在动态路由协议的开发和改进上,该协议能够有效地发现两个通信节点之间的路由。虽然路由策略是一个重要的主题,在移动自组网,其他主题,如数据访问也是至关重要的,因为使用Ad-hoc网络的最终目标是提供数据访问移动节点。协作缓存是MANET环境下提高数据访问性能的一种最有吸引力的技术,它是指多个缓存节点共享和协作管理缓存的内容。它将研究引向重要的问题,什么数据应该被缓存,在哪里,何时以及如何缓存?协同缓存主要解决两个基本问题:缓存发现和缓存管理,即如何高效地发现请求数据以及如何管理单个缓存以提高协同缓存的整体容量。本文对现有的缓存发现算法进行了回顾,针对应用程序请求后和服务器响应前的四个阶段,使用历史文件记录以前的数据请求,提出了一种带有数据簇头选举的簇结构,以存储有效的信息供将来使用,并减少泛洪成本。此外,本文提出了一些替代技术的缓存发现。最后,对未来的研究方向进行了展望。
2013-10-06 cs.NI
VNF-Cache: An In-Network Key-Value Store Cache Based on Network Function Virtualization
VNF-Cache基于网络功能虚拟化技术,通过内网缓存服务优化数据访问响应时间与资源使用,实验证明其在跨地域服务器环境下的高效性能提升。
2025-12-23 cs.NI
Robust KV Cache Management for LLM Serving under Output Token Length Uncertainty
Arizona State University(亚利桑那州立大学)
针对大语言模型服务中键值缓存管理难题,提出鲁棒框架,联合优化多项配置,纳入延迟SLO约束。开发DRO公式及算法应对输出令牌长度不确定等问题,分析出关键分位数结构,经评估比基线成本降56%,保持相关性能。
2026-07-21 cs.NI
Online Convex Optimization for Caching Networks
我们研究了无线边缘缓存的问题时,文件的流行程度是未知的,可能是非平稳的。一组$J$高速缓存接收文件请求,并根据服务高速缓存为每个请求累积实用程序。网络动态地决定在每个缓存中存储哪些文件以及如何路由它们,以便最大化总效用。假设请求序列是从任意分布中提取的,从而捕获请求的时变、时间或空间局部性。对于这种具有挑战性的设置,我们提出了\emph{Bipartite Supergradient Caching Algorithm}(BSCA),可证明没有遗憾($R_T/T \to 0$)。也就是说,随着时间范围$T$的增加,BSCA在我们选择知道所有未来请求的缓存配置的情况下实现了相同的性能。该算法的学习率的特点是其遗憾的表达,发现是$R_T=O(\sqrt{JT})$,这是独立的内容目录的大小。对于单缓存的情况下,我们证明,这是最低可达到的界限。BSCA要求在每一步$J$预测的交叉点的盒子和单纯形,我们提出了一个定制的算法。我们的模型是第一个在网络缓存问题和在线凸优化之间建立联系的模型,我们通过讨论各种实际扩展并与最先进的竞争对手进行跟踪驱动比较来展示其通用性。
2020-01-16 cs.NI
Coded Load Balancing in Cache Networks
我们考虑负载均衡问题的缓存网络组成的存储功能的服务器形成一个分布式的内容交付方案。以前提出的负载均衡解决方案不能完美地平衡服务器之间的请求,这是实际网络中的一个关键问题。因此,在本文中,我们研究了一个编码的缓存内容放置原始文件的编码块存储在服务器上的文件流行度分布的基础上。在我们的方案中,当每个请求到达交付阶段时,通过从最近的服务器向请求源发送足够的编码块,可以解码所请求的文件。在这里,我们表明,如果$n$请求随机到达$n$服务器,所提出的方案的结果在网络中的最大负载$O(1)$。这个结果被证明是有效的基础网络拓扑结构的各种假设下。我们的结果应该比较的最大负载的两个基线计划,即最近的副本和权力的两个选择策略,这是$Θ(\log n)$和$Θ(\log \log n)$,分别。这一发现表明,使用编码,在相当大的负载均衡性能的改善,而不损害通信成本性能。这是证实了执行广泛的模拟结果,在非渐近制度以及。
2019-08-04 cs.DS cs.IT cs.NI
On the Complexity of Optimal Routing and Content Caching in Heterogeneous Networks
我们调查的问题,最佳的请求路由和内容缓存在异构网络支持在网络内容缓存的目标是最小化平均内容访问延迟。在这里,内容可以直接从后端服务器(内容永久驻留在其中)访问,也可以从多个网络内缓存中的一个获取。要访问一段内容,用户必须决定是将其请求路由到缓存还是后端服务器。此外,缓存必须决定缓存哪些内容。我们研究了两个问题公式的问题复杂性,其中到后端服务器的直接路径被建模为i)一个缓存敏感路径或ii)一个缓存不敏感路径,反映了到后端服务器的未缓存路径的延迟是否取决于用户请求负载,分别。我们证明了这两种情况下的问题都是NP完全的。我们证明了在对缓存不敏感的模型下,如果每个内容只被一个用户请求,或者当网络中最多有两个缓存时,问题可以在多项式时间内得到最优解决。我们还确定了用户缓存图的结构属性,可能使问题NP完全。对于缓存敏感模型,我们证明了即使网络中只有一个缓存,并且每个内容只有一个用户请求,问题仍然是NP完全的。我们发现,近似的解决方案,可以找到两个模型的最佳解决方案的(1-1/e)的因素,并证明了一个贪心算法,被发现是在1%以内的最佳小问题的大小。通过跟踪驱动的模拟,我们评估我们的贪心算法的性能,它显示了高达50%的平均延迟减少了基于LRU内容缓存的解决方案。
2014-12-31 cs.NI
Cacheable and Non-Cacheable Traffic Interplay in a Relay-Assisted Wireless Network
我们研究了一个离散时间无线网络,该网络在具有可缓存和不可缓存流量存储能力的中继节点的帮助下同时提供可缓存和不可缓存流量。我们调查如何分配的存储容量,可缓存和不可缓存的流量影响网络吞吐量。我们的数值结果提供了有用的见解,通过改变不仅分配的缓存到非缓存存储,但也传输的非缓存内容的速率,可缓存的内容被请求的速率,以及不同的流行度分布的缓存文件。
2020-02-26 cs.NI
Content Placement in Networks of Similarity Caches
相似性缓存系统最近吸引了科学界的注意,因为它们可以在许多应用环境中有益地使用,如多媒体检索,广告,对象识别,推荐系统和在线内容匹配应用。在这样的系统中,对不在高速缓存中的对象$o$的用户请求可以由类似的存储对象"$o$“(部分地)满足,代价是用户效用的损失。在本文中,我们的第一步进入新的领域的相似性缓存网络,请求可以沿着缓存路径转发,以获得最佳的效率和准确性的权衡。离线的内容放置问题可以很容易地被证明是NP难的,而不同的多项式算法可以被设计成接近离散情况下的最优解。随着内容空间变大,我们提出了一个连续的问题制定其解决方案表现出一个简单的结构,在一类树拓扑。我们使用合成和现实的请求跟踪来验证我们的发现。
2021-02-09 cs.DC cs.IR cs.NI
Optimistic Online Caching for Batched Requests
针对基于预测的乐观在线缓存更新成本高的问题,论文分析两种乐观策略的批量更新方案,并证明其在静态与真实轨迹上均优于 LFU、LRU。
2023-10-02 cs.NI
Placing Dynamic Content in Caches with Small Population
本文解决了一个基本的限制,由于人口规模小的无线接入网络的缓存通过。该缺点是由于两个主要挑战:(i)及时估计变化的内容流行度以及(ii)从小样本推断流行内容。我们提出了一个框架,其中强调了这些限制。为了及时估计不同的流行度在一个单一的缓存的上下文中,我们提出了一个基于缓存的阈值(ABT)的政策,缓存所有的内容请求次数超过阈值$\widetilde N(τ)$,其中$τ$是内容的年龄。我们表明,ABT是渐近命中率最优的许多内容制度,这使我们能够获得第一个表征的最佳性能的缓存系统在动态的上下文中。然后,我们解决小样本量集中在$L$本地缓存和一个全局缓存。一方面,我们表明,全局缓存学习L倍更快地聚合所有请求从本地缓存,这提高了命中率。另一方面,聚合洗出的相关流量的本地特性,惩罚命中率。这激发了将集群和LRU中的流行度分数的全局学习与预取相结合的协调机制。
2016-01-15 cs.NI
Learning to Cache and Caching to Learn: Regret Analysis of Caching Algorithms
缓存算法的关键性能指标包括其快速准确地了解请求的流行度分布的能力。然而,大部分的工作分析性能分析的重点是命中概率后,一个渐进的大的时间已经过去了。我们认为一个在线学习的观点,并描述了“遗憾”的候选人缓存算法实现的命中之间的有限时间差方面的天才辅助计划,最流行的项目在缓存中。我们首先考虑完全观察机制,其中所有请求都被缓存看到。我们表明,最不频繁使用(LFU)算法是能够实现订单最佳遗憾,这是匹配的一个有效的计数算法设计,我们称之为LFU-建兴。然后,我们考虑部分观察制度,其中只有请求的项目目前缓存的缓存,使其类似于一个在线学习问题的多臂强盗问题。我们将展示如何接近这个“缓存强盗”使用传统的方法产生高复杂性或遗憾,但一个简单的算法设计,利用结构的分布可以确保秩序最佳遗憾。最后,我们用数值模拟来说明我们的见解。
2020-04-01 cs.NI cs.SY eess.SY
Caching under Content Freshness Constraints
一些实时延迟敏感的应用程序对所请求的内容提出不同程度的新鲜度要求。与这些需求无关的缓存替换策略的性能可能是次优的。出于这种考虑,在本文中,我们研究了缓存策略下的请求到达过程中,结合用户的新鲜度需求。我们认为性能指标是稳态缓存命中概率。我们首先提供了一个通用的上限上的任何缓存策略的性能。然后,我们分析得到的内容明智的命中率最不受欢迎(LP)的政策,并提供了充分条件下的缓存性能的渐近最优的政策。接下来,我们得到了一个精确的近似的LRU命中率在政权的大内容人口。为此,我们将LRU策略中的内容的特征时间映射到经典的优惠券收集器问题,并表明它明显集中在其平均值周围。此外,我们开发这些政策的修改版本,弹出缓存冗余的形式陈旧的内容。最后,我们提出了一个新的策略,通过明确使用用户请求的新鲜度规范来优先考虑缓存的内容,从而优于上述策略。我们通过大量的模拟来证实我们的分析见解。
2017-12-28 cs.NI
On-Demand AoI Minimization in Resource-Constrained Cache-Enabled IoT Networks with Energy Harvesting Sensors
我们考虑一个资源受限的物联网网络,其中多个用户向启用缓存的边缘节点发出按需请求,以发送有关各种随机过程的状态更新,每个过程都由能量收集传感器监控。边缘节点通过决定是否命令相应的传感器发送新的状态更新或从缓存中检索最近接收的测量结果来满足用户的请求。我们的目标是找到边缘节点的最佳动作,以最小化在请求时接收到的测量的平均信息年龄(AoI),即,平均按需AoI,服从每时隙传输和能量约束。首先,我们推导出一个马尔可夫决策过程模型,并提出了一个迭代算法,获得最优策略。然后,我们开发了一个渐近最优的低复杂度算法-称为松弛,然后截断-并证明它是最佳的传感器的数量趋于无穷大。仿真结果表明,所提出的松弛,然后截断的方法显着降低了平均按需AoI相比,一个请求感知的贪婪(近视)的政策,也描绘了它执行接近最佳的解决方案,即使是中等数量的传感器。
2022-01-28 cs.IT cs.NI cs.SY
Wireless Video Caching and Dynamic Streaming under Differentiated Quality Requirements
本文考虑一跳设备到设备(D2D)辅助无线缓存网络,缓存不同质量级别的视频文件,假设基站可以控制视频质量,但缓存设备不能。在这样的缓存网络中出现了两个问题:文件放置问题和节点关联问题。本文提出了一种方法来缓存不同质量的视频,从而不同的文件大小,通过最大化的视频质量措施,用户可以享受的总和。在视频质量和视频多样性之间存在有趣的折衷,即,提供各种视频文件的能力。通过缓存高质量的文件,启用缓存的设备可以提供高质量的视频,但不能缓存各种文件。相反,当设备缓存各种文件时,它不能为请求文件的用户提供良好的质量。此外,当多个设备缓存相同的文件但它们的质量不同时,文件传递需要高级节点关联。本文提出了一种节点关联算法,最大限度地提高时间平均视频质量的多个用户下的播放延迟约束。在该算法中,我们还考虑了请求冲突,即多个用户同时向同一设备请求文件的情况,我们提出了两种方法来应对冲突:一个用户的调度和非正交多址接入。仿真结果验证了所提出的缓存方法和节点关联算法的可靠性。
2018-06-05 cs.NI
cRVR: A Stackelberg Game Approach for Joint Privacy-Aware Video Requesting and Edge Caching
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Computing, Faculty of Science and Engineering, Macquarie University(麦考瑞大学科学与工程学部计算学院)
本文提出cRVR算法,通过Stackelberg博弈方法在保护视频请求隐私的同时,最小化对边缘缓存性能的影响。
2024-12-03 cs.NI
Femto-Caching with Soft Cache Hits: Improving Performance through Recommendation and Delivery of Related Content
将流行内容推送到廉价的“助手”节点(例如,最近提出了在非高峰时间期间的小型小区)来应对移动数据业务的增加。如果所请求的内容在至少一个附近的助手中可用,则可以从这些助手节点本地服务用户请求。然而,在实践中,几个附近的助手节点的集体存储通常不足以实现足够高的命中率。我们建议离开硬缓存命中的假设,在现有的作品中常见,并考虑“软”缓存命中,如果原始内容不可用,一些相关的内容,本地缓存可以被推荐。鉴于互联网内容消费是面向娱乐的,我们认为存在用户可能接受替代内容的情况(例如,用于替代内容的更好的下载速率、低速率计划等),从而避免接入昂贵/拥塞的链路。我们制定了一个相对通用的设置与软缓存命中的最佳边缘缓存的问题,提出了有效的算法,并分析了预期的收益。然后,我们使用合成和真实的数据集相关的视频内容,有前途的缓存增益可以在实践中实现。
2017-02-16 cs.NI
No-Regret Caching via Online Mirror Descent
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学);Northeastern University(东北大学)
针对可分批更新且支持文件分片存储的在线缓存问题,本文基于 OMD 设计无遗憾策略,利用请求多样性比率刻画遗憾界与最优性,并提出保留遗憾保证且计算高效的随机舍入方案。
2023-06-06 cs.LG cs.NI cs.PF
Soft-TTL: Time-Varying Fractional Caching
标准生存时间(TTL)缓存管理规定在请求后的给定时间内存储整个文件或其中的一部分。作为这种方法的推广,这项工作提出了一个随时间变化的存储,减少,所请求的文件的一部分。因此,高速缓存在请求之后的一段时间间隔内逐渐地驱逐文件的部分。该策略,这是被称为软TTL,是合理的事实,即流量跟踪的特点往往是由到达过程,显示一个减少,但不可忽略的,观察一个请求的时间流逝,因为最后一个请求增加的概率。软TTL的优化为基础的分析,演示了重要的作用,发挥的危险函数的到达间隔请求过程中,它的措施的可能性,观察一个请求的函数的时间,因为最近的请求。
2018-07-10 cs.IT cs.NI math.IT
Learning to Cache With No Regrets
本文介绍了一种新的缓存分析,与以前的工作相反,没有建模假设的文件请求序列。我们投的缓存问题的在线线性优化(OLO)的框架,并介绍了一类最小的遗憾缓存政策,最大限度地减少损失的最佳静态配置在事后的请求模型是未知的。这些策略是非常重要的,因为它们对流行度偏差是鲁棒的,在这个意义上,当流行度模型改变时,它们学会调整它们的缓存决策。我们首先证明了一个新的下限的遗憾,任何缓存政策,改善现有的OLO界限,我们的设置。然后,我们证明了在线梯度上升(OGA)的政策保证了一个遗憾,符合下限,因此它是普遍最优的。最后,我们将注意力转移到一个网络的缓存安排,以形成一个二分图,并表明,二分次梯度算法(BSA)没有遗憾
2019-04-22 cs.NI
Age of Information With Non-Poisson Updates in Cache-Updating Networks
我们研究年龄的信息在多跳多播缓存启用网络的链接上的更新时间不一定是指数分布。我们专注于一组非算术分布的更新时间,其中包括连续的概率分布作为一个子集。我们首先描述了任意网络中每个节点的瞬时信息年龄。然后,我们阐述了递归方程的瞬时年龄的信息在多跳网络中,并得出封闭形式的表达式预期年龄的信息在最终用户。我们发现,在多跳网络的预期年龄表现出一种加性结构。此外,我们表明,在每个用户的预期年龄是直接成比例的方差在用户和源之间的所有链接的更新时间。我们希望在这项工作中的分析,以帮助减轻过度依赖泊松过程的未来工作中的信息时代。
2023-01-31 cs.IT cs.NI eess.SP
CacheMamba: Popularity Prediction for Mobile Edge Caching Networks via Selective State Spaces
Concordia University(康考迪亚大学);National Research Council Canada(加拿大国家研究委员会)
针对移动边缘缓存中的内容流行度预测问题,提出基于Mamba架构的CacheMamba模型,将预测转化为排序任务,在多项性能指标上优于Transformer方法,长序列处理优势更显著。
2025-02-09 cs.LG cs.NI eess.SP
Caching at the Edge: Outage Probability
在无线网络的边缘进行缓存是减少回程链路流量的关键技术。然而,在高峰期集中的请求量可能会导致系统中断,这意味着网络无法满足全部需求。中断概率是网络设计中需要考虑的一个基本指标。在本文中,我们推导出中断概率的解析表达式作为用户请求的总量,库大小,请求分布,缓存大小和回程资源的容量约束的函数。特别地,我们关注的场景是终端用户没有直接连接到主节点,主节点拥有可以请求的完整内容库。针对随机缓存和最流行的两种缓存机制,推导并研究了中断的一般表达式,给出了中断的精确闭合表达式,为在设计缓存网络的参数时如何平衡请求、内存和资源提供了有益的启示
2021-01-04 cs.NI
Request Patterns and Caching for VoD Services with Recommendation Systems
视频点播(VoD)服务,如Netflix和YouTube,在互联网流量中所占的份额不断增加。据估计,这一比例将在未来三年内超过80%。大多数流行的VoD服务都有推荐引擎,根据用户的观看历史向用户推荐视频,从而在用户请求中引入时间相关性。理解和建模用户请求中的这种时间相关性对于网络流量工程至关重要。这项工作的主要目标是使用经验观察到的用户请求的属性来模拟推荐引擎对VoD服务中的请求模式的影响。我们提出了一个马尔可夫请求模型来捕捉用户请求的时间相关性,并表明我们的模型与现有的实证研究的观察是一致的。大多数大规模VoD服务通过分布式服务器网络向用户提供内容,因为通过地理上位于同一地点的服务器来服务用户请求可以减少延迟和网络带宽消耗。内容复制策略,即,确定哪些内容要缓存在服务器上是VoD服务的关键资源分配问题。最近的研究表明,低启动延迟是VoD服务用户的关键服务质量(QoS)要求。这促使需要预取(在请求内容之前获取)和缓存可能在不久的将来被请求的内容。由于预取导致网络带宽使用的增加,我们使用我们的马尔可夫模型来探索的权衡和实现基于推荐的预取的可行性。
2017-05-03 cs.NI
ECD: An Edge Content Delivery and Update Framework in Mobile Edge Computing
提出了物联网时代基于移动边缘计算的边缘内容分发框架(ECD),以减轻核心网的负载,提高移动用户的体验质量(QoE)。考虑到移动设备成为内容的消费者和提供者,并且大多数内容不需要上传到云数据中心,在网络边缘,我们部署了一个内容服务器来存储从移动用户生成的原始内容,并在ECD中部署了一个缓存池来存储移动用户经常请求的内容。高速缓存池是分级的,并且高等级的高速缓存池将存储具有更高流行度的内容。此外,我们提出了边缘内容交付方案和边缘内容更新方案,基于内容流行度和缓存池排名。内容交付方案是为了高效地将内容交付给移动用户,而边缘内容更新方案是为了根据用户频繁的请求将用户生成的内容缓解到适当的缓存池中,并缓存较差的排名。边缘内容分发与内容分发网络完全不同,可以进一步降低核心网的负载。此外,由于最高等级的缓存池优先用于较高优先级的内容,而缓存池优先用于较高优先级的内容,并且缓存池接近移动用户,因此可以实现移动用户和缓存池之间的即时交互响应。一个有代表性的案例研究的幼儿发展和开放的研究问题进行了讨论。
2018-05-28 cs.NI
Octopus: A Cooperative Hierarchical Caching Strategy for Cloud Radio Access Networks
最近,在基于云的计算平台上实现无线电接入网络(RAN)功能已经成为一种新兴的解决方案,该解决方案利用云基础设施的许多优点,例如共享计算资源和存储容量,同时降低运营成本。在本文中,我们提出了一种新的缓存框架,旨在充分利用这种基于云的RAN(C-RAN)系统的潜力,通过合作分层缓存,最大限度地减少网络成本的内容交付,提高用户的体验质量(QoE)。特别是,我们认为云处理单元(CPU)中的云缓存是RAN缓存层次结构中的一个新层,弥合了传统的基于边缘和基于核心的缓存方案之间的容量-性能差距。延迟成本模型的特点和制定的缓存布局优化问题,这是NP完全的。为此,提出了一种低复杂度的启发式缓存管理策略,由主动式缓存分配算法和被动式缓存替换算法组成。使用真实世界的YouTube视频请求和合成内容请求进行了大量的数值模拟。结果表明,我们提出的八达通缓存策略显着优于传统的缓存策略的缓存命中率,平均内容访问延迟和回程流量负载。
2016-10-21 cs.NI
PA-Cache: Evolving Learning-Based Popularity-Aware Content Caching in Edge Networks
Chongqing University(重庆大学);Binghamton University, State University of New York(纽约州立大学宾汉姆顿大学);Swinburne University of Technology(斯威本科技大学);Harbin Institute of Technology(哈尔滨工业大学)
随着无处不在和个性化服务的蓬勃发展,大量移动设备在网络上产生了越来越多的流量。因此,内容缓存逐渐延伸到网络边缘,以提供低延迟服务,提高服务质量,并减少冗余数据流量。与传统的内容分发网络相比,边缘网络中具有较小尺寸的高速缓存通常必须容纳更多突发请求。在本文中,我们提出了一个不断发展的学习为基础的内容缓存策略,命名为PA缓存在边缘网络。它自适应地学习随时间变化的内容流行度,并确定当缓存已满时应该替换哪些内容。与传统的深度神经网络(DNN)不同,DNN使用具有高计算复杂性的整个训练数据集来学习微调但可能过时或有偏见的预测模型,PA-Cache对大量内容特征集进行加权,并在随着时间的推移有更多请求到达时从浅到深地训练多层递归神经网络。我们广泛评估我们提出的PA缓存的性能从一个大型的在线视频点播服务提供商在现实世界中的痕迹。\rb{The results show that PA-Cache outperforms existing popular caching algorithms and approximates the optimal algorithm with only a 3.8\% performance gap when the cache percentage is 1.0\%}。与传统的基于DNN的方法相比,PA-Cache还显着降低了计算成本。
2020-12-10 cs.LG cs.NI
Online Caching and Coding at the WiFi Edge: Gains and Tradeoffs
无线边缘的视频内容交付继续受到带宽不足和高度动态用户行为的挑战,这影响了有效吞吐量和延迟。已经发现在网络边缘处的高速缓存和编码传输可以提高视频内容递送的用户性能。无线边缘站(BS、AP)和用户终端设备上的缓存可以通过预缓存内容或使用在线缓存策略来填充。在本文中,我们提出了一个系统,内容被缓存在WiFi网络的用户通过在线缓存策略,编码交付是由WiFi AP提供所请求的内容的用户人群。用户处的高速缓存的内容用作索引编码的辅助信息。我们还提出了LFU索引缓存替换政策,在用户,明显提高了索引编码的机会,在WiFi AP的建议系统。通过广泛的模拟研究,我们确定了通过编码缓存和索引实现的收益。接下来,我们分析了它们之间的权衡,从用户不同的内容请求行为的数据传输,延迟和吞吐量。我们还表明,建议的缓存替换政策比传统的缓存替换政策,如LRU和LFU的性能更好。
2020-01-21 cs.NI
EdgeDASH: Exploiting Network-Assisted Adaptive Video Streaming for Edge Caching
虽然边缘视频缓存具有降低核心网络流量以及用户体验延迟的巨大潜力,但由于两个关键原因,在当前客户端驱动的视频流解决方案中利用缓存通常具有挑战性。首先,即使对相同内容感兴趣的客户端也可能请求不同的质量级别,因为视频内容被编码为多种质量以匹配广泛的网络条件和设备能力。其次,选择下一个块的质量以请求的客户端不知道网络边缘处的缓存内容。因此,开发网络端解决方案来利用缓存变得势在必行。这还可以缓解一些性能问题,特别是对于多个视频客户端竞争某些瓶颈容量的场景。在本文中,我们提出了一个网络侧控制逻辑运行在WiFi AP,以方便使用缓存的视频内容。特别地,在替代质量提供更好的效用的情况下,AP可以向客户站分配与其请求不同的视频质量。我们制定的质量分配问题作为一个优化问题,并开发了几个多项式复杂度的算法。与客户端确定质量适应的基线相比,我们的建议(称为EdgeDASH)提供了更高的视频质量,更高的缓存命中率和更低的停顿率,这对用户的满意度至关重要。我们的模拟表明,EdgeDASH促进了显着的缓存命中,并减少了缓冲区失速,只有通过改变客户端的请求由一个质量水平。此外,从我们的分析,我们得出结论,网络援助提供了显着的性能改善,特别是当具有相同的利益的客户端竞争的瓶颈链路的容量。
2020-02-04 cs.MM cs.NI
Efficient Content Delivery in User-Centric and Cache-Enabled Vehicular Edge Networks with Deadline-Constrained Heterogeneous Demands
现代互联车辆(CV)经常需要各种类型的内容来进行关键任务决策和车载用户娱乐。这些内容需要在现有无线电接入技术(RAT)解决方案可能无法确保的严格期限内完全递送给请求者CV。出于上述考虑,本文利用内容缓存在车辆边缘网络(VENs)与软件定义的用户为中心的虚拟小区(VC)为基础的RAT解决方案,从邻近边缘服务器提供所请求的内容。此外,为了捕捉的CV的异构需求,我们引入了一个偏好流行的权衡在他们的内容请求模型。为此,我们制定了一个联合优化问题的内容放置,CV调度,VC配置,VC-CV关联和无线电资源分配,以尽量减少长期的内容交付延迟。然而,联合问题是高度复杂的,并且不能在多项式时间内有效地解决。因此,我们分解成一个缓存放置问题和内容交付延迟最小化问题的缓存放置策略的原始问题。我们使用深度强化学习(DRL)作为第一个子问题的学习解决方案。此外,我们将延迟最小化问题转化为基于优先级的加权和速率(WSR)最大化问题,利用最大二分匹配(MWBM)和一个简单的线性搜索算法来解决。我们广泛的模拟结果表明,所提出的方法相比,现有的基线缓存命中率(KIDS),最后期限违规和内容交付延迟的有效性。
2023-03-30 cs.NI cs.SY eess.SY
Dynamic Content Caching with Waiting Costs via Restless Multi-Armed Bandits
Indian Institute of Science(印度科学学院)
针对本地缓存内容更新问题,提出基于Whittle指数的Restless多臂老虎机策略,在容量约束下最小化长期平均成本,数值验证接近最优且优于现有策略。
2026-09-23 cs.NI
LeadCache: Regret-Optimal Caching in Networks
Chennai Mathematical Institute(钦奈数学研究所);Indian Institute of Technology Madras(马德拉斯印度理工学院)
我们认为在网络缓存的背景下,在线预测问题。假设多个用户通过二分网络连接到多个缓存。在任何时间段,每个用户都可以请求从大型目录中选择的任意文件。如果所请求的文件被高速缓存在连接到用户的高速缓存中的至少一个中,则满足用户在槽处的请求。我们的目标是预测,预取,并以最佳方式分配文件的缓存在每个插槽,以最大限度地提高缓存命中的总数。由于目标函数的非凸性和非光滑性,该问题是非平凡的。在本文中,我们提出了$\texttt{LeadCache}$ -一个有效的在线缓存政策的基础上,跟随扰动领导者的范例。我们发现,$\texttt{LeadCache}$是遗憾最优的$\tilde{O}(n^{3/8}),$的一个因素,其中$n$是用户的数量。我们设计了两个有效的实现的$\texttt{LeadCache}$政策,一个基于Pipage舍入和其他基于Madow的采样,其中每一个都使得每一个迭代一次调用LP求解器。此外,与强定律型的假设,我们表明,在$\texttt{LeadCache}$下的文件提取的总数仍然几乎肯定有限的无限地平线。最后,我们利用图着色的结果得到了一个近似紧的后悔下界。我们的结论是,基于学习的$\texttt{LeadCache}$政策决定性地优于国家的最先进的缓存政策在理论上和经验。
2021-10-26 cs.IT cs.LG cs.NI
PopNetCod: A Popularity-based Caching Policy for Network Coding enabled Named Data Networking
在本文中,我们提出了PopNetCod,一个流行的基于网络编码启用命名数据网络的缓存策略。PopNetCod是一种分布式缓存策略,其中每个路由器通过分析其接收的请求来测量内容对象的本地流行度。然后,它使用此信息来决定哪些数据包要缓存或从其内容存储中驱逐。由于使用网络编码,因此支持内容对象的部分缓存,这便于内容存储的管理。当路由器接收到对数据包的请求时,路由器决定它们以在线方式缓存或驱逐的数据包。这允许最流行的数据包被缓存在更靠近网络边缘的地方。PopNetCod的评估表明,与广泛使用的Leave Copy Everywhere放置策略和Least Recently Used驱逐策略相比,它提高了缓存命中率。改进的缓存命中率有助于客户端实现更高的有效吞吐量,同时也减少了源服务器上的负载。
2019-01-04 cs.IT cs.NI math.IT
Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Tensormesh(Tensormesh公司);Tsinghua University(清华大学)
针对多轮智能体工作负载中工具调用导致KV缓存无法跨轮重用的问题,提出Continuum系统,通过引入KV缓存的生存时间(TTL)机制,在GPU内存中选择性固定缓存,权衡重算/重载成本与排队延迟,实现作业完成时间平均提升8倍以上。
2026-09-08 cs.AI cs.NI cs.OS
Proximity-Aware Balanced Allocations in Cache Networks
我们考虑负载均衡在网络的缓存服务器提供内容的最终用户。经由所谓的二次幂选择的随机化负载均衡是并行和分布式系统中的公知方法,其减少网络不平衡。在本文中,我们提出了一个随机的负载均衡计划,同时考虑缓存大小的限制和接近的服务器重定向过程。由于内存限制和邻近性约束导致服务器选择过程中的相关性,因此我们通常可能无法从两个选择的力量中受益。然而,我们证明,在某些制度,在内存限制和邻近约束,我们的计划的结果在最大负载的顺序$Θ(\log\log n)$(这里$n$是服务器和请求的数量),并在同一时间,导致低通信成本。与将每个请求分配给最近的可用副本的方案相比,这是最大负载的指数级改进。最后,我们通过大量的模拟研究我们的方案的性能。
2016-10-23 cs.DS cs.IT cs.NI
A Learning-Based Caching Mechanism for Edge Content Delivery
York University(约克大学)
本文提出基于风险率排序的轻量级学习缓存框架HR-Cache,通过预测请求的缓存友好性指导边缘缓存逐出决策,实验表明其相比LRU可节省2.2%至14.6%的广域网流量,优于现有启发式与学习型缓存方法。
2024-04-04 cs.DC cs.LG cs.NI
Stochastic Content-Centric Multicast Scheduling for Cache-Enabled Heterogeneous Cellular Networks
在小型基站(SBS)处的高速缓存已经证明了在减轻异构蜂窝网络(HetNet)中的回程需求方面的显著益处。虽然许多现有的作品集中在什么内容缓存在每个SBS,一个同样重要的问题是什么内容提供,以满足动态用户的需求给定的缓存状态。在本文中,我们研究了最佳的内容交付缓存启用HetNets考虑到无线介质的固有组播能力。我们考虑随机内容多播调度,共同最小化平均网络延迟和功率成本下的多址接入约束。我们建立了一个以内容为中心的请求队列模型,并将此随机优化问题表示为一个无限时域平均成本马尔可夫决策过程(MDP)。利用\emph{relative value iteration}和请求队列动力学的特殊性质,我们刻画了MDP的价值函数的一些性质。基于这些性质,我们证明了最优多播调度策略是阈值型的。然后,我们提出了一个结构感知的优化算法,以获得最优的政策。我们还提出了一个低复杂度的次优策略,它具有类似的结构属性的最优策略,并开发了一个低复杂度的算法来获得这个政策。
2016-06-17 cs.IT cs.NI math.IT
Low-Latency and Fresh Content Provision in Information-Centric Vehicular Networks
本文从移动边缘缓存的角度研究了信息中心车辆网络(ICVNs)的内容服务提供问题,考虑了动态驾驶相关的上下文信息。为了提供最新的信息与低延迟,两个方案被设计用于高速缓存更新和内容交付在路边单元(RSU)。路边单元中心(RSUC)方案通过带宽分割来并行缓存更新和内容递送,其中缓存的内容项以循环方式定期更新。请求自适应(ReA)方案根据用户请求以一定概率更新缓存的内容项。这两种方案的性能进行了分析,从而得出的平均年龄的信息(AoI)和服务延迟的封闭形式。令人惊讶的是,AoI延迟权衡并不总是存在,频繁的缓存更新会降低这两种性能。因此,RSUC和ReA方案被进一步优化以平衡AoI和延迟。在SUMO和OMNeT++仿真器上进行了大量的仿真,结果表明,所提出的方案在保证内容新鲜度的同时,可以将服务延迟降低80%.
2020-05-09 cs.IT cs.NI math.IT
On-Line File Caching
在联机文件缓存问题中,输入是一系列联机文件请求(一次一个)。每个文件都有非负的大小和非负的检索成本。问题是决定哪些文件保留在固定大小的缓存中,以便在请求时最小化不在缓存中的文件的检索成本之和。问题出现在浏览器和代理的Web缓存中。本文描述了一个自然的推广LRU称为地主,并给出了分析表明,它有一个最佳的性能保证(在确定性的在线算法)。本文还给出了一个所谓的"松散“竞争模型中的算法的分析,表明在一个”典型“的缓存大小,要么性能保证是O(1)或总的检索成本是微不足道的。
2002-05-18 cs.CC cs.DS cs.NI