Lifelong Learning for Minimizing Age of Information in Internet of Things Networks
在本文中，终身学习问题的物联网（IoT）系统进行了研究。在所考虑的模型中，每个IoT设备旨在通过在动态环境下控制其在每个时隙的计算资源分配来平衡其信息新鲜度和能量消耗折衷。无人机（UAV）被部署为飞行基站，以便使物联网设备能够适应新的环境。为此，提出了一种由UAV使用的新的终身强化学习算法，以便在UAV每次访问时适应设备的操作。通过使用来自先前访问过的设备和环境的经验，UAV可以帮助设备更快地适应其环境的未来状态。为此，在UAV处维护由所有设备共享的知识库。仿真结果表明，该算法可以收敛$25\%$到$50\%$速度比策略梯度基线算法，优化每个设备的决策问题在隔离。
2021-03-29 cs.NI
Reinforcement Learning Based Scheduling Algorithm for Optimizing Age of Information in Ultra Reliable Low Latency Networks
信息时代（AoI）衡量远程位置信息的新鲜度。AoI反映了从发送器生成分组起经过的时间。在本文中，我们考虑一个远程监控问题（例如，远程工厂），其中多个传感器节点向远程监视站点发送时间敏感测量。我们考虑最小化一个度量，保持所有传感器的预期AoI的总和最小化和最小化超可靠低延迟通信（URLLC）术语之间的权衡。考虑URLLC项以确保每个传感器的AoI超过预定义阈值的概率被最小化。此外，我们假设传感器容忍不同的阈值，并产生不同大小的数据包。受机器学习在解决低复杂度大型网络问题方面的成功启发，我们开发了一种基于低复杂度强化学习的算法来解决所提出的公式。我们使用最先进的演员-评论家算法在一组公共带宽跟踪上训练我们的算法。仿真结果表明，该算法优于所考虑的基线最小化的预期AoI和阈值违反每个传感器。
2019-05-11 cs.NI
Minimizing the Age of Information from Sensors with Common Observations
我们研究的平均年龄的信息（AoI）在一个系统中，物理源产生独立的离散时间更新，每个观察到的几个传感器。我们设计了一个简单的模型，但仍然能够捕捉到主要的权衡。提出了两种传感器调度策略，以最大限度地减少AoI的来源，其中一个是假设已知的系统参数，其中一个是学习。这两种策略都能够利用共同的传感器信息，以减少AoI，从而导致AoI的大幅减少相比，共同的时间表。
2019-03-19 cs.IT cs.NI math.IT
Timely Cloud Computing: Preemption and Waiting
在云计算的背景下，及时的状态更新的概念进行了调查。感兴趣的时变过程的测量由传感器节点获取，并上传到云服务器以进行一些所需的计算。这些计算会消耗随机的服务时间，这些时间在不同的上传中独立且相同地分布。计算完成后，结果被传送到监视器，构成更新。目标是保持监视器随着时间的推移不断获得新的更新，这是通过信息年龄（AoI）度量进行评估的。采用调度器来优化测量采集时间。在更新之后，在获取新的测量之前，调度器可以施加空闲等待时段。调度器还具有在测量的服务时间增长超过某个截止时间时抢占正在进行的测量的能力，并且在其位置上传更新的测量。针对静态确定性策略，其中等待时间是瞬时AoI的确定性函数，并且对于所有上传，截止时间是固定的，表明最小化长期平均AoI的最优等待策略具有阈值结构，其中，只有当AoI增长到某个阈值以上时，才在更新之后上传新的测量，该阈值是服务时间分布的函数，截止时间最佳截止，然后发现标准和转移指数服务时间。虽然之前已经报道过在更新之前等待可能对AoI有益，但在这项工作中表明，抢占后期更新可能更有益。
2019-07-11 cs.IT cs.NI eess.SP
Minimizing the Age of Information Over an Erasure Channel for Random Packet Arrivals With a Storage Option at the Transmitter
我们考虑一个时隙通信系统由一个基站（BS）和一个用户。在每个时隙，更新分组以概率$p$到达BS，并且BS在擦除信道上以概率$q$成功地发送更新分组。我们假设BS具有单位大小的缓冲器，其中BS可以在支付存储成本$c$时存储更新分组。在信息的年龄和存储成本之间存在权衡。我们制定这种权衡作为一个马尔可夫决策过程，并找到一个最佳的开关型存储策略。
2023-01-10 cs.IT cs.NI eess.SP
A Whittle Index Approach to Minimizing Functions of Age of Information
本文提出基于Whittle指数的低复杂度调度策略，最小化信息年龄的一般非递减成本函数，证明双源可靠信道下精确最优，并模拟验证其性能接近最优。
2023-06-20 cs.IT cs.NI math.IT
Lagrange Index based Scheduling for Minimizing Age of Updates from Heterogeneous Sources
本文研究了异构源更新年龄优化问题，提出基于拉格朗日指数的调度方法，通过半马尔可夫决策过程动态建模，有效降低加权平均更新年龄成本。
2026-04-20 cs.NI cs.PF
On Minimizing the Maximum Age-of-Information For Wireless Erasure Channels
信息流（AoI）是最近提出的用于从通信网络中的UE的角度量化信息的新鲜度的度量。最近，Kadota等人[1]提出了一种索引型近似最优调度策略，用于最小化下行链路传输问题的平均AoI度量。对于延迟敏感的应用，包括网络物理系统的实时控制或5G中的URLLC流量调度，必须对所有用户的AoI进行更严格的统一控制。在本文中，我们推导出一个精确的最优调度策略，这个问题在下行链路的删除信道蜂窝系统。我们的最优性证明涉及到相关的平均成本贝尔曼方程，这可能是独立的理论兴趣的显式解决方案。我们还建立了所得到的随机过程是积极的经常性下的最佳政策，并有一个指数轻尾，最佳的大偏差指数。最后，在小小区住宅网络中的典型应用的动机，我们考虑的问题，最小化的峰值AoI与吞吐量的限制，以特定的UE，并得出一个启发式的策略，这个问题。已经进行了大量的数值模拟，以比较所提出的政策与其他知名的调度政策，如随机调度和比例公平的功效。
2019-04-01 cs.IT cs.NI math.IT
Minimizing Age of Information with Generate at Will Status Updates and Age-Agnostic Cyclic Scheduling
针对多源单服务器GAW状态更新系统的加权和AoI最小化问题，研究年龄无关循环调度，提出解析方法计算平均AoI，给出两源闭式最优解，并提出IS算法构建多源传输模式，性能优于现有方案。
2024-08-14 cs.IT cs.NI math.IT
Minimizing Age of Information in Spatially Distributed Random Access Wireless Networks
我们分析年龄的信息（AoI）在无线网络中，节点使用空间自适应随机接入方案发送状态更新到中央基站。我们表明，在这种情况下，可实现的AoI的集合是凸的，并设计策略，以最小化加权和，最小-最大，并按比例公平AoI通过设置传输概率作为节点位置的函数。我们发现，在捕获模型下，当考虑网络的空间拓扑结构时，AoI可以显着提高，并且我们获得了加权和最小-最大AoI的严格性能界限。最后，我们设计了一个政策，每个节点设置其传输概率只基于自己的距离从基站，当它不知道其他节点的位置，并表明，它收敛到最佳的比例公平的政策，网络的大小趋于无穷大。
2023-01-04 cs.IT cs.NI math.IT
Waiting but not Aging: Optimizing Information Freshness Under the Pull Model
Virginia Tech（弗吉尼亚理工大学）；University of Rhode Island（罗德岛大学）
信息量是衡量信息更新系统及时性的重要指标。在本文中，我们研究了AoI最小化问题下的一个新的拉模型与复制方案，其中用户主动发送一个复制的请求到多个服务器“拉”感兴趣的信息。有趣的是，我们发现，在这个新的拉模型，复制方案捕获一个新的权衡不同的值之间的AoI跨服务器（由于随机更新过程）和不同的响应时间跨服务器，可以利用，以尽量减少预期的AoI在用户的一面。具体来说，假设泊松更新过程的服务器和指数分布的响应时间，我们推导出一个封闭的形式公式计算预期的AoI和获得的最佳数量的响应等待，以尽量减少预期的AoI。然后，我们将我们的分析扩展到用户的目标是最大限度地提高基于AoI的实用程序，这代表了用户的满意度相对于所接收的信息的新鲜度的设置。此外，我们考虑一个更现实的情况下，用户没有系统的先验知识。在这种情况下，我们重新制定的效用最大化问题作为一个随机的多臂强盗问题与侧观察和利用一个特殊的线性结构的侧观察设计学习算法与改进的性能保证。最后，我们进行了广泛的模拟，阐明我们的理论结果和比较不同的算法的性能。我们的研究结果表明，在拉动模型下，等待并不一定会导致老化;在大多数情况下，等待多个响应通常可以显着降低AoI并提高基于AoI的效用。
2022-05-26 cs.LG cs.NI
Minimizing the Age of Two Heterogeneous Sources With Packet Drops Via Cyclic Schedulers
针对共享单信道且存在信道错误的两个异构状态更新源，本文用马尔可夫链精确计算循环调度下的加权平均AoI，并提出生成近优循环调度器的算法。
2024-01-23 cs.IT cs.NI cs.SY
On the Global Optimality of Whittle's index policy for minimizing the age of information
本文研究的平均年龄最小化问题，只有一小部分的网络用户可以同时发送不可靠的信道。在这种情况下，找到最佳调度方案是具有挑战性的。因此，在文献中提出的惠特尔指数政策作为一个低复杂性的启发式的问题。虽然实施起来很简单，但人们认识到，描述这一政策的绩效是一项非常棘手的任务。在续集中，我们提供了一个新的数学方法来建立其最优性在多用户制度的特定网络设置。我们的新方法是基于复杂的技术，与文献中以前的作品不同，它没有任何数学假设。这些研究结果表明，惠特尔的指数政策具有分析证明的AoI最小化问题的渐近最优性。最后，我们列出了数值结果，证实了我们的理论研究结果，并证明了该政策的显着表现在多用户制度。
2021-02-04 cs.IT cs.NI math.IT
Status Updates Through Multicast Networks
使用年龄的信息作为新鲜度的度量，我们研究了一个多播网络中，实时状态更新产生的源和发送到一组$n$感兴趣的接收器。我们表明，为了保持在每个接收器的信息新鲜度，源应终止当前更新的传输，并开始发送一个新的更新数据包，只要它从任何$k$收到的确认回$n$节点。随着源停止阈值$k$增加，节点更有可能获得最新生成的更新，但是最近更新的年龄更有可能变得过时。我们推导出年龄最小化的停止阈值$k$，该阈值平衡了获得最新更新的可能性和对于移位指数链路延迟的最新更新的新鲜度。通过对不同停止策略的数值评估，我们发现等待来自$n$节点中最早的$k$的应答导致比等待预先选择的一组$k$节点更低的平均年龄。我们还观察到，一个适当选择的阈值$k$可以防止信息陈旧的多播网络中的节点数量增加$n$。
2018-09-21 cs.IT cs.NI math.IT
Scheduling Policies for Minimizing Age of Information in Broadcast Wireless Networks
我们考虑一个无线广播网络，其中一个基站通过不可靠的信道向多个客户端发送时间敏感信息。信息年龄（AoI），即自最近交付的数据包生成以来经过的时间量，捕获信息的新鲜度。我们制定了一个离散时间的决策问题，找到一个传输调度策略，最大限度地减少了预期的加权和AOI的客户端在网络中。我们首先表明，在对称网络中的贪婪的政策，传输数据包的最高当前年龄，是最佳的。对于一般的网络，我们开发了三个低复杂度的调度政策：随机化的政策，最大权重的政策和惠特尔的指数政策，并获得性能保证的网络配置的函数。据我们所知，这是第一个工作，以获得性能保证的调度策略，试图尽量减少在无线网络中的AOI不可靠的信道。数值结果表明，最大权重和惠特尔指数策略优于其他调度策略在每一个模拟的配置，并达到接近最优的性能。
2018-01-05 cs.IT cs.NI math.IT
Minimizing Age of Information with Soft Updates
我们考虑信息更新系统，其中信息提供方和信息接收方随着时间进行更新处理。与现有文献不同，现有文献中的更新是可计数的（硬的），可以立即生效，也可以延迟生效，但在这两种情况下都是$instantaneously$，这里的更新立即生效，但$gradually$会随着时间的推移而生效。我们将此设置设置为$soft$ $updates$。当更新过程开始时，年龄减小，直到软更新周期结束。我们限制了信息提供方和信息接收方见面的次数（更新周期的数量）和更新周期的总持续时间。我们考虑两个模型的年龄在更新期间的减少：在第一个模型中，年龄的减少率是成比例的当前年龄，在第二个模型中，年龄的减少率是常数。第一个模型导致指数衰减年龄，第二个模型导致线性衰减年龄。在这两种情况下，我们确定的最佳更新方案，通过确定最佳的开始时间和最佳的持续时间的更新，更新周期的数量和总更新持续时间的约束。
2018-12-19 cs.IT cs.NI cs.SI
Scheduling Algorithms for Minimizing Age of Information in Wireless Broadcast Networks with Random Arrivals: The No-Buffer Case
信息年龄是一个新的网络性能指标，它可以捕捉最终用户的信息新鲜度。本文从调度的角度研究了信息时代。为此，我们考虑一个无线广播网络，其中一个基站（BS）是更新许多用户的随机信息到达下的传输容量约束。对于离线的情况下，到达统计是已知的BS，我们开发了一个结构MDP调度算法和索引调度算法，利用马尔可夫决策过程（MDP）技术和惠特尔的方法不安分的土匪。通过探索最优的结构结果，我们不仅降低了基于MDP算法的计算复杂性，而且简化了推导一个封闭形式的Whittle指数。此外，对于在线的情况下，我们开发了一个基于MDP的在线调度算法和一个基于索引的在线调度算法。结构化MDP调度算法和基于MDP的在线调度算法都渐近地最小化平均年龄，而索引调度算法在所有用户的信息到达率相同时最小化平均年龄。最后，通过大量的数值研究，算法进行了验证。
2018-09-17 cs.IT cs.NI math.IT
Minimizing the Age of Information in Wireless Networks with Stochastic Arrivals
我们考虑一个无线网络的基站服务多个流量流到不同的目的地。来自每个流的分组根据随机过程到达基站，并且在单独的（每个流）队列中排队。分组规则控制每个队列中的哪个分组可用于传输。基站在每个时间t决定哪个流服务于对应的目的地。调度决策的目标是保持目的地的信息最新。信息新鲜度由信息年龄（AoI）度量捕获。在本文中，我们推导出一个下界的AoI性能可实现的任何给定的网络下运行的任何搜索纪律。然后，我们考虑了三个常见的随机化规则，并在每个规则下分别设计了一个最优平稳随机化策略和一个最大权重策略。我们的方法使我们能够评估的综合影响的随机到达，排队纪律和调度政策的AOI。我们评估的AOI性能分析和使用模拟。数值结果表明，最大权策略的性能接近分析下限。
2019-05-16 cs.IT cs.NI math.IT
A Min-plus Model of Age-of-Information with Worst-case and Statistical Bounds
我们认为网络源，生成更新消息与一个定义的速率，我们调查的年龄在接收器的信息。典型的应用是依赖于及时的传感器更新的网络物理系统。我们用网络演算的最小代数来描述信息时代。这有助于各种模型，包括无线信道和随机交叉业务的干扰源，以及分别具有周期性和随机更新的源。我们展示了信息的年龄如何取决于网络服务，例如，无线信道的中断导致延迟。此外，我们的分析表达式显示了两个政权取决于更新率，其中年龄的信息是由充血性延迟或空闲等待占主导地位。我们发现，最佳的更新率达到这两个效果之间的平衡。
2021-12-22 cs.NI cs.PF
Minimizing Age in Gateway Based Update Systems
我们考虑一个网络的状态更新传感器的更新收集和发送到一个监视器的网关。监视器希望从传感器网络获得尽可能新鲜的更新。网关可以轮询传感器的状态更新，也可以将收集到的传感器更新发送到监视器。我们推导出在这种设置下显示器的平均年龄。我们观察到，增加传输到监视器的频率具有将监视器处的传感器年龄重置为较小值的优点。但是，它会增加再次轮询传感器所需的时间。这促使我们调查的政策，固定传感器的网关轮询的数量之前，传输到监视器。对于任何s，我们表明，当传感器传输时间的网关是独立的和相同的分布（iid），独立的，但可能不相同的传输时间的监视器，它是最佳的轮询传感器的最大年龄在网关第一。此外，在简化的假设下，s的最佳值随着传感器数量的平方根而增加。对于不相同的传感器传输时间，我们考虑一个政策，轮询传感器，使由此产生的平均年龄变化最小化。我们比较我们的政策建议与其他政策，在广泛的选择传输时间分布。
2019-06-17 cs.IT cs.NI math.IT
To Skip or to Switch? Minimizing Age of Information under Link Capacity Constraint
考虑这样一种场景：源不断地监视对象，并通过速率受限的链路向目的地发送带时间戳的状态更新。为了衡量在目的地可用的状态信息的“新鲜度”，我们采用了称为信息年龄（AoI）的度量。我们假设所有的更新都是相同大小的，并且根据伯努利过程随机到达源。由于链路容量约束，源需要$d$（$d\geq 2$）时隙来完成更新的传输。因此，当新的更新到达源并且它正在发送另一个更新时，源需要决定是跳过新的到达还是切换到它，以便最小化目的地处的预期平均AoI。我们证明，在一个广泛定义的在线政策类，最优的政策应该是一个更新的政策，并有一个顺序切换属性。然后，我们表明，最佳的决定，源应采取在任何时隙具有多阈值结构，并只取决于年龄的更新被发送和AOI在系统中。然后，通过将问题公式化为马尔可夫决策过程（MDP）来在数字上识别阈值。
2018-07-02 cs.IT cs.NI math.IT
Round-Robin is Provably Near-Optimal for Minimizing Age with HARQ over Heterogeneous Unreliable Multiaccess Channels
在异构不可靠多址接入网络中，其中终端共享具有不同错误概率的公共无线信道，现有工作已经表明，持久轮询（RR-P）调度策略（即，贪婪策略）在标准自动重传请求（ARQ）下的信息年龄（AoI）方面可能任意地比最优差，并且必须求助于Whittle的索引方法来获得最优AoI。在本文中，实际的混合自动重传请求（HARQ）计划，这是广泛使用的，在今天的无线网络被认为是。我们表明，RR-P是非常接近最佳的渐近许多终端在这种情况下，通过显式推导出紧密的，封闭形式的AoI之间的差距，最佳和可实现的AoI RR-P。特别是，它是严格证明，RR-P，在HARQ模型有关衰落信道（分别）。有限嵌段长度区域），与最佳值相比的相对AoI间隙在$(\sqrt{e}-1)^2/4\sqrt{e} \cong 6.4\%$的常数内（相应地，误差指数衰减率为$0.5$的$6.2\%$）。此外，RR-P具有实现简单、通道未知和易于分散操作的明显优势，这使其在实践中非常有利。
2020-10-21 cs.IT cs.NI math.IT
Multiuser Scheduling for Minimizing Age of Information in Uplink MIMO Systems
研究了多用户多输入多输出（MIMO）状态更新系统中的用户调度问题。在该系统中，多个单天线设备通过共享无线信道向多天线信息融合接入点（AP）发送各自的最新状态。在所考虑的系统中的信息新鲜度是量化的最近提出的度量，称为年龄的信息（AoI）。由于AP处的多个天线带来的额外空间自由度，可以允许多个设备在每个时隙中同时发送。我们的目标是寻求最佳的调度策略，可以最大限度地减少网络范围内的AoI最佳决定哪些设备或设备组被调度在每个时隙中的传输给定的所有设备的瞬时AoI值在时隙的开始。为此，我们制定的多用户调度问题作为一个马尔可夫决策过程（MDP）。我们通过解决公式化的MDP问题来获得最优策略，并开发出低复杂度的次优策略。仿真结果表明，提出的最优和次优策略显着优于国家的最先进的基准计划。
2020-02-12 cs.IT cs.NI eess.SP
Fresh-CSMA: A Distributed Protocol for Minimizing Age of Information
本文提出 Fresh-CSMA 分布式协议，在单跳无线网络中以高概率逼近集中式 max-weight 的 AoI 最优调度，并扩展到 AoII 与现实碰撞开销场景。
2023-07-12 cs.IT cs.NI math.IT
Minimizing Task-Oriented Age of Information for Remote Monitoring with Pre-Identification
针对面向任务通信范式缺乏实用度量指标的问题，提出TAoI指标并应用于无线监控系统，通过SMDP建模转化为MDP，提出低复杂度阈值算法，实验验证其性能优于基线方法。
2025-08-20 cs.IT cs.NI math.IT
Joint Age-State Belief is All You Need: Minimizing AoII via Pull-Based Remote Estimation
University of Maryland（马里兰大学）；Bilkent University（毕尔肯大学）
本文针对拉取式远程估计系统，提出利用联合年龄-状态信念作为充分统计量，以最小化错误信息年龄（AoII），并设计了MAP估计器及两种信念依赖策略（深度强化学习和阈值策略）。
2024-11-11 cs.IT cs.LG cs.NI
