Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV based Random Access IoT Networks with NOMA
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）
在本文中，我们应用非正交多址（NOMA）技术来改善无线物联网网络的大规模信道接入，其中太阳能无人机（UAV）将数据从物联网设备中继到远程服务器。具体地，IoT设备使用自适应$p$ -持久时隙Aloha协议来竞争接入共享无线信道;并且太阳能无人机采用连续干扰消除（SIC）来解码来自IoT设备的多个接收数据以提高接入效率。为了实现能量可持续的容量优化网络，我们研究了动态多无人机高度控制和物联网设备的多小区无线信道接入管理的联合问题，作为具有多个能量约束的随机控制问题。为了学习最优控制策略，我们首先将此问题表示为约束马尔可夫决策过程（CMDP），并提出一种基于拉格朗日原对偶策略优化的在线无模型约束深度强化学习（CDRL）算法来求解CMDP。大量的仿真结果表明，我们提出的算法学习无人机之间的合作策略，其中无人机的高度和物联网设备的信道接入概率是动态和联合控制，以获得最大的长期网络容量，同时保持能量的可持续性的无人机。所提出的算法优于基于深度RL的解决方案与奖励塑造占能源成本，并实现了时间平均系统容量，这是$82.4\%$高于一个可行的基于DRL的解决方案，只有$6.47\%$低于能量约束的系统。
2020-02-05 cs.LG cs.NI eess.SP
UAV-Assisted MEC Architecture for Collaborative Task Offloading in Urban IoT Environment
本文提出一种无人机辅助MEC协作架构，通过联合优化任务卸载策略与无人机拓扑，有效提升了城市物联网环境中的用户满意度与服务商利润。
2025-01-31 cs.NI cs.SY eess.SP
Technical Report for A Service-Fair UAV-NOMA System for Large-scale IoT scenarios
在$5$ G通信系统中，将无人机（UAV）与非正交多址（NOMA）技术相结合，可以获得更好的性能。为保证大规模场景下部署的传感器节点通信服务的公平性，采用图论和最小包围算法设计了一种用户调度策略，在通信过程开始前选择通信传感器节点。
2021-08-11 cs.NI
Wireless Powering Internet of Things with UAVs: Challenges and Opportunities
无人机（UAV）有可能克服物联网（IoT）在偏远或农村地区的部署限制。无线供电通信（WPC）可以通过将无线电力传输到IoT设备来解决IoT设备的电池限制。无人机和WPC的集成，即无人机支持的无线供电物联网（Ue-WPIoT）可以将物联网应用从城市扩展到偏远或农村地区。在这篇文章中，我们首先通过说明Ue-WPIoT的工作流程并讨论挑战来介绍Ue-WPIoT的最新概述。然后，我们介绍了实现Ue-WPIoT的使能技术。仿真结果验证了Ue-WPIoT使能技术的有效性。最后，我们概述了未来的方向和开放的问题。
2022-05-09 cs.NI
Reliable and Efficient Data Collection in UAV-based IoT Networks
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本综述聚焦无人机辅助物联网网络的可靠高效数据收集，梳理相关通信组网、收集方法、性能指标与可靠/高效策略，介绍用例并展望未来挑战。
2023-11-09 cs.LG cs.NI cs.SY
UAV Trajectory Planning for AoI-Minimal Data Collection in UAV-Aided IoT Networks by Transformer
University of Saskatchewan（萨斯喀彻温大学）；Cisco Systems Inc.（思科系统公司）；Beijing Institute of Technology（北京理工大学）
本文研究了无人机辅助IoT网络中最小化信息年龄的轨迹规划问题，联合优化悬停点选择与访问顺序，提出基于Transformer和加权A*的机器学习算法，实验表明该模型泛化能力强且能找到更优的最小总AoI轨迹。
2023-11-08 cs.AI cs.NI
Resilient Path Planning for UAVs in Data Collection under Adversarial Attacks
本文研究物联网数据采集中无人机在对抗干扰攻击下的弹性路径规划，提出基于强化学习的防御策略和D3QN抗干扰轨迹优化方法，仿真验证其能有效恢复无人机性能。
2023-12-11 cs.NI eess.SP
Incentivizing Proof-of-Stake Blockchain for Secured Data Collection in UAV-Assisted IoT: A Multi-Agent Reinforcement Learning Approach
物联网（IoT）可以方便地部署，同时为各种应用提供支持，其中IoT节点可以形成集群，共同完成某些任务。在本文中，我们建议使用无人机（UAV）来协助集群物联网数据汇集和基于区块链的安全配置。特别是，无人机基于收集的数据生成候选区块，然后通过基于无人机的区块链网络内的轻量级权益证明共识机制进行审计。为了激励高效的区块链，同时降低运营成本，在活跃的无人机上构建了一个股权池，同时鼓励其他无人机进行股权投资，并分享利润。该问题通过共同研究物联网传输，通过投资和利润分享激励以及无人机部署策略，在单位时间内通过区块链系统实现整体利润最大化。然后，该问题被解决在一个分布式的方式，同时被解耦成两个层。内层包括物联网传输和激励设计，分别采用大系统近似和一领导者-多追随者Stackelberg博弈分析。无人机部署的外层采用多智能体深度确定性策略梯度方法。结果表明，所提出的学习过程和无人机部署的收敛性，也证明了我们的建议相比，基线的性能优越性。
2022-07-06 cs.IT cs.NI math.IT
Enabling End-to-End Secure Connectivity for Low-Power IoT Devices with UAVs
物联网（IoT）技术的普及加强了部署在众多应用领域中的传感器网络的自我监控和自治特性。边缘计算范例的最新发展也使传感器网络的现场处理和管理能力成为可能。在本文中，我们介绍了一种系统模型，该模型可以在低功耗物联网设备和无人机之间实现端到端的安全连接，这有助于管理异构无线传感器网络的数据处理任务。通过仿真结果分析了所提出的解决方案的性能。此外，为了证明所提出的解决方案的实际可用性，使用商业现成的设备的原型实现。
2019-03-14 cs.NI
Robust Multi-Path Communications for UAVs in the Urban IoT
无人机（UAV）系统越来越多地用于广泛的场景和应用中。然而，在城市地区部署这些设备带来了重大的技术挑战。最突出的问题之一是在高度动态和拥挤的频谱中地面站和无人机之间的通信的鲁棒性。事实上，竞争数据流可能会造成局部或暂时的拥塞，损害地面站对UAV的控制。本文的主要贡献是一个强大的多路径通信框架的无人机系统。该框架持续探测从地面站到每个UAV的多个无线多跳路径的性能，并动态选择提供最佳性能的路径以支持及时控制。数值结果，基于现实世界的实施和广泛的现场实验，证明了所提出的框架，以提供强大的控制对外源干扰和网络拥塞的能力。
2018-05-01 cs.NI
Minimization of the Worst-Case Average Energy Consumption in UAV-Assisted IoT Networks
物联网（IoT）为大量需要节能解决方案的设备带来了连接，以应对有限的电池容量、上行链路占主导地位的流量和信道损害。在这项工作中，我们探索使用配备可配置天线的无人机（UAV）作为服务低功耗物联网网络的灵活解决方案。我们制定了一个优化问题，以设置无人机的位置和天线波束宽度，以及物联网设备的发射功率受到平均信号与平均干扰加噪声比（$\bar{\text{S}}\overline{\text{IN}}\text{R}$）服务质量（QoS）约束。我们最大限度地减少后者的最坏情况下的平均能源消耗，从而实现能源资源的最公平分配。这个问题是非凸的，高度非线性的，因此，我们重新制定它作为一系列的三个几何规划，可以迭代求解。结果显示，规划网络相比，随机部署在减少最坏情况下的平均能耗方面的好处。此外，我们表明，目标$\bar{\text{S}}\overline{\text{IN}}\text{R}$受到物联网设备数量的限制，并强调了无人机悬停高度在服务更广泛区域时的主要影响。我们提出的算法在最大限度地减少最耗能的物联网设备的平均能耗和收敛时间方面优于其他优化基准。
2022-02-07 cs.NI
Optimizing Collaborative UAV Networks for Data Efficiency in IoT Ecosystems
本文提出协作式无人机框架，通过自适应功率控制、动态资源分配和启发式路由算法，解决物联网大规模数据采集中NP难的多跳多源传输优化问题，实现99%计算加速且结果偏差低至14%。
2025-04-11 cs.NI
Age of Information Optimization in Laser-charged UAV-assisted IoT Networks: A Multi-agent Deep Reinforcement Learning Method
针对激光充电无人机辅助物联网网络中的信息年龄优化问题，提出结合时序记忆与多智能体协调的MAPPO-TM框架，通过去中心化学习优化无人机轨迹与激光充电策略，实现峰值AoI最高降低15.1%。
2025-07-11 cs.NI
UAV-Based Solution for Extending the Lifetime of IoT Devices: Efficiency, Design and Sustainability
本文提出基于无人机的物联网节点充电方案，通过效率优化与实测验证，实现高效充电并降低生态足迹，适用于中等能量和长寿命（5年以上）的电池供电物联网应用。
2024-03-05 cs.NI
Deep Reinforcement Learning for Fresh Data Collection in UAV-assisted IoT Networks
由于其灵活性和低运营成本，派遣无人机（UAV）从分布式传感器收集信息有望成为物联网（IoT）中一种有前途的解决方案，特别是对于时间关键型应用。如何保持信息的新鲜度是一个具有挑战性的问题。在本文中，我们研究了无人机辅助物联网网络中的新鲜数据汇集问题。特别地，UAV飞向传感器以在给定持续时间内收集状态更新分组，同时保持非负剩余能量。我们制定了一个马尔可夫决策过程（MDP），以找到最佳的飞行轨迹的无人机和传感器的传输调度，最大限度地减少信息的年龄（AoI）的加权和。为克服维数灾难，提出了一种基于深度强化学习（DRL）的无人机辅助数据汇集算法。大量的仿真结果表明，建议的DRL为基础的算法可以显着降低AoI的加权和相比，其他基线算法。
2020-03-01 cs.IT cs.NI math.IT
Fast or Slow: An Autonomous Speed Control Approach for UAV-assisted IoT Data Collection Networks
无人机（UAV）凭借其出色的灵活性、移动性和低运营成本，已成为物联网数据汇集网络的有效解决方案。然而，由于数据汇集过程中的能量有限和不确定性，速度控制是优化无人机采集器能量使用效率和性能的最重要因素之一。这项工作的目的是开发一种新的自主速度控制方法来解决这个问题。为此，我们首先制定的动态速度控制任务的无人机作为一个马尔可夫决策过程，考虑到它的能量状态和位置。这样就可以采用Q-学习算法来获得无人机的最优速度控制策略。为了进一步提高系统性能，我们开发了一种高效的深度决斗双Q-学习算法，利用深度神经网络的突出特点以及先进的决斗架构，快速稳定学习过程，获得最优策略。通过仿真结果，我们表明，我们提出的解决方案可以实现高达40%以上的性能相比，其他传统方法。重要的是，仿真结果还揭示了无人机的能量和充电时间对系统性能的显着影响。
2020-11-12 cs.NI
Multi-Objective Optimization for UAV Swarm-Assisted IoT with Virtual Antenna Arrays
针对无人机辅助物联网数据收集与传播中的高能耗、高时间成本及窃听威胁问题，提出一种基于群智能的多目标优化算法，通过在IoT和UAV中引入协作波束成形，在低计算复杂度下实现了任务时间、窃听信号强度和能耗的多目标优化。
2023-08-03 cs.NE cs.NI
Reinforcement Learning-Based Deadline and Battery-Aware Offloading in Smart Farm IoT-UAV Networks
安装有基站的无人机（UAV）是一种很有前途的智能农场监控技术。它们可以为广大的农业地区提供通信和计算服务。在多路访问边缘计算基础设施的帮助下，空中基站（ABS）网络可以为需要处理由现场部署的物联网设备提供的最后期限关键任务的智能农场提供节能解决方案。在本文中，我们介绍了一个多目标最大化问题和Q学习的方法，旨在处理这些任务的截止日期之前，同时考虑到无人机的悬停时间。我们还提出了三个启发式基线来评估我们的方法的性能。此外，我们引入一个整数线性规划（ILP）模型来定义我们的目标函数的上界。结果表明，Q-Learning在剩余能量水平和延迟违规百分比方面优于基线。
2022-02-12 cs.NI
Energy-Efficient UAV-Assisted IoT Data Collection via TSP-Based Solution Space Reduction
Deakin University（迪肯大学）
针对无人机辅助大范围 IoT 传感器数据采集，本文证明 TSP 变体的最优航点位于通信范围边界，并据此提出低复杂度算法，联合优化飞行距离与通信范围以最小化总能耗。
2023-06-02 cs.AI cs.NI
Aerial Energy Provisioning for Massive Energy-Constrained IoT by UAVs
设备的自主性是许多物联网（IoT）应用中的一个主要挑战，特别是当节点远程部署或难以评估位置时。在本文中，我们提出了一种方法来提供能源，这些设备的无人机（UAV）。因此，提出了两个主要挑战，即找到节点和对节点充电。我们提出了一个模型，给能量受限的节点一个无限的自主权，考虑无线功率传输（WPT）链路和电池容量。选择最合适的电池技术可以减少电池容量和浪费。此外，现有IoT节点的升级是可行的，对设计和形状因子的影响有限。
2022-01-04 cs.NI cs.SY eess.SY
Aerial UAV-IoT Sensing for Ubiquitous Immersive Communication and Virtual Human Teleportation
我们考虑无人机物联网空中传感，为远程用户提供多个VR/AR沉浸式通信会话。无人机群在空间上分布在一个广阔的感兴趣区域，每个无人机捕获其下方场景的一个视点。远程用户对特定子区域/感兴趣场景的视觉沉浸式导航感兴趣，根据捕获的数据在各自的VR/AR设备上重建。在用户处的沉浸式场景表示的重建质量将取决于与每个UAV相关联的采样/感测速率。由于物理/传输容量限制，UAV群可以采样并向用户发送的数据总量有限。类似地，每个VR/AR应用程序对其自己的会话具有最低重建质量要求。我们提出了一个优化框架，在这种情况下，使三个贡献。首先，我们选择每个无人机使用的最佳采样率，使得不超过系统和应用约束，同时最大化所有VR/AR会话的优先级加权重建质量。然后，我们设计了一个最佳的可扩展的源信道信号表示，灌输到捕获的数据固有的速率自适应性，不平等的错误保护，和最低限度的冗余。最后，通过使用小形状因子多波束定向天线和跨可缩放信号表示层的最佳功率/链路调度来增强UAV传输效率。我们的实验证明了传统的视觉传感方法的竞争优势。这是一项对具有广泛社会影响的新兴应用的首次研究。
2017-07-21 cs.NI
Battery-constrained Federated Edge Learning in UAV-enabled IoT for B5G/6G Networks
在本文中，我们研究了如何从深度强化学习（DRL）方法中优化B5G/6G网络的无人机物联网（IoT）中的联邦边缘学习（FEEL）。联邦学习是一种有效的框架，可以在分散的边缘设备或服务器之间训练共享模型，而无需交换原始数据，这有助于保护数据隐私。在支持无人机的物联网网络中，延迟和能耗是限制FEEL性能的两个重要指标。虽然大多数现有的工作已经研究了如何减少延迟和提高能量效率，很少有工作已经调查了有限的电池在设备上的FEEL的影响。受此启发，我们研究了电池受限的FEEL，其中无人机可以调整其运行CPU频率以延长电池寿命并避免过早退出联邦学习训练。我们通过在时变环境中联合分配计算资源和无线带宽来优化系统。为了解决这个优化问题，我们采用了深度确定性策略梯度（DDPG）为基础的策略，其中的延迟和能量消耗的线性组合被用来评估系统成本。仿真结果表明，该策略优于传统的策略。特别是，它使所有设备都能在有限的电池下完成所有的FEEL循环，同时有效地降低了系统成本。
2021-01-29 cs.NI
Average Peak Age-of-Information Minimization in UAV-assisted IoT Networks
出于确保及时提供信息的需要（例如，状态更新），本文研究了无人机（UAV）作为移动中继的作用，以最小化源-目的地对的平均峰值信息量（PAoI）。对于这种设置，我们制定了一个优化问题，以共同优化无人机的飞行轨迹以及数据包传输的能量和服务时间分配。为了解决这个非凸问题，我们提出了一个有效的迭代算法，并建立其收敛性分析。对一些子问题也给出了封闭解。在此过程中，我们解决的子问题之一是联合优化的能量和服务时间分配为一个给定的轨迹的无人机。这个问题本身就很有趣，因为在某些情况下，我们可能无法根据物联网设备的位置改变无人机的轨迹（特别是当其主要任务是其他任务时）。我们的数值结果量化的增益，可以通过额外优化无人机的轨迹。
2018-12-21 cs.IT cs.NI math.IT
Low-Altitude UAV-Carried Movable Antenna for Joint Wireless Power Transfer and Covert Communications
针对低空无人机WPT的视距信道易暴露数据的问题，提出无人机载可移动天线的WPT与隐蔽通信联合系统及MoE-SAC算法，在多目标优化下实现能量传输与隐蔽通信性能提升，优于基线和现有深度强化学习方法。
2025-10-30 cs.NI eess.SP
Resource Optimization in UAV-assisted IoT Networks: The Role of Generative AI
本文研究生成式AI在无人机辅助物联网网络资源优化中的应用，通过公共安全案例展示其提升实时决策和训练数据的能力，并讨论挑战与未来方向。
2024-05-06 cs.NI cs.SY eess.SY
CURE: Enabling RF Energy Harvesting using Cell-Free Massive MIMO UAVs Assisted by RIS
不断发展的物联网（IoT）导致了众多无线传感器的增长，通过互联网基础设施进行通信。在设计使用这些传感器的网络时，一个关键方面是这些设备的寿命和自我可持续性。为了延长这些传感器的寿命，射频能量收集（RFEH）技术已被证明是有前途的。在本文中，我们提出了CURE，这是一种新的RFEH框架，有效地结合了无小区大规模MIMO（CFmMIMO），无人机（UAV）和可重新配置智能表面（RIS）的优点，为物联网设备提供无缝的能量收集。我们认为无人机作为一个接入点（AP）在CFmMIMO框架。为了增强RFEH的信号强度和信息传输，我们利用了RISs的被动反射能力。基于广泛的模拟，我们验证我们的框架的性能，通过比较最大最小公平性（MMF）算法的收获的能量。
2021-07-22 cs.NI eess.SP
Optimizing Age of Trust and Throughput in Multi-Hop UAV-Aided IoT Networks
本文针对太阳能供电的多跳无人机辅助物联网网络，提出基于深度强化学习的无人机充电计划与设备证明选择优化方案，显著降低信任年龄和吞吐量损失。
2025-07-05 cs.AI cs.LG cs.NI
TRUAV: Distributed Multi-Agent Reinforcement Learning for Trajectory Planning and Routing Enhancement in UAV-Aided IoT-Enabled VANETs
Hangzhou International Innovation Institute of Beihang University（北京航空航天大学杭州国际创新研究院）；School of Automation Science and Electrical Engineering at Beihang University（北京航空航天大学自动化科学与电气工程学院）；State Key Laboratory of Intelligent Manufacturing Systems Technology（智能制造系统技术国家重点实验室）；School of Transportation, Southeast University（东南大学交通学院）；Digital Health Research Center, Haihe Lab of ITAI（海河信息技术与人工智能实验室数字健康研究中心）；School of Cyber Science, Nankai University（南开大学网络空间科学学院）；China-SCO Digital Intelligence Applications (DIA) Joint Laboratory（中国-上海合作组织数字智能应用联合实验室）；College of Engineering, Abu Dhabi University（阿布扎比大学工程学院）；Faculty of Engineering and Architecture, Nisantasi University（尼桑塔西大学工程与建筑学院）；School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）
研究无人机辅助车联网中轨迹规划与路由增强问题，提出基于独立表格Q学习的分布式多智能体强化学习框架TRUAV，其智能体依局部信息运行，奖励设计兼顾多种因素，模拟显示该框架在多方面表现良好，还讨论了相关挑战与方向。
2026-07-28 cs.LG cs.NI
UAV Swarm-enabled Collaborative Secure Relay Communications with Time-domain Colluding Eavesdropper
针对时域合谋窃听威胁下的物联网安全通信问题，提出无人机蜂群协同中继方案，构建多目标优化问题并设计改进多目标蝗虫算法求解，仿真验证了策略有效性与算法优越性。
2023-10-03 cs.NE cs.NI
To Risk or Not to Risk: Learning with Risk Quantification for IoT Task Offloading in UAVs
University of Ottawa（渥太华大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对智能农场物联网（IoT）环境下多接入边缘计算（MEC）辅助无人机（UAV）网络的任务卸载决策算法，提出了一种深度强化学习技术。任务卸载技术使用金融概念，如成本函数和条件风险变量（CVaR），以量化每个风险行为可能造成的损害。该方法能够量化潜在的风险，以训练强化学习代理，以避免将导致农场不可逆转的后果的风险行为。这些后果包括未被发现的火灾、虫害或无人机无法使用。将所提出的基于CVaR的技术与其他深度强化学习技术和两种固定的基于规则的技术进行了比较。仿真结果表明，基于CVaR的风险量化方法消除了最危险的风险，这是超过火灾探测任务的最后期限。因此，它减少了违反最后期限的总数，而能源消耗的增加微不足道。
2023-02-14 cs.AI cs.LG cs.NI
Heterogeneous GNN-RL Based Task Offloading for UAV-aided Smart Agriculture
针对无人机辅助智慧农业中的物联网任务卸载问题，提出基于图神经网络的强化学习方法，以降低截止时间违约、延长无人机任务时间并提升拓扑变化与故障场景下的鲁棒性。
2023-06-08 cs.NI
Indoor UAV Navigation to a Rayleigh Fading Source Using Q-Learning
无人机（UAV）可用于定位受害者，提供急救，并在搜索/救援和公共安全场景期间保持与受害者和第一响应者的无线连接。在这封信中，我们考虑了将无人机导航到瑞利衰落无线信号源的问题，例如室内环境中受害者拥有的智能手表和其他可穿戴设备等物联网（IoT）设备。假设源发射RF信号，并且Q-学习算法用于将UAV导航到源附近。我们的结果表明，Q-学习算法的时间平均窗口和探索速率可以被优化，以实现无人机到物联网设备的最快导航。因此，Q学习以更小的收敛时间实现了最佳性能。
2017-05-29 cs.NI
Traffic Learning and Proactive UAV Trajectory Planning for Data Uplink in Markovian IoT Models
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对 IoT 数据上行的信息年龄与能耗问题，提出基于 Markov 流量预测和 DRL 的多 UAV 轨迹与调度联合优化框架，性能优于 RW 基线。
2024-01-24 cs.AI cs.LG cs.NI
Green UAV-enabled Internet-of-Things Network with AI-assisted NOMA for Disaster Management
针对灾害区域物联网上行通信，本文提出无人机中继NOMA网络，结合k-medoids、轮廓分析与迭代功率优化，以低复杂度提升设备能效并降低能耗。
2024-06-14 cs.NI cs.SY eess.SY
Towards Big data processing in IoT: Path Planning and Resource Management of UAV Base Stations in Mobile-Edge Computing System
数据负载大、覆盖范围广一直是物联网在线数据处理的关键问题。最近，移动边缘计算（MEC）和无人机基站（UAV-BS）已经成为物联网中有前途的技术。本文提出了一种基于MEC技术的三层在线数据处理网络。在底层，原始数据由广泛分布的传感器生成，反映了本地信息。在它们上面，无人机基站（UAV-BS）被部署为移动MEC服务器，收集数据并进行数据处理的初始步骤。在它们之上，中心云接收处理结果并进行进一步评估。由于这是一个在线数据处理系统，边缘节点应该稳定延迟，以确保数据的新鲜度。此外，有限的机载能量对边缘处理能力造成限制。为了智能地管理网络资源以节省能量和稳定延迟，我们开发了一种基于李雅普诺夫优化的在线确定策略。在低数据率的情况下，倾向于降低边缘处理器频率以节省能量。在存在高数据率的情况下，它将智能地分配用于边缘数据卸载的带宽。同时，悬停式无人机基站带来了大范围、灵活的服务覆盖，这就带来了有效的路径规划问题。在本文中，我们应用深度强化学习，并开发了一个在线路径规划算法。以周围环境的观察作为输入，训练CNN网络来预测每个动作的奖励。通过仿真，我们验证了它在提高服务覆盖率的有效性。其结果将有助于未来物联网中的大数据处理。
2019-06-12 cs.IT cs.NI cs.SY
RIS-assisted Data Collection and Wireless Power Transfer in Low-altitude Wireless Networks
本研究针对低空无线网络中物联网设备能量受限和信道质量差的问题，提出RIS辅助的无人机数据采集与无线功率传输系统，通过联合优化RIS相移、无人机轨迹、充电时间和设备调度，并采用AO-IPDQN深度强化学习算法，最小化信息年龄和无人机能耗，仿真验证了其优越性能。
2025-09-24 cs.NI
Lifelong Learning for Minimizing Age of Information in Internet of Things Networks
在本文中，终身学习问题的物联网（IoT）系统进行了研究。在所考虑的模型中，每个IoT设备旨在通过在动态环境下控制其在每个时隙的计算资源分配来平衡其信息新鲜度和能量消耗折衷。无人机（UAV）被部署为飞行基站，以便使物联网设备能够适应新的环境。为此，提出了一种由UAV使用的新的终身强化学习算法，以便在UAV每次访问时适应设备的操作。通过使用来自先前访问过的设备和环境的经验，UAV可以帮助设备更快地适应其环境的未来状态。为此，在UAV处维护由所有设备共享的知识库。仿真结果表明，该算法可以收敛$25\%$到$50\%$速度比策略梯度基线算法，优化每个设备的决策问题在隔离。
2021-03-29 cs.NI
Aeronautical Data Aggregation and Field Estimation in IoT Networks: Hovering & Traveling Time Dilemma of UAVs
下一个信息革命时代将依赖于从广泛分布在我们环境中的大量设备中聚合大数据。这些设备中的大多数预计将是低复杂性，低成本和有限的电源，这对网络操作施加了严格的约束。在这方面，本文研究了通过无人机（UAV）从有限空间域的航空数据聚合和场估计。无人机不是通过无线节点将数据融合、中继和路由到固定位置的接入点，而是飞越现场并收集两个重要任务所需的数据：数据汇总和现场评估。为了完成这些任务，感兴趣的领域被划分为几个子区域，无人机悬停在这些子区域上以从底层节点收集样本。为此，我们制定和解决一个优化问题，以尽量减少总的悬停和旅行时间的每个任务。虽然前者需要从现场收集规定的平均数量的样本，但后者确保对于给定的现场空间相关模型，现场值的平均均方估计误差在任何点都不超过预定阈值。通过优化子区域的数量、每个子区域的面积、悬停位置、每个位置处的悬停时间以及悬停位置之间的轨迹来实现这些目标。所提出的配方被证明是np-hard混合整数问题，因此，提出了一个解耦的启发式解决方案。结果表明，存在一个最佳数量的子区域，平衡悬停和旅行时间之间的权衡，使收集所需的样本的总时间最小化。
2019-05-31 cs.NI
Optimizing Energy and Data Collection in UAV-aided IoT Networks using Attention-based Multi-Objective Reinforcement Learning
Advanced Wireless Technology Lab, Paris Research Center, Huawei Technologies France（华为法国技术有限公司巴黎研究中心先进无线技术实验室）；EURECOM, Sophia Antipolis, France（埃鲁科姆法国索菲亚安蒂波利斯分部）；Communication Systems Department, EURECOM, Sophia Antipolis, France（埃鲁科姆法国索菲亚安蒂波利斯分部通信系统部）；Dept. of Computer Science and Artificial Intelligence, University of Granada, Spain（Granada大学计算机科学与人工智能系）
本文提出一种基于注意力的多目标强化学习方法，用于优化无人机辅助物联网网络中的能耗与数据采集，通过单一模型实现动态场景适应，提升性能与泛化能力。
2026-01-20 cs.LG cs.NI
