Age Minimization in Massive IoT via UAV Swarm: A Multi-agent Reinforcement Learning Approach
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对无人机集群服务大规模物联网带来的高维决策问题,本文采用多智能体深度强化学习最小化全网信息年龄,并证明协作与部分协作方案优于集中式方法。
2023-09-26 cs.AI cs.LG
Enhanced Pub/Sub Communications for Massive IoT Traffic with SARSA Reinforcement Learning
Salvador University (UNIFACS)(萨尔瓦多大学(UNIFACS));University of Paris-Saclay(巴黎萨克雷大学)
传感器正在广泛部署,预计在未来几年将以显著的速度扩展。它们通常会在物联网(IoT)应用领域生成大量数据,如智能城市,智能交通系统,智能电网和电子健康。云计算、边缘计算和雾计算是收集、处理和分发物联网数据的潜在竞争策略。然而,基于云、边缘和雾的解决方案需要通过受限和有限资源的网络基础设施有效地解决大量物联网数据的分发问题。针对在通信资源(带宽)有限的网络中传输海量物联网数据的问题,提出了一种基于强化学习(RL)和SARSA算法的认知通信资源分配方法。拟议的网络基础设施(PSioTRL)使用发布/订阅架构来访问大量和高度分布式的物联网数据。结果表明,基于SARSA的PSioTRL缓冲区刷新带宽分配提高了IoT聚合器缓冲区占用率和网络链路利用率。PSioTRL根据发布/订阅主题的优先级和网络约束要求动态调整IoT聚合器流量刷新。
2021-01-03 cs.AI cs.LG cs.NI
Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学);China University of Petroleum(中国石油大学)
物联网设备附近的雾节点有望通过将物联网设备的任务卸载到它们来提供低延迟服务。移动物联网由车辆、可穿戴设备和智能手机等移动物联网设备组成。由于时变的信道条件、业务负载和计算负载,提高移动IoT设备的服务质量(QoS)具有挑战性。由于任务延迟由传输延迟和计算延迟组成,我们研究了资源分配(即,包括无线资源和计算资源),以在满足QoS约束的同时最小化所有任务的延迟。我们将资源分配问题转化为一个整数非线性问题,其中既考虑了无线资源,又考虑了计算资源。由于物联网任务是动态的,不同任务的资源分配是相互耦合的,并且获得未来的信息是不切实际的。为此,我们设计了一种在线强化学习算法,根据系统的经验回放数据,实时的做出次优决策。所设计的算法的性能已被广泛的仿真结果所证明。
2020-07-10 cs.DC cs.LG eess.SP
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University(迪肯大学);University of Sydney(悉尼大学)
我们开发了一个新的框架,用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型,这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外,我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
FaiR-IoT: Fairness-aware Human-in-the-Loop Reinforcement Learning for Harnessing Human Variability in Personalized IoT
University of California, Irvine(加州大学欧文分校)
由于可穿戴技术的快速发展,监测复杂的人类环境变得可行,为开发人在环物联网系统铺平了道路,这些系统可以自然进化以自主适应人类和环境状态。然而,设计这种个性化物联网应用程序的一个核心挑战来自人类的可变性。这种可变性源于以下事实:不同的人在与IoT应用交互时表现出不同的行为(人内可变性),同一个人在与同一个IoT应用交互时可能会随着时间的推移而改变行为(人间可变性),并且人类行为可能会受到同一环境中其他人的行为的影响(多人可变性)。为此,我们提出了FaiR-IoT,这是一个基于强化学习的通用框架,用于自适应和公平感知的人在环物联网应用。在FaiR-IoT中,三个级别的强化学习代理相互作用,以不断学习人类偏好,并最大限度地提高系统的性能和公平性,同时考虑到人类内部,人类之间和多人的可变性。我们验证了两个应用程序,即(i)人在环汽车高级驾驶辅助系统和(ii)人在环智能家居提出的框架。在这两个应用程序上获得的结果验证了FaiR-IoT的通用性及其提供个性化体验的能力,同时与非个性化系统相比,将系统性能提高了40%-60%,并将多人系统的公平性提高了1.5个数量级。
2021-03-30 cs.LG cs.MA
Dynamic Energy Dispatch Based on Deep Reinforcement Learning in IoT-Driven Smart Isolated Microgrids
本文针对物联网驱动的智能孤立微电网能量调度问题,提出有限时域深度确定性策略梯度和有限时域循环确定性策略梯度两种DRL算法,并通过真实数据验证其在不确定条件下的性能优势。
2020-11-16 cs.LG eess.SP stat.ML
Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges
物联网(IoT)将互联网连接扩展到全球数十亿个IoT设备中,其中IoT设备收集和共享信息以反映物理世界的状态。另一方面,自主控制系统(ACS)在没有外部干预的情况下在延长的时间段内对物理系统执行控制功能。物联网和ACS的融合产生了一个新的概念-自主物联网(AIoT)。传感器收集有关系统状态的信息,基于此,物联网设备中的智能代理以及边缘/雾/云服务器为执行器做出控制决策。为了实现自主性,一种有前途的方法是智能代理利用人工智能领域的技术,特别是强化学习(RL)和深度强化学习(DRL)进行决策。在本文中,我们首先提供了一个教程的DRL,然后提出了一个通用模型的RL/DRL在AIoT中的应用。接下来,对AIoT的DRL的最新研究进行了全面的调查,其中现有的工作在所提出的通用DRL模型的保护伞下进行了分类和总结。最后,确定了未来研究的挑战和开放问题。
2020-04-13 cs.LG stat.ML
RIS-assisted UAV Communications for IoT with Wireless Power Transfer Using Deep Reinforcement Learning
Queen’s University Belfast(贝尔法斯特女王大学);HoChiMinh City University of Technology and Education(胡志明市工业与教育大学);Princeton University(普林斯顿大学)
物联网(IoT)应用中使用的许多设备都是能量有限的,因此在为IoT设备提供能量的同时保持无缝连接是非常重要的。在这种情况下,我们提出了一种同时无线电力传输和信息传输方案的物联网设备的支持下,从可重构智能表面(RIS)辅助无人机(UAV)通信。具体地,在第一阶段中,IoT设备通过无线电力传输从UAV获取能量;然后在第二阶段中,UAV通过信息传输从IoT设备收集数据。为了提高无人机的敏捷性,我们考虑了两种情况:悬停无人机和移动无人机。以最大化网络总速率为目标,我们联合优化了无人机的轨迹、物联网设备的能量收集调度以及RIS的相移矩阵。我们制定了一个马尔可夫决策过程,并提出了两个深度强化学习算法来解决最大化总网络和率的优化问题。数值结果表明,与其他基准计划相比,我们提出的技术的无人机的飞行路径优化和网络的吞吐量的有效性。考虑到RIS和UAV的严格要求,处理时间和吞吐量性能的显着改善表明,我们提出的方案非常适用于实际的物联网应用。
2021-08-05 cs.GT cs.LG eess.SP
Voting-Based Multi-Agent Reinforcement Learning for Intelligent IoT
Key Lab of Universal Wireless Communications, Ministry of Education Beijing University of Posts and Telecommunications(北京邮电大学教育部泛在无线通信重点实验室);Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理系);Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系);Shenzhen Research Institute of Big Data and The Chinese University of Hong Kong, Shenzhen(深圳市大数据研究院与香港中文大学(深圳))
近年来,单智能体强化学习(RL)在物联网(IoT)系统中取得了巨大的成功,从而激发了多智能体强化学习(MARL)的研究。MARL在大规模IoT系统中更具挑战性,但更有用。在本文中,我们考虑了一个基于投票的MARL问题,其中代理人投票进行群体决策,目标是最大化全局平均收益。为此,我们制定的MARL问题的基础上的线性规划形式的政策优化问题,并提出了一个分布式的原始-对偶算法来获得最优解。我们还提出了一种投票机制,通过该机制,分布式学习实现了与集中式学习相同的次线性收敛速度。换句话说,分布式决策并不会减缓在最优性上达成全局共识的过程。最后,我们通过数值模拟验证了我们提出的算法的收敛性,并在实际的多智能体物联网系统中进行了案例研究。
2020-08-29 cs.AI cs.LG stat.ML
Age-Aware Status Update Control for Energy Harvesting IoT Sensors via Reinforcement Learning
University of Oulu(奥卢大学);Linköping University(林雪平大学)
我们考虑一个物联网传感网络,其中包含多个用户、多个能量收集传感器和一个无线边缘节点,该节点充当用户和传感器之间的网关。用户请求更新物理过程的值,每个过程由一个传感器测量。边缘节点具有存储来自每个传感器的最近接收的测量的高速缓存存储。收到请求后,边缘节点可以命令相应的传感器发送状态更新,或者使用缓存中的数据。我们的目标是找到边缘节点的最佳行动,以最小化的平均长期成本之间的权衡信息和能源消耗的年龄。我们提出了一种实用的强化学习方法,可以在不知道传感器确切电池电量的情况下找到最优策略。
2020-04-27 cs.AI cs.LG eess.SP
tinyMAN: Lightweight Energy Manager using Reinforcement Learning for Energy Harvesting Wearable IoT Devices
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
低功耗电子和机器学习技术的进步导致了许多新颖的可穿戴物联网设备。这些设备的电池容量和计算能力有限。因此,从环境源收集能量是为这些低能量可穿戴设备供电的有前途的解决方案。他们需要最佳地管理收集的能量,以实现能源中性操作,从而消除充电要求。由于目标设备的采集能量的动态性质和电池能量约束,最佳能量管理是一项具有挑战性的任务。为了应对这一挑战,我们提出了一个基于强化学习的能源管理框架tinyMAN,用于资源受限的可穿戴物联网设备。该框架在动态能量收集模式和电池约束下最大化目标设备的利用率。此外,tinyMAN不依赖于对收获能量的预测,这使得它成为一种无预测的方法。我们使用TensorFlow Lite for Micro在可穿戴设备原型上部署了tinyMAN,这要归功于其不到100 KB的小内存占用。我们的评估表明,tinyMAN实现小于2.36 ms和27.75 $μ$ J,同时保持高达45%的更高的效用相比,以前的方法。
2022-03-18 cs.LG eess.SP
A reinforcement learning approach to improve communication performance and energy utilization in fog-based IoT
Trinity College Dublin(都柏林圣三一学院)
最近的研究表明,使用可用的移动雾设备(如智能手机,无人机,家用和工业机器人)作为中继的潜力,以尽量减少传感器和目的地设备之间的通信中断,其中本地化的物联网服务(例如,制造过程控制、健康和安全监控)。然而,这些移动中继在移动和传输到遥远的目的地时消耗能量。因此,中继设备的功率控制机制和智能移动性对于提高通信性能和能量利用率至关重要。在本文中,我们提出了一种基于Q学习的分散式方法,其中每个移动雾中继代理(MFRA)是由一个自主智能体,使用强化学习,同时提高通信性能和能源利用率控制。每个自主智能体基于来自目的地的反馈和其自身的能量水平来学习是保持活跃并转发消息,还是在该传输阶段变得被动。我们通过与集中式方法进行比较来评估该方法,并观察到,在较少数量的MFRA的情况下,我们的方法能够确保可靠的数据传输,并将总体能源成本降低56.76%-88.03%。
2021-06-01 cs.LG cs.NI eess.SP
Towards Learning-automation IoT Attack Detection through Reinforcement Learning
University of California(加利福尼亚大学);ARM Research(ARM研究院)
随着物联网(IoT)设备的大量部署,IoT中的安全和隐私问题引起了越来越多的关注。物联网攻击给物联网网络造成了巨大的损失,甚至威胁到人类的安全。与传统网络相比,物联网网络具有独特的特点,这使得攻击检测更具挑战性。首先,平台、协议、软件和硬件的异构性暴露了各种漏洞。其次,除了传统的高速率攻击外,低速率攻击也被物联网攻击者广泛用于混淆合法和恶意流量。这些低速率攻击很难检测到,并且可能在网络中持续存在。最后,攻击者正在变得更加智能,并且可以根据环境反馈动态地改变他们的攻击策略以避免被检测到,这使得防御者更难发现一致的模式来识别攻击。为了适应物联网攻击的新特点,提出了一种基于强化学习的攻击检测模型,能够自动学习和识别攻击模式的变化。因此,我们可以在更少的人为干预下持续检测物联网攻击。在本文中,我们探索了物联网流量的关键特征,并利用基于熵的指标来检测高速率和低速率的物联网攻击。然后,利用强化学习技术,根据检测反馈不断调整攻击检测阈值,优化检测和虚警率。我们对真实的物联网攻击数据集进行了广泛的实验,并证明了我们的物联网攻击检测框架的有效性。
2020-06-29 cs.AI cs.CR cs.LG
(DEMO) Deep Reinforcement Learning Based Resource Allocation in Distributed IoT Systems
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生学校,电子通信大学)
本文针对分布式物联网系统中真实数据训练DRL模型的不足,提出一种利用ACK反馈在实际环境中训练DRL模型进行信道选择的新框架,并通过帧成功率评估验证其可行性与有效性。
2025-09-21 cs.AI cs.LG
Multi-agent Reinforcement Learning for Resource Allocation in IoT networks with Edge Computing
Queen Mary University of London(伦敦玛丽女王大学);University of Surrey(萨里大学)
为了支持虚拟现实、手机游戏和可穿戴设备等流行的物联网应用,边缘计算提供了一种低延迟的集中式云计算前端分布式计算原型。然而,由于最终用户对频谱和计算资源的大量需求以及对无线电接入技术(RAT)的频繁请求,因此卸载计算对于他们来说具有挑战性。本文将物联网边缘计算网络中的计算卸载机制与资源分配进行了研究,将其描述为一个随机博弈。这里,每个终端用户是学习代理,其观察其本地环境以学习关于本地计算或边缘计算的最优决策,其目标是通过选择其发射功率电平、RAT和子信道来最小化长期系统成本,而不知道其他最终用户的任何信息。因此,一个多智能体强化学习框架的发展,以解决随机博弈与建议的独立学习者为基础的多智能体Q-学习(IL-基于MA-Q)算法。仿真结果表明,所提出的基于IL的MA-Q算法能够有效地解决该问题,并且与其他两种基准算法相比,在集中式网关处不需要额外的信道估计开销的情况下,具有更高的能量效率。
2020-04-05 cs.LG eess.SP
LEACH-RLC: Enhancing IoT Data Transmission with Optimized Clustering and Reinforcement Learning
Technical University of Denmark(丹麦技术大学);Universidad Nacional de Colombia(哥伦比亚国立大学)
针对物联网中无线传感器网络能耗高、分簇协议控制开销大等问题,提出集成MILP簇选择与强化学习时机优化的LEACH-RLC协议,仿真验证其可延长网络寿命、降低能耗与控制开销。
2025-03-14 cs.LG cs.NI
Deep Reinforcement Learning for Delay-Oriented IoT Task Scheduling in Space-Air-Ground Integrated Network
University of Waterloo(滑铁卢大学);Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学);Central South University(中南大学);Xidian University(西安电子科技大学)
本文研究了面向延迟的物联网(IoT)服务的空-空-地一体化网络(SAGIN)中的计算任务调度问题。在所考虑的场景中,无人机(UAV)从IoT设备收集计算任务,然后做出在线卸载决策,其中任务可以在UAV处处理或卸载到附近的基站或远程卫星。我们的目标是设计一个任务调度策略,最大限度地减少卸载和计算延迟的所有任务给定的无人机能量容量约束。为此,我们首先制定了一个能量约束马尔可夫决策过程(MDP)的在线调度问题。然后,考虑到任务到达动态,我们开发了一种新的深度风险敏感的强化学习算法。具体地说,该算法评估的风险,这措施的能源消耗,超过了约束,为每个状态和搜索的最佳参数权衡延迟和风险的最小化,同时学习的最优策略。大量的仿真结果表明,在满足无人机能量容量约束的前提下,与概率配置方法相比,该算法可将任务处理延迟降低30%。
2020-10-04 cs.LG eess.SP
Reinforcement Learning for Protocol Synthesis in Resource-Constrained Wireless Sensor and IoT Networks
Michigan State University(密歇根州立大学)
本文探讨了使用强化学习(RL)进行在线协议合成的概念。该研究是在具有超低复杂度无线收发器的传感器和物联网网络的背景下进行的。本文介绍了在不同的网络和业务条件下,使用RL和多臂强盗(MAB),RL的一种特殊类型,媒体访问控制(MAC)。然后,它介绍了一种新的学习为基础的协议合成框架,解决特定的困难和限制,在随机接入和时隙网络的介质访问。该机制不依赖于载波侦听、网络时间同步、冲突检测和其他低级复杂操作,因此非常适合用于资源受限的传感器和物联网网络中的超简单收发器硬件。此外,由节点独立的协议学习的能力使得系统鲁棒性和自适应网络和业务条件的变化。它表明,节点可以被训练来学习,以避免冲突,并实现网络吞吐量,相当于ALOHA基于接入协议的传感器和物联网网络与最简单的收发器硬件。它也表明,使用RL,它是可行的,可以在高流量负载,这是不可行的ALOHA为基础的系统,以综合接入协议,可以维持网络吞吐量。该系统的能力,以提供吞吐量的公平性下的网络和流量的异质性也被实验证明。
2023-01-14 cs.AI cs.LG cs.NI
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM(EURECOM研究所);Technical University of Munich(慕尼黑工业大学)
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题,提出模型辅助联邦QMIX算法,交替构建含信道特性与设备位置的环境模型并开展联邦训练,可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Semi-supervised Deep Reinforcement Learning in Support of IoT and Smart City Services
Western Michigan University(西密歇根大学);University of Idaho(爱达荷大学)
智能服务是智慧城市和物联网(IoT)生态系统的重要组成部分,其中服务背后的智能通过传感数据获得和改进。提供大量的训练数据并不总是可行的;因此,我们需要考虑合并未标记数据的替代方法。近年来,深度强化学习(Deep Reinforcement Learning,DRL)在多个应用领域取得了巨大的成功。这是一种适用于物联网和智慧城市场景的方法,其中自动生成的数据可以部分地通过用户的反馈进行标记以用于培训目的。在本文中,我们提出了一种适合智慧城市应用的半监督深度强化学习模型,因为它同时消耗标记和未标记的数据,以提高学习代理的性能和准确性。该模型利用变分自编码器(VAE)作为推理引擎,用于推广最优策略。据我们所知,该模型是第一次将深度强化学习扩展到半监督范式的研究。作为智慧城市应用的案例研究,我们专注于智能建筑,并将所提出的模型应用于基于BLE信号强度的室内定位问题。室内定位是智慧城市服务的主要组成部分,因为人们在室内环境中花费大量时间。我们的模型学习了最佳的行动策略,导致对目标位置的接近估计,与监督DRL模型相比,到目标的距离提高了23%,收到的奖励至少增加了67%。
2018-10-09 cs.AI cs.LG cs.NI
Joint Cluster Head Selection and Trajectory Planning in UAV-Aided IoT Networks by Reinforcement Learning with Sequential Model
University of Saskatchewan(萨斯喀彻温大学);Cisco Systems Inc.(思科系统公司)
采用无人机(UAV)吸引了越来越多的兴趣,并成为物联网(IoT)网络中数据收集的最先进技术。在本文中,与最小化的总能耗的UAV-IoT系统的目标,我们制定的问题,联合设计无人机的轨迹和选择簇头在物联网网络作为一个约束的组合优化问题,这是属于NP难和具有挑战性的解决。我们提出了一种新的深度强化学习(DRL)与序列模型策略,可以有效地学习由序列到序列神经网络表示的无人机的轨迹设计在无监督的方式。通过大量的仿真,所获得的结果表明,所提出的DRL方法可以找到无人机的轨迹,需要更少的能量消耗相比,其他基线算法,并实现接近最佳的性能。此外,仿真结果表明,我们提出的DRL算法训练的模型具有良好的泛化能力,以更大的问题规模,而无需重新训练的模型。
2021-12-01 cs.LG cs.SY eess.SY
The Fusion of Deep Reinforcement Learning and Edge Computing for Real-time Monitoring and Control Optimization in IoT Environments
Northern Arizona University(北亚利桑那大学);University of Electronic Science and Technology of China(电子科技大学);Trine University(特莱恩大学);Yantai University(烟台大学);Northwestern University(西北大学)
针对工业物联网实时控制需求,本文提出融合深度强化学习与边缘计算的优化控制系统,通过云边协同部署轻量策略网络和动态资源分配,降低延迟、提升稳定性并节省维护成本。
2024-02-28 cs.AI cs.LG cs.NI
Enhancing IoT Intelligence: A Transformer-based Reinforcement Learning Methodology
Aqaba University of Technology(阿卡巴理工大学);Concordia University(康考迪亚大学);Khalifa University(哈利法大学);The University of Jordan(约旦大学);Applied Science Private University(应用科学私立大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学)
针对传统 RL 难以处理 IoT 复杂异构数据的问题,提出融合 Transformer 与 PPO 的框架,并在多类 IoT 场景中验证其决策效率与适应性优势。
2024-04-05 cs.AI cs.LG
Coordinated Random Access for Industrial IoT With Correlated Traffic By Reinforcement-Learning
University of Padova(帕多瓦大学)
我们提出了一种用于工业物联网(IIoT)场景的协调随机接入方案,其中机器类型设备(MTD)生成零星的相关流量。这发生在,例如,当外部事件同时触发多个MTD的数据生成时。时间被划分为帧,每个帧被划分为时隙,并且每个MTD随机选择一个时隙用于(重传)传输,其中概率密度函数(PDF)特定于MTD和当前重传的数量。PDF被局部优化以最小化分组冲突的概率。优化问题被建模为一个重复的马尔可夫博弈与不完全信息,和线性奖励不作为算法用于在每个MTD,可证明收敛到一个确定性的(次优)时隙分配。我们比较我们的解决方案与时隙ALOHA和最小最大成对相关随机接入方案,表明我们的方法实现了较高的网络吞吐量与中等的流量强度。
2021-09-17 cs.LG cs.MA cs.NI
Medium Access using Distributed Reinforcement Learning for IoTs with Low-Complexity Wireless Transceivers
Michigan State University(密歇根州立大学)
本文提出了一种基于分布式强化学习(RL)的框架,该框架可用于在具有低复杂度无线收发器的物联网网络中合成MAC层无线协议。所提出的框架不依赖于复杂的硬件功能,例如载波侦听及其相关的算法复杂性,这些功能在低成本和低能耗物联网设备的无线收发器中通常不受支持。在这个框架中,访问协议首先制定为马尔可夫决策过程(MDP),然后使用RL解决。一个分布式和多Agent RL框架被用作协议合成的基础。分布式行为使得节点独立地学习最优传输策略,而不必依赖于完整的网络级信息和其他节点行为的直接知识。节点学习最小化分组冲突,使得可以针对高于用于IoT设备的已知基准协议(诸如ALOHA)的负载条件获得和维持最佳吞吐量,而无需复杂的收发器。此外,观察到的节点能够学习最佳的行为在异构负载和网络拓扑条件的存在下。最后,所提出的学习方法允许无线带宽以不依赖于这种异质性的方式在网络节点之间公平地分布。通过仿真实验,本文展示了学习范式的性能和它的能力,使节点适应他们的最佳传输策略,在飞行中响应各种网络动态。
2021-04-29 cs.DC cs.LG cs.NI
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University(庆南大学);Sejong University(世宗大学)
本文针对云-边-端IoT网络动态调度任务,提出基于联邦强化学习的协作策略学习框架,通过聚合边缘经验构建中心策略,显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
Intelligent Communication Planning for Constrained Environmental IoT Sensing with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Caltech(加州理工学院);UMass-Amherst(马萨诸塞大学阿默斯特分校)
针对功率和带宽受限的物联网传感器通信规划问题,提出多智能体强化学习方法学习环境数据时空相关性以减少冗余报告,在未知带宽限制下有效平衡数据收集与预测精度。
2023-08-19 cs.LG cs.MA cs.SY
Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach
University of Electronic Science and Technology of China(电子科技大学);Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局信息通信研究院)
本文研究了一种由主无人机(MUAV)供电的物联网(IoT)网络,其中我们建议使用配备智能反射表面(IRS)的可充电辅助无人机(AUAV)来增强MUAV的通信信号,并利用MUAV作为充电电源。在所提出的模型下,我们研究了这些能量有限的无人机的最佳协作策略,以最大限度地提高物联网网络的累积吞吐量。根据两个无人机之间是否有充电,两个优化问题制定。为了解决这些问题,提出了两种多智能体深度强化学习(DRL)方法,即集中训练多智能体深度确定性策略梯度(CT-MADDPG)和多智能体深度确定性策略选项评判(MADDPOC)。仿真结果表明,CT-MADDPG可以大大降低对无人机硬件计算能力的要求,MADDPOC能够支持连续动作域的低层次多Agent协作学习,与现有的基于选项的层次DRL只支持单Agent学习和离散动作相比具有很大的优势.
2021-12-20 cs.LG cs.SY eess.SY
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学);Beijing Jiaotong University(北京交通大学)
工业物联网(IoT)设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络(DNN)推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率,是最小化服务延迟的关键。在本文中,我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性,我们制定了一个约束马尔可夫决策过程(CMDP)的问题。具体而言,采样率自适应,推理任务卸载和边缘计算资源分配被联合考虑,以最小化平均服务延迟,同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习(RL)算法由于棘手的长期约束,我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后,提出了一种基于深度RL的算法来求解MDP。为了加快训练过程,在该算法中嵌入了优化子程序,直接获得最优的边缘计算资源分配。大量的仿真结果表明,所提出的基于RL的算法可以显着降低平均服务延迟,同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning
本文提出DeFRiS框架,通过去中心化联邦强化学习解决物联网应用在异构孤岛间协作调度中的隐私保护与效率问题,实验表明其在响应时间、能耗和延迟风险方面均有显著提升。
2026-03-16 cs.DC cs.LG
Autonomous Resource Management in Construction Companies Using Deep Reinforcement Learning Based on IoT
Art University of Tehran(德黑兰艺术大学);University of Tabriz(大不里士大学);Morgan State University(摩根州立大学);Old Dominion University(奥尔多明尼安大学)
资源分配是工程项目规划中最关键的问题之一,因为它直接影响到成本、时间和质量。根据项目目标,通常有特定的自主资源管理分配方法。然而,在整个施工组织中,资源利用的综合规划和优化是稀缺的。本研究的目的是提出一种基于深度强化学习(DRL)的建筑公司自动资源分配结构,可用于各种情况。在这种结构中,数据收集(DH)从公司项目中的分布式物联网(IoT)传感器设备收集资源信息,以用于自主资源管理方法。然后,将覆盖资源分配(CRA)与从DH获得的信息进行比较,其中自主资源管理(ARM)确定感兴趣的项目。同样,具有类似模型的双深度Q网络(DDQN)基于公司的结构化资源信息在两种不同的分配情况下进行训练,以平衡目标与资源约束。在本文中建议的技术可以有效地调整到大型资源管理系统相结合的投资组合信息与采用个别项目信息。详细分析了重要信息处理参数对资源分配性能的影响。此外,管理方法的普遍性的结果,表明不需要额外的培训时,情况的变量变化。
2022-09-06 cs.CV cs.LG
Competitive Algorithms and Reinforcement Learning for NOMA in IoT Networks
研究了基于非正交多址接入(NOMA)技术的超五代(B5G)网络中大规模物联网接入问题。该问题涉及大量IoT设备分组和功率分配,以便尊重IoT设备的低延迟以及有限的操作能量。所考虑的目标函数,最大化成功接收的IoT分组的数量,不同于经典的和速率相关的目标函数。首先将问题划分为多个NOMA分组子问题。然后,利用竞争分析,提出了一个有效的在线竞争算法(CA)来解决每个子问题。接下来,为了解决功率分配问题,我们提出了一个新的强化学习(RL)框架,在该框架中,RL代理学习使用CA作为黑盒,并将获得的解决方案结合到每个子问题,以确定每个NOMA组的功率分配。我们的模拟结果表明,所提出的创新RL框架优于深度Q学习方法,并且接近最优。
2022-01-28 cs.NI eess.SP
Edge Computing for IoT
本章概述了物联网的边缘计算范式,深入探讨了基于边缘计算的物联网架构、优势及关键技术,并通过医疗、制造等领域的案例研究讨论了当前挑战与未来方向。
2024-02-20 cs.NI eess.SP
A Deep Reinforcement Learning Approach for Improving Age of Information in Mission-Critical IoT
本文提出一种基于深度强化学习的算法,通过actor-critic方法优化调度策略,最小化平均AoI与超限概率的加权和,显著改善了任务关键型IoT应用中的信息年龄。
2023-11-23 cs.NI eess.SP
Resource Allocation in Uplink NOMA-IoT Networks: A Reinforcement-Learning Approach
非正交多址接入(NOMA)利用电力域的潜力来增强物联网(IoT)的连接性。由于通信信道随时间变化,动态用户聚类是提高NOMA-IoT网络吞吐量的一种很有前途的方法。提出了一种适用于NOMA-IoT通信上行链路的智能资源分配方案。为了最大限度地提高和率的平均性能,这项工作设计了一个有效的优化方法的基础上两个强化学习算法,即深度强化学习(DRL)和SARSA学习。对于轻交通,SARSA学习被用来探索最安全的资源分配策略,以低成本。对于繁忙的交通,DRL用于处理交通引入的巨大变量。借助于所考虑的方法,这项工作解决了NOMA技术中公平资源分配的两个主要问题:1)动态分配用户和2)平衡资源块和网络流量。我们分析表明,收敛速度是成反比的网络规模。数值结果表明:1)与最优基准方案相比,所提出的DRL和SARSA-学习算法具有较低的复杂度和可接受的精度; 2)NOMA使能的IoT网络在系统吞吐量方面优于传统的基于正交多址的IoT网络。
2021-03-08 cs.IT eess.SP math.IT
Sensing, Computing, and Communication for Energy Harvesting IoTs: A Survey
随着物联网(IoT)基础设施在各种应用中的部署数量不断增加,电池维护已成为此类基础设施可持续性的主要限制。为了克服这个问题,能量收集为自主供电的物联网设备提供了一种可行的替代方案,导致近年来市场上出现了许多无电池能量收集物联网(或EH-IoT)。标准活动也在进行中,其中涉及适合EH-IoT的无线协议设计以及各种能量收集方法的测试程序。尽管早期的商业和标准活动,物联网传感,计算和不可预测的电源下的通信仍然面临着重大的研究挑战。本文从几个角度系统地综述了EH-IoT的最新进展。首先,它回顾了EH-IoT在产品和服务方面的最新商业发展,然后是该领域的初步标准活动。然后,它调查的方法,使使用能量收集硬件作为传统传感器的代理,以节能的方式检测上下文。接下来,它回顾了间歇供电的物联网设备在有效检查点和计时方面的进步。我们还调查了EH-IoT的新型无线通信技术的最新研究,例如强化学习在不可预测的能源生产下动态优化功率分配的应用,以及用于能源匮乏环境的无分组物联网通信和反向散射通信技术。本文最后讨论了未来的研究方向。
2019-12-24 cs.NI eess.SP
Federated Learning in Mobile Edge Computing: An Edge-Learning Perspective for Beyond 5G
Virginia Tech(弗吉尼亚理工大学)
由于当今运行的大量物联网设备的大量感测数据,对这些数据进行操作的集中式机器学习算法会导致无法忍受的训练时间,因此无法满足延迟敏感推理应用的要求。通过在网络边缘提供计算资源,移动边缘计算(MEC)已经成为一种有前途的技术,能够与分布式物联网设备协作,以促进联合学习,从而实现实时训练。然而,考虑到大量的感知数据以及边缘服务器和物联网设备的有限资源,确保延迟敏感训练任务的训练效率和准确性具有挑战性。因此,在本文中,我们设计了一种新的边缘计算辅助联邦学习框架,其中考虑了物联网设备和边缘服务器之间的通信约束以及各种物联网设备对训练精度的影响。一方面,我们采用机器学习方法实时动态配置通信资源,以加速物联网设备与边缘服务器之间的交互,从而提高联邦学习的训练效率。另一方面,由于各种IoT设备具有不同的训练数据集,这些训练数据集对在边缘服务器处导出的全局模型的准确性具有不同的影响,因此设计了IoT设备选择方案以在边缘服务器处的资源约束下提高训练准确性。已经进行了大量的模拟,以证明所介绍的边缘计算辅助联邦学习框架的性能。
2020-07-15 cs.LG eess.SP
Cyber-Storms Come from Clouds: Security of Cloud Computing in the IoT Era
物联网(IoT)正在迅速改变我们的社会,使每个“事物”都连接到互联网,使计算前所未有地普及。这种连接和数据收集的海啸越来越依赖于云,数据分析和智能实际上存在于云。云计算确实彻底改变了计算资源和服务的使用和访问方式,实现了效用计算的概念,其优势对于每个企业来说都是不可否认的。然而,尽管在灵活性、经济节约和支持新服务方面有好处,但其广泛采用受到其使用所产生的安全问题的阻碍。从安全的角度来看,物联网和云计算带来的技术革命可能是一场灾难,因为每个对象都可能成为固有的远程黑客攻击对象,因此可以被恶意行为者控制。虽然文献主要关注物联网和云计算作为独立实体的安全性,但在本文中,我们提供了物联网时代云计算安全问题的最新和结构良好的调查。我们清楚地了解安全问题发生的位置及其潜在影响。因此,我们声称保护物联网设备是不够的,因为网络风暴来自云。
2019-01-28 eess.SP
Integrating Communication, Sensing and Computing in Satellite Internet of Things: Challenges and Opportunities
本文针对卫星物联网资源受限和动态环境问题,提出通信、感知与计算联合设计思路,综述融合增强系统能力的最新方案,并指出亟待解决的关键挑战。
2023-12-03 eess.SP
Resource Allocation for Edge Computing in IoT Networks via Reinforcement Learning
在本文中,我们考虑物联网(IoT)网络中边缘计算的资源分配。具体来说,每个终端设备都被认为是一个代理,它决定是否将计算任务卸载到边缘设备。为了最小化包括功耗和任务执行延迟的长期加权和成本,我们考虑终端设备和网关之间的信道条件,计算任务队列以及终端设备的剩余计算资源作为网络状态。在终端设备处做出一系列决策的问题被建模为马尔可夫决策过程,并通过强化学习方法来解决。因此,我们提出了一种基于Q学习的近优任务卸载算法。仿真结果验证了该算法的可行性,与边缘计算和本地计算模式相比,该算法在功耗和任务执行延迟之间实现了更好的权衡。
2019-03-05 eess.SP
Hierarchical Aerial Computing for Internet of Things via Cooperation of HAPs and UAVs
随着计算需求的爆炸性增长,多访问边缘计算(MEC)范式作为一种有效的机制出现。此外,对于需要MEC服务的灾害或偏远地区的物联网(IoT),无人机(UAV)和高空平台(HAP)可为这些IoT设备提供空中计算服务。本文开发了由HAP和无人机组成的分层空中计算框架,为各种物联网应用提供MEC服务。特别地,该问题被公式化为最大化由空中MEC平台计算的总IoT数据,受限于IoT的延迟要求以及UAV和HAP的多个资源约束,这是一个整数规划问题并且难以解决。由于穷举搜索的复杂性,我们通过提出基于匹配博弈论的算法来处理从物联网设备到无人机的卸载决策,以及无人机和HAP之间的卸载决策的启发式算法来处理这个问题。通过外部性消除机制来解决匹配中不同物联网设备之间相互作用的外部效应。此外,还提出了一种调整算法,以最大限度地利用空中资源。分析了算法的复杂度,并通过大量的仿真实验验证了算法的有效性,最后通过仿真结果分析了系统的性能。
2022-02-12 cs.NI eess.SP
An Edge Computing Paradigm for Massive IoT Connectivity over High-Altitude Platform Networks
随着物联网(IoT)时代的到来,设备和新兴应用的数量不断增加,引发了对无处不在的连接和更高效的计算模式的需求。这些严格的要求对当前的无线网络及其计算架构提出了重大挑战。在本文中,我们提出了一种支持高空平台(HAP)网络的边缘计算范例,以解决大规模物联网连接的关键问题。具体来说,我们首先全面概述了基于非陆地网络的边缘计算架构的最新进展。然后从网络结构、随机接入过程和多址接入技术等方面分析了现有解决方案的局限性。为了克服这些局限性,我们提出了一种启用HAP的空中无蜂窝大规模多输入多输出网络来实现边缘计算范式,其中多个HAP通过边缘服务器合作为物联网设备提供服务。对于大量设备的情况,我们进一步采用免授权的大规模访问方案,以保证低延迟和高效率的大规模物联网连接到网络。最后,通过一个实例验证了该方法的有效性.最后,为了阐明HAP网络支持的边缘计算范例的未来研究方向,讨论了关键挑战和开放问题。
2021-06-25 cs.IT cs.NI eess.SP
RIS-Assisted Jamming Rejection and Path Planning for UAV-Borne IoT Platform: A New Deep Reinforcement Learning Framework
本文提出了一种新的基于深度强化学习(DRL)的方法,用于物联网(IoT)应用的无人机(UAV)的轨迹规划和干扰抑制。干扰可以阻止感测数据的及时传送和操作指令的接收。在可重构智能表面(RIS)的辅助下,我们提出了增强无线电环境,抑制干扰信号,并增强所需的信号。无人机设计成仅基于其接收数据速率的变化来学习其轨迹和RIS配置,使用最新的深度确定性策略梯度(DDPG)和双延迟DDPG(TD3)模型。仿真结果表明,提出的DRL算法具有较强的抗干扰能力,TD3算法比DDPG算法具有更快、更平滑的收敛速度,更适用于大的无人机。这种基于DRL的方法消除了对涉及RIS和干扰机的信道的知识的需要,从而提供了重要的实用价值。
2023-02-10 eess.SP
Cross-layer Design for Mission-Critical IoT in Mobile Edge Computing Systems
在这项工作中,我们提出了一个跨层框架,用于优化移动边缘计算(MEC)系统中具有短数据包的关键任务物联网(MC-IoT)服务的用户关联,数据包卸载速率和带宽分配,其中具有长数据包的增强型移动宽带(eMBB)服务被认为是后台服务。为了减少通信延迟,无线接入网采用第五代新无线电。为了避免来自MC-IoT的短分组的长延迟,在MEC系统中部署处理器共享(PS)服务器,其中服务器的服务速率被均等地分配给缓冲区中的所有分组。我们推导出短数据包所经历的延迟分布的封闭形式,并尽量减少整体数据包丢失概率受到端到端的延迟要求。为了解决非凸优化问题,我们提出了一种算法,当eMBB服务的吞吐量远高于MC-IoT服务时,该算法收敛到近最优解,并将其扩展到更一般的场景。此外,我们在两种渐近情况下得出了最优解:通信或计算是可靠性的瓶颈。仿真和数值结果验证了我们的分析,并表明PS服务器优于先到先服务服务器。
2019-06-26 cs.NI eess.SP
Edge Computing in IoT: A 6G Perspective
边缘计算是实现超越5G(B5 G)和6 G网络的关键驱动力之一。由于未来网络的业务量和计算需求的空前增长,多接入(或移动)边缘计算(MEC)被认为是在更接近最终用户的无线电接入网络(RAN)内提供云计算能力的有前途的解决方案。关于MEC及其潜在应用的研究已经有了大量的研究,但是很少有人提到MEC部署的关键因素,以满足未来应用的不同需求。在本文中,我们介绍了B5 G/6 G网络中边缘部署的关键考虑因素,包括边缘架构、服务器位置和容量、用户密度、安全性等,并在未来的B5 G/6 G网络中进一步提供最先进的以边缘为中心的服务。本文还提出了基于边缘的服务部署的实验评估,包括视频转码和深度学习推理。最后,我们提出了一些有趣的见解和6 G网络边缘计算的开放研究问题。
2022-05-15 cs.NI eess.SP
Secure Computation Offloading in Blockchain based IoT Networks with Deep Reinforcement Learning
对于当前和未来的物联网(IoT)网络,移动边缘云计算卸载(MECCO)已被视为支持延迟敏感的IoT应用的有前途的手段。然而,将移动任务卸载到云容易受到恶意移动设备(MD)的安全问题的影响。如何在移动边缘云中实现卸载以减轻MD的计算负担,同时保证高安全性是一个具有挑战性的问题。在本文中,我们同时研究了多用户MECCO系统中的安全性和计算卸载问题。首先,为了提高卸载安全性,我们提出了一种使用区块链的可信访问控制,可以保护云资源免受非法卸载行为的影响。然后,为了解决授权MD的计算管理,我们通过联合优化卸载决策,计算资源和无线电带宽的分配以及智能合约的使用来制定计算卸载问题。该优化问题旨在最小化所有MD之间的延迟,能耗和智能合约费用的长期系统成本。为了解决所提出的卸载问题,我们开发了一种使用双重决斗Q网络的高级深度强化学习算法。真实实验和数值模拟的评估结果表明,我们的计划比现有的方法显着的优势。
2021-08-20 eess.SP
Joint Speed Control and Energy Replenishment Optimization for UAV-assisted IoT Data Collection with Deep Reinforcement Transfer Learning
无人机辅助数据汇集由于其灵活性、机动性和低运营成本而成为一种突出的应用。然而,在物联网数据汇集和能量补充过程的动态和不确定性下,优化无人机采集器的性能是一项非常具有挑战性的任务。因此,本文介绍了一种新的框架,联合优化飞行速度和能量补充,为每个无人机显着提高数据汇集性能。具体来说,我们首先开发一个马尔科夫决策过程,帮助无人机在环境的动态性和不确定性下自动动态地做出最佳决策。然后,我们提出了一种高效的强化学习算法,利用深度Q学习,双深度Q学习和深度决斗神经网络架构,以快速获得无人机的最优策略。该算法的核心思想是同时独立估计状态值和动作优势值,并采用双估计器估计动作值。因此,这些建议的技术可以稳定的学习过程,并有效地解决传统的Q-学习算法的高估问题。为了进一步缩短学习时间并显着提高学习质量,我们开发了先进的迁移学习技术,允许无人机“共享”和“迁移”学习知识。大量的仿真表明,我们提出的解决方案可以提高系统的平均数据汇集性能高达200%,与现有的方法相比。
2021-06-19 cs.NI eess.SP
iGateLink: A Gateway Library for Linking IoT, Edge, Fog and Cloud Computing Environments
近年来,物联网(IoT)越来越受欢迎,物联网网关扮演着越来越重要的角色,调解了大量异构物联网设备和云服务之间的交互。在本文中,我们介绍了iGateLink,这是一个开源的Android库,可以简化Android应用程序的开发,作为物联网设备和边缘/雾/云计算环境之间的网关。由于其可插拔的设计,提供与作为数据源或雾/云框架的许多设备的连接的模块可以很容易地重复用于不同的应用程序。在两个案例研究中使用iGateLink复制了医疗保健和图像处理领域的先前工作,与使用传统方法相比,该库被证明在适应不同场景和加速网关应用程序开发方面是有效的。
2019-11-16 cs.DC cs.SE eess.SP
Multi-Functional RIS-Enabled in SAGIN for IoT: A Hybrid Deep Reinforcement Learning Approach with Compressed Twin-Models
本文提出一种混合深度强化学习方法与压缩双模型,用于优化SAGIN中MF-RIS的多功能性能,提升物联网设备的长期能量效率。
2025-10-13 cs.AI eess.SP
Deep Reinforcement Learning-Aided Random Access
我们考虑由接入点(AP)和K个物联网(IoT)节点组成的系统模型,这些节点偶尔变得活跃以便向AP发送数据。假设AP具有N个时间-频率资源块,其可以分配给希望发送数据的IoT节点,其中N < K。主要问题是如何在每个时隙中将N个时频资源块分配给IoT节点,使得平均分组速率最大化。针对这个问题,我们提出了一种深度强化学习(DRL)辅助随机接入(RA)方案,其中AP处的智能DRL代理学习预测每个时隙中物联网节点的活动,并向预测为活动的物联网节点授予时频资源块。接下来,被DRL代理误分类为非活动的IoT节点以及小区中看不见的或新到达的节点采用标准RA方案,以便获得时频资源块。我们利用专业知识更快地培训DRL代理。我们的数值计算结果表明,在平均数据包速率方面的显着改善时,建议的DRL辅助RA计划相比,在实践中使用的现有解决方案,标准的RA计划。
2020-04-05 cs.IT eess.SP math.IT
Intelligent User Association for Symbiotic Radio Networks using Deep Reinforcement Learning
在本文中,我们感兴趣的是共生无线电网络,其中物联网(IoT)网络寄生在主网络中,以实现频谱,能源和基础设施高效的通信。具体地,BS使用时分多址接入(TDMA)来服务多个蜂窝用户,并且每个IoT设备与一个蜂窝用户相关联以用于信息传输。我们专注于用户关联问题,其目标是通过最大化所有物联网设备的总速率将每个物联网设备链接到适当的蜂窝用户。然而,在获得完整的实时信道信息的困难,这使得它很难设计一个最优的策略,这个问题。为了克服这个问题,我们提出了两种深度强化学习(DRL)算法,它们都使用历史信息来推断当前信息,以便做出适当的决策。其中一种算法是集中式DRL,它利用全局信息同时为所有物联网设备做出决策。另一种算法是分布式DRL,它使用本地信息一次只为一个IoT设备做出决定。仿真结果表明,作为最优的用户关联策略,两种DRL算法的性能相当,且分布式DRL算法具有可扩展性的优势。
2019-05-10 cs.IT eess.SP math.IT
Reinforcement Learning-Based Policy Optimisation For Heterogeneous Radio Access
该研究针对异构无线网络中时延受限物联网设备与宽带用户共存的资源分配问题,提出基于双Q学习的强化学习方法优化物联网传输策略,在两种接入场景下均提升时延性能并保障宽带业务性能。
2025-06-18 eess.SP
DMRO:A Deep Meta Reinforcement Learning-based Task Offloading Framework for Edge-Cloud Computing
随着移动数据的不断增长和对计算能力的前所未有的需求,资源受限的边缘设备无法有效满足物联网(IoT)应用和深度神经网络(DNN)计算的要求。边缘卸载作为一种分布式计算范式,将复杂的任务从物联网设备迁移到边缘云服务器,可以突破物联网设备的资源限制,减轻计算负担,提高任务处理效率。然而,最优卸载决策问题是NP难问题,传统的优化方法难以有效地获得结果。此外,现有的深度学习方法还存在一些缺点,例如,学习速度慢,环境变化时原有网络参数失效。为了应对这些挑战,我们提出了一种基于深度Meta强化学习的卸载(DMRO)算法,该算法将多个并行DNN与Q学习相结合,以做出细粒度的卸载决策。通过聚合深度学习的感知能力、强化学习的决策能力和元学习的快速环境学习能力,可以快速灵活地从物联网环境中获取最优卸载策略。仿真结果表明,与Deep Q-学习算法相比,该算法具有明显的性能提升,即使在时变的物联网环境中,也能实时做出卸载决策,具有较强的可移植性。
2020-08-23 cs.DC eess.SP
Reinforcement Learning based Multi-Access Control and Battery Prediction with Energy Harvesting in IoT Systems
能量收集(EH)是实现物联网(IoT)系统长期和自我可持续运行的一种有前途的技术。在本文中,我们研究了小小区物联网系统中的联合接入控制和电池预测问题,该系统包括多个EH用户设备(UE)和一个基站(BS),具有有限的上行链路接入信道。每个UE具有有限容量的可再充电电池。系统控制被建模为一个马尔可夫决策过程没有完整的先验知识假设在BS,这也涉及到大尺寸的状态和动作空间。首先,为了处理假设因果电池和信道状态信息的接入控制问题,我们提出了一种调度算法,该算法基于具有深度Q网络(DQN)增强的强化学习(RL)来最大化上行链路传输和速率。其次,对于电池预测问题,采用固定的循环访问控制策略,我们开发了一种基于RL的算法,以最大限度地减少预测损失(误差),而无需任何关于能源和能源到达过程的模型知识。最后,研究了联合访问控制和电池预测问题,其中我们提出了一个两层RL网络来同时处理最大化和速率和最小化预测损失:第一层用于电池预测,第二层基于第一层的输出生成访问策略。实验结果表明,与已有的基准测试相比,本文提出的三种强化学习算法具有更好的性能。
2018-09-21 cs.IT eess.SP math.IT