A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University(迪肯大学);University of Sydney(悉尼大学)
我们开发了一个新的框架,用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型,这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外,我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Age Minimization in Massive IoT via UAV Swarm: A Multi-agent Reinforcement Learning Approach
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对无人机集群服务大规模物联网带来的高维决策问题,本文采用多智能体深度强化学习最小化全网信息年龄,并证明协作与部分协作方案优于集中式方法。
2023-09-26 cs.AI cs.LG
RIS-assisted UAV Communications for IoT with Wireless Power Transfer Using Deep Reinforcement Learning
Queen’s University Belfast(贝尔法斯特女王大学);HoChiMinh City University of Technology and Education(胡志明市工业与教育大学);Princeton University(普林斯顿大学)
物联网(IoT)应用中使用的许多设备都是能量有限的,因此在为IoT设备提供能量的同时保持无缝连接是非常重要的。在这种情况下,我们提出了一种同时无线电力传输和信息传输方案的物联网设备的支持下,从可重构智能表面(RIS)辅助无人机(UAV)通信。具体地,在第一阶段中,IoT设备通过无线电力传输从UAV获取能量;然后在第二阶段中,UAV通过信息传输从IoT设备收集数据。为了提高无人机的敏捷性,我们考虑了两种情况:悬停无人机和移动无人机。以最大化网络总速率为目标,我们联合优化了无人机的轨迹、物联网设备的能量收集调度以及RIS的相移矩阵。我们制定了一个马尔可夫决策过程,并提出了两个深度强化学习算法来解决最大化总网络和率的优化问题。数值结果表明,与其他基准计划相比,我们提出的技术的无人机的飞行路径优化和网络的吞吐量的有效性。考虑到RIS和UAV的严格要求,处理时间和吞吐量性能的显着改善表明,我们提出的方案非常适用于实际的物联网应用。
2021-08-05 cs.GT cs.LG eess.SP
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game
Bar-Ilan University(巴伊兰大学);Nanyang Technological University(南洋理工大学);University of Houston(休斯顿大学);Kyung Hee University(庆熙大学)
我们研究了一个分散的信道分配问题,在一个ad-hoc物联网网络的基础上授权给一个主要的蜂窝网络的频谱。在所考虑的网络中,IoT设备上贫乏的信道感测/探测能力和计算资源使得它们难以获取共享的多个信道的详细信道状态信息(CSI)。在实践中,主用户的传输活动的未知模式和时变CSI(例如,由于小规模衰落或设备移动性)也引起信道质量的随机变化。因此,去中心化物联网链路需要基于部分观测在线学习信道条件,同时不获取有关其未运行信道的信息。它们还必须在有限协调的情况下达成高效、无冲突的信道分配解决方案。我们的研究映射到一个上下文多人,多武装土匪游戏,并提出了一个纯粹的分散,三阶段的策略学习算法,通过试错。理论分析表明,所提出的方案保证物联网链路联合收敛到具有次线性(即,多对数)遗憾的是,相对于操作时间。仿真结果表明,它罢工之间的效率和网络的可扩展性与其他国家的最先进的分散式强盗算法相比,很好的平衡。
2021-07-01 cs.LG cs.MA cs.NI
Age-Aware Status Update Control for Energy Harvesting IoT Sensors via Reinforcement Learning
University of Oulu(奥卢大学);Linköping University(林雪平大学)
我们考虑一个物联网传感网络,其中包含多个用户、多个能量收集传感器和一个无线边缘节点,该节点充当用户和传感器之间的网关。用户请求更新物理过程的值,每个过程由一个传感器测量。边缘节点具有存储来自每个传感器的最近接收的测量的高速缓存存储。收到请求后,边缘节点可以命令相应的传感器发送状态更新,或者使用缓存中的数据。我们的目标是找到边缘节点的最佳行动,以最小化的平均长期成本之间的权衡信息和能源消耗的年龄。我们提出了一种实用的强化学习方法,可以在不知道传感器确切电池电量的情况下找到最优策略。
2020-04-27 cs.AI cs.LG eess.SP
FaiR-IoT: Fairness-aware Human-in-the-Loop Reinforcement Learning for Harnessing Human Variability in Personalized IoT
University of California, Irvine(加州大学欧文分校)
由于可穿戴技术的快速发展,监测复杂的人类环境变得可行,为开发人在环物联网系统铺平了道路,这些系统可以自然进化以自主适应人类和环境状态。然而,设计这种个性化物联网应用程序的一个核心挑战来自人类的可变性。这种可变性源于以下事实:不同的人在与IoT应用交互时表现出不同的行为(人内可变性),同一个人在与同一个IoT应用交互时可能会随着时间的推移而改变行为(人间可变性),并且人类行为可能会受到同一环境中其他人的行为的影响(多人可变性)。为此,我们提出了FaiR-IoT,这是一个基于强化学习的通用框架,用于自适应和公平感知的人在环物联网应用。在FaiR-IoT中,三个级别的强化学习代理相互作用,以不断学习人类偏好,并最大限度地提高系统的性能和公平性,同时考虑到人类内部,人类之间和多人的可变性。我们验证了两个应用程序,即(i)人在环汽车高级驾驶辅助系统和(ii)人在环智能家居提出的框架。在这两个应用程序上获得的结果验证了FaiR-IoT的通用性及其提供个性化体验的能力,同时与非个性化系统相比,将系统性能提高了40%-60%,并将多人系统的公平性提高了1.5个数量级。
2021-03-30 cs.LG cs.MA
Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV based Random Access IoT Networks with NOMA
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室)
在本文中,我们应用非正交多址(NOMA)技术来改善无线物联网网络的大规模信道接入,其中太阳能无人机(UAV)将数据从物联网设备中继到远程服务器。具体地,IoT设备使用自适应$p$ -持久时隙Aloha协议来竞争接入共享无线信道;并且太阳能无人机采用连续干扰消除(SIC)来解码来自IoT设备的多个接收数据以提高接入效率。为了实现能量可持续的容量优化网络,我们研究了动态多无人机高度控制和物联网设备的多小区无线信道接入管理的联合问题,作为具有多个能量约束的随机控制问题。为了学习最优控制策略,我们首先将此问题表示为约束马尔可夫决策过程(CMDP),并提出一种基于拉格朗日原对偶策略优化的在线无模型约束深度强化学习(CDRL)算法来求解CMDP。大量的仿真结果表明,我们提出的算法学习无人机之间的合作策略,其中无人机的高度和物联网设备的信道接入概率是动态和联合控制,以获得最大的长期网络容量,同时保持能量的可持续性的无人机。所提出的算法优于基于深度RL的解决方案与奖励塑造占能源成本,并实现了时间平均系统容量,这是$82.4\%$高于一个可行的基于DRL的解决方案,只有$6.47\%$低于能量约束的系统。
2020-02-05 cs.LG cs.NI eess.SP
RL-IoT: Reinforcement Learning to Interact with IoT Devices
Politecnico di Torino(都灵理工大学);University of Turin(都灵大学)
我们的生活正在被物联网(IoT)设备所填充。这些设备通常依赖于封闭的或记录不完整的协议,具有未知的格式和语义。学习如何以自主的方式与这些设备交互是互操作性和自动验证其功能的关键。在本文中,我们提出了RL-IoT,这是一个探索如何自动与可能未知的物联网设备进行交互的系统。我们利用强化学习(RL)来恢复协议消息的语义,并控制设备以达到给定的目标,同时最大限度地减少交互次数。我们假设只知道可能的物联网协议消息的数据库,然而其语义是未知的。RL-IoT与目标IoT设备交换消息,学习那些对实现给定目标有用的命令。我们的研究结果表明,RL-IoT能够解决简单和复杂的任务。通过适当调整参数,RL-IoT学习如何使用目标设备(我们案例研究中的Yeelight智能灯泡)执行操作,完成不平凡的模式,只需400次交互。RL-IoT为与缺乏文档记录的物联网协议进行自动交互铺平了道路,从而实现了可互操作的系统。
2021-09-10 cs.AI cs.LG cs.NI
A Deep Reinforcement Learning-Based Caching Strategy for IoT Networks with Transient Data
York University(约克大学)
物联网(IoT)在过去几年中不断崛起,其潜力现在更加明显。然而,瞬态数据生成和有限的能源资源是这些网络的主要瓶颈。此外,最小延迟和其他传统的服务质量测量仍然是需要满足的有效要求。高效的缓存策略可以帮助满足标准服务质量要求,同时绕过物联网网络的特定限制。采用深度强化学习(DRL)算法使我们能够开发一种有效的缓存方案,而无需任何先验知识或上下文信息。在这项工作中,我们提出了一个基于DRL的缓存方案,提高缓存命中率,降低物联网网络的能耗,同时,考虑到数据的新鲜度和有限的生命周期的物联网数据。为了更好地捕捉区域不同的流行度分布,我们提出了一种分层架构,在物联网网络中部署边缘缓存节点。综合实验的结果表明,我们提出的方法优于众所周知的传统缓存策略和现有的基于DRL的解决方案的缓存命中率和物联网网络的能源消耗相当大的利润。
2022-03-16 cs.LG cs.NI
Autonomous Maintenance in IoT Networks via AoI-driven Deep Reinforcement Learning
Institute of Computer Science, Foundation for Research and Technology - Hellas (FORTH)(希腊基础研究与技术基金会计算机科学研究所);Linköping University(林雪平大学)
物联网(IoT)随着部署的设备和应用数量的不断增加,对网络维护程序提出了重大挑战。在这项工作中,我们将物联网网络中的自主维护问题表述为部分可观测马尔可夫决策过程。随后,我们利用深度强化学习算法(DRL)来训练代理,这些代理决定维护程序是否正常,以及在前一种情况下,所需的适当类型的维护。为了避免浪费物联网网络的稀缺资源,我们利用信息时代(AoI)指标作为智能代理训练的奖励信号。AoI捕获物联网传感器传输的传感数据的新鲜度,作为其正常服务提供的一部分。数值结果表明,AoI集成了足够的信息,过去和现在的系统状态,成功地用于训练智能代理的自主维护的网络。
2020-12-31 cs.LG cs.NI
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology(佐治亚理工学院);CableLabs, Inc.(CableLabs公司)
提出了一种基于强化学习的下一代以太网无源光网络(NG-EPON)智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟,这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Multi-user Resource Control with Deep Reinforcement Learning in IoT Edge Computing
通过利用移动边缘计算(MEC)的概念,由大量物联网(IoT)设备生成的大量数据可以卸载到无线网络边缘的MEC服务器,以进行进一步的计算密集型处理。然而,由于物联网设备和无线网络的资源约束,需要有效地分配和调度通信和计算资源以获得更好的系统性能。本文提出了一种物联网边缘计算系统的联合计算卸载和多用户调度算法,以最小化随机流量到达下的延迟和功耗的长期平均加权和。我们制定的动态优化问题作为一个无限时域平均报酬连续时间马尔可夫决策过程(CTMDP)模型。解决多用户资源控制的MDP问题的一个关键挑战是维数灾难问题,其中MDP模型的状态空间和计算复杂度随着用户或IoT设备数量的增长而呈指数增长。为了克服这一挑战,我们使用深度强化学习(RL)技术,并提出了一种神经网络架构来近似决策后系统状态的值函数。所设计的解决CTMDP问题的算法支持基于半分布式拍卖的实现,其中IoT设备向BS提交投标以集中做出资源控制决策。仿真结果表明,该算法提供了显着的性能改善基线算法,也优于基于其他神经网络结构的RL算法。
2019-06-19 cs.LG cs.NI eess.SP
Towards Learning-automation IoT Attack Detection through Reinforcement Learning
University of California(加利福尼亚大学);ARM Research(ARM研究院)
随着物联网(IoT)设备的大量部署,IoT中的安全和隐私问题引起了越来越多的关注。物联网攻击给物联网网络造成了巨大的损失,甚至威胁到人类的安全。与传统网络相比,物联网网络具有独特的特点,这使得攻击检测更具挑战性。首先,平台、协议、软件和硬件的异构性暴露了各种漏洞。其次,除了传统的高速率攻击外,低速率攻击也被物联网攻击者广泛用于混淆合法和恶意流量。这些低速率攻击很难检测到,并且可能在网络中持续存在。最后,攻击者正在变得更加智能,并且可以根据环境反馈动态地改变他们的攻击策略以避免被检测到,这使得防御者更难发现一致的模式来识别攻击。为了适应物联网攻击的新特点,提出了一种基于强化学习的攻击检测模型,能够自动学习和识别攻击模式的变化。因此,我们可以在更少的人为干预下持续检测物联网攻击。在本文中,我们探索了物联网流量的关键特征,并利用基于熵的指标来检测高速率和低速率的物联网攻击。然后,利用强化学习技术,根据检测反馈不断调整攻击检测阈值,优化检测和虚警率。我们对真实的物联网攻击数据集进行了广泛的实验,并证明了我们的物联网攻击检测框架的有效性。
2020-06-29 cs.AI cs.CR cs.LG
Enhanced Pub/Sub Communications for Massive IoT Traffic with SARSA Reinforcement Learning
Salvador University (UNIFACS)(萨尔瓦多大学(UNIFACS));University of Paris-Saclay(巴黎萨克雷大学)
传感器正在广泛部署,预计在未来几年将以显著的速度扩展。它们通常会在物联网(IoT)应用领域生成大量数据,如智能城市,智能交通系统,智能电网和电子健康。云计算、边缘计算和雾计算是收集、处理和分发物联网数据的潜在竞争策略。然而,基于云、边缘和雾的解决方案需要通过受限和有限资源的网络基础设施有效地解决大量物联网数据的分发问题。针对在通信资源(带宽)有限的网络中传输海量物联网数据的问题,提出了一种基于强化学习(RL)和SARSA算法的认知通信资源分配方法。拟议的网络基础设施(PSioTRL)使用发布/订阅架构来访问大量和高度分布式的物联网数据。结果表明,基于SARSA的PSioTRL缓冲区刷新带宽分配提高了IoT聚合器缓冲区占用率和网络链路利用率。PSioTRL根据发布/订阅主题的优先级和网络约束要求动态调整IoT聚合器流量刷新。
2021-01-03 cs.AI cs.LG cs.NI
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM(EURECOM研究所);Technical University of Munich(慕尼黑工业大学)
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题,提出模型辅助联邦QMIX算法,交替构建含信道特性与设备位置的环境模型并开展联邦训练,可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Dynamic Energy Dispatch Based on Deep Reinforcement Learning in IoT-Driven Smart Isolated Microgrids
本文针对物联网驱动的智能孤立微电网能量调度问题,提出有限时域深度确定性策略梯度和有限时域循环确定性策略梯度两种DRL算法,并通过真实数据验证其在不确定条件下的性能优势。
2020-11-16 cs.LG eess.SP stat.ML
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology(麻省理工学院)
在未来几年,卫星宽带市场的服务需求将大幅增长,特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度,这使得手动资源分配变得不切实际且效率低下。因此,期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习(DRL)的功率分配方法,将问题表示为连续的状态和动作空间。我们使用邻近策略优化(PPO)算法来优化分配策略,以使未满足的系统需求(USD)和功耗最小。通过对多波束卫星系统的仿真,分析了该算法的性能,结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
Autonomous Resource Management in Construction Companies Using Deep Reinforcement Learning Based on IoT
Art University of Tehran(德黑兰艺术大学);University of Tabriz(大不里士大学);Morgan State University(摩根州立大学);Old Dominion University(奥尔多明尼安大学)
资源分配是工程项目规划中最关键的问题之一,因为它直接影响到成本、时间和质量。根据项目目标,通常有特定的自主资源管理分配方法。然而,在整个施工组织中,资源利用的综合规划和优化是稀缺的。本研究的目的是提出一种基于深度强化学习(DRL)的建筑公司自动资源分配结构,可用于各种情况。在这种结构中,数据收集(DH)从公司项目中的分布式物联网(IoT)传感器设备收集资源信息,以用于自主资源管理方法。然后,将覆盖资源分配(CRA)与从DH获得的信息进行比较,其中自主资源管理(ARM)确定感兴趣的项目。同样,具有类似模型的双深度Q网络(DDQN)基于公司的结构化资源信息在两种不同的分配情况下进行训练,以平衡目标与资源约束。在本文中建议的技术可以有效地调整到大型资源管理系统相结合的投资组合信息与采用个别项目信息。详细分析了重要信息处理参数对资源分配性能的影响。此外,管理方法的普遍性的结果,表明不需要额外的培训时,情况的变量变化。
2022-09-06 cs.CV cs.LG
Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in Privacy-Persevering EdgeIoT
Real-Time and Embedded Computing Systems Research Centre (CISTER)(实时与嵌入式计算系统研究中心);TU Delft(代尔夫特理工大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
联邦学习(FL)越来越多地被认为是在基于移动边缘计算的物联网(EdgeIoT)中保护数据训练隐私免受窃听攻击。一方面,FL的学习精度可以通过选择具有大数据集的物联网设备进行训练来提高,这会导致更高的能耗。另一方面,通过选择具有小数据集的IoT设备用于FL可以减少能耗,导致学习精度下降。在本文中,我们制定了一个新的资源分配问题的隐私保护的边缘物联网,以平衡FL的学习精度和物联网设备的能耗。我们提出了一个新的联邦学习启用双延迟深度确定性策略梯度(FL-DLT 3)框架,以实现连续域中的最佳精度和能量平衡。此外,在FL-DLT 3中利用长短期记忆(LSTM)来预测时变网络状态,而FL-DLT 3被训练来选择IoT设备并分配发射功率。数值结果表明,所提出的FL-DLT 3实现了快速收敛(小于100次迭代),而FL精度与能耗比相比,现有的国家的最先进的基准提高了51.8%。
2022-05-18 cs.LG
Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges
物联网(IoT)将互联网连接扩展到全球数十亿个IoT设备中,其中IoT设备收集和共享信息以反映物理世界的状态。另一方面,自主控制系统(ACS)在没有外部干预的情况下在延长的时间段内对物理系统执行控制功能。物联网和ACS的融合产生了一个新的概念-自主物联网(AIoT)。传感器收集有关系统状态的信息,基于此,物联网设备中的智能代理以及边缘/雾/云服务器为执行器做出控制决策。为了实现自主性,一种有前途的方法是智能代理利用人工智能领域的技术,特别是强化学习(RL)和深度强化学习(DRL)进行决策。在本文中,我们首先提供了一个教程的DRL,然后提出了一个通用模型的RL/DRL在AIoT中的应用。接下来,对AIoT的DRL的最新研究进行了全面的调查,其中现有的工作在所提出的通用DRL模型的保护伞下进行了分类和总结。最后,确定了未来研究的挑战和开放问题。
2020-04-13 cs.LG stat.ML
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University(庆南大学);Sejong University(世宗大学)
本文针对云-边-端IoT网络动态调度任务,提出基于联邦强化学习的协作策略学习框架,通过聚合边缘经验构建中心策略,显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
Voting-Based Multi-Agent Reinforcement Learning for Intelligent IoT
Key Lab of Universal Wireless Communications, Ministry of Education Beijing University of Posts and Telecommunications(北京邮电大学教育部泛在无线通信重点实验室);Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理系);Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系);Shenzhen Research Institute of Big Data and The Chinese University of Hong Kong, Shenzhen(深圳市大数据研究院与香港中文大学(深圳))
近年来,单智能体强化学习(RL)在物联网(IoT)系统中取得了巨大的成功,从而激发了多智能体强化学习(MARL)的研究。MARL在大规模IoT系统中更具挑战性,但更有用。在本文中,我们考虑了一个基于投票的MARL问题,其中代理人投票进行群体决策,目标是最大化全局平均收益。为此,我们制定的MARL问题的基础上的线性规划形式的政策优化问题,并提出了一个分布式的原始-对偶算法来获得最优解。我们还提出了一种投票机制,通过该机制,分布式学习实现了与集中式学习相同的次线性收敛速度。换句话说,分布式决策并不会减缓在最优性上达成全局共识的过程。最后,我们通过数值模拟验证了我们提出的算法的收敛性,并在实际的多智能体物联网系统中进行了案例研究。
2020-08-29 cs.AI cs.LG stat.ML
Enhancing IoT Intelligence: A Transformer-based Reinforcement Learning Methodology
Aqaba University of Technology(阿卡巴理工大学);Concordia University(康考迪亚大学);Khalifa University(哈利法大学);The University of Jordan(约旦大学);Applied Science Private University(应用科学私立大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学)
针对传统 RL 难以处理 IoT 复杂异构数据的问题,提出融合 Transformer 与 PPO 的框架,并在多类 IoT 场景中验证其决策效率与适应性优势。
2024-04-05 cs.AI cs.LG
Joint Cluster Head Selection and Trajectory Planning in UAV-Aided IoT Networks by Reinforcement Learning with Sequential Model
University of Saskatchewan(萨斯喀彻温大学);Cisco Systems Inc.(思科系统公司)
采用无人机(UAV)吸引了越来越多的兴趣,并成为物联网(IoT)网络中数据收集的最先进技术。在本文中,与最小化的总能耗的UAV-IoT系统的目标,我们制定的问题,联合设计无人机的轨迹和选择簇头在物联网网络作为一个约束的组合优化问题,这是属于NP难和具有挑战性的解决。我们提出了一种新的深度强化学习(DRL)与序列模型策略,可以有效地学习由序列到序列神经网络表示的无人机的轨迹设计在无监督的方式。通过大量的仿真,所获得的结果表明,所提出的DRL方法可以找到无人机的轨迹,需要更少的能量消耗相比,其他基线算法,并实现接近最佳的性能。此外,仿真结果表明,我们提出的DRL算法训练的模型具有良好的泛化能力,以更大的问题规模,而无需重新训练的模型。
2021-12-01 cs.LG cs.SY eess.SY
LEACH-RLC: Enhancing IoT Data Transmission with Optimized Clustering and Reinforcement Learning
Technical University of Denmark(丹麦技术大学);Universidad Nacional de Colombia(哥伦比亚国立大学)
针对物联网中无线传感器网络能耗高、分簇协议控制开销大等问题,提出集成MILP簇选择与强化学习时机优化的LEACH-RLC协议,仿真验证其可延长网络寿命、降低能耗与控制开销。
2025-03-14 cs.LG cs.NI
Intelligent Communication Planning for Constrained Environmental IoT Sensing with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Caltech(加州理工学院);UMass-Amherst(马萨诸塞大学阿默斯特分校)
针对功率和带宽受限的物联网传感器通信规划问题,提出多智能体强化学习方法学习环境数据时空相关性以减少冗余报告,在未知带宽限制下有效平衡数据收集与预测精度。
2023-08-19 cs.LG cs.MA cs.SY
Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach
University of Electronic Science and Technology of China(电子科技大学);Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局信息通信研究院)
本文研究了一种由主无人机(MUAV)供电的物联网(IoT)网络,其中我们建议使用配备智能反射表面(IRS)的可充电辅助无人机(AUAV)来增强MUAV的通信信号,并利用MUAV作为充电电源。在所提出的模型下,我们研究了这些能量有限的无人机的最佳协作策略,以最大限度地提高物联网网络的累积吞吐量。根据两个无人机之间是否有充电,两个优化问题制定。为了解决这些问题,提出了两种多智能体深度强化学习(DRL)方法,即集中训练多智能体深度确定性策略梯度(CT-MADDPG)和多智能体深度确定性策略选项评判(MADDPOC)。仿真结果表明,CT-MADDPG可以大大降低对无人机硬件计算能力的要求,MADDPOC能够支持连续动作域的低层次多Agent协作学习,与现有的基于选项的层次DRL只支持单Agent学习和离散动作相比具有很大的优势.
2021-12-20 cs.LG cs.SY eess.SY
Reinforcement Learning for Protocol Synthesis in Resource-Constrained Wireless Sensor and IoT Networks
Michigan State University(密歇根州立大学)
本文探讨了使用强化学习(RL)进行在线协议合成的概念。该研究是在具有超低复杂度无线收发器的传感器和物联网网络的背景下进行的。本文介绍了在不同的网络和业务条件下,使用RL和多臂强盗(MAB),RL的一种特殊类型,媒体访问控制(MAC)。然后,它介绍了一种新的学习为基础的协议合成框架,解决特定的困难和限制,在随机接入和时隙网络的介质访问。该机制不依赖于载波侦听、网络时间同步、冲突检测和其他低级复杂操作,因此非常适合用于资源受限的传感器和物联网网络中的超简单收发器硬件。此外,由节点独立的协议学习的能力使得系统鲁棒性和自适应网络和业务条件的变化。它表明,节点可以被训练来学习,以避免冲突,并实现网络吞吐量,相当于ALOHA基于接入协议的传感器和物联网网络与最简单的收发器硬件。它也表明,使用RL,它是可行的,可以在高流量负载,这是不可行的ALOHA为基础的系统,以综合接入协议,可以维持网络吞吐量。该系统的能力,以提供吞吐量的公平性下的网络和流量的异质性也被实验证明。
2023-01-14 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Resource Allocation in Business Processes
Warsaw University of Technology(华沙理工大学)
业务流程执行中的重复资源是一项可以有效自动化的重复性任务。然而,不同的自动化方法可能会给出不同的结果,这些结果可能不是最佳的。适当的资源分配至关重要,因为它可能导致成本大幅降低或效率提高,从而增加收入。在这项工作中,我们首先提出了一种新的表示,允许建模的多进程环境与不同的基于过程的奖励。这些进程可以共享资格不同的资源。然后,我们使用双深度强化学习来寻找最优的资源分配策略。我们将这些结果与行业中广泛使用的两种流行策略进行比较。通过强化学习学习最优策略需要与环境进行频繁的交互,因此我们还设计并开发了一个可以模拟真实世界过程的仿真引擎。所取得的结果是有希望的。与两种常用技术相比,基于深度强化学习的资源分配取得了明显更好的结果。
2021-03-29 cs.HC cs.LG
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学);Beijing Jiaotong University(北京交通大学)
工业物联网(IoT)设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络(DNN)推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率,是最小化服务延迟的关键。在本文中,我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性,我们制定了一个约束马尔可夫决策过程(CMDP)的问题。具体而言,采样率自适应,推理任务卸载和边缘计算资源分配被联合考虑,以最小化平均服务延迟,同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习(RL)算法由于棘手的长期约束,我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后,提出了一种基于深度RL的算法来求解MDP。为了加快训练过程,在该算法中嵌入了优化子程序,直接获得最优的边缘计算资源分配。大量的仿真结果表明,所提出的基于RL的算法可以显着降低平均服务延迟,同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
The Fusion of Deep Reinforcement Learning and Edge Computing for Real-time Monitoring and Control Optimization in IoT Environments
Northern Arizona University(北亚利桑那大学);University of Electronic Science and Technology of China(电子科技大学);Trine University(特莱恩大学);Yantai University(烟台大学);Northwestern University(西北大学)
针对工业物联网实时控制需求,本文提出融合深度强化学习与边缘计算的优化控制系统,通过云边协同部署轻量策略网络和动态资源分配,降低延迟、提升稳定性并节省维护成本。
2024-02-28 cs.AI cs.LG cs.NI
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University(潘迪特·德恩达亚尔能源大学)
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习,可以在遵循一定准则的前提下,解决不确定系统环境中的资源分配问题。此外,强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析,通过应用不同的组件来修改强化学习的架构,使用噪声层,优先重放,装袋,决斗网络和其他相关组合,以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索,证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题,通过最大化报酬,效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
Medium Access using Distributed Reinforcement Learning for IoTs with Low-Complexity Wireless Transceivers
Michigan State University(密歇根州立大学)
本文提出了一种基于分布式强化学习(RL)的框架,该框架可用于在具有低复杂度无线收发器的物联网网络中合成MAC层无线协议。所提出的框架不依赖于复杂的硬件功能,例如载波侦听及其相关的算法复杂性,这些功能在低成本和低能耗物联网设备的无线收发器中通常不受支持。在这个框架中,访问协议首先制定为马尔可夫决策过程(MDP),然后使用RL解决。一个分布式和多Agent RL框架被用作协议合成的基础。分布式行为使得节点独立地学习最优传输策略,而不必依赖于完整的网络级信息和其他节点行为的直接知识。节点学习最小化分组冲突,使得可以针对高于用于IoT设备的已知基准协议(诸如ALOHA)的负载条件获得和维持最佳吞吐量,而无需复杂的收发器。此外,观察到的节点能够学习最佳的行为在异构负载和网络拓扑条件的存在下。最后,所提出的学习方法允许无线带宽以不依赖于这种异质性的方式在网络节点之间公平地分布。通过仿真实验,本文展示了学习范式的性能和它的能力,使节点适应他们的最佳传输策略,在飞行中响应各种网络动态。
2021-04-29 cs.DC cs.LG cs.NI
Semi-supervised Deep Reinforcement Learning in Support of IoT and Smart City Services
Western Michigan University(西密歇根大学);University of Idaho(爱达荷大学)
智能服务是智慧城市和物联网(IoT)生态系统的重要组成部分,其中服务背后的智能通过传感数据获得和改进。提供大量的训练数据并不总是可行的;因此,我们需要考虑合并未标记数据的替代方法。近年来,深度强化学习(Deep Reinforcement Learning,DRL)在多个应用领域取得了巨大的成功。这是一种适用于物联网和智慧城市场景的方法,其中自动生成的数据可以部分地通过用户的反馈进行标记以用于培训目的。在本文中,我们提出了一种适合智慧城市应用的半监督深度强化学习模型,因为它同时消耗标记和未标记的数据,以提高学习代理的性能和准确性。该模型利用变分自编码器(VAE)作为推理引擎,用于推广最优策略。据我们所知,该模型是第一次将深度强化学习扩展到半监督范式的研究。作为智慧城市应用的案例研究,我们专注于智能建筑,并将所提出的模型应用于基于BLE信号强度的室内定位问题。室内定位是智慧城市服务的主要组成部分,因为人们在室内环境中花费大量时间。我们的模型学习了最佳的行动策略,导致对目标位置的接近估计,与监督DRL模型相比,到目标的距离提高了23%,收到的奖励至少增加了67%。
2018-10-09 cs.AI cs.LG cs.NI
Coordinated Random Access for Industrial IoT With Correlated Traffic By Reinforcement-Learning
University of Padova(帕多瓦大学)
我们提出了一种用于工业物联网(IIoT)场景的协调随机接入方案,其中机器类型设备(MTD)生成零星的相关流量。这发生在,例如,当外部事件同时触发多个MTD的数据生成时。时间被划分为帧,每个帧被划分为时隙,并且每个MTD随机选择一个时隙用于(重传)传输,其中概率密度函数(PDF)特定于MTD和当前重传的数量。PDF被局部优化以最小化分组冲突的概率。优化问题被建模为一个重复的马尔可夫博弈与不完全信息,和线性奖励不作为算法用于在每个MTD,可证明收敛到一个确定性的(次优)时隙分配。我们比较我们的解决方案与时隙ALOHA和最小最大成对相关随机接入方案,表明我们的方法实现了较高的网络吞吐量与中等的流量强度。
2021-09-17 cs.LG cs.MA cs.NI
Asset Allocation: From Markowitz to Deep Reinforcement Learning
Open University of Catalonia(加泰罗尼亚开放大学)
资产配置是一种投资策略,旨在根据一定的目标、风险承受能力和投资期限,通过不断地重新分配投资组合的资产,来平衡风险和回报。不幸的是,没有简单的公式可以为每个人找到正确的分配。因此,投资者可能会使用不同的资产配置策略来尝试实现其财务目标。在这项工作中,我们进行了广泛的基准研究,以确定一些优化技术的有效性和可靠性。特别是,我们专注于基于现代投资组合理论的传统方法,以及基于深度强化学习的机器学习方法。我们评估了模型在不同市场趋势下的表现,即,看涨和看跌的市场。为了可重复性,我们在此存储库中提供了代码实现代码。
2022-07-14 cs.AI cs.LG q-fin.PM
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)(SK集团(SK C&C))
近年来,有许多尝试将强化学习应用于资产配置,以获得更稳定的利润。在本文中,我们比较了几种强化学习算法-仅演员,演员评论家和PPO模型之间的性能。在此基础上,分析了各种模型的特点,并介绍了改进的算法,即奖励裁剪模型。在金融领域中,特别是在投资组合优化方面,报酬裁剪模型似乎优于其他现有的模型,无论是在牛市还是熊市中,它都具有优势。最后,我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Autonomous Power Allocation based on Distributed Deep Learning for Device-to-Device Communication Underlaying Cellular Network
Hanyang University(汉阳大学)
对于支持物联网(IoT)的5G系统的设备到设备(D2 D)通信,考虑到以集中方式在不同链路之间的复杂干扰,存在对分配资源的限制。如果D2 D链路由增强型节点基站(eNB)控制,并且因此保持eNB上的负担,并且其导致延迟的延迟。本文提出了一种使用深度学习的用于蜂窝网络下的IoT-D2 D通信的完全自主功率分配方法。在所提出的方案中,IoT-D2 D发送器独立于eNB和其他IoT-D2 D设备来决定发送功率。此外,功率集可以通过分布式方式的深度学习进行近似优化,以实现更高的小区吞吐量。我们提出了一种分布式深度学习架构,其中设备作为一个组进行训练,但独立运行。深度学习可以获得接近最佳的小区吞吐量,同时抑制对eNB的干扰。
2020-06-08 cs.LG eess.SP
Energy Efficient Federated Learning in Integrated Fog-Cloud Computing Enabled Internet-of-Things Networks
University of British Columbia(不列颠哥伦比亚大学)
研究了在集成雾云计算的物联网网络中降低联邦学习能耗的资源分配方案。在设想的系统中,物联网设备通过多个雾接入点(F-AP)与集中式云服务器(CS)连接。我们考虑两种不同的场景来训练局部模型。在第一种场景中,在IoT设备处训练本地模型,并且F-AP将本地模型参数上传到CS。在第二种场景中,基于从IoT设备收集的数据在F-AP处训练本地模型,并且F-AP与CS协作以更新模型参数。我们的目标是尽量减少这两种情况下的整体能源消耗的FL时间限制。为了实现这一目标,我们设计了物联网设备与F-AP的调度、发射功率分配、设备和F-AP处的计算频率划分的联合优化,并将其解耦为两个子问题。在第一个子问题中,我们优化了物联网设备调度和功率分配,而在第二子问题中,我们优化了计算频率划分。对于每个场景,我们开发了一个基于冲突图的解决方案来迭代解决这两个子问题。仿真结果表明,所提出的两种方案实现了相当大的性能增益方面的能量消耗最小化。所呈现的仿真结果有趣地揭示,对于大量IoT设备和大数据大小,在IoT设备而不是F-AP处训练本地模型更节能。
2021-07-07 cs.LG eess.SP
UAV Deployment, Device Scheduling and Resource Allocation for Energy-Efficient UAV-Aided IoT Networks with NOMA
本文研究了非正交多址接入(NOMA)增强型物联网(IoT)网络中的能效问题,其中移动无人机(UAV)被用作飞行基站,通过NOMA协议从地面设备收集数据。以网络能量效率最大化为目标,提出了无人机部署、设备调度和资源分配的联合问题。首先,我们将联合设备调度和频谱分配问题表示为一个三边匹配问题,并提出了一种新的低复杂度的近似最优算法。我们还引入了新的概念,“探索”的匹配游戏,进一步提高性能。通过算法分析,证明了最终匹配状态的收敛性和稳定性。其次,为了给物联网设备分配适当的发射功率,我们采用Dinkelbach算法来获得最优功率分配解决方案。此外,我们提供了一个简单但有效的方法,基于磁盘覆盖问题,以确定最佳的数量和位置的无人机的停止点,以确保所有的物联网设备可以完全覆盖的无人机通过视线(LoS)链路,为了更好的信道条件。数值结果揭示:i)与预定义的固定UAV部署情况和固定功率分配方案相比,所提出的联合UAV部署、设备调度和资源分配方案实现了更高的EE,具有可接受的复杂度;以及ii)具有NOMA的UAV辅助IoT网络在接入设备的数量方面大大优于OMA情况。
2021-03-16 eess.SP
RIS-Assisted Joint Resource Allocation for 6G FR3 IoT Networks
Polytechnique Montreal, Canada(蒙特利尔高等理工学院)
本文提出利用可重构智能表面提升FR3频段物联网网络的覆盖和信号质量,通过联合功率分配与用户-RIS关联优化实现高吞吐量。
2026-04-02 eess.SP
An Overview of Machine Learning-Driven Resource Allocation in IoT Networks
本文综述了机器学习、深度学习和强化学习在低功耗与移动物联网网络资源分配中的应用,分析了其优化网络性能和能效的机遇与挑战,并展望了未来研究方向。
2024-12-27 cs.NI eess.SP
Joint Radio Resource Allocation, 3D Placement and User Association of Aerial Base Stations in IoT Networks
提出了一种新的无线电资源分配(RRA)、三维布局(3DP)和空中基站(ABS)用户关联的联合方法,该方法是物联网(IoT)网络中的主要问题。在我们提出的模型中,我们考虑两种方案:a)视线(LoS)b)广义。在LoS方案中,所有ABS都应该将物联网用户视为LoS。在广义方案中,ABS可以将一些物联网用户视为LoS,将其中一些视为NLoS。本文的主要目标是最小化物联网用户的总发射功率,同时满足一定的服务质量(QoS)的限制,在上行链路的场景。为了解决优化问题,并将高复杂度的主要问题转化为低复杂度的子问题,我们将其分解为两个子问题,即3DP子问题和联合RRA和用户关联(JRU)子问题。我们用来解决我们提出的优化问题的方法是半定松弛(SDR)和几何规划(GP)。最后,使用模拟,我们评估所提出的方案的性能为不同的网络参数值。
2017-10-15 eess.SP
Resource Allocation in Uplink NOMA-IoT Networks: A Reinforcement-Learning Approach
非正交多址接入(NOMA)利用电力域的潜力来增强物联网(IoT)的连接性。由于通信信道随时间变化,动态用户聚类是提高NOMA-IoT网络吞吐量的一种很有前途的方法。提出了一种适用于NOMA-IoT通信上行链路的智能资源分配方案。为了最大限度地提高和率的平均性能,这项工作设计了一个有效的优化方法的基础上两个强化学习算法,即深度强化学习(DRL)和SARSA学习。对于轻交通,SARSA学习被用来探索最安全的资源分配策略,以低成本。对于繁忙的交通,DRL用于处理交通引入的巨大变量。借助于所考虑的方法,这项工作解决了NOMA技术中公平资源分配的两个主要问题:1)动态分配用户和2)平衡资源块和网络流量。我们分析表明,收敛速度是成反比的网络规模。数值结果表明:1)与最优基准方案相比,所提出的DRL和SARSA-学习算法具有较低的复杂度和可接受的精度; 2)NOMA使能的IoT网络在系统吞吐量方面优于传统的基于正交多址的IoT网络。
2021-03-08 cs.IT eess.SP math.IT
Resource Allocation for Edge Computing in IoT Networks via Reinforcement Learning
在本文中,我们考虑物联网(IoT)网络中边缘计算的资源分配。具体来说,每个终端设备都被认为是一个代理,它决定是否将计算任务卸载到边缘设备。为了最小化包括功耗和任务执行延迟的长期加权和成本,我们考虑终端设备和网关之间的信道条件,计算任务队列以及终端设备的剩余计算资源作为网络状态。在终端设备处做出一系列决策的问题被建模为马尔可夫决策过程,并通过强化学习方法来解决。因此,我们提出了一种基于Q学习的近优任务卸载算法。仿真结果验证了该算法的可行性,与边缘计算和本地计算模式相比,该算法在功耗和任务执行延迟之间实现了更好的权衡。
2019-03-05 eess.SP
UAV Relay-Assisted Emergency Communications in IoT Networks: Resource Allocation and Trajectory Optimization
无人飞行器(UAV)通信已经成为用于紧急通信的突出技术(例如,物联网(IoT)网络中的自然灾害(自然灾害),以提高灾害预测,损失评估和救援行动的能力。无人机可以部署为飞行基站(BS),从时间受限的物联网设备收集数据,然后将其传输到地面网关(GW)。通常,IoT设备的延迟约束和UAV有限的存储容量高度阻碍了UAV辅助IoT网络的实际应用。在本文中,{全双工(FD)无线电}采用的无人机,以克服这些挑战。此外,还考虑了用于基于无人机的中继的半双工(HD)方案,以提供两种模式之间的比较研究(即,FD和HD)。{在此,如果设备的数据由UAV收集并且在飞行时间期间及时传送到GW,则认为设备被成功服务}。在这种情况下,我们的目标是通过联合优化带宽,功率分配和无人机轨迹,同时满足每个设备的要求和无人机有限的存储容量,最大限度地增加服务的物联网设备的数量。由于其非凸性和组合性质,制定的优化问题是麻烦的解决。{对于有吸引力的应用,我们首先将二进制变量放宽为连续变量,并将原始问题转换为更易于计算的形式。利用内逼近框架,我们得到新的近似函数的非凸部分,然后开发一个简单而有效的迭代算法的解决方案。接下来,我们尝试根据所服务的IoT设备的数量来最大化总吞吐量。最后,数值结果表明,所提出的算法显着优于基准方法的服务物联网设备的数量和系统吞吐量。
2021-08-16 eess.SP
Optimal Resource Allocation for Full-Duplex IoT Systems Underlaying Cellular Networks with Mutual SIC NOMA
设备到设备(D2D)和非正交多址(NOMA)是满足下一代移动通信在物联网(IoT)服务的网络密度和多样性方面的挑战的有前景的技术。本文通过优化信道和功率分配来解决蜂窝网络下的物联网系统中最大化D2D总吞吐量的问题。NOMA用于管理蜂窝用户和全双工(FD)物联网设备之间的干扰。为此目的,识别相互连续干扰消除(SIC)条件以允许同时在基站级别去除D2D设备干扰和在D2D设备级别去除蜂窝用户(CU)干扰。为了最佳地解决联合信道和功率分配(PA)问题,阐述了FD上下文中PA问题的时间有效的解决方案。通过图形表示,在恒定的时间复杂度下,有效地解决了复杂的非凸PA问题。这使得通过连续地解决单独的PA和信道分配问题来实现全局最优分辨率。将所提出的策略的性能与经典的最先进的FD和HD场景进行比较,其中SIC不应用于CU和IoT设备之间。结果表明,在HD或FD场景中,通过在IoT蜂窝上下文中应用相互SIC NOMA可以实现重要的增益。
2021-04-08 cs.IT eess.SP math.IT
NB-IoT via LEO satellites: An efficient resource allocation strategy for uplink data transmission
针对LEO卫星NB-IoT系统中信道快变、差分多普勒受限和传播延迟高的问题,提出一种联合考虑用户信道、覆盖时间与数据需求的新型上行资源分配策略。
2021-07-02 eess.SP
Reputation-Graded Wavelet-Packet Subtree Allocation for IoT Sensor Networks
South East Technological University(东南理工大学);LUT(拉彭兰塔理工大学)
针对物联网传感器网络访问控制中受损节点占用信道的问题,提出信誉分级小波包子树分配方案,可降低全局决策错误概率,性能优于固定分配WPDM、OFDM及密码学重新认证。
2026-10-09 eess.SP
Resource Allocation for Secure URLLC in Mission-Critical IoT Scenario
超可靠低延迟通信(URLLC)是第五代(5G)网络中的三个主要用例之一,由于其在极高可靠性和低延迟方面的严格和冲突的要求,其研究仍处于起步阶段。为了减少延迟,用于分组传输的信道块长度是有限的,这导致传输速率下降和更高的解码错误概率。在这种情况下,基于无限块长码实现的香农容量的传统资源分配并不是最佳的。安全性是关键任务物联网(IoT)通信中的另一个关键问题,物理层安全性是一种有前途的技术,可以确保无线通信的机密性,因为不需要像传统的上层加密方法那样使用额外的信道进行密钥交换。本文首次研究了基于URLLC的安全关键任务物联网通信系统的资源分配问题。具体来说,我们采用有限块长下的安全容量公式,考虑两个优化问题:加权吞吐量最大化问题和总发射功率最小化问题。每个优化问题都是非凸的,解决起来很有挑战性,我们开发了有效的方法来解决每个优化问题。仿真结果证实了我们提出的算法的快速收敛速度,并证明了现有的基准算法的性能优势。
2020-02-12 cs.IT eess.SP math.IT
Competitive Algorithms and Reinforcement Learning for NOMA in IoT Networks
研究了基于非正交多址接入(NOMA)技术的超五代(B5G)网络中大规模物联网接入问题。该问题涉及大量IoT设备分组和功率分配,以便尊重IoT设备的低延迟以及有限的操作能量。所考虑的目标函数,最大化成功接收的IoT分组的数量,不同于经典的和速率相关的目标函数。首先将问题划分为多个NOMA分组子问题。然后,利用竞争分析,提出了一个有效的在线竞争算法(CA)来解决每个子问题。接下来,为了解决功率分配问题,我们提出了一个新的强化学习(RL)框架,在该框架中,RL代理学习使用CA作为黑盒,并将获得的解决方案结合到每个子问题,以确定每个NOMA组的功率分配。我们的模拟结果表明,所提出的创新RL框架优于深度Q学习方法,并且接近最优。
2022-01-28 cs.NI eess.SP
UGV-assisted Wireless Powered Backscatter Communications for Large-Scale IoT Networks
无线供电的反向散射通信(WPBC)能够实现超低功耗通信,因此在物联网(IoT)网络中很有前途。然而,在实践中,由于其通信距离短,因此在大规模物联网网络中应用WPBC具有挑战性。为了应对这一挑战,本文利用无人驾驶地面车辆(UGV)来协助WPBC在大规模物联网网络中的应用。特别是,我们研究了接入点(AP)、标签阅读器和UGV的网络规划和动态资源分配的联合设计,以最大限度地减少总能耗。此外,AP可以在半双工(HD)或全双工(FD)复用模式下操作。在HD模式下,推导了最优小区半径,并以封闭形式给出了最优功率分配和发射/接收波束赋形。在FD模式下,给出了资源分配的最优解和两个低计算复杂性的次优解。仿真结果表明,在标签读取器而不是在AP处的动态功率分配主导了网络能量效率,而在FD模式下工作的AP在能量效率方面优于HD模式下的AP。
2021-10-06 cs.IT eess.SP math.IT
NOMA for Energy-Efficient LiFi-Enabled Bidirectional IoT Communication
在本文中,我们考虑了一种支持光保真(LiFi)的双向物联网(IoT)通信系统,其中可见光和红外光分别用于下行链路和上行链路。为了提高双向LiFi-IoT系统的能量效率(EE),应用具有服务质量(QoS)保证的最优功率分配(OPA)策略的非正交多址接入(NOMA)来最大化系统的EE。我们推导出一个封闭形式的OPA集的基础上确定的最佳解码顺序在下行链路和上行链路信道,这可以使低复杂度的功率分配。此外,我们提出了一个自适应的信道和QoS为基础的用户配对方法,通过联合考虑用户的信道增益和QoS要求。我们进一步分析了双向LiFi-IoT系统的EE以及系统的下行链路和上行链路信道的用户中断概率(UOP)。大量的分析和仿真结果表明,NOMA与OPA相比,正交多址接入(OMA)和NOMA与典型的基于信道的功率分配策略的优越性。它还表明,所提出的自适应信道和基于QoS的用户配对方法大大优于单独的信道/基于QoS的方法,特别是当用户有不同的QoS要求。
2020-05-24 eess.SP