A Reinforcement Learning-Based Telematic Routing Protocol for the Internet of Underwater Things
University of Extremadura（埃斯特拉曼杜拉大学）；University of Verona（威尼斯大学）
本文提出了一种基于强化学习的水下物联网远程路由协议RL-RPL-UA，通过动态目标函数优化网络性能，实验显示其在数据包交付率、能耗和网络寿命方面均优于传统方法。
2025-11-21 cs.AI cs.LG cs.NI
Reinforcement Learning for Adaptive Routing
强化学习是指根据环境反馈学习策略--将观察映射为行动。学习可以被看作是浏览一组策略，同时通过与环境的交互来尝试评估它们。我们提出了一个梯度上升算法的强化学习应用到一个复杂的域的数据包路由在网络通信，并比较该算法的性能与其他路由方法的基准问题。
2007-03-28 cs.AI cs.LG cs.NI
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK（计算系，伦敦帝国学院）
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题，提出时空强化学习STRL框架，在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Learning Selective Merge Policies for Deadline-Constrained Coded Caching via Deep Reinforcement Learning
Amirhossein Yousefiramandi（阿米尔霍塞因·尤塞菲拉曼迪）
针对截止时间约束的编码缓存问题，提出基于深度强化学习的选择性合并策略，通过近端策略优化训练策略网络，在广播包过期率和效率上优于SACM++。
2026-05-22 cs.AI cs.IT cs.NI
Sketch Decompositions for Classical Planning via Deep Reinforcement Learning
RWTH Aachen University（亚琛工业大学）
针对经典规划中现有草图学习方法的可扩展性与表达性局限，本研究将草图分解学习构建为深度强化学习任务，在修改的规划问题中学习通用策略，实验表明该方法生成的分解可有效求解问题且能被清晰理解。
2025-08-15 cs.AI
DRL-M4MR: An Intelligent Multicast Routing Approach Based on DQN Deep Reinforcement Learning in SDN
Guilin University of Electronic Technology（桂林电子科技大学）；Fujian University of Technology（福建工程学院）；Peng Cheng Lab.（鹏城实验室）
传统的组播路由方法在构建组播树时存在对网络状态信息获取受限、对网络动态复杂变化的适应性差、数据转发不灵活等问题。针对这些缺陷，将软件定义网络（SDN）中的最优组播路由问题裁剪为多目标优化问题，设计了一种基于深度Q网络（DQN）深度强化学习（DRL）方法的智能组播路由算法DRL-M4 MR，用于构建SDN中的组播树。首先，结合SDN的全局视图和全局控制，设计了DRL代理的状态空间：组播树状态矩阵、链路带宽矩阵、链路时延矩阵和链路丢包率矩阵。第二，代理的动作空间是网络中的所有链路，并在四种情况下设计了将链路添加到当前组播树的动作选择策略。第三，设计了单步和最终的奖励函数形式来指导智能决策以构造最优的组播树。实验结果表明，与现有算法相比，DRL-M4 MR构造的组播树在训练后能获得更好的带宽、时延和丢包率性能，并能在动态网络环境下做出更智能的组播路由决策。
2022-07-31 cs.AI cs.NI
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Value Function Decomposition for Iterative Design of Reinforcement Learning Agents
Sony AI（索尼AI）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
设计强化学习（RL）代理通常是一个困难的过程，需要多次设计迭代。学习失败的原因有很多，标准的强化学习方法提供的工具太少，无法深入了解确切的原因。在本文中，我们将展示如何将价值分解集成到一个广泛的演员-评论家算法，并使用它来协助迭代代理设计过程。价值分解将奖励函数分成不同的组件，并学习每个组件的价值估计。这些价值估计提供了对智能体学习和决策过程的深入了解，并使新的训练方法能够减轻常见问题。作为演示，我们介绍SAC-D，软演员评论家（SAC）的一个变种，适用于价值分解。SAC-D保持与SAC相似的性能，同时学习更大的价值预测集。我们还介绍了基于分解的工具，利用这些信息，包括一个新的奖励影响度量，衡量每个奖励组件对代理决策的影响。使用这些工具，我们提供了几个示范分解的使用，在识别和解决问题的环境和代理的设计。价值分解具有广泛的适用性，并且易于纳入现有的算法和工作流，使其成为RL实践者工具箱中的强大工具。
2022-10-20 cs.AI cs.LG
Decomposition Methods with Deep Corrections for Reinforcement Learning
分解方法已被提出来近似解决大型序列决策问题。在代理与多个实体交互的上下文中，效用分解可以用于将全局目标分离为独立考虑每个个体实体的局部任务。然后，仲裁者负责将各个效用组合起来，并实时的选择一个动作来解决全局问题。虽然这些技术可以很好地执行经验，他们依赖于强假设的本地任务之间的独立性和牺牲全局解决方案的最优性。本文提出了一种方法，通过学习一个校正项表示的神经网络的近似解的改进。我们展示了这种方法的渔业管理问题，多艘船必须协调，以最大限度地提高他们的渔获量随着时间的推移，以及行人回避问题的自动驾驶。在每个问题中，分解方法可以通过使用涉及一个实体的策略扩展到多个船只或行人。我们经验验证，所提出的校正方法显着提高了分解方法，并优于一个政策训练的全尺寸的问题，没有效用分解。
2019-04-22 cs.AI cs.LG
Learning to Cut: Reinforcement Learning for Benders Decomposition
Department of Integrated Systems Engineering（整合系统工程系）
本文提出RLBD框架，通过神经网络策略自适应选择切割，提升求解两阶段随机电动汽车充电站选址问题的效率，并在相似结构问题中表现出良好的泛化能力。
2026-05-07 cs.AI math.OC
Reinforcement Learning for Block Decomposition of CAD Models
Georgia Institute of Technology（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一种新的AI辅助方法，用于将平面CAD（计算机辅助设计）模型分解（分割）成形状良好的矩形块，作为适用于复杂2D和3D CAD模型的一般分解方法的原理证明。分解块需要生成高质量的网格（四边形或六面体的平铺），适用于守恒定律所管辖的物理系统的数值模拟。一般CAD模型的六面体网格生成问题已经困扰了研究人员超过30年，分析人员通常花费超过50%的设计分析周期时间将复杂模型分解为可通过现有技术网格化的简单部分。我们的方法使用强化学习来训练代理对CAD模型执行一系列优化切割，从而产生高质量的块分解。我们表明，代理快速学习一个有效的策略，选择的位置和方向的削减，并最大限度地提高其回报，而不是随机削减。本文是第一个成功的演示代理自主学习如何有效地执行这个块分解任务，从而保持一个可行的方法来自动化这个具有挑战性的过程的承诺。
2023-02-21 cs.AI cs.LG
Deep Reinforcement Learning for Joint Cruise Control and Intelligent Data Acquisition in UAVs-Assisted Sensor Networks
针对无人机辅助传感器网络中无人机移动速度引发的丢包与信息年龄过高问题，提出联合优化多无人机速度与采集调度的丢包最小化方案，以及平均场飞行资源分配优化方法以降低信息年龄。
2023-12-15 cs.AI cs.NI eess.SP
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
VERIFY-RL: Verifiable Recursive Decomposition for Reinforcement Learning in Mathematical Reasoning
School of Computing and Artificial Intelligence（计算与人工智能学院）
Verify-RL通过可验证的递归分解提升数学推理强化学习的准确性和稳定性。
2026-02-07 cs.AI cs.CC cs.NA
Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对约束强化学习处理投资组合配置约束时结果次优的问题，提出基于单纯形分解的CAOSD方法，将约束动作空间转化为无约束问题，在Nasdaq-100数据上表现优于现有CRL基准。
2024-04-16 cs.AI
Noise Distribution Decomposition based Multi-Agent Distributional Reinforcement Learning
Zhejiang Lab（之江实验室）；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Research Institute of China Telecom（中国电信研究院）
本文提出一种基于噪声分布分解的多智能体分布式强化学习方法，利用高斯混合模型分解共享噪声奖励，结合扩散模型生成奖励，并理论验证分解最优性，实验证明其在噪声环境下优于传统方法。
2024-11-06 cs.AI
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology（以色列理工学院）；University of Augsburg（奥格斯堡大学）
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体，并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Representations and Exploration for Deep Reinforcement Learning using Singular Value Decomposition
University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）
针对深度强化学习的表示学习与探索难题，提出基于奇异值分解的方法，可保留转移结构、免费生成伪计数估计，适配大规模及部分可观测场景，在DM-Lab-30和DM-Hard-8基准上验证了有效性。
2023-05-02 cs.AI cs.LG
SlateFree: a Model-Free Decomposition for Reinforcement Learning with Slate Actions
Sorbonne University（索邦大学）；CNRS-LIP6（法国国家科学研究中心-巴黎第六大学计算机科学实验室）
我们考虑的问题，顺序建议，在每一步代理提出一些石板$N$不同的项目给用户从一个更大的目录大小$K>>N$。用户对推荐有未知的偏好，代理在强化学习的帮助下采取顺序行动，优化（在我们的情况下最小化）一些与用户相关的成本。一个石板的可能的项目组合是$\binom{K}{N}$，一个巨大的数字渲染值迭代方法棘手。我们证明了石板MDP实际上可以分解使用每个状态，它描述了一个更紧凑，更有效的方式问题的$K$项目相关的$Q$功能。在此基础上，我们提出了一种新的无模型SARSA和Q-学习算法，执行$N$并行迭代每一步，没有任何事先用户的知识。我们称这种方法为\texttt{SlateFree}，即免费的石板，我们数值计算表明，它收敛非常快，任意用户简档的确切最佳，它优于文献中的替代品。
2022-09-05 cs.AI cs.IR cs.LG
State Space Decomposition and Subgoal Creation for Transfer in Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
典型的强化学习（RL）代理学习完成由针对其域定制的奖励函数指定的任务。因此，他们学习的策略甚至不能推广到类似的领域。为了解决这个问题，我们开发了一个框架，通过该框架，深度RL代理可以使用循环注意力机制学习将策略从更小，更简单的域推广到更复杂的域。任务以图像和指定目标的指令的形式呈现给代理。这个元控制器通过在注意力的状态空间中设计一系列较小的子任务来引导代理实现其目标，有效地分解它。作为基线，我们也考虑了没有注意力的设置。我们的实验表明，元控制器学习在注意力中创建子目标。
2017-05-24 cs.AI cs.LG stat.ML
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Model Primitive Hierarchical Lifelong Reinforcement Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
学习可解释和可转移的子策略并从单个复杂任务执行任务分解是困难的。一些传统的分层强化学习技术以自上而下的方式执行这种分解，而元学习技术需要手头的任务分布来学习这种分解。本文提出了一个框架，使用不同的次优世界模型分解成简单的模块化子策略的复杂任务的解决方案。该框架以自自底向上的的方式执行单个源任务的自动分解，同时学习所需的模块化子策略以及控制器来协调它们。我们在高维连续动作控制任务上进行了一系列实验，以证明这种方法在复杂的单任务学习和终身学习中的有效性。最后，我们进行消融研究，以了解框架中不同元素的重要性和鲁棒性以及这种方法的局限性。
2019-03-04 cs.AI cs.LG cs.NE
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
From Text to Trajectory: Exploring Complex Constraint Representation and Decomposition in Safe Reinforcement Learning
Beihang University（北航大学）；Zhongguancun Laboratory（中关村实验室）
本文提出轨迹级文本约束转换器（TTCT），利用文本作为约束和训练信号，替代手动代价函数，在安全强化学习中实现更低违规率并具备零样本迁移能力。
2025-08-05 cs.AI cs.CL
Enabling risk-aware Reinforcement Learning for medical interventions through uncertainty decomposition
Imperial College London（帝国理工学院）
强化学习（RL）是解决复杂控制和决策问题的新兴工具。然而，在高风险的环境中，如医疗保健、制造业、汽车或航空航天，由于与之相关的不确定性和风险，要弥合智能体学习到的表面上最优的策略与其实际部署之间的差距往往是具有挑战性的。任意的不确定性，它反映了世界动态中的随机性或噪声，以及2。认知不确定性，它反映了由于模型限制和代理获得的关于世界的有限数量的信息/数据而导致的代理的有限知识。这两种类型的不确定性对业绩评估和风险或信任程度具有根本不同的影响。然而，这些任意的和认识的不确定性通常被混淆为标准的，甚至分布RL是不可知的这种差异。在这里，我们提出了一个分布式的方法（UA-DQN）可以重铸，通过分解每个不确定性的净影响，使不确定性。我们展示了这种方法在网格世界的例子中建立直觉的操作，然后展示了作为重症监护临床决策支持系统的RL代理的概念证明应用程序
2022-04-27 cs.AI
Prioritized Soft Q-Decomposition for Lexicographic Reinforcement Learning
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
本文提出优先化软 Q 分解（PSQD）算法，通过子任务变换与值分解增量求解连续空间词典序多目标强化学习问题，支持零样本重用和离线适配，并在机器人控制任务中验证了其有效性。
2024-05-02 cs.AI
Age of Information-Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective
VTT Technical Research Centre of Finland Ltd（芬兰VTT技术研究中心）；University of Electro-Communications（电气通信大学）；Zhejiang University（浙江大学）；Shizuoka University（静冈大学）；University of Oslo（奥斯陆大学）；University of Oulu（奥卢大学）
在本文中，我们调查的问题，信息时代（AOI）意识到无线电资源管理预期的长期性能优化在曼哈顿网格车对车网络。通过在每个调度时隙观察全局网络状态，路边单元（RSU）为所有车辆用户设备对（VUE对）分配频带并调度分组传输。我们建模的随机决策过程作为一个离散时间单代理马尔可夫决策过程（MDP）。解决最优控制策略的技术挑战源于高空间移动性和随时间变化的交通信息到达的VUE对。为了使问题的解决易于处理，我们首先将原始MDP分解为一系列每个VUE对的MDP。然后提出了一种基于长短期记忆和深度强化学习技术的主动算法来解决每个VUE对所面临的局部网络状态空间的部分可观测性和高维灾难。在该算法中，RSU根据VUE对全局网络状态的部分观测值，以分散的方式在每个调度时隙进行最优频带分配和分组调度决策。数值实验验证了理论分析的正确性，并证明了该算法的有效性.
2019-11-15 cs.AI cs.LG
Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition
DeepMind（深度思维）；Google（谷歌）
许多环境包含许多可变值的可用小生境，每个小生境与行为空间（策略空间）中的不同局部最优值相关联。在这种情况下，通常很难设计出一种学习过程，能够避免被糟糕的局部最优值分心足够长的时间，以偶然发现最佳的可用利基。在这项工作中，我们提出了一个通用的强化学习（RL）算法，在这种具有多个可变值小生境的环境中，该算法的性能优于基线深度Q-学习算法。我们提出的算法由两部分组成：代理架构和学习规则。代理架构包含多个子策略。该学习规则的灵感来自演化计算中的适应度共享，并应用于强化学习中，以一种新颖的方式使用值分解网络的单智能体的内部人口。它可以具体地理解为添加额外的损失项，其中一个策略的经验也用于以降低其对访问状态的价值估计的方式更新所有其他策略。特别地，当一个子策略频繁地访问特定状态时，这降低了针对去往该状态的其他子策略的预测值。此外，我们还介绍了一个人工化学启发的平台，在这个平台上，可以很容易地利用不同的资源（即多个利基）创建具有多个奖励策略的任务。我们表明，以这种方式训练的代理可以逃脱差但有吸引力的局部最优，而不是收敛到更难发现更高的价值策略在人工化学环境和更简单的说明性环境。
2023-02-03 cs.AI cs.NE
Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
Google Research（谷歌研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；YouTube, LLC（YouTube有限责任公司）
大多数实用的推荐系统专注于估计即时用户参与度，而不考虑推荐对用户行为的长期影响。强化学习（RL）方法提供了优化长期用户参与建议的潜力。然而，由于用户经常被呈现多个项目的板-这可能对用户选择有交互作用-需要方法来处理RL动作空间的组合。在这项工作中，我们解决了使用RL提出基于石板的建议以优化长期价值的挑战。我们的贡献是三方面的。(i)我们开发了SLATEQ，一种基于值的时间差和Q学习的分解，使RL易于使用石板。在对用户选择行为的温和假设下，我们证明了一个石板的长期价值（LTV）可以分解为一个易于处理的功能，其组件项目明智的LTV。(ii)我们概述了一种方法，利用现有的近视学习为基础的推荐快速开发一个推荐处理LTV。(iii)我们在模拟中展示了我们的方法，并在YouTube上的现场实验中使用SLATEQ验证了分解TD学习的可扩展性。
2019-05-31 cs.AI cs.IR cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Q-function Decomposition with Intervention Semantics with Factored Action Spaces
IBM T. J. Watson Research Center（IBM 沃森研究中心）；The Chinese University of Hong Kong（香港中文大学）
针对离散分解动作空间中组合爆炸导致的强化学习难题，本文提出动作分解强化学习方法，利用因果效应估计在低维投影子空间上分解 Q 函数，显著提升了样本效率。
2025-04-30 cs.AI cs.LG
LLM-Augmented Symbolic Reinforcement Learning with Landmark-Based Task Decomposition
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本文提出利用正负轨迹和地标识别子任务，并用LLM生成一阶逻辑规则模板，再经ILP强化学习微调为策略，从而在更少环境谓词假设下求解复杂任务。
2024-10-02 cs.AI cs.LG
Optimizing Routerless Network-on-Chip Designs: An Innovative Learning-Based Framework
University of Southern California（南加利福尼亚大学）；Oregon State University（俄勒冈州立大学）
将机器学习应用于建筑设计提供了具有广泛应用前景的机会。特别是最近的深度强化学习（DRL）技术，能够在传统设计策略可能不充分的巨大设计空间中进行有效探索。本文提出了一种新的深度加固框架，以无路由器片上网络（NoC）作为评估案例研究。新框架成功地解决了先前的设计方法由于随机搜索而不可靠或由于严重的设计空间限制而不灵活的问题。该框架学习（近）最佳的环路布局与各种设计约束的无路由片上网络。一个深度神经网络开发使用并行线程，有效地探索巨大的无路由器片上网络设计空间与蒙特卡洛搜索树。实验结果表明，与传统网格相比，所提出的深度强化学习（DRL）无路由器设计实现了3.25倍的吞吐量增加，1.6倍的数据包延迟减少，和5倍的功耗降低。与最先进的无路由器NoC相比，DRL实现了1.47倍的吞吐量增加，1.18倍的数据包延迟减少，以及1.14倍的平均跳数减少，尽管功耗略高。
2019-05-11 cs.AI cs.AR cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
FPGA Divide-and-Conquer Placement using Deep Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文研究 FPGA 逻辑块布局问题，提出一种基于深度强化学习以最小化线长的方法，并引入新颖的分解策略应对大搜索空间，实验验证了其有效性。
2024-04-11 cs.AI cs.AR cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Multibit Tries Packet Classification with Deep Reinforcement Learning
Southern Illinois University（南伊利诺伊大学）
高性能数据包分类是支持防火墙、入侵检测和区分服务等可扩展网络应用的关键组件。随着核心网线路速率的不断提高，如何设计一个可扩展的、高性能的分组分类方案成为一个巨大的挑战。在本文中，我们提出了一个可扩展的基于学习的数据包分类引擎和它的性能评估。该算法利用规则集的稀疏性，使用少量的有效位（EB），以较少的内存访问量提取大量的候选规则。这些有效位是通过深度强化学习学习的，它们被用来创建位图，以过滤掉大多数不需要完全匹配的规则，以提高在线系统的性能。此外，我们的基于EBs学习的选择方法是独立的规则集，它可以应用于不同的规则集。我们的多位尝试分类引擎优于查找时间在最坏和平均情况下的55%，减少内存占用，相比传统的决策树没有EB。
2022-05-17 cs.LG cs.NI cs.PF
MAMRL: Exploiting Multi-agent Meta Reinforcement Learning in WAN Traffic Engineering
University of California, Riverside（加州大学河滨分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
流量优化的挑战，如负载均衡，流量调度，并提高数据包的交付时间，是困难的广域网（WAN）的在线决策问题。例如，需要复杂的算法来找到最佳路径，以改善分组传递时间并最小化可能由链路故障或拥塞引起的中断。最近的成功强化学习（RL）算法可以提供有用的解决方案，以建立更好的鲁棒系统，从经验中学习无模型设置。在这项工作中，我们考虑的路径优化问题，特别是数据包路由，在大型复杂网络。我们开发和评估一种无模型的方法，应用多代理Meta强化学习（MAMRL），可以确定每个数据包的下一跳，让它以最短的时间整体交付到目的地。具体来说，我们建议利用和比较深度策略优化RL算法，以实现通信网络中的分布式无模型控制，并提出一种新的基于元学习的框架MAMRL，以实现快速适应拓扑变化。为了评估所提出的框架，我们模拟各种WAN拓扑结构。我们广泛的数据包级仿真结果表明，与经典的最短路径和传统的强化学习方法相比，MAMRL显着降低了平均数据包传输时间，即使当网络需求增加;和非元深度策略优化算法相比，我们的研究结果显示，减少数据包丢失在更少的情节时，发生链路故障，同时提供可比的平均数据包传输时间。
2021-11-30 cs.LG cs.MA cs.NI
Reinforcement Learning Framework for Opportunistic Routing in WSNs
GMRIT（GMR理工学院）
机会路由是多跳无线传感器网络的重要组成部分。现有的路由技术不是自适应机会的。在本文中，我们提出了一个自适应的机会路由方案，路由数据包的机会，以确保数据包丢失是避免的。学习和路由相结合的框架，探索最佳路由的可能性。在本文中，我们使用客户模拟器实现了这个强化学习框架。实验结果表明，即使网络结构未知，该方案也能够利用机会优化数据包的路由。
2013-10-31 cs.LG cs.NI
Reinforcement-Learning based routing for packet-optical networks with hybrid telemetry
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Telefonica I+D（西班牙电信研发部门）
本研究提出一种面向混合遥测分组光网络的强化学习路由方法，结合物理层与链路层测量值设置时延奖惩，通过Q-learning寻优，可动态适应网络负载与链路质量变化并提供开源实现。
2024-06-21 cs.LG cs.NI
Flow-Level Packet Loss Detection via Sketch Decomposition and Matrix Optimization
对于云服务提供商来说，跨数据中心的细粒度丢包检测对于提高其服务水平和增加业务收入至关重要。然而，由于负责通信的广域网链路不在其管理之下这一基本限制，无法获得足够的测量数据使之难以进行。此外，WAN中的毫秒级延迟抖动和时钟同步错误会使许多在数据中心网络中处理此问题的工具无法正常工作。因此，迫切需要开发一种新的工具或方法。在这项工作中，我们提出了SketchDecomp，一种新的损失检测方法，从数学的角度，以前从未考虑过。其关键是将上下游草图分解为若干个子草图，建立低秩矩阵优化模型进行求解。在试验台上进行的大量试验表明了该方法的优越性。
2022-10-23 cs.NI
SparseIDS: Learning Packet Sampling with Reinforcement Learning
Technische Universität Wien（维也纳工业大学）
递归神经网络（RNN）已被证明是有价值的网络数据的入侵检测系统（IDS）的建设。它们允许在流结束之前确定流是否是恶意的，从而可以立即采取行动。然而，考虑到必须检查大量数据包，例如在云/雾和边缘计算中，计算效率的问题就出现了。我们表明，通过使用一种新的强化学习（RL）为基础的方法称为SparseIDS，我们可以减少超过四分之三的消费数据包的数量，同时保持分类精度高。为了最大限度地减少基于RL的采样的计算费用，我们表明，一个共享的神经网络可以用于分类器和RL逻辑。因此，部署中的采样不会消耗额外的资源。与其他各种采样技术相比，SparseIDS通过学习仅对相关数据包进行采样，始终实现更高的分类准确率。我们的基于RL的方法的一个主要的新颖性是，它不仅可以跳过一个预定义的最大数量的样本一样，在自然语言处理领域提出的其他方法，但甚至可以跳过任意多个数据包在一个步骤。这使得能够为长序列节省更多的计算资源。通过对SparseIDS数据包选择行为的考察，发现SparseIDS对不同的攻击类型和网络流量采用不同的采样策略。最后，我们建立了一个自动转向机制，可以指导SparseIDS部署，以达到所需的稀疏性水平。
2020-05-04 cs.CR cs.LG cs.NI
Optimal Cooperative Cognitive Relaying and Spectrum Access for an Energy Harvesting Cognitive Radio: Reinforcement Learning Approach
Qatar University（卡塔尔大学）；Nile University（尼罗河大学）
在本文中，我们考虑了认知环境下的合作通信的背景下，认知无线电（CR）用户被假定为网络的自组织中继。假设CR用户和PU是能量采集器。CR用户协作地中继主用户（PU）的一些未递送的分组。具体地，CR用户将未递送的主分组的一部分存储在中继队列（缓冲器）中。它使用时隙上的适当动作来管理未递送的主分组到其中继队列的流。此外，它具有在空闲时隙（PU的队列为空的时隙）选择用于信道接入的所用队列的决定。假设一个数据包传输消耗一个能量包。最优策略根据主用户和CR用户到达数据和能量队列的速率以及信道的连通性而变化。CR用户通过承担中继未递送的主分组的责任来为PU节省能量。随着时间的推移，它最佳地组织自己的能量包以最大化其收益。
2014-07-08 cs.IT cs.LG cs.NI
Dynamic Routing for Integrated Satellite-Terrestrial Networks: A Constrained Multi-Agent Reinforcement Learning Approach
针对星地一体化网络中复杂动态路由及服务质量约束问题，提出基于 Lagrange max-min 建模的约束多智能体强化学习算法 CMADR，并在 OneWeb、Telesat 星座中验证其显著降低时延。
2023-12-23 cs.AI cs.LG cs.NI
DRAMA: A Dynamic Packet Routing Algorithm using Multi-Agent Reinforcement Learning with Emergent Communication
本文提出动态路由算法DRAMA，结合多智能体强化学习与涌现通信，引入新Q-network和基于图的通信机制适应动态拓扑，在多种网络场景下实现更高交付率和更低延迟。
2025-04-06 cs.NI
Risk-Sensitive Reinforcement Learning for URLLC Traffic in Wireless Networks
在本文中，我们研究了在多用户多信道无线网络中URLLC业务的动态信道分配问题，其中紧急数据包必须及时成功传输。我们制定的问题作为一个有限的地平线马尔可夫决策过程的随机约束相关的QoS要求，定义为每个用户的丢包率。我们提出了一种新的加权公式，考虑到总的预期回报（成功传输的数据包的数量）和风险，我们定义为QoS要求违反。首先，我们使用值迭代算法来找到最优策略，这假设了所有参数的控制器的完美知识，即信道统计。然后，我们提出了一个Q-学习算法的控制器学习的最优策略，而不具有知识的CSI也没有信道统计。我们说明了我们的算法的性能与数值研究。
2018-11-07 cs.NI
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
随着无线网络中具有各种数据率和延迟要求的用户设备（UE）的数量增加，正交频分多址（OFDMA）的资源分配问题变得具有挑战性。特别地，当在保持UE之间的公平性的同时最大化系统数据率时，变化的要求导致非凸优化问题。在本文中，我们使用深度强化学习（DRL）解决非凸优化问题。我们概述，训练和评估的DRL代理，它执行的任务，下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理，我们引入模仿学习。为了提高调度性能，考虑基站处的全缓冲器状态信息（例如，分组年龄、分组大小）。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估，并根据不同的基准代理进行评估。我们表明，我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY
An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks
Telecommunications Research Institute, University of Malaga（马拉加大学电信研究院）；Aalborg University（奥尔堡大学）
本文针对低地球轨道卫星星座动态系统不确定性问题，提出开源Python模拟器，支持传统路由与Q-Routing、MA-DRL等学习方案，通过事件驱动模拟提升端到端延迟性能，代码文档开源。
2024-11-28 cs.LG cs.NI eess.SP
Extended Reality (XR) Codec Adaptation in 5G using Multi-Agent Reinforcement Learning with Attention Action Selection
本文提出基于oQMIX的多智能体强化学习方案，结合注意力机制与石板MDP优化XR编解码参数，在5G网络中相比APS算法在XR指数、抖动、延迟和丢包率上分别提升30.1%、15.6%、16.5%和50.3%。
2024-05-24 cs.NI
Network Anomaly Detection based on Tensor Decomposition
Federal University of Rio de Janeiro（里约热内卢联邦大学）；University of Massachusetts at Amherst（马萨诸塞大学阿默斯特分校）
从网络测量中检测时间序列中的异常问题已经被广泛研究，并且是一个非常重要的课题。许多异常检测方法都是基于在网络核心路由器上收集的数据包检测，因此在计算成本和隐私方面存在不足。我们提出了一种替代方法，其中不需要数据包报头检查。该方法是基于张量分解技术，考虑到不同的度量之间的相关性得到的正常子空间的提取。我们提出了一种新的在线张量分解方法，可以有效地跟踪正常子空间的变化。我们的建议的另一个优点是所获得的模型的可解释性。该方法的灵活性说明了它应用到两个不同的例子，都使用实际数据收集的住宅路由器。
2020-04-20 cs.LG cs.NI
Fast reinforcement learning for decentralized MAC optimization
针对传感器网络中的不规则重复时隙ALOHA（Irregular Repetition Slotted ALOHA，IRSA）协议，提出了一种新的分散式传输策略优化框架。我们考虑一个分层的通信框架，确保适应不断变化的网络条件，不需要集中控制。所提出的解决方案受到强化学习文献的启发，特别是Q学习。为了应对传感器节点有限的生命周期和通信范围，我们允许它们仅考虑自己的缓冲区状态来决定传输多少个数据包副本。我们表明，这些信息是足够的，可以帮助避免数据包的冲突，提高吞吐量显着。我们使用分散的部分可观察马尔可夫决策过程（Dec-POMDP）框架解决了这个问题，在这个框架中，我们允许每个节点独立于其他节点来决定要传输多少数据包副本。我们增强了所提出的基于Q学习的方法与虚拟经验的概念，我们从理论和实验上证明，收敛时间，从而显着减少。实验证明，我们的方法导致了大的吞吐量增益，特别是当网络流量很大，并与网络的大小很好地扩展。为了理解问题的性质对学习动态的影响，反之亦然，我们研究了瀑布效应，这是一种在特定流量负载以上的性能严重下降，典型的代码图，并证明我们的算法学习减轻它。
2018-05-17 cs.IT cs.MA cs.NI
Accelerated Structure-Aware Reinforcement Learning for Delay-Sensitive Energy Harvesting Wireless Sensors
我们研究了一种能量收集无线传感器在衰落信道上传输延迟敏感数据。传感器将捕获的数据包注入其传输队列，并依赖于从环境中收集的环境能量来传输它们。我们的目标是找到最佳的调度策略，决定是否要在每个传输机会，使预期的数据包排队延迟最小化给定的可用收获的能量传输队列的头线包。没有先验知识的随机过程，管理信道，捕获的数据，或收获的能量动态的假设，从而需要使用在线学习，以优化调度策略。我们将此调度问题表示为马尔可夫决策过程（MDP），并分析了其最优价值函数的结构特性。特别是，我们表明，它是非递减的，并在队列积压的差异越来越大，它是非递增的，并在电池状态的差异越来越大。我们利用这种结构，制定了一种新的加速强化学习（RL）算法，以更快的学习率在线解决调度问题，同时限制诱导的计算复杂性。我们的实验表明，所提出的算法非常接近最佳离线解决方案的性能，该解决方案需要信道、捕获的数据和收集的能量动态的先验知识。同时，通过利用价值函数的结构，我们的方法实现了竞争力的性能相对于一个国家的最先进的RL算法，在潜在的数量级较低的复杂性。最后，相当大的性能增益证明了著名的和广泛使用的Q-学习算法。
2019-05-05 cs.LG cs.NI eess.SP
