On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University（迪肯大学）
本论文对现代实际应用中的基本强化学习方法进行了深入研究，包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置，论文激励的问题进行研究，回顾了目前的文献，提供计算效率的算法，可证明的效率保证，并得出结论，未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献，同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Interference Management in UAV-based 3D Networks: Potentials and Challenges
Villanova University（维拉诺瓦大学）；NVIDIA（英伟达）；Peking University（北京大学）；Virginia Tech（弗吉尼亚理工大学）；Princeton University（普林斯顿大学）
本文提出利用深度强化学习管理无人机三维网络中的干扰，无需信道信息即可有效缓解干扰，并实现线性/次线性复杂度及多智能体去中心化，促进民用无人机发展。
2023-05-11 cs.AI cs.IR cs.IT
Same State, Different Task: Continual Reinforcement Learning without Interference
University of Oxford（牛津大学）
持续学习（CL）考虑在一组任务上顺序地训练代理，同时寻求保留所有先前任务的性能的问题。CL中的一个关键挑战是灾难性遗忘，当学习新任务时，先前掌握的任务的性能降低时，就会出现这种情况。虽然有各种各样的方法来对抗遗忘，但在某些情况下，任务从根本上相互不兼容，因此无法通过单一策略来学习。这可能发生在强化学习（RL）中，当代理可以从相同的观察中实现不同的目标时得到奖励。在本文中，我们形式化这种“干扰”的问题，从不同的遗忘。我们表明，现有的CL方法的基础上，共享重放缓冲区的单一神经网络预测失败的干扰存在。相反，我们提出了一个简单的方法，OWL，来解决这个挑战。OWL学习一个分解策略，使用共享的特征提取层，但是单独的头，每个专门用于一个新的任务。OWL中的分离头用于防止干扰。在测试时，我们制定的政策选择作为一个多臂强盗问题，并表明它是可能的，选择最佳的政策，为一个未知的任务，使用反馈的环境。强盗算法的使用允许OWL代理建设性地重复使用不同的不断学习的政策在不同的时间在一个插曲。我们在多个RL环境中表明，现有的基于重放的CL方法失败，而OWL在顺序训练时能够实现接近最佳性能。
2022-03-15 cs.AI cs.LG
Selective Experience Sharing in Reinforcement Learning Enhances Interference Management
Villanova University（维拉诺瓦大学）
提出一种选择性经验共享的多智能体强化学习方法用于小区间干扰缓解，实现去中心化训练与执行，在大幅减少通信开销与经验共享量的同时，性能优于现有去中心化算法。
2025-01-27 cs.LG eess.SP
Overcoming Catastrophic Interference in Online Reinforcement Learning with Dynamic Self-Organizing Maps
University of Hong Kong（香港大学）；University of Alberta（阿尔伯塔大学）
在强化学习（RL）框架中使用神经网络已经取得了显著的成功。然而，神经网络往往会忘记它们过去学到的东西，特别是当它们在线学习并且完全增量学习时，在这种设置中，权重在每个样本被接收后更新，然后丢弃样本。在此设置下，更新可能会因更改过多权重而导致过度全局泛化。全局泛化干扰了先前学习的内容并降低了性能，这种现象称为灾难性干扰。许多以前的作品使用的机制，如经验重放（ER）缓冲区，以减轻干扰，通过执行小批量更新，确保数据分布是近似独立和相同的分布（i.i.d.）。但是，随着问题复杂性的增加，使用ER在内存方面将变得不可行。因此，寻找更有效的内存替代方案至关重要。如果我们用更多的局部更新来替换全局更新，就可以避免干扰，因此只更新负责观察到的数据样本的权重。在这项工作中，我们提出了使用动态自组织映射（DSOM）与神经网络诱导这种局部性的更新没有ER缓冲区。我们的方法学习一个DSOM来产生一个掩码，以重新权衡每个隐藏单元的输出，调节其使用程度。它通过将全局更新替换为本地更新来防止干扰，并以代理的状态为条件。我们在标准RL基准测试（包括Mountain Car和Lunar Lander）上验证了我们的方法，现有方法在没有ER的情况下通常无法学习。从经验上讲，我们表明，我们的在线和完全增量的方法与最先进的方法相当，在某些情况下，在最终性能和学习速度方面优于最先进的方法。我们提供了可视化和定量措施，以表明…
2019-10-29 cs.AI cs.LG
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta（阿尔伯塔大学）
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络，而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为，我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰，这两种方法本质上是几何的，并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码，这是一种经典的二进制编码方案，最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法（EmECS）是我们提出的一种新方法，它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较，并与经典的瓦片编码算法加上线性函数逼近器进行了比较，并在几个在线强化学习任务中，我们表明，瓦片编码或EmECS的神经网络不仅可以实现更快的学习，而且可以实现更准确的逼近。我们的研究结果强烈表明，这种类型的几何输入变换可以有效地减少干扰，使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
Reinforcement Learning Assisted Beamforming for Inter-cell Interference Mitigation in 5G Massive MIMO Networks
波束成形是5G大规模多输入多输出（MMIMO）通信中的关键技术，由于无线传输信道（即空气）的性质，MMIMO通信受到许多损害。小区间干扰（ICI）是5G通信由于频率复用技术而面临的主要损害之一。在本文中，我们提出了一种强化学习（RL）辅助的全动态波束成形，用于5G下行链路中的ICI抑制。该算法结合了波束形成技术和全动态Q学习技术，以最小化ICI，并导致一个低复杂度的方法，无需信道估计。性能分析表明，与其他算法相比，该算法在信干噪比（SINR）和计算复杂性方面的服务质量得到了改善。
2021-07-02 cs.AI cs.IT cs.NI
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia（联邦大学澳大利亚）；Deakin University（迪金大学）
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题，通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
Reinforcement Learning for Mitigating Intermittent Interference in Terahertz Communication Networks
Kansas State University（堪萨斯州立大学）；University of Colorado Colorado Spring（科罗拉多斯普林斯分校科罗拉多大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
具有极高数据速率要求的新兴无线服务（诸如实时延展实境应用）要求新颖的解决方案来进一步增加未来无线网络的容量。在这方面，利用太赫兹频段的大可用带宽被视为一个关键的推动因素。为了克服在这些非常高的频率下的大的传播损耗，不可避免地要管理在高度定向的链路上的传输。然而，大量用户的不协调定向传输可能会对太赫兹网络造成严重干扰。虽然这样的干扰将在短的随机时间间隔上被接收，但是接收的功率可能很大。在这项工作中，提出了一种新的框架，基于强化学习，使用自适应多阈值策略，有效地检测和减轻间歇性干扰的方向性链路在时域中。为了找到最佳阈值，问题被配制成一个多维多臂强盗系统。然后，提出了一种算法，该算法允许接收器以非常低的复杂度学习最佳阈值。所提出的方法的另一个关键优点是它不依赖于关于干扰统计的任何先验知识，因此，它适合于动态场景中的干扰减轻。仿真结果证实了优越的比特错误率性能相比，两个传统的时域干扰抑制方法所提出的方法。
2020-03-10 cs.LG cs.NI eess.SP
Power and Interference Control for VLC-Based UDN: A Reinforcement Learning Approach
Xiamen University（厦门大学）
可见光通信（VLC）作为现代短距离通信的一种很有前途的解决方案，已经得到了广泛的应用。在VLC网络中部署LED阵列时，可以采用新兴的超密集网络（UDN）技术来扩展VLC网络的容量。然而，在基于VLC的UDN中，小区间干扰（ICI）减轻和有效功率控制的问题仍然是一个关键的挑战。为此，本文设计了一种基于强化学习（RL）的VLC UDN架构。通过空间重用优化小区的部署以减轻ICI。提出了一种基于RL的功率和干扰控制策略动态优化算法，使系统在复杂动态环境下效用最大化。仿真结果表明了该方案的优越性，在降低能耗和ICI的同时，提高了系统的利用率和可达数据速率，性能优于基准方案。
2023-03-09 cs.IT cs.LG eess.SP
Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification
Department of Computer Science, Aarhus University（计算机科学系，阿arhus大学）；Baidu Inc.（百度公司）
本文提出LENS框架，通过去除干扰标记提升强化学习推理效率，实验显示其在数学推理和科学推理中性能更优，收敛更快。
2026-04-20 cs.AI cs.CL cs.LG
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
强化学习系统需要良好的表示才能正常工作。几十年来，强化学习的实际成功仅限于小领域。另一方面，深度强化学习系统是可扩展的，不依赖于特定领域的先验知识，并已成功用于播放Atari，从像素进行3D导航，并控制高自由度机器人。不幸的是，深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中，要取得良好的业绩，通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰：当后来的训练通过覆盖以前的学习而降低性能时。有趣的是，使神经网络（NN）在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中，我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现，简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明，这种预处理减少了预测任务中的干扰。更实际的是，我们提供了一种简单的NN训练方法，易于实现，并且需要很少的额外计算。我们证明，我们的方法提高了预测和控制的性能，在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE
SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel Allocation in Cognitive Interference Networks
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；Elbit Radio Ltd.（埃尔比特无线电有限公司）
针对存在ICI和多网络信道复用的认知网络DCA问题，提出基于CTDE与DeepMellow的多智能体RL框架CARLTON，以低维观测实现全局SINR最大化和QoS保障。
2024-02-17 cs.LG eess.SP
Practical Risk Measures in Reinforcement Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technion – Israel Institute of Technology（以色列理工学院）
强化学习（RL）的实际应用通常涉及风险考虑。我们研究了一个广义近似计划的风险措施，基于蒙特卡罗模拟，风险措施不一定是\emph{coherent}。我们证明，即使在简单的问题，措施，如方差的奖励去不捕获的风险，在一个令人满意的方式。此外，我们展示了如何从模型的实现中获得风险度量。我们提出了一个神经架构估计的风险，并建议的风险评论家架构，可用于优化政策下的一般风险措施。我们结束我们的工作与实验，证明我们的方法的有效性。
2019-08-22 cs.LG stat.ML
Minimizing Safety Interference for Safe and Comfortable Automated Driving with Distributional Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
尽管强化学习（RL）最近取得了进展，但其在自动驾驶汽车等安全关键领域的应用仍然具有挑战性。虽然惩罚RL代理的风险情况可以帮助学习安全的策略，但它也可能导致高度保守的行为。在本文中，我们提出了一个分布式RL框架，以学习自适应策略，可以在运行时根据所需的舒适度和实用性调整其保守性水平。使用主动安全验证方法，所提出的框架可以保证从RL产生的动作是根据最坏情况假设的故障安全。同时，鼓励该政策，以尽量减少安全干扰，并产生更舒适的行为。我们使用一个高级模拟器对所提出的方法和基线策略进行了训练和评估，该模拟器具有各种随机场景，包括现实中很少发生但非常关键的几个角落案例。根据我们的实验，使用分布式RL学习的策略的行为可以在运行时自适应，并且对环境的不确定性具有鲁棒性。定量地，学习的分布式RL代理比正常的DQN策略平均快8秒，并且与基于规则的策略相比，需要的安全干扰减少83%，平均穿越时间略有增加。我们还研究了在感知噪声较高的环境中学习策略的敏感性，并表明我们的算法学习策略，当感知噪声比在闭塞交叉口自动合并和交叉的训练配置高两倍时，仍然可以可靠地驾驶。
2021-07-15 cs.AI cs.RO
On the Practical Consistency of Meta-Reinforcement Learning Algorithms
University of Oxford（牛津大学）
一致性是元学习算法的理论属性，它确保在某些假设下，它可以适应测试时的任何任务。一个悬而未决的问题是，与不一致的算法相比，理论上的一致性是否以及如何转化为实践。在本文中，我们实证研究这个问题上的一组代表性的元RL算法。我们发现，理论上一致的算法确实通常可以适应分布外（OOD）的任务，而不一致的不能，虽然他们仍然可以在实践中失败的原因，如穷人的探索。我们进一步发现，理论上不一致的算法可以通过继续更新OOD任务的所有代理组件，并适应以及或更好地比原来一致的。我们的结论是，理论上的一致性确实是一个理想的属性，不一致的元RL算法可以很容易地保持一致，以享受相同的好处。
2021-12-01 cs.AI cs.LG stat.ML
Exploration by Distributional Reinforcement Learning
Columbia University（哥伦比亚大学）
我们提出了一个基于分布式强化学习的框架，以及最近将贝叶斯参数更新与深度强化学习相结合的尝试。我们表明，我们提出的框架在概念上统一了以前的多种方法的探索。我们还得到了一个实用的算法，实现了有效的探索具有挑战性的控制任务。
2018-06-21 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Interference Suppression in RIS-Aided Space-Air-Ground Integrated Networks
Department of Artificial Intelligence, Indian Institute of Technology Hyderabad, Telangana, India（印度海得拉巴印度理工学院人工智能系）；School of Informatics, Kami, Kochi University of Technology, Kochi, Japan（日本科技大学信息学院）；Graduate School of Information Sciences, Tohoku University, Sendai, Miyagi, Japan（东北大学信息科学研究生院）
本文提出基于RIS的深度强化学习方法，用于优化HAPS波束成形以抑制干扰，提升空间-空-地一体化网络的频谱效率。
2026-01-27 cs.AI cs.IT cs.LG
Joint Resource Management for MC-NOMA: A Deep Reinforcement Learning Approach
Beijing University of Posts and Telecommunications（北京邮电大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（澳大利亚联邦科学与工业研究组织）；University of Technology Sydney（悉尼科技大学）
提出了一种基于深度强化学习（DRL）的联合资源管理（JRM）新方法，该方法在实际多载波非正交多址接入（MC-NOMA）系统中解决了硬件敏感性和不完美连续干扰消除（SIC）问题。我们首先制定的JRM问题，以最大限度地提高加权和系统的吞吐量。然后，JRM问题被解耦为两个迭代子任务：子载波分配（SA，包括用户分组）和功率分配（PA）。每个子任务都是一个连续的决策过程。基于DRL的JRM（DRL-JRM）方法采用深度确定性策略梯度算法，通过一种新的联合奖励机制和内部奖励机制来解决子任务的优化目标和约束条件。采用多智能体结构和卷积神经网络降低PA子任务的复杂度。我们还调整了神经网络结构的稳定性和收敛性的DRL JRM。通过大量的实验证实，所提出的DRL-JRM方案在系统吞吐量和抗干扰性方面优于现有的替代方案，特别是在存在许多用户和强小区间干扰的情况下。DRL-JRM可以灵活地满足用户个性化的业务需求。
2021-03-29 cs.AI cs.LG
Practical Kernel-Based Reinforcement Learning
Laboratório Nacional de Computação Científica（国家科学计算实验室）；McGill University（麦吉尔大学）
基于核的强化学习（KBRL）以其强大的理论保证在强化学习算法中脱颖而出。通过将学习问题转换为局部核近似，KBRL提供了一种计算决策策略的方法，该决策策略在统计上是一致的，并且收敛到唯一的解。不幸的是，由KBRL构建的模型随着样本转换的数量而增长，从而导致计算成本，从而排除了其应用于大规模或在线域。在本文中，我们介绍了一种算法，把KBRL变成一个实用的强化学习工具。基于核的随机因子分解（KBSF）建立在一个简单的想法上：当一个转移矩阵表示为两个随机矩阵的乘积时，可以交换乘法的因子以获得另一个转移矩阵，可能要小得多，它保留了它的前身的一些基本属性。KBSF利用这种洞察力将KBRL模型中包含的信息压缩到固定大小的近似器中。这使得有可能建立一个近似，同时考虑到问题的难度和相关的计算成本。KBSF的计算复杂性与样本转换的数量成线性关系，这是在不丢弃数据的情况下所能做到的最好的。此外，该算法的简单机制允许完全增量的实现，使得所使用的内存量与样本转换的数量无关。其结果是一个基于核的强化学习算法，可以应用于离线和在线制度的大规模问题。我们推导出的价值函数计算KBRL和KBSF使用相同的数据之间的距离的上界。我们还说明了我们的算法在广泛的实证研究，其中KBSF应用于困难的任务，基于真实世界的数据的潜力。
2014-07-21 cs.AI cs.LG stat.ML
Cellular-Connected UAVs over 5G: Deep Reinforcement Learning for Interference Management
The University of Edinburgh（爱丁堡大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；Alpen-Adria-Universität Klagenfurt（克拉根福大学）
针对蜂窝互联无人机网络，提出了一种干扰感知的路径规划方案。每个无人机的目标是在最大化能量效率和最小化无线延迟以及对地面网络造成的干扰水平之间进行权衡，该问题被视为无人机之间的动态博弈。为了解决这个问题，提出了一种基于回声状态网络（ESN）单元的深度强化学习算法。引入的深度ESN架构经过训练，允许每个UAV将网络状态的每个观察映射到动作，目标是最小化一系列时间相关的效用函数。每架无人机使用ESN学习其最优路径、发射功率水平和路径上不同位置的小区关联向量，算法收敛后达到子博弈完美纳什均衡（SPNE）。此外，无人机的高度的上限和下限的推导，从而降低了所提出的算法的计算复杂性。仿真结果表明，该方案实现了更好的无线延迟每无人机和速率每地面用户（UE），而需要的步骤数是一个启发式的基线，考虑通过最短的距离向相应的目的地移动。结果还表明，无人机的最佳高度根据地面网络密度和UE数据率要求而变化，并且在最小化地面UE上的干扰水平以及无人机的无线传输延迟方面起着至关重要的作用。
2018-01-16 cs.AI cs.GT cs.IT
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto（多伦多大学）；RBC Capital Markets（加拿大皇家银行资本市场）
强化学习（RL）的进步跨越了各种各样的应用，推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准，但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习（TradeR）的交易执行，旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头，TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划，结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中，TradeR展示了对价格突然变化和灾难性损失的鲁棒性，同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Practical Deep Reinforcement Learning Approach for Stock Trading
Columbia University（哥伦比亚大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
股票交易策略在投资公司中起着至关重要的作用。然而，在复杂多变的股票市场中，如何获得最优策略是一个挑战。我们探索深度强化学习的潜力，以优化股票交易策略，从而最大限度地提高投资回报。选取了30只股票作为我们的交易股票，并以它们的每日价格作为训练和交易的市场环境。我们训练一个深度强化学习代理，并获得一个自适应的交易策略。最后，将该策略与道琼斯工业平均指数和传统的最小方差投资组合分配策略进行了比较。所提出的深度强化学习方法在夏普比率和累积收益方面都优于两个基线。
2022-07-30 cs.LG q-fin.TR stat.ML
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm
Hanyang University（汉阳大学）
本文针对鲁棒强化学习提出了一种排除不合理MDP的实用不确定性集合与基于样本的ARQ-Learning算法，并引入悲观智能体解决大状态空间扩展瓶颈，提出双智能体无模型算法，在保证收敛速度的同时提升了鲁棒性。
2023-11-20 cs.AI cs.LG
Learning Sparse Representations Incrementally in Deep Reinforcement Learning
University of Alberta（阿尔伯塔大学）
稀疏表示已被证明在深度强化学习中对于减轻灾难性干扰和提高代理在累积奖励方面的性能是有用的。先前的结果是基于两步过程，即离线学习表示，然后在线学习动作-价值函数。在本文中，我们调查是否有可能学习稀疏表示和动作价值函数同时和增量。我们研究这个问题，采用几种正则化技术，并观察它们如何影响稀疏的表示学习的DQN代理在两个不同的基准域。我们的研究结果表明，通过适当的正则化，可以增加DQN代理学习的表示的稀疏性。此外，我们发现，学习稀疏表示也导致了累积奖励方面的性能提高。最后，我们发现学习稀疏表示的代理的性能对经验重放缓冲区的大小更鲁棒。这最后一项发现支持了一个长期存在的假设，即深度神经网络学习到的表示重叠是灾难性干扰的主要原因。
2019-12-09 cs.LG stat.ML
Deep Reinforcement Learning for Cryptocurrency Trading: Practical Approach to Address Backtest Overfitting
Columbia University（哥伦比亚大学）
在高度波动的加密货币市场中，设计有利可图且可靠的交易策略是一项挑战。现有的工作应用了深度强化学习方法，并乐观地报告了回测中的利润增加，这可能会由于过拟合而导致误报问题。在本文中，我们提出了一种实用的方法，使用深度强化学习来解决加密货币交易的回测过拟合问题。首先，我们将回测过拟合的检测公式化为假设检验。然后，我们训练DRL代理，估计过拟合的概率，并拒绝过拟合的代理，增加了良好的交易表现的机会。最后，在2022年5月1日至2022年6月27日的测试期内，对10种加密货币进行了测试（在此期间，加密市场崩溃了两次），我们表明，过拟合程度较低的深度强化学习代理的回报率高于过拟合程度较高的代理、等权重策略和S&P DBM指数。（市场基准），为可能部署到真实市场提供信心。
2023-01-31 cs.AI cs.LG q-fin.ST
Optimising Energy Efficiency in UAV-Assisted Networks using Deep Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
在这封信中，我们研究了为静态和移动地面用户提供无线覆盖的无人机（UAV）的能效（EE）优化。最近的多智能体强化学习方法使用2D轨迹设计来优化系统的EE，忽略来自附近无人机单元的干扰。我们的目标是通过联合优化每个无人机的3D轨迹、连接用户的数量和消耗的能量，同时考虑干扰，最大限度地提高系统的EE。因此，我们提出了一种合作的多智能体分散式双深度Q网络（MAD-DDQN）方法。我们的方法在EE方面比现有的基线高出55 - 80%。
2022-04-04 cs.DC cs.LG cs.NI
One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control
MAIS&NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室&模式识别国家重点实验室）；Meituan（美团）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院）
提出OSOL方法，通过跨步控制缓解多域强化学习中的高阶干扰，利用相邻检查点的令牌足迹排序回弹风险并自适应修正，在Qwen3-30B-A3B上提升5.7%。
2026-09-09 cs.CL cs.LG
Red-Team Multi-Agent Reinforcement Learning for Emergency Braking Scenario
School of Mechanical Engineering Beijing Institute of Technology Beijing, China（机械工程学院 北京理工大学 北京中国）
本文提出红队多智能体强化学习框架，通过约束图表示MDP和策略威胁区域模型让背景车辆主动干扰自动驾驶车辆，以生成安全关键场景中的边角案例并显著影响其决策安全性。
2025-07-21 cs.AI cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
A Practical Introduction to Deep Reinforcement Learning
Southern University of Science and Technology（南方科技大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
本文面向初学者，以GPI框架统合DRL算法，并重点通过直观解释与工程实践介绍PPO，帮助读者快速掌握并实现高级深度强化学习方法。
2025-05-13 cs.AI cs.LG
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
ReinWiFi: Application-Layer QoS Optimization of WiFi Networks with Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
本文提出并实现了一种基于强化学习的WiFi网络应用层QoS优化框架ReinWiFi，通过调整竞争窗口和吞吐量限制联合调度文件传输与延迟敏感任务，在测试台上验证了其性能显著优于EDCA机制。
2025-05-22 cs.LG cs.NI
Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
Google Research（谷歌研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；YouTube, LLC（YouTube有限责任公司）
大多数实用的推荐系统专注于估计即时用户参与度，而不考虑推荐对用户行为的长期影响。强化学习（RL）方法提供了优化长期用户参与建议的潜力。然而，由于用户经常被呈现多个项目的板-这可能对用户选择有交互作用-需要方法来处理RL动作空间的组合。在这项工作中，我们解决了使用RL提出基于石板的建议以优化长期价值的挑战。我们的贡献是三方面的。(i)我们开发了SLATEQ，一种基于值的时间差和Q学习的分解，使RL易于使用石板。在对用户选择行为的温和假设下，我们证明了一个石板的长期价值（LTV）可以分解为一个易于处理的功能，其组件项目明智的LTV。(ii)我们概述了一种方法，利用现有的近视学习为基础的推荐快速开发一个推荐处理LTV。(iii)我们在模拟中展示了我们的方法，并在YouTube上的现场实验中使用SLATEQ验证了分解TD学习的可扩展性。
2019-05-31 cs.AI cs.IR cs.LG
TensorFlow Agents: Efficient Batched Reinforcement Learning in TensorFlow
Google Brain（谷歌大脑）
我们介绍了TensorFlow Agent，这是一种用于在TensorFlow中构建并行强化学习算法的高效基础架构范例。我们并行模拟多个环境，并将它们分组，以批量而不是单个观察值执行神经网络计算。这允许TensorFlow执行引擎并行化计算，而无需手动同步。环境在单独的Python进程中步进，以并行进行，而不会受到全局解释器锁的干扰。作为该项目的一部分，我们介绍了BatchPPO，一个有效的实现近端策略优化算法。通过开源TensorFlow Agents，我们希望为未来的项目提供一个灵活的起点，以加速该领域的未来研究。
2018-10-31 cs.AI cs.LG
Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Hemodynamic Management in Sepsis Patients
MIT（麻省理工学院）；IBM Research（IBM研究院）；Harvard University（哈佛大学）
强化学习（RL）的潜力已经通过在围棋和雅达利等游戏中的成功应用得到了证明。然而，虽然在游戏环境中通过简单地使用RL算法玩游戏来评估RL算法的性能是简单的，但在临床环境中评估是一个主要挑战，在临床环境中，在实践中遵循RL策略可能是不安全的。因此，了解RL政策对实施过程中所做决策的敏感性是建立最终临床应用所需的RL信任类型的重要一步。在这项工作中，我们对最先进的RL算法（Dueling Double Deep Q-Networks）进行了敏感性分析，该算法适用于ICU中脓毒症患者的血流动力学稳定治疗策略。我们考虑了学习策略对输入特征、嵌入模型结构、时间离散化、奖励函数和随机种子的敏感性。我们发现，改变这些设置可以显着影响学习的政策，这表明在解释RL代理输出时需要谨慎。
2020-08-27 cs.LG stat.ML
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway（爱尔兰国立高威大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Linköping University（林雪平大学）；University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；Universidade do Vale do Rio dos Sinos（南里奥格兰德河谷大学）；Politecnico di Milano（米兰理工大学）；Federation University Australia（澳大利亚联邦大学）
现实世界的决策任务通常是复杂的，需要在多个往往相互冲突的目标之间进行权衡。尽管如此，大多数强化学习和决策理论规划的研究要么假设只有一个目标，要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题，从而产生次优的结果。本文作为多目标方法应用于困难问题的指南，针对那些已经熟悉单目标强化学习和规划方法的研究人员，他们希望在研究中采用多目标视角，以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素，并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Modelling Customer Trajectories with Reinforcement Learning for Practical Retail Insights
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）
本文提出了一种基于智能体的建模框架，将客户轨迹预测转化为最大熵强化学习问题，以更准确地反映具有有限理性的客户行为，从而提供更精确的冲动购买率和货架交通密度估计。
2026-05-18 cs.AI cs.LG
Two-dimensional Anti-jamming Mobile Communication Based on Reinforcement Learning
Xiamen University（厦门大学）；Shanghai Jiao Tong University（上海交通大学）；Rutgers University（罗格斯大学）；Princeton University（普林斯顿大学）
通过使用智能无线电设备，干扰器可以基于相反的安全机制动态地改变其干扰策略;它甚至可以诱导移动终端进入特定的通信模式，然后相应地启动干扰策略。另一方面，移动设备可以利用扩频和用户移动性来解决干扰和阻塞。本文提出了一种二维的【形】抗干扰移动通信方案，在该方案中，移动终端离开一个严重干扰的频率或区域。结果表明，通过应用强化学习技术，移动终端可以实现最佳的通信策略，而不需要知道的干扰和干扰模型和无线电信道模型在一个动态的游戏框架。更具体地，提出了一种基于热引导深度Q网络的二维的【形】移动通信方案，该方案利用相似场景中的经验来减少游戏开始时的探索时间，并应用深度卷积神经网络和宏动作技术来加快动态情况下的学习速度。几个现实世界的情况下，模拟评估所提出的方法。这些仿真结果表明，我们所提出的方案可以提高信号的信干噪比和实用的移动设备对合作干扰的基准计划相比。
2017-12-19 cs.CR cs.LG
Thresholded Lexicographic Ordered Multiobjective Reinforcement Learning
University of Michigan（密歇根大学）；Colorado State University（科罗拉多州立大学）
本文研究字典序多目标强化学习，指出现有方法缺乏理论保证且实际性能受限，进一步分析其缺陷并提出修正，同时提出基于字典序投影优化（LPO）的策略优化方法，并在基准问题上验证了所提算法。
2024-09-04 cs.AI cs.LG
Active Sensing with Meta-Reinforcement Learning for Emitter Localization from RF Observations
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Positioning Systems Lab, University of Technology Nürnberg (UTN)（定位系统实验室，图恩大学）；Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt（人工智能中心，应用技术大学魏玛-施魏尔堡）
本文提出利用元强化学习框架，通过序列探索环境，从射频观测中定位发射源，解决GNSS干扰下的定位问题，实验显示80.1%的成功率。
2026-07-07 cs.AI eess.SP
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto（多伦多大学）
提出了一种新的可扩展强化学习方法，用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中，假设网络拓扑是固定的，并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外，路由和频谱接入通常被视为单独的任务。此外，优化目标通常是沿着路线的累积度量，例如，跳数或延迟。在本文中，我们考虑了无线网络中的物理层信号与干扰加噪声比（SINR），并进一步表明，瓶颈目标，如沿路由的最小SINR，也可以使用强化学习进行有效优化。具体来说，我们提出了一个可扩展的方法，其中一个单一的代理与每个流，使路由和频谱访问决策，因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练，使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
Minimax Optimal Reinforcement Learning with Quasi-Optimism
Seoul National University（首尔国立大学）
本文提出 EQO 强化学习算法，用与状态-动作访问次数倒数成比例的简单奖励项实现准乐观探索，在最弱假设下取得表格 RL 已知最优遗憾界，并实证验证其性能与计算效率。
2025-07-27 cs.LG stat.ML
Intervention Aided Reinforcement Learning for Safe and Practical Policy Optimization in Navigation
Baidu Inc.（百度公司）；City University of HongKong（香港城市大学）
深度神经网络与强化学习的结合在下一代智能控制中显示出巨大的潜力。然而，在实际应用中存在安全性和成本方面的挑战。在本文中，我们提出了干预辅助强化学习（IARL）的框架，它利用人类干预的机器人与环境的互动，以改善政策。我们使用无人机（UAV）作为测试平台。我们建立了神经网络作为我们的策略，将传感器读数映射到无人机上的控制信号。我们的实验场景涵盖了模拟和现实。我们表明，我们的方法大大减少了人为干预，提高了自主导航的性能，同时它确保了安全性，并保持可接受的培训成本。
2018-11-15 cs.AI cs.RO
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University（北京大学）；Rice University（Rice大学）；hi-lab, Xiaohongshu Inc（小红书实验室，小红书公司）
本文提出MARVAL框架，通过压缩扩散链为单步自回归生成，提升推理效率并使强化学习实用化，实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World
IBM Research AI（IBM研究院人工智能部门）
虽然深度强化学习技术最近在许多决策问题上取得了相当大的成就，但它们在机器人技术中的使用在很大程度上仅限于模拟世界或受限运动，因为现实世界中不受约束的试错交互可能对机器人或其环境产生不良后果。为了克服这些限制，我们提出了一种新的强化学习架构OptLayer，它将神经网络预测的可能不安全的动作作为输入，并输出满足所选约束的最接近的动作。虽然学习控制策略通常需要仔细制定奖励和惩罚，同时探索可能的操作范围，但OptLayer确保在训练期间只执行安全的操作，并惩罚不安全的预测。我们证明了我们的方法对机器人达到任务的有效性，无论是模拟还是在现实世界中。
2018-02-23 cs.AI cs.RO
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出DPETS方法，将蒙特卡洛Dropout与轨迹采样结合，通过修正损失函数和过滤偶然不确定性，提升概率MBRL的预测稳定性、精度与控制能力，并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL（伦敦大学学院）；DeepMind（深度思维）
离线强化学习（RL）允许从离线数据集训练有能力的代理，而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是，我们应该如何理想地微调从离线RL训练中获得的代理？虽然离线RL算法原则上可以用于微调，但在实践中，它们的在线性能提高缓慢。相比之下，我们表明，它是可以使用标准的在线离线策略算法更快的改进。然而，我们发现这种方法可能遭受政策崩溃，其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题，以及它如何涉及到数据的多样性，算法的选择和在线重放分布。基于这些见解，我们提出了一个保守的策略优化过程，可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning
Microsoft Research（微软研究院）；Brown University（布朗大学）；JPMorgan Chase（摩根大通）
递归神经网络（RNN）的端到端学习是对话系统的一个有吸引力的解决方案;然而，目前的技术是数据密集型的，需要数千个对话框来学习简单的行为。我们介绍了混合代码网络（HCN），它将RNN与编码为软件和系统动作模板的特定领域知识相结合。与现有的端到端方法相比，HCN大大减少了所需的训练数据量，同时保留了推断对话状态的潜在表示的关键优势。此外，HCN可以用监督学习、强化学习或两者的混合来优化。HCN在bAbI对话数据集上获得了最先进的性能，并且优于两个商业部署的面向客户的对话系统。
2017-04-24 cs.AI cs.CL
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of California Berkeley（加州大学伯克利分校）
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的，因为数据要求非常高。许多实际任务需要操纵多个对象，并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案，但不幸的是，在许多情况下都不起作用。我们假设，最先进的算法无法有效地利用任务课程源于缺乏归纳偏见，从简单到复杂的任务转移知识。我们表明，基于图的关系架构克服了这一限制，并使学习复杂的任务时，提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始，我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励，但我们的方法的数据效率要高出几个数量级，并且优于现有的利用人类演示的最先进方法。此外，学习到的策略表现出零射击（zero-shot）概括，无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置，例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
Gradient Coupling: The Hidden Barrier to Generalization in Agentic Reinforcement Learning
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）；Beijing Institute of Technology（北京理工大学）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心）
本文提出了一种通过训练演员同时作为分类器来分离好坏动作，从而缓解代理强化学习中梯度耦合问题并提升泛化能力的方法。
2026-01-15 cs.AI
