Robotic Skill Diversification via Active Mutation of Reward Functions in Reinforcement Learning During a Liquid Pouring Task
Cognitive Robotics, Delft University of Technology（德鲁特理工大学认知机器人学）；Department of Mechanical Engineering, Politecnico di Milano（米兰理工学院机械工程系）；Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA USI-SUPSI), Scuola universitaria professionale della Svizzera italiana, DTI（智能人工智能研究所（IDSIA USI-SUPSI），瑞士意大利大学专业学院，DTI）
本文提出在强化学习奖励函数权重上施加高斯噪声的主动变异框架，以液体倾倒任务为例，使机器人不仅能产生多样化的倾倒行为，还能衍生出容器清洁、液体混合等新技能。
2025-09-22 cs.LG cs.RO
T-Cell Receptor Optimization with Reinforcement Learning and Mutation Policies for Precesion Immunotherapy
The Ohio State University（俄亥俄州立大学）；NEC Labs（NEC实验室）；National Research Council Canada（加拿大国家研究委员会）；Baylor College of Medicine（贝勒医学院）；NEC Oncolmmunity AS（NEC肿瘤免疫公司）
T细胞通过识别其表面上展示的外源肽来监测细胞的健康状态。T细胞受体（TCR）是在T细胞表面上发现的蛋白质复合物，能够结合这些肽。这个过程被称为TCR识别，是免疫应答的关键步骤。针对TCR识别优化TCR序列代表了开发个性化治疗以触发杀死癌细胞或病毒感染细胞的免疫应答的基本步骤。在本文中，我们制定了这些优化的TCR搜索作为一个强化学习（RL）的问题，并提出了一个框架TCRPPO的变异政策，使用邻近的政策优化。TCRPPO将TCR突变为可以识别给定肽的有效TCR。TCRPPO利用奖励函数，该奖励函数将突变序列作为有效TCR的可能性与突变序列识别来自肽-TCR相互作用预测因子的肽的概率相结合，所述突变序列是通过基于深度自动编码器的新评分函数测量的。我们将TCRPPO与多种基线方法进行了比较，并证明TCRPPO在产生阳性结合和有效TCR方面显著优于所有基线方法。这些结果证明了TCRPPO用于精确免疫治疗和肽识别TCR基序发现的潜力。
2023-03-02 cs.LG q-bio.QM
CovRL: Fuzzing JavaScript Engines with Coverage-Guided Reinforcement Learning for LLM-based Mutation
Yonsei University（延世大学）；Suresofttech Inc.（Suresofttech公司）
本文提出CovRL技术，通过TF-IDF构建加权覆盖率图并结合强化学习将覆盖率反馈直接集成到LLM变异器中，显著提升了JavaScript引擎模糊测试的代码覆盖率与漏洞发现能力。
2024-02-19 cs.CL cs.CR cs.LG
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
我们考虑一个团队的强化学习代理，同时在一个共同的环境中运行，我们开发了一种方法，有效的协调探索，是适合于实际规模的问题。我们的方法建立在种子采样（Dimakopoulou和Van Roy，2018）和随机价值函数学习（Osband等人，2016年）。我们证明，对于简单的表格上下文，该方法与以前提出的表格模型学习方法（Dimakopoulou和Van Roy，2018）具有竞争力。与高维问题和神经网络价值函数表示，该方法学习速度快，代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
Evolution Strategies as a Scalable Alternative to Reinforcement Learning
OpenAI
我们探索使用进化策略（ES），一类黑盒优化算法，作为流行的基于MDP的RL技术，如Q学习和策略约束的替代。MuJoCo和Atari上的实验表明，ES是一种可行的解决方案策略，可随可用CPU的数量扩展得非常好：通过使用基于常见随机数的新型通信策略，我们的ES实现仅需要通信标量，从而可以扩展到超过一千个并行工作者。这使我们能够在10分钟内解决3D人形步行问题，并在一小时的训练后在大多数Atari游戏中获得有竞争力的结果。此外，我们强调了ES作为黑盒优化技术的几个优点：它对动作频率和延迟奖励是不变的，容忍极长的视野，并且不需要时间折扣或值函数近似。
2017-09-07 cs.AI cs.LG cs.NE
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
Fuzzing是一种常用的技术，旨在通过自动制作程序输入来测试软件。目前，最成功的模糊算法强调简单，低开销的策略，在执行过程中有效地监视程序状态的能力。通过编译时插装，这些方法可以访问程序状态的许多方面，包括覆盖率、数据流以及异构故障检测和分类。然而，现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法，使用这种状态信息来优化变异算子，使用强化学习（RL）。通过将OpenAI Gym与libFuzzer集成，我们能够同时利用强化学习和模糊化的进步，在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来，直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题，并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Financial Decision Making using Reinforcement Learning with Dirichlet Priors and Quantum-Inspired Genetic Optimization
本文提出结合Dirichlet分布和量子启发式遗传优化的强化学习框架，用于动态预算分配，以提高企业财务决策的适应性与准确性。
2025-08-27 cs.LG cs.NE
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong（香港科技大学）
针对传统变异模糊测试在处理器验证中效率低的问题，提出HiFuzz框架，采用分层强化学习及结构化生成过程，集成自适应机制与编码器，经实验验证，该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
A Scalable Finite Difference Method for Deep Reinforcement Learning
Massachusetts General Hospital（麻省总医院）
有限差分家族中的几种低带宽分布式黑箱优化算法，如演化策略，最近已被证明在某些强化学习领域中执行几乎与定制的强化学习方法一样好。这些黑盒方法的一个缺点是，它们必须在每次更新时收集有关返回函数结构的信息，并且通常只能使用以当前参数为中心的分布中的信息。因此，当这些算法分布在许多机器上时，总运行时间的很大一部分可能花费在许多机器空闲的情况下，等待最终返回，然后等待计算更新。在这项工作中，我们介绍了一种新的方法，使用旧的数据在有限差分算法，产生一个可扩展的算法，避免显着的空闲时间或浪费计算。
2023-01-19 cs.AI cs.LG
Safe Mutations for Deep and Recurrent Neural Networks through Output Gradients
Uber AI Labs（优步人工智能实验室）
虽然神经进化（进化神经网络）在从强化学习到人工生命的各个领域都有成功的记录，但它很少应用于大型深层神经网络。一个核心原因是，虽然随机突变通常在低维中工作，但数千或数百万个权重的随机扰动可能会破坏现有功能，即使某些个别权重变化是有益的，也不会提供学习信号。本文提出了一种解决方案，引入了一系列安全变异（SM）算子，旨在变异算子本身找到一个不会改变网络行为太多的变化程度，但仍然有利于探索。重要的是，这些SM操作符不需要与环境进行任何额外的交互。最有效的SM变体利用了一个有趣的机会，根据网络输出对每个权重的敏感度来缩放每个权重的突变程度，这需要计算输出相对于权重的梯度（而不是传统深度学习中的误差梯度）。这种通过梯度的安全突变（SM-G）算子极大地提高了基于简单遗传算法的神经进化方法在需要深度和/或循环神经网络（其倾向于特别容易突变）的高维域中找到解决方案的能力，包括需要处理原始像素的域。通过提高我们进化深层神经网络的能力，这种新的更安全的突变方法扩大了适合神经进化的领域的范围。
2018-05-01 cs.AI cs.NE
Deep Binary Reinforcement Learning for Scalable Verification
神经网络作为函数逼近器的使用使得强化学习（RL）取得了许多进展。神经网络的泛化能力与RL算法的进步相结合，重新点燃了人工智能领域。尽管神经网络具有强大的功能，但它们仍被视为黑匣子，在安全关键环境中使用它们仍然是一个挑战。近年来，神经网络验证已经成为一种验证网络安全性的方法。验证是一个难题，很难扩展到大型网络，例如深度强化学习中使用的网络。我们提供了一种更容易验证的训练RL策略的方法。我们使用二进制神经网络（BNN），一种主要使用二进制参数的网络。我们提出了一个专门为BNN量身定制的RL算法。在Atari环境下训练BNN后，我们验证了鲁棒性。
2022-03-11 cs.AI cs.LG
Mutation-Bias Learning in Games
City, University of London（伦敦城市大学）
该研究提出两种基于进化博弈论的多智能体强化学习变体，通过ODE分析证明收敛性，并在实验中优于WoLF-PHC和频率调整Q学习，展示了动力系统视角的效用。
2024-05-28 cs.LG cs.MA math.DS
A Scalable and Reproducible System-on-Chip Simulation for Reinforcement Learning
EpiSys Science, Inc.（EpiSys Science公司）
深度强化学习（DRL）是在模拟环境中进行的，并对目标进行优化。通过扩展传统的交互方案，本文提出了一个可扩展、可复制的开放式环境gym-ds 3，该环境是为高保真度的特定领域片上系统（Domain-Specific System-on-Chip，DSSoC）应用而设计的。仿真结果验证了将分层作业调度到异构片上系统（SoC）处理器上的可行性，并将系统与强化学习研究相结合。我们系统地分析了代表性的SoC模拟器，并讨论了系统的主要挑战方面：（1）以快速注入速率连续生成不确定的作业，（2）优化复杂的目标，（3）在稳态调度中运行。我们提供了示例性的片段，并通过实验证明了运行时的性能，成功地模仿从标准的DS 3框架和现实世界的嵌入式系统实现的结果在不同的嵌入式系统。
2021-04-27 cs.AI cs.DC cs.LG
Effective Mutation Rate Adaptation through Group Elite Selection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）；Sony AI（索尼人工智能）
进化算法对突变率（MR）很敏感;这个参数没有一个单一的值可以很好地跨域工作。已经提出了自适应MR方法，但它们往往是脆弱的：有时它们将MR衰减到零，从而停止进化。为了提高自适应MR的鲁棒性，本文提出了一种群体精英选择变异率（GESMR）算法。GESMR共同进化一个解的种群和一个MR的种群，使得每个MR被分配到一组解。在进化过程中，将组中产生的最佳突变变化而不是平均突变变化用于MR选择，从而避免MR消失问题。在相同数量的函数评估和几乎没有开销的情况下，GESMR在广泛的连续测试优化问题上比以前的方法收敛得更快，并得到更好的解决方案。GESMR还可以很好地扩展到监督图像分类任务和强化学习控制任务的高维神经进化。值得注意的是，GESMR产生的MR是最佳的长期，通过全面的前瞻性网格搜索证明。因此，GESMR和它的理论和实证分析表明如何利用自适应来提高性能的演化计算的几个应用程序。
2022-04-11 cs.AI cs.NE
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg（弗莱堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Bosch Center for Artificial Intelligence（博世人工智能中心）
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构，同时只增加了一个小的开销在环境中的相互作用。为了实现这一点，我们结合神经进化技术与离线训练，并提出了一种新的架构变异算子。五个连续控制基准的实验表明，所提出的演员-评论家神经进化算法往往优于强演员-评论家基线，并能够自动找到拓扑结构的采样效率的方式，否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Neurogenetic Programming Framework for Explainable Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
自动编程，即在没有人类开发人员的情况下生成符合规范的计算机程序的任务，通常通过基于程序突变和重组的遗传编程方法或通过神经语言模型来解决。我们提出了一种新的方法，结合了这两种方法使用的概念，一个虚拟的神经遗传程序员：使用进化方法作为替代梯度下降的神经网络训练}，或团队。我们展示了它为各种OpenAI Gym任务提供高性能和可解释的解决方案的能力，并将专家知识注入到其他数据驱动的解决方案搜索中。
2021-02-08 cs.AI cs.LG cs.NE
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning Approach for Dynamic Treatment Regimes
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Center for Intelligent Decision-Making and Machine Learning（智能决策与机器学习中心）
针对利用大规模电子健康记录构建动态治疗方案的问题，提出一种可扩展的基于核的分布式Q学习算法，在显著降低深度强化学习计算复杂度的同时保持相当的累积奖励泛化性能。
2025-02-17 cs.AI cs.LG
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain（谷歌大脑）；University of California Berkeley（加州大学伯克利分校）
在本文中，我们研究的问题，学习基于视觉的动态操作技能，使用可扩展的强化学习方法。我们研究这个问题的背景下把握，机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反，我们的方法实现了基于视觉的闭环控制，机器人根据最近的观察结果不断更新其抓取策略，以优化长期抓取成功。为此，我们引入了QT-Opt，这是一个可扩展的基于自监督视觉的强化学习框架，可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数，以执行闭环的真实世界抓取，从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外，我们的方法还表现出与更标准的抓取系统截然不同的行为：仅使用来自肩扛式摄像机的基于RGB视觉的感知，我们的方法自动学习重新抓取策略，探测对象以找到最有效的抓取，学习重新定位对象并执行其他非可伸缩的预抓取操作，并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
CosmoCore-Evo: Evolutionary Dream-Replay Reinforcement Learning for Adaptive Code Generation
Microsoft Corporation（微软公司）
CosmoCore-Evo通过进化算法提升代码生成的适应性和新颖性，实现更高性能和更快适应。
2025-12-20 cs.AI cs.NE cs.SE
Scalable Multi-Agent Reinforcement Learning for Networked Systems with Average Reward
Caltech（加州理工学院）；Tsinghua University（清华大学）；Harvard University（哈佛大学）
人们早就认识到，多智能体强化学习（MARL）面临着重大的可扩展性问题，因为状态和动作空间的大小在智能体数量上呈指数级增长。在本文中，我们确定了一个丰富的网络MARL问题的模型表现出一个本地的依赖结构，使其能够以可扩展的方式解决。具体来说，我们提出了一个可扩展的演员-评论家（SAC）的方法，可以学习一个接近最优的本地化策略，以优化平均奖励与复杂性缩放的状态-动作空间大小的本地社区，而不是整个网络。我们的结果围绕着识别和利用指数衰减属性，确保代理对彼此的影响在其图形距离中以指数方式快速衰减。
2020-06-11 cs.AI cs.LG cs.MA
Expressive Value Learning for Scalable Offline Reinforcement Learning
Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Kempner Institute（凯普纳研究所）；Harvard University（哈佛大学）
针对离线强化学习依赖随时间反向传播或策略蒸馏导致计算昂贵或复合误差的问题，提出EVOR方法，通过流匹配学习正则化Q函数并利用拒绝采样进行推理时策略提取，在多样化任务上优于基线。
2025-10-09 cs.AI cs.LG
Scalable Multi-Task Inverse Reinforcement Learning
Netflix（奈飞）；Massachusetts Institute of Technology（麻省理工学院）；Cornell Tech（康奈尔科技学院）
提出一种低秩假设下的多任务逆强化学习方法，通过汇集多智能体数据缓解覆盖需求，实现可扩展的奖励恢复与策略迁移，并在实验中展现出更低遗憾和计算优势。
2026-10-02 cs.LG stat.ML
Counteractive RL: Rethinking Core Principles for Efficient and Scalable Deep Reinforcement Learning
Ezgi Korkmaz
本文提出基于对抗性行动经验的理论新范式，解决高维MDP中状态空间爆炸导致的计算复杂性与策略成功率矛盾，通过实验验证方法在高维环境中的高效性和样本效率。
2026-03-16 cs.AI cs.LG
Representation Learning Enables Scalable Multitask Deep Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）；Google DeepMind（谷歌DeepMind）
本文提出一种结合预测性表示学习与高容量值函数近似的无模型算法MR.Q，在无需规划的情况下，在多任务连续控制任务中超越基于世界模型的方法和多种深度强化学习基线，并显著降低计算开销。
2026-06-04 cs.AI cs.LG
Scalable Reinforcement Learning via Adaptive Batch Scaling
Jongchan Park
本文提出自适应批处理缩放方法，通过动态调整有效批处理大小来平衡强化学习早期的可塑性需求和晚期的稳定收敛，发现增大网络和批处理大小的组合在强化学习中取得最佳性能。
2026-06-04 cs.AI cs.LG stat.ML
A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
虽然强化学习（RL）算法在各种具有挑战性的任务中实现了最先进的性能，但当面对终身流信息时，它们很容易遇到灾难性遗忘或干扰。在本文中，我们提出了一种可扩展的终身强化学习方法，该方法动态扩展网络容量以容纳新知识，同时防止过去的记忆受到干扰。我们使用一个Dirichlet过程混合模型的非平稳任务分布，它捕获任务相关性估计的可能性任务集群分配和集群的任务模型在一个潜在的空间。我们将混合物的先验分布制定为中餐厅过程（CRP），该过程根据需要实例化新的混合物成分。混合物的更新和扩展由具有期望最大化（EM）过程的贝叶斯非参数框架来管理，该过程动态地适应模型复杂性而没有明确的任务边界或算法。此外，我们使用域随机化技术来训练混合中每个任务模型初始化的鲁棒先验参数，从而使得到的模型能够更好地概括和适应看不见的任务。在机器人导航和运动领域进行了广泛的实验，我们表明，我们的方法成功地促进了可扩展的终身RL，并优于相关的现有方法。
2022-05-22 cs.AI cs.LG
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto（多伦多大学）
提出了一种新的可扩展强化学习方法，用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中，假设网络拓扑是固定的，并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外，路由和频谱接入通常被视为单独的任务。此外，优化目标通常是沿着路线的累积度量，例如，跳数或延迟。在本文中，我们考虑了无线网络中的物理层信号与干扰加噪声比（SINR），并进一步表明，瓶颈目标，如沿路由的最小SINR，也可以使用强化学习进行有效优化。具体来说，我们提出了一个可扩展的方法，其中一个单一的代理与每个流，使路由和频谱访问决策，因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练，使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
Cross-site scripting adversarial attacks based on deep reinforcement learning: Evaluation and extension study
本文基于深度强化学习研究跨站脚本对抗攻击，提出有效评估策略并引入XSS Oracle以提高检测效果，实验显示逃逸率超过96%。
2026-03-20 cs.AI cs.CR cs.SE
Scalable Multi-Agent Reinforcement Learning with General Utilities
University of California at Berkeley（加州大学伯克利分校）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对通用效用下多智能体强化学习的完全可观测性限制问题，提出带影子奖励的分布式策略梯度算法，利用空间相关性衰减实现局部策略优化，首次在无完全观测条件下达成ε平稳收敛。
2023-08-27 cs.AI cs.LG cs.MA
Proximal Policy Optimization with Evolutionary Mutations
Johns Hopkins University（约翰霍普金斯大学）
本文提出POEM，通过引入进化突变机制改进PPO，提升探索能力，在多个任务中表现优于传统PPO。
2026-01-21 cs.AI cs.GT cs.LG
A Scalable Reinforcement Learning Approach for Attack Allocation in Swarm to Swarm Engagement Problems
Istanbul Technical University（伊斯坦布尔技术大学）；Artificial Intelligence and Data Science Application and Research Center（人工智能与数据科学应用研究中心）
在这项工作中，我们提出了一个强化学习（RL）的框架，控制一个大规模的群体的密度从事对抗性群体攻击。虽然有大量的现有工作在应用人工智能方法来控制群体，分析两个敌对群体之间的相互作用是一个相当欠研究的领域。在这个主题中，大多数现有的工作都是通过对敌对群体的策略和动态做出严格的假设来制定策略。我们的主要贡献是制定的群到群的参与问题作为一个马尔可夫决策过程和RL算法的发展，可以计算参与策略，而不知道的战略/动态的敌对群。仿真结果表明，开发的框架可以处理各种各样的大规模的参与情况下，以有效的方式。
2022-10-15 cs.AI cs.LG cs.RO
Scalable Reinforcement Learning for Multi-Agent Networked Systems
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）
我们研究强化学习（RL）的设置与代理网络的状态和动作相互作用的本地方式，其目标是找到本地化的政策，使（折扣）的全球奖励最大化。在这种情况下，一个根本的挑战是，状态动作空间的大小在代理的数量呈指数级扩展，使问题难以处理的大型网络。在本文中，我们提出了一个可扩展的演员评论（SAC）框架，利用网络结构，并找到一个本地化的政策，这是一个$O(ρ^κ)$ -近似的一个固定点的目标，一些$ρ\in(0,1)$，与复杂性的规模与当地的状态动作空间大小的最大$κ$跳邻居的网络。我们举例说明我们的模型和方法，从无线通信，流行病和交通。
2021-11-01 cs.AI cs.LG math.OC
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法，以提升多目标强化学习的可扩展性，在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
SpikeRL: A Scalable and Energy-efficient Framework for Deep Spiking Reinforcement Learning
University of Tennessee（田纳西大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
SpikeRL提出了一种可扩展且节能的深度脉冲强化学习框架，通过种群编码、PyTorch分布式训练和混合精度优化，比现有方法快4.26倍且能效高2.25倍，适用于复杂连续控制任务。
2025-02-21 cs.AI cs.LG cs.NE
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们的目标是开发一个简单的和可扩展的强化学习算法，使用标准的监督学习方法作为子程序。我们的目标是一个算法，只利用简单和收敛的最大似然损失函数，同时也能够利用政策外的数据。我们提出的方法，我们称之为加权回归（AWR），由两个标准的监督学习步骤：一个回归到目标值的价值函数，另一个回归到加权目标行动的政策。该方法简单而通用，可以适应连续和离散的动作，并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时，将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR，并表明与许多成熟的最先进的RL算法相比，它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略，而无需额外的环境交互。此外，我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
Model-agnostic and Scalable Counterfactual Explanations via Reinforcement Learning
Seldon Technologies（Seldon科技公司）
反事实实例是一个强大的工具，可以获得对自动决策过程的有价值的见解，描述输入空间中必要的最小变化，以将预测改变为所需的目标。大多数以前的方法需要一个单独的，计算上昂贵的优化过程，每个实例，使他们不切实际的大量数据和高维数据。此外，这些方法通常限于机器学习模型的某些子类（例如，可微或基于树的模型）。在这项工作中，我们提出了一种深度强化学习方法，该方法将优化过程转换为端到端的可学习过程，使我们能够在单个向前传递中生成批量反事实实例。我们在真实数据上的实验表明，我们的方法i）是模型不可知的（不假设可微性），仅依赖于来自模型预测的反馈; ii）允许生成目标条件反事实实例; iii）允许对数值和分类属性进行灵活的特征范围约束，包括受保护特征的不变性（例如性别、种族）; iv）容易扩展到其他数据形式，例如图像。
2021-06-04 cs.LG stat.ML
A Microscopic Pandemic Simulator for Pandemic Prediction Using Scalable Million-Agent Reinforcement Learning
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
微观流行病模型是政府决策者预测和模拟流行病爆发的有力工具，它可以捕捉个体行为对宏观现象的影响。然而，现有的模型只考虑简单的基于规则的个人行为，限制了它们的适用性。本文提出了一种深度强化学习的微观模型，称为微观流行病模拟器（MPS）。通过将基于规则的代理替换为理性代理，理性代理的行为被驱动以最大化奖励，MPS提供了对真实世界动态的更好近似。为了在MPS中有效地模拟大量的代理，我们提出了可扩展的百万代理DQN（SMADQN）。MPS使我们能够有效地评估不同政府战略的影响。本文首先根据美国阿勒格尼的真实数据对MPS进行了校准，然后实证评估了两种政府策略：信息披露和隔离。仿真结果验证了该方法的有效性。作为广泛的影响，本文为DRL在经济和社交网络等大规模基于代理的网络中的应用提供了新的见解。
2021-08-14 cs.AI cs.LG cs.MA
BertRLFuzzer: A BERT and Reinforcement Learning Based Fuzzer
Georgia Institute of Technology（佐治亚理工学院）；University of Waterloo（滑铁卢大学）
本文提出BertRLFuzzer，将BERT与强化学习结合用于Web应用模糊测试，通过智能体引导变异算子学习，在首次攻击时间、新漏洞发现数和攻击率上均显著优于13种对比模糊测试器。
2024-02-01 cs.CR cs.LG cs.SE
Adaptive Policy Synchronization for Scalable Reinforcement Learning
MIT Lincoln Laboratory（MIT林肯实验室）
针对分布式强化学习中环境执行僵化与策略同步开销问题，本文提出保留 Gymnasium API 的 ClusterEnv 及 APS 机制，在保持性能的同时减少通信开销。
2025-10-17 cs.AI cs.LG
Scalable Semantic Non-Markovian Simulation Proxy for Reinforcement Learning
Arizona State University（亚利桑那州立大学）；Scientific Systems Company, Inc.（科学系统公司）
针对强化学习中仿真器带来的可扩展性、可解释性和马尔可夫假设问题，提出基于注释逻辑时间扩展的语义仿真代理，实现高达三个数量级加速并保持策略质量，支持非马尔可夫动力学与瞬时动作建模。
2023-10-15 cs.AI cs.LG cs.LO
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习有效和可解释的策略一直是强化学习（RL）中具有挑战性的任务，特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能，但由此产生的策略通常是过度参数化的黑匣子，难以有效地解释和部署。最近的符号RL框架表明，高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而，这些方法依赖于编码原语，几乎没有特征学习，当应用于高维视觉场景时，它们可能会遇到可扩展性问题，并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战，我们提出了\textit{Differentiable Symbolic Expression Search}（DiffSES），一种新的符号学习方法，发现离散的符号策略，使用部分可微优化。通过使用对象级抽象而不是原始像素级输入，DiffSES能够利用符号表达式的简单性和可扩展性优势，同时还结合了神经网络的优势，用于特征学习和优化。我们的实验表明，DiffSES能够生成比最先进的符号RL方法更简单，更可扩展的符号策略，减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University（清华大学）
针对多智能体强化学习通信的可扩展性问题，提出基于Transformer的邮件机制框架，通过局部通信加消息链转发实现跨观测范围协作，在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
针对直接优势估计（DAE）在部分可观测域和高维观测下的局限性，本文扩展其理论框架并引入离散潜动态模型降低计算复杂度，在Arcade学习环境中验证了DAE的可扩展性和样本效率。
2026-06-19 cs.LG
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Twente（特文特大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果发现难题，受Pearl因果层次结构启发，提出基于深度强化学习的CORE方法，兼具因果图重建与干预规划能力，可泛化到新图，支持10变量规模，在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
Q-Policy: Quantum-Enhanced Policy Evaluation for Scalable Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）；Siebel School of Computing and Data Science（Siebel计算与数据科学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出混合量子-经典框架 Q-Policy，利用量子叠加、振幅编码与并行性加速策略评估，并给出样本复杂度多项式降低的策略迭代算法及概念验证。
2025-06-07 cs.AI cs.LG quant-ph
RIFT: A Scalable Methodology for LLM Accelerator Fault Assessment using Reinforcement Learning
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
RIFT通过强化学习引导智能故障定位，实现高效LLM加速器故障评估，提升故障覆盖率与成本效益
2025-12-10 cs.AI cs.LG
Podracer architectures for scalable Reinforcement Learning
DeepMind
支持最先进的人工智能研究需要平衡快速原型设计、易用性和快速迭代，并能够以传统上与生产系统相关的规模部署实验。TensorFlow、PyTorch和JAX等深度学习框架允许用户透明地使用TPU和GPU等加速器，以卸载现代深度学习系统中训练和推理的计算密集型部分。使用这些框架进行深度学习的流行训练管道通常专注于（非）监督学习。如何最好地训练强化学习（RL）代理的规模仍然是一个活跃的研究领域。在这份报告中，我们认为TPU特别适合以可扩展，高效和可重复的方式训练RL代理。具体来说，我们描述了两种架构，旨在最大限度地利用TPU Pod（Google数据中心中的一种特殊配置，具有通过极低延迟通信通道相互连接的多个TPU设备）上的可用资源。
2021-04-13 cs.LG
Scalable Online Planning via Reinforcement Learning Fine-Tuning
Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
前瞻搜索是最近人工智能成功的关键组成部分，例如在国际象棋，围棋和扑克游戏中。然而，在这些游戏和许多其他设置中使用的搜索方法是表格式的。表格搜索方法不能很好地随搜索空间的大小缩放，并且随机性和部分可观测性加剧了这个问题。在这项工作中，我们通过强化学习在线模型为基础的政策神经网络的微调取代表格搜索，并表明这种方法优于国家的最先进的搜索算法在基准设置。特别是，我们使用我们的搜索算法，以实现一个新的国家的最先进的结果在自我发挥Hanabi，并显示我们的算法的一般性，也表明它优于表格搜索在雅达利游戏女士。
2021-09-30 cs.AI
Scalable Multi-Agent Model-Based Reinforcement Learning
JetBrains Research（JetBrains研究院）；HSE University（高等经济大学）
最近的多智能体强化学习（MARL）文献主要集中在分散执行的集中训练（CTDE）范式。由于其能够有效地训练分散的政策，CTDE一直是合作和混合环境的主要方法。虽然在混合环境中，代理的完全自主性可能是一个理想的结果，合作环境允许代理共享信息，以促进协调。利用这种技术的方法通常被称为通信方法，因为为了更好的性能，代理的完全自主性受到了损害。虽然沟通方法已经显示出令人印象深刻的结果，但它们在培训阶段并没有充分利用这些额外的信息。在本文中，我们提出了一种新的方法，称为MAMBA，它利用基于模型的强化学习（MBRL），以进一步利用集中式训练在合作环境中。我们认为，代理之间的通信是足够的，以维持一个世界模型为每个代理在执行阶段，而虚构的推出可以用于培训，消除必要的与环境进行交互。这些属性产生的样本有效的算法，可以优雅地扩展与代理的数量。我们的经验证实，MAMBA实现了良好的性能，同时减少了与环境的交互数量的数量级相比，无模型的最先进的方法在具有挑战性的领域SMAC和平地。
2022-05-25 cs.AI cs.LG
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣，从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习，因为它允许对高度复杂的系统进行自动和无模型的分析。然而，可扩展性的关键问题使控制和强化学习算法的设计复杂化，特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功，但许多智能体的问题很快变得棘手，需要特别考虑。在这项调查中，我们将阐明当前的方法来可追溯地理解和分析大人口系统，无论是通过多智能体强化学习，并通过相邻的研究领域，如平均场游戏，集体智慧，或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统，这可能是非常有用的制定易于处理的MARL算法在未来。最后，我们调查潜在的大规模控制的应用领域，并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向，初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
