Surrogate Fitness Metrics for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本研究提出用替代适应度指标优化轨迹选择，以增强强化学习策略的可解释性，在离散和连续环境中均显著提升演示保真度。
2025-04-20 cs.AI cs.LG
Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究院）
深度强化学习（RL）在游戏内外应用的一个主要障碍是缺乏可解释性。在本文中，我们描述了一种轻量级和有效的方法来推导深度RL代理的解释，我们在Atari域中进行评估。我们的方法依赖于RL代理的基于像素的输入到可解释的、类似感知的输入表示的转换。然后，我们训练一个本身可解释的代理模型，以复制目标深度RL代理的行为。我们的实验表明，我们可以学习一个有效的代理，准确地近似的一套Atari游戏的目标代理的基本决策。
2021-10-07 cs.LG
Effective Reinforcement Learning through Evolutionary Surrogate-Assisted Prescription
Cognizant Technology Solutions（高知特科技解决方案公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现在有大量的历史数据可用于组织中的决策，包括决策问题，做出了什么决策，以及结果的可取性。使用这些数据，可以学习一个代理模型，并使用该模型，发展一个优化结果的决策策略。本文介绍了一种通用的这样的方法，称为进化代理辅助处方，或ESP。代理是，例如，一个随机森林或神经网络训练的梯度下降，和战略是一个神经网络的演变，以最大限度地提高预测的代理模型。ESP在本文中进一步扩展到顺序决策任务，这使得它有可能在强化学习（RL）基准评估框架。由于大多数评估都是在代理上进行的，ESP比标准RL方法具有更高的样本效率，更低的方差和更低的遗憾。令人惊讶的是，它的解决方案也更好，因为代理和策略网络都规范了决策行为。ESP因此形成了一个有前途的基础，在现实世界中的问题的决策优化。
2020-04-22 cs.LG cs.NE
Koopman-based surrogate modeling for reinforcement-learning-control of Rayleigh-Benard convection
TU Dortmund University \& Lamarr Institute for Machine Learning
本文研究了利用线性递归自动编码器网络加速强化学习控制二维雷诺-贝纳德对流的方法，通过预训练方案结合代理模型与DNS，提升了控制性能并减少了训练时间。
2026-03-30 cs.LG math.DS
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Accelerating Reinforcement Learning Training Using Simulation Surrogate Models
Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯A&M大学工业与系统工程系）；Intuit AI
针对奖励结构、模型参数或系统动态随时间变化的环境，提出使用仿真代理模型加速强化学习训练和再训练，并通过离散事件仿真实验验证其有效性。
2026-05-26 cs.LG stat.ML
A general class of surrogate functions for stable and efficient reinforcement learning
Simon Fraser University（西蒙弗雷泽大学）；Google Brain（谷歌大脑）；Mila, Université de Montréal（米拉-蒙特利尔大学）；TU Munich（慕尼黑工业大学）；Amii, University of Alberta（阿尔伯塔大学人工智能机器智能研究所）；DeepMind（深度思维）；Microsoft Research（微软研究院）；Mila, McGill（米拉-麦吉尔大学）
本文提出基于函数镜像上升的通用框架FMA-PG，可生成具有策略改进保证的一族替代函数，并据此改进TRPO和PPO，在赌博机及MuJoCo实验中验证了其鲁棒性与效率。
2023-10-31 cs.AI cs.LG stat.ML
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Surrogate-Assisted Evolutionary Reinforcement Learning Based on Autoencoder and Hyperbolic Neural Network
Shanghai Institute of AI for Education, East China Normal University（上海人工智能教育研究院，华东师范大学）；School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，华东师范大学）；Shanghai Frontiers Science Center of Molecule Intelligent Syntheses（分子智能合成前沿科学中心）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science, Ministry of Education, China（统计与数据科学高级理论及应用重点实验室，中华人民共和国教育部，中国）；The Guangdong Key Laboratory of Brain Inspired Intelligent Computation, Department of Computer Science and Engineering, Southern University of Science and Technology（脑启发智能计算广东省重点实验室，计算机科学与工程系，南方科技大学）；Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）
本文提出一种集成自编码器和双曲神经网络的代理辅助进化强化学习方法，通过压缩高维策略并构建分类代理模型实现准确预选，有效降低了计算成本并提升了搜索效率。
2025-05-29 cs.AI cs.LG
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory（西莫拉研究实验室）
针对强化学习策略可靠性测试难的问题，提出综合框架并实现开源工具Gimitest，它支持多种gym框架，可修改集成组件，能在不同环境下测试单智能体和多智能体RL策略，展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning
要实现良好的电压控制，需要准确了解配电系统的拓扑结构和参数，但这在实践中很难获得。本文提出了一种基于代理模型和深度强化学习（DRL）的无模型方法。我们还将其扩展到处理不平衡的三阶段情景。其核心思想是学习一个代理模型，从历史数据中捕获每个节点的功率注入和电压波动之间的关系，而不是使用受误差和不确定性影响的原始不准确模型。这使我们能够将DRL与学习的代理模型集成在一起。特别是，DRL被应用到学习的最优控制策略，从连续的互动与代理模型获得的经验。综合框架包含三个培训网络，即，代理模型，演员和评论家网络，充分利用深度学习和DRL的强大非线性拟合能力进行在线决策。几个单相的方法也被扩展到处理三相不平衡的情况下，IEEE 123节点系统的仿真结果表明，我们提出的方法可以实现类似的性能，使用准确的物理模型。
2020-06-24 cs.LG cs.SY eess.SY
Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards
Seoul National University（首尔国立大学）；Upstage
本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。
2026-05-20 cs.AI cs.LG
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）
尽管机器学习（ML）已经成功地自动化了各种软件工程需求，但软件测试仍然是一个极具挑战性的话题。在本文中，我们的目标是通过直接增强随机数生成器（RNG）与深度强化学习（RL）代理使用一个有效的，自动提取的状态表示的测试下的软件，以提高软件的生成测试。使用Cosmos SDK作为测试平台，我们证明了所提出的DeepRNG框架对具有超过350，000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
CUP: A Conservative Update Policy Algorithm for Safe Reinforcement Learning
Peking University（北京大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Netease Games AI Lab（网易游戏人工智能实验室）
安全的强化学习（RL）仍然是非常具有挑战性的，因为它需要代理考虑回报最大化和安全探索。在本文中，我们提出了CUP，一个保守的更新策略算法的理论安全保证。我们推导出CUP的基础上提出的新的性能界限和代理函数。虽然在已有的工作中已经出现了使用边界作为代理函数来设计安全的RL算法，但我们至少在三个方面对它们进行了改进：（i）我们提供了严格的理论分析，将代理函数扩展到广义优势估计（GAE）。GAE显着减少方差经验，同时保持一个可容忍的水平的偏见，这是一个有效的步骤，我们设计的CUP;（ii）建议的界限比现有的作品，即更严格，使用所提出的边界作为代理函数是对目标和安全约束的更好的局部近似。(iii)所提出的CUP通过一阶优化器提供了一个非凸的实现，它不依赖于任何凸近似。最后，大量的实验表明CUP的有效性，其中代理满足安全约束。我们已经在https://github.com/RL-boxes/Safe-RL上打开了CUP的源代码。
2022-02-15 cs.AI cs.LG
Climate Surrogates for Scalable Multi-Agent Reinforcement Learning: A Case Study with CICERO-SCM
Technical University of Denmark（丹麦技术大学）
本文提出将高保真气候替代模型集成到多智能体强化学习框架中，以加速气候政策学习，实现近模拟器精度和百倍训练加速，且不牺牲政策保真度。
2026-10-06 cs.LG cs.MA
Search-Based Testing of Reinforcement Learning
Graz University of Technology（格拉茨工业大学）；Silicon Austria Labs（奥地利硅实验室）；Lamarr Security Research（拉马尔安全研究中心）
深度强化学习（RL）的评估具有内在的挑战性。特别是学习策略的不透明性以及代理和环境的随机性使得测试深度RL代理的行为变得困难。我们提出了一个基于搜索的测试框架，该框架能够实现广泛的新型分析功能，用于评估深度RL代理的安全性和性能。对于安全测试，我们的框架利用搜索算法来搜索解决RL任务的参考轨迹。回溯状态的搜索，称为边界状态，构成安全关键的情况。我们创建安全测试套件，评估如何以及RL代理逃脱安全关键的情况下，这些边界状态附近。为了进行可靠的性能测试，我们通过模糊测试创建了一组不同的跟踪。这些模糊跟踪用于将代理带入各种各样的潜在未知状态，从这些状态将代理的平均性能与模糊跟踪的平均性能进行比较。我们将我们基于搜索的测试方法应用于任天堂超级马里奥兄弟的RL。
2022-05-14 cs.AI cs.LG cs.SE
Deep Reinforcement Learning for Optimizing Energy Consumption in Smart Grid Systems
Iran university of Science and Technology（伊朗科技大学）；Islamic Azad university（伊斯兰阿扎德大学）
本文提出利用物理信息神经网络改进强化学习，以提高智能电网能耗优化的效率和性能。
2026-02-20 cs.AI cs.DC cs.LG
Generative Evolutionary Meta-Solver (GEMS): Scalable Surrogate-Free Multi-Agent Reinforcement Learning
Birla Institute of Technology and Science, Pilani（比拉理工学院）
GEMS 提出了一种无代理的多智能体强化学习框架，通过生成器和潜在锚点替代传统种群方法，实现更快的训练速度和更低的内存消耗，同时保持博弈论保证。
2026-03-07 cs.AI cs.LG
Efficient On-Policy Reinforcement Learning via Exploration of Sparse Parameter Space
Department of Computer Science Stony Brook University（计算机科学系石溪大学）
针对同策略强化学习中替代梯度与真实奖励相关性差、参数空间局部结构未被充分探索的问题，提出可插拔流水线ExploRLer，通过迭代级探测梯度更新的未探索邻域，在不增加梯度更新次数的前提下显著提升复杂连续控制任务性能。
2025-09-30 cs.AI cs.LG
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates
J.P. Morgan AI Research（摩根大通AI研究）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文提出用强化学习策略替代割生成中的 NP-hard 环节，在保持最优性保证的同时，将 Benders decomposition 与迭代损失近似的平均收敛速度最高提升 45%。
2024-02-27 cs.AI cs.LG math.OC
Long N-step Surrogate Stage Reward to Reduce Variances of Deep Reinforcement Learning in Complex Problems
Arizona State University（亚利桑那州立大学）
本文提出一种长期N步代理阶段（LNSS）奖励方法，通过有效应对复杂环境动态来减少深度强化学习中的方差，在多个复杂基准环境中提升了总奖励、收敛速度和稳定性，并从理论上证明了其能指数级降低Q值方差上界。
2022-10-10 cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)（美国艺电（EA））
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题，介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践，总结了落地中的耗时难点并提出相关研究方向，助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of California, Riverside（加利福尼亚大学河滨分校）；University of Connecticut（康涅狄格大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对深度强化学习的黑盒攻击，提出轨迹级可迁移对抗攻击，在CartPole-v1上跨模型和算法设置中优于每步攻击和随机噪声。
2026-10-14 cs.AI cs.LG
Autonomous Pressure Control in MuVacAS via Deep Reinforcement Learning and Deep Learning Surrogate Models
HI Iberia（HI伊比利亚）；Department of Mathematics, Universidad Carlos III de Madrid（数学系，卡洛斯三世大学）；Gregorio Millán Barbany Institute, Universidad Carlos III de Madrid（格里戈里·米兰·巴尔巴尼研究所，卡洛斯三世大学）；IFMIF-DONES Spain（IFMIF-DONES西班牙）
本文提出利用深度强化学习和深度学习替代模型实现MuVacAS的自主压力控制，通过数字孪生技术提升粒子加速器的智能化控制水平。
2025-12-17 cs.LG physics.acc-ph
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
DRIFT: Deep Reinforcement Learning for Functional Software Testing
Microsoft Research（微软研究院）
高效的软件测试对于高效的软件开发和可靠的用户体验至关重要。由于人工测试效率低且成本高，因此需要自动化的软件测试。在这项工作中，我们提出了一个强化学习（RL）框架的功能软件测试命名为DRIFT。DRIFT对用户界面的符号表示进行操作。它通过Batch-RL使用Q学习，并使用图神经网络对状态-动作价值函数进行建模。我们将DRIFT应用于测试Windows 10操作系统，并表明DRIFT可以以完全自动化的方式稳健地触发所需的软件功能。我们的实验测试的能力，在不同的应用程序中执行单个和组合的任务，表明我们的框架可以有效地测试软件的测试目标范围很大。
2020-07-16 cs.AI cs.LG stat.ML
Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks
Delft University of Technology（代尔夫特理工大学）；Harvard University（哈佛大学）
针对脉冲神经网络在强化学习中代理梯度优化特性不明、训练初期序列短的问题，分析了斜率设置的影响，提出结合特权引导策略与自适应斜率的训练方法，在真实无人机控制任务中性能显著优于现有方法。
2025-10-28 cs.AI cs.RO
Reinforcement Learning for Test Case Prioritization
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；BNP Paribas（法国巴黎银行）
在现代软件工程中，持续集成（CI）已经成为系统地管理软件开发的生存周期的一个不可缺少的步骤。大公司努力在有用的时间内保持管道的更新和运行，因为大量的更改和添加功能，这些功能是建立在彼此之上的，并且有几个开发人员在不同的平台上工作。与这样的软件变更相关，总是有一个强大的测试组件。随着团队和项目的增长，详尽的测试很快就变得不受欢迎，变得坚定地选择最相关的测试用例，而不影响软件质量。本文扩展了最近的研究应用强化学习优化测试策略。我们测试它的能力，以适应新的环境，通过测试从金融机构提取的新数据，产生超过$0.6$使用网络近似器和测试用例故障奖励的故障检测（NAPFD）的归一化百分比。此外，我们研究了使用决策树（DT）近似器作为记忆表示模型的影响，相对于人工神经网络，它未能产生显着的改进。
2020-12-18 cs.AI cs.LG cs.SE
Reinforcement learning based data assimilation for unknown state model
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）
本文提出一种结合强化学习与集合贝叶斯过滤的方法，用于从噪声观测中直接学习未知动态的状态转移模型，提高高维数据同化精度与鲁棒性。
2026-01-10 cs.LG
Hawkeye: Change-targeted Testing for Android Apps based on Deep Reinforcement Learning
ByteDance（字节跳动）；University of Edinburgh（爱丁堡大学）
针对Android应用更新测试效率低的问题，提出基于深度强化学习的Hawkeye定向测试方法，优先执行与代码变更相关的GUI操作，实验证明其优于现有工具并适用于商业应用冒烟测试。
2023-09-04 cs.LG cs.SE
Reinforcement learning guided fuzz testing for a browser's HTML rendering engine
University of Glasgow（格拉斯哥大学）
本文首次将训练好的测试用例生成深度学习模型与双重深度Q网络（DDQN）相结合，基于代码覆盖率信号引导测试用例创建，使Firefox HTML渲染引擎的代码覆盖率较基线语法模糊测试器提升了多达18.5%。
2023-07-27 cs.AI cs.SE
Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种基于模糊逻辑的自动化预言机，通过量化智能体对奖励策略的符合趋势来检测RL程序缺陷，在复杂测试场景中优于人工预言机。
2024-06-28 cs.AI cs.SE
Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua-Berkeley Shenzhen Institute (TBSI)（清华-伯克利深圳学院）；Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies（江苏省现代城市交通技术协同创新中心）
针对CAV安全测试中先验代理模型失配及高维场景适应性不足的问题，提出融合多代理模型、二次规划与密集强化学习的自适应测试环境生成方法，提升高维超车场景评估效率。
2024-02-29 cs.LG cs.SY eess.SY
Benchmarking Lane-changing Decision-making for Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自动驾驶的发展引起了广泛的关注，对自动驾驶的性能进行评估至关重要。然而，在道路上测试是昂贵和低效的。虚拟测试是验证自动驾驶汽车的主要方式，而虚拟测试的基础是构建仿真场景。在本文中，我们从深度强化学习的角度提出了一种用于变道任务的训练、测试和评估管道。首先，我们设计车道变化的情况下进行训练和测试，其中测试场景包括随机和确定性的部分。然后，我们部署了一组基准测试，包括学习和非学习方法。我们在设计的训练场景中训练了几种最先进的深度强化学习方法，并在测试场景中提供了训练模型的基准度量评估结果。所设计的换道场景和基准都是开放的，为换道任务提供了一致的实验环境。
2021-09-22 cs.AI cs.LG
GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；AI2；Johns Hopkins University（约翰霍普金斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究利用语言模型作为GPU内核性能的选择性替代，通过强化学习提高预测准确性和校准度，在有限GPU评估预算下加速内核搜索。
2026-05-29 cs.AI cs.LG
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo（奥斯陆大学）
渗透测试是一项保安工作，目的是透过模拟对系统的攻击，以评估系统的保安情况。到目前为止，渗透测试主要由受过训练的攻击者进行，成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题，因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中，我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战，我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中，这些捕获的旗帜比赛作为强化学习问题，我们强调，一个具体的挑战，特征渗透测试是发现问题的结构的问题。然后，我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式，我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术，我们证明了可以更好地指导代理并限制其探索问题的空间，从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney（悉尼科技大学）；Defence Science and Technology Group（国防科技集团）
渗透测试对计算机系统进行有组织的攻击，以测试现有的防御措施，已被广泛用于评估网络安全。这是一个耗时的过程，需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL，它采用了代数动作分解策略，以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快，更稳定地找到最佳攻击策略，该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
An Autonomous Performance Testing Framework using Self-Adaptive Fuzzy Reinforcement Learning
RISE Research Institutes of Sweden（瑞典RISE研究院）；Mälardalen University（梅拉达伦大学）
测试自动化带来了降低成本和人力的潜力，但是软件测试的几个方面仍然具有自动化的挑战。一个这样的例子是自动化性能测试，以找到性能突破点。目前的性能测试用例自动生成方法主要涉及使用源代码或系统模型分析或基于用例的技术。但是，源代码和系统模型在测试时可能并不总是可用的。另一方面，如果测试系统可以学习测试过程中针对预期目标的最佳性能测试策略，则可以在没有高级性能模型的情况下实现测试自动化。此外，学习的策略可以在以后被重用于类似的软件系统中，从而导致更高的测试效率。我们提出了SaFReL，一个自适应模糊强化学习为基础的性能测试框架。SaFReL通过初始学习阶段学习最优策略以生成性能测试用例，然后在迁移学习阶段重用它，同时保持学习运行并长期更新策略。通过在模拟环境中的多次实验，我们证明了我们的方法比典型的测试过程更有效地为不同的程序生成目标性能测试用例，并且在不访问源代码和性能模型的情况下自适应地执行。
2020-07-30 cs.AI cs.PF cs.SE
Reinforcement Learning for Online Testing of Autonomous Driving Systems: a Replication and Extension Study
Università di Napoli Federico II（那不勒斯费德里科二世大学）；Università della Svizzera Italiana（瑞士意大利语区大学）
本研究复现并扩展了RL在自动驾驶系统在线测试中的实证研究，发现排除混淆因素后RL未优于随机测试，通过改进奖励组件和采用适配连续状态空间的RL算法，新智能体最终收敛至优于随机测试的有效策略。
2024-03-20 cs.AI cs.LG cs.RO
Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions
ETH Zürich（苏黎世联邦理工学院）
进化策略（ES）是一种有效的黑盒优化技术，适用于无法计算真实梯度的深度神经网络，例如强化学习。我们继续最近的一系列研究，使用代理梯度，以提高梯度估计ES。我们提出了一种新的方法，最佳地将替代梯度信息。与以前的工作不同，我们的方法不需要关于代理梯度质量的信息，并且总是保证找到比代理梯度更好的下降方向。这允许迭代地使用先前的梯度估计作为当前搜索点的替代梯度。我们从理论上证明，这会产生快速收敛到真正的梯度线性函数和简化的假设下，它显着提高一般函数的梯度估计。最后，我们评估我们的方法经验MNIST和强化学习任务，并表明它大大提高了ES的梯度估计，没有额外的计算成本。
2019-10-11 cs.LG cs.NE
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal（蒙特利尔工程学院）
测试深度学习（DL）系统是一项复杂的任务，因为它们的行为与传统系统不同，特别是因为它们的随机性。尽管如此，能够使现有的测试技术（如突变测试（MT））适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式，但很少有工作将其扩展到强化学习（RL），RL也是DL生态系统的重要组成部分，但其行为与SL非常不同。本文建立在现有的MT方法，以提出一个框架，RLMutation，MT应用于RL。值得注意的是，我们使用现有的故障分类法来构建一组与RL相关的变异算子，并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义，以及分析所获得的突变算子及其称为高阶突变（HOM）的潜在组合的行为。我们发现，突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外，我们发现，即使有一个相对较少的测试用例和运营商，我们管理生成HOM有趣的属性，可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
Towards Surrogate Based Dequantization of Quantum Reinforcement Learning
University of the Basque Country UPV/EHU（巴斯克大学 UPV/EHU）；TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；Freie Universität Berlin（柏林自由大学）；Helmholtz-Zentrum Berlin für Materialien und Energie（亥姆霍兹柏林材料与能源中心）；IKERBASQUE, Basque Foundation for Science（IKERBASQUE，巴斯克科学基金会）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所（AIMS））；Stellenbosch University（斯泰伦博斯大学）；National Institute for Theoretical and Computational Sciences (NITheCS)（国家理论与计算科学研究所（NITheCS））
本文通过核化拟合Q迭代为量子Q学习提供去量子化保证，在均匀生成模型下给出有限样本分析，并给出充分条件以证明经典算法可匹配量子性能。
2026-09-16 cs.LG quant-ph
Reinforcement Learning-Based Air Traffic Deconfliction
Boeing Research & Technology（波音研究与技术部）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
保持良好净空（Remain Well Clear）是无人驾驶航空器在拥挤空域中安全运行的关键技术，它通过适当的间隔距离使航空器远离危险。这项工作的重点是自动化的水平分离的两个飞机，并提出了避障问题作为一个二维代理优化任务。通过我们的设计，代理任务是更保守的，以保证在主域中的解决方案的执行。使用强化学习（RL），我们优化了回避策略，并对动态、交互和决策进行建模。通过递归地采样产生的策略和代理转换，系统将回避策略转换为完整的回避轨迹。然后，求解器使用Robot操作系统（ROS）界面将轨迹发布为飞机要遵循的一组航路点。所提出的系统生成一个快速和可实现的回避轨迹，满足安全要求。我们的系统的评估是在高保真仿真和全尺寸飞机演示完成的。此外，本文得出结论，一个巨大的集成努力，使现实生活中的基于RL的系统演示。
2023-01-05 cs.AI cs.RO cs.SY
Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
University of Luxembourg（卢森堡大学）；University of Sheffield（谢菲尔德大学）；University of Ottawa（渥太华大学）
深度神经网络（DNN）已被广泛用于在诸如自动驾驶系统（ADS）的网络物理系统中执行现实世界的任务。确保这种DNN启用系统（DES）的正确行为是一个至关重要的话题。在线测试是一种很有前途的模式，用于在考虑到系统与其环境之间的连续交互的闭环中测试具有其应用环境（模拟或真实）的此类系统。然而，环境变量（例如，照明条件）在系统在真实世界中的操作期间可能改变，导致DES违反要求（安全性、功能性），由于两个主要挑战，在在线测试场景的执行期间经常保持恒定：（1）如果它们改变，则要探索的所有可能场景的空间将变得甚至更大，以及（2）通常存在要同时测试的许多要求。在本文中，我们提出了MORLOT（多目标强化学习在线测试），一种新的在线测试方法，以解决这些挑战相结合的强化学习（RL）和多目标搜索。MORLOT利用RL来逐步生成环境变化的序列，同时依靠多目标搜索来确定变化，以便它们更有可能实现任何未覆盖的目标。我们使用CARLA对MORLOT进行了经验评估，CARLA是一种广泛用于自动驾驶研究的高保真模拟器，与Transfuser集成，Transfuser是一种支持DNN的端到端驾驶ADS。评价结果表明，MORLOT是显着更有效和效率比替代品具有较大的效果大小。换句话说，MORLOT是一个很好的选择，可以在动态变化的环境中测试DES，同时考虑多种安全要求。
2022-12-22 cs.LG cs.SE
ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents
Smith College（史密斯学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一个被广泛接受的原则是，没有测试的软件有bug。测试强化学习代理是特别困难的，因为代理和环境的随机性，最先进的模型的复杂性，以及其预测的顺序性。最近，Arcade学习环境（ALE）已成为深度学习研究中使用最广泛的基准套件之一，最先进的强化学习（RL）代理已被证明在许多ALE任务上通常等于或超过人类表现。由于ALE是基于原始Atari游戏的仿真，因此环境不提供内部游戏状态的语义有意义的表示。这意味着ALE作为支持测试或模型内省的环境的实用性有限。我们提出了ToyBox，这些游戏的重新实现的集合，解决了这个关键问题，并使强大的测试RL代理。
2019-01-25 cs.AI
Multi-step Greedy Reinforcement Learning Algorithms
Facebook AI Research（Facebook人工智能研究院）；Technion（以色列理工学院）；Google Research（谷歌研究院）
多步贪婪策略已被广泛用于基于模型的强化学习（RL）中，无论是在环境的模型可用时（例如，在游戏中，当它被学习。在本文中，我们探讨了它们在无模型强化学习中的好处，当使用多步动态规划算法时：$κ$ -策略迭代（$κ$ -PI）和$κ$ -值迭代（$κ$ -VI）。这些方法通过求解具有成形奖励和较小折扣因子的代理决策问题来迭代地计算下一个策略（$κ$ -PI）和价值函数（$κ$ -VI）。我们推导出基于$κ$ -PI和$κ$ -VI的无模型强化学习算法，其中代理问题可以通过任何离散或连续动作强化学习方法（如DQN和TRPO）来解决。我们确定了一个超参数的重要性，控制在何种程度上解决了代理问题，并提出了一种方法来设置这个参数。当在一系列Atari和MuJoCo基准任务上进行评估时，我们的结果表明，对于正确的$κ$范围，我们的算法优于DQN和TRPO。这表明，我们的多步贪心算法是通用的，足以适用于任何现有的RL算法，并可以显着提高其性能。
2020-07-13 cs.LG stat.ML
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤，需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求，使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性，并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络，这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息，并推断下一步行动。我们将结果与随机玩家的表现进行比较，发现网络显示出最高的成功率。在大多数情况下，结果与真实用户获得的结果相似，随着时间的推移，网络也成功地学习了区分游戏级别的不同特征，并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
A Comparison of Reinforcement Learning Frameworks for Software Testing Tasks
Polytechnique Montréal（蒙特利尔综合理工学院）
本文实证评估了多种深度强化学习框架在测试用例优先级排序和游戏测试任务中的有效性与性能，发现Tensorforce等框架优于现有方法，且不同框架算法间存在显著性能差异。
2023-06-29 cs.LG cs.SE
Reward Function Optimization of a Deep Reinforcement Learning Collision Avoidance System
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
无人驾驶飞机系统（UAS）的激增使得空域管理当局检查这些飞机与最初为大型运输类飞机设计的防撞系统的互操作性。目前授权的TCAS的局限性导致联邦航空管理局委托开发一种新的解决方案，即机载防撞系统X（ACAS X），旨在为包括UAS在内的多个飞机平台提供防撞能力。虽然先前的研究探索使用深度强化学习算法（DRL）来避免碰撞，但DRL的性能不如现有的解决方案。这项工作探讨了使用DRL防撞系统的参数使用代理优化器进行调整的好处。我们表明，使用代理优化器导致DRL的方法，可以提高安全性和运营可行性，并支持未来的能力发展无人机防撞。
2022-12-01 cs.AI cs.RO
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia（弗吉尼亚大学）
自动驾驶汽车（AV）安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理（封闭试验场）或虚拟（模拟预定义场景）环境中控制，也可以在现实世界中的操作过程中自发出现（开放道路测试或模拟随机生成的场景）。在自动驾驶测试中，仿真主要有两个目的：帮助开发强大的自动驾驶汽车，并在发布前测试和验证自动驾驶汽车。由于涉及大量变量（其中大多数是连续的），从上述每个来源可以构建大量的情景变化，这带来了挑战。即使连续变量离散化，可能的组合数量也变得实际上不可行。为了克服这一挑战，我们建议使用强化学习（RL）来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果，但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中，如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Surrogate Empowered Sim2Real Transfer of Deep Reinforcement Learning for ORC Superheat Control
Zhejiang University（浙江大学）；University of Alberta（阿尔伯塔大学）；Huzhou University（湖州师范大学）；Chung-Yuan Christian University（中原大学）
本文针对 ORC 过热度控制中 DRL 直接应用的安全风险与模型失配泛化不足问题，提出基于 Sim2Real 迁移学习的 DRL 控制方法，实验证明其能显著提升训练速度并改善多工况泛化性能。
2023-08-05 cs.AI cs.SY eess.SY
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
