Reinforcement learning guided fuzz testing for a browser's HTML rendering engine
University of Glasgow（格拉斯哥大学）
本文首次将训练好的测试用例生成深度学习模型与双重深度Q网络（DDQN）相结合，基于代码覆盖率信号引导测试用例创建，使Firefox HTML渲染引擎的代码覆盖率较基线语法模糊测试器提升了多达18.5%。
2023-07-27 cs.AI cs.SE
Reinforcement Learning for Test Case Prioritization
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；BNP Paribas（法国巴黎银行）
在现代软件工程中，持续集成（CI）已经成为系统地管理软件开发的生存周期的一个不可缺少的步骤。大公司努力在有用的时间内保持管道的更新和运行，因为大量的更改和添加功能，这些功能是建立在彼此之上的，并且有几个开发人员在不同的平台上工作。与这样的软件变更相关，总是有一个强大的测试组件。随着团队和项目的增长，详尽的测试很快就变得不受欢迎，变得坚定地选择最相关的测试用例，而不影响软件质量。本文扩展了最近的研究应用强化学习优化测试策略。我们测试它的能力，以适应新的环境，通过测试从金融机构提取的新数据，产生超过$0.6$使用网络近似器和测试用例故障奖励的故障检测（NAPFD）的归一化百分比。此外，我们研究了使用决策树（DT）近似器作为记忆表示模型的影响，相对于人工神经网络，它未能产生显着的改进。
2020-12-18 cs.AI cs.LG cs.SE
Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种基于模糊逻辑的自动化预言机，通过量化智能体对奖励策略的符合趋势来检测RL程序缺陷，在复杂测试场景中优于人工预言机。
2024-06-28 cs.AI cs.SE
Benchmarking Lane-changing Decision-making for Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自动驾驶的发展引起了广泛的关注，对自动驾驶的性能进行评估至关重要。然而，在道路上测试是昂贵和低效的。虚拟测试是验证自动驾驶汽车的主要方式，而虚拟测试的基础是构建仿真场景。在本文中，我们从深度强化学习的角度提出了一种用于变道任务的训练、测试和评估管道。首先，我们设计车道变化的情况下进行训练和测试，其中测试场景包括随机和确定性的部分。然后，我们部署了一组基准测试，包括学习和非学习方法。我们在设计的训练场景中训练了几种最先进的深度强化学习方法，并在测试场景中提供了训练模型的基准度量评估结果。所设计的换道场景和基准都是开放的，为换道任务提供了一致的实验环境。
2021-09-22 cs.AI cs.LG
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo（奥斯陆大学）
渗透测试是一项保安工作，目的是透过模拟对系统的攻击，以评估系统的保安情况。到目前为止，渗透测试主要由受过训练的攻击者进行，成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题，因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中，我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战，我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中，这些捕获的旗帜比赛作为强化学习问题，我们强调，一个具体的挑战，特征渗透测试是发现问题的结构的问题。然后，我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式，我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术，我们证明了可以更好地指导代理并限制其探索问题的空间，从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney（悉尼科技大学）；Defence Science and Technology Group（国防科技集团）
渗透测试对计算机系统进行有组织的攻击，以测试现有的防御措施，已被广泛用于评估网络安全。这是一个耗时的过程，需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL，它采用了代数动作分解策略，以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快，更稳定地找到最佳攻击策略，该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
A Search-Based Testing Approach for Deep Reinforcement Learning Agents
University of Ottawa（渥太华大学）；École de Technologie Supérieure（高等技术学院）；University of Luxembourg（卢森堡大学）；Cisco（思科公司）；General Motors（通用汽车公司）
本文提出基于搜索的测试方法STARLA，结合机器学习与遗传算法在有限预算内高效搜索深度强化学习智能体的失败执行，实验表明其故障检测能力显著优于随机测试，并可提取故障规则以评估部署风险。
2023-08-04 cs.AI cs.LG cs.SE
An Autonomous Performance Testing Framework using Self-Adaptive Fuzzy Reinforcement Learning
RISE Research Institutes of Sweden（瑞典RISE研究院）；Mälardalen University（梅拉达伦大学）
测试自动化带来了降低成本和人力的潜力，但是软件测试的几个方面仍然具有自动化的挑战。一个这样的例子是自动化性能测试，以找到性能突破点。目前的性能测试用例自动生成方法主要涉及使用源代码或系统模型分析或基于用例的技术。但是，源代码和系统模型在测试时可能并不总是可用的。另一方面，如果测试系统可以学习测试过程中针对预期目标的最佳性能测试策略，则可以在没有高级性能模型的情况下实现测试自动化。此外，学习的策略可以在以后被重用于类似的软件系统中，从而导致更高的测试效率。我们提出了SaFReL，一个自适应模糊强化学习为基础的性能测试框架。SaFReL通过初始学习阶段学习最优策略以生成性能测试用例，然后在迁移学习阶段重用它，同时保持学习运行并长期更新策略。通过在模拟环境中的多次实验，我们证明了我们的方法比典型的测试过程更有效地为不同的程序生成目标性能测试用例，并且在不访问源代码和性能模型的情况下自适应地执行。
2020-07-30 cs.AI cs.PF cs.SE
ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents
Smith College（史密斯学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一个被广泛接受的原则是，没有测试的软件有bug。测试强化学习代理是特别困难的，因为代理和环境的随机性，最先进的模型的复杂性，以及其预测的顺序性。最近，Arcade学习环境（ALE）已成为深度学习研究中使用最广泛的基准套件之一，最先进的强化学习（RL）代理已被证明在许多ALE任务上通常等于或超过人类表现。由于ALE是基于原始Atari游戏的仿真，因此环境不提供内部游戏状态的语义有意义的表示。这意味着ALE作为支持测试或模型内省的环境的实用性有限。我们提出了ToyBox，这些游戏的重新实现的集合，解决了这个关键问题，并使强大的测试RL代理。
2019-01-25 cs.AI
Testing of Deep Reinforcement Learning Agents with Surrogate Models
Università della Svizzera italiana（瑞士意大利语区大学）
本研究提出基于搜索的DRL智能体测试方法，通过工具Indago训练分类器作为代理模型预测失败概率，引导生成失败环境配置，相比现有技术多发现50%的失败，且失败及对应行为多样性分别提升78%、74%。
2023-11-11 cs.AI cs.LG cs.SE
Reinforcement Learning for Online Testing of Autonomous Driving Systems: a Replication and Extension Study
Università di Napoli Federico II（那不勒斯费德里科二世大学）；Università della Svizzera Italiana（瑞士意大利语区大学）
本研究复现并扩展了RL在自动驾驶系统在线测试中的实证研究，发现排除混淆因素后RL未优于随机测试，通过改进奖励组件和采用适配连续状态空间的RL算法，新智能体最终收敛至优于随机测试的有效策略。
2024-03-20 cs.AI cs.LG cs.RO
MIST-RL: Mutation-based Incremental Suite Testing via Reinforcement Learning
Fudan University, Shanghai, China（复旦大学）；University of Science and Technology of China（中国科学技术大学）；Xi'an Jiaotong University, Xi'an, China（西安交通大学）；South China University of Technology, Guangzhou, China（华南理工大学）
MIST-RL通过强化学习优化测试生成，提升突变得分并减少测试用例数量，改进代码验证效果。
2026-03-02 cs.AI cs.LG cs.SE
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal（蒙特利尔工程学院）
测试深度学习（DL）系统是一项复杂的任务，因为它们的行为与传统系统不同，特别是因为它们的随机性。尽管如此，能够使现有的测试技术（如突变测试（MT））适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式，但很少有工作将其扩展到强化学习（RL），RL也是DL生态系统的重要组成部分，但其行为与SL非常不同。本文建立在现有的MT方法，以提出一个框架，RLMutation，MT应用于RL。值得注意的是，我们使用现有的故障分类法来构建一组与RL相关的变异算子，并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义，以及分析所获得的突变算子及其称为高阶突变（HOM）的潜在组合的行为。我们发现，突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外，我们发现，即使有一个相对较少的测试用例和运营商，我们管理生成HOM有趣的属性，可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤，需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求，使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性，并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络，这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息，并推断下一步行动。我们将结果与随机玩家的表现进行比较，发现网络显示出最高的成功率。在大多数情况下，结果与真实用户获得的结果相似，随着时间的推移，网络也成功地学习了区分游戏级别的不同特征，并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
University of Luxembourg（卢森堡大学）；University of Sheffield（谢菲尔德大学）；University of Ottawa（渥太华大学）
深度神经网络（DNN）已被广泛用于在诸如自动驾驶系统（ADS）的网络物理系统中执行现实世界的任务。确保这种DNN启用系统（DES）的正确行为是一个至关重要的话题。在线测试是一种很有前途的模式，用于在考虑到系统与其环境之间的连续交互的闭环中测试具有其应用环境（模拟或真实）的此类系统。然而，环境变量（例如，照明条件）在系统在真实世界中的操作期间可能改变，导致DES违反要求（安全性、功能性），由于两个主要挑战，在在线测试场景的执行期间经常保持恒定：（1）如果它们改变，则要探索的所有可能场景的空间将变得甚至更大，以及（2）通常存在要同时测试的许多要求。在本文中，我们提出了MORLOT（多目标强化学习在线测试），一种新的在线测试方法，以解决这些挑战相结合的强化学习（RL）和多目标搜索。MORLOT利用RL来逐步生成环境变化的序列，同时依靠多目标搜索来确定变化，以便它们更有可能实现任何未覆盖的目标。我们使用CARLA对MORLOT进行了经验评估，CARLA是一种广泛用于自动驾驶研究的高保真模拟器，与Transfuser集成，Transfuser是一种支持DNN的端到端驾驶ADS。评价结果表明，MORLOT是显着更有效和效率比替代品具有较大的效果大小。换句话说，MORLOT是一个很好的选择，可以在动态变化的环境中测试DES，同时考虑多种安全要求。
2022-12-22 cs.LG cs.SE
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia（弗吉尼亚大学）
自动驾驶汽车（AV）安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理（封闭试验场）或虚拟（模拟预定义场景）环境中控制，也可以在现实世界中的操作过程中自发出现（开放道路测试或模拟随机生成的场景）。在自动驾驶测试中，仿真主要有两个目的：帮助开发强大的自动驾驶汽车，并在发布前测试和验证自动驾驶汽车。由于涉及大量变量（其中大多数是连续的），从上述每个来源可以构建大量的情景变化，这带来了挑战。即使连续变量离散化，可能的组合数量也变得实际上不可行。为了克服这一挑战，我们建议使用强化学习（RL）来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果，但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中，如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Reinforcement Learning for Automated Cybersecurity Penetration Testing
Department of Artificial Intelligence and Big Data（人工智能与大数据系）；GMV（GMV公司）
本文提出用强化学习结合几何深度学习先验，在模拟网页上训练智能体以自动优化渗透测试路径，并在真实漏洞网页上验证，实现以最少步骤发现最多漏洞。
2025-06-30 cs.AI cs.CR
A Comparison of Reinforcement Learning Frameworks for Software Testing Tasks
Polytechnique Montréal（蒙特利尔综合理工学院）
本文实证评估了多种深度强化学习框架在测试用例优先级排序和游戏测试任务中的有效性与性能，发现Tensorforce等框架优于现有方法，且不同框架算法间存在显著性能差异。
2023-06-29 cs.LG cs.SE
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出一种将配置分配重构为序列决策问题的强化学习框架，首次结合Q学习与混合奖励设计，并开发自适应在线-离线训练方案，在模拟中优于静态基线，接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
FuzzingRL: Reinforcement Fuzz-Testing for Revealing VLM Failures
University of Southern California（南加州大学）；Toyota Research Institute（丰田研究机构）
FuzzingRL通过强化模糊测试生成挑战性问题，揭示视觉语言模型的故障点并降低其准确性。
2026-02-17 cs.AI cs.LG
Deep reinforcement learning-based image classification achieves perfect testing set accuracy for MRI brain tumors with a training set of only 30 images
Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
目的：图像分类是图像人工智能的基本任务。我们最近已经证明，强化学习即使在极小的训练集上也可以实现病变定位和分割的高精度。在这里，我们介绍用于图像分类的强化学习。特别是，我们将该方法应用于正常与含肿瘤的2D MRI脑图像。材料和方法：我们应用多步图像分类以允许组合的深度Q学习和TD（0）Q学习。我们对一组30张图像进行了训练（15张正常图像和15张含肿瘤图像）。我们测试了一组单独的30张图像（15张正常图像和15张含肿瘤图像）。为了进行比较，我们还在同一组训练和测试图像上训练和测试了一个有监督的深度学习分类网络。结果如下：尽管监督方法很快过拟合训练数据，并且正如预期的那样在测试集上表现不佳（57%的准确率，略高于随机猜测），但强化学习方法实现了100%的准确率。结论：我们已经展示了强化学习在脑肿瘤分类中的原理证明应用。我们用仅仅30张图像的训练集实现了完美的测试集精度。
2021-03-19 cs.AI cs.CV
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
Macau University of Science and Technology（澳门科技大学）
针对多智能体强化学习系统公平性测试缺失的问题，提出基于搜索的FairTest方法，结合三适应度引导与优先级排序，在三个环境上检测到最多公平性故障，故障数平均超最强基线221%。
2026-09-24 cs.LG cs.SE
Requirement-Based Testing: Enhancing Reinforcement Learning with Game Theory
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Mitsubishi Electrics R&D Centre Europe（三菱电机欧洲研发中心）；Mitsubishi Electric Corporation（三菱电机株式会社）
针对反应式实现的黑盒测试用例在线合成问题，提出基于蒙特卡洛树搜索并结合博弈论启发式的方法，加速算法收敛并提升测试性能。
2026-10-08 cs.AI cs.GT cs.LG
Active hypothesis testing in unknown environments using recurrent neural networks and model free reinforcement learning
National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）
本文结合深度强化学习与监督学习，提出一种无需环境动态或先验假设的主动序贯假设检验方法，可处理连续动作与观测，并在有限及无限时域中达到或超过 Chernoff 检验。
2023-06-06 cs.AI cs.IT math.IT
A Reinforcement Learning-based Volt-VAR Control Dataset and Testing Environment
University of California, Riverside（加州大学河滨分校）
为了促进基于强化学习（RL）的配电系统电压无功控制（VVC）的开发，本文介绍了一套用于基于RL的VVC算法研究的开源数据集，该数据集具有样本高效、安全和鲁棒性。该数据集由两个部分组成：1。一个体操类VVC测试环境的IEEE-13，123和8500总线测试馈线和2。每个馈线的历史操作数据集。数据集和测试环境的潜在用户可以首先在历史数据集上训练样本有效的离线（批处理）RL算法，然后在测试环境中评估训练的RL代理的性能。该数据集可作为一个有用的测试平台，用于进行基于RL的VVC研究，以模拟电力公司面临的现实运营挑战。同时，它允许研究人员在不同算法之间进行公平的性能比较。
2022-04-20 cs.LG cs.SY eess.SY
Robustness Testing for Multi-Agent Reinforcement Learning: State Perturbations on Critical Agents
Tongji University（同济大学）
针对多智能体强化学习易受状态对抗扰动的问题，提出首个可动态选择受攻击智能体的鲁棒性测试框架RTCA，通过差分进化选关键智能体并生成扰动，在破坏协作策略等方面表现优异。
2023-06-09 cs.AI cs.CR cs.LG
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab（之江实验室）；National Research Centre of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习（RL）被认为是一种很有前途的解决方案，可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而，在现实中，需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此，攻击代理在渗透网络时必须考虑多个目标。然而，这一挑战在现有文献中没有得到充分解决。为此，我们制定了多目标强化学习（MORL）框架中的自动渗透测试，并提出了一个切比雪夫分解评论家找到不同的对手的策略，平衡不同的目标在渗透测试。此外，可用动作的数量随着代理不断探测目标网络而增加，这使得训练过程在许多实际情况下变得棘手。因此，我们引入了一种基于覆盖的掩蔽机制，减少了对先前选择的动作的关注，以帮助代理适应未来的探索。一系列场景的实验评估表明，我们所提出的方法相比，适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
Deep Reinforcement Learning for Adverse Garage Scenario Generation
本文提出基于深度强化学习的自动化程序生成框架，自动生成2D地面脚本并构建3D场景，用于Carla仿真器中的导航算法测试，以解决手动搭建场景耗时费力的问题。
2024-07-01 cs.AI cs.LG cs.RO
Towards Comprehensive Testing on the Robustness of Cooperative Multi-agent Reinforcement Learning
Beihang University（北京航空航天大学）；Yangzhou Collaborative Innovation Research Institute CO., LTD（扬州协同创新研究院有限公司）；No. 38 Research Institute of CETC（中国电子科技集团公司第三十八研究所）
虽然深度神经网络（DNN）增强了合作多智能体强化学习（c-MARL）的性能，但代理策略很容易受到对抗性示例的干扰。考虑到c-MARL的安全关键应用，如交通管理，电源管理和无人机控制，这是至关重要的，测试c-MARL算法的鲁棒性之前，它在现实中部署。针对MARL的现有对抗攻击可以用于测试，但是限于一个鲁棒性方面（例如，奖励、状态、动作），而c-MARL模型可以从任何方面进行攻击。为了克服这一挑战，我们提出了MARLSafe，第一个鲁棒性测试框架的c-MARL算法。首先，MARLSafe以马尔可夫决策过程（MDP）为理论基础，从状态鲁棒性、动作鲁棒性和回报鲁棒性三个方面综合考虑了c-MARL算法的鲁棒性。任何c-MARL算法必须同时满足这些鲁棒性方面才能被认为是安全的。其次，针对c-MARL攻击的稀缺性，从多个方面提出了c-MARL攻击作为鲁棒性测试算法。在\textit{SMAC}环境下的实验表明，目前许多c-MARL算法在各个方面的鲁棒性都不高，因此迫切需要测试和提高c-MARL算法的鲁棒性。
2022-04-17 cs.AI cs.LG cs.MA
Unsupervised Meta-Testing with Conditional Neural Processes for Hybrid Meta-Reinforcement Learning
Department of Computer Engineering, Bogazici University（计算机工程系，博兹达奇大学）
本文提出UMCNP方法，将策略梯度元强化学习与基于条件神经过程的任务推断相结合，在元测试无奖励信号时通过离线重用训练样本和单条轨迹推断动力学模型，显著减少适应新任务所需样本。
2025-06-04 cs.AI cs.LG cs.RO
Evaluating Fuzz Testing for Reinforcement Learning Agents
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
研究针对强化学习智能体模糊测试评估差异问题，通过在三种环境下统一配置对五种方法及随机测试进行基准测试，从多角度评估，揭示不同方法特点，表明模糊测试能提升智能体鲁棒性等，还给出可操作指导。
2026-07-28 cs.LG cs.SE
DreamTest: World-Model Surrogates for Search-Based Testing of Deep Reinforcement Learning Agents
Lero Research Centre（莱罗研究中心）；University of Limerick（利默里克大学）；University of Ottawa（渥太华大学）
提出DreamTest世界模型代理，通过想象回合预测DRL智能体失败，指导搜索测试，在多个基准上显著提升失败预测精度和多样性。
2026-10-06 cs.LG cs.SE
Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；College of Science and Technology, Nihon University（日本立命馆大学科学技术学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Waseda Institute for Advanced Study, Waseda University（早稻田大学高级研究机构）
SMART框架通过LLM引导强化学习，结合结构验证与功能验证，提升游戏更新测试的覆盖率和任务完成率。
2025-12-14 cs.AI cs.SE
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Autonomous Penetration Testing using Reinforcement Learning
University of Queensland（昆士兰大学）
渗透测试涉及对计算机系统进行受控攻击，以评估其安全性。虽然渗透测试是一种有效的安全测试方法，但它需要高度熟练的从业人员，目前熟练的网络安全专业人员越来越短缺。缓解此问题的一个途径是使用人工智能技术自动化渗透测试过程。目前的自动渗透测试方法依赖于基于模型的规划，但是网络安全环境正在迅速变化，这使得维护最新的漏洞模型成为一项挑战。本计画探讨无模型强化学习在自动渗透测试中的应用。与基于模型的规划相比，无模型强化学习具有关键优势，即不需要环境模型，而是通过与环境的交互来学习最佳策略。我们首先设计并构建了一个快速，低计算模拟器，用于训练和测试自主渗透代理。我们通过将渗透测试作为马尔可夫决策过程来实现这一点，其中已知的网络配置作为状态，可用的扫描和利用作为动作，奖励由网络上机器的价值决定。然后，我们使用这个模拟器来研究无模型强化学习在渗透测试中的应用。我们测试了标准的Q-学习算法使用表格和神经网络的实现。我们发现，在模拟环境中，表格和神经网络实现都能够找到一系列不同网络拓扑和大小的最佳攻击路径，而无需动作行为模型。然而，所实现的算法仅适用于较小的网络和动作数量。需要进一步的工作来开发可扩展的RL算法，并在更大和更高保真的环境中测试这些算法。
2019-05-15 cs.AI cs.CR cs.LG
DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data
Simula Research Laboratory（西穆拉研究实验室）；University of Oslo（奥斯陆大学）；Kristiania University College（克里斯蒂安尼亚大学学院）；Oslo Metropolitan University（奥斯陆城市大学）
针对自动驾驶系统测试场景无限、环境动态且现有方法场景真实性不足的问题，提出基于深度Q学习、融合真实天气与真实约束的DeepQTest测试方法，实验证明其在碰撞场景生成与真实性上优于基线，且碰撞时间为最优奖励函数设计。
2023-10-08 cs.AI cs.LG cs.RO
Knowledge-Informed Auto-Penetration Testing Based on Reinforcement Learning with Reward Machine
Concordia University（康考迪亚大学）
提出DRLRM-PT框架，利用奖励机器编码MITRE ATT&CK领域知识，结合深度Q学习优化横向移动渗透测试策略，提升训练效率与性能。
2024-05-24 cs.AI cs.CR cs.LG
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology（代尔夫特理工大学）
针对深度强化学习智能体测试中失败场景缺乏多样性的问题，提出多目标进化搜索方法INDAGO-Nexus，联合优化失败概率与场景多样性，在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework
London School of Economics and Political Science（伦敦政治经济学院）；Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院系统科学研究所）；ByteDance（字节跳动）；The Univeristy of North Carolina at Chapell Hill（北卡罗来纳大学教堂山分校）；University of Michigan（密歇根大学）；North Carolina State University（北卡罗来纳州立大学）
A/B测试或在线实验是制药、技术和传统行业比较新产品和旧产品的标准商业策略。主要挑战出现在双边市场平台的在线实验中（例如，Uber），其中只有一个单元随时间接受一系列治疗。在这些实验中，在给定时间的治疗影响当前结果以及未来结果。本文的目的是引入一个强化学习框架，在这些实验中进行A/B测试，同时表征长期治疗效果。我们提出的测试程序允许顺序监测和在线更新。它通常适用于不同行业的各种处理设计。此外，我们系统地研究了理论性质（例如，我们的测试程序的大小和功率）。最后，我们将我们的框架应用于模拟数据和从一家科技公司获得的真实数据示例，以说明其优于当前实践的优势。我们的测试的Python实现可以在https://github.com/callmespring/CausalRL上获得。
2022-11-03 cs.LG stat.ML
Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning
State Key Laboratory of Cyberspace Security Defense, Institute of Information Engineering, Chinese Academy of Sciences（中国科学院网络空间安全防御重点实验室，信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络与安全学院）
针对大语言模型在渗透测试中错误处理差、推理低效等问题，提出Pentest-R1框架，通过两阶段强化学习优化推理能力，在多个基准上取得优异表现，为开源LLM树立新标杆。
2025-10-29 cs.AI cs.LG
Using Cyber Terrain in Reinforcement Learning for Penetration Testing
Deloitte Consulting LLC（德勤咨询有限责任公司）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）；Deloitte & Touche LLP（德勤会计师事务所）
强化学习（RL）已被应用于渗透测试的攻击图，然而，训练有素的代理人不反映现实，因为攻击图缺乏操作的细微差别，通常在战场的情报准备（IPB），包括（网络）地形的概念。特别是，目前的做法是专门使用通用漏洞评分系统（CVSS）及其组件构建攻击图。我们提出了使用IPB的概念构建攻击图的方法，网络地形分析的障碍，途径的方法，关键地形，观察和火灾领域，覆盖和隐藏。我们展示了我们的方法的例子中，防火墙被视为障碍，并表示在（1）奖励空间和（2）状态动态。我们表明，地形分析可以用来带来现实主义的攻击图RL。
2022-08-04 cs.CR cs.LG cs.NI
The Surprising Difficulty of Search in Model-Based Reinforcement Learning
Meta FAIR；McGill University（麦吉尔大学）
本文研究基于模型的强化学习中的搜索问题，发现即使模型高度准确，搜索也可能损害性能，而缓解过估计偏差比提高模型或价值函数精度更重要，通过取价值函数集成的最小值可有效解决偏差并实现有效搜索。
2026-05-21 cs.AI cs.LG
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
提出CD-UCT，一种基于模型强化学习的树搜索方法，通过逐步构建DAG进行因果发现，并证明了一种高效排除环边算法的正确性，实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
RAT: Reinforcement-Learning-Driven and Adaptive Testing for Vulnerability Discovery in Web Application Firewalls
Shahrood University of Technology（沙赫鲁德工业大学）
针对现有WAF黑盒漏洞测试效率低的问题，提出结合强化学习与自适应搜索的RAT方法，通过攻击样本聚类高效发现绕过模式，在绕过载荷发现数量和首枚载荷发现效率上均显著优于现有最优方法。
2023-12-13 cs.AI cs.CR cs.IR
Reinforcement Learning for Testing Interdependent Requirements in Autonomous Vehicles: An Empirical Study
Simula Research Laboratory and University of Oslo（Simula研究实验室和奥斯陆大学）；Mondragon University（蒙dragon大学）；Simula Research Laboratory（Simula研究实验室）；University of Oslo（奥斯陆大学）
本文通过实证研究比较了单目标强化学习与多目标强化学习在生成同时测试依赖性需求的关键场景中的效果，发现多目标强化学习在场景多样性和覆盖范围上更优，而单目标强化学习在暴露严重违规方面更有效。
2026-04-28 cs.LG cs.RO cs.SE
Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中，K-最近邻搜索（KNNS）在计算高维距离的复杂性方面受到影响。由于维数灾难的问题，可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中，我们调查了一些新的K-最近邻搜索方法，从计算的角度来解决搜索问题，近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后，为了评估KNNS方法对对抗点的鲁棒性，我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Test Where Decisions Matter: Importance-driven Testing for Deep Reinforcement Learning
Graz University of Technology（格拉茨工业大学）；King’s College London（伦敦国王学院）
提出一种基于模型的状态重要性排名方法，通过计算乐观和悲观安全估计，集中测试深度强化学习策略中最关键的状态，以最优测试用例选择和形式化安全保证发现不安全行为。
2024-11-12 cs.LG
Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua-Berkeley Shenzhen Institute (TBSI)（清华-伯克利深圳学院）；Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies（江苏省现代城市交通技术协同创新中心）
针对CAV安全测试中先验代理模型失配及高维场景适应性不足的问题，提出融合多代理模型、二次规划与密集强化学习的自适应测试环境生成方法，提升高维超车场景评估效率。
2024-02-29 cs.LG cs.SY eess.SY
Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing
U.S. Naval Research Laboratory Naval Center for Space Technology（美国海军研究实验室海军空间技术中心）
APIARY实验利用强化学习控制空间自由飞行器，通过NASA Astrobee机器人在国际空间站进行首次空间强化学习控制测试，验证了强化学习在提升机器人自主性方面的潜力。
2025-12-03 cs.LG cs.RO cs.SY
Interactive Search Based on Deep Reinforcement Learning
随着机器学习技术的不断发展，各大电商平台纷纷推出基于其的推荐系统，以更高效地服务于大量不同需求的客户。与传统的监督学习相比，强化学习能够更好地捕捉用户在决策过程中的状态转变，并考虑一系列的用户动作，而不仅仅是用户在某一时刻的静态特征。从理论上讲，它将有一个长期的视角，产生一个更有效的建议。强化学习对数据的特殊要求使得它需要依赖离线虚拟系统进行训练。我们的项目主要是建立一个虚拟的用户环境进行离线培训。同时，尝试改进一种基于双聚类的强化学习算法，以扩展推荐代理的动作空间和推荐路径空间。
2020-12-09 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
