Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California(南加州大学)
在不断扩展的研究和应用领域中,深度神经网络(DNN)为算法性能设定了标准。然而,根据处理能力和执行时间限制等附加约束,或可验证的安全保证等要求,在实践中实际使用此类高性能DNN可能并不可行。近年来,人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型,不仅保持所需的性能水平,而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
Designing Reinforcement Learning Algorithms for Digital Interventions: Pre-implementation Guidelines
Harvard University(哈佛大学);University of Michigan(密歇根大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在线强化学习(RL)算法越来越多地用于移动医疗和在线教育领域的个性化数字干预。在这些设置中设计和测试RL算法的常见挑战包括确保RL算法可以在实时约束下学习和稳定运行,并考虑环境的复杂性,例如,缺乏用户动态的精确机械模型。为了指导人们如何应对这些挑战,我们扩展了PCS(可预测性,可计算性,稳定性)框架,这是一个数据科学框架,将机器学习和统计学的最佳实践融入监督学习(Yu和Kumbier,2020),以设计数字干预设置的RL算法。此外,我们提供了如何设计仿真环境,使用PCS框架评估RL候选算法的重要工具的指导方针。我们说明了使用PCS框架设计RL算法的Oralytics,移动健康研究,旨在改善用户的刷牙行为,通过个性化的干预消息的交付。Oralytics将于2022年底进入该领域。
2022-08-18 cs.AI cs.LG
Designing high-fidelity multi-qubit gates for semiconductor quantum dots through deep reinforcement learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
在本文中,我们提出了一个机器学习框架,以设计基于硅中量子点的量子处理器的高保真多量子比特门,量子比特编码在单电子的自旋中。在这种硬件架构中,控制景观是巨大而复杂的,因此我们使用深度强化学习方法来设计最佳控制脉冲,以实现高保真多量子比特门。在我们的学习模型中,模拟器模拟量子点的物理系统并执行系统的时间演化,深度神经网络作为函数逼近器来学习控制策略。我们在系统的全状态空间中演化哈密顿量,并实施现实的约束,以确保实验的可行性。
2020-06-15 cs.LG cs.SY eess.SY
Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework
London School of Economics and Political Science(伦敦政治经济学院);Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统科学研究所);ByteDance(字节跳动);The Univeristy of North Carolina at Chapell Hill(北卡罗来纳大学教堂山分校);University of Michigan(密歇根大学);North Carolina State University(北卡罗来纳州立大学)
A/B测试或在线实验是制药、技术和传统行业比较新产品和旧产品的标准商业策略。主要挑战出现在双边市场平台的在线实验中(例如,Uber),其中只有一个单元随时间接受一系列治疗。在这些实验中,在给定时间的治疗影响当前结果以及未来结果。本文的目的是引入一个强化学习框架,在这些实验中进行A/B测试,同时表征长期治疗效果。我们提出的测试程序允许顺序监测和在线更新。它通常适用于不同行业的各种处理设计。此外,我们系统地研究了理论性质(例如,我们的测试程序的大小和功率)。最后,我们将我们的框架应用于模拟数据和从一家科技公司获得的真实数据示例,以说明其优于当前实践的优势。我们的测试的Python实现可以在https://github.com/callmespring/CausalRL上获得。
2022-11-03 cs.LG stat.ML
A Validation Tool for Designing Reinforcement Learning Environments
Northeastern University(东北大学);Facebook(脸书)
强化学习(RL)在学术界和科技行业中越来越受到关注,推出了各种有影响力的应用程序和产品。虽然在许多方面正在积极进行研究(例如,离线RL、性能等),许多强化学习的实践者面临着一个很大程度上被忽视的挑战:确定设计的马尔可夫决策过程(MDP)是否有效和有意义。本研究提出一种基于经验的特征分析方法来验证MDP是否是良好的制定。我们认为,适合应用RL的MDP应该包含一组状态特征,这些特征既对动作敏感,又能预测奖励。我们在构建的环境中测试了我们的方法,表明我们的方法可以识别某些无效的环境配方。据我们所知,进行有效性分析的RL问题制定是一个新的方向。我们设想我们的工具将作为一个激励性的例子,帮助从业者更容易地将RL应用于现实世界的问题。
2021-12-10 cs.AI cs.LG
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤,需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求,使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性,并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络,这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息,并推断下一步行动。我们将结果与随机玩家的表现进行比较,发现网络显示出最高的成功率。在大多数情况下,结果与真实用户获得的结果相似,随着时间的推移,网络也成功地学习了区分游戏级别的不同特征,并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory(西莫拉研究实验室)
针对强化学习策略可靠性测试难的问题,提出综合框架并实现开源工具Gimitest,它支持多种gym框架,可修改集成组件,能在不同环境下测试单智能体和多智能体RL策略,展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题,其中目标是昂贵的黑盒函数,使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而,生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中,我们提出MetaRLBO,其中我们通过Meta-强化学习训练自回归生成模型,以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题,找到一个最佳的政策,在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明,这种集成的元学习提供了对奖励错误指定的鲁棒性,并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种将配置分配重构为序列决策问题的强化学习框架,首次结合Q学习与混合奖励设计,并开发自适应在线-离线训练方案,在模拟中优于静态基线,接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
Designing and evaluating an online reinforcement learning agent for physical exercise recommendations in N-of-1 trials
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所);Harvard University(哈佛大学)
本文提出一种基于N-of-1试验设计的在线强化学习智能体,用于体育锻炼推荐以减轻子宫内膜异位症疼痛,仿真表明该个性化干预可行且能改善患者收益。
2023-11-23 cs.LG stat.AP stat.ME
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Guelph(圭尔夫大学)
尽管机器学习(ML)已经成功地自动化了各种软件工程需求,但软件测试仍然是一个极具挑战性的话题。在本文中,我们的目标是通过直接增强随机数生成器(RNG)与深度强化学习(RL)代理使用一个有效的,自动提取的状态表示的测试下的软件,以提高软件的生成测试。使用Cosmos SDK作为测试平台,我们证明了所提出的DeepRNG框架对具有超过350,000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
A Reinforcement Learning-based Volt-VAR Control Dataset and Testing Environment
University of California, Riverside(加州大学河滨分校)
为了促进基于强化学习(RL)的配电系统电压无功控制(VVC)的开发,本文介绍了一套用于基于RL的VVC算法研究的开源数据集,该数据集具有样本高效、安全和鲁棒性。该数据集由两个部分组成:1。一个体操类VVC测试环境的IEEE-13,123和8500总线测试馈线和2。每个馈线的历史操作数据集。数据集和测试环境的潜在用户可以首先在历史数据集上训练样本有效的离线(批处理)RL算法,然后在测试环境中评估训练的RL代理的性能。该数据集可作为一个有用的测试平台,用于进行基于RL的VVC研究,以模拟电力公司面临的现实运营挑战。同时,它允许研究人员在不同算法之间进行公平的性能比较。
2022-04-20 cs.LG cs.SY eess.SY
Search-Based Testing of Reinforcement Learning
Graz University of Technology(格拉茨工业大学);Silicon Austria Labs(奥地利硅实验室);Lamarr Security Research(拉马尔安全研究中心)
深度强化学习(RL)的评估具有内在的挑战性。特别是学习策略的不透明性以及代理和环境的随机性使得测试深度RL代理的行为变得困难。我们提出了一个基于搜索的测试框架,该框架能够实现广泛的新型分析功能,用于评估深度RL代理的安全性和性能。对于安全测试,我们的框架利用搜索算法来搜索解决RL任务的参考轨迹。回溯状态的搜索,称为边界状态,构成安全关键的情况。我们创建安全测试套件,评估如何以及RL代理逃脱安全关键的情况下,这些边界状态附近。为了进行可靠的性能测试,我们通过模糊测试创建了一组不同的跟踪。这些模糊跟踪用于将代理带入各种各样的潜在未知状态,从这些状态将代理的平均性能与模糊跟踪的平均性能进行比较。我们将我们基于搜索的测试方法应用于任天堂超级马里奥兄弟的RL。
2022-05-14 cs.AI cs.LG cs.SE
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo(奥斯陆大学)
渗透测试是一项保安工作,目的是透过模拟对系统的攻击,以评估系统的保安情况。到目前为止,渗透测试主要由受过训练的攻击者进行,成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题,因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中,我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战,我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中,这些捕获的旗帜比赛作为强化学习问题,我们强调,一个具体的挑战,特征渗透测试是发现问题的结构的问题。然后,我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式,我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术,我们证明了可以更好地指导代理并限制其探索问题的空间,从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney(悉尼科技大学);Defence Science and Technology Group(国防科技集团)
渗透测试对计算机系统进行有组织的攻击,以测试现有的防御措施,已被广泛用于评估网络安全。这是一个耗时的过程,需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL,它采用了代数动作分解策略,以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快,更稳定地找到最佳攻击策略,该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
Testing Stationarity and Change Point Detection in Reinforcement Learning
University of Michigan(密歇根大学);London School of Economics and Political Science(伦敦政治经济学院)
针对非平稳环境下离线RL的平稳性假设失效问题,提出基于历史数据检验最优Q函数非平稳性的一致方法及序贯变点检测框架,并通过理论、模拟和真实健康数据验证。
2025-01-03 cs.LG stat.ML
Designing a Robust Low-Level Agnostic Controller for a Quadrotor with Actor-Critic Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
目的:使用四旋翼的实际应用引入了许多干扰和时变特性,这对飞行控制器构成了挑战。我们观察到,当一个四旋翼的任务是拿起和放下一个有效载荷,传统的PID和RL为基础的控制器在文献中发现的斗争,以保持飞行后,车辆改变其动力学由于与此外部对象的相互作用。研究方法:在这项工作中,我们介绍了域随机化在训练阶段的低级别的路点制导控制器的基础上软演员批评。由此产生的控制器上建议的有效载荷拾取和下降任务与增加的干扰,模拟现实生活中的车辆操作进行评估。结果与结论:我们表明,通过在训练过程中引入一定程度的不确定性,在四旋翼动力学,我们可以获得一个控制器,能够使用较大的四旋翼参数的变化来执行所提出的任务。此外,基于RL的控制器在此任务中优于具有优化增益的传统位置PID控制器,同时保持对不同仿真参数的不可知性。
2022-10-06 cs.LG cs.RO
Hawkeye: Change-targeted Testing for Android Apps based on Deep Reinforcement Learning
ByteDance(字节跳动);University of Edinburgh(爱丁堡大学)
针对Android应用更新测试效率低的问题,提出基于深度强化学习的Hawkeye定向测试方法,优先执行与代码变更相关的GUI操作,实验证明其优于现有工具并适用于商业应用冒烟测试。
2023-09-04 cs.LG cs.SE
Benchmarking Lane-changing Decision-making for Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,自动驾驶的发展引起了广泛的关注,对自动驾驶的性能进行评估至关重要。然而,在道路上测试是昂贵和低效的。虚拟测试是验证自动驾驶汽车的主要方式,而虚拟测试的基础是构建仿真场景。在本文中,我们从深度强化学习的角度提出了一种用于变道任务的训练、测试和评估管道。首先,我们设计车道变化的情况下进行训练和测试,其中测试场景包括随机和确定性的部分。然后,我们部署了一组基准测试,包括学习和非学习方法。我们在设计的训练场景中训练了几种最先进的深度强化学习方法,并在测试场景中提供了训练模型的基准度量评估结果。所设计的换道场景和基准都是开放的,为换道任务提供了一致的实验环境。
2021-09-22 cs.AI cs.LG
Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View
State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);ByteDance(字节跳动)
本文从路径空间视角统一了扩散模型RL算法的原理,推导得到降方差值梯度形式,提出多样本KDE估计器和尺度受限权重族,在SD3.5-M等模型上验证了方法有效性并优于基线。
2026-11-06 cs.CV cs.LG stat.ML
Designing Deep Reinforcement Learning for Human Parameter Exploration
STMS Lab, IRCAM–CNRS–Sorbonne Université(STMS实验室,声学/音乐研究与协调研究所–法国国家科学研究中心–索邦大学);CNRS–LRI, Université Paris-Sud(法国国家科学研究中心–计算机科学基础实验室,巴黎南大学)
用于生成数字声音的软件工具通常向用户呈现高维、参数化的界面,这可能不利于探索不同的声音设计。在本文中,我们建议研究人工智能体,使用深度强化学习与用户合作探索参数空间进行声音设计。我们描述了一系列以用户为中心的研究,以探讨这些代理的创造性的好处,并适应他们的设计探索。初步研究观察用户的探索策略与参数化接口和测试不同的代理探索行为导致了一个功能齐全的原型,称为Co-Explorer的设计,我们在一个研讨会上与专业的声音设计师进行了评估。我们发现,共同探索者使一个新的创意工作流程集中在人机合作伙伴关系,这已被从业者积极接受。我们还强调了在与我们的系统合作的过程中各种用户探索行为。最后,我们框架的设计准则,使这种共同探索的工作流程在创造性的数字应用程序。
2021-01-28 cs.HC cs.LG cs.SD
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology(代尔夫特理工大学)
针对深度强化学习智能体测试中失败场景缺乏多样性的问题,提出多目标进化搜索方法INDAGO-Nexus,联合优化失败概率与场景多样性,在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia(弗吉尼亚大学)
自动驾驶汽车(AV)安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理(封闭试验场)或虚拟(模拟预定义场景)环境中控制,也可以在现实世界中的操作过程中自发出现(开放道路测试或模拟随机生成的场景)。在自动驾驶测试中,仿真主要有两个目的:帮助开发强大的自动驾驶汽车,并在发布前测试和验证自动驾驶汽车。由于涉及大量变量(其中大多数是连续的),从上述每个来源可以构建大量的情景变化,这带来了挑战。即使连续变量离散化,可能的组合数量也变得实际上不可行。为了克服这一挑战,我们建议使用强化学习(RL)来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果,但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中,如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Robustness Testing for Multi-Agent Reinforcement Learning: State Perturbations on Critical Agents
Tongji University(同济大学)
针对多智能体强化学习易受状态对抗扰动的问题,提出首个可动态选择受攻击智能体的鲁棒性测试框架RTCA,通过差分进化选关键智能体并生成扰动,在破坏协作策略等方面表现优异。
2023-06-09 cs.AI cs.CR cs.LG
Using Cyber Terrain in Reinforcement Learning for Penetration Testing
Deloitte Consulting LLC(德勤咨询有限责任公司);National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所);Deloitte & Touche LLP(德勤会计师事务所)
强化学习(RL)已被应用于渗透测试的攻击图,然而,训练有素的代理人不反映现实,因为攻击图缺乏操作的细微差别,通常在战场的情报准备(IPB),包括(网络)地形的概念。特别是,目前的做法是专门使用通用漏洞评分系统(CVSS)及其组件构建攻击图。我们提出了使用IPB的概念构建攻击图的方法,网络地形分析的障碍,途径的方法,关键地形,观察和火灾领域,覆盖和隐藏。我们展示了我们的方法的例子中,防火墙被视为障碍,并表示在(1)奖励空间和(2)状态动态。我们表明,地形分析可以用来带来现实主义的攻击图RL。
2022-08-04 cs.CR cs.LG cs.NI
Designing Adaptive Algorithms Based on Reinforcement Learning for Dynamic Optimization of Sliding Window Size in Multi-Dimensional Data Streams
Department of Computer Engineering, Ferdowsi University of Mashhad(法尔多西大学马什哈德分校计算机工程系);Department of Computer Engineering, University of Tehran(德黑兰大学计算机工程系)
本文提出基于强化学习的RL-Window方法,通过决斗DQN动态优化多维数据流滑动窗口大小,在多个基准数据集上优于现有方法,提升分类准确率、漂移鲁棒性和计算效率。
2025-07-09 cs.LG
Designing Composites with Target Effective Young's Modulus using Reinforcement Learning
Boston University(波士顿大学);Massachusetts Institute of Technology(麻省理工学院)
增材制造的进步已经实现了以前无法实现的材料和结构的设计和制造。特别是,复合材料和结构的设计空间已经大大扩展,并且由此产生的尺寸和复杂性挑战了传统的设计方法,例如蛮力探索和一次一个因素(OFAT)探索,以找到最佳或定制的设计。为了应对这一挑战,监督机器学习方法已经出现,使用策划的训练数据对设计空间进行建模;然而,训练数据的选择通常由用户决定。在这项工作中,我们开发并利用了一个基于强化学习(RL)的框架来设计复合材料结构,从而避免了对用户选择的训练数据的需求。对于一个5 $\times$ 5复合材料的设计空间组成的软和顺应性块的组成材料,我们发现,使用这种方法,该模型可以使用2.78%的总设计空间组成的$2^{25}$设计的可能性进行训练。此外,开发的基于RL的框架能够以超过90%的成功率找到设计。这种方法的成功激励未来的学习框架利用RL来设计复合材料和其他材料系统。
2021-10-07 cond-mat.mtrl-sci cs.GR cs.LG
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal(蒙特利尔工程学院)
测试深度学习(DL)系统是一项复杂的任务,因为它们的行为与传统系统不同,特别是因为它们的随机性。尽管如此,能够使现有的测试技术(如突变测试(MT))适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式,但很少有工作将其扩展到强化学习(RL),RL也是DL生态系统的重要组成部分,但其行为与SL非常不同。本文建立在现有的MT方法,以提出一个框架,RLMutation,MT应用于RL。值得注意的是,我们使用现有的故障分类法来构建一组与RL相关的变异算子,并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义,以及分析所获得的突变算子及其称为高阶突变(HOM)的潜在组合的行为。我们发现,突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外,我们发现,即使有一个相对较少的测试用例和运营商,我们管理生成HOM有趣的属性,可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
Requirement-Based Testing: Enhancing Reinforcement Learning with Game Theory
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Mitsubishi Electrics R&D Centre Europe(三菱电机欧洲研发中心);Mitsubishi Electric Corporation(三菱电机株式会社)
针对反应式实现的黑盒测试用例在线合成问题,提出基于蒙特卡洛树搜索并结合博弈论启发式的方法,加速算法收敛并提升测试性能。
2026-10-08 cs.AI cs.GT cs.LG
Test Where Decisions Matter: Importance-driven Testing for Deep Reinforcement Learning
Graz University of Technology(格拉茨工业大学);King’s College London(伦敦国王学院)
提出一种基于模型的状态重要性排名方法,通过计算乐观和悲观安全估计,集中测试深度强化学习策略中最关键的状态,以最优测试用例选择和形式化安全保证发现不安全行为。
2024-11-12 cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)(美国艺电(EA))
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题,介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践,总结了落地中的耗时难点并提出相关研究方向,助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的强化学习(RL)方法在诸如Atari游戏等复杂领域中表现出强大的性能,但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造,这涉及到仔细设计奖励函数,为智能体向目标的进展提供中间奖励。然而,设计适当的成形奖励是已知的困难以及耗时。在这项工作中,我们解决这个问题,使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络(LEARN)。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验,这是RL中的一个流行基准。我们对15个不同任务的实验表明,对于与环境的相同数量的交互,与没有语言的学习相比,基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
University of Luxembourg(卢森堡大学);University of Sheffield(谢菲尔德大学);University of Ottawa(渥太华大学)
深度神经网络(DNN)已被广泛用于在诸如自动驾驶系统(ADS)的网络物理系统中执行现实世界的任务。确保这种DNN启用系统(DES)的正确行为是一个至关重要的话题。在线测试是一种很有前途的模式,用于在考虑到系统与其环境之间的连续交互的闭环中测试具有其应用环境(模拟或真实)的此类系统。然而,环境变量(例如,照明条件)在系统在真实世界中的操作期间可能改变,导致DES违反要求(安全性、功能性),由于两个主要挑战,在在线测试场景的执行期间经常保持恒定:(1)如果它们改变,则要探索的所有可能场景的空间将变得甚至更大,以及(2)通常存在要同时测试的许多要求。在本文中,我们提出了MORLOT(多目标强化学习在线测试),一种新的在线测试方法,以解决这些挑战相结合的强化学习(RL)和多目标搜索。MORLOT利用RL来逐步生成环境变化的序列,同时依靠多目标搜索来确定变化,以便它们更有可能实现任何未覆盖的目标。我们使用CARLA对MORLOT进行了经验评估,CARLA是一种广泛用于自动驾驶研究的高保真模拟器,与Transfuser集成,Transfuser是一种支持DNN的端到端驾驶ADS。评价结果表明,MORLOT是显着更有效和效率比替代品具有较大的效果大小。换句话说,MORLOT是一个很好的选择,可以在动态变化的环境中测试DES,同时考虑多种安全要求。
2022-12-22 cs.LG cs.SE
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute(海康威视研究院)
在强化学习(RL)中,设计最优的奖励函数一直是人们所期望的,但却极其困难。当涉及到现代复杂任务时,复杂的奖励函数被广泛用于简化策略学习,但由于训练成本急剧增加,即使是对它们进行微小的调整也是昂贵的。为此,我们提出了一种后见之明的奖励调整方法,通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式,除了随机奖励配置,获得一个超政策,其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性,并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua-Berkeley Shenzhen Institute (TBSI)(清华-伯克利深圳学院);Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies(江苏省现代城市交通技术协同创新中心)
针对CAV安全测试中先验代理模型失配及高维场景适应性不足的问题,提出融合多代理模型、二次规划与密集强化学习的自适应测试环境生成方法,提升高维超车场景评估效率。
2024-02-29 cs.LG cs.SY eess.SY
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab(之江实验室);National Research Centre of Parallel Computer Engineering and Technology(国家并行计算机工程技术研究中心)
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习(RL)被认为是一种很有前途的解决方案,可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而,在现实中,需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此,攻击代理在渗透网络时必须考虑多个目标。然而,这一挑战在现有文献中没有得到充分解决。为此,我们制定了多目标强化学习(MORL)框架中的自动渗透测试,并提出了一个切比雪夫分解评论家找到不同的对手的策略,平衡不同的目标在渗透测试。此外,可用动作的数量随着代理不断探测目标网络而增加,这使得训练过程在许多实际情况下变得棘手。因此,我们引入了一种基于覆盖的掩蔽机制,减少了对先前选择的动作的关注,以帮助代理适应未来的探索。一系列场景的实验评估表明,我们所提出的方法相比,适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
PaccMann$^{RL}$: Designing anticancer drugs from transcriptomic data via reinforcement learning
IBM Research Zurich(IBM苏黎世研究中心);ETH Zurich(苏黎世联邦理工学院)
随着计算化学中深度生成模型的出现,计算机抗癌药物设计经历了前所未有的转变。虽然最先进的深度学习方法在生成具有所需化学性质的化合物方面表现出了潜力,但它们忽略了目标疾病的遗传特征和性质。在这里,我们介绍了第一个生成模型,能够定制抗癌化合物的特定生物分子配置文件。使用RL框架,癌细胞的转录组学谱被用作候选分子生成的背景。我们的分子生成器结合了两个单独的预训练变分自编码器(VAE)-第一个VAE将转录组图谱编码到一个平滑的潜在空间中,该空间又用于调节第二个VAE,以在给定的转录组图谱上生成新的分子结构。通过PaccMann优化生成过程,PaccMann是先前开发的药物敏感性预测模型,以获得给定背景下的有效抗癌化合物(即,转录组谱)。我们展示了分子生成如何偏向于对单个细胞系或特定癌症部位具有高预测抑制作用的化合物。我们通过研究针对特定癌症类型产生的候选药物来验证我们的方法,并找到与已知对这些癌症类型有效的现有化合物的最高结构相似性。我们设想通过利用疾病的生物分子特征来改变计算机抗癌药物设计的方法,以提高先导化合物发现的成功率。
2020-04-16 cs.LG q-bio.BM stat.ML
Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing
U.S. Naval Research Laboratory Naval Center for Space Technology(美国海军研究实验室海军空间技术中心)
APIARY实验利用强化学习控制空间自由飞行器,通过NASA Astrobee机器人在国际空间站进行首次空间强化学习控制测试,验证了强化学习在提升机器人自主性方面的潜力。
2025-12-03 cs.LG cs.RO cs.SY
A Comparison of Reinforcement Learning Frameworks for Software Testing Tasks
Polytechnique Montréal(蒙特利尔综合理工学院)
本文实证评估了多种深度强化学习框架在测试用例优先级排序和游戏测试任务中的有效性与性能,发现Tensorforce等框架优于现有方法,且不同框架算法间存在显著性能差异。
2023-06-29 cs.LG cs.SE
Constrained Reinforcement Learning Has Zero Duality Gap
University of Pennsylvania(宾夕法尼亚大学)
自主智能体必须经常处理相互冲突的要求,例如使用最少的时间/能量完成任务,学习多个任务,或处理多个对手。在强化学习~(RL)的上下文中,这些问题通过(i)~设计同时描述所有需求的奖励函数或(ii)~组合单独编码它们的模块化价值函数来解决。虽然有效,但这些方法有严重的缺点。设计平衡不同目标的良好奖励函数是具有挑战性的,特别是随着目标数量的增加。此外,目标之间的隐性干扰可能会导致绩效平台,因为它们争夺资源,特别是在政策培训时。类似地,选择组合价值函数的参数至少和设计一个包罗万象的奖励一样困难,因为它们的值对整体策略的影响并不直接。后者通常通过将冲突的需求制定为约束RL问题并使用原始-对偶方法来解决。这些算法通常不能保证收敛到最优解,因为问题不是凸的。这项工作为这些方法提供了理论支持,建立了尽管它的非凸性,这个问题有零对偶间隙,即,它可以在对偶域中精确求解,在对偶域中它变成凸的。最后,我们证明了这个结果基本上成立,如果该政策是由一个良好的参数化描述~(例如,神经网络),我们连接这个结果与原始对偶算法在文献中,我们建立的收敛到最优解。
2019-10-29 cs.LG math.OC stat.ML
Deep Reinforcement Learning for Adverse Garage Scenario Generation
本文提出基于深度强化学习的自动化程序生成框架,自动生成2D地面脚本并构建3D场景,用于Carla仿真器中的导航算法测试,以解决手动搭建场景耗时费力的问题。
2024-07-01 cs.AI cs.LG cs.RO
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Towards Comprehensive Testing on the Robustness of Cooperative Multi-agent Reinforcement Learning
Beihang University(北京航空航天大学);Yangzhou Collaborative Innovation Research Institute CO., LTD(扬州协同创新研究院有限公司);No. 38 Research Institute of CETC(中国电子科技集团公司第三十八研究所)
虽然深度神经网络(DNN)增强了合作多智能体强化学习(c-MARL)的性能,但代理策略很容易受到对抗性示例的干扰。考虑到c-MARL的安全关键应用,如交通管理,电源管理和无人机控制,这是至关重要的,测试c-MARL算法的鲁棒性之前,它在现实中部署。针对MARL的现有对抗攻击可以用于测试,但是限于一个鲁棒性方面(例如,奖励、状态、动作),而c-MARL模型可以从任何方面进行攻击。为了克服这一挑战,我们提出了MARLSafe,第一个鲁棒性测试框架的c-MARL算法。首先,MARLSafe以马尔可夫决策过程(MDP)为理论基础,从状态鲁棒性、动作鲁棒性和回报鲁棒性三个方面综合考虑了c-MARL算法的鲁棒性。任何c-MARL算法必须同时满足这些鲁棒性方面才能被认为是安全的。其次,针对c-MARL攻击的稀缺性,从多个方面提出了c-MARL攻击作为鲁棒性测试算法。在\textit{SMAC}环境下的实验表明,目前许多c-MARL算法在各个方面的鲁棒性都不高,因此迫切需要测试和提高c-MARL算法的鲁棒性。
2022-04-17 cs.AI cs.LG cs.MA
FuzzingRL: Reinforcement Fuzz-Testing for Revealing VLM Failures
University of Southern California(南加州大学);Toyota Research Institute(丰田研究机构)
FuzzingRL通过强化模糊测试生成挑战性问题,揭示视觉语言模型的故障点并降低其准确性。
2026-02-17 cs.AI cs.LG
Unsupervised Meta-Testing with Conditional Neural Processes for Hybrid Meta-Reinforcement Learning
Department of Computer Engineering, Bogazici University(计算机工程系,博兹达奇大学)
本文提出UMCNP方法,将策略梯度元强化学习与基于条件神经过程的任务推断相结合,在元测试无奖励信号时通过离线重用训练样本和单条轨迹推断动力学模型,显著减少适应新任务所需样本。
2025-06-04 cs.AI cs.LG cs.RO
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
Macau University of Science and Technology(澳门科技大学)
针对多智能体强化学习系统公平性测试缺失的问题,提出基于搜索的FairTest方法,结合三适应度引导与优先级排序,在三个环境上检测到最多公平性故障,故障数平均超最强基线221%。
2026-09-24 cs.LG cs.SE
Reinforcement Learning for Online Testing of Autonomous Driving Systems: a Replication and Extension Study
Università di Napoli Federico II(那不勒斯费德里科二世大学);Università della Svizzera Italiana(瑞士意大利语区大学)
本研究复现并扩展了RL在自动驾驶系统在线测试中的实证研究,发现排除混淆因素后RL未优于随机测试,通过改进奖励组件和采用适配连续状态空间的RL算法,新智能体最终收敛至优于随机测试的有效策略。
2024-03-20 cs.AI cs.LG cs.RO
MiniHack the Planet: A Sandbox for Open-Ended Reinforcement Learning Research
Facebook AI Research(Facebook人工智能研究院);University College London(伦敦大学学院);University of Oxford(牛津大学)
深度强化学习(RL)的进展在很大程度上是由用于训练代理的具有挑战性的基准的可用性驱动的。然而,社区广泛采用的基准并没有明确设计用于评估RL方法的特定功能。虽然存在用于评估RL中特定开放问题的环境(例如探索,迁移学习,无监督环境设计,甚至语言辅助RL),但一旦研究超出概念验证结果,通常很难将其扩展到更丰富,更复杂的环境。我们提出了MiniHack,一个强大的沙箱框架,可以轻松地设计新颖的RL环境。MiniHack是RL实验的一站式商店,环境从小房间到复杂的程序生成的世界。通过利用NetHack(最丰富的基于网格的视频游戏之一)的全套实体和环境动态,MiniHack允许设计快速方便使用的自定义RL测试床。有了这个沙箱框架,可以很容易地设计新的环境,无论是使用人类可读的描述语言还是简单的Python界面。除了各种RL任务和基线之外,MiniHack还可以包装现有的RL基准,并提供无缝添加额外复杂性的方法。
2021-11-16 cs.LG stat.ML
Autonomous Penetration Testing using Reinforcement Learning
University of Queensland(昆士兰大学)
渗透测试涉及对计算机系统进行受控攻击,以评估其安全性。虽然渗透测试是一种有效的安全测试方法,但它需要高度熟练的从业人员,目前熟练的网络安全专业人员越来越短缺。缓解此问题的一个途径是使用人工智能技术自动化渗透测试过程。目前的自动渗透测试方法依赖于基于模型的规划,但是网络安全环境正在迅速变化,这使得维护最新的漏洞模型成为一项挑战。本计画探讨无模型强化学习在自动渗透测试中的应用。与基于模型的规划相比,无模型强化学习具有关键优势,即不需要环境模型,而是通过与环境的交互来学习最佳策略。我们首先设计并构建了一个快速,低计算模拟器,用于训练和测试自主渗透代理。我们通过将渗透测试作为马尔可夫决策过程来实现这一点,其中已知的网络配置作为状态,可用的扫描和利用作为动作,奖励由网络上机器的价值决定。然后,我们使用这个模拟器来研究无模型强化学习在渗透测试中的应用。我们测试了标准的Q-学习算法使用表格和神经网络的实现。我们发现,在模拟环境中,表格和神经网络实现都能够找到一系列不同网络拓扑和大小的最佳攻击路径,而无需动作行为模型。然而,所实现的算法仅适用于较小的网络和动作数量。需要进一步的工作来开发可扩展的RL算法,并在更大和更高保真的环境中测试这些算法。
2019-05-15 cs.AI cs.CR cs.LG
Comparison of Reinforcement Learning algorithms applied to the Cart Pole problem
PES University(PES大学);PESIT(PES理工学院)
设计最优控制器仍然是具有挑战性的系统变得复杂,本质上是非线性的。强化学习(RL)的主要优点是它能够从与环境的交互中学习并提供最优控制策略。在本文中,RL的背景下,控制的基准cartpole动力系统的动力学没有先验知识进行了探讨。RL算法,如时间差,策略梯度演员评论家,和价值函数近似在这种情况下进行比较与标准的LQR解决方案。此外,我们提出了一种新的方法来整合RL和摆动控制器。
2018-10-03 cs.LG stat.ML
Knowledge-Informed Auto-Penetration Testing Based on Reinforcement Learning with Reward Machine
Concordia University(康考迪亚大学)
提出DRLRM-PT框架,利用奖励机器编码MITRE ATT&CK领域知识,结合深度Q学习优化横向移动渗透测试策略,提升训练效率与性能。
2024-05-24 cs.AI cs.CR cs.LG
Evaluating Fuzz Testing for Reinforcement Learning Agents
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
研究针对强化学习智能体模糊测试评估差异问题,通过在三种环境下统一配置对五种方法及随机测试进行基准测试,从多角度评估,揭示不同方法特点,表明模糊测试能提升智能体鲁棒性等,还给出可操作指导。
2026-07-28 cs.LG cs.SE
DreamTest: World-Model Surrogates for Search-Based Testing of Deep Reinforcement Learning Agents
Lero Research Centre(莱罗研究中心);University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
提出DreamTest世界模型代理,通过想象回合预测DRL智能体失败,指导搜索测试,在多个基准上显著提升失败预测精度和多样性。
2026-10-06 cs.LG cs.SE