Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models
Imperial College London, Department of Computing(伦敦帝国学院计算机系)
本文提出一种基于高斯过程的恢复防护机制,用于在未知非线性系统中实现安全强化学习,通过动态恢复和内部模型采样实现安全与高效的学习。
2026-11-02 cs.AI cs.LG
Adaptive Shielding for Safe Reinforcement Learning under Hidden-Parameter Dynamics Shifts
The University of Virginia(弗吉尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出自适应屏蔽框架,通过在线推断动态并结合安全正则化与不确定性感知界限,实现安全强化学习在隐藏参数偏移下的有效性和可靠性。
2026-01-30 cs.AI cs.LG
Robust Shielding for Safe Reinforcement Learning
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Faculty of Computer Science & DSME, RWTH Aachen University(亚琛工业大学计算机科学与DSME学院);Department of Computer Science, University of Oxford(牛津大学计算机科学系);Department of Computing, Imperial College London(伦敦帝国理工学院计算系)
提出一种针对鲁棒MDP的屏蔽框架,通过线性时序逻辑公式在最坏情况下的概率阈值保证安全性,并证明其可靠性与最优性。
2026-05-29 cs.AI cs.LG cs.LO
ProSh: Probabilistic Shielding for Model-free Reinforcement Learning
Imperial College(帝国学院)
本文提出无模型安全强化学习算法 ProSh,通过风险预算、成本评价器和策略分布概率防护,在成本约束下提供训练期安全保证并保持确定性环境中的最优性。
2025-10-21 cs.AI cs.LG
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands;Ruhr University\,\&\,Radboud University Bochum Germany;Radboud University;Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法,结合安全策略改进与防护机制,在离线强化学习中确保策略性能与安全,实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA(宾夕法尼亚大学GRASP实验室);Department of Computer and Information Science, University of Pennsylvania, USA(宾夕法尼亚大学计算机与信息科学系(注:根据机构粒度要求,这里提取到大学级别,即“宾夕法尼亚大学”,但原文明确写了具体部门,所以保留原文部门名+大学的组合))
本文提出了一个安全的强化学习框架,可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的,并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性,例如,在一个模拟的环境中。我们基于模型预测屏蔽(MPS)的思想,其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道,利用统计学习理论的思想来获得高概率的保证。我们的经验表明,我们的方法可以确保安全的随机系统,包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Compositional Shielding and Reinforcement Learning for Multi-Agent Systems
Aalborg University(奥胡斯大学)
针对多智能体强化学习策略安全性难保障、防护器计算扩展性差的问题,提出基于假设-保证推理的组合式防护方法,将全局安全规范分解为局部约束,在提升策略质量的同时大幅缩短计算时间、加快收敛速度。
2025-06-14 cs.AI cs.LG cs.LO
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出动态模型预测屏蔽(DMPS),通过局部规划器与神经策略协同优化恢复动作,在保证可证明安全的同时减少保守性,收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
安全强化学习(Safe RL)旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽,它使用逻辑安全规范来防止RL代理采取不安全的操作。然而,传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此,我们引入概率逻辑策略梯度(PLPG)。PLPG是一种基于模型的安全RL技术,它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此,PLPG可以无缝地应用于任何策略梯度算法,同时仍然提供相同的收敛保证。在我们的实验中,我们表明,PLPG学习更安全,更有益的政策相比,其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
Aalborg University(奥尔堡大学);Radboud University(拉德堡德大学);Ruhr University Bochum(波鸿鲁尔大学)
本文针对已知MDP转移图但转移概率未知的场景,提出将概率屏蔽与在线模型学习结合的自适应方法,通过实验验证其在安全强化学习中的有效性。
2026-08-21 cs.AI cs.LG cs.LO
Online Shielding for Reinforcement Learning
Graz University of Technology(格拉茨技术大学);Lamarr Security Research(拉马尔安全研究院);Silicon Austria Labs(奥地利硅实验室)
除了最近在强化学习(RL)上取得的令人印象深刻的成果外,安全性仍然是RL的主要研究挑战之一。RL是一种机器学习方法,用于确定马尔可夫决策过程(MDP)中的近似最优策略。在本文中,我们考虑的MDP的安全相关的片段,连同一个时间逻辑安全规范的设置,可以避免许多安全违规提前规划到未来很短的时间。我们提出了一种在线安全屏蔽RL代理的方法。在运行时,屏蔽会分析每个可用操作的安全性。对于任何操作,当执行此操作时,屏蔽计算在接下来的$k$步骤中不违反安全规范的最大概率。根据这个概率和给定的阈值,屏蔽决定是否阻止代理的动作。现有的离线屏蔽方法预先详尽地计算所有状态-动作组合的安全性,导致巨大的计算时间和大量的存储器消耗。在线屏蔽背后的直觉是在运行时计算在不久的将来可能达到的所有状态的集合。对于这些状态中的每一个,分析所有可用动作的安全性,并且一旦达到所考虑的状态之一就用于屏蔽。我们的方法非常适合高层次的规划问题,决策之间的时间可以用于安全计算,它是可持续的代理等待,直到这些计算完成。对于我们的评估,我们选择了经典计算机游戏SNAKE的2人版本。游戏代表了一个高层次的规划问题,需要快速决策和多人设置诱导一个大的状态空间,这是计算昂贵的详尽分析。
2022-12-04 cs.LG cs.LO
Verification-Guided Shielding for Deep Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);IMDEA Software Institute(IMDEA软件研究所);Universidad Politécnica de Madrid(马德里理工大学)
针对深度强化学习策略可靠性不足的问题,提出验证引导屏蔽方法,结合形式化与概率验证划分输入域、压缩不安全区域,仅在潜在不安全区激活屏蔽器,在保留安全保证的同时降低运行时开销,经机器人导航基准验证有效。
2024-06-20 cs.LG
Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于模型的动态屏蔽(MBDS)方法,通过可动态分裂、合并和重算的分布式屏蔽为多智能体强化学习提供形式化安全保证,并在无需先验动力学模型的情况下以高概率确保安全性,同时提升学习性能。
2023-04-13 cs.AI cs.LG cs.MA
Safe Reinforcement Learning via Shielding
University of Texas at Austin(德克萨斯大学奥斯汀分校);IAIK, Graz University of Technology(格拉茨技术大学 IAIK);University of Bremen(不来梅大学);DFKI GmbH(德国人工智能研究中心)
强化学习算法发现最大化奖励的策略,但不一定保证学习或执行阶段的安全性。我们引入了一种新的方法来学习最优策略,同时执行时态逻辑中表达的属性。为此,给定的时间逻辑规范,这是由学习系统遵守,我们建议合成一个反应系统称为盾牌。在传统的学习过程中,根据实施屏蔽的位置,以两种替代方式引入屏蔽。在第一种情况下,每当学习代理即将做出决定时,屏蔽就会起作用,并提供一个安全操作列表。在第二种方式中,在学习代理之后引入屏蔽。屏蔽器监控学习者的行为,只有当所选的行为导致违反规范时才纠正它们。我们讨论了屏蔽必须满足的要求,以保持收敛保证的学习者。最后,我们展示了我们的方法在几个具有挑战性的强化学习场景的多功能性。
2017-09-03 cs.AI cs.LG cs.LO
Learning-Based Shielding for Safe Autonomy under Unknown Dynamics
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对未知连续状态DRL系统安全屏蔽问题,提出基于深度核学习与IMDP抽象的数据驱动屏蔽方法,通过计算最大宽容安全策略集确保系统避免不安全状态,理论证明与高维航天器实验验证了其可靠性与计算复杂度。
2024-10-07 cs.LG cs.SY eess.SY
Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学)
提出一种潜在Q-屏障屏蔽方法,通过学习上下文表示、潜在动力学和集成成本评论家,在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作,从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。
2026-11-18 cs.AI cs.LG
Probabilistic Shielding for Safe Reinforcement Learning
Imperial College London(伦敦帝国学院)
本文提出一种基于状态增强和动作屏蔽的可扩展概率屏蔽方法,在MDP安全动态已知且安全性为未折扣概率回避属性时,为安全强化学习提供严格形式化保证,并经实验验证可行性。
2025-03-25 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with Runtime Safety Shielding for Power Grid Operation
Department of Electrical Engineering(电气工程系);Delhi Technological University (DTU), India(德里技术大学(DTU),印度)
本文提出一种安全约束的分层控制框架,通过分离长周期决策与实时可行性执行,提升电网运行的安全性和泛化能力。
2026-04-15 cs.AI cs.LG
Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(前沿人工智能研究中心,A*STAR);Northwestern University(西北大学)
本文提出TokenBuncher,通过限制模型响应熵来防御基于强化学习的有害微调,实验显示其能有效抑制有害行为同时保持正常任务性能。
2026-08-05 cs.CL cs.LG
Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学)
提出一种去中心化屏蔽方法,通过合约机制协调智能体局部LTL安全义务,在无集中运行时控制下保证全局安全并优化团队奖励。
2026-07-13 cs.LG cs.MA
Explainably Safe Reinforcement Learning
Masaryk University(马萨里克大学);Graz University of Technology(格拉茨技术大学);Technical University of Munich(慕尼黑技术大学)
提出一种基于分层决策树的可解释安全强化学习方法,通过世界模型分析状态风险并构建屏蔽策略,生成可理解的解释,同时保持安全保证。
2026-06-03 cs.LG
Leveraging Approximate Model-based Shielding for Probabilistic Safety Guarantees in Continuous Environments
Imperial College London(帝国理工学院)
针对经典防护方法假设过严、难以应用于连续环境的问题,本文将AMBS框架扩展至连续场景,以Safety Gym为测试平台,提供概率安全保证,并提出两种改进策略梯度的惩罚技术以实现更稳定的收敛。
2024-02-01 cs.AI cs.LG
Sim-to-Lab-to-Real: Safe Reinforcement Learning with Shielding and Generalization Guarantees
Princeton University(普林斯顿大学)
本文提出Sim-to-Lab-to-Real安全强化学习框架,通过双策略设置、监督控制屏蔽不安全动作及PAC-Bayes框架提供安全性与性能下界,实现策略在未见环境中的安全泛化。
2023-04-01 cs.LG cs.RO
Enhancing Safety for Autonomous Agents in Partly Concealed Urban Traffic Environments Through Representation-Based Shielding
TU Dortmund University(多特蒙德工业大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究院)
本文提出一种基于可感知信息的强化学习状态表征方法,用于解决部分遮挡城市交叉口的安全导航问题,在安全性和能耗上显著优于基线,同时保持竞争力速度。
2024-07-05 cs.LG cs.RO
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系)
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中,使用糖尿病管理作为测试平台,发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
Oracle-Guided Soft Shielding for Safe Move Prediction in Chess
OGSS通过学习概率安全模型,在国际象棋中实现安全探索,减少战术失误并提升探索效率。
2026-03-09 cs.AI cs.LG
Black-Box Combinatorial Optimization with Order-Invariant Reinforcement Learning
本文提出一种顺序不变的强化学习框架,用于高效解决黑箱组合优化问题,通过信息保留的dropout机制提升搜索多样性与采样效率。
2026-11-03 cs.LG
Bounding-Box Inference for Error-Aware Model-Based Reinforcement Learning
Harvey Mudd College(哈维穆德学院);Tufts University(塔夫茨大学)
针对基于模型的强化学习中模型不准确会干扰策略学习的问题,提出边界框推理方法,通过对分布不敏感的不确定性估计实现选择性规划,提升策略学习的可靠性。
2024-06-23 cs.AI cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Hierarchical Support Vector State Partitioning for Distilling Black Box Reinforcement Learning Policies
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出SVSP方法,通过线性支持向量机划分状态动作对数据集,构建紧凑结构化表示,提升平均回报7.4%并减少子策略数量,推动更灵活的蒸馏方法。
2026-06-09 cs.HC cs.LG
Demonstration-Guided Observation Attacks on Black-Box Safe Reinforcement Learning Controllers for Robotic Systems
University of Notre Dame(诺丁汉大学);Washington State University Tri-Cities(华盛顿州立大学三城分校)
本文提出了一种对抗攻击框架,用于揭示安全强化学习策略的漏洞,通过学习约束模型和替代策略,无需内部梯度或真实安全约束,验证了其在有限访问下的有效性。
2026-10-05 cs.LG
Reinforcement Learning Inspired Black-box Adversarial Attacks for Computer Vision
German Aerospace Center (DLR)(德国航空航天中心)
针对黑盒场景下神经网络易受扰动攻击的问题,提出基于强化学习的RIBA方法,通过少量查询生成对抗样本,在Cifar10和ImageNet上显著减少查询次数,并匹配白盒攻击性能。
2026-09-22 cs.CR cs.CV cs.LG
Online Poisoning Attack Against Reinforcement Learning under Black-box Environments
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);School of Science and Engineering, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院)
针对黑盒强化学习中环境动态未知的场景,提出可同时投毒奖励与状态转移的在线攻击算法,通过样本估计梯度、惩罚与双层优化求解,并在迷宫环境中验证有效。
2024-12-01 cs.CR cs.LG
Control of nonlinear, complex and black-boxed greenhouse system with reinforcement learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kyungbuk National University(庆北国立大学)
现代控制理论如系统工程方法试图通过揭示组件之间的因果关系或相关关系来解决非线性系统问题;大多数这些方法都专注于对复杂建模的白盒系统的控制。我们提出了一个应用行动者-批评者强化学习方法来控制一个非线性的,复杂的黑箱系统。我们在人工温室环境模拟器上演示了这种方法,所有的控制输入都有一些副作用,所以人类无法很容易地找出如何控制这个系统。我们的方法成功地维持了至少比PID和深度Q学习长20倍的环境。
2019-07-30 cs.AI cs.LG cs.SY
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California(南加州大学)
我们提出了一个黑盒减少,把一个特定的强化学习算法与最佳遗憾(近)静态环境中的另一个算法与最佳动态遗憾在非静态环境中,重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中,我们提供了一个例子列表,表明我们的方法不仅可以恢复通过非常专业的算法实现的(上下文)多武装匪徒的最新结果,而且还可以以各种方式显着提高(广义)线性匪徒,情节MDP和无限地平线MDP的最新技术水平。具体地说,在大多数情况下,我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$,其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量,而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents
University of Cambridge(剑桥大学)
提出Agentic Monte Carlo (AMC)方法,利用序贯蒙特卡洛从最优策略后验中采样,无需参数级优化即可对黑盒LLM智能体进行强化学习式优化,在AgentGym基准上超越提示基线并随测试时计算扩展优于GRPO。
2026-06-03 cs.AI cs.LG
Reinforcement Learning-Based Black-Box Model Inversion Attacks
KAIST(韩国科学技术院)
针对现有黑盒模型反演攻击无法保证在预定查询次数内完成且性能不及白盒攻击的局限,提出一种基于强化学习的方法,将潜在空间搜索形式化为MDP问题,利用生成图像的置信度作为奖励,成功实现了最先进的攻击性能并恢复目标模型私有信息。
2023-04-10 cs.CR cs.CV cs.LG
Introducing Symmetries to Black Box Meta Reinforcement Learning
DeepMind(深度思维);The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科学大学)
Meta强化学习(RL)试图从环境交互中自动发现新的强化学习算法。在所谓的黑盒方法中,策略和学习算法由单个神经网络共同表示。这些方法非常灵活,但在推广到新的、看不见的环境方面往往表现不佳。在本文中,我们将探讨对称性在元泛化中的作用。我们发现,最近一个成功的Meta RL方法,元学习基于反向传播的学习的目标表现出一定的对称性(特别是重复使用的学习规则,输入和输出排列的不变性),不存在于典型的黑盒Meta RL系统。我们假设,这些对称性可以发挥重要作用,在元概括。基于最近在黑盒监督元学习方面的工作,我们开发了一个黑盒Meta RL系统,该系统具有相同的对称性。我们通过仔细的实验表明,结合这些对称性可以使算法具有更大的能力来概括看不见的动作和观察空间,任务和环境。
2022-06-05 cs.AI cs.LG cs.NE
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”,在仅限制逐点与总体扰动且不知算法的条件下,可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
SEBA: Sample-Efficient Black-Box Attacks on Visual Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学)
SEBA是针对视觉强化学习的样本高效黑盒攻击框架,通过影子Q模型、生成对抗网络与世界模型的结合,在MuJoCo和Atari基准上实现了高效且低感知的攻击,大幅减少环境交互。
2026-09-03 cs.AI cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架,通过鲁棒区域和最小反事实分析,揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Shielded Reinforcement Learning for Hybrid Systems
Aalborg University(奥尔堡大学)
针对混合系统强化学习控制器难保证安全、混合环境屏蔽难获取的问题,提出用野蛮方法构建近似屏蔽实现强统计安全保证,验证了预屏蔽方案更优,并在含工业实例的多场景中验证了方法有效性。
2023-08-28 cs.AI cs.LG cs.LO
Safe Reinforcement Learning Using Black-Box Reachability Analysis
Ain Shams University(艾因沙姆斯大学);Jacobs University(雅各布大学);Stanford University(斯坦福大学);KTH Royal Institute of Technology(KTH皇家理工学院)
强化学习(Reinforcement learning,RL)能够在不确定环境中对机器人进行复杂的运动规划和控制。然而,最先进的深度RL方法通常缺乏安全保证,特别是当机器人和环境模型未知时。为了证明广泛部署的合理性,机器人必须在不牺牲性能的情况下遵守安全约束。因此,我们提出了一个基于黑盒可达性的安全层(BRSL)有三个主要组成部分:(1)数据驱动的可达性分析的黑盒机器人模型,(2)一个轨迹推出规划器,预测未来的行动和观察使用的合奏在线训练的神经网络,和(3)可达集和障碍物之间的可微多面体碰撞检查,使纠正不安全的行动。在模拟中,BRSL在Turtlebot 3,四旋翼,跟踪点质量和风中的六旋翼上优于其他最先进的安全RL方法,其中不安全的集合邻近最高奖励的区域。
2022-11-21 cs.LG cs.RO cs.SY
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所(MPI-SWS))
我们研究了针对强化学习(RL)的黑箱奖励中毒攻击,其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理,以在对手先验未知的环境中学习邪恶的策略。也就是说,我们的攻击对对手的先验知识做了最少的假设:它对环境或学习者没有初始知识,除了它执行的动作之外,它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击,U2,可以证明达到接近匹配的性能,以最先进的白盒攻击,证明了奖励中毒的可行性,即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
Provably Efficient Black-Box Action Poisoning Attacks Against Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
由于强化学习(RL)的广泛应用,了解对抗攻击对RL模型的影响对于该模型的安全应用至关重要。针对强化学习的对抗攻击的理论研究主要集中在观察投毒攻击和环境投毒攻击。在本文中,我们介绍了一类新的攻击命名为行动中毒攻击,对手可以改变代理选择的行动信号。与现有的攻击模型相比,所提出的行为中毒攻击模型对攻击者的攻击能力有更大的限制,这给设计带来了一定的挑战。我们研究了白盒和黑盒环境下的动作中毒攻击。我们介绍了一种自适应攻击方案称为LCB-H,它适用于大多数RL代理在黑盒设置。我们证明了LCB-H攻击可以迫使任何有效的RL代理,其动态遗憾规模与所采取的步骤总数呈次线性,根据攻击者非常频繁地选择的策略选择行动,只有次线性成本。此外,我们对一个流行的无模型强化学习算法:UCB-H应用LCB-H攻击。我们表明,即使在黑盒设置,仅花费对数成本,所提出的LCB-H攻击方案可以迫使UCB-H代理根据攻击者选择的策略选择行动非常频繁。
2021-10-26 cs.AI cs.CR cs.LG
Backpropagation through the Void: Optimizing control variates for black-box gradient estimation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
基于直觉的优化是深度学习和强化学习的基础。即使当被优化的机制是未知的或不可微的,使用高方差或有偏梯度估计的优化通常仍然是最好的策略。我们介绍了一个一般的框架,学习低方差,无偏梯度估计的黑箱函数的随机变量。我们的方法使用梯度的神经网络训练联合模型参数或政策,并适用于离散和连续设置。我们展示了这个框架来训练离散潜变量模型。我们还给出了一个无偏的,行动条件的优势演员-评论家强化学习算法的扩展。
2018-02-23 cs.LG
Open the Black Box: Step-based Policy Updates for Temporally-Correlated Episodic Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Tübingen(蒂宾根大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出 TCE 算法,在情景强化学习的参数空间策略更新中引入步信息,以兼顾平滑一致探索与基于步方法的数据效率。
2024-01-21 cs.LG cs.RO
MetaBox: A Benchmark Platform for Meta-Black-Box Optimization with Reinforcement Learning
South China University of Technology(华南理工大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
针对MetaBBO-RL缺乏统一基准的问题,本文提出首个专用基准平台MetaBox,提供灵活算法模板、300+问题实例、19种基线方法和三个标准化指标,并开展广泛基准测试以推动严格评估与深入分析。
2023-10-27 cs.AI cs.LG cs.NE
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Intel Labs(英特尔实验室)
本文提出一种基于容许性的新框架,通过将安全性自然融入容许性机制来构建盾牌,从而在消除非最优动作提升训练效率的同时保障安全,有效解决了传统强化学习盾牌方法学习延迟高或依赖预计算的问题。
2024-05-29 cs.LG
Explainable Deep Reinforcement Learning: State of the Art and Challenges
University of Piraeus(比雷埃夫斯大学)
可解释性、可解释性和透明度是在许多关键领域引入人工智能方法的关键问题:这一点很重要,因为道德问题和信任问题与可靠性、鲁棒性、可重复性和公平性密切相关,并且对在高水平自动化中保持人类参与循环具有重要影响,特别是在决策的关键情况下,人和机器都扮演着重要的角色。虽然研究界对封闭(或黑色)预测框的可解释性给予了很大的关注,但对于支持智能体在现实世界中自主行动的封闭框方法的可解释性有着巨大的需求。强化学习方法,尤其是它们的深度版本,就是这样的封闭式方法。在这篇文章中,我们的目标是提供一个可解释的深度强化学习方法的最新方法的审查,同时考虑到人类操作员的需求-即,那些在解决现实问题时做出实际和关键决定的人。我们提供了深度强化学习可解释性问题的正式规范,并确定了一般可解释强化学习框架的必要组成部分。在此基础上,我们提供了一个全面的审查国家的最先进的方法,分类他们在类根据他们遵循的范式,他们使用的可解释的模型,并提供解释的表面表示。文章最后指出了未决问题和重要挑战。
2023-01-24 cs.LG
Reinforcement Learning Platform for Adversarial Black-box Attacks with Custom Distortion Filters
Hewlett Packard Enterprise(慧与科技);Amazon(亚马逊)
提出强化学习平台RLAB,支持自定义失真滤波器生成对抗样本,通过双动作方法快速高效攻击目标模型,可衡量模型鲁棒性,且在查询效率上优于现有方法,提升可信度。
2025-04-15 cs.AI cs.CR cs.CV
Constrained Black-Box Attacks Against Cooperative Multi-Agent Reinforcement Learning
Mohammed VI Polytechnic University(摩洛哥穆莱伊沙克六世理工学院);Khalifa University(卡利法大学);Concordia University(康科德大学)
本文提出了一种受限黑盒攻击方法,针对协作多智能体强化学习的脆弱性进行研究,通过扰动智能体观察来影响其环境感知,验证了其在多种环境中的有效性及高样本效率。
2026-11-05 cs.LG cs.MA
Reinforcement Learning-based Black-Box Evasion Attacks to Link Prediction in Dynamic Graphs
Huazhong University of Science Technology(华中科技大学);Duke University(杜克大学);Nanyang Technological University(南洋理工大学);Dalian University of Technology(大连理工大学)
动态图中的链接预测(LPDG)是一个重要的研究问题,它具有多种应用,如在线推荐、疾病传染研究、组织研究等。最近提出了基于图嵌入和图神经网络的各种LPDG方法,并取得了最先进的性能。在本文中,我们研究了LPDG方法的脆弱性,并提出了第一个实际的黑盒规避攻击。具体来说,给定一个经过训练的LPDG模型,我们的攻击旨在扰动图结构,而不知道模型参数,模型架构等,使得LPDG模型产生尽可能多的错误预测链路。我们设计我们的攻击基于随机策略的RL算法。此外,我们评估我们的攻击三个现实世界的图数据集从不同的应用领域。实验结果表明,我们的攻击是有效的和高效的。
2020-09-12 cs.AI cs.CR cs.LG