Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University(云南大学)
对抗性训练已经成为防御对抗性样本的主要方法。然而,由于许多缺点,它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练,在保持模型鲁棒性的同时提高了模型识别的准确率。然而,搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法,并将其与最新的快速对抗训练技术相结合,有效地加快了训练过程,降低了训练成本。
2021-08-30 cs.AI cs.LG
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California(南加州大学);Horizon Robotics(地平线机器人)
我们提出了一种分层强化学习方法HIDIO,它可以以自我监督的方式学习任务不可知的选项,同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同,这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略,HIDIO鼓励独立于手头任务的低级别选项学习,需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中,HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Discovering Blind Spots in Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
在仿真中训练的代理可能会在现实世界中由于训练和执行环境之间的不匹配而出错。这些错误可能是危险的,也很难发现,因为智能体无法先验地预测它们。我们建议使用Oracle反馈来学习这些盲点的预测模型,以减少现实世界应用中代价高昂的错误。我们专注于强化学习(RL)中由于不完整的状态表示而出现的盲点:智能体没有适当的特征来表示世界的真实状态,因此无法区分众多状态。我们将发现RL中的盲点的问题形式化为具有类不平衡的噪声监督学习问题。我们通过结合标签聚合、校准和监督学习技术来学习模型,以预测状态空间中不可见区域的盲点。这些模型考虑了来自不同形式的预言反馈的噪音,包括演示和更正。我们在两个领域评估了我们的方法,并表明它比基线方法具有更高的预测性能,并且学习的模型可以用于在执行时选择性地查询Oracle以防止错误。我们还实证分析了各种反馈类型的偏见,以及它们如何影响盲点的发现。
2018-05-23 cs.AI cs.LG stat.ML
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心);University of Pennsylvania(宾夕法尼亚大学)
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而,这种技术通常会产生大量的选项或技能,这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算,同时也提高了目标任务的性能。为了压缩一系列选项策略,我们试图找到一个策略基础,准确地捕捉所有选项的集合。在这项工作中,我们提出了Option Encoder,一个基于自动编码器的框架,具有智能约束的权重,有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性,收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Discovering Individual Rewards in Collective Behavior through Inverse Multi-Agent Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);Harvard University(哈佛大学)
针对复杂动力学系统集体行为中个体目标发现的挑战,本研究提出了一种离策略逆向多智能体强化学习算法(IMARL),结合 ReF-ER 技术与引导成本学习自动揭示奖励函数并学习有效策略,为理解集体动力学提供了重要工具。
2023-05-17 cs.AI cs.LG cs.MA
Discovering Diverse Solutions in Deep Reinforcement Learning by Maximizing State-Action-Based Mutual Information
Kyushu Institute of Technology(九州工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
强化学习算法通常仅限于为指定任务学习单个解决方案,即使经常存在不同的解决方案。最近的研究表明,学习一组不同的解决方案是有益的,因为多样性使强大的Few-Shot适应。虽然现有的方法学习不同的解决方案,使用互信息作为无监督的奖励,这样的方法往往遭受由值函数近似引起的梯度估计的偏差。在这项研究中,我们提出了一种新的方法,可以学习不同的解决方案,而不会受到偏见的问题。在我们的方法中,以连续或离散潜变量为条件的策略通过直接最大化互信息的变分下界来训练,而不是像以前的研究那样使用互信息作为无监督奖励。通过对机器人运动任务的大量实验,我们证明了所提出的方法通过学习连续潜变量成功地学习了无穷多个不同的解决方案,这比学习有限数量的解决方案更具挑战性。随后,我们表明,我们的方法使更有效的Few-Shot适应与现有的方法相比。
2022-04-13 cs.AI cs.LG stat.ML
Discovering an Aid Policy to Minimize Student Evasion Using Offline Reinforcement Learning
Federal University of Espirito Santo, UFES(圣埃斯皮里图联邦大学)
高等教育的高辍学率暴露出缺乏效率,造成期望落空和财政浪费。预测处于风险中的学生不足以避免学生辍学。通常,必须为每个学生在适当的时间发现和应用适当的援助行动。针对这一顺序决策问题,提出了一种基于离线强化学习的学生援助行动选择决策支持方法,有效地避免了学生辍学。此外,离散化的学生的状态空间,采用两种不同的聚类方法进行评估。我们使用真实学生的记录数据的实验表明,通过离线策略评估,该方法应该实现大约1.0到1.5倍的累积奖励。因此,这是可行的,以帮助决策者适用适当的援助行动,并可能减少学生辍学。
2021-04-20 cs.LG
Discovering Multiple Solutions from a Single Task in Offline Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文研究离线强化学习中从单一任务发现多个解的问题,提出相应算法并实验验证其能学到多个定性和定量上不同的解。
2024-06-10 cs.LG stat.ML
Discovering User Types: Mapping User Traits by Task-Specific Behaviors in Reinforcement Learning
Harvard University(哈佛大学)
本文研究强化学习中用户行为与特质的对应关系,提出分解“用户类型”的工具,并将具有相同用户类型集合的环境定义为等价关系,以支持干预设计跨环境迁移与快速个性化。
2023-07-16 cs.HC cs.LG
AtomComposer: Discovering Chemical Space from First Principles with Reinforcement Learning
Dept. of Energy Conversion and Storage, Technical University of Denmark(丹麦技术大学能源转换与存储系);Dept. of Applied Mathematics and Computer Science, Technical University of Denmark(丹麦技术大学应用数学与计算机科学系);Pioneer Center for Accelerating P2X Materials Discovery (CAPeX), Kgs. Lyngby, Denmark(加速P2X材料发现的先锋中心(CAPeX),Lyngby,丹麦)
提出AtomComposer,一种无需预训练数据、通过在线强化学习自主构建有效3D异构体的智能体,在未见化学式上发现的异构体数量比现有方法多一个数量级。
2026-05-27 cond-mat.mtrl-sci cs.LG
Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Amazon(亚马逊);Brown University(布朗大学);Amii(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
本文综述分层强化学习,从决策挑战角度阐述其益处,并梳理从在线经验、离线数据到利用大语言模型发现时间结构的方法族及面临的挑战。
2026-09-11 cs.AI
Domain Adversarial Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);VU Amsterdam(阿姆斯特丹自由大学)
我们考虑强化学习中的泛化问题,其中观察的视觉方面可能不同,例如,当有不同的背景或对比度,亮度等变化时,我们假设我们的代理在训练期间只能访问MDP分布中的少数MDP。然后,在从分布中提取的新的未知测试域(例如,看不见的背景)上报告代理的性能。对于这个“zero-shot RL”任务,我们通过域对抗优化过程将学习到的表示强制执行到视觉域的不变性。我们的经验表明,这种方法可以实现一个显着的泛化改善新的看不见的领域。
2021-02-14 cs.AI cs.LG
Generative Adversarial Imitation Learning
Stanford University(斯坦福大学)
考虑从示例专家行为中学习策略,而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数,然后用强化学习从该成本函数中提取策略。这种方法是间接的,可能会很慢。我们提出了一个新的一般框架,直接从数据中提取的政策,就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比,从中我们得到了一个无模型的模仿学习算法,该算法在模仿大型高维环境中的复杂行为时,比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Discovering Differential Features: Adversarial Learning for Information Credibility Evaluation
Xi’an Jiaotong University(西安交通大学)
一系列的深度学习方法提取了大量的可信度特征来检测互联网上的假新闻。然而,这些提取的特征仍然遭受许多不相关的和嘈杂的功能,严重限制了性能的方法。在本文中,我们提出了一种新的模型,基于对抗网络和共享私有模型(ANSP)的启发,其目的是减少共同的,不相关的信息可信度评估的特征提取的功能。具体而言,ANSP涉及两个任务:一是防止真假信息的二进制分类,以捕获依赖于强化学习引导的对抗网络的共同特征。另一种是从多种类型的可信度信息中提取可信度特征(以下称私密特征),并通过两种策略与公信度特征进行比较,正交性约束和KL-发散,以使私有特征更具差异性。首先在两个六标签LIAR和微博数据集上的实验表明,ANSP实现了最先进的性能,分别将准确率提高了2.1%,3.1%,然后在四标签Twitter 16上验证了模型的鲁棒性,性能提高了1.8%。
2019-09-16 cs.CL cs.CY cs.LG
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis(圣路易斯华盛顿大学)
函数逼近使得强化学习(RL)技术在具有高维输入(如图像)的环境中以端到端的方式应用取得了显着进展,将这些输入直接映射到低级控制。尽管如此,这些已经被证明容易受到小的对抗性输入扰动的影响。因此,出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法,重点是累积奖励。然而,在对抗性场景中,最关键的往往是违反基本属性,如安全性,而不是将安全性与效率相结合的整体回报。此外,诸如安全性之类的属性只能相对于真实状态来定义,而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性,我们在确定性部分可观察马尔可夫决策过程(POMDPs)中使用RL,目标是在安全约束下最大化累积奖励。然后,我们提出了一个部分监督的强化学习(PSRL)框架,该框架利用了一个额外的假设,即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法,以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性,以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
Player co-modelling in a strategy board game: discovering how to play fast
在本文中,我们用一个2人策略棋盘游戏进行实验,其中使用强化学习和神经网络来进化游戏模型。与完全自主的游戏相比,这些模型的发展是为了加快基于人类参与的自动游戏开发,其复杂程度和密度各不相同。实验结果表明,在赢得比赛的能力和快速完成比赛的能力之间存在着明确而可衡量的联系,同时也证明了人类参与的最低水平,超过这个水平就不会真正发生学习。
2006-11-30 cs.AI cs.LG
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern(巴伐利亚高科技议程)
提出RoAd-RL开源基准框架,统一策略、攻击、防御和鲁棒性指标,评估192种配置下DQN/PPO/SAC的鲁棒性,发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
Continual Adversarial Reinforcement Learning (CARL) of False Data Injection detection: forgetting and explainability
National Renewable Energy Laboratory (NREL)(国家可再生能源实验室);South Dakota State University(南达科他州立大学)
针对智能逆变器虚假数据注入攻击 (FDIA) 检测易受对抗样本攻击的问题,提出持续对抗强化学习 (CARL) 方法,将对抗样本纳入训练以提升检测可解释性,并采用联合训练策略解决灾难性遗忘问题。
2024-11-15 cs.AI cs.LG
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX(技术研究 institute SystemX)
本文综述了深度强化学习中的对抗攻击与训练方法,系统分类并比较其目标与机制,以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
Discovering Exfiltration Paths Using Reinforcement Learning with Attack Graphs
National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所);Deloitte & Touche LLP(德勤华永会计师事务所);Deloitte Consulting LLP(德勤咨询有限公司)
结合攻击图和网络地形,使用强化学习(RL)来开发与确定用于企业网中的数据渗出的最佳路径相关联的奖励和状态。这项工作建立在以前的皇冠上的宝石(CJ)识别,重点是计算最佳路径的目标目标,对手可能会遍历到妥协的CJ或主机在他们的附近。这项工作颠覆了以前的CJ方法,该方法基于数据被盗的假设,现在必须悄悄地从网络中泄露。RL被用来支持奖励函数的开发,该奖励函数基于对对手期望减少检测的那些路径的识别。结果表明,一个相当大的网络环境有前途的性能。
2022-04-25 cs.CR cs.LG cs.NI
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University(同济大学)
本文提出鲁棒平均场演员-评论家强化学习RoMFAC,通过结合策略梯度与动作损失函数并引入重复正则化,同时构建状态对抗随机博弈模型,有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
DGPO: Discovering Multiple Strategies with Diversity-Guided Policy Optimization
Carnegie Mellon University(卡内基梅隆大学);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出DGPO算法,通过基于信息论多样性目标的内在奖励和约束优化,在单次运行中利用共享策略网络高效发现多种多样化策略,在获得可比奖励的同时提升了策略多样性与样本效率。
2024-01-05 cs.AI cs.LG
Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院);Department of Artificial Intelligence, Korea University(高丽大学人工智能系)
针对强化学习智能体易受对抗扰动影响的问题,提出基于向量量化变体的输入变换防御方法,可缩减攻击空间、提升鲁棒性,且能与对抗训练结合,经多环境实验验证防御效果显著。
2024-10-04 cs.AI cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno(内华达大学里诺分校)
众所周知,深度学习分类器天生容易受到有意扰动输入的操纵,称为对抗性示例。在这项工作中,我们建立了基于深度Q网络(DQN)的强化学习技术也容易受到对抗性输入扰动的影响,并验证了对抗性示例在不同DQN模型之间的可移植性。此外,我们提出了一种新的攻击类的基础上,这个漏洞,使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制,利用对抗性示例的可转移性来实现对DQN的策略诱导攻击,并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型,通过强化学习绕过分类器,优化探索与利用平衡,以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
Scale-free Adversarial Reinforcement Learning
Boston University(波士顿大学)
针对奖励/损失尺度未知的对抗 MDP,论文提出 SCB 通用框架,在对抗 MAB 中取得首个 minimax 最优期望遗憾与高概率遗憾界,并给出首个 $\tilde{\mathcal{O}}(\sqrt{T})$ 高概率遗憾保证的无尺度 RL 算法。
2024-03-01 cs.AI cs.LG
Discovering High-Quality Chess Puzzles with Offline Reinforcement Learning
本研究利用15亿条国际象棋谜题解答历史数据,通过离线强化学习学习谜题教学价值,能为100-1000 Elo的初学者推荐高质量谜题,尤其助力学习停滞的新手。
2026-08-18 cs.AI cs.LG
RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
离线强化学习(RL)的目标是在没有进一步环境交互的情况下从记录的数据中找到性能策略。基于模型的算法,从数据集学习环境模型,并在该模型内执行保守的策略优化,已经成为解决这个问题的一种有前途的方法。在这项工作中,我们提出了鲁棒的基于模型的离线RL(RAMBO),这是一种基于模型的离线RL的新方法。我们制定的问题作为一个两个球员零和游戏对抗的环境模型。该模型经过训练,以最小化价值函数,同时仍然准确地预测数据集中的转换,迫使策略在数据集未覆盖的区域保守地采取行动。为了近似地解决两个玩家的游戏,我们在优化策略和对抗性地优化模型之间交替。我们解决的问题配方是理论上的基础,导致在一个可能近似正确(PAC)的性能保证和悲观的价值函数的下限在真实的环境中的价值函数。我们在广泛研究的离线RL基准测试中评估了我们的方法,并证明它优于现有的最先进的基线。
2022-10-11 cs.AI cs.LG
Robust Deep Reinforcement Learning against Adversarial Behavior Manipulation
Institute of Science Tokyo(东京科学研究所);University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所AIP)
本文提出了一种基于模仿学习的对抗性攻击方法,并通过时间折扣正则化提升强化学习对行为定向攻击的鲁棒性。
2026-02-17 cs.AI cs.LG
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题,提出基于少量人类轨迹潜在相似性搜索的对抗估计方法,仅需5分钟人类经验即可加速基于反馈的DRL算法收敛,并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
Adversarial Diffusion for Robust Reinforcement Learning
Division of Decision and Control Systems KTH, Royal Institute of Technology(决策与控制系统系 瑞典皇家理工学院);Faculty of Computing and Data Sciences(计算与数据科学学院)
本文提出AD-RRL,通过对抗扩散方法提升强化学习在环境动态不确定性下的鲁棒性和性能。
2025-12-02 cs.AI cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究了自我对战强化学习中的对抗性动作遮蔽,发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性,揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
UACER: An Uncertainty-Adaptive Critic Ensemble Framework for Robust Adversarial Reinforcement Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
UACER通过多样化批评者集合和时间变化衰减不确定性机制,提升鲁棒对抗强化学习的稳定性与性能。
2026-01-23 cs.AI cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa(爱荷华大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击,通过随机扰动观测使智能体获得零或有限信息,并推导了奖励遗憾下界,验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
探索是训练最优强化学习(RL)策略的关键,其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖,而不考虑可以学习的这种鉴别过程。在本文中,我们提出了一种称为生成对抗探索(GAEX)的新方法,通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索,其中生成器提供了状态的假样本,帮助机器人识别那些不太频繁访问的状态。因此,鼓励代理人访问那些州,而代理人不太有信心判断为访问过。GAEX易于实现,训练效率高。在我们的实验中,我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题,包括游戏冒险,蒙特祖玛的复仇和超级马里奥兄弟,没有进一步微调复杂的学习算法。据我们所知,这是第一个工作,采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
Discovering Command and Control (C2) Channels on Tor and Public Networks Using Reinforcement Learning
Deloitte & Touche LLP(德勤全球有限公司);National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
针对网络攻击中C2信道识别依赖人工、门槛高的问题,提出基于强化学习的方法,在公共网与Tor网中模拟攻击,可自动发现能绕过防火墙的多信道韧性C2攻击路径。
2024-02-14 cs.AI cs.CR
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了针对强化学习(RL)的对抗攻击,并在这些攻击的帮助下提高了深度强化学习算法(DRL)对参数不确定性的鲁棒性。我们发现,即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数,导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明,DRL算法(如深度双Q学习和深度确定性策略梯度)的这种对抗性训练导致RL基准测试(如Cart-pole,Mountain Car,Hopper和Half Cheetah环境)对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University(比勒费尔德大学)
针对强化学习中的对抗性特征缺失问题,提出对抗训练算法,在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
Discovering Minimal Reinforcement Learning Environments
BCCN Berlin(柏林计算神经科学中心);University of Oxford(牛津大学);FLAIR;Technical University Berlin(柏林工业大学);Science of Intelligence(智能科学)
针对强化学习智能体同环境训练评估的局限,该研究扩展合成环境框架,改进元学习算法、结合硬件并行与课程学习,还发现合成上下文赌博机可媲美合成MDPs,能加速训练并提供环境见解。
2024-06-18 cs.LG
Elastic Horizon: Discovering the Effective Interaction Frontier in Agentic Reinforcement Learning
Qwen Business Unit of Alibaba(阿里巴巴通义千问业务部);University of Science and Technology of China(中国科学技术大学)
针对智能体强化学习中交互地平线扩展的收益递减问题,提出弹性地平线闭环控制器,基于成功轨迹长度第90百分位数动态调整地平线,在多个基准上实现最优性能并节省高达25%的令牌。
2026-09-09 cs.AI
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University(卡内基梅隆大学)
鲁棒强化学习(RL)专注于提高模型错误或对抗攻击下的性能,这有助于RL代理的实际部署。鲁棒对抗性强化学习(RARL)是最流行的鲁棒强化学习框架之一。然而,大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念,这可能会忽略RL部署的顺序性,产生过于保守的代理,并诱导训练不稳定。在本文中,我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质,并提供额外的灵活性,强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack,通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境,有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中,我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Adversarial Attacks to Reward Machine-based Reinforcement Learning
DIPARTIMENTO DI INGEGNERIA DELL’INFORMAZIONE(信息工程系)
本论文首次分析基于奖励机的强化学习的安全性,提出并评估一类新型对抗攻击——致盲攻击,以揭示其脆弱性并推动后续研究。
2023-11-15 cs.AI cs.CR cs.LG
SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent Reinforcement Learning
Defence Science and Technology Group(国防科学技术集团);The University of Adelaide(阿德莱德大学)
多智能体强化学习(MARL)容易受到对抗性机器学习(AML)攻击,并且在可以用于现实世界的应用之前需要足够的防御。我们对针对MARL的执行时AML攻击的使用以及针对这些攻击的防御进行了调查。我们调查了AML在深度强化学习(DRL)和多智能体学习(MAL)中应用的相关工作,以告知我们对MARL的AML分析。我们提出了一个新的角度来理解实施AML攻击的方式,通过定义攻击向量。我们开发了两个新的框架,以解决当前建模框架中的差距,重点是针对MARL的AML攻击的手段和速度,并确定知识差距和未来的研究途径。
2023-01-11 cs.AI cs.CR cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入,使强化学习能够扩展到非常复杂的领域,在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功,但这些新方法存在自身的问题,使它们往往不适用于现实世界的问题。数据效率的极度缺乏,加上巨大的差异和难以执行安全约束,是该领域三个最突出的问题之一。通常,从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型,以及支持强化学习设置的马尔可夫特性,在内部想象模块中对真实环境的动态进行建模。然后,来自想象的卷展用于在标准强化学习过程中人工模拟真实环境,以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明,该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验,从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame(圣母大学)
近年来,许多合作分布式多智能体强化学习(MARL)算法已在文献中提出。在这项工作中,我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说,标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University(拉德堡德大学);University of Antwerp(安特卫普大学)
深度强化学习(RL)代理在其观察中容易受到对抗性噪声的影响,这可能会误导其策略并降低其性能。然而,对手可能不仅对减少奖励感兴趣,而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准,衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外,我们引入了一个模型检验方法,使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了(1)我们针对时态逻辑属性进行对抗攻击的指标的质量,以及(2)我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Discovering Command and Control Channels Using Reinforcement Learning
Deloitte & Touche LLP(德勤会计师事务所);National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
本文将C2攻击建模为三阶段马尔可夫决策过程,利用强化学习在大型网络中自动学习攻击路径,并创新性地建模防火墙等防御机制,以帮助蓝队识别高优先级漏洞并改进防御策略。
2024-01-13 cs.CR cs.LG
Discovering Latent States for Model Learning: Applying Sensorimotor Contingencies Theory and Predictive Processing to Model Context
AI Lab of SoftBank Robotics Europe (Aldebaran)(软银机器人欧洲公司人工智能实验室(Aldebaran))
自主机器人需要能够适应不可预见的情况,并通过试错获得新技能。强化学习原则上为这种自主学习提供了一个合适的方法框架。然而,当前的计算强化学习代理大多完全从零开始学习每个单独的技能。我们如何才能使人工智能体,如机器人,获得某种形式的通用知识,他们可以利用这些知识来学习新技能?本文认为,像大脑一样,人工智能体的认知系统必须发展一个世界模型来支持适应性行为和学习。灵感来自认知科学文献中的两个最新发展:认知的预测处理理论和感知的感觉运动偶然性理论。在此基础上,提出了一个关于内部世界模型中编码的信息内容以及智能体如何自主获取信息的假设,描述了一个计算模型来形式化这一假设,并在一系列仿真实验中进行了评估。
2016-08-01 cs.AI cs.LG cs.RO
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO