Fair and Calibrated Toxicity Detection with Robust Training and Abstention
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文探讨了毒性检测中公平性、校准和回避的多轴框架,比较了ERM、实例重加权和组DRO等方法,揭示了训练干预和后处理机制对公平性和校准的影响。
2026-05-13 cs.LG
BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies
针对视觉-语言-动作(VLA)策略的测试时扩展方法,提出首个共形弃权层BOKBO,通过全局和逐任务变体提供有限样本无分布保证的执行违规率控制,并揭示基于扰动的K采样下策略内部非一致性分数的结构性缺陷。
2026-05-28 cs.LG cs.RO
Compression-Aware Abstention: Teaching LLMs to Refuse When KV-Compression Masks Remove Answer Evidence
University of Southern California(南加州大学)
该研究首次将感知压缩的弃权表述为学习问题,通过训练LoRA适配器,在减少LLM因KV缓存压缩产生的幻觉的同时保留正确回答能力,在压缩缓存解码下取得显著提升。
2026-09-01 cs.CL cs.LG
Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark
Boston University(波士顿大学);University of California(加利福尼亚大学);University of Maryland(马里兰大学)
该研究针对高风险决策系统的类别不平衡与非对称代价问题,通过多领域基准测试对比多种共形预测及弃权机制,发现Mondrian CP可显著提升少数类覆盖,结合代价控制弃权能降低预期决策代价,为相关系统部署提供实用指导。
2026-07-30 cs.AI cs.LG
Learning When to Remember: Risk-Sensitive Contextual Bandits for Abstention-Aware Memory Retrieval in LLM-Based Coding Agents
PythaLab;Yildiz Technical University(Yildiz技术大学)
本文提出RSCB-MC方法,通过风险敏感的上下文老虎机机制,解决编码代理在记忆检索中的安全性和有效性问题,实现非注入和回避作为首要安全动作。
2026-04-30 cs.AI cs.CL cs.LG
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
本文提出了一种潜在安全约束策略方法,通过条件变分自动编码器和受约束奖励-回报最大化框架,实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Learning When Not to Learn: Risk-Sensitive Abstention in Bandits with Unbounded Rewards
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
本文提出一种风险敏感的退避算法,在无导师的情况下处理无界奖励的老虎机问题,通过确定性区域减少不可逆损害,理论证明了谨慎探索在高风险环境中的有效性。
2026-04-13 cs.AI cs.LG
Better Call Reward: Reward Hacking as Strategic Abstention in Legal Reasoning Models
Horizon Research(地平线研究)
本研究通过GRPO微调Qwen3-8B,发现基于表面特征的奖励代理导致模型策略性弃权,准确率骤降但承诺时提升,并引入三种诊断工具检测该失败模式。
2026-11-13 cs.AI cs.CL cs.CY
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago(芝加哥大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
研究了具有非线性函数逼近的安全强化学习问题,将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题,我们构造了一个替代凸约束优化问题的序列,通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外,为了扩展我们的理论结果,我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Safe Policy Improvement with an Estimated Baseline Policy
Delft University of Technology(代尔夫特理工大学);Microsoft Research Montréal(微软蒙特利尔研究院)
先前的工作已经表明了现有算法在批量强化学习设置中的不可靠性,并提出了基于基线引导的安全策略改进(SPIBB)修复:在不确定的状态-动作对中重现基线策略,以控制训练策略性能的方差。然而,在许多现实世界的应用中,如对话系统、药物测试或作物管理,数据是在人类监督下收集的,基线仍然未知。在本文中,我们应用SPIBB算法与基线估计建立的数据。我们正式显示安全的政策改善保证在真正的基线,即使没有直接存取到它。我们的经验实验有限和连续状态的任务支持的理论研究结果。它表现出很少的性能损失与SPIBB相比,当基线策略,更重要的是,大大和显着优于竞争算法在安全策略的改进,并在平均性能。
2020-12-28 cs.AI cs.LG stat.ML
Safe Policy Search with Gaussian Process Models
University of Oxford(牛津大学)
我们提出了一种方法来优化参数的政策,这将被用来安全地执行一个给定的任务,在一个数据有效的方式。我们训练一个高斯过程模型来捕捉系统的动态,基于PILCO框架。我们的模型具有有用的分析性质,允许误差梯度的封闭形式计算和估计违反给定状态空间约束的概率。在培训和操作过程中,只有被认为安全的策略才会在真实系统上实施,从而最大限度地降低故障风险。
2019-11-29 cs.LG stat.ML
SafePILCO: a software tool for safe and data-efficient policy synthesis
University of Oxford(牛津大学)
SafePILCO是一个软件工具,用于通过强化学习进行安全和数据高效的策略搜索。它扩展了最初用MATLAB编写的已知PILCO算法,以支持安全学习。我们提供了一个Python实现,并利用现有的库,使代码库保持简短和模块化,这适合验证,强化学习和控制社区的更广泛使用。
2020-08-07 cs.LG cs.SY eess.SY
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania(宾夕法尼亚大学);Deapartment of Computer and Information Science(计算机与信息科学系)
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如,步行机器人不会摔倒,或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置,目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽(MPS)的方法,该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明,我们的方法保证安全性,并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Towards Physically Safe Reinforcement Learning under Supervision
Dartmouth College(达特茅斯学院);Adobe Research(Adobe研究院)
本文讨论的问题是如何以前可用的控制策略$π_s$可以作为一个监督员,更快速,更安全地训练一个新的学习控制策略$π_L$的机器人。在试验期间使用监督器和学习策略的加权平均值,最初在监督器上具有较重的权重,以便在学习策略仍然无效时允许安全和有用的物理试验。在该过程中,调整权重以支持学习的策略。随着权值的调整,学习后的网络必须进行补偿,以便在不同的权值下给出安全合理的输出。引入了一个先锋网络,该网络预先学习一个策略,该策略在计划的下一步新权重下与当前学习的策略执行相似;然后,该先锋网络在下一组试验中替换当前学习的网络。在OpenAI Gym上的实验证明了该方法的有效性。
2019-01-19 cs.LG stat.ML
Smoothing Policies and Safe Policy Gradients
Universitat Pompeu Fabra(庞培法布拉大学);Meta;Politecnico di Milano(米兰理工大学)
策略梯度(PG)算法是强化学习在现实世界控制任务(如机器人)中备受期待的应用的最佳候选者之一。然而,每当学习过程本身必须在物理系统上执行或涉及任何形式的人机交互时,这些方法的试错性质就会带来安全问题。在本文中,我们解决了一个特定的安全配方,其中目标和危险都编码在一个标量奖励信号和学习代理的约束,永远不会恶化其性能,衡量为预期的奖励总和。通过研究演员只有策略梯度从随机优化的角度来看,我们建立了改善保证一类参数的政策,推广现有的结果高斯政策。这一点,再加上新的上界的方差的策略梯度估计,使我们能够确定元参数的时间表,保证单调改善的概率很高。两个关键元参数是参数更新的步长和梯度估计的批量大小。通过联合,自适应选择这些元参数,我们得到了一个策略梯度算法的单调改善保证。
2022-06-17 cs.LG stat.ML
SafeMIL: Learning Offline Safe Imitation Policy from Non-Preferred Trajectories
针对离线安全模仿学习场景,本文提出SafeMIL方法,利用非优选轨迹通过多示例学习参数化代价函数,训练出兼顾安全约束与奖励性能的策略,效果优于多个基线。
2025-11-14 cs.AI cs.LG stat.ML
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University(清华大学);University of Michigan(密歇根大学)
强化学习(RL)由于其解决复杂分类和控制问题的潜力,在自动驾驶领域引起了越来越多的关注。然而,现有的强化学习算法很少应用于真实车辆,主要有两个问题:行为无法解释,并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法,称为并行约束策略优化(PCPO),两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架,其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时,信任域约束的加入,允许大的更新步骤,而不打破单调改善条件。为了保证安全约束问题的可行性,采用同步并行学习器探索不同的状态空间,加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT(麻省理工学院);Boston College(波士顿学院)
约束马尔可夫决策过程(CMDP)是一个自然的框架,强化学习任务的安全约束,其中代理学习的政策,最大化的长期回报,同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法,该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新,这导致样本效率低下和收敛速度慢。在本文中,我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化(APDO),它结合了一个离线的政策训练的对偶变量的对偶更新过程中,同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明,APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Microsoft Research Montréal(蒙特利尔微软研究院)
批处理强化学习(Batch RL)包括使用与另一个策略(称为行为策略)一起收集的轨迹来训练策略。安全策略改进(SPI)提供了高概率的保证,即经过训练的策略比行为策略表现得更好,在这种情况下也称为基线。以前的工作表明,SPI目标提高了平均性能相比,使用基本RL目标,归结为解决MDP与最大似然。在这里,我们在这项工作的基础上,通过允许在更广泛的策略集上进行策略搜索,更精确地改进了SPI与基线引导算法(SPIBB)。而不是二进制分类的状态-动作对成两个集合(\textit{uncertain}和\textit{safe-to-train-on}的),我们采用了一种更软的策略,通过限制政策的变化,根据本地模型的不确定性,控制在值估计的误差。该方法可以承担更多的风险,不确定的行动,同时保持可证明的安全,因此是保守性比国家的最先进的方法。我们提出了两种算法(一个最佳的和一个近似的)来解决这个约束优化问题,经验表明,显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
Safe Exploration for Efficient Policy Evaluation and Comparison
North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊)
高质量的数据在确保政策评估的准确性方面发挥着核心作用。本文提出了一种有效安全的数据汇集方法,用于对土匪政策的评估。我们制定的问题,并调查其几个有代表性的变种。对于每一个变异体,我们分析了它的统计特性,推导出相应的探索策略,并设计了一个有效的算法来计算它,理论分析和实验都证明了所提出方法的有效性.
2022-06-18 cs.LG
Safe Policy Improvement Approaches and their Limitations
Ludwig-Maximilians University(路德维希-马克西米利安大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子技术研究院)
安全策略改进(SPI)是安全关键应用中离线强化学习的重要技术,因为它以高概率改进行为策略。我们将文献中的各种SPI方法分为两组,基于它们如何利用状态-动作对的不确定性。专注于软SPIBB(安全策略改进与软基线引导)算法,我们表明,他们的索赔被证明是安全的并不成立。基于这一发现,我们开发的适应,先进的软SPIBB算法,并证明他们是可证明的安全。一个启发式的适应,低近似软SPIBB,产生最好的性能在所有SPIBB算法在两个基准广泛的实验。我们还检查了可证明安全的算法的安全保证,并表明,大量的数据是必要的,这样的安全界限在实践中变得有用。
2022-08-01 cs.LG
Safe Data Collection for Offline and Online Policy Learning
Cornell University(康奈尔大学);SC Johnson College of Business(SC约翰逊商学院);Amazon(亚马逊)
基于在线平台实验和策略学习的实际需求,我们研究了安全的数据汇集问题。具体来说,我们的目标是开发一个日志记录政策,有效地探索不同的行动,以获取信息,同时实现有竞争力的奖励与基线生产政策。我们首先表明,一个常见的做法,混合的生产政策与随机探索,尽管是安全的,是次优的信息增益最大化。然后,我们提出了一个安全的最优日志策略,通过一种新的注水技术的情况下,没有侧信息的行动的预期回报。我们通过考虑边信息来改进这种设计,并将我们的方法扩展到线性上下文模型,以考虑大量的动作。在此过程中,我们分析了我们的数据记录策略如何影响离线(线)-策略学习中的错误,并通过使用合成和MNIST数据集进行广泛的数值实验来实证验证我们的设计的好处。为了进一步证明我们的方法的通用性,我们还考虑了安全的在线学习设置。通过自适应地应用我们的技术,我们开发的安全阶段消除(SafePE)算法,可以实现最佳的遗憾界限,只有对数数量的政策更新。
2022-08-04 cs.LG
Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University(宾汉姆顿大学);Yantai University(烟台大学);Assured Information Security(Assured Information Security(Assured Information Security公司))
我们研究了一个重要但未得到充分解决的问题,即快速安全地改善在线强化学习领域的政策。作为其解决方案,我们提出了一种新的探索策略-多样化的探索(DE),它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策,使有效的勘探,而不牺牲剥削。我们的实证研究表明,在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind(谷歌DeepMind);Vrije Universiteit Brussel(布鲁塞尔自由大学)
在这项工作中,我们重新审视了一些旧的和新的算法,用于基于返回的强化学习。表达这些在一个共同的形式,我们得到一个新的算法,Retrace($λ$),具有三个所需的属性:(1)它具有低方差;(2)它安全地使用从任何行为策略收集的样本,无论其程度的“关闭政策”;和(3)它是有效的,因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置,并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$,而没有GLIE假设(贪婪的极限与无限探索)。作为推论,我们证明了Watkins的Q($λ$)的收敛性,这是自1989年以来的一个公开问题。我们说明了Retrace($λ$)的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
CSPI-MT: Calibrated Safe Policy Improvement with Multiple Testing for Threshold Policies
Cornell University(康奈尔大学);Meta
针对高风险阈值策略的安全改进问题,提出CSPI和CSPI-MT启发式方法,利用渐近最强安全测试与多重候选检验,在控制误差水平下显著提升安全策略检测率与改进幅度。
2024-08-21 cs.LG stat.ME stat.ML
SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
Imperial College London(伦敦帝国理工学院)
本文提出SafeAdapt方法,通过引入Rashomon集在连续强化学习中提供安全策略更新的正式保证,确保在下游适应过程中源任务的安全性。
2026-04-10 cs.AI cs.LG
SaVeR: Optimal Data Collection Strategy for Safe Policy Evaluation in Tabular MDP
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究表格型 MDP 中带安全约束的数据收集策略评估问题,提出 SaVeR 算法近似安全预言机以高效收集数据,在满足安全约束下实现低均方误差的策略评估。
2024-06-04 cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Qizhi Institute(上海期智研究院)
安全性是利用强化学习控制复杂动力系统的主要考虑因素,其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数,并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念,两者的综合都具有挑战性。因此,现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个,这限制了它们对一般未知动态的适用性。本文提出了一种新的方法,同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是,我们制定了一个损失函数,以优化安全证书参数,最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习(CRL)中,我们联合更新策略和安全证书参数,并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明,该算法学习可证明安全的策略,没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Lyapunov-based Safe Policy Optimization for Continuous Control
DeepMind;Google Brain(谷歌大脑);Facebook AI Research(Facebook人工智能研究院)
我们研究连续动作强化学习问题,其中智能体仅通过安全策略(即~)与环境交互至关重要不会将代理带到不期望的情况的策略。我们制定这些问题的约束马尔可夫决策过程(CMDPs)和安全的策略优化算法,是基于李雅普诺夫方法来解决这些问题。我们的算法可以使用任何标准的策略梯度(PG)的方法,如深度确定性策略梯度(DDPG)或近端策略优化(PPO),训练神经网络的政策,同时保证近约束满足的每一个政策更新,通过投影的政策参数或行动到一组可行的解决方案,诱导的状态依赖线性化李雅普诺夫约束。与现有的约束PG算法相比,我们的算法是更有效的数据,因为他们能够利用政策和政策外的数据。此外,我们的动作投影算法通常会导致不那么保守的策略更新,并允许自然集成到端到端PG训练管道中。我们评估我们的算法,并将其与几个模拟(MuJoCo)任务的最先进的基线进行比较,以及现实世界的室内机器人导航问题,证明了它们在平衡性能和约束满足方面的有效性。实验视频可以在以下链接中找到:https://drive.google.com/file/d/1pzuzFqWIE710bE2U6DmS59AfRzqK2Kek/view? USP=共享。
2019-02-11 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多目前部署的强化学习代理在与人类共享的环境中工作,无论是同事,用户还是客户。人们希望这些智能体能够适应人们的偏好,在他们的帮助下更快地学习,并在他们周围安全地行动。我们认为,目前大多数从人类反馈中学习的方法都是不安全的:事后奖励或惩罚代理人不能立即防止它做错事。在本文中,我们扩展了策略梯度,使其强大的外部指令,否则将打破从根本上的政策性质的策略梯度。我们的技术,定向策略梯度(DPG),允许教师或备份策略覆盖代理之前,它的行为不可取的,同时允许代理利用人类的建议或指令,以更快地学习。我们的实验表明,DPG使代理学习速度比基于奖励的方法快得多,同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Conformal Policy Learning with Distribution-Free Safety Guarantees
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
提出保形策略学习(CPL),通过阈值化保形p值控制处理分配对个体造成伤害的概率,在随机实验和观察性研究中提供无分布安全保证,并实证应用于减少阴谋信念的AI干预。
2026-09-16 cs.LG econ.EM math.ST
SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL
Oxford Robotics Institute, University of Oxford(牛津大学机器人研究所);Department of Computer Science, University of Oxford(牛津大学计算机科学系)
SPoRt提出基于安全基础策略的最大策略比率界限,结合场景方法与投影PPO,在无模型强化学习中实现可认证的安全训练与部署,并允许安全与性能间的权衡。
2025-06-23 cs.LG
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs
McGill University(麦吉尔大学);Mila;University of Massachusetts(马萨诸塞大学);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院)
研究了离线强化学习(RL)环境下约束条件下的安全策略改进(SPI)问题。我们考虑这样的场景:(i)我们有一个在已知基线策略下收集的数据集,(ii)从环境中接收到多个奖励信号,诱导尽可能多的目标进行优化。我们提出了一个SPI制定这个RL设置,考虑到算法的用户的偏好,以处理不同的奖励信号的权衡,同时确保新的政策执行至少以及沿每个单独的目标的基线政策。我们建立在传统的SPI算法上,并提出了一种基于安全策略迭代与基线引导的新方法(SPIBB,Laroche等人,2019年),它为真实环境中的代理性能提供了高概率保证。我们展示了我们的方法在合成网格世界安全任务上的有效性,以及在现实世界的重症监护环境中学习静脉输液和血管加压药治疗败血症的政策。
2021-10-29 cs.LG
Policy Bifurcation in Safe Reinforcement Learning
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文首次发现并证明安全强化学习中存在策略分岔现象,提出基于高斯混合分布的多模态策略优化算法MUPO,以学习非连续可行策略并保证安全性。
2024-03-28 cs.LG
Exchange Policy Optimization Algorithm for Semi-Infinite Safe Reinforcement Learning
Department of Mathematical Sciences Tsinghua University(清华大学数学科学系);School of Vehicle and Mobility Tsinghua University(清华大学车辆与移动系统学院);Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);School of Vehicle and Mobility & College of AI Tsinghua University(清华大学车辆与移动系统学院与人工智能学院)
针对半无限安全强化学习的无限约束难题,提出交换策略优化算法,可提供有界安全保证并收敛至最优策略,推导了迭代次数上界与最优值差距。
2026-09-03 cs.LG
Safe Online Learning via Smooth Safety-Structured Policy Composition
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出AutoSafe架构,通过将结构化安全监控与干预直接集成到动作生成中,实现性能与安全行为之间的平滑风险依赖转换,在连续控制基准和实物倒立摆系统上验证了强安全性与学习平滑性。
2026-07-01 cs.LG cs.RO
Safe Deep Policy Adaptation
Carnegie Mellon University(卡内基梅隆大学)
提出SafeDPA框架,通过联合学习自适应策略和动力学模型,结合CBF安全过滤器,解决动态环境中RL策略适应与安全部署问题,在安全率和任务性能上显著优于基线方法。
2024-04-28 cs.AI cs.LG cs.RO
Safety-Constrained Policy Transfer with Successor Features
National University of Singapore(新加坡国立大学);Smart Systems Institute (SSI), NUS(新加坡国立大学智能系统研究所(SSI))
在这项工作中,我们专注于强化学习中的安全策略转移问题:当学习具有指定约束的新任务时,我们寻求利用现有策略。这个问题对于安全关键型应用很重要,在这些应用中,交互是昂贵的,并且不受约束的策略可能导致不期望的或危险的结果,例如,with physical物理robots机器人that interact互动with humans人类.我们提出了一个约束马尔可夫决策过程(CMDP)制定,同时使政策的转移和遵守安全约束。我们的配方干净地分离任务目标的安全考虑,并允许规格的各种约束。我们的方法依赖于一个新的扩展广义政策的改进,通过拉格朗日公式的约束设置。我们设计了一个双重优化算法,估计目标任务的最佳对偶变量,从而使安全转移的政策,从源任务上学习的后继功能。我们在模拟域中的实验表明,我们的方法是有效的,它访问不安全的状态不太频繁,并优于其他国家的最先进的方法时,考虑到安全约束。
2022-11-10 cs.LG
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);JD Explore Academy(京东探索研究院)
在非结构化机器人任务中,学习风险意识策略是必不可少的,但却具有挑战性。安全的强化学习方法为解决这一问题开辟了新的可能性。然而,保守的策略更新使得难以在复杂的、采样昂贵的环境中实现足够的探索和期望的性能。在本文中,我们提出了一个双代理安全的强化学习策略组成的基线和安全代理。这种解耦的框架为基于RL的控制提供了高灵活性、数据效率和风险意识。具体地说,基线代理负责在标准RL设置下最大化奖励。因此,它与无约束优化、探索和开发的现成训练技术兼容。另一方面,安全代理模仿基线代理进行策略改进,并通过非策略RL调优来学习满足安全约束。与从头开始训练相比,安全策略校正需要显著减少的交互来获得接近最优的策略。双重策略可以通过共享重放缓冲区同步优化,或者利用预训练模型或基于非学习的控制器作为固定基线代理。实验结果表明,我们的方法可以学习可行的技能,没有先验知识,以及从预先训练的不安全的政策产生风险厌恶的同行。所提出的方法优于国家的最先进的安全RL算法在困难的机器人运动和操作任务方面的安全约束满足和样本效率。
2022-12-14 cs.LG cs.RO
Towards Safe Reinforcement Learning with a Safety Editor Policy
Horizon Robotics(地平线机器人)
我们考虑安全的强化学习(RL)问题,最大限度地利用极低的约束违反率。假设没有先验知识或预先训练的环境安全模型给定的任务,代理必须学习,通过探索,哪些状态和动作是安全的。在这方面的研究中,一种流行的方法是将无模型RL算法与拉格朗日方法相结合,以动态地调整约束奖励相对于效用奖励的权重。它依赖于一个单一的政策来处理效用和约束奖励之间的冲突,这往往是具有挑战性的。我们提出了SEditor,一个两个政策的方法,学习安全编辑器的政策,将潜在的不安全的行动提出的效用最大化的政策到安全的。安全编辑器被训练为最大化约束奖励,同时最小化在编辑动作之前和之后的效用状态动作值的铰链损失。SEditor扩展了现有的安全层设计,假设简化的安全模型,一般的安全RL场景中,安全模型在理论上可以是任意复杂的。作为一种一阶方法,它易于实现,推理和训练效率都很高。在12个安全健身房任务和2个安全赛车任务中,SEditor获得了比基线更高的整体安全加权效用(SWU)得分,并展示了出色的效用性能,即使在障碍密集的环境中,约束违反率也低至每2k时间步一次。在某些任务中,这种低违规率比具有类似效用性能的无约束RL方法低200倍。代码可在https://github.com/hnyu/seditor上获得。
2022-10-10 cs.AI cs.LG cs.RO
Safe Policy Optimization with Local Generalized Linear Function Approximations
IBM Research(IBM研究院);Tsinghua University(清华大学)
安全探索是将强化学习(RL)应用于安全关键系统的关键。现有的安全勘探方法都是在正则性假设下保证安全性,难以应用于大规模的实际问题。我们提出了一种新的算法,SPO-LF,优化代理的政策,同时学习的本地可用的传感器和环境的奖励/安全使用广义线性函数近似的功能之间的关系。我们提供了理论保证其安全性和最优性。我们的实验表明,我们的算法是1)更有效的样本复杂度和计算成本和2)更适用于大规模的问题比以前的安全RL方法与理论保证,和3)与现有的先进的深度RL方法相比,样本效率和安全的安全约束。
2021-11-09 cs.AI cs.LG cs.RO
Safe Policy Search for Lifelong Reinforcement Learning with Sublinear Regret
University of Pennsylvania(宾夕法尼亚大学)
终身强化学习为开发多功能代理提供了一个有前途的框架,这些代理可以在一生的经验中积累知识,并通过建立在先前知识基础上快速学习新任务。然而,目前的终身学习方法表现出非消失的遗憾,随着经验的增加,包括限制,可能导致次优或不安全的控制策略。为了解决这些问题,我们开发了一个终身的策略梯度学习器,该学习器在对抗环境中运行,以在线学习多个任务,同时对学习到的策略实施安全约束。我们证明,第一次,次线性遗憾终身政策搜索,并验证我们的算法在几个基准动力系统和应用程序的四旋翼控制。
2015-05-21 cs.LG
Consensus Sampling for Safer Generative AI
OpenAI;MIT(麻省理工学院);Tel Aviv University(特拉维夫大学)
本文提出共识采样算法,通过聚合多个概率分布提升生成模型安全性,其在保证安全性的前提下有效避免分歧,通过R-鲁棒性理论保障信息泄露和对抗影响的界限,实验验证了其在合成分布和图像生成中的有效性。
2026-05-09 cs.AI cs.LG
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands;Ruhr University\,\&\,Radboud University Bochum Germany;Radboud University;Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法,结合安全策略改进与防护机制,在离线强化学习中确保策略性能与安全,实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
FOSP: Fine-tuning Offline Safe Policy through World Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院)
本文提出FOSP方法,通过世界模型对离线预训练的安全策略进行在线微调,结合样本内优化与可达性引导提升数据效率与安全性,显著增强了基于视觉的机器人任务在未见安全约束场景下的泛化能力。
2025-03-02 cs.LG cs.RO
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal(蒙特利尔大学);Mila - Québec AI Institute(蒙特利尔人工智能研究所);Université Laval(拉瓦尔大学);IID - Institut Intelligence et Données(智能与数据研究所);LawZero;CIFAR AI Chair(CIFAR人工智能主席)
提出SHAPO算法,通过锐度感知策略更新隐式重加权梯度,放大罕见不安全动作的影响,抑制安全动作的贡献,从而在欠探索区域实现保守行为,提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Flipping-based Policy for Chance-Constrained Markov Decision Processes
Osaka University(大阪大学);LY Corporation(LY公司);Norwegian University of Science and Technology(挪威科技大学)
针对机会约束马尔可夫决策过程,提出基于翻转的动作选择策略,证明其在最优解集中的存在性,将联合机会约束近似为期望累积安全约束,适配约束策略优化框架,在Safety Gym基准上提升了现有安全RL算法的性能。
2024-10-09 cs.LG math.OC
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子科技)
安全策略改进(SPI)旨在可证明的保证,学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping(Soft-SPIBB),我们在他们的方法中发现了理论问题,提供了一个正确的理论,并推导出一个新的算法,该算法在有限马尔可夫决策过程(MDP)上可证明是安全的。此外,我们提供了一个启发式算法,表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外,我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性:而平均性能的算法,将不确定性作为一个惩罚的动作值是较高的,积极限制的政策集更一致地产生良好的政策,因此,更安全。
2022-01-28 cs.AI cs.LG
Safe Reinforcement Learning using Action Projection: Safeguard the Policy or the Environment?
Technical University of Munich(慕尼黑技术大学);University of California, Berkeley(加州大学伯克利分校);Norwegian University of Science and Technology(挪威科学与技术大学)
本文比较了安全环境强化学习(SE-RL)与安全策略强化学习(SP-RL)的理论差异,揭示了动作别名对两种方法的影响,并提出改进策略以提升安全性。
2026-04-16 cs.LG
Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning
West Virginia University(西弗吉尼亚大学);Rochester Institute of Technology(罗切斯特理工学院)
提出一种并发学习方法,在强化学习中同时学习安全控制策略和识别未知安全约束参数,通过双层优化结合TD3拉格朗日变体与贝叶斯优化,实验证明其能准确识别约束并学习高回报的安全策略。
2024-03-24 cs.LG cs.SY eess.SY
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley(加州大学伯克利分校)
现实世界中的强化学习(RL)问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制(MPC)的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后,策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明,这种惩罚允许一个可证明安全的最佳基础政策,并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Decision-Point Guided Safe Policy Improvement
Harvard University(哈佛大学);Imperial College London(伦敦帝国学院)
本文提出决策点强化学习算法(DPRL),通过限制偏离行为策略的状态-动作对集合,在密集访问的决策点实现高置信度提升,获得不随状态空间规模扩展的更紧数据依赖界限,并在合成与真实数据集上验证了其安全性与高性能。
2024-10-12 cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京通用人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题,本文提出SCPO算法,用安全评判器取消违规所得奖励,并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology(查尔姆斯理工大学)
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先,放慢学习(惰性学习),使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后,这也使我们能够在任意状态下评估策略。本着同样的精神,学习可以被引导,通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后,可以在这些特定的状态-动作对处计算未来奖励(回报)的外生贴现和,使得策略网络满足约束。计算回报是基于求解线性方程组(等式约束)或约束二次规划(不等式约束,区域约束)。仿真结果表明,加入约束(外部信息)的学习,可以提高学习的速度和透明度合理,如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG