Lifted Forward Planning in Relational Factored Markov Decision Processes with Concurrent Actions
University of Hamburg(汉堡大学);University of Münster(穆尔斯特大学)
本文提出Foreplan,一种高效的关联前向规划器,通过一阶表示方法解决大规模对象下的策略计算问题,并提供近似版本以保证误差可控。
2026-02-23 cs.AI
Learning Lifted Action Models From Traces of Incomplete Actions and States
RWTH Aachen University(亚琛工业大学)
本文提出 STRIPS+ 表示与 SYNTH 算法,从状态谓词和动作参数均不完整的轨迹中学习提升动作模型,并证明其正确性、完备性及可扩展性。
2025-08-29 cs.AI
Automorphism Groups of Graphical Models and Lifted Variational Inference
Nuance Communications(纽昂斯通讯公司);SRI International(斯坦福国际研究院);University College London(伦敦大学学院)
利用群作用理论,我们首先引入了指数族或图模型的自同构群的概念,从而形式化了概率模型的对称性的一般概念。这个自同构群为一般指数族中的提升推理提供了一个精确的数学框架。它的群作用将随机变量和特征函数的集合划分为具有相同边缘和期望的等价类(称为轨道)。然后,推理问题被有效地简化为计算每个类的边际或期望,从而避免了处理每个单独变量或特征的需要。我们证明了这个一般框架的有用性,在提升两类变分近似的最大后验(MAP)推理:局部线性规划(LP)松弛和局部LP松弛与循环约束;后者产生的第一个提升变分推理算法,操作上的约束比局部约束更紧。
2013-09-26 cs.AI
Stochastic Planning and Lifted Inference
Tufts University(塔夫茨大学);University of Toronto(多伦多大学)
提升概率推理(Poole,2003)和提升随机规划的符号动态规划(Boutilier et al,2001)是在随机系统中使用抽象的算法努力的同时引入的。多年来,这些想法演变成两个不同的研究路线,每一个都有丰富的文献支持。提升概率推理侧重于在有限域假设下对基于模板的图形模型进行有效的算术运算,而符号动态规划侧重于在丰富的量化逻辑动作模型和开放域推理中支持顺序决策。鉴于它们的共同动机,但不同的重点,这两条研究路线产生了高度互补的创新。在本章中,我们的目标是通过从概率推理的角度概述提升的随机规划来帮助缩小这两个研究领域之间的差距,并显示出与本书其他章节的密切联系。这也使我们能够将广义提升推理定义为一种范式,它统一了这些领域,并阐明了未来研究的开放问题,这些问题可以使提升推理和随机规划受益。
2017-01-04 cs.AI
Self-directed Learning of Action Models using Exploratory Planning
Parallax Advanced Research(视差高级研究院);Knexus Research Corporation(奈克瑟斯研究公司);Lehigh University(利哈伊大学);Naval Research Laboratory(海军研究实验室)
复杂的、真实世界的域可能无法为代理完全建模,特别是如果代理以前从未在该域中操作过。智能体在这样一个域中有效地计划和行动的能力受到其何时可以执行特定动作以及这些动作的效果的知识的影响。我们描述了一种新的探索性规划代理,能够学习行动的先决条件和影响,没有专家的痕迹或给定的目标。代理的架构允许它执行探索性动作以及目标导向的动作,这为探索性规划和目标规划应该如何控制以及代理的行为应该如何向它可能拥有的任何队友解释开辟了重要的考虑因素。这项工作的贡献包括一个新的上下文表示称为提升链接子句,一个新的探索行动选择方法使用这些条款,一个探索计划,使用提升链接子句作为目标,以达到新的状态,以及在一个以探索为中心的视频游戏场景中的实证评估,表明解除链接的子句可以改善探索和动作模型学习,规划基线代理。
2022-03-07 cs.AI
Extracting Lifted Mutual Exclusion Invariants from Temporal Planning Domains
Royal Holloway University of London(伦敦大学皇家霍洛威学院);Politecnico di Torino(都灵理工大学);NASA Ames Research Center(NASA艾姆斯研究中心)
我们提出了一种技术,用于自动提取互斥不变量的时间规划实例。它首先通过检查域的提升表示来识别一组不变模板,然后根据确保不变性的属性检查这些模板。我们的技术建立在文献中提出的其他方法不变的合成,但从他们有限的关注瞬时动作,通过解决时间域。为了处理时间,我们制定了不变性条件,占整个结构的行动和可能的并发之间的相互作用。因此,我们构建了一个显着更全面的技术比以前的方法,这是能够找到不仅是时间域的不变量,但也是一个更广泛的一组不变量的非时间域。本文中报道的实验结果提供了证据表明,确定一个更广泛的不变量集的结果在生成更少的多值状态变量与更大的域。我们表明,反过来,这种减少的变量的数量反映了积极的性能上的一些时间规划,使用变量/值表示显着减少他们的运行时间。
2017-02-07 cs.AI
Lifted Sequential Planning with Lazy Constraint Generation Solvers
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
提出基于LCG的无实例化提升因果CP编码及传播子,用于序列经典规划,在少步骤实例上达到最优规划先进水平。
2023-07-17 cs.AI
Source-Lifted Flow Matching for Intervenable Multimodal Imitation
研究提出源提升流匹配(SL - FM)解决多模态模仿学习中流匹配策略随机性被动问题,核心机制为正交源提升,实验表明其能将被动源随机性转化为可操作变量,提升多模态控制性能。
2026-09-29 cs.AI cs.RO
Lifted Bellman Linear Programming for Offline Reinforcement Learning
NAVER LABS(NAVER 实验室)
本文提出提升的贝尔曼线性规划(LBLP)及其近似算法ALBUM,通过不等式约束实现样本内贝尔曼最优性,无需目标网络,在OGBench上以最少参数和内存达到与FQL相当的性能。
2026-09-28 cs.AI cs.LG
Automorphism Groups of Graphical Models and Lifted Variational Inference
Artificial Intelligence Center(人工智能中心);SRI International(SRI国际公司);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
利用群作用理论,我们首先引入了指数族或图模型的自同构群的概念,从而形式化了概率模型的对称性的一般概念。这个自同构群为一般指数族中的提升推理提供了一个精确的数学框架。它的群作用将随机变量和特征函数的集合划分为具有相同边缘和期望的等价类(称为轨道)。然后,推理问题被有效地简化为计算每个类的边际或期望,从而避免了处理每个单独变量或特征的需要。我们证明了这个一般框架的有用性,在提升两类变分近似MAP推理:局部LP松弛和局部LP松弛与循环约束;后者产生的第一个提升推理,操作上的约束比局部约束更紧。初步的实验结果表明,提升MAP推理与循环约束实现了最先进的性能,获得更好的目标函数值比局部近似,同时保持相对有效。
2012-07-19 cs.AI cs.LG math.CO
Safely Exploring Novel Actions in Recommender Systems via Deployment-Efficient Policy Learning
针对推荐系统新动作探索的安全问题,提出Safe OPG方法及部署高效策略学习框架,通过安全边际与逐步放宽正则化,在保证安全的同时实现新动作探索。
2025-10-09 cs.AI
Safe Actions Alone Do Not Ensure Safe Agents: Identifying Unfulfilled Obligations with Guard Models
Tsinghua University(清华大学);College of AI, Tsinghua University(清华大学人工智能学院)
该研究指出仅靠防护模型识别智能体的被禁止行动无法保障安全,提出需识别未履行的义务,构建首个义务识别基准ObligationBench及模型ObligationGuard,显著提升了义务识别性能。
2026-11-04 cs.AI
Real-Time Trust Verification for Safe Agentic Actions using TrustBench
TrustBench通过双模式框架在代理行动前验证安全性,有效减少有害行为,提升自主代理的可信度
2026-03-10 cs.AI
Safe Exploration in Continuous Action Spaces
Technion, Israel Institute of Technology(以色列理工学院);Google DeepMind(谷歌DeepMind)
我们解决了在物理系统(如数据中心冷却单元或机器人)上部署强化学习(RL)代理的问题,其中绝不能违反关键约束。我们展示了如何利用这些系统的典型平滑动态,并使RL算法在学习过程中永远不会违反约束。我们的技术是直接添加到政策的安全层,分析解决每个状态的动作校正公式。获得一个优雅的封闭形式的解决方案的新颖性是由于一个线性化的模型,学习过去的轨迹组成的任意行动。这是为了模拟真实世界的情况,其中数据日志是用数学上难以描述的行为策略生成的;这种情况使得已知的安全感知的非策略方法不适用。我们证明了我们的方法在新的代表性的基于物理学的环境中的有效性,并通过保持零约束违规而在奖励塑造失败的地方获胜。
2018-01-26 cs.AI
Two Constraint Compilation Methods for Lifted Planning
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所);University of Brescia(布雷西亚大学)
本文提出两种无需地面化的约束编译方法,用于提升大规模规划问题的效率和规范简洁性。
2026-02-20 cs.AI cs.SC
When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models
AIM Intelligence(AIM智能)
本文提出上下文翻转评估方法,通过安全基准和常识控制测试12个模型,发现对齐语言模型存在安全特异性脆弱性,源于策略覆盖而非理解错误,并证明动作级护栏无法检测后果翻转。
2026-05-27 cs.AI
Safe Learning of PDDL Domains with Conditional Effects -- Extended Version
Ben Gurion University of the Negev(内盖夫本-古里安大学);Università degli Studi di Brescia(布雷西亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对具有条件效应的 PDDL 领域安全动作模型学习难题,本文证明其一般需要指数级样本,但在合理假设下提出首个可处理该问题的 Conditional-SAM 算法,实验证明其能完美解决大多数测试问题。
2024-03-22 cs.AI
Efficient, Safe, and Probably Approximately Complete Learning of Action Models
Ben Gurion University of the Negev(内盖夫本·古里安大学);Washington University in St. Louis(圣路易斯华盛顿大学)
在本文中,我们将探讨规划的理论边界,在设置没有模型的代理人的行动。给出一组成功执行的计划,而不是一个行动模型,任务是生成一个安全的计划,即,保证实现目标而不失败。为此,我们展示了如何学习一个保守的世界模型,在这个模型中,行动是保证适用的。这个保守的模型,然后给一个现成的经典计划,导致一个计划,保证实现目标。然而,这种从无模型规划到基于模型规划的简化并不完全:在某些情况下,即使存在规划,也找不到规划。我们分析了观察到的计划的数量和我们的保守的方法将确实无法解决一个可解决的问题的可能性之间的关系。我们的分析表明,所需的轨迹的数量规模优雅。
2017-05-24 cs.AI
A Constraint-based Encoding for Domain-Independent Temporal Planning
我们提出了一个通用的基于约束的编码领域无关的任务规划。任务规划的特点是因果关系表示为条件和可选行动的影响。可能的操作通常由模板表示,其中每个模板可以实例化为多个基本操作。虽然大多数以前的工作领域独立的任务规划集中在一个面向状态的视图中的原始动作,我们的编码使用一个完全解除表示在行动模板的水平。它遵循的精神,以前的工作在基于约束的调度面向时间的观点。因此,所提出的编码是简单和紧凑的,因为它随着解决方案计划中的动作的数量而不是可能的原始动作的数量而增长。当用SMT求解器求解时,我们表明,所提出的编码在时间约束规划基准上比最先进的方法稍微更有效,同时明显优于其他完全基于约束的方法。
2018-06-26 cs.AI
When both Grounding and not Grounding are Bad -- A Partially Grounded Encoding of Planning into SAT (Extended Version)
本文提出一种部分 grounding 的 SAT 编码,在保持动作 lifted 的同时部分 grounding 预言,实现线性规模的规划效率,优于现有方法。
2026-03-19 cs.AI cs.LO cs.SC
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology(佐治亚理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度强化学习(deep RL)的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中,我们提出了一种新的无监督的行动规划技术,以提高安全性的政策上的强化学习算法,如信任区域策略优化(TRPO)或近端策略优化(PPO)。我们设计了我们的安全意识强化学习,通过存储所有的历史“恢复”行动,拯救代理从危险的情况下到一个单独的“安全”缓冲区,并找到最好的恢复行动时,代理遇到类似的状态。由于此功能需要算法查询相似的状态,我们实现了建议的安全机制,使用无监督学习算法,k-均值聚类。我们评估所提出的算法上的六个机器人控制任务,包括导航和操作。我们的研究结果表明,所提出的安全RL算法可以实现更高的回报相比,多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
A Safe Action Is Not Enough: Feasible-Future Decoding for Vision-Language-Action Policies
Huawei Heisenberg Research Center(华为海森堡研究中心);TU Berlin(柏林工业大学);UCL Center for AI(伦敦大学学院人工智能中心)
针对VLA策略中安全动作不可行的问题,提出可行性-似然差距概念,开发警报触发、无需训练的VICS-G重新排序器,在Safety-CHORES上降低安全成本1.9%-57.5%且性能损失极小。
2026-10-07 cs.AI cs.RO
CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning
Indian Institute of Technology Ropar(印度理工学院罗帕尔)
本文提出了一种安全强化学习框架,通过离线学习概率性控制-仿射动力学模型,构建考虑模型不确定性的控制屏障函数以提供保守安全约束,从而在不显著限制任务性能的情况下实现安全探索。
2026-04-26 cs.AI cs.LG
Safe Exploration of State and Action Spaces in Reinforcement Learning
Universidad Carlos III de Madrid(卡洛斯三世大学)
本文研究了强化学习中的安全探索问题。虽然强化学习非常适合具有复杂过渡动态和高维状态-动作空间的领域,但安全和有效探索的需求带来了额外的挑战。传统的探索技术对于解决危险的任务不是特别有用,其中试错过程可能导致选择动作,这些动作在某些状态下的执行可能导致对学习系统(或任何其他系统)的损害。因此,当一个智能体开始与一个危险的高维状态-动作空间进行交互时,一个重要的问题就出现了;即如何避免(或至少最小化)由于探索状态-动作空间而造成的损害。我们介绍了PI-SRL算法,它安全地改善了连续状态和动作控制任务的次优行为,并有效地从环境中获得的经验中学习。我们评估所提出的方法在四个复杂的任务:自动停车场,杆平衡,直升机悬停,和企业管理。
2014-02-04 cs.AI cs.LG
Learning Safe Numeric Planning Action Models
Software and Information Systems Engineering, Ben-Gurion University of the Negev(本·古里安大学软件与信息系统工程系);Department of Computer Science and Engineering, Washington University(华盛顿大学计算机科学与工程系)
本文提出N-SAM及N-SAM*算法,用于学习安全的数值规划动作模型,在保证安全性的前提下扩展了动作适用性,并在样本复杂度上达到最优。
2025-07-15 cs.AI cs.LG
PNAct: Crafting Backdoor Attacks in Safe Reinforcement Learning
Tongji University(同济大学)
本文提出Safe RL领域首个同时利用正负动作样本植入后门的攻击框架PNAct,通过理论分析设计攻击算法,实验验证了安全强化学习面临的后门攻击风险与可行性。
2025-07-01 cs.AI cs.LG
Lifting Embodied World Models for Planning and Control
Computer Science, New York University(纽约大学计算机科学系);BAIR, UC Berkeley(伯克利大学BAIR)
本文提出一种轻量级策略,将高层动作映射到低层关节动作序列,结合冻结的世界模型,实现预测未来观察的提升世界模型,有效降低规划复杂度。
2026-07-22 cs.AI cs.CV cs.LG
Balancing SoC in Battery Cells using Safe Action Perturbations
Indian Institute of Technology, Ropar(印度罗帕尔理工学院)
本文提出在深度强化学习智能体上叠加安全层,通过扰动充电动作避免危险状态,并学习可跨电池配置泛化的鲁棒充电策略,从而减少安全违规。
2025-03-11 cs.AI cs.LG cs.SY
Enhance Exploration in Safe Reinforcement Learning with Contrastive Representation Learning
HMI Laboratory VNU University of Engineering and Technology(VNU工程技术大学HMI实验室)
针对安全强化学习中因假阳性导致稀疏奖励环境探索不足的问题,提出利用自编码器和对比表示学习构建潜在距离安全检查,使智能体在访问不安全状态时偏向探索,实验证明该方法在MiniGrid环境中有效平衡了安全性与探索效率。
2025-03-13 cs.AI cs.LG
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题,提出可学习的安全模型进行信用分配,并通过对偶梯度方法动态调整奖励与安全的权衡,实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
SafeCommit: Certifying When Memory-Grounded Agents May Safely Act
Florida International University(佛罗里达国际大学)
针对长程智能体过早承诺的问题,提出SafeCommit风险控制层,通过构建合理潜在世界、共形动作证书等实现安全行动决策,还展示了安全-效用权衡。
2026-08-06 cs.AI cs.CL
Robust Action Governor for Uncertain Piecewise Affine Systems with Non-convex Constraints and Safe Reinforcement Learning
University of Michigan(密歇根大学)
动作调节器是标称控制回路的附加方案,该标称控制回路监视和调整控制动作以执行表示为逐点状态和控制约束的安全规范。在本文中,我们介绍了鲁棒动作总督(RAG)的系统的动态可以表示使用离散时间分段仿射(PWA)模型的参数和添加剂的不确定性和非凸约束。我们开发的理论性质和计算方法的RAG。之后,我们介绍了使用RAG来实现安全的强化学习(RL),即,确保在线强化学习探索和开发过程中的所有时间约束满足。这种发展使控制策略的安全实时演变和适应操作环境和系统参数的变化(由于老化,损坏等)。我们说明了RAG的有效性,在约束执行和安全RL使用RAG考虑他们的应用程序的质量弹簧阻尼器系统的软着陆问题。
2022-07-17 cs.AI cs.RO cs.SY
Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability
University of Virginia(弗吉尼亚大学);Google(谷歌);University of Maryland, College Park(马里兰大学 College Park 分校);Stanford University(斯坦福大学);Louisiana State University(路易斯安那州立大学);College of William and Mary(威廉与玛丽学院)
本文提出一种轻量级风险门控强化学习方法,用于部分可观测环境下风险敏感控制。通过构建紧凑的有限历史代理状态并学习动作条件化的短期安全违规预测,实现风险惩罚与决策时的保守评估,提升安全关键任务的性能与效率。
2026-05-14 cs.AI cs.LG cs.SY
Time Discretization-Invariant Safe Action Repetition for Policy Gradient Methods
Seoul National University(首尔国立大学)
在强化学习中,连续时间通常由时间尺度$δ$离散化,已知所得性能对时间尺度高度敏感。在这项工作中,我们试图找到一个$δ$不变的算法,策略梯度(PG)的方法,无论$δ$的值表现良好。我们首先确定的根本原因,导致PG方法失败的$δ\to 0$,证明了PG估计的方差可以发散到无穷大的随机环境下,一定的随机性假设。虽然可以采用持续性动作或动作重复来具有$δ$不变性,但是先前的动作重复方法不能立即对随机环境中的意外情况做出反应。因此,我们提出了一种新的$δ$不变的方法命名为安全动作重复(SAR)适用于任何现有的PG算法。SAR可以通过自适应地对动作重复期间的状态变化做出反应来处理环境的随机性。我们的经验表明,我们的方法不仅是$δ$不变的,但也强大的随机性,优于以前的$δ$不变的方法在8个MuJoCo环境中的确定性和随机设置。我们的代码可在https://vision.snu.ac.kr/projects/sar上获得。
2022-01-27 cs.AI cs.LG cs.RO
Towards Safe Reinforcement Learning with a Safety Editor Policy
Horizon Robotics(地平线机器人)
我们考虑安全的强化学习(RL)问题,最大限度地利用极低的约束违反率。假设没有先验知识或预先训练的环境安全模型给定的任务,代理必须学习,通过探索,哪些状态和动作是安全的。在这方面的研究中,一种流行的方法是将无模型RL算法与拉格朗日方法相结合,以动态地调整约束奖励相对于效用奖励的权重。它依赖于一个单一的政策来处理效用和约束奖励之间的冲突,这往往是具有挑战性的。我们提出了SEditor,一个两个政策的方法,学习安全编辑器的政策,将潜在的不安全的行动提出的效用最大化的政策到安全的。安全编辑器被训练为最大化约束奖励,同时最小化在编辑动作之前和之后的效用状态动作值的铰链损失。SEditor扩展了现有的安全层设计,假设简化的安全模型,一般的安全RL场景中,安全模型在理论上可以是任意复杂的。作为一种一阶方法,它易于实现,推理和训练效率都很高。在12个安全健身房任务和2个安全赛车任务中,SEditor获得了比基线更高的整体安全加权效用(SWU)得分,并展示了出色的效用性能,即使在障碍密集的环境中,约束违反率也低至每2k时间步一次。在某些任务中,这种低违规率比具有类似效用性能的无约束RL方法低200倍。代码可在https://github.com/hnyu/seditor上获得。
2022-10-10 cs.AI cs.LG cs.RO
Safe Control and Learning Using Generalized Action Governor
organization= School of Automotive Studies, Tongji University , city= Shanghai , postcode= 201804 , country= China;organization= Department of Aerospace Engineering, University of Michigan , city= Ann Arbor , postcode= 48109 , state= MI , country= USA;organization= Department of Aerospace Engineering, Embry-Riddle Aeronautical University , city= Daytona Beach , postcode= 32114 , state= FL , country= USA;organization= Department of Electrical Engineering, University of Texas at Arlington , city= Arlington , postcode= 76019 , state= TX , country= USA;organization= Hagler Institute for Advanced Study, Texas A\&M University , city= College Station , postcode= 77840 , state= TX , country= USA
本文提出广义动作控制器,用于在控制与学习过程中保障系统安全性和约束满足。
2026-02-01 cs.AI cs.SY eess.SY
Better Safe than Sorry: Evidence Accumulation Allows for Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
在现实世界中,智能体通常必须在信息不完整、感知能力有限和固有随机环境的情况下运行,这使得个体观测不完整和不可靠。此外,在许多情况下,最好是推迟决定,而不是冒着做出错误决定的风险。在这种情况下,有必要在采取行动之前聚合信息;然而,大多数最先进的强化学习(RL)算法偏向于采取行动\textit{at every time step},即使智能体对其选择的行动不是特别有信心。这种缺乏谨慎可能导致代理人犯严重的错误,而不管先前的经验和对环境的适应。受生物大脑决策过程中不确定性动态解决理论的启发,我们提出了一个简单的累加器模块,该模块积累有利于每个可能决策的证据,将不确定性编码为行动之间的动态竞争,并且只有当它对所选择的行动有足够的信心时才对环境起作用。代理人在默认情况下不会做出决定,而做出决定的举证责任落在了政策上,以积累强烈支持单一决定的证据。我们的研究结果表明,这个累加器模块在一个简单的猜测游戏中实现了接近最佳的性能,远远优于使用传统的强制动作选择策略的深度递归网络。
2018-09-24 cs.AI cs.LG stat.ML
Safe Exploration in Finite Markov Decision Processes with Gaussian Processes
ETH Zurich(苏黎世联邦理工学院)
在经典的强化学习中,当探索环境时,智能体接受任意的短期损失以获得长期收益。这对于安全关键应用是不可行的,例如机器人,其中甚至单个不安全的动作都可能导致系统故障。在本文中,我们解决的问题,安全地探索有限马尔可夫决策过程(MDP)。我们定义安全的一个先验未知的,安全约束,取决于状态和行动。我们的目标是探索在此约束下的MDP,假设未知函数满足通过高斯过程先验表示的正则性条件。我们开发了一种新的算法,这项任务,并证明它是能够完全探索的安全可达部分的MDP不违反安全约束。为了实现这一目标,它谨慎地探索安全的状态和动作,以便从导航环境时收集的噪声观测中获得关于未访问的状态-动作对的安全性的统计置信度。此外,该算法在探索MDP时显式地考虑可达性,确保它不会陷入任何没有安全出路的状态。我们展示了我们的方法,数字地形模型的任务,探索一个未知的地图与漫游车。
2016-11-15 cs.AI cs.LG cs.RO
CrossSafe: Towards Cross-Embodiment Latent Safety Filters
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出CrossSafe,一种具身条件化安全滤波方法,通过潜在空间中的Hamilton-Jacobi可达性分析,实现跨机器人形态的安全概念泛化,并在五个双臂操作任务中验证了零样本泛化与碰撞率降低。
2026-10-01 cs.AI cs.LG cs.RO
A Multi-Agent Reinforcement Learning Approach For Safe and Efficient Behavior Planning Of Connected Autonomous Vehicles
University of Connecticut(康涅狄格大学);University of Florida(佛罗里达大学)
无线技术的最新进展使联网的自动驾驶车辆(CAV)能够通过车辆到车辆(V2 V)通信收集有关其环境的信息。在这项工作中,我们设计了一个基于信息共享的多智能体强化学习(MARL)框架的CAV,利用额外的信息时,作出决策,以提高交通效率和安全。我们提出的安全Actor-Critic算法有两个新的技术:截断Q函数和安全动作映射。截断的Q函数利用来自相邻CAV的共享信息,使得Q函数的联合状态和动作空间在我们的大规模CAV系统的算法中不会增长。证明了截断Q函数与整体Q函数的逼近误差的界。安全动作映射为基于控制屏障函数的训练和执行提供了可证明的安全保证。使用CARLA模拟器进行实验,我们表明,我们的方法可以提高CAV系统的效率,平均速度和舒适度在不同的CAV比率和不同的交通密度。我们还表明,我们的方法避免了执行不安全的行动,并始终保持与其他车辆的安全距离。我们构建了一个弯道障碍场景,以表明共享视觉可以帮助CAV更早地观察障碍物并采取行动以避免交通堵塞。
2022-09-04 cs.AI cs.LG cs.SY
Safe Reinforcement Learning Using Robust Control Barrier Functions
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学);Outrider(Outrider公司);University of California, Irvine(加州大学欧文分校)
强化学习(RL)已被证明在许多情况下是有效的。然而,它通常需要探索足够大数量的状态-动作对,其中一些可能是不安全的。因此,将其应用于安全关键系统仍然是一个挑战。一种越来越常见的解决安全性的方法涉及添加一个安全层,该安全层将RL操作投影到一组安全的操作上。反过来,这种框架的难点是如何有效地将RL与安全层耦合以提高学习性能。在本文中,我们将安全性框架作为基于模型的RL框架中的可微鲁棒控制障碍功能层。此外,我们还提出了一种方法来模块化学习的基本奖励驱动的任务,独立的安全约束。我们证明了这种方法既确保了安全性,又有效地指导了一系列实验中训练过程中的探索,包括以模块化方式学习奖励时的zero-shot转移。
2022-06-22 cs.AI cs.LG cs.RO
Enhancing Lattice-based Motion Planning with Introspective Learning and Reasoning
Linköping University(林雪平大学)
基于格的运动规划是一种混合规划方法,其中由离散动作同时组成的规划是物理上可行的轨迹。规划考虑离散和连续方面,例如动作先决条件和配置空间中的无冲突动作持续时间。安全运动规划依赖于用于碰撞检查的校准良好的安全裕度。轨迹跟踪控制器还必须能够在该安全裕度内可靠地执行运动,以便执行是安全的。在这项工作中,我们关注的是随着时间的推移对控制器性能的内省学习和推理。不同动作的正常控制器执行是使用可靠的和不确定性感知的机器学习技术来学习的。通过校正执行偏差,我们设法大大减少运动动作的安全裕度。进行推理以验证学习的模型保持安全,并通过使用具有较小安全裕度的更准确的执行预测来提高运动规划器中的碰撞检查有效性。所提出的方法允许在正常情况下控制器性能的明确意识,并在异常情况下及时检测不正确的性能。采用仿真方法对四轴飞行器的非线性动力学进行了三维评估。视频:https://youtu.be/STmZduvSUMM
2021-12-06 cs.AI cs.LG cs.RO