MDPs with Unawareness in Robotics
我们使用连续的MDP和在连续时间间隔内发生的动作来形式化机器人和自动控制中的决策问题。然后,我们近似连续MDP使用越来越精细的离散化。这样做会产生一个系统族,每个系统都有一个非常大的动作空间,尽管只有少数动作是“有趣的”。我们可以认为决策者不知道哪些行为是“有趣的”。我们可以使用MDPU来对此进行建模,MDPs具有无意识,其中动作空间要小得多。正如我们所展示的,MDPU可以用作机器人问题中学习任务的通用框架。我们证明了一个连续的任务在一个MDPU学习一个接近最优的政策的难度的结果。我们将这些想法应用到让一个人形机器人自己学习如何走路的问题上。
2020-05-20 cs.AI cs.RO
On the Complexity of Solving Markov Decision Problems
Brown University(布朗大学)
马尔可夫决策问题(MDP)为研究自动规划和强化学习的人工智能研究人员感兴趣的许多问题提供了基础。在本文中,我们总结的结果,解决MDP的复杂性和MDP解决方案算法的运行时间。我们认为,虽然MDP可以有效地解决理论上,需要更多的研究,以揭示实用的算法,快速解决大型问题。为了鼓励未来的研究,我们勾画了一些替代的分析方法,依赖于MDP的结构。
2013-02-20 cs.AI
A Context Engineering Framework for Improving Enterprise AI Agents based on Digital-Twin MDP
IBM Software Innovation Lab(IBM软件创新实验室)
本文提出基于数字孪生MDP的上下文工程框架,通过离线强化学习提升企业AI代理性能,解决数据质量、现实推理需求和反馈信号不足等问题。
2026-03-23 cs.AI
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University(斯坦福大学)
为了在不确定性下做出好的决策,智能体必须从观察中学习。要做到这一点,两个最常见的框架是上下文强盗和马尔可夫决策过程(MDP)。在本文中,我们研究是否存在算法的更一般的框架(MDP),自动提供最佳的性能界限的具体问题在手,无需用户干预,无需修改算法。特别是,它被发现,最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语,如果部署在一个表格上下文强盗问题,尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Learning Task Automata for Reinforcement Learning using Hidden Markov Models
University of Oxford(牛津大学);Microsoft Azure Quantum(微软Azure量子部门)
针对强化学习中非马尔可夫稀疏奖励下奖励手工设计易出错的问题,提出基于隐马尔可夫模型Baum-Welch算法学习乘积MDP并提取任务自动机的方法,可加速策略学习、具备可解释性且适用于迁移学习,实验验证了其性能。
2023-10-03 cs.AI cs.LG
Tradeoff-Focused Contrastive Explanation for MDP Planning
Carnegie Mellon University(卡内基梅隆大学)
随着自动化决策和规划越来越多地用于人们生活的许多方面,最终用户对自动化代理的信任非常重要。在实际的规划应用中,往往涉及多个优化目标。因此,规划代理的决策可能涉及竞争目标之间的复杂权衡。最终用户可能很难理解为什么代理根据其目标值决定特定的规划解决方案。其结果是,用户可能不知道代理是否作出正确的决定,并可能缺乏信任it.In这项工作中,我们贡献了一种方法,基于对比解释,使多目标MDP规划代理解释其决策的方式,沟通其权衡的理由,在域级别的概念。我们进行了人类受试者的实验,以评估我们的解释方法在移动机器人导航域的有效性。结果表明,我们的方法显着提高了用户的理解,并在他们的理解,规划代理的权衡理由的信心。
2020-08-02 cs.AI cs.HC
Solving Multi-Objective MDP with Lexicographic Preference: An application to stochastic planning with multiple quantile objective
Georgia Institute of Technology(佐治亚理工学院)
在马尔可夫决策过程(MDP)的大多数常见设置中,代理基于(折扣)奖励总和的期望来评估策略。然而在许多应用中,该准则从两个角度看可能并不适用:第一,在风险规避情形下,累积报酬的期望值不够稳健,这是累积报酬分布严重偏斜的情况;另一个问题是许多应用在评估策略时自然地考虑几个目标,例如,在自动驾驶中,当选择适当的决策时,代理需要平衡速度和安全性。在本文中,我们考虑评估一个策略的基础上的一系列的分位数,它诱导的一组目标状态,我们的想法是将原来的问题转化为一个多目标MDP问题的字典偏好自然定义。对于寻找最优策略的计算,我们提出了一个算法\textbf{FLMDP},它可以解决一般的多目标MDP与字典式奖励偏好。
2017-05-10 cs.AI
Regret Bound Balancing and Elimination for Model Selection in Bandits and RL
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
我们提出了一个简单的模型选择方法的算法在随机强盗和强化学习问题。相对于先前的工作,(隐式)假设知识的最佳遗憾,我们只需要每个基础算法来与候选人遗憾界,可能会或可能不会举行在所有回合。在每一轮中,我们的方法都使用一个基本算法来保持所有剩余基本算法的候选遗憾界限的平衡,并消除违反其候选界限的算法。我们证明了这种方法的总遗憾是有界的最佳有效的候选人遗憾界乘以乘法因子。该因子在几个应用中相当小,包括具有嵌套函数类的线性Bandits和MDP、具有未知错误指定的线性Bandits以及应用于具有不同置信度参数的线性Bandits的LinUCB。我们进一步表明,在适当的间隙假设下,当轮数足够大时,该因子仅与基本算法的数量成比例,而不是其复杂度。最后,与最近在线性随机强盗模型选择方面的努力不同,我们的方法具有足够的通用性,可以覆盖由对抗环境而不是随机环境生成上下文信息的情况。
2020-12-24 cs.AI cs.LG stat.ML
Solving Factored MDPs with Hybrid State and Action Variables
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
具有连续和离散变量的大型决策问题的有效表示和解决方案是自动决策支持系统设计者面临的最重要的挑战之一。在本文中,我们描述了一种新的混合因子马尔可夫决策过程(MDP)模型,允许这些问题的紧凑表示,和一个新的混合近似线性规划(HALP)框架,允许他们的有效解决方案。HALP的核心思想是通过基函数的线性组合来逼近最优价值函数,并通过线性规划来优化其权重。我们分析了这种方法的理论和计算方面,并证明了它的放大潜力的几个混合优化问题。
2011-09-30 cs.AI
Optimal Path Planning of Autonomous Marine Vehicles in Stochastic Dynamic Ocean Flows using a GPU-Accelerated Algorithm
Indian Institute of Science Bangalore(班加罗尔印度科学研究所)
自主海洋航行器在许多海洋科学和工程应用中发挥着至关重要的作用。规划这些车辆在随机动态海洋环境中航行的时间和能量最优路径对于降低运营成本至关重要。在某些任务中,它们还必须收集太阳能、风能或波浪能(建模为随机标量场),并以最小化净能耗的最佳路径移动。马尔可夫决策过程(MDP)提供了一个自然的框架,在这样的环境中的机器人代理顺序决策。然而,建立一个现实的模型,并解决建模MDP在大规模的实时应用中变得计算昂贵,不需要并行算法和高效的实现。在目前的工作中,我们引入了一个高效的端到端GPU加速算法,该算法(i)构建MDP模型(计算转移概率和预期的一步奖励);(ii)求解MDP以计算最优策略。我们开发了方法和算法解决方案,以克服GPU有限的全局内存,通过(i)使用海洋流的动态降阶表示,(ii)利用状态转移概率矩阵的稀疏性,(iii)引入相邻子网格的概念;(iv)证明仅使用随机标量场的平均值就足以计算期望值-步骤奖励涉及从环境中收集能量的任务;从而节省内存并减少计算工作量。我们在模拟的随机动态环境中演示了该算法,并强调它构建了MDP模型,计算最优策略的速度比传统的CPU实现快600- 1000倍,使其适合实时使用。
2021-09-20 cs.AI cs.DC cs.RO
Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic
The University of Iowa(爱荷华大学);University of Oxford(牛津大学);University of Science and Technology of China(中国科学技术大学)
研究了在连续状态空间和动作空间上转移概率未知的马尔可夫决策过程(MDP)模型下自治动力系统的运动规划问题。线性时序逻辑(LTL)用于描述无限时域上的高级任务,它可以转换为具有多个接受集的极限确定性广义Büchi自动机(LDGBA)。新颖之处是设计一个嵌入式产品MDP(EP-MDP)之间的LDGBA和MDP通过纳入一个同步跟踪前沿功能,记录未访问的接受集的自动机,并促进接受条件的满足。提出的基于LDGBA的无模型强化学习(RL)奖励塑造和折扣方案仅依赖于EP-MDP状态,可以克服奖励稀疏的问题。严格的分析表明,任何优化预期贴现收益的RL方法都能保证找到一个最优策略,其轨迹使满意概率最大化。一个模块化的深度确定性策略梯度(DDPG),然后开发,以产生这样的政策在连续的状态和动作空间。我们的框架的性能通过一系列OpenAI健身房环境进行评估。
2022-01-23 cs.AI cs.FL cs.LG
Play to Grade: Testing Coding Games as Classifying Markov Decision Process
Stanford University(斯坦福大学)
当代的编程教育经常给学生提出开发具有用户交互和复杂动态系统的程序的任务,例如基于鼠标的游戏。虽然在教学上很有吸引力,但目前还没有提供反馈的自主方法。值得注意的是,交互式程序不可能通过传统的单元测试来评分。在本文中,我们正式提出的挑战,提供反馈的交互式程序作为一项任务的分类马尔可夫决策过程(MDP)。每个学生的程序完全指定了一个MDP,其中代理需要在合理的泛化下操作和决定,如果输入MDP的动态和奖励模型应该被分类为正确或损坏。我们证明,通过设计代理和自回归模型之间的合作目标,我们可以使用代理从输入MDP,允许分类器来确定成员的差分轨迹采样:发挥等级。我们的方法使一个自动反馈系统的交互式代码分配。我们发布了一个包含711,274名匿名学生提交的数据集,这些学生提交了一个带有手工编码错误标签的作业,以支持未来的研究。
2021-12-14 cs.AI cs.CY cs.LG
Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
Brown University(布朗大学)
我们提出了一种方法来解决隐式(因子化)马尔可夫决策过程(MDP)非常大的状态空间。我们引入了一个属性的状态空间分区,我们称之为ε-均匀性。直观地说,ε-同构分区将在所有策略或策略的某个子集下行为大致相同的状态分组在一起。借用最近的工作模型最小化的计算机辅助软件验证,我们提出了一个算法,采取一个因子表示的MDP和0<= 1 <=1,并计算一个因子ε-齐次分区的状态空间。该分区定义了一系列相关的MDP-具有等于分区的块的状态空间的那些MDP,以及“近似”像源块中的任何(原始MDP)状态的那些的转移概率。为了正式研究这样的家庭的MDP,我们引入了一个新的概念“有界参数MDP”(BMDP),这是一个家庭(传统)MDP定义的转移概率和奖励的上限和下限。我们描述的算法,操作BMDP找到的政策是近似最优的原始MDP。结合,我们的方法减少一个大的隐式MDP可能更小的BMDP使用ε-均匀分区,我们的方法选择行动BMDP构成了一个新的方法来分析大隐式MDP。在其优点中,这种新方法提供了对现有算法的深入了解,以解决隐式MDP,提供了有用的连接,工作在自动机理论和模型最小化,并建议的方法,其中涉及不同的时间间隔,交易的时间和空间(特别是在相应的状态空间的大小方面)的解决方案的质量。
2013-02-06 cs.AI
Feature Reinforcement Learning: Part I: Unstructured MDPs
通用的、智能的、学习型的智能体在复杂的、不确定的、未知的和非马尔可夫的观察、行动和奖励序列中循环。另一方面,强化学习对于小的有限状态马尔可夫决策过程(MDP)已经发展得很好。到目前为止,从裸观测中提取正确的状态表示,也就是说,将一般代理设置减少到MDP框架,是一门涉及设计人员大量工作的艺术。这项工作的主要目标是自动化的减少过程,从而显着扩大了许多现有的强化学习算法和代理,采用它们的范围。在我们考虑将这种寻找合适的MDP的过程机械化之前,我们需要一个正式的客观标准。本文的主要贡献是发展这样一个标准。我还将各个部分集成到一个学习算法中。扩展到更现实的动态贝叶斯网络开发在第二部分。POMDPs的作用也被认为是在那里。
2009-06-09 cs.AI cs.IT cs.LG
Scalability Optimization in Cloud-Based AI Inference Services: Strategies for Real-Time Load Balancing and Automated Scaling
Electrical and Computer Engineering Department, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系)
针对云AI推理服务的动态负载,提出结合强化学习与深度神经网络的混合框架,实现实时负载均衡与自动扩展,效率提升35%、延迟降低28%。
2025-04-16 cs.AI cs.DC
Reinforcement Learning for Omega-Regular Specifications on Continuous-Time MDP
University of Colorado Boulder(科罗拉多大学博尔德分校);Tata Institute of Fundamental Research(塔塔基础研究所)
连续时间马尔可夫决策过程(CTMDPs)是描述密集时间和随机环境下序列决策的规范模型。当环境的随机演化只能通过采样获得时,无模型强化学习(RL)是计算最优决策序列的首选算法。另一方面,RL要求学习目标被编码为标量奖励信号。由于手动进行这种转换既繁琐又容易出错,因此已经提出了许多技术来将高级目标(以逻辑或自动机形式表示)转换为离散时间马尔可夫决策过程(MDP)的标量奖励。不幸的是,CTMDPs没有自动翻译。我们认为CTMDP环境的学习目标表示为欧米茄-正则语言。Omega-正则语言将正则语言推广到无限时域规范,并且可以表达流行的线性时间逻辑LTL中给出的属性。为了适应CTMDPs的密集时间性质,我们考虑了两种不同的语义的ω-正则目标:1)满意语义,其中学习者的目标是最大化花费积极的时间在良好状态的概率,和2)期望语义,其中学习者的目标是优化长期运行的预期平均时间花费在自动机的“良好状态”。我们提出了一种方法,使正确的翻译标量奖励信号,可以很容易地使用现成的RL算法CTMDPs。我们证明了所提出的算法的有效性,通过评估它在一些流行的CTMDP基准与欧米茄定期目标。
2023-03-16 cs.AI cs.LG math.OC
Bourbaki: Self-Generated and Goal-Conditioned MDPs for Theorem Proving
Huawei Noah’s Ark Lab(华为诺亚实验室);Imperial College London(伦敦帝国学院);Huawei Lagrange Center(华为拉格朗日中心);UCL Centre for AI(大学学院人工智能中心)
本文提出自生成目标条件MDP框架,通过让智能体基于证明状态生成并追求子目标,结合MCTS搜索与多个7B模型集成,在PutnamBench上以Bourbaki(7B)解决26个问题,取得该规模模型的新SOTA。
2025-07-03 cs.AI cs.LG
Anytime State-Based Solution Methods for Decision Processes with non-Markovian Rewards
The Australian National University(澳大利亚国立大学);Universite de Sherbrooke(舍布鲁克大学)
一个流行的方法来解决决策过程与非马尔可夫奖励(NMRDP)是利用奖励函数的紧凑表示自动转换NMRDP到一个等价的马尔可夫决策过程(MDP)服从我们最喜欢的MDP解决方案的方法。本文的贡献是表示非马尔可夫奖励函数和翻译成MDP的目的是尽可能利用状态为基础的任何时候算法的解决方法。通过显式地构造和探索状态空间的一部分,这些算法能够交易的政策质量的计算时间,并已被证明在处理大型MDPs相当有效。我们的表示扩展了未来的线性时序逻辑(FTL)来表示奖励。我们的翻译具有在求解方法中嵌入模型检查的效果。它导致了在不超出随时框架的情况下可实现的最小大小的MDP,从而在截止日期之前产生更好的策略。
2012-12-12 cs.AI
Balancing Performance and Human Autonomy with Implicit Guidance Agent
National Institute of Informatics(国立情报学研究所)
人类-智能体团队是人类和自主智能体合作完成一项任务的问题,是人类-人工智能协作中的典型问题。对于有效的协作,人类希望有一个有效的计划,但在现实情况下,由于认知限制,他们可能很难计算出最佳计划。在这种情况下,来自具有许多计算资源的代理的指导可能是有用的。然而,如果一个代理明确地指导人类的行为,人类可能会觉得他们失去了自主权,并被代理控制。因此,我们研究了通过代理人的行为提供的隐式指导。有了这种类型的指导,智能体的行为方式使人类很容易找到一个有效的合作任务计划,然后人类可以改进计划。由于人类自愿改进他们的计划,他或她保持自主性。我们通过将贝叶斯心理理论整合到现有的协作规划算法中,建立了一个具有隐式指导的协作代理模型,并通过行为实验证明,隐式指导可以有效地使人类在改善计划和保持自主性之间保持平衡。
2021-09-01 cs.AI
Implementation and Comparison of Solution Methods for Decision Processes with Non-Markovian Rewards
本文研究了一些解决方法的决策过程与非马尔可夫奖励(NMRDPs)。他们都利用时间逻辑规范的奖励函数自动翻译成一个等价的马尔可夫决策过程(MDP)服从著名的MDP解决方案的方法NMRDP。然而,它们在目标MDP的表示和它们适合的MDP解决方案方法的类别方面有所不同。因此,它们采用不同的时间逻辑和不同的翻译。不幸的是,没有实施这些方法,也没有实验,更不用说比较结果的报告。本文是填补这一空白的第一步。我们描述了一个集成的系统,解决NMRDPs实现这些方法和几个变种下一个共同的接口,我们用它来比较各种方法,并确定有利于一个问题的功能超过其他。
2012-10-19 cs.AI
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs
Singapore Management University(新加坡管理大学);University of Toronto(多伦多大学)
深度学习的最新进展通过将参数策略编码为深度神经网络并在基于端到端模型的梯度下降框架中利用自动微分,为连续MDP规划优化了深度反应策略(DRP)。这种方法已被证明对优化非线性连续MDP中的DRP是有效的,但它需要大量的采样轨迹来有效学习,并且可能会受到解决方案质量的高方差的影响。在这项工作中,我们重新审视了整体基于模型的DRP目标,而是采取最小化最大化的角度来迭代优化DRP w.r.t.局部紧下界目标这种将DRP学习作为迭代下限优化(ILBO)的新公式特别有吸引力,因为(i)每个步骤在结构上比整体目标更容易优化,(ii)它保证了在某些理论条件下单调改进的目标,以及(iii)它在迭代之间重用样本,从而降低了样本复杂度。实证评估证实,ILBO是显着更高的采样效率比国家的最先进的DRP计划,并始终产生更好的解决方案质量与较低的方差。我们还证明了ILBO可以很好地推广到新的问题实例(即,不同的初始状态)而不需要再训练。
2022-03-23 cs.AI cs.LG
Novel Memory Forgetting Techniques for Autonomous AI Agents: Balancing Relevance and Efficiency
本文提出一种自适应预算遗忘框架,通过相关性引导评分和有界优化,提升长周期对话任务的F1分数和记忆一致性,减少虚假记忆。
2026-04-02 cs.AI cs.CV
Speeding Up Planning in Markov Decision Processes via Automatically Constructed Abstractions
University of Alberta(阿尔伯塔大学)
在本文中,我们考虑规划随机最短路径(SSP)问题,马尔可夫决策问题(MDP)的一个子类。我们专注于中等规模的问题,其状态空间可以完全枚举。这个问题有许多重要的应用,如导航和规划下的不确定性。我们提出了一种新的方法来构建一个多层次的层次结构,逐步简单的抽象的原始问题。一旦计算完成,层次结构就可以用来加速规划,首先找到最抽象级别的策略,然后递归地将其细化为原始问题的解决方案。这种方法是完全自动化的,并提供了两个数量级的速度比最先进的MDP求解器的样本问题,同时返回接近最佳的解决方案。我们还证明了理论界的解决方案的最优性损失所造成的使用抽象。
2012-06-13 cs.AI
An Anytime Algorithm for Task and Motion MDPs
Arizona State University(亚利桑那州立大学);United Technologies Research Center(联合技术研究中心);University of Massachusetts(马萨诸塞大学)
集成的任务和运动规划已经成为一个具有挑战性的问题,在顺序决策,机器人需要计算高层次的战略和低层次的运动计划,以解决复杂的任务。虽然高层次的战略需要在较长的时间范围和规模的决策,其可行性取决于低层次的约束条件的基础上的几何形状和环境的连续动态。这个问题的混合性质使其难以扩展;大多数现有的方法都集中在确定性,完全可观察的场景。我们提出了一种新的方法,高层次的决策问题发生在一个随机设置,可以建模为马尔可夫决策过程。在以前的努力相比,我们表明,完整的MDP政策,或偶然的行为,可以有效地计算在任何时候的时尚。我们的算法不断提高解决方案的质量,并保证概率完整。我们评估我们的方法上的一个具有挑战性的,现实的测试问题:自主飞机检查的性能。我们的研究结果表明,我们可以有效地计算一致的任务和运动的政策,最有可能的执行时间的结果,只使用一小部分的计算所需的开发完整的任务和运动的政策。
2018-02-16 cs.AI
Preference-Based Planning in Stochastic Environments: From Partially-Ordered Temporal Goals to Most Preferred Policies
Missouri State University(密苏里州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Florida(佛罗里达大学);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
本文研究随机系统中基于偏序时序偏好的规划问题,提出偏好自动机模型,并将最偏好策略求解转化为多目标MDP中的Pareto最优策略计算。
2024-10-18 cs.AI cs.FL cs.LO
Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对自回归文本到图像生成中人类偏好对齐问题,提出统一f-散度框架,理论分析不同散度对策略优化的影响,实验证明JS散度在性能与多样性间取得最佳平衡。
2026-06-23 cs.AI cs.LG
Counterexample-guided Planning
UC Berkeley(加州大学伯克利分校);EPFL(洛桑联邦理工学院);UC San Diego(加州大学圣迭戈分校);UC Los Angeles(加州大学洛杉矶分校)
对抗性和不确定性环境中的规划问题可以建模为随机完全信息博弈中的策略设计问题。这些游戏是马尔可夫决策过程(MDP)的推广:有两个(对抗性)玩家和一个随机性来源。在这类博弈中计算获胜策略的主要实际障碍是状态空间的大小。因此,在实践中,人们通常使用模型的抽象。困难的是提出一个抽象,既不能太粗糙而不能删除所有获胜的策略(计划),也不能太精细而不能处理。在验证中,反例引导的抽象精化的范例已经成功地自动构造有用但简约的抽象。我们将这种范式扩展到概率模型(即完美信息博弈,作为特例,MDP)。这使我们能够将反例引导的抽象范式应用于AI规划问题。作为特殊情况,我们得到了MDP和确定性系统的规划算法,自动构建系统抽象。
2012-07-04 cs.AI cs.GT
Certified Policy Verification and Synthesis for MDPs under Distributional Reach-avoidance Properties
Indian Institute of Technology Bombay(印度理工学院孟买分校);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Lancaster University Leipzig(莱斯特兰卡斯特大学);Singapore Management University(新加坡管理大学)
针对 MDP 的分布可达-规避规范,提出可检查的分布可达-规避证书及策略验证、策略-证书联合综合方法,并在机器人集群等示例中验证有效性。
2024-05-07 cs.AI cs.LO
Probabilistic Planning with Partially Ordered Preferences over Temporal Goals
University of Florida(佛罗里达大学)
在本文中,我们研究规划随机系统,建模为马尔可夫决策过程(MDP),在时间上扩展的目标的偏好。先前的工作时间规划的偏好假设用户的偏好形成一个总的顺序,这意味着每对结果是相互比较的。在这项工作中,我们考虑的情况下,可能的结果的偏好是一个偏序,而不是一个总的顺序。我们首先介绍了一个变种的确定性有限自动机,称为偏好DFA,用于指定用户的偏好在时间上扩展的目标。基于序理论,我们将偏好DFA转化为一个标记MDP中的概率规划策略偏好关系。在这种治疗中,最优选的政策诱导弱随机非支配概率分布的有限路径的MDP。所提出的规划算法取决于一个多目标MDP的建设。我们证明了弱随机非支配政策的偏好规格是帕累托最优的构造多目标MDP,反之亦然。在整个文件中,我们采用了一个运行的例子来证明所提出的偏好规范和解决方案的方法。我们使用的例子与详细的分析,我们的算法的有效性,然后讨论可能的未来方向。
2023-03-07 cs.AI cs.RO
Heuristics, Answer Set Programming and Markov Decision Process for Solving a Set of Spatial Puzzles
Centro Universitário FEI(FEI大学中心);University of Corunna(科鲁尼亚大学)
由刚性物体、柔性弦和孔洞组成的空间谜题为人们对日常生活中常见的空间实体进行推理提供了有趣的领域。这项工作的目标是调查这类问题的自动化解决方案,采用一种算法,结合答案集编程(ASP)与马尔可夫决策过程(MDP),算法oASP(MDP),使用启发式算法加速学习过程。ASP被用来表示域作为一个MDP,而强化学习算法(Q学习)被用来找到最优策略。在这项工作中,数学是从放松版本的难题的解决方案。实验进行了确定性,非确定性和非平稳版本的难题。结果表明,所提出的方法可以加速学习过程中,呈现出优势相比,非启发式版本的oASP(MDP)和Q-Learning。
2019-02-16 cs.AI cs.LG
Novel Multi-Agent Action Masked Deep Reinforcement Learning for General Industrial Assembly Lines Balancing Problems
Department of Mechanical and Aerospace Engineering, Carleton University(机械与航空航天工程系,卡尔顿大学)
本文针对通用工业装配线平衡问题,提出基于MDP建模的多智能体深度强化学习方法,结合动作掩码与集中训练分散执行框架,显著加快收敛到最优解的速度。
2025-07-22 cs.AI
Reinforcement Learning with Non-Markovian Rewards
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
标准的RL世界模型是马尔可夫决策过程(MDP)的模型。MDP的一个基本前提是奖励仅取决于最后的状态和动作。然而,许多现实世界的奖励是非马尔可夫的。例如,如果国家只记录当前的请求和交付,那么仅在请求较早且尚未送达时才提供咖啡的奖励是非马尔可夫的。过去的工作考虑了用非马尔可夫奖励(NMR)建模和解决MDP的问题,但我们不知道用NMR进行RL的原则性方法。在这里,我们解决的问题,策略学习从经验与这种奖励。我们描述和经验评估四个组合的经典RL算法Q-学习和R-max与自动机学习算法,以获得新的RL算法与NMR域。我们还证明了这些变种收敛到一个最优策略的限制。
2019-12-05 cs.AI
Learning Efficient Representations for Reinforcement Learning
University Of Washington(华盛顿大学)
马尔可夫决策过程(MDP)是解决不确定性下序列决策问题的一个研究框架。基于动态规划的MDP精确求解方法,如策略迭代法和值迭代法,对小问题是有效的。在具有大离散状态空间或连续状态空间的问题中,紧致表示对于提供MDP的有效近似解是必不可少的。常用的近似算法涉及构造用于将价值函数投影到低维子空间上的基函数,以及构建因子化或分层图形模型以分解转移和奖励函数。然而,为给定的强化学习(RL)任务手工编码一个良好的紧凑表示可能非常困难和耗时。最近的方法试图自动发现RL的有效表示。在这篇论文中,我们讨论了基于核的强化学习的结构化核的自动构造问题,这是一种流行的学习价值函数的非参数近似的方法。我们探索的内核结构,这是从基础内核使用上下文无关文法组成的空间。我们研究了一个贪心算法搜索的结构空间。为了证明学习的结构如何在紧凑性和效率方面表示和近似原始RL问题,我们计划在合成问题上评估我们的方法,并将其与其他RL基线进行比较。
2015-08-28 cs.AI
Contingency Planning Using Bi-level Markov Decision Processes for Space Missions
Stanford University(斯坦福大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
本文提出双层 MDP 框架,用于解决行星巡视器任务中因动作空间大和时间范围长导致的计算难题,并在 RoverGridWorld 上验证了其计算可处理性与近最优策略。
2024-02-26 cs.AI cs.RO
Dynamic Simplex: Balancing Safety and Performance in Autonomous Cyber Physical Systems
Vanderbilt University(范德堡大学);Technical University of Munich(慕尼黑工业大学)
学习使能组件(LEC)极大地帮助了信息物理系统实现更高水平的自主性。然而,LEC对动态和不确定的操作条件的敏感性是这些系统的安全性的关键挑战。冗余控制器架构已被广泛采用,以确保在这种情况下的安全。这些架构增强了LEC“高性能”控制器,这些控制器很难与“安全”控制器以及在它们之间切换的决策逻辑进行验证。虽然这些架构确保了安全性,但我们指出了两个限制。首先,它们被离线训练以学习总是选择保持系统安全的控制器的保守策略,这限制了系统对动态和非平稳环境的适应性。第二,它们不支持从安全控制器到性能控制器的反向切换,即使当对安全的威胁不再存在时也是如此。为了解决这些限制,我们提出了一个动态的单工策略,允许双向切换的在线控制器切换逻辑。我们认为切换作为一个顺序的决策问题和模型,它作为一个半马尔可夫决策过程。我们利用使用代理模型的短视选择器(用于正向切换)和非短视规划器(用于反向切换)的组合来平衡安全性和性能。我们评估这种方法使用自动驾驶汽车的案例研究在CARLA模拟器使用不同的驾驶条件,位置和组件故障。我们表明,所提出的方法的结果在更少的冲突和更高的性能比国家的最先进的替代品。
2023-02-20 cs.AI cs.RO
Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata
Lehigh University(理海大学);The University of Iowa(爱荷华大学);University of Science and Technology of China(中国科学技术大学)
研究了不确定性条件下运动规划的控制综合问题。考虑机器人运动和环境属性的不确定性,提出了概率标记马尔可夫决策过程(PL-MDP)。一种无模型强化学习(RL)方法被开发来生成有限记忆控制策略,以满足线性时序逻辑(LTL)公式表示的高级任务。由于不确定性和潜在的冲突任务,这项工作的重点是不可行的LTL规范,放松LTL约束的开发,允许代理修改其运动计划,并考虑到部分满意的原始任务的侵犯。并提出了一种新的自动机,以提高接受奖励的密度,使确定性的政策。我们提出了一个具有严格分析的RL框架,该框架保证以降序实现多个目标:1)满足放松产品MDP的接受条件,2)降低长期行为的违规成本。我们提供模拟和实验结果来验证性能。
2023-01-30 cs.AI cs.FL cs.RO
AutoFlow: Hotspot-Aware, Dynamic Load Balancing for Distributed Stream Processing
流应用程序被广泛部署在云上。虽然Flink和Spark Streaming等现代分布式流媒体系统可以高效地调度和执行它们,但流媒体数据流通常动态变化,这可能会导致计算不平衡和反压。我们介绍AutoFlow,一个自动的,热点感知的动态负载平衡系统的流媒体流。它采用了一个集中式调度器,动态地监视整个子网中的负载平衡,并相应地实现状态迁移。调度器使用简单的异步分布式控制消息机制和热点减少算法来实现这两个任务。定时机制支持隐式屏障和高效的状态迁移,而无需全局屏障或暂停操作符。它还支持基于时间窗口的负载平衡测量,并将它们馈送到热点减少算法,而无需用户干扰。我们在Ray之上实现了AutoFlow,Ray是一个基于参与者的分布式执行框架。我们基于各种流基准数据集的评估表明,AutoFlow实现了良好的负载平衡,并在高度数据偏斜的工作负载下产生低延迟开销。
2021-03-16 cs.SY eess.SY
Ensemble Control of Cycling Energy Loads: Markov Decision Approach
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Skoltech(斯科尔科沃科学技术学院);Wayne State University(韦恩州立大学)
本文采用马尔可夫决策过程框架研究群体控制具有周期性能耗模式的设备,提出线性可解MDP模型,探讨两种不同设置下的最优策略与福利惩罚最小化问题,并讨论修改后的MDP动态规划特性及应用。
2017-10-23 cs.SY eess.SY physics.data-an
On the Control of Self-Balancing Unicycles
Saarland University(萨尔兰州立大学)
本文探讨了设计带有脚踏发电和速度控制的自平衡单轮车问题,提出基于混合自动机的抽象模型及控制器设计要求,通过简化假设使模型适用于验证工具,并开发仿真框架进行实验。
2015-11-13 cs.SY eess.SY
Four-Transistor Four-Diode (4T4D) Series/Parallel Chopper Module for Auto-Balancing STATCOM and Low Control and Development Complexity
本文提出了一种基于4T4D斩波单元的STATCOM模块,通过四晶体管实现双向并联,无需电压传感器,同时改进输出质量,通过仿真和实验验证了其有效性。
2026-03-28 cs.SY eess.SY
Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees
University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中,我们提出了一个无模型的RL算法来合成控制策略,最大限度地满足高层次的控制目标的概率作为线性时序逻辑(LTL)公式。不确定性被认为是在工作空间的属性,工作空间的结构,和代理的行动,从而产生一个概率标记的马尔可夫决策过程(PL-MDP)与未知的图形结构和随机行为,这是更一般的情况下,比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机(LDBA),然后将其用于PL-MDP的即时产品中。此后,我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后,我们表明,RL算法提供了一个政策,最大限度地满足概率渐近。我们提供的实验结果表明,所提出的方法的效率。
2019-09-11 cs.LG cs.LO cs.SY