On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Minimizing the Outage Probability in a Markov Decision Process
Mitsubishi Electric R&D Centre Europe(三菱电机欧洲研发中心)
标准马尔可夫决策过程(MDP)和强化学习算法相对于期望增益来优化策略。我们提出了一种算法,使优化的替代目标:增益大于给定值的概率。该算法可以看作是数值迭代算法的一种推广。我们还展示了如何将所提出的算法推广到使用神经网络,类似于Q学习的深度Q学习扩展。
2023-03-03 cs.LG
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science(印度科学学院)
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限(UCB)以及后验或汤普森采样(PSRL)的哲学,并在一般设置的连续状态和动作空间时,真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间(RKHS)。
2019-11-04 cs.LG stat.ML
Mean-Variance Optimization in Markov Decision Processes
Technion(以色列理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们考虑有限时域马尔可夫决策过程下的性能指标,涉及的平均值和方差的累积奖励。我们发现,无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的,而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Blackwell Online Learning for Markov Decision Processes
New York University(纽约大学)
这项工作提供了一个新的解释马尔可夫决策过程(MDP)从在线优化的观点。在这样的在线优化上下文中,MDP的策略被视为决策变量,而相应的价值函数被视为来自环境的回报反馈。基于这种解释,我们构建了一个Blackwell游戏诱导的MDP,它的桥梁之间的差距遗憾最小化,Blackwell可接近性理论,学习理论MDP。具体来说,从可逼近性理论,我们提出了1)Blackwell值迭代离线规划和2)Blackwell $Q-$学习在线学习在MDP,这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
Refined Analysis of FPL for Adversarial Markov Decision Processes
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们考虑对抗马尔可夫决策过程(MDP)问题,其中MDP的奖励可以被对抗地选择,并且转移函数可以是已知的或未知的。在这两种情况下,在以前的文献中已经提出了基于跟随扰动领导者(FPL)的算法。然而,基于FPL的算法建立的遗憾界比基于镜像下降的算法差。我们改进了FPL算法的分析,在这两种设置,匹配当前最好的遗憾界限,使用更快,更简单的算法。
2020-08-21 cs.LG stat.ML
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University(厄特沃什·罗兰大学)
强化学习具有坚实的基础,但在部分观察(非马尔可夫)环境中变得低效。因此,一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构,利用组合策略优化来克服非马尔可夫性,并开发有效的行为,这是很容易继承的,测试的行为状态的马尔可夫属性,并纠正非马尔可夫性通过运行一个确定性因子有限状态模型,它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院)
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程(HiP-MDP),一个框架,参数化一个家庭的相关动力系统与一组低维的潜在因素,并介绍了半参数回归方法从数据中学习其结构。在控制设置中,我们表明,一个学习的HiP-MDP快速识别一个新的任务实例的动态,允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Scalable Verification of Markov Decision Processes
Inria Rennes – Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心)
马尔可夫决策过程(MDP)是有用的模型并发过程优化问题,但验证它们的数值方法往往是棘手的。现有的近似方法不能很好地扩展,并且仅限于无记忆存储器。在这里,我们提出了MDPS的可扩展性验证的基础上,使用一个O(1)的历史相关的存储器表示。因此,我们促进可扩展的学习技术和大规模并行验证的使用。
2014-09-17 cs.DC cs.DS cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心,科技研究局(A*STAR));Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡高性能计算研究所,科技研究局(A*STAR));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种镜像下降策略优化方法,用于鲁棒约束马尔可夫决策过程,通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria(法国国家信息与自动化技术研究所);University of Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);Villeneuve-d’Ascq, France(法国里尔大学城)
研究结构化MDP中最优策略的几何特性,提出基于边界的策略近似方法,直接学习策略区域,并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
A Sliding-Window Algorithm for Markov Decision Processes with Arbitrarily Changing Rewards and Transitions
Montanuniversität Leoben(莱奥本矿业大学)
我们考虑在改变马尔可夫决策过程中的强化学习,其中状态转移概率和奖励函数都可能随时间而变化。对于这个问题的设置,我们提出了一个算法,使用滑动窗口的方法,并提供性能保证的最佳非平稳政策评估的遗憾。我们还描述了适合我们的算法的最佳窗口大小。这些结果的补充样本的复杂性约束的次优的步骤所采取的算法。最后,我们提出了一些实验结果来支持我们的理论分析。
2018-05-25 cs.LG stat.ML
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain(天主教鲁汶大学);Lund University(隆德大学)
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景,提出的度量定义良好且可在有限时域下高效近似,数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion(以色列理工学院);National University of Singapore(新加坡国立大学)
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程(MDP)的时间复杂度相当于标准(非鲁棒)MDP这是显着快于任何现有的方法。我们这样做,通过推导出最佳的鲁棒贝尔曼算子的具体形式,使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式,这些策略是一种新的阈值策略,其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明,在单链马尔可夫决策过程中的最优(平稳)政策的组合是最优的。也就是说,设M是一个具有状态空间S,动作空间A和策略π_j^* 的单链马尔可夫决策过程:S -> A(1 \leq j \leq n),具有最优的平均无限时域报酬。然后这些策略的任何组合π,其中对于S中的每个状态i,存在j使得π(i)=π_j^*(i),也是最优的。此外,我们证明了任何最优策略的混合,其中在状态i的每次访问中,选择最优策略的任意动作π_j^*(i),也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto(多伦多大学);Vector Institute(向量研究所);Schwartz Reisman Institute for Technology and Society(施瓦茨·赖斯曼技术与社会研究所);University of Waterloo(滑铁卢大学)
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性,本文界定其多类性质,探究记忆与公平策略构建的关联,提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd(Giga设计自动化有限公司);Shenzhen 518055, China(中国深圳518055)
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决,特别是Q学习技术。针对稀疏求解器的主要模块:最小度排序、任务调度和自适应旋转,提出了一些Q学习算法。最后,我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
Quantifying First-Order Markov Violations in Noisy Reinforcement Learning: A Causal Discovery Approach
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出结合PCMCI因果发现与马尔可夫违背分数(MVS)的方法,用于检测噪声和部分可观测性对强化学习单步转移假设的破坏,并通过经典控制任务验证关键状态维度对保持马尔可夫一致性和学习性能的重要性。
2025-06-01 cs.AI cs.LG stat.ML
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University(哈佛大学)
我们提出了两个优雅的解决方案建模连续时间动态,在一个新的基于基于模型的强化学习(RL)框架半马尔可夫决策过程(SMDP),使用神经常微分方程(ODE)。我们的模型准确地描述了连续时间动态,使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表,以减少与环境的交互率,同时保持接近最佳的性能,这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
Learning Cost-Effective Treatment Regimes using Markov Decision Processes
Stanford University(斯坦福大学);Duke University(杜克大学)
决策者,如医生和法官,每天都要做出重要决定,如向患者推荐治疗方法,以及向被告提供保释。这类决策通常涉及权衡采取行动的潜在收益与所涉成本。在这项工作中,我们的目标是自动学习\emph{cost-effective, interpretable and actionable treatment regimes}的任务。我们将其表述为学习决策列表的问题--一系列if-then-else规则--它映射了主题的特征(例如,患者的诊断测试结果)到治疗。我们提出了一个新的目标,以构建一个决策列表,最大限度地提高人口的成果,并最大限度地减少总成本。我们模型的问题,学习这样一个列表的马尔可夫决策过程(MDP),并采用了一个变种的上界树(UCT)的策略,利用定制的检查修剪搜索空间有效。对真实世界的观察数据捕获司法保释决定和哮喘患者的治疗建议的实验结果证明了我们的方法的有效性。
2016-10-21 cs.AI cs.LG stat.ML
Robust Batch Policy Learning in Markov Decision Processes
George Washington University(乔治华盛顿大学);Harvard University(哈佛大学)
在马尔可夫决策过程(MDP)框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力,我们建议通过一组平均奖励来评估每个策略,这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集,我们的目标是在预先指定的策略类中学习一个鲁棒的策略,该策略类可以最大化这个集合的最小值。利用半参数统计理论,我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Consistently Estimating Markov Chains with Noisy Aggregate Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们解决的问题,估计的时间齐次马尔可夫链的参数只给出噪声,聚合数据。当一个群体的个体根据马尔可夫链独立地行为,但由于观察过程的限制或保护隐私的需要,无法观察到个体样本路径时,就会出现这种情况。相反,在每个时间步,只有每个州的个体数量的人口水平计数可用。当这些计数是精确的,条件最小二乘(CLS)估计是一致的,渐近正态。我们开始研究的矩估计方法,这个问题,以处理更现实的情况下,观察时,另外被噪声破坏。我们表明,CLS可以被解释为一个简单的“插件”的矩估计方法。然而,当观测值有噪声时,它是不一致的,因为它不能解释噪声引入的额外方差。我们开发了一种新的,更简单的矩估计方法,绕过这个问题,是一致的噪声观测。
2016-04-14 cs.LG stat.ML
Risk-Aware Decision Policies for Agents Under Noisy Perception
University of Waterloo(滑铁卢大学)
针对感知噪声下智能体决策问题,该研究构建人工生命捕食者-猎物觅食模型,发现不确定性感知策略可提升智能体存活率,揭示了行为随不确定性的状态转变,为含噪声标签的鲁棒学习提供类比。
2026-08-10 cs.AI cs.LG
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中,我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发:我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中,一个特殊的家庭隐马尔可夫模型,输入和输出,被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法,并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM