PAC Bounds for Discounted MDPs
Australian National University(澳大利亚国立大学);ETH Zürich(苏黎世联邦理工学院);NICTA(国家信息与通信技术研究院)
我们研究了有限状态折扣马尔可夫决策过程(MDP)中学习近优行为的样本复杂性的上界和下界。对于上界,我们假设每个动作导致最多两个可能的下一个状态,并证明了一个新的UCRL风格的算法的时间步长的数量时,它不是可能近似正确(PAC)的界限。新的下限通过更一般(适用于所有政策)和更严格来加强以前的工作。上界和下界与对数因子相匹配。
2012-02-17 cs.LG
Reducing Blackwell and Average Optimality to Discounted MDPs via the Blackwell Discount Factor
HEC Paris(巴黎高等商学院);University of New Hampshire(新罕布什尔大学)
本文引入 Blackwell 折扣因子,证明当折扣因子超过其上界时折扣最优策略即为 Blackwell 最优和平均最优,从而首次在无假设条件下将平均与 Blackwell 最优性归约到折扣最优性,并给出多项式时间算法。
2023-01-31 cs.LG
Best Policy Identification in Linear MDPs
KTH Royal Institute of Technology(瑞典皇家理工学院);ENS(巴黎高等师范学院)
研究了在生成模型下,在固定置信度下折扣线性马尔可夫决策过程的最优策略识别问题。首先,我们推导出一个特定于实例的下限的预期数量的样本所需的概率$1-δ$,以确定一个$\varepsilon$最优的政策。下限的特点是最佳采样规则的解决方案的一个复杂的非凸优化程序,但可以用来作为出发点,设计简单和接近最佳的采样规则和算法。我们设计了这样的算法。其中之一表现出样本复杂度上限为${\cal O}({\frac{d}{(\varepsilon+Δ)^2}} (\log(\frac{1}δ)+d))$,其中$Δ$表示次优动作的最小奖励差距,$d$是特征空间的维度。这一上限在适度信任制度中成立(即,对于所有$δ$),并且匹配现有的极大极小和间隙相关的下限。我们将我们的算法扩展到情节线性MDP。
2022-08-11 cs.LG stat.ML
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约,证明满足遍历和快速混合条件时,慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值,并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Imitation Learning in Discounted Linear MDPs without exploration assumptions
EPFL(洛桑联邦理工学院);LIONS(信息与智能系统实验室)
提出无限时域线性MDP模仿学习算法ILARL,无需探索假设,将精度依赖度降至$\mathcal{O}(ε^{-4})$,并通过对抗性在线学习联系提升有限时域至$\mathcal{O}(ε^{-2})$,数值实验验证其优越性。
2024-08-23 cs.LG
Sharp Convergence and Sample Complexity of Policy Mirror Descent for Average-Reward MDPs
The Ohio State University(俄亥俄州立大学)
本文针对平均奖励MDPs中的策略镜像下降,提出统一主递归分析,证明精确、非精确表格及线性函数逼近下的线性收敛,并将LFA样本复杂度从$t_{\mathrm{mix}}^5$改进至$t_{\mathrm{mix}}^3/\varepsilon^2$,且证明该复杂度不可改进。
2026-11-03 cs.LG math.OC
Two-Timescale Critic-Actor for Average Reward MDPs with Function Approximation
Indian Institute of Science(印度科学理工学院)
本文提出长期平均奖励 MDP 下首个带函数逼近的双时间尺度 critic-actor 算法,给出有限时间与渐近收敛保证,并在三个基准上验证其性能最优。
2025-08-29 cs.LG
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上,提出了一种基于模型的算法UCBVI-$γ$。我们表明,UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾,其中$S$是状态数,$A$是动作数,$γ$是折扣因子,$T$是步骤数。此外,我们构造了一类硬MDPs,并表明,对于任何算法,预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子,这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
本文针对无限期平均奖励线性MDP,提出通过折扣MDP近似结合乐观值迭代的算法,首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
在鲁棒马尔可夫决策过程(MDP)中,转移核中的不确定性是通过找到一个策略来解决的,该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs,强大的平均回报MDPs仍然在很大程度上未被探索。在本文中,我们专注于鲁棒平均奖励MDP,其目标是找到一个政策,优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法,使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时,鲁棒折扣价值函数收敛于鲁棒平均报酬,并且当$γ$较大时,鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法,并从理论上证明了它的收敛性。然后,我们直接研究鲁棒平均报酬MDP,而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程,证明了最优策略可以从其解导出,并进一步设计了一个鲁棒相对值迭代算法,该算法可证明地找到其解,或等价地,找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs
National Yang Ming Chiao Tung University(国立阳明交通大学);Texas A&M University(德州农工大学)
针对线性MDPs中基于回归的方法计算效率低的问题,提出使用VBMLE方法,证明其具有$\widetilde{O}(d\sqrt{T})$遗憾且每步仅需一次优化,显著提升了计算效率并优于基准方法。
2023-10-17 cs.LG
Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs
Computer Science and Automation, Indian Institute of Science, Bengaluru(印度科学研究院计算机科学与自动化部门,班加罗尔);Computer Science and Engineering, Indian Institute of Technology Madras, Chennai(印度理工学院马德拉斯分校计算机科学与工程系,钦奈);Tata Consultancy Services Limited, Hyderabad(海得拉巴市塔塔咨询公司)
本文研究了在折扣马尔可夫决策过程中的指数效用优化强化学习问题,提出两种无模型算法,并证明了其收敛性,为指数效用目标下的价值型强化学习提供了理论基础。
2026-05-08 cs.LG
On Value Iteration Convergence in Connected MDPs
Boston University(波士顿大学)
针对连通 MDP,论文给出值迭代收敛的充分条件:唯一最优策略与遍历转移矩阵可保证折扣和平均回报准则下均获得快于 γ 的几何收敛速率。
2024-06-13 cs.LG
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles(加州大学洛杉矶分校)
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们,人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习,其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法,利用特征映射,并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾,其中$d$是特征空间的维度,$T$是时间范围和$γ$是折扣因子的MDP。据我们所知,这是第一个多项式遗憾界,没有访问生成模型或作出强假设,如遍历的MDP。通过构造一类特殊的MDP,我们还证明了对于任何算法,遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明,所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
Department of Computer Science and Automation, Indian Institute of Science(计算机科学与自动化系,印度科学研究院)
本文针对拟双曲折扣MDP中的预承诺智能体,首次证明最优策略可简化为一步非平稳形式,并设计了首个具有收敛保证的无模型策略评估与Q学习算法。
2025-09-07 cs.AI cs.LG
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学)
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题,提出结合方差缩减与慢自适应策略切换的无模型算法,为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
Regret Bounds for Discounted MDPs
University of California, San Diego(加州大学圣迭戈分校)
强化学习(RL)传统上是从情景的角度来理解的;非情景RL的概念,即没有重新启动,因此没有可靠的恢复,仍然是难以捉摸的。非情景强化学习的一个基本问题是如何衡量学习者的表现,并推导出最大化这种表现的算法。传统的观点是最大化学习者获得的平均奖励和最大长期平均奖励之间的差异。在本文中,我们认为,如果总的时间预算是相对有限的相比,环境的复杂性,这种比较可能无法反映有限的时间最优的学习。我们提出了一个家庭的措施,称为$γ$ -遗憾,我们相信,以更好地捕捉有限时间最优。我们给出了动机,并得出这些措施的下限和上限。注:后续工作(arXiv:2010.00587)改进了我们的下限和上限,差距现在关闭在$\tildeΘ\left(\frac{\sqrt{SAT}}{(1 - γ)^{\frac{1}{2}}}\right)$。
2021-05-27 cs.LG stat.ML
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法,提出改进的导航子问题解决方法,实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan(密歇根大学)
针对无限时域折扣设置下的线性MDP离线强化学习,提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法,并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
Convergence of SARSA with linear function approximation: The random horizon case
Stockholm University(斯德哥尔摩大学)
本文研究 SARSA 结合线性函数逼近在随机视野 MDP 中的收敛性,证明在 ε-soft 且关于权重向量 Lipschitz 连续、常数足够小的行为策略下,算法几乎必然收敛。
2023-06-07 cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology(生物技术系);Indian Institute of Technology Madras(印度理工学院马德拉斯)
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法,通过利用Hessian-向量积计算实现高效稳定的二阶更新,解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Average-Reward Learning and Planning with Options
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所);DeepMind
我们扩展了强化学习中的时间抽象的选项框架,从折扣马尔可夫决策过程(MDP)到平均奖励MDP。我们的贡献包括一般收敛的政策间的选择学习算法,选择内学习值和模型的算法,以及基于样本的规划变种我们的学习算法。我们的算法和收敛性证明扩展了最近开发的万,奈克和萨顿。我们还将期权中断行为的概念从贴现模型扩展到平均报酬模型。我们的四个房间域的持续版本的实验表明,所提出的算法的有效性。
2021-10-26 cs.LG
Sample Complexity Bounds for Linear Constrained MDPs with a Generative Model
Simon Fraser University(西蒙弗雷泽大学);University of California, Los Angeles(加州大学洛杉矶分校)
该研究针对带生成模型的线性约束马尔可夫决策过程,提出可结合任意黑盒无约束MDP求解器的原-对偶框架,推导了松弛与严格可行性两种情形下的样本复杂度上下界,验证了其在维度、精度等参数上的近似最优性。
2025-10-27 cs.LG stat.ML
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe(法国国立信息学及其应用研究院里尔-北欧中心);Adobe Research(奥多比研究院);INRIA Lille(法国国立信息学及其应用研究院里尔中心)
在许多顺序决策问题中,我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而,优化许多这样的标准是已知的是一个困难的问题。在本文中,我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式,我们首先定义一个政策的可变性度量,这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个,我们推导出计算其梯度的公式。然后,我们设计的演员,评论家的算法,在三个时间尺度上操作-TD的最快的时间尺度上的评论家,一个策略梯度(演员)的中间时间尺度上,和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置,我们指出的困难,估计的方差的回报率的梯度,并结合同时扰动的方法来减轻这一点。另一方面,平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后,我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Minimax Weight Learning for Absorbing MDPs
East China Normal University(华东师范大学)
本文提出MWLA算法,用于吸收马尔可夫决策过程的无折扣离线策略评估,通过重要性比率直接估计期望回报,并分析了均方误差界及统计误差对数据规模和截断水平的依赖性,实验验证了其性能。
2023-09-05 cs.LG
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA(新罕布什尔大学);HEC Paris(巴黎高等商学院)
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题,证明了平稳策略可优化该目标,提出了指数值迭代等计算最优策略的方法,并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本文研究了在有限折扣马尔可夫决策过程(MDP)中使用递归熵风险度量(ERM)进行风险敏感强化学习的问题,引入了基于模型的算法Model-Based ERM Q-Value Iteration(MB-RS-QVI),并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界,证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系,为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs
该研究探讨折扣马尔可夫决策过程中仅从最优动作可恢复的转移概率信息,明确了不同形式奖励对转移核可识别性的影响,证明了转移核的可识别条件及相关维度特性。
2026-08-10 cs.LG
Infinite-Horizon Reinforcement Learning with Multinomial Logistic Function Approximation
KAIST(韩国科学技术院)
研究转移函数为MNL模型的强化学习,提出适用于平均与折扣奖励的高效值迭代算法,并给出新的遗憾上下界。
2024-10-14 cs.LG math.OC
Offline Primal-Dual Reinforcement Learning for Linear MDPs
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出一种基于线性规划公式的原始-对偶优化方法,通过新的重新参数化推导低方差梯度估计器,在无限时间范围折扣和平均奖励 MDP 中实现了样本与计算高效性,并首次提供了平均奖励离线 RL 的理论保证。
2023-05-22 cs.LG
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra(庞培法布拉大学)
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划,无需传统压缩性与单调性假设,适用于线性近似场景,可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind)
针对平均准则约束MDP,提出ACPO算法,基于信赖域与敏感性理论,提供性能保证,并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);Gran Sasso Science Institute - GSSI(格兰萨索科学研究院(GSSI))
在本文中,我们考虑解决折扣马尔可夫决策过程(MDP)的约束下,所产生的政策是稳定的。实际上,MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果,建议使用模型预测控制(MPC)作为强化学习背景下的结构化策略,使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案,以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此,我们将首先在本文中表明,稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略,如果贴现MDP是稳定的,则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University(马萨里克大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
马尔可夫决策过程(MDP)是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益,忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面,风险规避政策要求不可预测事件的概率低于给定的阈值,但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态,代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益,以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法,它结合了UCT类搜索与预测learnedthrough互动与MDP(在风格的AlphaZero)和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中,包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology(以色列理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Research(英伟达研究院)
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛,证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾,同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
Performance Improvement Bounds for Lipschitz Configurable Markov Decision Processes
Dipartimento di Elettronica Informazione e Bioingegneria(电子、信息与生物工程系)
本文针对满足 Lipschitz 连续性的可配置马尔可夫决策过程,推导了改变策略与配置后γ-折扣平稳分布间 Wasserstein 距离的界,并进一步给出新的性能改进下界,推广了已有结果。
2024-02-21 cs.LG
Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions
DeepMind;University College London(伦敦大学学院);University of Illinois(伊利诺伊大学);University of Alberta(阿尔伯塔大学)
我们认为,在固定的地平线和折扣马尔可夫决策过程(MDP)与线性函数逼近和生成模型的假设下,最佳的行动价值函数在于一个功能地图,可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题,是否存在健全的规划,只需要多(H,d)查询,而不管MDP,其中H是地平线和d是维数的功能。我们回答这个问题是否定的:我们表明,任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明,对于任何$δ>0$,最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策,在固定的地平线设置。我们讨论的影响和剩余的开放问题。
2021-02-15 cs.AI cs.LG stat.ML
Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
针对MDP中稀疏策略部署,提出Bellman认证舍入方法,利用包络和加权曲率积分提供候选特定保证,显著提升认证覆盖率并降低界限与损失比。
2026-10-02 cs.LG
Primal-Only Actor Critic Algorithm for Robust Constrained Average Cost MDPs
University of Maryland(马里兰大学);IIIT Bangalore(班加罗尔IIIT);Purdue University(普渡大学)
本文针对鲁棒约束平均成本MDP中强对偶性缺失和Bellman算子非压缩的难题,提出一种仅原始变量的actor-critic算法,并证明其ε-可行性与ε-最优性及相应样本复杂度。
2025-11-07 cs.LG
Refined Policy Improvement Bounds for MDPs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Cornell University(康奈尔大学)
基于贴现收益差的策略改进约束是信赖域策略优化算法的理论基础。当折扣因子接近1时,现有的界导致退化界,使得TRPO和相关算法的适用性受到质疑。我们完善的结果在\cite{Schulman2015, Achiam2017},并提出了一个新的界是“连续”的折扣因子。特别是,我们的界限也适用于具有长期平均奖励的MDP。
2021-07-16 cs.AI cs.LG math.OC
Thompson Sampling for Infinite-Horizon Discounted Decision Processes
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);United Airlines(美国联合航空公司);UNSW Business School, UNSW(新南威尔士大学商学院)
本文提出了一种适用于更广泛场景的学习概念,通过将折扣无限时间MDP建模为具有Borel状态和动作空间的马尔可夫决策过程,并引入新的度量标准来分析适应性学习算法,证明了汤普森采样在特定条件下能实现完全学习。
2026-09-22 cs.LG math.OC stat.ML
A Computationally Efficient Algorithm for Infinite-Horizon Average-Reward Linear MDPs
University of Michigan(密歇根大学)
针对线性MDP无限时域平均奖励强化学习问题,提出一种仅在访问状态集上计算值函数最小值的高效裁剪值迭代算法,在保持与现有方法相同遗憾界的同时,计算复杂度与状态空间大小无关。
2025-04-16 cs.AI cs.LG
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST(韩国科学技术院);University of Michigan(密歇根大学)
本文针对无限时域平均奖励线性混合MDP,提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法,实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
Learning Chance-Constrained MDPs with Bellman Distributional Certificates
Cornell University AI for Science Institute(康奈尔大学人工智能科学研究所);Cornell University(康奈尔大学);University of Washington(华盛顿大学)
本文提出贝尔曼分布证书方法,用于解决机会约束马尔可夫决策过程,通过构建约束违反概率的贝尔曼递归,实现模型基上下界匹配,并提供无模型策略梯度算法,在合成和IEEE 14节点基准上验证安全性。
2026-11-17 cs.LG
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University(首尔国立大学);UCLA(加州大学洛杉矶分校);Purdue University(普渡大学)
针对弱通信平均奖励MDP,首次从单条轨迹建立有限样本复杂度保证,提出无模型方法,值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Efficient Solving of Large Single Input Superstate Decomposable Markovian Decision Process
Efrei Research Lab, Université Paris-Panthéon-Assas, Villejuif, 94800, France(埃弗里研究实验室,巴黎- panthéon-assas大学,维勒福)
针对大状态空间下无限时域马尔可夫决策过程策略评估计算量大的问题,提出结合单输入分解与单循环递推性质的SISDMDP结构,基于该结构开发的精确高效策略评估方法可适配两类回报设定的可扩展求解。
2025-08-01 cs.LG cs.PF math.OC
Efficiently Solving MDPs with Stochastic Mirror Descent
Stanford University(斯坦福大学)
提出了一个基于原始对偶随机镜像下降的统一框架,用于近似求解给定生成模型的无限时域马尔可夫决策过程(MDP)。当应用于具有$A_{tot}$总状态-动作对和混合时间界限$t_{mix}$的平均回报MDP时,我们的方法计算具有来自状态转移矩阵的预期$\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$样本的$ε$ -最优策略,去除了现有技术的遍历依赖性。当应用于具有$A_{tot}$总状态-动作对的$γ$ -折扣MDP时,我们的方法计算具有预期$\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$样本的$ε$ -最优策略,与先前的最新技术水平相匹配,直到达到$(1-γ)^{-1}$因子。这两种方法都是无模型的,同时更新状态值和策略,并且在时间上与所取样本的数量成线性关系。我们实现这些结果通过一个更一般的随机镜像下降框架解决双线性鞍点问题的单纯形和盒域,我们证明了这个框架的灵活性,通过提供进一步的应用程序,以约束MDPs。
2020-08-28 cs.DS cs.LG math.OC
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高,更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程(MDP)的无模型算法。第一个算法减少了问题的折扣奖励版本,并实现$\mathcal{O}(T^{2/3})$遗憾后,$T$步骤,弱通信的MDP的最小假设。据我们所知,这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展,对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$,虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人(2019 a)在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta(阿尔伯塔大学)
针对多链MDP的平均奖励强化学习,提出基于Bather分解的层次化异步值迭代算法,收敛到最优增益并生成增益最优策略,进一步扩展两种算法提升瞬态性能,为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
Solving Discounted Stochastic Two-Player Games with Near-Optimal Time and Sample Complexity
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们解决了折扣两人回合制零和随机对策的抽样复杂性达到多对数因子。给定一个带有折扣因子$γ\in(0,1)$的随机博弈,我们提供了一个算法,该算法可以从每个状态-动作对的转移函数中计算出具有高概率给定$\tilde{O}((1 - γ)^{-3} ε^{-2})$样本的$ε$最优策略。我们的算法在时间上运行的样本数量接近线性,并使用空间的状态-动作对的数量接近线性。由于随机游戏推广了马尔可夫决策过程(MDP),我们的运行时间和样本复杂度是最佳的,这是由于Azar et al(2013)。我们通过展示如何将基于MDP的近似最优Q学习算法,特别是Sidford et al(2018),推广到两人策略计算算法来实现我们的结果。这克服了标准Q学习和策略迭代或基于交替最小化的方法的局限性,我们希望通过促进MDP结果扩展到多智能体设置而几乎没有损失,为未来的强化学习结果铺平道路。
2019-08-29 cs.DS cs.LG stat.ML
Q-learning with Nearest Neighbors
Laboratory for Information and Decision Systems(信息与决策系统实验室);Massachusetts Institute of Technology(麻省理工学院)
考虑了具有连续状态空间和未知转移核的无限时域折扣马尔可夫决策过程(MDP)的无模型强化学习,当系统的任意策略下只有单个样本路径可用时.我们考虑最近邻Q学习(NNQL)算法学习最佳Q函数使用最近邻回归方法。作为主要贡献,我们提供了紧有限样本分析的收敛速度。特别地,对于具有$d$维状态空间和折扣因子$γ\in (0,1)$的MDP,给定具有“覆盖时间”$ L $的任意样本路径,我们建立该算法保证使用$\tilde{O}\big(L/(\varepsilon^3(1-γ)^7)\big)$样本输出最优Q函数的$\varepsilon$精确估计。例如,对于行为良好的MDP,在纯随机策略下样本路径的覆盖时间缩放为$ \tilde{O}\big(1/\varepsilon^d\big),$,因此样本复杂度缩放为$\tilde{O}\big(1/\varepsilon^{d+3}\big).$。事实上,我们建立了一个下界,认为$ \tildeΩ\big(1/\varepsilon^{d+2}\big)$的依赖性是必要的。
2018-10-23 cs.LG math.OC stat.ML
Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report
最近,我们已经在用户体验的信息年龄(AoI)和传感器消耗的能量方面的信息新鲜度之间取得了平衡,通过适当地激活传感器来更新它们在启用缓存的物联网(IoT)网络中的当前状态[1]。为了解决这个问题,我们将相应的状态更新过程转换为连续的马尔可夫决策过程(MDP)(即,没有终止状态),其中状态-动作对的数量相对于所考虑的传感器和用户的数量呈指数增长。此外,为了规避维数灾难,我们已经建立了一种设计深度强化学习(DRL)算法的方法,以最大化(分别)。最小化)平均奖励(分别)。成本),通过集成R-学习,一种为最大化长期平均奖励而定制的表格强化学习(RL)算法,以及传统的DRL算法,最初开发用于优化折扣长期累积奖励而不是平均奖励。在本技术报告中,我们将详细讨论这种方法的技术贡献。
2021-04-14 cs.IT cs.LG cs.NI
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法,在无限 horizon 折扣线性马尔可夫决策过程(MDPs)中实现最优 regret 保证,结合乐观探索技术与正则化近似动态规划方案,达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret,适用于模仿学习。
2026-03-13 cs.LG