Near-Optimal Sample Complexity Bounds for Constrained Average-Reward MDPs
School of Mathematical Sciences Fudan University（复旦大学数学学院）；School of Data Science Fudan University（复旦大学数据科学学院）；Electrical and Computer Engineering / Computer Science University of California, Los Angeles（加州大学洛杉矶分校电气与计算机工程/计算机科学学院）
本文针对生成模型下约束平均报酬马尔可夫决策过程（CAMDPs）的样本复杂度问题，提出适用于两种可行性场景的基于模型的算法，建立了其近最优样本复杂度边界与匹配下界，首次给出CAMDPs的极小极大最优边界。
2026-08-18 cs.LG stat.ML
Two-Timescale Critic-Actor for Average Reward MDPs with Function Approximation
Indian Institute of Science（印度科学理工学院）
本文提出长期平均奖励 MDP 下首个带函数逼近的双时间尺度 critic-actor 算法，给出有限时间与渐近收敛保证，并在三个基准上验证其性能最优。
2025-08-29 cs.LG
Best Policy Identification in Linear MDPs
KTH Royal Institute of Technology（瑞典皇家理工学院）；ENS（巴黎高等师范学院）
研究了在生成模型下，在固定置信度下折扣线性马尔可夫决策过程的最优策略识别问题。首先，我们推导出一个特定于实例的下限的预期数量的样本所需的概率$1-δ$，以确定一个$\varepsilon$最优的政策。下限的特点是最佳采样规则的解决方案的一个复杂的非凸优化程序，但可以用来作为出发点，设计简单和接近最佳的采样规则和算法。我们设计了这样的算法。其中之一表现出样本复杂度上限为${\cal O}({\frac{d}{(\varepsilon+Δ)^2}} (\log(\frac{1}δ)+d))$，其中$Δ$表示次优动作的最小奖励差距，$d$是特征空间的维度。这一上限在适度信任制度中成立（即，对于所有$δ$），并且匹配现有的极大极小和间隙相关的下限。我们将我们的算法扩展到情节线性MDP。
2022-08-11 cs.LG stat.ML
Risk-Averse MDPs under Reward Ambiguity
City University of Hong Kong（香港城市大学）
本文提出了一个风险和报酬模糊条件下的分布鲁棒收益-风险马尔可夫决策过程模型。该模型优化了平均和百分位绩效的加权平均值，并将分布鲁棒MDP和分布鲁棒机会约束MDP（均在奖励模糊下）作为特例。通过考虑未知的奖励分布位于Wasserstein模糊集，我们得到了我们的模型的易处理的重新制定。特别是，我们表明，回报风险模型也可以考虑风险从不确定的过渡内核时，只寻求确定性的政策，和一个分布稳健的MDP下的百分位数准则可以重新制定为它的名义上的对应调整后的风险水平。设计了一个可扩展的一阶算法来求解大规模问题，并通过数值实验验证了所提模型和算法的优越性。
2023-01-04 cs.LG math.OC
On Convergence of Average-Reward Off-Policy Control Algorithms in Weakly Communicating MDPs
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们展示了两种平均回报的非策略控制算法，差分Q学习（Wan，Naik，& Sutton 2021a）和RVI Q学习（Abounadi Bertsekas & Borkar 2001），收敛于弱通信的MDP。弱通信MDP是最一般的MDP，可以通过具有单个经验流的学习算法来解决。这两个算法的原始收敛性证明要求平均报酬最优性方程的解集只有一个自由度，这对于弱通信的MDP不一定是真的。据我们所知，我们的研究结果是第一次显示平均奖励的政策外控制算法收敛于弱通信MDPs。作为一个直接的扩展，我们证明了Wan，Naik，& Sutton（2021 b）引入的时间抽象的平均回报期权算法收敛，如果期权诱导的半MDP是弱通信的。
2022-11-06 cs.LG
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文针对无限时域平均奖励线性混合MDP，提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法，实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
本文针对无限期平均奖励线性MDP，提出通过折扣MDP近似结合乐观值迭代的算法，首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta（阿尔伯塔大学）
针对多链MDP的平均奖励强化学习，提出基于Bather分解的层次化异步值迭代算法，收敛到最优增益并生成增益最优策略，进一步扩展两种算法提升瞬态性能，为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
Twice regularized MDPs and the equivalence between robustness and regularization
Technion（以色列理工学院）；Google Research, Brain Team（谷歌研究院大脑团队）；NVIDIA Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。最后，我们将正则化的MDP推广到两次正则化的MDP（R ${}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
Provably Efficient Infinite-Horizon Average-Reward Reinforcement Learning with Linear Function Approximation
本文提出一种在Bellman最优性条件下学习无限期平均奖励线性MDPs和线性混合MDPs的计算可处理算法，通过新技术控制值函数覆盖数与乐观估计跨度，实现了已知最佳的遗憾上界。
2024-09-24 cs.DS cs.LG math.OC
Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs
University of Science and Technology of China（中国科学技术大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
在无奖励强化学习（RL）中，智能体首先在没有任何奖励信息的情况下探索环境，以便在任何给定的奖励下实现特定的学习目标。在本文中，我们主要关注低秩MDP模型下的无报酬强化学习，其中表示和线性权重向量都是未知的。尽管针对无奖励低秩MDP已经提出了各种算法，但是相应的样本复杂度仍然远不能令人满意。在这项工作中，我们首先提供了第一个已知的样本复杂度下限，适用于低秩MDP下的任何算法。这个下限意味着它是严格难以找到一个接近最优的政策下低秩MDP比线性MDP。然后，我们提出了一种新的基于模型的算法，创造RAFFLE，并表明它既可以找到一个$ε$最优的政策，并实现了$ε$ -准确的系统辨识通过无奖励的探索，与样本的复杂性显着提高了以前的结果。这样的样本复杂度与我们对$ε$以及大$d$体系中的$K$的依赖性的下限相匹配，其中$d$和$K$分别表示表示维度和动作空间基数。最后，我们提供了一个规划算法（没有进一步与真实环境的互动）RAFFLE学习一个接近准确的表示，这是第一个已知的表示学习保证在相同的设置。
2023-03-20 cs.LG stat.ML
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind（深度思维）；Google（谷歌）
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP（即奖励和动态在一些已知特征中是线性的），我们提供了第一个有限样本OPE误差界，将现有结果扩展到情节和折扣情况之外。在一个更一般的设置，当特征动态近似线性和任意奖励，我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题，找到最大熵分布的经验动力学下匹配功能的期望。我们表明，这导致指数族分布，其充分的统计特征，并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA（新罕布什尔大学）；HEC Paris（巴黎高等商学院）
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题，证明了平稳策略可优化该目标，提出了指数值迭代等计算最优策略的方法，并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来，无模型强化学习由于其简单、存储和计算效率高，以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中，我们提出了探索增强Q学习（EE-QL），一个无模型算法的无限地平线平均回报马尔可夫决策过程（MDP），实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP，其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法，实现了$O(\sqrt T)$遗憾没有遍历假设，并匹配的下限$T$除了对数因子。实验表明，该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
When Can You Poison Rewards? A Tight Characterization of Reward Poisoning in Linear MDPs
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, Oregon, USA（电子工程与计算机科学学院，俄勒冈州立大学，俄勒冈州科瓦利斯）；Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign, Urbana, Illinois, USA（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校，伊利诺伊州厄巴纳）；Princeton University, Princeton, New Jersey, USA（普林斯顿大学，新泽西州普林斯顿）；Faculty of Computing and Data Sciences, Boston University, Boston, Massachusetts, USA（计算与数据科学学院，波士顿大学，马萨诸塞州波士顿）
本文研究了强化学习中奖励污染攻击，通过约束预算操控奖励迫使目标智能体采用符合攻击者目标的策略。研究首次给出了线性MDP中攻击可行性的精确必要和充分条件，区分了易受攻击和固有鲁棒的RL实例。理论框架扩展至深度RL环境，证明其在理论和实践上的重要性。
2026-07-07 cs.LG
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Meta AI；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文将基于相对值迭代的Q-learning算法的几乎必然收敛性分析从单链扩展到弱连通MDPs，刻画了其收敛集性质，并推广至基于options框架的分层RL算法。
2024-08-29 cs.LG math.OC
Beyond Scalar Rewards: An Axiomatic Framework for Lexicographic MDPs
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克AI研究所）
本文基于 Hausner 的字典序期望效用理论，在无记忆偏好假设下刻画 MDP 中的二维及 d 维奖励函数，并证明其最优策略保留标量奖励情形的优良性质，而 CMDP 中则不然。
2025-05-17 cs.AI cs.LG
Nearly Minimax Optimal Regret for Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
UCLA（加州大学洛杉矶分校）
我们研究了具有线性函数近似的无限时域平均奖励设置中的强化学习，其中底层马尔可夫决策过程（MDP）的转移概率函数在当前状态、动作和下一状态的特征映射上具有线性形式。我们提出了一个新的算法UCRL 2-VTR，它可以看作是UCRL 2算法的线性函数逼近的扩展。我们发现，UCRL 2-VTR与伯恩斯坦型奖金可以实现$\tilde{O}(d\sqrt{DT})$的遗憾，其中$d$是尺寸的特征映射，$T$是地平线，和$\sqrt{D}$是直径的MDP。我们还证明了一个匹配的下限$\tildeΩ(d\sqrt{DT})$，这表明，建议UCRL 2-VTR是最小最大最优的对数因子。据我们所知，我们的算法是第一个近极大极小最优RL算法的函数近似在无限水平平均奖励设置。
2022-05-10 cs.LG math.OC stat.ML
Reward is enough for convex MDPs
DeepMind（深度思维）
针对无法由平稳奖励表示、以平稳分布凸函数定义目标的凸 MDP，论文利用 Fenchel 对偶将其转化为策略与代价的 min-max 博弈，并提出统一多种现有算法的元算法。
2023-06-02 cs.AI cs.LG stat.ML
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC（丰田技术研究所）；Microsoft Research（微软研究院）；University of Michigan（密歇根大学）
我们考虑一个马尔可夫决策过程与确定性的状态转移动态，adversarially产生的奖励，任意改变从一轮到另一轮，和一个强盗反馈模型，决策者只观察它收到的奖励。在这种情况下，我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下，我们证明了马可波罗事后对最佳确定性策略的后悔度为O（T^（3/4）sqrt（log（T）。具体来说，我们的分析不依赖于严格的单链假设，这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA（普渡大学）
本文提出带批处理的自然演员-评论家算法NAC-B，在单链假设下实现无限时域平均奖励MDP的阶最优遗憾，通过批处理缓解周期性与随机性，支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
A Computationally Efficient Algorithm for Infinite-Horizon Average-Reward Linear MDPs
University of Michigan（密歇根大学）
针对线性MDP无限时域平均奖励强化学习问题，提出一种仅在访问状态集上计算值函数最小值的高效裁剪值迭代算法，在保持与现有方法相同遗憾界的同时，计算复杂度与状态空间大小无关。
2025-04-16 cs.AI cs.LG
Memoryless Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
我们提出了一个算法，确定性连续马尔可夫决策过程的稀疏奖励，计算最优策略，完全不依赖于状态空间的大小。该算法的时间复杂度为$O( |R|^3 \times |A|^2 )$，存储复杂度为$O( |R| \times |A| )$，其中$|R|$为奖励源个数，$|A|$为动作个数.此外，我们描述了一个同伴算法，可以遵循从任何初始状态的最优策略，而不计算整个价值函数，而是按需计算的状态值，因为它们是需要的。该算法不依赖于状态空间的大小，无论是时间或内存的复杂性，并遵循最优策略的能力是线性的时间和空间的路径长度从初始状态遵循最优策略。我们证明了算法操作并排值迭代易处理的MDPs。
2018-05-17 cs.LG stat.ML
Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values
本文研究了非矩形鲁棒MDPs的最优策略及其瞬时值，提出了一种基于周期的策略，结合最优平稳策略与在线学习回退机制，实现常数阶瞬时值。
2026-03-10 cs.LG math.OC stat.ML
Why Policy Gradient Algorithms Work for Undiscounted Total-Reward MDPs
Seoul National University, Department of Mathematical Sciences（首尔国立大学数学科学系）；UCLA, Department of Mathematics（加州大学洛杉矶分校数学系）
本文探讨了为何策略梯度算法在未折扣总奖励MDP中有效，通过状态分类和暂态访问度量的分析，解决了γ=1时的收敛问题。
2026-02-10 cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Research（英伟达研究院）
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛，证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾，同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题，通过分析常增益设置，探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系，为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无奖励强化学习，提出一种用于线性混合MDPs的无视野算法，通过不确定性加权回归与高阶矩估计，实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Multi-User Reinforcement Learning with Low Rank Rewards
Google Research（谷歌研究院）；Amazon India（亚马逊印度）
本文研究协作多用户强化学习，提出一种在低秩奖励假设下协同探索多用户特定MDP奖励的算法，在表格和线性MDP设定下显著降低了样本复杂度。
2023-05-22 cs.LG math.OC
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Achieving Tractable Minimax Optimal Regret in Average Reward MDPs
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Princeton University（普林斯顿大学）
针对平均奖励MDPs中现有算法遗憾次优或计算低效的问题，提出首个无需先验信息且具有最小极大最优遗憾的可处理算法，并利用PMEVI子程序计算偏置约束策略以改进多种算法的遗憾界。
2024-06-03 cs.LG cs.SY eess.SY
Explainable Deterministic MDPs
Iowa State University（爱荷华州立大学）
我们提出了一种方法，可以将最优策略与环境中的一个或多个奖励源相关联的某类马尔可夫决策过程（MDP）。对于给定的初始状态，在不完全计算价值函数、q-价值函数或最优策略的情况下，算法可以确定将收集哪些奖励和将不收集哪些奖励，给定的奖励将仅收集一次还是连续收集，以及初始状态将最终导致价值函数内的哪个局部最大值。我们证明，该方法可以用来映射状态空间，以确定由一个奖励源占主导地位的区域，并可以充分分析状态空间，以解释所有的行动。我们提供了一个数学框架，以显示所有这一切都是可能的，而无需首先计算最优策略或价值函数。
2018-06-09 cs.AI cs.LG stat.ML
Learning Infinite-Horizon Average-Reward Markov Decision Processes with Constraints
University of Southern California（南加州大学）
研究了在费用约束下的无限时域平均报酬马尔可夫决策过程的后悔最小化问题。我们首先设计了一个策略优化算法，精心设计的行动价值估计和奖金项，并表明，遍历MDP，我们的算法确保$\widetilde{O}(\sqrt{T})$遗憾和不断的约束违反，其中$T$是时间步的总数。这严格改进了（Singh等人，2020），其遗憾和约束违反均为$\widetilde{O}(T^{2/3})$。接下来，我们考虑最一般的弱通信MDPs类。通过有限时域近似，我们开发了另一种算法与$\widetilde{O}(T^{2/3})$遗憾和约束违反，它可以进一步改进为$\widetilde{O}(\sqrt{T})$通过一个简单的修改，虽然使算法计算效率低下。据我们所知，这些是第一套可证明算法的弱通信MDPs的成本约束。
2022-01-31 cs.LG
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Solving Non-Rectangular Reward-Robust MDPs via Frequency Regularization
Technion - Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）；IMT Atlantique（大西洋国立高等矿业电信学校）
研究耦合奖励RMDPs，通过策略访问频率正则化建立与非矩形奖励RMDPs的联系，提出收敛的策略梯度方法，实验证明其鲁棒性且行为更少保守。
2024-02-12 cs.LG
Reinforcement Learning in Reward-Mixing MDPs
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Technion（以色列理工学院）；NVIDIA（英伟达）
在部分可观测系统中学习接近最优的策略仍然是当代强化学习中一个难以捉摸的挑战。在这项工作中，我们考虑情节强化学习在奖励混合马尔可夫决策过程（MDP）。在那里，在每一集开始时，从多个可能的奖励模型中的一个中提取奖励函数，但是所选择的奖励模型的身份不向代理透露。因此，潜在的状态空间，其动力学是马尔可夫的，不给代理。我们研究了两个奖励混合MDP的学习近最优策略的问题。与现有的方法，依赖于强有力的假设的动力学，我们不做任何假设，并研究问题的充分一般性。事实上，没有进一步的假设，即使是两个切换奖励模型，该问题需要几个新的想法超越现有的算法和分析技术的有效探索。我们提供了第一个多项式时间算法，发现一个$ε$ -最优策略后，探索$\tilde{O}(poly(H,ε^{-1}) \cdot S^2 A^2)$情节，其中$H$是时间范围和$S, A$是状态和动作的数量分别。这是第一个有效的算法，不需要任何假设，在部分观察的环境中，观察空间小于潜在的状态空间。
2022-01-31 cs.AI cs.IT cs.LG
Infinite-Horizon Reinforcement Learning with Multinomial Logistic Function Approximation
KAIST（韩国科学技术院）
研究转移函数为MNL模型的强化学习，提出适用于平均与折扣奖励的高效值迭代算法，并给出新的遗憾上下界。
2024-10-14 cs.LG math.OC
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California（南加州大学）
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则，并假设MDP具有线性结构，我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾，其中$T$是互动的数量。接下来，从对抗性线性强盗中获得灵感，我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法，改进了Hao等人（2020）使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外，我们将该算法与Kakade（2002）提出的自然策略梯度算法联系起来，并表明我们的分析改进了Agarwal等人（2020）最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
Improved Exploration in Factored Average-Reward MDPs
University of Copenhagen（哥本哈根大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL
在未知因子马尔可夫决策过程中，考虑了平均报酬准则下的后悔最小化问题。更具体地说，我们考虑一个FMDP，其中状态-动作空间$\mathcal X$和状态空间$\mathcal S$允许$\mathcal X = \otimes_{i=1}^n \mathcal X_i$和$\mathcal S=\otimes_{i=1}^m \mathcal S_i$各自的分解形式，并且转换和奖励函数在$\mathcal X$和$\mathcal S$上分解。假设已知的分解结构，我们引入了一种新的后悔最小化策略的灵感来自流行的UCRL 2策略，称为DBN-UCRL，它依赖于伯恩斯坦型的置信度集定义的过渡函数的各个元素。我们发现，对于一个通用的因式分解结构，DBN-UCRL实现了遗憾界，其领先的长期严格改善现有的遗憾界的依赖关系的大小$\mathcal S_i$的和涉及直径相关的条款。我们进一步证明了当分解结构对应于一些基MDP的笛卡尔积时，DBN-UCRL的后悔上界是由基MDP的后悔之和决定的。我们证明，通过标准环境下的数值实验，DBN-UCRL享有大幅改善遗憾经验超过现有的算法，有frequentist后悔保证。
2021-03-11 cs.LG stat.ML
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Achieving an $O(1/N)$ Optimality Gap in Average-Reward Weakly-Coupled MDPs
Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
本文针对平均奖励弱耦合MDP，提出一种非优先级策略，在特定条件下实现$O(1/N)$最优性差距，优于先前$1/\sqrt{N}$的结果。
2026-09-30 cs.LG math.OC math.PR
Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report
最近，我们已经在用户体验的信息年龄（AoI）和传感器消耗的能量方面的信息新鲜度之间取得了平衡，通过适当地激活传感器来更新它们在启用缓存的物联网（IoT）网络中的当前状态[1]。为了解决这个问题，我们将相应的状态更新过程转换为连续的马尔可夫决策过程（MDP）（即，没有终止状态），其中状态-动作对的数量相对于所考虑的传感器和用户的数量呈指数增长。此外，为了规避维数灾难，我们已经建立了一种设计深度强化学习（DRL）算法的方法，以最大化（分别）。最小化）平均奖励（分别）。成本），通过集成R-学习，一种为最大化长期平均奖励而定制的表格强化学习（RL）算法，以及传统的DRL算法，最初开发用于优化折扣长期累积奖励而不是平均奖励。在本技术报告中，我们将详细讨论这种方法的技术贡献。
2021-04-14 cs.IT cs.LG cs.NI
Near-optimal Policy Optimization Algorithms for Learning Adversarial Linear Mixture MDPs
UCLA（加州大学洛杉矶分校）
在存在敌手的情况下学习马尔可夫决策过程（MDP）是强化学习（RL）中的一个具有挑战性的问题。本文研究了具有对抗性奖励和完全信息反馈的情节MDP中的强化学习，其中未知转移概率函数是给定特征映射的线性函数，奖励函数可以随情节任意变化.我们提出了一个乐观策略优化算法POWERS，并表明它可以实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$H$是情节的长度，$T$是与MDP的交互次数，和$d$是特征映射的维度。此外，我们还证明了一个匹配的下限$\tildeΩ(dH\sqrt{T})$的对数因子。我们的主要技术贡献是两方面的：（1）一个新的价值函数估计的基础上的重要性加权;（2）一个更严格的置信度设置的过渡内核。它们共同导致了近似极小极大的最优后悔。
2022-04-20 cs.LG math.OC stat.ML
Inverse Reinforcement Learning in Contextual MDPs
我们考虑上下文马尔可夫决策过程（MDP）的逆强化学习的任务。在这种情况下，定义奖励和转换内核的上下文是从分布中采样的。此外，尽管奖励是上下文的函数，但它并不提供给代理。相反，代理观察来自最优策略的演示。目标是学习奖励映射，这样即使遇到以前看不见的上下文，代理也会采取最佳行动，也称为zero-shot transfer。我们将此问题表示为一个非微分凸优化问题，并提出了一种新的算法来计算它的次梯度。基于该方案，我们分析了几种方法，在理论上，我们比较了样本的复杂性和可扩展性，并经验。最重要的是，我们在理论上和经验表明，我们的算法执行zero-shot传输（推广到新的和看不见的上下文）。具体来说，我们提出了一个动态治疗方案的经验性实验，其目标是学习一个奖励函数，该函数根据他们治疗诊断为败血症的患者的记录数据来解释专家医生的行为。
2020-12-30 cs.LG stat.ML
Tight Bayesian Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
鲁棒性对于具有不确定概率参数的随机动态环境中的序贯决策非常重要。我们解决的问题，使用强大的MDP（RMDPs）计算政策与可证明的最坏情况下的保证强化学习。RMDP解的质量和鲁棒性由其模糊集决定。现有的方法构造模糊集，导致不切实际的保守的解决方案。在本文中，我们提出了RSVF，它实现了保守性较低的解决方案，具有相同的最坏情况下的保证，1）利用贝叶斯先验，2）优化的大小和位置的模糊集，最重要的是，3）放松的要求，该集是一个置信区间。我们的理论分析表明了RSVF的安全性，实验结果证明了它的实用前景。
2018-11-15 cs.LG stat.ML
