Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University(加川大学);Seoul National University(首尔国立大学);University of Arizona(亚利桑那大学)
在在线学习问题中,利用低方差在获得严格的性能保证方面发挥着重要作用,但由于方差通常事先未知,因此具有挑战性。最近,Zhang等人(2021)取得了相当大的进展,他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界,以及线性混合马尔可夫决策过程(MDP)的无水平遗憾界。在本文中,我们提出了新的分析,提高他们的遗憾边界显着。对于线性强盗,我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$,其中$d$是特征的维度,$K$是时间范围,$σ_k^2$是时间步长$k$处的噪声方差,并且$\tilde O$忽略了多对数依赖性,这是$d^3$改进的一个因素。对于线性混合MDP,假设在$[0,1]$中的事件中的最大累积奖励,我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界,其中$d$是基础模型的数量,$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析,利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Variance-Aware Regret Bounds for Undiscounted Reinforcement Learning in MDPs
KTH Royal Institute of Technology(皇家理工学院);INRIA Lille – Nord Europe(里尔-北欧洲研究所)
本文基于平均回报准则,重新审视未知离散MDP中的强化学习问题,通过引入局部方差代替MDP直径,改进KL-UCRL算法的后悔界,提供更优的性能保证。
2018-03-05 cs.LG cs.SY eess.SY
Optimal Variance-Dependent Regret Bounds for Infinite-Horizon MDPs
本文提出一种适用于无限时间 horizon MDPs 的 UCB 类算法,解决了平均奖励 regret 和 γ-regret 的最优方差依赖 regret 界限问题,并揭示了有无先验知识时的性能差异。
2026-03-25 cs.IT cs.LG math.IT
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano(米兰理工大学);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的强化学习算法,包括在随机方差减少版本的策略梯度解决马尔可夫决策过程(MDP)。随机方差缩减梯度(SVRG)方法在监督学习中已被证明是非常成功的。然而,它们对策略梯度的适应并不简单,需要考虑I)非凹目标函数; II)全梯度计算中的近似值;以及III)非平稳采样过程。其结果是SVRPG,一种随机方差减少的策略梯度算法,利用重要性权重来保持梯度估计的无偏性。根据标准假设,sumptions上的MDP,我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后,我们建议SVRPG的实际变体,我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Near-Optimal Offline Reinforcement Learning via Double Variance Reduction
UC Santa Barbara(加州大学圣巴巴拉分校);Salesforce Research(Salesforce研究院)
我们考虑离线强化学习(RL)的问题-一个动机良好的RL设置,旨在仅使用历史数据进行策略优化。尽管其广泛的适用性,离线RL的理论理解,如其最佳的样本复杂性,仍然在很大程度上开放,即使在基本的设置,如\emph{tabular}马尔可夫决策过程(MDP)。在本文中,我们提出了Off-Policy双方差减少(OPDVR),一个新的基于方差减少的离线RL算法。我们的主要结果表明,OPDVR可证明确定一个$ε$ -最优的政策与$\widetilde{O}(H^2/d_mε^2)$事件的离线数据在有限的地平线平稳过渡设置,其中$H$是地平线的长度和$d_m$是最小的边际状态-动作分布的行为政策。这比已知的上限提高了$H$倍。此外,我们建立了$Ω(H^2/d_mε^2)$的信息论下界,证明了OPDVR是最佳的对数因子。最后,我们表明,OPDVR也实现了速率最优的样本复杂度下的替代设置,如有限地平线MDP与非平稳过渡和无限地平线MDP折扣奖励。
2021-02-02 cs.AI cs.LG stat.ML
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST(韩国科学技术院);University of Michigan(密歇根大学)
本文针对无限时域平均奖励线性混合MDP,提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法,实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Improved Regret via Variance-Aware Policy Optimization in Adversarial MDPs
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究)
针对未知动态全信息奖励的回合制对抗MDP,提出基于方差感知策略优化的VOPO算法,通过稳定性匹配奖励分析将遗憾值主导项改进为$\tilde O(\boldsymbol{\sqrt{H^3SAK}})$,缩小了与下界的差距。
2026-11-16 cs.LG
Policy Gradients for CVaR-Constrained MDPs
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分所)
我们研究的风险约束版本的随机最短路径(SSP)问题,其中考虑的风险度量是条件风险价值(CVaR)。我们提出了两个算法,获得一个局部风险最优的政策,采用四种工具:随机逼近,小批量,政策梯度和重要性抽样。这两种算法都结合了CVaR估计程序,沿着Bardou等人的路线。[2009],这反过来又基于Rockafellar-Uryasev的CVaR表示,并利用似然比原理估计一个成本函数(SSP的目标)之和的梯度和另一个成本函数(在SSP的约束下)之和的CVaR梯度。这些算法在近似CVaR估计值/必要梯度的方式上有所不同-第一种算法使用随机逼近,而第二种算法则根据蒙特卡罗方法的精神采用小批量。我们建立了这两个算法的渐近收敛性。此外,由于估计CVaR是与稀有事件模拟,我们将一个重要性抽样为基础的方差减少计划到我们提出的算法。
2014-05-12 cs.LG math.OC stat.ML
Meta Learning MDPs with Linear Transition Models
Technical University of Munich(慕尼黑工业大学);Microsoft Research, NYC(微软研究院纽约)
我们研究了马尔可夫决策过程(MDP)中的元学习,在未贴现的情节设置中具有线性转移模型。在基于模型接近度的任务共享性度量下,我们研究了由偏置项和方差分量指定的模型分布的任务族。然后,我们提出了BUC-MatrixRL,这是UC-Matrix RL算法的一个版本,并表明它可以有意义地利用一组采样的训练任务,通过学习任务分布的偏差参数的估计量来快速解决从相同任务分布中采样的测试任务。该分析利用并扩展了学习线性回归和线性强盗设置的学习结果,以更一般的情况下,MDP的线性过渡模型。我们证明了,相比于孤立地学习任务,BUC-Matrix RL在高偏差低方差任务分布的转移遗憾方面提供了显着的改善。
2022-01-21 cs.AI cs.LG
Variance Adjusted Actor Critic Algorithms
Technion – Israel Institute of Technology(以色列理工学院)
本文提出了一种针对MDP的actor-critic框架,目标为方差调整的预期回报。通过线性函数逼近和扩展兼容特征概念,提出了一种分回合算法,并证明其几乎必然收敛到目标函数的局部最优解。
2013-10-14 cs.LG cs.SY eess.SY
Beyond variance reduction: Understanding the true impact of baselines on policy optimization
Mila, McGill University(米拉研究所,麦吉尔大学);Mila, University of Montreal(米拉研究所,蒙特利尔大学);Google Research, Brain Team(谷歌研究院,大脑团队);Google DeepMind(谷歌DeepMind)
Bandit和强化学习(RL)问题通常可以被定义为优化问题,其目标是最大化平均性能,同时只能访问真实梯度的随机估计。传统上,随机优化理论预测,学习动态由损失函数的曲率和梯度估计的噪声决定。在本文中,我们证明,这是不是强盗和RL问题的情况。为了使我们的分析能够根据多步MDP进行解释,我们专注于从随机优化原理(例如,自然的策略梯度和EXP3),我们表明,一些标准的假设,从优化理论违反了这些问题。我们目前的理论结果表明,至少对于强盗问题,曲率和噪声是不足以解释的学习动态和看似无害的选择,如基线可以确定算法是否收敛。这些理论研究结果与我们的实证评估相匹配,我们将其扩展到多州MDP。
2021-02-19 cs.LG stat.ML
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了基于线性函数逼近的强化学习中的离线策略评估(off-policy evaluation,OPE)问题,即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数,以提高样本效率的OPE。更具体地说,时间非齐次的情节线性马尔可夫决策过程(MDP),我们提出了一种算法,VA-OPE,它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明,我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning
University of Oxford(牛津大学);Facebook AI Research(脸书人工智能研究院)
在具有未知或难以处理的动态的随机设置中,用于优化目标的基于导数的方法需要导数的估计。我们推导出一个目标,在自动微分,产生低方差无偏估计的衍生工具在任何顺序。我们的目标是兼容的任意优势估计,它允许控制的偏差和方差的任何阶导数时,使用函数逼近。此外,我们提出了一种方法来权衡偏差和方差的高阶导数贴现的影响,更遥远的因果关系。我们证明了我们的目标的正确性和实用性,在分析听话的MDP和元强化学习连续控制。
2019-09-23 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles(加州大学洛杉矶分校)
本研究针对线性马尔可夫决策过程的强化学习问题,提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法,首次达到接近极小极大最优的悔界,为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学)
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题,提出结合方差缩减与慢自适应策略切换的无模型算法,为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
Horizon-free Reinforcement Learning in Adversarial Linear Mixture MDPs
Tsinghua University(清华大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出首个无视界策略搜索算法,解决对抗性线性混合MDP中的强化学习问题,实现~O((d+log(|S|^2|A|))√K)遗憾界,并证明其近乎最优性。
2023-05-15 cs.LG math.OC stat.ML
Variance-reduced $Q$-learning is minimax optimal
UC Berkeley(加州大学伯克利分校);Voleon Group(沃利恩集团)
我们介绍并分析了一种形式的方差减少$Q$学习。对于具有有限状态空间$\mathcal{X}$和有限动作空间$\mathcal{U}$的$γ$折扣MDP,我们证明了在$\ell_\infty$ -范数下,使用$\mathcal{O} \left(\left(\frac{D}{ ε^2 (1-γ)^3} \right) \; \log \left( \frac{D}{(1-γ)} \right) \right)$样本,得到最优$Q$ -函数的$ε$ -精确估计,其中$D = |\mathcal{X}| \times |\mathcal{U}|$ .这个保证匹配已知的极小极大下界,直到折扣复杂度的对数因子。相比之下,我们过去的工作表明,普通的$Q$ -学习的折扣复杂度的最坏情况下的四次缩放。
2019-08-08 cs.LG math.OC stat.ML
Span-Based Optimal Sample Complexity for Average Reward MDPs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究生成模型下平均奖励MDP的最优策略学习,通过将其归约为折扣MDP并开发基于偏置函数跨度的改进方差上界,首次在所有参数上实现了极小极大最优的样本复杂度。
2024-03-19 cs.IT cs.LG math.IT
Gap-Dependent Bounds for Q-Learning using Reference-Advantage Decomposition
The Pennsylvania State University(宾夕法尼亚州立大学)
本文首次为采用方差估计器和参考优势分解的 Q-learning 算法(UCB-Advantage 和 Q-EarlySettled-Advantage)建立了对数级间隙相关遗憾界,并首次给出策略切换成本的间隙相关分析。
2025-03-10 cs.LG stat.ML
Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对未知转移与对抗性奖励的线性混合MDP,提出结合占用度量全局优化与策略方差感知回归的新算法,实现近最优动态遗憾并匹配下界。
2024-11-05 cs.LG stat.ML
Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science(统计与数据科学系)
本文研究线性MDP中隐私约束下的遗憾最小化问题,通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术,设计出一种新的差分隐私算法,实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了解决安全性与人类偏好的一致性以及学习效率等不同目的,越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}(OPRA)的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证,扩展到(并同时举行)所有的风险。在本文中,我们解除OPRA马尔可夫决策过程(MDPs),其中重要性采样(IS)CDF估计遭受高方差较长的轨迹,由于有效样本量小。为了缓解这些问题,我们将基于模型的估计开发的第一个双稳健(DR)估计CDF的回报MDP。该估计量具有显著较小的方差,并且当模型被很好地指定时,达到Cramer-Rao方差下限。此外,对于许多风险泛函,下游估计享有更低的偏差和更低的方差。此外,我们推导出了第一个极大极小的下边界的非政策CDF和风险估计,这与我们的误差界匹配到一个常数因子。最后,我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs
Imperial College London(伦敦帝国学院);University of Bayreuth(拜罗伊特大学)
针对动态未知的有限状态MDPs,本文提出分离认知与偶然不确定性并利用闭式表达式和随机梯度优化贝叶斯后验期望值的方法,在网格世界与AI Clinician任务中验证了其有效性与可扩展性。
2024-06-04 cs.LG
Order-Optimal Regret with Novel Policy Gradient Approaches in Infinite-Horizon Average Reward MDPs
Indian Institute of Science(印度科学研究所);Purdue University(普渡大学)
针对无限时域平均奖励 MDP,本文提出两种通用参数化策略梯度算法,分别借助隐式梯度传输和 Hessian 技术,将遗憾改进至 $\tilde{\mathcal{O}}(T^{2/3})$ 与最优的 $\tilde{\mathcal{O}}(\sqrt{T})$。
2025-05-11 cs.LG
Variance-Based Risk Estimations in Markov Processes via Transformation with State Lumping
Concordia Institute of Information System Engineering(康考迪亚信息系统工程研究院);Concordia University(康考迪亚大学)
方差在风险敏感强化学习中起着至关重要的作用,大多数风险度量都可以通过方差进行分析。在本文中,我们考虑两个法律不变的风险作为例子:均值方差风险和指数效用风险。借助于状态增强变换(SAT),我们证明了这两种风险可以在具有随机转移报酬和随机策略的马尔可夫决策过程(MDP)中得到估计.为了缓解状态空间的扩大,提出了一种新的同位素态的定义状态集总,考虑到特殊的结构转换的转移概率。在数值实验中,我们说明了状态集总在SAT,错误从一个天真的奖励简化,和SAT的有效性的两个风险估计。
2019-07-09 cs.AI cs.LG stat.ML
Learning Chance-Constrained MDPs with Bellman Distributional Certificates
Cornell University AI for Science Institute(康奈尔大学人工智能科学研究所);Cornell University(康奈尔大学);University of Washington(华盛顿大学)
本文提出贝尔曼分布证书方法,用于解决机会约束马尔可夫决策过程,通过构建约束违反概率的贝尔曼递归,实现模型基上下界匹配,并提供无模型策略梯度算法,在合成和IEEE 14节点基准上验证安全性。
2026-11-17 cs.LG
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Offline Primal-Dual Reinforcement Learning for Linear MDPs
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出一种基于线性规划公式的原始-对偶优化方法,通过新的重新参数化推导低方差梯度估计器,在无限时间范围折扣和平均奖励 MDP 中实现了样本与计算高效性,并首次提供了平均奖励离线 RL 的理论保证。
2023-05-22 cs.LG
Variance-Reduced Cascade Q-learning: Algorithms and Sample Complexity
Delft University of Technology(代尔夫特理工大学)
本文提出方差缩减级联Q学习算法,在同步生成模型下实现极小极大最优,并在策略评估特例中达到非渐近实例最优与最小样本复杂度。
2025-05-26 cs.LG cs.SY eess.SY
Minimax-Optimality of Posterior Sampling for Reinforcement Learning
本文证明未经修改的后验采样PSRL在任意相关先验下实现极小极大贝叶斯遗憾最优,通过共同经验转移参考和贝尔曼方差论证,获得表格型MDP的$\tilde{O}(\sqrt{SAH^3K})$率及线性混合MDP的$\tilde{O}(d\sqrt{H^3K})$率。
2026-09-29 cs.LG stat.ML
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE(MBZUAI, 阿拉伯联合酋长国);Stanford University, USA(斯坦福大学, 美国);EPITA, France(EPITA, 法国);Indian Institute of Technology Bombay, India(印度班加罗尔理工学院, 印度)
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界,不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案,证明了近似O(N^{9/10})的后悔界,并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Reinforcement Learning When All Actions are Not Always Available
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(奥多比研究院)
马尔可夫决策过程(MDP)制定用于模拟许多现实世界的顺序决策问题,并没有有效地捕捉设置在每个时间步的可用决策(行动)的集合是随机的。最近,随机行动集马尔可夫决策过程(SAS-MDP)制定已被提出,它更好地捕捉的概念,随机行动集。在本文中,我们认为,现有的RL算法SAS-MDP可能会受到潜在的分歧问题,并提出新的策略梯度算法SAS-MDP,将方差降低技术独特的设置,并提供其收敛的条件。最后,我们通过实验证明了我们的方法在任务上的实用性,这些任务是由现实生活中的用例激发的,其中动作集是随机的。
2020-01-20 cs.LG stat.ML
Physics-Informed Causal MDPs for Sequential Constraint Repair in Engineering Simulation Pipelines
Beijing JiaoTong University(北京交通大学)
本文提出PI-CMDP框架,通过因果识别、压缩和估计三步流程,在工程仿真流水线中实现高效的约束修复,提升修复成功率并减少故障率。
2026-04-20 cs.AI cs.LG
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Data- and Variance-dependent Regret Bounds for Online Tabular MDPs
Department of Mathematical Informatics, The University of Tokyo, Tokyo, Japan(数学信息学系,东京大学,东京,日本)
针对已知转移的在线表格马尔可夫决策过程,提出在对抗性环境下实现数据依赖遗憾界、在随机环境下实现方差依赖遗憾界的最优算法,并证明全局优化方法达到近乎最优。
2026-06-25 cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
在具有连续动作空间的马尔可夫决策过程(MDP)上的深度强化学习(DRL)通常通过沿着估计的策略梯度(PG)的方向直接训练参数策略来实现。以前的研究表明,这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而,现有的PG合并方法可能是样本效率低,不适合训练直接确定性的政策。为了解决这些问题,本文引入精英PG,并加强其方差减少效果,采用精英主义和政策巩固技术,定期政策培训的基础上,从精英轨迹提取的政策行为知识。同时,我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展,传统的插值合并方法。在理论和实验两个层面上,我们表明,两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG,并减轻他们对训练有素的政策的性能影响。我们的实验还表明,两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
在本文中,我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程(DMDP)与$|S|$状态,$|A|$行动,折扣因子$γ\in(0,1)$,并在$[-M, M]$范围内的奖励,我们展示了如何计算$ε$ -最优策略,概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间,近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法,我们可以从$O(1)$时间的过渡函数的样本。在此假设下,我们提供了一个算法,计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后,我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是,我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance
Business School, Sun Yat-Sen University(中山大学商学院)
研究了同时考虑报酬均值和方差的具有长期平均度量的无限阶段离散时间马尔可夫决策过程的最优化问题。这样的绩效指标很重要,因为均值表示平均回报,方差表示风险或公平性。然而,方差度量耦合在所有阶段的奖励,传统的动态规划是不适用的时间一致性原则失效。我们研究这个问题从一个新的角度称为灵敏度为基础的优化理论。推导了一个性能差异公式,该公式可以量化任意两种策略下MDP的均值-方差组合度量的差异。差分公式可以用来产生新的政策,严格改进的均值-方差性能。给出了最优策略的一个必要条件和确定性策略的最优性。我们进一步发展了一种策略迭代形式的迭代算法,证明了该算法在混合和随机策略空间中均收敛于局部最优。特别地,当策略中的平均报酬为常数时,保证算法收敛到全局最优值。最后,我们应用我们的方法来研究在储能系统中的风力发电的波动减少,这表明我们的最优化方法的潜在适用性。
2020-08-09 cs.AI cs.LG math.OC
Model-Based Uncertainty in Value Functions
Bosch Center for Artificial Intelligence(博世人工智能中心);TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心)
我们考虑在基于模型的强化学习中量化期望累积回报的不确定性问题。特别是,我们专注于表征方差引起的分布在MDP的值。以往的工作通过求解一个所谓的不确定性Bellman方程来上界后验方差,但过度近似可能导致效率低下的探索。我们提出了一个新的不确定性Bellman方程,其解决方案收敛到真正的后验方差的值和明确的特点差距在以前的工作。此外,我们的不确定性量化技术很容易集成到常见的探索策略中,并通过使用标准的深度强化学习架构自然地扩展到表格设置之外。在表格和连续控制设置中,困难的探索任务的实验表明,我们更清晰的不确定性估计提高了样本效率。
2023-03-07 cs.AI cs.LG stat.ML
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校)
虽然基于模型的强化学习(RL)方法被认为是更有效的样本,但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此,学习的模型可能缺乏被更专业的规划者重用的能力。在本文中,我们解决了这个问题,并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是,我们采取了一个插件求解器的方法,我们专注于学习一个模型在探索阶段,并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说,我们专注于线性混合MDP设置,其中概率转移矩阵是一组现有模型的(未知)凸组合。我们表明,通过建立一个新的探索算法,插件的方法学习一个模型,通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策,在原来的模型。该示例复杂度与非插件方法的下限相匹配,并且是\emph{statistically optimal}。我们实现这一结果,利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
Minimax PAC Bounds for Learning in Exogenous Contextual MDPs
CREST, ENSAE(CREST与ENSAE);Criteo AI Lab(Criteo人工智能实验室);FairPlay Joint Team(FairPlay联合团队)
针对外生上下文表格折扣MDP,提出方差缩减算法实现策略评估、最优值估计和最优策略提取,样本复杂度与上下文空间大小无关且达到极小极大最优。
2026-10-27 cs.LG stat.ML
Stochastic Halpern iteration in normed spaces and applications to reinforcement learning
Universidad Adolfo Ibáñez(阿道弗·伊巴涅斯大学);Facultad de Ingeniería y Ciencias(工程与科学学院);Escuela de Ingeniería Industrial(工业工程学院)
本文研究带小批量的随机 Halpern 迭代,证明其在非扩张与 γ-压缩算子中的预言机复杂度及下界,并据此提出适用于平均/折扣回报 MDP 的无模型强化学习算法。
2025-05-09 cs.LG math.OC stat.ML
Temporal Regularization in Markov Decision Process
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
强化学习的一些应用由于高方差而遭受不稳定性。这在高维域中尤其普遍。正则化是机器学习中常用的技术,用于减少方差,但代价是引入一些偏差。大多数现有的正则化技术集中在空间(感知)正则化。然而,在强化学习中,由于Bellman方程的性质,也有机会利用基于轨迹上的值估计的平滑度的时间正则化。本文探讨了一类时间正则化方法。我们正式的特点,这种技术使用马尔可夫链的概念引起的偏见。我们通过一系列简单的离散和连续的MDP说明了时间正则化的各种特性,并表明该技术即使在高维Atari游戏中也能提供改进。
2019-04-10 cs.LG stat.ML
Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model
University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
论文研究生成模型下强化学习的样本效率,证明扰动和保守的基于模型算法及普通模型规划可突破既有样本量障碍并达到极小极大最优。
2023-04-17 cs.IT cs.LG math.IT
Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
传统的强化学习(RL)旨在最大化预期的总回报,而不确定结果的风险需要控制,以确保在风险规避环境中的可靠性能。本文研究了无限时域马尔可夫决策过程中报酬序列的动态风险最大化问题。我们将期望条件风险测度(ECRM)应用于无限期风险厌恶的MDP,并证明了其时间一致性。使用一个凸组合的期望和条件风险价值(CVaR)作为一个特殊的一步条件风险度量,我们重新制定的风险厌恶MDP作为一个风险中性的对应扩大行动空间和操纵的即时回报。我们进一步证明了相关的Bellman算子是一个压缩映射,这保证了任何基于值的RL算法的收敛性。因此,我们开发了一个风险规避的深度Q学习框架,我们基于两个简单的MDP的数值研究表明,风险规避设置可以减少方差并增强结果的鲁棒性。
2023-01-14 cs.LG math.OC
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara(加州大学圣巴巴拉分校);Princeton(普林斯顿大学)
离线强化学习试图利用离线/历史数据来优化顺序决策策略,在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势,现有的努力通常会强制使用强大的函数表示模型(例如,神经网络)来学习最佳策略。然而,精确理解函数表示的统计极限仍然是难以捉摸的,即使这样的表示是线性的。为了实现这一目标,我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界,我们设计了方差感知的悲观值迭代(VAPVI),它采用时间非齐次的情节线性马尔可夫决策过程(MDP)的价值函数的条件方差信息. VAPVI利用价值函数的估计方差,在最小二乘悲观值迭代中对Bellman残差进行重新加权,并在最知名的现有结果上提供改进的离线学习边界(而Bellman残差通过设计进行了同等加权)。更重要的是,我们的学习边界表示的系统数量,这提供了自然的实例依赖的特征,以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
强化学习理论中的一个基本问题是:假设最优的$Q$ -函数位于给定的$d$维特征映射的线性跨度中,样本有效的强化学习(RL)是否可能?Weisz et al.(2020)最近的显着结果否定地解决了这个问题,提供了一个指数(在$d$中)样本量下限,即使智能体可以访问环境的生成模型,该下限也是成立的。人们可能希望通过进一步假设一个更有利的假设来绕过RL的这个信息论障碍:在最佳动作的最佳$Q$值和次佳动作的最佳值之间存在一个\emph{constant suboptimality gap}(对于所有状态)。希望是,有一个大的次优差距将允许更容易识别最佳行动本身,从而使问题易于处理;事实上,如果代理可以访问生成模型,则实际上可以通过添加这个更有利的假设来实现样本有效的RL。这项工作的重点是在标准的在线强化学习设置,我们的主要结果解决了这个问题的负面:我们的硬度结果表明,指数样本复杂度下限仍然成立,即使一个常数的次优差距,除了具有线性可实现的最佳$Q$ -功能。也许令人惊讶的是,这意味着在线RL设置和生成模型设置之间的指数分离。补充我们的负硬度结果,我们给出了两个积极的结果,表明可证明样本有效的RL是可能的,无论是在一个额外的低方差假设下,还是在一个新的超收缩假设下(两者都隐含地对底层动力学模型施加了更强的条件)。
2021-10-19 cs.AI cs.LG stat.ML
Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
University of Dhaka(达卡大学)
本文提出OPS-DeMo在线算法,通过动态误差衰减检测对手策略切换,并结合AOP库与响应策略库,提升多智能体强化学习在动态环境中的鲁棒性和决策能力。
2024-06-10 cs.AI cs.LG
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research(博世公司研究中心);Technical University Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题,提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案,构建通用策略优化算法QU-SAC,经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
Settling the Sample Complexity of Model-Based Offline Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对离线强化学习现有方法样本复杂度次优或启动成本高的问题,证明基于模型的悲观价值迭代方法在表格型MDP下可实现无启动成本的极小极大最优样本复杂度,并给出了对应理论分析框架。
2024-03-08 cs.IT cs.LG cs.SY
Improving the Estimation of Lifetime Effects in A/B Testing via Treatment Locality
Graduate School of Business, Columbia University(哥伦比亚大学研究生商学院);Institute for Data, Systems, and Society, Department of Civil and Environmental Engineering, and Operations Research Center, Massachusetts Institute of Technology(麻省理工学院数据、系统与社会研究所);Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达管理学院)
针对动态服务系统中A/B测试估计长期效果的问题,利用处理局部性共享非目标状态信息,提出新估计器实现方差随测试臂数线性减少且无偏,并扩展至可微估计器,为高效实验提供理论与工具。
2025-09-09 cs.LG econ.EM stat.AP
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley(加州大学伯克利分校)
在设计有限时间范围情景强化学习问题的算法时,一种常见的方法是引入一个虚构的折扣因子,并使用静态策略进行近似。经验上,它已被证明,虚构的折扣因子有助于减少方差,和固定的政策,以节省每次迭代的计算成本。然而,从理论上讲,目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步,对这些算法进行分析。它侧重于两个香草策略梯度(VPG)的变种:第一个是一个广泛使用的变种与折扣优势估计(DAE),第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证,这两种算法建立,和额外的折扣因子,以减少在DAE中引入的偏差,从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程(MDP)的三个设置:有限的时间范围,平均奖励和折扣设置。据我们所知,这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP,这也导致了(第一)全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC