Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon
EDF R&D（法国电力公司研发部）；FIME（FIME实验室）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间范围连续时间线性二次强化学习问题的情景设置，其中的状态和控制系数是未知的控制器。我们首先提出了一个最小二乘算法的基础上连续时间的观察和控制，并建立了一个对数遗憾界的顺序$O((\ln M)(\ln\ln M))$，与$M$是学习情节的数量。分析包括两个部分：扰动分析，利用相关的里卡蒂微分方程的规律性和鲁棒性;和参数估计误差，它依赖于连续时间最小二乘估计的次指数特性。我们进一步提出了一个实际可实现的最小二乘算法的基础上离散时间的观察和分段常数控制，实现了类似的对数遗憾与一个额外的长期明确取决于在算法中使用的时间步长。
2022-06-17 cs.LG math.OC stat.ML
Episodic Contextual Bandits with Knapsacks under Conversion Models
Industrial Systems Engineering & Management National University of Singapore（新加坡国立大学工业系统工程与管理学院）
本文提出了一种在转换模型下处理周期性情境老虎机与背包问题的算法，通过置信界 oracle 实现子线性后悔，改进了某些情况下的后悔界，并引入了无标签特征数据的应用。
2026-01-02 cs.LG
Quantum Computing Provides Exponential Regret Improvement in Episodic Reinforcement Learning
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）
本文研究了用量子预言机求解\textit{episodic reinforcement learning}的态演化问题。为此，我们提出了一个基于\textit{Upper Confidence Bound}（UCB）的量子算法框架，以促进学习的有限时域MDP。与经典算法相比，我们的量子算法在后悔方面实现了指数级的改善，与$\Tilde{\mathcal{O}}(\sqrt{K})$ \footnote{$\Tilde{\mathcal{O}}(\cdot)$ hides logarithmic terms.}相比，我们的量子算法实现了$\Tilde{\mathcal{O}}(1)$的后悔，$K$是训练集的数量。为了实现这一优势，我们利用有效的量子平均估计技术，提供了二次改进的数量i.i.d.与经典的均值估计相比，估计亚高斯随机变量的均值所需的样本。这种改进是量子强化学习中显著改善遗憾的关键。我们在各种RL环境中提供了概念验证实验，这些实验反过来证明了所提出的算法框架的性能增益。
2023-02-16 cs.AI cs.LG cs.SY
Differentially Private Regret Minimization in Episodic Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Wayne State University（韦恩州立大学）
研究了差分隐私（DP）约束下有限水平表马尔可夫决策过程（MDP）的后悔最小化问题。这是由强化学习（RL）在现实世界中的顺序决策问题，其中保护用户的敏感和私人信息变得至关重要的广泛应用的动机。我们考虑DP的两种变体-联合DP（JDP），其中集中式代理负责保护用户的敏感数据和本地DP（LDP），其中信息需要直接在用户端保护。我们首先提出了两个一般框架-一个用于策略优化，另一个用于值迭代-用于设计私有的乐观RL算法。然后，我们实例化这些框架与合适的隐私机制，以满足JDP和LDP的要求，同时获得次线性后悔保证。遗憾界表明，在JDP下，隐私成本只是一个低阶的加法项，而在LDP下，更强的隐私保护，所遭受的成本是乘法。最后，遗憾界得到了一个统一的分析，这，我们相信，可以扩展到表MDPs。
2021-12-20 cs.CR cs.LG math.PR
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning
Google Research（谷歌研究院）；NYU（纽约大学）；HKUST（香港科技大学）
汤普森抽样是上下文强盗最有效的方法之一，并已推广到某些MDP设置的后验抽样。然而，现有的用于强化学习的后验采样方法受到基于模型的限制，或者缺乏线性MDP之外的最坏情况理论保证。本文提出了一种新的无模型后验抽样公式，适用于更一般的情节强化学习问题的理论保证。我们引入了新的证明技术，以表明在适当的条件下，我们的后验抽样方法的最坏情况下的遗憾匹配的最佳已知的优化方法的结果。在线性MDP设置与尺寸，我们的算法的遗憾尺度与尺寸线性相比，现有的后验采样为基础的探索算法的二次依赖。
2022-08-23 cs.LG
Opportunistic Episodic Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义强化学习-一个新的变种强化学习问题的遗憾选择一个次优的行动变化下的外部环境条件称为变化因素。当变异因子较低时，选择次优行为的后悔也较低，反之亦然。我们的直觉是，当变异系数高时，我们应该更多地开发，当变异系数低时，我们应该更多地开发。我们证明了这种新的框架有限的地平线情节MDP的设计和评估OppUCRL 2和OppPSRL算法的好处。我们的算法通过引入变异因子依赖的乐观来指导探索，动态地平衡了强化学习的探索-利用权衡。我们建立了OppUCRL 2算法的$\tilde{O}(HS \sqrt{AT})$遗憾界，并通过仿真证明了OppUCRL 2和OppPSRL算法的性能都优于它们原来的相应算法.
2022-10-24 cs.AI cs.LG
Online Reinforcement Learning with Uncertain Episode Lengths
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Oxford（牛津大学）
现有的情节强化算法假设情节的长度随着时间的推移是固定的并且是先验已知的。在本文中，我们考虑了一个一般框架的情节强化学习时，每个情节的长度是从一个分布。我们首先确定这个问题相当于具有一般折扣的在线强化学习，其中学习者试图优化无限范围内的预期折扣奖励总和，但折扣函数不一定是几何的。我们发现，最小化遗憾与这种新的一般折扣是等效的，以最小化遗憾与不确定的情节长度。然后，我们设计了一个强化学习算法，最大限度地减少一般折扣的遗憾，但不确定的情节长度设置的行为。我们实例化我们的一般界不同类型的折扣，包括几何和多项式折扣。我们还表明，我们可以获得类似的遗憾界，即使当情节长度的不确定性是未知的，通过估计未知的分布随着时间的推移。最后，我们比较了我们的学习算法与现有的基于值迭代的情景RL算法在网格世界的环境。
2023-02-07 cs.LG
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
Improved Corruption Robust Algorithms for Episodic Reinforcement Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们研究情节强化学习下未知的对抗腐败的奖励和转移概率的基础系统。我们提出了新的算法，与现有的结果相比（Lykouris等人，2020），在表格设置的总腐败方面实现严格更好的后悔界限。具体来说，首先，我们的后悔界限依赖于更精确的总回报腐败和过渡腐败的数值，而不仅仅是腐败事件的总数。其次，我们的遗憾界限是强化学习设置中第一个让腐败数量相对于$\min\{\sqrt{T}, \text{PolicyGapComplexity}\}$以相加方式而不是乘法方式出现的。我们的研究结果遵循一个通用的算法框架，结合腐败强大的政策消除元算法，插件奖励免费探索子算法。替换元算法或子算法可以扩展框架以解决具有潜在更多结构的其他损坏的设置。
2021-03-08 cs.AI cs.LG
Regret Bounds for Discounted MDPs
University of California, San Diego（加州大学圣迭戈分校）
强化学习（RL）传统上是从情景的角度来理解的;非情景RL的概念，即没有重新启动，因此没有可靠的恢复，仍然是难以捉摸的。非情景强化学习的一个基本问题是如何衡量学习者的表现，并推导出最大化这种表现的算法。传统的观点是最大化学习者获得的平均奖励和最大长期平均奖励之间的差异。在本文中，我们认为，如果总的时间预算是相对有限的相比，环境的复杂性，这种比较可能无法反映有限的时间最优的学习。我们提出了一个家庭的措施，称为$γ$ -遗憾，我们相信，以更好地捕捉有限时间最优。我们给出了动机，并得出这些措施的下限和上限。注：后续工作（arXiv：2010.00587）改进了我们的下限和上限，差距现在关闭在$\tildeΘ\left(\frac{\sqrt{SAT}}{(1 - γ)^{\frac{1}{2}}}\right)$。
2021-05-27 cs.LG stat.ML
Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
针对连续时间情节式MDP，在泊松决策时段和Lipschitz平滑假设下，扩展UCRL和Q-learning，证明$\widetilde{O}(T^{2/3})$遗憾界及匹配下界，实现最优速率。
2026-09-22 cs.LG
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
Online KL-Regularized Reinforcement Learning with Function Approximation under Misspecification
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
研究在模型误设下，基于一般函数近似的KL正则化上下文赌博机和情节强化学习，提出KL误设公式并分析基于回归的Gibbs策略更新算法，给出包含显式误设项的高概率KL遗憾界。
2026-07-14 cs.LG
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California（南加州大学）；eBay, Inc.（亿贝公司）；Google DeepMind（谷歌DeepMind）
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs，证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免，但在不完备弱揭示条件下可达到多项式遗憾界，并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Optimistic Q-learning for average reward and episodic reinforcement learning
Columbia University（哥伦比亚大学）
该研究提出一种乐观Q-learning算法，通过引入$\tilde{L}$算子解决平均奖励强化学习的遗憾最小化问题，其设定推广了回合式场景，还为两类场景的遗憾最小化提供了统一视角。
2025-06-16 cs.LG stat.ML
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对聚合赌博机反馈的片段式MDP，提出首个两全其美算法，在随机和对抗环境下分别达到对数与平方根遗憾，并证明最优性。
2025-10-27 cs.LG stat.ML
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法，它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后，$T$步骤的一致遍历马尔可夫决策过程的$S$状态，$A$行动，和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限，在一般的，非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Near-optimal Representation Learning for Linear Bandits and Linear RL
Peking University（北京大学）；Princeton University（普林斯顿大学）；Amazon（亚马逊）；Beijing Institute of Big Data Research（北京大数据研究院）
研究了多任务线性强盗和多任务情景强化学习中线性值函数逼近的表示学习。我们首先考虑这样的设置，其中我们同时使用$M$线性强盗和维度$d$，并且这些强盗共享公共的$k$维度线性表示，使得$k\ll d$和$k \ll M$。我们提出了一个样本效率的算法，MTLR-OFUL，它利用共享表示实现$\tilde{O}(M\sqrt{dkT} + d\sqrt{kMT} )$遗憾，$T$的总步骤数。我们的遗憾显着改善了通过独立解决每个任务而实现的基线$\tilde{O}(Md\sqrt{T})$。我们进一步发展了一个下限，表明我们的遗憾是接近最佳时，$d > M$。此外，我们扩展的算法和分析，以多任务情景RL与线性值函数近似下的低固有贝尔曼误差\citep{zanette2020learning}。据我们所知，这是第一个理论结果，它描述了多任务表示学习在RL中探索函数逼近的好处。
2021-02-08 cs.LG
The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches
Yale University（耶鲁大学）
在本文中，我们研究了无模型和基于模型的情景强化学习（RL）的后悔最小化问题。我们专注于学习一般功能类和一般模型类，我们得出的结果，这些类的逃避维度的规模。在现有的工作，主要是建立实例独立的遗憾保证机构，我们专注于实例依赖的设置和显示的遗憾尺度与地平线$T$，只要有一个最好的和第二个最好的行动之间的差距，在每个国家。此外，我们表明，这样的对数遗憾界是可实现的算法与$O(\log T)$切换成本（也称为自适应复杂性）。换句话说，这些算法在执行过程中很少切换策略。最后，我们补充我们的结果与下限表明，即使在表格设置，我们不能希望后悔保证低于$o(\log T)$。
2022-03-03 cs.LG
Cascaded Gaps: Towards Gap-Dependent Regret for Risk-Sensitive Reinforcement Learning
Bloomberg（彭博社）；Yale University（耶鲁大学）
本文研究了基于熵风险测度的风险敏感强化学习中的间隙依赖后悔保证问题。我们提出了一个新的次优差距的定义，我们称之为级联的差距，我们讨论他们的关键组成部分，适应问题的底层结构。基于级联间隙，我们推导了两个无模型算法在情节马尔可夫决策过程下的非渐近和对数遗憾界。我们表明，在适当的设置，这些界限功能指数改善现有的是独立的差距。我们还证明了间隙依赖的下限，这证明了近最优的上限。
2022-03-07 cs.LG math.OC stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Decentralized Multi-Player Q-Learning in Episodic Markov Decision Processes with Information Asymmetry
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对三种信息不对称的回合式表格MDP去中心化多智能体强化学习问题，提出对应算法，证明其遗憾值在对数因子内匹配单智能体Q学习速率，边界适用于小智能体数量或小动作集场景。
2026-08-14 cs.LG
Online Episodic Convex Reinforcement Learning
Univ. Grenoble Alpes（格拉诺布尔大学）；Inria（法国国家科学研究中心）；CNRS（法国国家科学研究中心）；Grenoble INP（格拉诺布尔研究所）；LJK（实验室）；EDF Lab（EDF实验室）
本文研究在线回合式凸强化学习CURL，提出带变化约束集与探索奖励的在线镜像下降算法，在无转移先验下获得近最优遗憾，并首次解决仅含目标值反馈的老虎机版本。
2025-05-12 cs.LG stat.ML
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分部）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题，提出结合乐观探索与动作消除的框架，在无腐败时保持近最优遗憾，并能优雅适应未知腐败水平，首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Exploration-exploitation trade-off for continuous-time episodic reinforcement learning with linear-convex models
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Alan Turing Institute（艾伦·图灵研究所）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系）
我们开发了一个概率框架，用于分析情景设置中基于基于模型的强化学习。然后，我们应用它来研究有限时间范围内的线性动态随机控制问题，但未知系数和凸，但可能不规则的目标函数。使用概率表示，我们研究相关的成本函数的规律性，并建立精确的估计应用最优反馈控制来自估计和真实的模型参数之间的性能差距。我们确定了这种性能差距为二次的条件，改善了最近工作中的线性性能差距[X. Guo，中国古猿A. Hu和Y. Zhang，arXiv预印本，arXiv：2104.09311，（2021）]，这与随机线性二次问题的结果相匹配。接下来，我们提出了一个基于阶段的学习算法，我们展示了如何优化探索-开发权衡，并实现高概率和期望的次线性遗憾。当二次性能差距所需的假设成立时，该算法在一般情况下实现了顺序$\mathcal{O}(\sqrt{N} \ln N)$高概率后悔，在自我探索的情况下实现了顺序$\mathcal{O}((\ln N)^2)$期望后悔，在$N$事件上，与文献中的最佳可能结果相匹配。分析需要新的浓度不等式相关的连续时间观测，我们得到。
2021-12-19 cs.LG math.OC math.PR
Learning Markov Decision Processes under Fully Bandit Feedback
Department of Industrial and Operations Engineering, University of Michigan（工业与运作工程系，密歇根大学）；Computer Science Department, New York University（计算机科学系，纽约大学）
本文提出了在完全老虎机反馈下学习回合制MDP的高效算法，实现了O(√T)的后悔界，并展示了其在k-项预言不等式中的性能与有详细反馈的算法相当。
2026-02-02 cs.LG
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说，我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法，BEF-RLSVI，a）使用惩罚最大似然估计学习未知参数，b）在奖励参数中注入校准的高斯噪声以确保探索，以及c）利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析，得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限，其中$d$是参数的维度，$H$是发作长度，$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限，并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
Episodic Multi-armed Bandits
Bilkent University（比尔肯特大学）；University of Oxford（牛津大学）
我们介绍了一类新的强化学习方法，称为{ \em情节多武装匪徒}（eMAB）。在eMAB中，学习者在{ \em片段}中进行，每个片段由若干{ \em步骤}组成，其中它选择动作并观察反馈信号。此外，在每一步中，它都可以执行一个特殊的操作，称为$stop$操作，用于结束当前事件。在采取$stop$动作之后，学习者收集终端奖励，并观察与情节的每个步骤相关联的成本和终端奖励。学习器的目标是最大化其累积增益（即，终端奖励减去成本），通过学习基于反馈选择最佳动作序列。首先，我们定义一个{ \em oracle}基准，它顺序地选择最大化预期即时收益的操作。然后，我们提出了我们的在线学习算法，命名为{ \em FeedBack Adaptive Learning}（FeedBAL），并证明了它的遗憾相对于基准是有界的高概率，并在期望中递增。后悔只与步骤数、动作数和状态数有多项式关系。eMAB可用于模拟涉及人类的应用程序，从个性化的医疗筛查到个性化的基于网络的教育，其中在每个事件中采取一系列行动，最佳行为需要根据反馈调整所选择的行动。
2018-03-11 cs.LG stat.ML
Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出组合多变量多臂老虎机框架CMAB-MT及乐观CUCB-MT算法，应用于情节强化学习等，建立CMAB与情节RL的首个联系，实现匹配或改进的遗憾界。
2025-04-22 cs.LG
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University（波士顿大学）；The University of Sydney（悉尼大学）
我们考虑情景情境下的强化学习（RL）中的后悔最小化问题。在许多现实世界的RL环境中，状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证，无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而，对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中，我们提出了一个在线的基于模型的RL算法，即CME-RL，学习表示的过渡分布作为嵌入在再生核希尔伯特空间，同时仔细平衡开发探索权衡。我们证明了我们的算法的效率，通过证明一个频率论（最坏情况下）的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.}，其中$H$是情节长度，$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要，并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Differentially Private Episodic Reinforcement Learning with Heavy-tailed Rewards
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Wayne State University（韦恩州立大学）；Microsoft Research（微软研究院）
针对仅具有限(1+v)阶矩的重尾奖励MDP，提出基于稳健均值估计的JDP与LDP价值迭代及策略优化框架，给出遗憾上下界并揭示其与次高斯隐私RL的本质差异。
2023-06-05 cs.AI cs.LG
VO$Q$L: Towards Optimal Regret in Model-free RL with Nonlinear Function Approximation
Google Research（谷歌研究院）；HKUST（香港科技大学）；Stanford University（斯坦福大学）
研究了一般函数近似和稀疏奖励下的时间非齐次情景强化学习（RL）问题。基于$Q$ -学习，在假设回归函数类的完备性和有界Eluder维数的前提下，设计了一种新的算法--方差加权乐观$Q$ -学习（VO $Q$ L）.作为一种特殊情况，VO $Q$ L在（$d$ -维）线性函数近似下实现了水平$H$ MDP的$\tilde{O}(d\sqrt{HT}+d^6H^{5})$对$T$事件的后悔，这是渐近最优的。我们的算法采用加权回归为基础的最佳价值函数的上限和下限，以获得这种改进的遗憾。该算法是计算效率的回归预言的函数类，使这第一个计算上听话，统计上最优的方法线性MDP。
2022-12-12 cs.LG stat.ML
Learning Adversarial Markov Decision Processes with Delayed Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
强化学习通常假设智能体立即观察其行为的反馈，但在许多现实世界的应用程序（如推荐系统）中，反馈是延迟观察到的。研究了具有未知转移、逆向变化代价和无限制延迟反馈的情景马尔可夫决策过程的在线学习问题。也就是说，情节$k$的成本和轨迹仅在情节$k + d^k$结束时向学习者揭示，其中延迟$d^k$既不相同也不受限制，并且由不经意的对手选择。我们提出了新的算法的基础上的政策优化，实现接近最优的高概率遗憾的$\sqrt{K + D}$下的全信息反馈，其中$K$是事件的数量和$D = \sum_{k} d^k$是总延迟。在强盗反馈下，我们证明了类似的$\sqrt{K + D}$后悔假设成本是随机的，和$(K + D)^{2/3}$后悔在一般情况下。我们是第一个考虑后悔最小化的重要设置MDP延迟反馈。
2021-12-15 cs.LG
Adaptive Discretization for Episodic Reinforcement Learning in Metric Spaces
Cornell University（康奈尔大学）
我们提出了一个有效的算法无模型的情节强化学习大（潜在连续）的状态动作空间。我们的算法是基于一种新的$Q$的学习政策与自适应数据驱动的离散化。其核心思想是在历史轨迹中经常访问的区域中保持状态-动作空间的更精细分区，并且具有更高的收益估计。我们展示了我们的自适应分区如何利用最佳$Q$函数和联合空间的形状，而不牺牲最坏情况下的性能。特别是，我们恢复了连续的状态-动作空间，这还需要一个最佳的离散化作为输入，和/或访问模拟预言先前算法的遗憾保证。此外，实验证明了我们的算法如何自动适应问题的底层结构，从而产生更好的性能相比，并行和$Q$ -学习均匀离散化。
2019-10-31 cs.LG stat.ML
Online Resource Allocation in Episodic Markov Decision Processes
KAIST（韩国科学技术院）；Stanford University（斯坦福大学）
本文研究了情景有限时域受约束马尔可夫决策过程中的长期在线资源分配问题，提出了“观察后决策”与改进的“决策后观察”两种机制，并开发了在线对偶镜像下降算法，在两种机制下均实现了近乎最优的遗憾界。
2023-10-19 cs.DS cs.LG math.OC
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning
Tsinghua University（清华大学）
本文研究了有限时域马尔可夫决策过程模型下具有批量约束的情景强化学习问题。多批次强化学习框架，其中，代理被要求提供一个时间表，以更新之前的一切，这是特别适合的情况下，代理遭受广泛的自适应改变策略。给定一个具有$S$状态、$A$动作和规划时域$H$的有限时域MDP，我们设计了一个计算效率高的算法，使用带有置信度参数$δ$的$O\left(H+\log_2\log_2(K) \right)$批次，在$K$事件中实现$\tilde{O}(\sqrt{SAH^3K\ln(1/δ)})$ \footnote{$\tilde{O}(\cdot)$ hides logarithmic terms of $(S,A,H,K)$}的近最优后悔.据我们所知，这是第一个与$O(H+\log_2\log_2(K))$批处理复杂性绑定的$\tilde{O}(\sqrt{SAH^3K})$遗憾。同时，我们表明，要实现$\tilde{O}(\mathrm{poly}(S,A,H)\sqrt{K})$遗憾，批次的数量至少是$Ω\left(H/\log_A(K)+ \log_2\log_2(K) \right)$，这符合我们的上限对数项。我们的技术贡献有两个方面：1）一个接近最优的设计方案，以探索未学习的状态; 2）一个计算效率高的算法，以探索某些方向与近似的过渡模型。
2022-10-15 cs.LG
No-Regret Thompson Sampling for Finite-Horizon Markov Decision Processes with Gaussian Processes
University of Cambridge（剑桥大学）；MediaTek Research（联发科技研究）
该论文为基于高斯过程的汤普森采样在有限时域马尔可夫决策过程中建立了无遗憾保证，证明了遗憾界并扩展了理论工具，推进了强化学习中TS的理论理解。
2025-10-23 cs.LG
Fast Non-Episodic Finite-Horizon RL with K-Step Lookahead Thresholding
针对非情节有限时域MDP，提出K步前瞻Q函数与阈值机制，实现快速有限样本收敛，在合成环境和标准RL任务中优于现有方法。
2026-06-16 cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Toward Optimal Regret in Adversarial MDPs with Stochastic Hard Constraints
University of Edinburgh（爱丁堡大学）；Politecnico di Milano（米兰理工大学）
针对带随机硬约束的对抗马尔可夫决策过程，提出MA-OPS算法，结合Slater裕度的乐观搜索与策略悲观评估，获得最优悔值界并证明其最优性。
2026-10-09 cs.LG
Learning Kernel-Based MDPs from Episodic Preferential Feedback
Cornell University（康奈尔大学）；MediaTek Research（联发科研究）
本文研究片段核MDP中的偏好学习，提出基于偏好比较的价值估计和置信集方法，并证明亚线性遗憾界。
2026-05-25 cs.LG stat.ML
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Multi-Objective Reward and Preference Optimization: Theory and Algorithms
University of Southern California（南加州大学）
本论文提出多目标约束优化算法MOPO，通过理论与算法结合，提升约束强化学习在控制、偏好学习和大语言模型对齐中的性能与安全性。
2025-12-11 cs.LG
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；School of Electrical Engineering, Tel Aviv University（特拉维夫大学电气工程学院）；Google Research（谷歌研究院）
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题，通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
Regret Bounds for Markov Decision Processes with Recursive Optimized Certainty Equivalents
The Chinese University of Hong Kong（香港中文大学）
本文针对带递归优化确定性等价的表格型马尔可夫决策过程，提出基于价值迭代和上置信界的风险敏感强化学习算法，推导了其后悔上界与极小极大下界，证明算法在回合数和动作数上的后悔率具有最优依赖性。
2023-06-08 cs.AI cs.LG math.OC
Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
在在线情景强化学习（RL）中实现样本效率需要最佳地平衡探索和利用。当它涉及到一个有限的地平线情节马尔可夫决策过程的$S$状态，$A$行动和地平线长度$H$，取得了实质性的进展，对表征最小最优遗憾，规模的顺序为$\sqrt{H^2SAT}$（模对数因子）与$T$的样本总数。虽然已经提出了几种竞争解决方案范例来最小化遗憾，但它们要么是存储效率低的，要么达不到最优性，除非样本大小超过巨大的阈值（例如，现有无模型方法的$S^6A^4 \,\mathrm{poly}(H)$）。为了克服这样一个大的样本量的障碍，有效的RL，我们设计了一种新的无模型算法，空间复杂度$O(SAH)$，达到接近最佳的遗憾，只要样本量超过$SA\,\mathrm{poly}(H)$的顺序。在这个样本大小的要求（也称为初始老化成本），我们的方法改进-至少$S^5A^3$的一个因素-在任何以前的内存效率的算法，是渐进的遗憾最优。利用最近引入的方差减少策略（也称为{PDMATHAMV参考优势分解}），该算法采用{PDMATHAMV早解决}参考更新规则，与两个Q-学习序列的帮助下，上，下置信界。我们早期解决的方差减少方法的设计原理可能对其他涉及复杂的探索-利用权衡的RL设置具有独立的兴趣。
2022-10-17 cs.LG math.ST stat.ML
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
Regret Bounds for Risk-sensitive Reinforcement Learning with Lipschitz Dynamic Risk Measures
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对含 Lipschitz 动态风险度量的有限回合风险敏感强化学习，提出两种基于模型的算法，并建立最优遗憾上下界及数值验证。
2023-06-04 cs.AI cs.LG stat.ML
Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出FedQ-Advantage算法，通过参考优势分解和事件触发机制，在联邦Q学习中同时实现几乎最优遗憾和低对数级通信成本。
2025-03-10 cs.LG stat.ML
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Online Learning with Continuous Variations: Dynamic Regret and Reductions
Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。特别是，我们发现单调EP承认减少实现次线性静态遗憾COL。使用这个新的设置，我们重新审视的困难，次线性动态遗憾。我们证明了一个基本的等价实现次线性动态遗憾COL和解决某些EP。有了这个洞察力，我们提供的条件，实现次线性动态遗憾的有效算法，即使是在没有任何先验变化预算的情况下，自适应地选择损失。此外，我们表明COL减少从动态遗憾到静态遗憾和收敛在相关的EP，使我们能够分析许多现有的算法的动态遗憾。
2022-04-04 cs.LG math.OC stat.ML
