Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Exploration Bonus for Regret Minimization in Undiscounted Discrete and Continuous Markov Decision Processes
Inria Lille（里尔法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）
介绍并分析了离散和连续马尔可夫决策过程中基于勘探奖金的两种勘探开发算法。SCAL $^+$是SCAL的变体（Fruit等人，2018），其在任何未知的弱通信MDP中执行有效的探索-利用，其中最优偏置函数的跨度上的上限C是已知的。对于具有$S$状态、$A$动作和$Γ\leq S$可能的下一个状态的MDP，我们证明了SCAL $^+$实现了与SCAL相同的理论保证（即，$\widetilde{O}(C\sqrt{ΓSAT})$的高概率后悔界），具有小得多的计算复杂性。类似地，C-SCAL $^+$利用探索奖金在具有连续状态空间的任何未折扣MDP中实现次线性遗憾。我们证明了C-SCAL $^+$实现了与UCCRL相同的遗憾界（Ortner和Ryabko，2012），同时是第一个在此设置中具有遗憾保证的可实现算法。虽然诸如UCRL、SCAL或UCCRL之类的乐观算法在真实未知MDP周围维持似然MDP的高置信度集合，但SCAL $^+$和C-SCAL $^+$利用探索奖励来直接计划经验估计的MDP，因此在计算上更有效。
2018-12-11 cs.LG stat.ML
Regret Lower Bounds in Multi-agent Multi-armed Bandit
Northwestern University（西北大学）
本文研究多智能体多臂老虎机的遗憾下界，分别在随机与对抗奖励、连通与非连通图设置下建立紧致下界，并弥合对抗情形中既有上下界的差距。
2023-08-15 cs.LG stat.ML
Asymptotically optimal regret in communicating Markov decision processes
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔国立理工学院、格勒诺布尔信息学实验室）
本文提出一种在通信马尔可夫决策过程中实现渐近最优遗憾的算法，通过显式跟踪最优常数并平衡探索与利用，并处理常数不连续性的挑战。
2025-05-23 cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
$\sqrt{n}$-Regret for Learning in Markov Decision Processes with Function Approximation and Low Bellman Rank
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Florida（佛罗里达大学）
本文研究了具有极大状态空间的马尔可夫决策过程的在线学习问题。在可实现函数逼近和低Bellman秩的假设下，我们开发了一种在线学习算法，该算法学习最优价值函数，同时在学习过程中实现非常低的累积遗憾。我们的学习算法，自适应值函数消除（AVE），是受（Jiang et al.，2017年，被称为橄榄。我们在AVE中的关键技术贡献之一是将OLIVE中的消除步骤制定为上下文强盗问题。该技术使我们能够应用来自（Dudik等人，2011），而不是在原来的OLIVE算法中使用的随机动作探索方案，更有效的探索和更好地控制在每个策略消除步骤中产生的遗憾。据我们所知，这是第一个$\sqrt{n}$遗憾的结果，强化学习在随机MDP一般价值函数近似。
2020-06-20 cs.LG stat.ML
Cancellation-Free Regret Bounds for Lagrangian Approaches in Constrained Markov Decision Processes
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对有限时域CMDPs，提出基于增广拉格朗日的新算法OptAug-CMDP，在K回合内实现目标和约束违反的$\tilde{O}(\sqrt{K})$遗憾，且无需误差抵消。
2023-08-30 cs.LG stat.ML
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
The regret lower bound for communicating Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔科学与技术信息与自动化研究中心）
本文为通信马尔可夫决策过程建立更复杂的遗憾下界，揭示最优区域需过度访问的共探索现象，并证明该下界计算上为Σ₂^P难，同时给出近似算法。
2025-01-22 cs.LG stat.ML
Tighter Regret Bounds for Contextual Action-Set Reinforcement Learning
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
本文研究了具有固定奖励和转移函数的回合制强化学习，但每个回合的动作集依赖于回合。通过MVP算法，建立了对抗性和随机性情境下的更紧遗憾界，并推导了样本复杂度和间隙依赖的遗憾界。
2026-10-01 cs.LG stat.ML
Logarithmic regret bounds for continuous-time average-reward Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
本文研究连续时间平均奖励MDPs的强化学习，在转移概率和指数保持时间速率未知时，推导出对数级遗憾下界，并设计算法实现对数级有限时间遗憾上界。
2024-07-02 cs.LG math.OC stat.ML
Optimistic Regret Bounds for Online Learning in Adversarial Markov Decision Processes
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文针对对抗性马尔可夫决策过程提出利用代价预测器的新变体，并设计乐观偏置代价估计器与策略搜索方法，首次以高概率获得随预测能力优雅退化的次线性乐观遗憾界。
2024-05-03 cs.AI cs.LG stat.ML
Regret in Online Combinatorial Optimization
Université Paris Est（巴黎东大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；Princeton University（普林斯顿大学）；ICREA（加泰罗尼亚研究与高等教育机构）；Pompeu Fabra University（庞培法布拉大学）
我们解决在线线性优化问题时，决策者的可能行动是由二进制向量。决策者的后悔是指他已经意识到的损失和他在事后采取最佳行动时所能获得的最佳损失之间的差异。我们的目标是了解最佳可能（极大极小）后悔的程度。我们研究了三种不同的假设下的反馈决策者收到的问题：充分的信息，和部分信息模型的所谓的“半土匪”和“土匪”的问题。结合镜像下降算法和INF（隐式归一化预测器）的策略，我们能够证明半强盗的情况下的最佳界限。我们还恢复了最佳的界限，充分的信息设置。在强盗的情况下，我们讨论了现有的结果，根据一个新的下限，并建议在这种情况下的最佳后悔的猜想。最后，我们还证明了标准的指数加权平均预测器是可证明的次优设置在线组合优化。
2013-03-29 cs.LG stat.ML
Logarithmic Regret of Exploration in Average Reward Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
本文提出一种改进的规则替代Doubling Trick，使平均奖励马尔可夫决策过程中的探索遗憾降低至对数级别，提升算法性能。
2025-11-27 cs.LG stat.ML
Tight Regret Bounds for Single-pass Streaming Multi-armed Bandits
Rutgers University（罗格斯大学）
本文研究单遍流式 MAB 在次线性臂内存下的紧致遗憾界，通过 ε-最优臂识别与提交策略给出匹配上下界，并经仿真验证显著优于均匀探索。
2023-06-03 cs.DS cs.LG stat.ML
Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
Harvard University（哈佛大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本文通过引入识别遗憾和决策遗憾的概念，解耦了基于图像的强化学习中观测过拟合的两种误差来源，并在迷宫和Pong环境中验证了过度具体与不够具体表示的影响。
2025-04-02 cs.LG
A Tight Lower Bound for Non-stochastic Multi-armed Bandits with Expert Advice
Kent State University（凯特州立大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；The Hebrew University（希伯来大学）
本文通过证明与已有上界匹配的下界，确定了带有专家建议的非随机多臂老虎机问题的极小化极大最优期望遗憾为 $Θ(\sqrt{T K \log(N/K)})$。
2025-10-31 cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Addressing the Long-term Impact of ML Decisions via Policy Regret
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
机器学习（ML）越来越多地为个人和社区在贷款、教育、就业等领域的机会分配提供信息。这种决定往往以一种先验未知的方式影响其主体的未来特征和能力。因此，决策者面临着类似于多武装土匪的勘探-开采困境。在之前的工作之后，我们将社区建模为武器。为了捕捉基于ML的分配决策的长期影响，我们研究了一种设置，其中每个手臂的奖励在决策者每次拉动该手臂时都会发生变化，我们关注的是最初在拉动次数上增加但在某个点之后可能会变得（并保持）减少的奖励函数。我们认为，一个可接受的顺序分配的机会，必须考虑到一个手臂的增长潜力。我们捕捉这些考虑通过政策遗憾的概念，一个更强大的概念比经常研究的外部遗憾，并提出了一个算法，可证明次线性政策遗憾足够长的时间范围。我们根据经验将我们的算法与几个基线进行比较，发现它始终优于它们，特别是在长时间范围内。
2021-06-02 cs.AI cs.CY cs.LG
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Regret Balancing for Bandit and RL Model Selection
DeepMind（深度思维）；UC Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法，有效的模型选择策略以在线方式适应最佳学习算法。我们表明，通过估计每个算法的遗憾和播放的算法，以确保所有经验的遗憾是相同的顺序，整体遗憾平衡策略实现了一个遗憾，是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入，和策略的性能取决于上界的紧密性。我们表明，有这样的先验知识是必要的，以实现一个接近最佳的遗憾。此外，我们表明，任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Tight Memory-Regret Lower Bounds for Streaming Bandits
University of Science and Technology of China（中国科学技术大学）
本文研究流式老虎机问题，建立了紧致最坏情况遗憾下界和首个依赖实例的下界，提出了多遍历算法实现匹配的遗憾上界，揭示了流式与经典集中式设置的差异。
2023-06-13 cs.LG
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）；Google Research（谷歌研究院）
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本，被称为线性二次调节器（LQR）的问题。虽然无模型方法在实践中通常是有利的，但到目前为止，只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法，实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划，和一个新的和更严格的分析，在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法，它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后，$T$步骤的一致遍历马尔可夫决策过程的$S$状态，$A$行动，和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限，在一般的，非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Variational Regret Bounds for Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑马尔可夫决策过程（MDP）中的非折扣强化学习，其中奖励函数和状态转移概率都可能随时间变化（逐渐或突然）。对于这个问题的设置，我们提出了一个算法，并提供性能保证的最佳非平稳政策评估的遗憾。遗憾的上限是在MDP的总变化方面。这是一般强化学习设置的第一个变分遗憾界。
2019-09-10 cs.LG stat.ML
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Refined Analysis of FPL for Adversarial Markov Decision Processes
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑对抗马尔可夫决策过程（MDP）问题，其中MDP的奖励可以被对抗地选择，并且转移函数可以是已知的或未知的。在这两种情况下，在以前的文献中已经提出了基于跟随扰动领导者（FPL）的算法。然而，基于FPL的算法建立的遗憾界比基于镜像下降的算法差。我们改进了FPL算法的分析，在这两种设置，匹配当前最好的遗憾界限，使用更快，更简单的算法。
2020-08-21 cs.LG stat.ML
Learning in Markov Decision Processes under Constraints
Indian Institute of Science（印度科学学院）；Ohio State University（俄亥俄州立大学）
我们考虑马尔可夫决策过程中的强化学习（RL），其中代理反复与受控马尔可夫过程建模的环境交互。在每个时间步$t$，它获得奖励，并且还引起由$M$成本组成的成本向量。我们设计了基于模型的RL算法，最大限度地提高了$T$时间步长的时间范围内获得的累积奖励，同时确保$M$成本支出的平均值由代理指定的阈值$c^{ub}_i,i=1,2,\ldots,M$限制。为了衡量一个强化学习算法的性能，满足平均成本约束，我们定义了一个$M+1$维后悔向量，它是由其奖励后悔，和$M$成本后悔。回报后悔度量累积回报中的次优性，而成本后悔向量的第$i$分量是其第$i$累积成本支出与预期成本支出$Tc^{ub}_i$之间的差。我们证明了UCRL-CMDP的后悔向量的期望值的上界为$\tilde{O}\left(T^{2\slash 3}\right)$，其中$T$是时间范围。我们进一步展示了如何减少$M$成本的期望子集的遗憾，以增加奖励和剩余成本的遗憾为代价。据我们所知，我们是唯一的工作，认为非情节RL平均成本约束下，并推导出算法，可以~ \emph{tune the regret vector}根据代理的要求，其成本遗憾。
2022-01-05 cs.LG math.OC stat.ML
Improved Regret Bound for Safe Reinforcement Learning via Tighter Cost Pessimism and Reward Optimism
KAIST（韩国科学技术院）；Stanford University（斯坦福大学）
针对安全强化学习，提出基于更紧成本悲观与奖励乐观的模型算法，在保证不违反约束的同时改进了遗憾上界，且在特定条件下几乎匹配遗憾下界。
2024-10-14 cs.LG math.OC
DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret
Cornell University（康奈尔大学）
动态治疗方案（DTR）是个性化的、自适应的、多阶段的治疗计划，其使治疗决策适应于个体的初始特征以及每个后续阶段的中间结果和特征，其受先前阶段中的决策的影响。例如，糖尿病、癌症和抑郁症等慢性疾病的个性化一线和二线治疗，这些治疗适应于患者对一线治疗的反应、疾病进展和个体特征。虽然现有的文献主要集中在估计的最佳DTR从离线数据，如从顺序随机试验，我们研究的问题，开发的最佳DTR在一个在线的方式，其中与每个人的互动影响我们的累积奖励和我们的数据收集为未来的学习。我们称之为DTR强盗问题。我们提出了一种新的算法，通过仔细平衡探索和利用，保证实现率最优的遗憾时，过渡和奖励模型是线性的。我们证明了我们的算法和它的好处都在合成实验和案例研究中的适应性治疗抑郁症使用真实世界的数据。
2022-09-20 cs.LG math.OC stat.ML
Open Problem: Tight Online Confidence Intervals for RKHS Elements
MediaTek Research（联发科研究）；National University of Singapore（新加坡国立大学）；University of California, San Diego（加州大学圣地亚哥分校）
置信区间是分析各种在线学习问题的关键组成部分。基于核的强盗和强化学习问题的分析利用适用于再生核希尔伯特空间（RKHS）的元素的置信区间。然而，现有的置信区间似乎并不紧，导致次优的遗憾界限。事实上，几个核化的强盗算法（例如，GP-UCB、GP-TS和它们的变体）甚至可能不能是次线性的。目前还不清楚次优后悔界限是这些算法的根本缺点还是证明的伪像，主要挑战似乎源于观察点的在线（顺序）性质。我们正式定义了RKHS环境中的在线置信区间问题，并概述了现有的结果。
2021-10-28 cs.LG math.ST stat.ML
On Optimal Robustness to Adversarial Corruption in Online Decision Problems
NEC Corporation（NEC公司）
本文考虑了两个基本的序贯决策问题：专家建议的预测问题和多臂强盗问题。我们专注于随机制度，对手可能会腐败的损失，我们调查什么水平的鲁棒性可以实现对抗性腐败。本文的主要贡献是表明，最佳的鲁棒性可以表示由腐败量的平方根依赖。更准确地说，我们表明，两类算法，任何时候对冲学习率下降和算法的二阶遗憾界，实现$O( \frac{\log N}Δ + \sqrt{ \frac{C \log N }Δ } )$ -遗憾，其中$N, Δ$，和$C$代表的专家，间隙参数，和腐败水平，分别。我们进一步提供了一个匹配的下限，这意味着这个遗憾界是紧到一个常数因子。对于多臂强盗问题，我们也提供了一个接近紧的下限对数因子。
2021-09-22 cs.LG stat.ML
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个无约束的强盗问题，其中每个手臂拉招致一个随机的成本，并产生一个随机的回报。目标是在总成本的预算约束下，最大化总期望报酬。该模型是通用的，因为它允许相关且可能重尾的成本回报对，这些对可以根据许多应用的要求呈现负值。我们表明，如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对，$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界，我们提出了算法，利用成本和回报之间的相关性，通过提取共同的信息，通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界，并表明，所提出的算法实现紧问题相关的遗憾界，这是最佳的联合高斯成本和奖励对的情况下，一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology（麻省理工学院）
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程（FMDPs），这是有条件独立的转移组件的MDP。假设因子分解是已知的，我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构，而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法，提出了几个结构依赖的下限FMDPs的遗憾，揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Differentially Private Regret Minimization in Episodic Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Wayne State University（韦恩州立大学）
研究了差分隐私（DP）约束下有限水平表马尔可夫决策过程（MDP）的后悔最小化问题。这是由强化学习（RL）在现实世界中的顺序决策问题，其中保护用户的敏感和私人信息变得至关重要的广泛应用的动机。我们考虑DP的两种变体-联合DP（JDP），其中集中式代理负责保护用户的敏感数据和本地DP（LDP），其中信息需要直接在用户端保护。我们首先提出了两个一般框架-一个用于策略优化，另一个用于值迭代-用于设计私有的乐观RL算法。然后，我们实例化这些框架与合适的隐私机制，以满足JDP和LDP的要求，同时获得次线性后悔保证。遗憾界表明，在JDP下，隐私成本只是一个低阶的加法项，而在LDP下，更强的隐私保护，所遭受的成本是乘法。最后，遗憾界得到了一个统一的分析，这，我们相信，可以扩展到表MDPs。
2021-12-20 cs.CR cs.LG math.PR
Tight Gap-Dependent Memory-Regret Trade-Off for Single-Pass Streaming Stochastic Multi-Armed Bandits
Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）
本文研究了单遍流式随机多臂老虎机的间隙依赖遗憾最小化问题，提出了两种适用于不同内存大小范围的算法，并证明了匹配的下界，首次确立了该问题的紧致遗憾界限。
2025-03-04 cs.DS cs.LG stat.ML
Regret Bounds for Markov Decision Processes with Recursive Optimized Certainty Equivalents
The Chinese University of Hong Kong（香港中文大学）
本文针对带递归优化确定性等价的表格型马尔可夫决策过程，提出基于价值迭代和上置信界的风险敏感强化学习算法，推导了其后悔上界与极小极大下界，证明算法在回合数和动作数上的后悔率具有最优依赖性。
2023-06-08 cs.AI cs.LG math.OC
Multi-Armed Bandits with Metric Movement Costs
Google（谷歌）；Princeton University（普林斯顿大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑的非随机多臂强盗问题的设置有一个固定的和已知的度量的动作空间，确定任何一对动作之间的切换成本。在线学习者的损失有两个组成部分：第一个是所选动作的通常损失，第二个是由于动作之间的切换而造成的额外损失。我们的主要贡献给出了一个严格的预期极大极小遗憾在这种情况下，在一个复杂性措施$\mathcal{C}$的基本度量，这取决于其覆盖号码的表征。在具有$k$作用的有限度量空间中，我们给出了一个有效的算法，该算法实现了$\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3},\sqrt{kT}\})$形式的后悔，并证明了这是最好的可能。我们的遗憾界概括了以前已知的遗憾界的一些特殊情况下：（i）单位转换成本遗憾$\widetildeΘ(\max\{k^{1/3}T^{2/3},\sqrt{kT}\})$，其中$\mathcal{C}=Θ(k)$，和（ii）间隔度量与遗憾$\widetildeΘ(\max\{T^{2/3},\sqrt{kT}\})$，其中$\mathcal{C}=Θ(1)$。对于具有Lipschitz损失函数的无限度量空间，我们得到了$\widetildeΘ(T^{\frac{d+1}{d+2}})$的紧遗憾界，其中$d \ge 1$是空间的Minkowski维数，即使没有转换成本，它也是紧的.
2017-10-24 cs.LG
No-Regret Thompson Sampling for Finite-Horizon Markov Decision Processes with Gaussian Processes
University of Cambridge（剑桥大学）；MediaTek Research（联发科技研究）
该论文为基于高斯过程的汤普森采样在有限时域马尔可夫决策过程中建立了无遗憾保证，证明了遗憾界并扩展了理论工具，推进了强化学习中TS的理论理解。
2025-10-23 cs.LG
Horizon-Free Regret for Linear Markov Decision Processes
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）
本文首次为线性MDP设置提出无视界遗憾界，通过直接估计值函数和置信集，利用多个加权最小二乘估计器及结构性引理，实现了对转移模型大小指数级或不可数情况下的有效处理。
2024-03-15 cs.LG
Square-root regret bounds for continuous-time episodic Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
针对有限视野连续时间回合制 MDP，提出基于价值迭代与上置信界的学习算法，证明期望遗憾上下界均关于回合数呈平方根量级，并通过仿真验证性能。
2023-10-03 cs.LG math.OC
Achieving Constant Regret in Linear Markov Decision Processes
School of Data Science and Society（数据科学与社会学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究针对强化学习恒定遗憾问题，提出Cert-LSVI-UCB算法，通过创新的多阶段值目标回归集中分析，在带误设的线性MDP中实现了与轮次数无关的高概率恒定遗憾界，为首个无需先验分布假设的同类算法。
2024-12-12 cs.LG
Learning Infinite-Horizon Average-Reward Markov Decision Processes with Constraints
University of Southern California（南加州大学）
研究了在费用约束下的无限时域平均报酬马尔可夫决策过程的后悔最小化问题。我们首先设计了一个策略优化算法，精心设计的行动价值估计和奖金项，并表明，遍历MDP，我们的算法确保$\widetilde{O}(\sqrt{T})$遗憾和不断的约束违反，其中$T$是时间步的总数。这严格改进了（Singh等人，2020），其遗憾和约束违反均为$\widetilde{O}(T^{2/3})$。接下来，我们考虑最一般的弱通信MDPs类。通过有限时域近似，我们开发了另一种算法与$\widetilde{O}(T^{2/3})$遗憾和约束违反，它可以进一步改进为$\widetilde{O}(\sqrt{T})$通过一个简单的修改，虽然使算法计算效率低下。据我们所知，这些是第一套可证明算法的弱通信MDPs的成本约束。
2022-01-31 cs.LG
Thompson Sampling for Infinite-Horizon Discounted Decision Processes
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；United Airlines（美国联合航空公司）；UNSW Business School, UNSW（新南威尔士大学商学院）
本文提出了一种适用于更广泛场景的学习概念，通过将折扣无限时间MDP建模为具有Borel状态和动作空间的马尔可夫决策过程，并引入新的度量标准来分析适应性学习算法，证明了汤普森采样在特定条件下能实现完全学习。
2026-09-22 cs.LG math.OC stat.ML
Model-Free Online Learning in Unknown Sequential Decision Making Problems and Games
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
后悔最小化已被证明是一个通用的工具，树形序贯决策和广泛的形式的游戏。在大型二人零和信息博弈中，反事实遗憾最小化（CFR）的现代扩展是目前计算纳什均衡的实用技术。大多数用于树形顺序决策的后悔最小化算法，包括CFR，都需要（i）玩家决策节点、观察节点以及它们之间如何联系的精确模型，以及（ii）在所有时间t都对收益有充分的了解--即使是在时间t没有遇到的决策空间部分。最近，人们越来越有兴趣放宽其中一些限制，并使遗憾最小化适用于传统上使用强化学习方法的环境-例如，那些只有黑盒访问环境的环境。我们给第一，据我们所知，遗憾最小化算法，保证次线性遗憾的概率很高，即使要求（i）-因此也（ii）-下降。我们形式化的在线学习设置中的策略空间是不知道的代理，并得到逐步揭示每当代理遇到新的决策点。我们给出了一个有效的算法，实现了$O(T^{3/4})$遗憾的设置，即使当代理面临着一个敌对的环境具有很高的概率。我们的实验表明，它显着优于以前的算法的问题，没有这样的保证。它可以用在任何后悔最小化有用的应用中：近似纳什均衡或量子响应均衡，近似多人游戏中的粗略相关均衡，学习最佳对策，学习安全的对手利用，以及在线对抗未知对手/环境。
2021-03-08 cs.GT cs.LG
Quantum Speedups in Regret Analysis of Infinite Horizon Average-Reward Markov Decision Processes
Association for the Advancement of Artificial Intelligence（美国人工智能协会）
本文提出量子框架下的乐观表格强化学习算法，利用量子均值估计优势，将无限时域MDP的遗憾界从经典$\tilde{\mathcal{O}}(\sqrt{T})$指数级改进至$\tilde{\mathcal{O}}(1)$。
2025-05-26 cs.AI cs.LG quant-ph
Tight Bounds for Bandit Combinatorial Optimization
Technion—Israel Institute of Technology（以色列理工学院）；Google Brain（谷歌大脑）
我们重新研究的最优后悔率在强盗组合优化-一个基本框架，顺序决策下的不确定性，抽象出许多组合预测问题。我们证明，在这种情况下，可达到的遗憾增长为$\widetildeΘ(k^{3/2}\sqrt{dT})$，其中$d$是问题的维数，$k$是最大瞬时损失的界，反驳了Audibert，Bubeck和Lugosi（2013）的猜想，他们认为最佳速率应该是$\widetildeΘ(k\sqrt{dT})$的形式。我们的界限适用于几个重要的情况下的框架，特别是，意味着一个严格的约束研究的强盗最短路径问题。这样，我们也解决了Cesa-Bianchi和Lugosi（2012）提出的一个开放问题。
2017-02-24 cs.LG
Regret Minimization via Saddle Point Optimization
University of Alberta（阿尔伯塔大学）
本文通过鞍点优化重新参数化决策估计系数，提出E2D算法的任意时间变体，在线优化探索-利用权衡，为有限模型类和线性反馈模型提供实用算法，并评估其性能。
2024-03-15 cs.LG
Asymptotically Optimal Regret for Black-Box Predict-then-Optimize
Cornell University（康奈尔大学）
针对仅能观测已选动作奖励的黑盒先预测后优化决策问题，提出可微的经验软遗憾损失ESR，并证明其成对数据下的渐近最优性及在推荐和医疗任务上的优势。
2024-06-12 cs.LG math.OC
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
