Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret
本文提出将基于多次函数评估的核估计器转化为期望等价的采样型bandit估计器，并接入标准FTRL算法，从而在对抗性时变凸损失函数下实现了$\ ilde{O}(t^{1/2})$的遗憾界。
2023-06-24 cs.LG
RL for Latent MDPs: Regret Guarantees and a Lower Bound
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Technion（以色列理工学院）
在这项工作中，我们考虑潜在马尔可夫决策过程（LMDP）的强化学习的遗憾最小化问题。在LMDP中，MDP在交互开始时从一组$M$可能的MDP中随机抽取，但所选MDP的身份不向代理透露。我们首先表明，LMDP的一般情况下，至少需要$Ω((SA)^M)$情节，甚至接近最优策略。然后，我们考虑充分的假设下，学习好的政策需要多项式的情节。我们表明，关键环节是一个概念之间的分离MDP系统动力学。通过充分的分离，我们提供了具有局部保证的高效算法，{ \it即，}当我们得到一个好的初始化时，提供了一个次线性的后悔保证。最后，如果我们给出预测状态表示（PSR）文献中常见的标准统计充分性假设（例如，Boots等人）和可达性假设，我们表明，初始化的需要可以删除。
2021-02-09 cs.LG
The Pareto Regret Frontier for Bandits
University of Alberta（阿尔伯塔大学）
给定一个多臂强盗问题，对于某些特殊行为，最坏情况下的后悔可能比通常情况下要小。我表明，这种不平衡的最坏情况下的后悔保证的价格是相当高的。具体地说，如果一个算法对于某个动作的最坏情况遗憾值为B，那么一定存在另一个动作，它的最坏情况遗憾值至少为Ω（nK/B），其中n是视界，K是动作的个数。我还给出了随机和对抗设置的上界，表明这个结果不能得到改善。对于随机的情况下，帕累托后悔边界的特点是完全恒定的因素。
2015-10-30 cs.LG
Make the Minority Great Again: First-Order Regret Bound for Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
在线学习中的后悔界限将玩家的表现与$L^*$进行比较，后者是具有固定策略的事后最佳表现。通常，这种界限与时间范围$T$的平方根成比例。更精确的一阶后悔界限的概念用缩放的$\sqrt{L^*}$代替了它，它可能比$\sqrt{T}$小得多。众所周知，标准算法的小变量在完全信息和多臂强盗设置下满足一阶后悔界。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire提出了一个问题，即现有技术似乎不足以获得上下文强盗问题的一阶后悔界限。在本文中，我们解决了这个开放的问题，提出了一个新的战略的基础上扩大政策空间。
2018-02-09 cs.LG
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
Predictive Control and Regret Analysis of Non-Stationary MDP with Look-ahead Information
Department of Electrical and Computer Engineering（电气与计算机工程系）；Carnegie Mellon University（卡内基梅隆大学）
针对非平稳MDP策略设计难的问题，本文利用前瞻预测信息提出低遗憾算法，理论证明其遗憾随前瞻窗口扩大指数下降，且预测误差次指数增长时遗憾不激增，仿真验证了算法有效性。
2025-11-14 cs.LG
No Regrets for Learning the Prior in Bandits
Google（谷歌）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
我们提出了${\tt AdaTS}$，汤普森采样算法，适应顺序的强盗任务，它与互动。${\tt AdaTS}$的核心思想是通过保持任务参数的分布来适应未知的任务先验分布。在解决一个强盗任务时，这种不确定性被边缘化并得到适当的解释。${\tt AdaTS}$是一个完全贝叶斯算法，可以有效地实现在几类强盗问题。我们推导出其贝叶斯遗憾的上限，量化的损失，由于不知道的任务之前，并表明它是小的。我们的理论得到了实验的支持，其中${\tt AdaTS}$优于以前的算法，即使在具有挑战性的现实问题中也能很好地工作。
2022-02-25 cs.LG
Optimal Regret Bounds for Selecting the State Representation in Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）；Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术局）；INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧研究中心）
我们考虑一个代理与环境交互的动作，观察和奖励的单一流，没有重置。这个过程不被假设为马尔可夫决策过程（MDP）。相反，代理有几个表示（映射历史的过去的相互作用到一个离散的状态空间）的环境与未知的动态，只有其中的一些结果在MDP。我们的目标是最小化平均后悔标准对代理谁知道MDP表示给予最高的最优奖励，并采取行动最佳在it.Recent遗憾界为这个设置的顺序$O(T^{2/3})$与添加剂长期常数，但指数的最佳MDP的一些特性。我们提出了一个算法，其遗憾后$T$时间步是$O(\sqrt{T})$，与所有常数合理的小。这在$T$中是最优的，因为$O(\sqrt{T})$是在（单个离散）MDP中学习的设置中的最优遗憾。
2013-03-18 cs.LG
Regret Analysis for Hierarchical Experts Bandit Problem
Tsinghua University（清华大学）
研究了标准强盗问题的一个推广，其中专家层为R层.多层次的专家一层一层地进行选择，只有最后一层的专家才能玩武器。学习策略的目标是最大限度地减少总的遗憾，在这个层次的专家设置。我们首先分析的情况下，总后悔增长的层数。然后重点研究了所有专家均采用上置信限策略的情形，给出了不同情形下的几个次线性上界。最后，我们设计了一些实验来帮助对一般层次UCB结构的后悔分析，并展示了我们的理论结果的实际意义。这篇文章给出了许多关于合理层次决策结构的见解。
2022-08-11 cs.LG
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Optimism in Face of a Context: Regret Guarantees for Stochastic Contextual MDP
Tel Aviv University（特拉维夫大学）；Google Research, Tel Aviv（谷歌研究（特拉维夫））
我们提出了遗憾最小化算法随机上下文MDP最小可达性假设下，使用离线最小二乘回归预言机。我们分析了三种不同的设置：其中的动态是已知的，其中的动态是未知的，但独立的上下文和最具挑战性的设置，其中的动态是未知的和上下文相关的。对于后者，我们的算法得到了遗憾界的$\widetilde{O}( (H+{1}/{p_{min}})H|S|^{3/2}\sqrt{|A|T\log(\max\{|\mathcal{G}|,|\mathcal{P}|\}/δ)})$概率$1-δ$，其中$\mathcal{P}$和$\mathcal{G}$是有限的和可实现的功能类，分别用于近似的动力学和奖励，$p_{min}$是最小可达性参数，$S$是一组状态，$A$的动作集，$H$的地平线，$T$的情节数。据我们所知，我们的方法是第一个应用于具有一般函数近似的上下文MDP的乐观方法（即，而不需要关于函数类的附加知识，例如它是线性的等等）。我们提出了一个下界的$Ω(\sqrt{T H |S| |A| \ln(|\mathcal{G}|)/\ln(|A|)})$，预期的遗憾，即使在已知的动态的情况下。最后，我们讨论了我们的结果的CMDPs没有最低可达性，获得$\widetilde{O}(T^{3/4})$遗憾的扩展。
2023-01-22 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
Improved Algorithms for Nash Welfare in Linear Bandits
Indian Institute of Technology Kharagpur（印度理工学院克哈格普尔学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔学院）
针对线性赌博机中纳什遗憾的次优性，提出新分析工具实现阶最优界，并引入p-均值遗憾统一框架，设计元算法FairLinBandit，在真实数据集上优于现有方法。
2026-06-23 cs.LG
Misspecified Linear Bandits
University of California, Berkeley（加州大学伯克利分校）；Indian Institute of Science（印度科学院）
研究了误定线性随机多臂强盗问题的在线学习问题。最先进的线性强盗算法的后悔保证，如面对不确定性的乐观线性强盗（OFUL），在假设武器预期奖励在其特征上是完全线性的情况下成立。然而，感兴趣的是调查潜在的误指定的影响，在线性强盗模型中，预期的回报被扰动远离由武器功能确定的线性子空间。虽然OFUL最近已被证明是鲁棒的相对较小的偏离线性，我们表明，任何线性强盗算法，享有最佳的遗憾性能在完美的线性设置（例如，OFUL）在线性模型的稀疏加性扰动下必须遭受线性后悔。为了克服这个负面的结果，我们定义了一个自然类的土匪模型，其特征在于从线性的非稀疏偏差。我们认为，OFUL算法可能无法实现次线性的遗憾，即使在模型，有非稀疏deviation.We最后开发了一种新的土匪算法，包括一个假设检验线性其次是决定使用OFUL或上置信限（UCB）算法。对于完全线性的bandit模型，该算法可证明具有OFUL良好的后悔性能，而对于满足非稀疏偏差性质的错误指定模型，该算法避免了线性后悔现象，回归到UCB的次线性后悔尺度.数值实验合成数据，并从公共雅虎推荐数据！学习排序挑战数据集，经验支持我们的发现。
2017-04-23 cs.LG
Adaptive Regret for Bandits Made Possible: Two Queries Suffice
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对快速变化环境下的在线优化问题，提出每轮仅需两次查询的强自适应老虎机学习器StABL，实现紧的自适应遗憾界，并扩展至老虎机凸优化及实验验证。
2024-01-17 cs.LG
Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Improved Regret for Differentially Private Exploration in Linear MDP
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了依赖于敏感数据（如医疗记录）的环境中顺序决策的隐私保护探索。特别是，我们专注于解决的问题，强化学习（RL）的约束（联合）差分隐私在线性MDP设置，其中动力学和奖励的线性函数。由于Luyo等人（2021）对该问题的先前工作，实现了$O(K^{3/5})$对发作次数$K$的依赖性的后悔率。我们提供了一个私人的算法与改进的遗憾率与最佳的依赖$O(\sqrt{K})$的情节的数量。我们更强的后悔保证的关键配方是策略更新计划的自适应性，其中只有在检测到数据中的足够变化时才会发生更新。因此，我们的算法受益于低切换成本，只执行$O(\log(K))$更新，这大大减少了隐私噪声的量。最后，在隐私参数$ε$是一个常数的最流行的隐私制度，我们的算法产生的隐私成本可以忽略不计-与现有的非私人遗憾的界限相比，由于隐私的额外遗憾出现在低阶条款。
2022-06-22 cs.LG
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Dueling Bandits: From Two-dueling to Multi-dueling
Tsinghua University（清华大学）
我们研究了一个一般的多决斗强盗问题，代理人同时比较多个选项，并旨在尽量减少由于选择次优武器的遗憾。这种设置推广了传统的两个决斗的强盗问题，并发现许多现实世界中的应用涉及多个选项的主观反馈。我们从两个决斗的强盗设置，并提出了两个有效的算法，DoublerBAI和MultiSBM反馈。DoublerBAI提供了一个通用的模式翻译的最佳手臂识别算法的决斗强盗问题的已知结果，并实现了$O(\ln T)$的遗憾界。MultiSBM反馈不仅具有最佳的$O(\ln T)$遗憾，而且与基准测试结果相比，常数因子几乎减少了一半。然后，我们考虑了一般的多决斗的情况下，开发了一个有效的算法MultiRUCB。使用一种新的有限时间遗憾分析一般多决斗强盗问题，我们表明，MultiRUCB也实现了$O(\ln T)$遗憾界和界收紧的能力的比较集的增加。基于合成和真实世界的数据集，我们的经验表明，我们的算法优于现有的算法。
2022-11-16 cs.LG
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University（清华大学）
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$，我们提供了一个算法并证明了其后悔保证，由于技术原因，随着时间范围$T$的增长，该保证具有两阶段表达式。我们还证明了一个下界定理，令人惊讶地显示了我们的两个阶段的遗憾上限（对数因子）的问题参数的\emph{full range}的最优性，因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明，$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束，我们的算法是简单，易于实际实现。此外，我们的算法实现了最佳遗憾的所有$T \geq d$，而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析，我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界，据我们所知，这是第一次在文献中，可能是独立的兴趣。
2022-10-15 cs.LG
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说，我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法，BEF-RLSVI，a）使用惩罚最大似然估计学习未知参数，b）在奖励参数中注入校准的高斯噪声以确保探索，以及c）利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析，得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限，其中$d$是参数的维度，$H$是发作长度，$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限，并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Order-Optimal Regret with Novel Policy Gradient Approaches in Infinite-Horizon Average Reward MDPs
Indian Institute of Science（印度科学研究所）；Purdue University（普渡大学）
针对无限时域平均奖励 MDP，本文提出两种通用参数化策略梯度算法，分别借助隐式梯度传输和 Hessian 技术，将遗憾改进至 $\tilde{\mathcal{O}}(T^{2/3})$ 与最优的 $\tilde{\mathcal{O}}(\sqrt{T})$。
2025-05-11 cs.LG
On the Complexity of Bandit Linear Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了在线线性优化问题与强盗反馈，不同的全信息设置，玩家只能观察到自己的损失，而不是完整的损失向量的可达遗憾。我们表明，在这种情况下，强盗信息的价格可以大$d$，反驳了著名的猜想，强盗线性优化的遗憾是最多$\sqrt{d}$倍的全信息遗憾。令人惊讶的是，这是使用标准域的“微不足道”的修改，这在全信息设置中没有影响。我们提出的这一结果和其他结果突出了全信息学习和强盗学习之间的一些有趣的差异，这些差异在以前的文献中没有考虑过。
2014-08-11 cs.LG
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University（康奈尔大学）
研究了一个具有记忆约束的对抗性强盗问题，其中只能存储一个臂子集的统计信息。一个层次的学习策略，只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔，建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
我们研究了随机多臂强盗设置中的后悔最小化问题，并建立了一个基本的权衡算法下遭受的遗憾，其统计鲁棒性。考虑到广泛的潜在武器的分布，我们表明，强盗学习算法与对数遗憾总是不一致的，一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如，如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数，学习性能可能是不一致的。接下来，我们展示了一个积极的结果：如果我们允许遗憾比对数略差，则可以获得统计上鲁棒和一致的学习性能。具体来说，我们提出了三个类的分布遗忘算法，实现了渐近遗憾，是任意接近对数。
2020-06-22 cs.LG stat.ML
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中，我们扩展了著名的结果，从强盗理论，以发现最小最大贝叶斯政策，并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
High Accuracy and Low Regret for User-Cold-Start Using Latent Bandits
Trinity College Dublin（都柏林圣三一学院）
本文提出一种隐式赌博机算法解决推荐系统新用户冷启动问题，在准确率和遗憾两方面均显著超越现有方法。
2023-05-12 cs.IR cs.LG
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在对抗环境中学习马尔可夫决策过程（MDP）一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性，因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上，线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾（$K$表示发作次数），这允许有很大的改进空间。在本文中，我们研究了一个新的观点，这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术，探索性的假设下，产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题，具有线性结构。
2023-02-14 cs.AI cs.LG
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Exploration Bonus for Regret Minimization in Undiscounted Discrete and Continuous Markov Decision Processes
Inria Lille（里尔法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）
介绍并分析了离散和连续马尔可夫决策过程中基于勘探奖金的两种勘探开发算法。SCAL $^+$是SCAL的变体（Fruit等人，2018），其在任何未知的弱通信MDP中执行有效的探索-利用，其中最优偏置函数的跨度上的上限C是已知的。对于具有$S$状态、$A$动作和$Γ\leq S$可能的下一个状态的MDP，我们证明了SCAL $^+$实现了与SCAL相同的理论保证（即，$\widetilde{O}(C\sqrt{ΓSAT})$的高概率后悔界），具有小得多的计算复杂性。类似地，C-SCAL $^+$利用探索奖金在具有连续状态空间的任何未折扣MDP中实现次线性遗憾。我们证明了C-SCAL $^+$实现了与UCCRL相同的遗憾界（Ortner和Ryabko，2012），同时是第一个在此设置中具有遗憾保证的可实现算法。虽然诸如UCRL、SCAL或UCCRL之类的乐观算法在真实未知MDP周围维持似然MDP的高置信度集合，但SCAL $^+$和C-SCAL $^+$利用探索奖励来直接计划经验估计的MDP，因此在计算上更有效。
2018-12-11 cs.LG stat.ML
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来，无模型强化学习由于其简单、存储和计算效率高，以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中，我们提出了探索增强Q学习（EE-QL），一个无模型算法的无限地平线平均回报马尔可夫决策过程（MDP），实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP，其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法，实现了$O(\sqrt T)$遗憾没有遍历假设，并匹配的下限$T$除了对数因子。实验表明，该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
A Bayesian Approach to Learning Bandit Structure in Markov Decision Processes
Harvard University（哈佛大学）；Brown University（布朗大学）
在强化学习文献中，有许多针对上下文Bandit（CB）或马尔可夫决策过程（MDP）环境开发的算法。然而，当在现实世界中部署强化学习算法时，即使具有领域专业知识，通常也很难知道将顺序决策问题视为CB还是MDP是否合适。换句话说，行为会影响未来的状态，还是只影响眼前的回报？对环境的性质做出错误的假设可能会导致低效的学习，甚至会阻止算法学习最优策略，即使有无限的数据。在这项工作中，我们开发了一个在线算法，使用贝叶斯假设检验方法来学习环境的性质。我们的算法允许从业者将先验知识的环境是否是CB或MDP，并有效地插在经典CB和基于MDP的算法，以减轻对错误指定的环境的影响。我们进行模拟，并证明，在CB设置我们的算法实现较低的遗憾比基于MDP的算法，而在非土匪MDP设置我们的算法能够学习最佳的政策，往往实现可比的遗憾基于MDP的算法。
2022-07-30 cs.AI cs.LG
