Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习，提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法，得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs
本文提出了一种简化分析框架，改进了非平稳参数老虎机和MDP的加权策略，提升了算法效率和遗憾界。
2026-01-03 cs.LG stat.ML
Representative Action Selection for Large Action Space: From Bandits to MDPs
Technion（技术学院）
本文提出了一种在大规模动作空间中选择代表性动作的方法，通过理论保证实现了与完整动作空间相当的性能，适用于不确定环境下的高效决策。
2025-11-27 cs.LG math.OC math.PR
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC（丰田技术研究所）；Microsoft Research（微软研究院）；University of Michigan（密歇根大学）
我们考虑一个马尔可夫决策过程与确定性的状态转移动态，adversarially产生的奖励，任意改变从一轮到另一轮，和一个强盗反馈模型，决策者只观察它收到的奖励。在这种情况下，我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下，我们证明了马可波罗事后对最佳确定性策略的后悔度为O（T^（3/4）sqrt（log（T）。具体来说，我们的分析不依赖于严格的单链假设，这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中，我们扩展了著名的结果，从强盗理论，以发现最小最大贝叶斯政策，并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Provable General Function Class Representation Learning in Multitask Bandits and MDPs
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
虽然多任务表示学习已成为强化学习（RL）中提高样本效率的流行方法，但对它为什么以及如何工作的理论理解仍然有限。由于分析一般函数类的表示遇到了诸如泛化保证、抽象函数空间中置信界的确定等非平凡的技术障碍，以往的分析工作只能假设表示函数是智能体已知的或线性函数类已知的。然而，线性情况分析严重依赖于线性函数类的特殊性，而现实世界的实践通常采用一般的非线性表示函数，如神经网络。这大大降低了它的适用性。在这项工作中，我们将分析扩展到一般函数类表示。具体来说，我们认为代理播放$M$上下文土匪（或MDP）同时提取一个共享的表示功能$ϕ$从一个特定的功能类$Φ$使用我们提出的广义功能置信上限算法（GFUCB）。我们首次从理论上验证了多任务表示学习在一般函数类中对强盗和线性MDP的好处。最后，我们进行实验，以证明我们的算法与神经网络表示的有效性。
2022-10-21 cs.AI cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Near-Optimal Regret in Linear MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；University of Southern California（南加州大学）；Amazon Science（亚马逊科学）；Google Research（谷歌研究院）
该研究将聚合赌博机反馈的强化学习模型拓展至线性函数近似场景，提出两种带近最优悔值保证的高效算法，填补了此前仅在表格型场景研究的空白。
2024-05-14 cs.LG
Towards Principled, Practical Policy Gradient for Bandits and Tabular MDPs
Simon Fraser University（西蒙菲莎大学）；SIERRA Project Team (Inria)（SIERRA项目团队（法国国家信息与自动化研究所））
本文针对老虎机和表格型MDP中的softmax策略梯度方法，提出利用Armijo线搜索和指数递减步长设计无需未知问题相关量的实用算法，在保持理论收敛保证的同时实现有竞争力的性能。
2024-09-30 cs.LG
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Policy Optimization in Adversarial MDPs: Improved Exploration via Dilated Bonuses
University of Southern California（南加州大学）
策略优化是强化学习中广泛使用的一种方法。然而，由于其局部搜索性质，全局最优性的理论保证通常依赖于马尔可夫决策过程（MDP）的额外假设，这些假设绕过了全局探索的挑战。为了消除这种假设的需要，在这项工作中，我们开发了一个通用的解决方案，增加了扩张奖金的政策更新，以促进全球探索。为了展示这种技术的力量和通用性，我们将其应用于几个具有对抗性损失和强盗反馈的情景MDP设置，改进和推广了最先进的技术。具体来说，在表格中，我们获得了$\widetilde{\mathcal{O}}(\sqrt{T})$后悔，其中$T$是情节的数量，改进了Shani et al.（2020）约束的$\widetilde{\mathcal{O}}({T}^{2/3})$后悔。当状态数为无穷大时，假设状态-动作值在某些低维特征中是线性的，我们在模拟器的帮助下获得了$\widetilde{\mathcal{O}}({T}^{2/3})$遗憾，与Neu和Olkhovskaya（2020）的结果相匹配，同时重要的是消除了他们的算法所需的探索性策略的需要。当模拟器不可用时，我们进一步考虑线性MDP设置，并获得$\widetilde{\mathcal{O}}({T}^{14/15})$遗憾，这是第一个结果的线性MDP对抗损失和强盗反馈。
2021-07-18 cs.LG stat.ML
Beating Adversarial Low-Rank MDPs with Unknown Transition and Bandit Feedback
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
研究未知转移和对抗性损失下的低秩MDP遗憾最小化问题，改进了全信息反馈下的遗憾界，并首次在Bandit反馈与未知转移设置下提出基于线性结构假设的算法及oracle高效算法。
2024-11-11 cs.LG
Learning in Online MDPs: Is there a Price for Handling the Communicating Case?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Michigan（密歇根大学）
值得注意的是，在专家问题和对抗性多臂强盗问题中可以实现相同的$O(\sqrt{T})$后悔率，尽管在后一种情况下对动作数量的依赖性更差。与此相反，它已被证明，即使在确定性转换的情况下，处理在线MDP与通信结构和强盗信息招致$Ω(T^{2/3})$遗憾。这是我们为处理通信结构所付出的代价，还是因为我们也有强盗反馈？在本文中，我们表明，充分的信息，在线MDPs仍然可以学习在一个$O(\sqrt{T})$率，即使在存在的通信结构。我们首先表明这一点，提出了一个有效的跟随扰动的领导者（FPL）算法的确定性过渡的情况下。然后，我们扩大我们的范围，考虑随机过渡，我们首先给一个低效的$O(\sqrt{T})$ -后悔算法（与一个温和的附加条件的动态）。然后，我们展示了如何实现$O\left(\sqrt{\frac{T}α}\right)$后悔率使用一个甲骨文有效的算法，但有额外的限制，即起始状态分布的质量至少$α$的每个状态。
2022-10-03 cs.LG
Learning Kernel-Based MDPs from Episodic Preferential Feedback
Cornell University（康奈尔大学）；MediaTek Research（联发科研究）
本文研究片段核MDP中的偏好学习，提出基于偏好比较的价值估计和置信集方法，并证明亚线性遗憾界。
2026-05-25 cs.LG stat.ML
Towards Optimal Regret in Adversarial Linear MDPs with Bandit Feedback
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
研究无转移先验和模拟器的对抗性线性MDP在线强化学习问题，提出两种算法：一种计算低效但实现最优的$\sqrt{K}$遗憾，另一种基于策略优化且计算高效，遗憾为$K^{3/4}$，均显著优于现有技术。
2023-10-17 cs.AI cs.LG stat.ML
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Top-k Combinatorial Bandits with Full-Bandit Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
Top-k组合强盗一般化多武器强盗，其中在每一轮可以选择$n$武器中的任何$k$子集，并且获得奖励的总和。我们解决全强盗反馈，其中代理人只观察奖励的总和，与半强盗反馈，其中代理人也观察个别武器的奖励。我们提出了组合连续接受和拒绝（CSAR）算法，它将SAR（Bubeck et al，2013）推广到top-k组合强盗。我们的主要贡献是一个有效的抽样计划，使用阿达玛矩阵，以准确地估计个人武器的预期回报。我们讨论了两个变种的算法，第一个最大限度地减少样本的复杂性，第二个最小化的遗憾。我们还证明了一个下界的样本复杂性，这是紧的$k=O(1)$。最后，我们进行了实验，并表明我们的算法优于其他方法。
2019-12-04 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Efficient Policy Learning for Non-Stationary MDPs under Adversarial Manipulation
马尔可夫决策过程（MDP）是强化学习的流行模型。然而，其常用的静态动力学和奖励的假设是过于严格，并未能举行对抗，非平稳，或多智能体问题。我们研究了一个情节设置的参数MDP可以不同的情节。我们通过开发对抗强化学习（ARL）算法，将我们的MDP减少到一系列\emph{adversarial}强盗问题，来学习这种潜在对抗MDP的可靠策略。ARL实现了$O(\sqrt{SATH^3})$遗憾，这是最优的$S$，$A$，和$T$，其依赖于$H$是最好的（即使对于通常的平稳MDP）在现有的无模型的方法。
2019-08-21 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Linear Bandits with Feature Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon（亚马逊）
本文探讨了一种新形式的线性强盗问题，其中算法接收通常的随机奖励以及随机反馈的功能是相关的奖励，后者的反馈是新的方面。本文的重点是发展新的理论和算法的线性强盗与特征反馈。我们发现，线性土匪与功能反馈可以实现遗憾的时间范围$T$，规模像$k\sqrt{T}$，没有先验知识的功能是相关的，也没有相关功能的数量$k$。相比之下，传统线性强盗的遗憾是$d\sqrt{T}$，其中$d$是（相关和不相关）特征的总数，因此如果使用$k\ll d$，改进可能是巨大的。新算法的计算复杂性与$k$而不是与$d$成正比，与传统的线性Bandits算法相比更适合于实际应用。我们证明了新算法的性能与合成和真正的人类标记的数据。
2019-03-12 cs.LG stat.ML
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Dueling Bandits with Qualitative Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出并研究了一个新的多臂强盗问题，称为定性决斗强盗（QDB）问题，其中一个代理观察到的不是数字，而是定性反馈，通过拉每个arm. We采用相同的遗憾决斗强盗（DB）问题，决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题，但这种减少显着降低了性能-实际上，在QDB问题中，一个手臂赢得另一个手臂的决斗的概率可以直接估计，而无需进行实际的决斗。在本文中，我们提出了这样的QDB问题的直接算法。我们的理论分析表明，所提出的算法显着优于DB算法，通过将定性反馈，实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Beyond variance reduction: Understanding the true impact of baselines on policy optimization
Mila, McGill University（米拉研究所，麦吉尔大学）；Mila, University of Montreal（米拉研究所，蒙特利尔大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；Google DeepMind（谷歌DeepMind）
Bandit和强化学习（RL）问题通常可以被定义为优化问题，其目标是最大化平均性能，同时只能访问真实梯度的随机估计。传统上，随机优化理论预测，学习动态由损失函数的曲率和梯度估计的噪声决定。在本文中，我们证明，这是不是强盗和RL问题的情况。为了使我们的分析能够根据多步MDP进行解释，我们专注于从随机优化原理（例如，自然的策略梯度和EXP3），我们表明，一些标准的假设，从优化理论违反了这些问题。我们目前的理论结果表明，至少对于强盗问题，曲率和噪声是不足以解释的学习动态和看似无害的选择，如基线可以确定算法是否收敛。这些理论研究结果与我们的实证评估相匹配，我们将其扩展到多州MDP。
2021-02-19 cs.LG stat.ML
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Learning Markov Decision Processes under Fully Bandit Feedback
Department of Industrial and Operations Engineering, University of Michigan（工业与运作工程系，密歇根大学）；Computer Science Department, New York University（计算机科学系，纽约大学）
本文提出了在完全老虎机反馈下学习回合制MDP的高效算法，实现了O(√T)的后悔界，并展示了其在k-项预言不等式中的性能与有详细反馈的算法相当。
2026-02-02 cs.LG
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California（南加州大学）
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则，并假设MDP具有线性结构，我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾，其中$T$是互动的数量。接下来，从对抗性线性强盗中获得灵感，我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法，改进了Hao等人（2020）使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外，我们将该算法与Kakade（2002）提出的自然策略梯度算法联系起来，并表明我们的分析改进了Agarwal等人（2020）最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗（MAB）问题是一个强化学习框架，在该框架中，智能体通过对每个动作的绝对反馈来选择适当的动作，以最大化其收益。决斗强盗问题是MAB问题的一种变体，其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中，它是不可能提供定量反馈的每个动作，但定性反馈的每个动作是首选的情况下，人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB，该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法，我们结合一对动作，并使用它作为一个动作。以前的UCB算法，如相对置信上限（RUCB）只能应用于孔多塞决斗土匪的情况下，而该算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样（DSPs）的情况下，科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning
KTH（瑞典皇家理工学院）
本文研究低秩强化学习中的矩阵估计问题，证明基于谱的方法能高效恢复奇异子空间并达到近乎最小的逐元素误差，并据此设计了低秩赌博机遗憾最小化和低秩MDP最佳策略识别两个达到最先进性能保证的算法。
2023-10-28 cs.LG stat.ML
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Courant Institute of Math. Sciences（库朗数学科学研究所）
我们研究的对抗性多臂强盗问题的部分观测是可用的，其中，除了每个动作所产生的损失，一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法，其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后，在部分反事实反馈存在的情况下，我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University（兰卡斯特大学）；Columbia University（哥伦比亚大学）；DeepMind；University of Alberta（阿尔伯塔大学）
我们研究的随机$K$武装土匪问题的一个变种，我们称之为“土匪延迟，聚合匿名反馈”。在这个问题中，当玩家拉动手臂时，就会产生奖励，但不会立即观察到。相反，在每一轮结束时，玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的，由于观察的综合性质，导致特定奖励的手臂的信息丢失。问题是，由于这种延迟的、聚合的匿名反馈，信息丢失的成本是多少？以前的作品研究了土匪随机，非匿名的延迟，并发现，遗憾的增加，只有一个附加因素有关的预期延迟。在本文中，我们表明，这种添加剂的遗憾增加可以保持在较硬的延迟，聚合匿名反馈设置时，预期的延迟（或它的约束）是已知的。我们提供了一个算法，匹配的最坏情况下的遗憾的非匿名问题时，延迟是有界的，和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
