On Regret Bounds of Thompson Sampling for Bayesian Optimization
Nagoya University（名古屋大学）；MI-6 Ltd.（MI-6公司）
本文针对高斯过程汤普森采样（GP-TS）方法，在目标函数为GP样本路径的假设下，推导了其遗憾下界、累积遗憾二阶矩上界、期望宽松遗憾上界以及改进的累积遗憾上界，填补了GP-TS在高概率遗憾界方面的空白。
2026-06-11 cs.LG stat.ML
Further Optimal Regret Bounds for Thompson Sampling
Microsoft Research India（微软印度研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。在本文中，我们提供了一个新的遗憾分析汤普森采样，同时证明了最佳的问题依赖的界的$(1+ε)\sum_i \frac{\ln T}{Δ_i}+O(\frac{N}{ε^2})$和第一个接近最佳的问题无关的界的$O(\sqrt{NT\ln T})$对该算法的预期遗憾。我们的接近最优的问题独立的界限解决了一个COLT 2012年公开问题的Chapelle和李。Kaufmann等人最近首次证明了这个问题的最佳问题相关后悔界限[ALT 2012]。我们新颖的基于鞅的分析技术在概念上很简单，很容易扩展到Beta分布以外的分布，也可以扩展到更一般的背景强盗设置[Mandarpt，Agrawal和Goyal，2012]。
2012-09-15 cs.DS cs.LG stat.ML
Feedback graph regret bounds for Thompson Sampling and UCB
Microsoft Research NYC（微软研究院纽约中心）；Cornell University（康奈尔大学）
研究了Mannor和Shamir引入的基于图的反馈结构下的随机多臂强盗问题。我们分析了两个最突出的随机强盗算法，汤普森采样和置信上限（UCB），在基于图的反馈设置的性能。我们表明，这些算法实现了遗憾的保证，结合图结构和臂分布的手段之间的差距。令人惊讶的是，尽管事实上，这些算法不明确使用的图形结构来选择武器，他们观察到的额外的反馈，但不探索基于it.Towards这个结果，我们引入了“分层技术”突出的共性在两个算法。
2020-02-14 cs.DS cs.LG stat.ML
Linear Thompson Sampling Revisited
INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）
我们推导出一个替代的证明汤普森采样（\ts）的遗憾在随机线性强盗设置。虽然我们得到了一个遗憾界的顺序$\widetilde{O}(d^{3/2}\sqrt{T})$在以前的结果，证明揭示了新的光的功能的\ts。我们利用问题的结构来说明后悔与敏感性的关系（即，梯度）的目标函数和如何选择最佳武器相关的\textit{optimistic}参数不控制它。因此，我们表明，\ts可以被看作是一个通用的随机算法，其中的抽样分布被设计为具有固定的概率是乐观的，在成本的额外的$\sqrt{d}$遗憾因素相比，一个UCB样的方法。此外，我们表明，我们的证明可以很容易地应用到正则线性优化和广义线性模型问题。
2019-11-05 cs.LG stat.ML
Optimistic and Adaptive Lagrangian Hedging
Borealis AI
在在线学习中，算法在每一轮都要与一个可能被对手挑选出损失的环境进行博弈。这个框架的一般性包括非对抗性的问题，例如离线优化或鞍点问题（即最小最大优化）。然而，在线算法通常不会被设计成利用非对抗性问题中存在的额外结构。最近，对众所周知的在线算法（如乐观和自适应步长）的轻微修改已用于多个领域以加速在线学习-在离线平滑优化中恢复最佳速率，并在平滑游戏中加速收敛到鞍点或社会福利。在这项工作中，我们引入乐观和自适应步长拉格朗日对冲，一类在线算法，包括遗憾匹配，对冲（即乘法权重）。我们的成果包括：一般的一般遗憾界限;固定平滑损失的路径长度遗憾界限，适用于遗憾匹配和遗憾匹配+的乐观变体; $Φ$遗憾的乐观遗憾界限，包括外部、内部和交换遗憾的框架;以及包括遗憾匹配+作为特殊情况的算法族的乐观界限。
2021-02-03 cs.LG
High-Probability Regret Bounds for Feel-Good Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
本文针对上下文多臂老虎机问题，推导了愉悦汤普森采样两种变体的首个高概率后悔界，其性能与上置信界算法相当，证明思路部分由GPT-6 Astra辅助开发。
2026-10-15 cs.IT cs.LG math.IT
Analysis and Design of Thompson Sampling for Stochastic Partial Monitoring
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
我们研究有限随机部分监控，这是一个一般模型的顺序学习有限反馈。虽然汤普森抽样是一个最有前途的算法在各种在线决策问题，其性质的随机部分监测尚未从理论上研究，现有的算法依赖于一个启发式近似的后验分布。为了缓解这些问题，我们提出了一种新的基于时间序列的采样算法，它使我们能够准确地从后验分布中采样目标参数。此外，我们证明了新算法实现了对数问题依赖的期望伪遗憾$\mathrm{O}(\log T)$的线性化的局部可观测性问题的变体。这一结果是部分监控情形下Thompson抽样的第一遗憾界，也是线性强盗情形下Thompson抽样的第一对数遗憾界。
2021-06-10 cs.LG stat.ML
Connecting Thompson Sampling and UCB: Towards More Efficient Trade-offs Between Privacy and Regret
University of Alberta（阿尔伯塔大学）
本文提出DP-TS-UCB算法，通过连接汤普森采样与UCB的探索机制，在差分隐私老虎机中实现隐私与遗憾的可调权衡，并给出GDP与遗憾界理论保证。
2025-06-05 cs.LG
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Approximate Thompson Sampling for Learning Linear Quadratic Regulators with $O(\sqrt{T})$ Regret
Department of Applied Artificial Intelligence, Seoul National University of Science and Technology（应用人工智能系，首尔科学技术大学）；Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气电子工程系和ASRI，首尔国立大学）
提出一种基于Langevin动力学和激励机制的近似Thompson采样算法，用于学习LQR，在无限制性假设下实现了$O(\sqrt{T})$的贝叶斯遗憾界。
2025-05-29 cs.LG cs.SY eess.SY
On Frequentist Regret of Linear Thompson Sampling
Stanford University（斯坦福大学）；Graduate School of Business, Stanford University（斯坦福大学商学院）
本文证明 LinTS 的频率学派遗憾必须依赖后验方差膨胀且 $\widetilde{\mathcal{O}}(d\sqrt{dT})$ 界最优，并提出可在条件满足时达到极小极大最优遗憾的数据驱动 LinTS。
2023-04-20 cs.LG stat.ML
Finite-Time Frequentist Regret Bounds of Multi-Agent Thompson Sampling on Sparse Hypergraphs
National University of Singapore（新加坡国立大学）；Duke University（杜克大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对多智能体多臂老虎机问题，提出ε-探索多智能体汤普森采样算法，获得稀疏超图上最优的频率派遗憾界，并验证其高效性。
2023-12-24 cs.LG cs.MA math.ST
Non-Asymptotic Gap-Dependent Regret Bounds for Tabular MDPs
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
本文建立了乐观算法实现间隙依赖和非渐近对数遗憾的情节MDPs。与以前的工作相比，我们的边界不遭受依赖于直径一样的数量或遍历性，并顺利地插入间隙相关的mammic-regret，和$\widetilde{\mathcal{O}}(\sqrt{HSAT})$ -minimax率之间。在我们的分析中的关键技术是一种新的“修剪”后悔分解，适用于一个广泛的家庭最近的乐观算法的情节MDPs。
2019-10-28 cs.LG math.OC math.ST
Online Caching with no Regret: Optimistic Learning via Recommendations
Delft University of Technology（代尔夫特理工大学）；Trinity College Dublin（都柏林圣三一学院）
设计有效的在线缓存策略对于内容分发网络、在线社交网络和边缘计算服务等领域来说是一个越来越重要的问题。本文提出了一种新的算法工具箱，通过\emph{optimistic}在线学习的镜头来解决这个问题。我们建立在跟随正规化领导者（FTRL）框架，这是进一步发展，包括预测的文件请求，我们设计的二分网络的在线缓存算法与预留或动态存储的时间平均预算约束。预测由内容推荐系统提供，该内容推荐系统影响用户的观看活动，因此可以自然地减少缓存网络对未来请求的不确定性。我们还扩展了框架，以学习和利用最好的请求预测器，在许多情况下。我们证明了建议的{乐观}学习缓存策略可以实现\emph{sub-zero}性能损失（遗憾）完美的预测，并保持次线性遗憾界$O(\sqrt T)$，这是最好的可实现的政策，不使用预测，即使是任意坏的预测。所提出的算法的性能进行评估详细的跟踪驱动的数值测试。
2022-10-20 cs.LG cs.NI
Optimistic No-regret Algorithms for Discrete Caching
Delft University of Technology（代尔夫特理工大学）；Tata Institute of Fundamental Research（塔塔基础研究所）；Amazon（亚马逊）
我们系统地研究了在乐观学习的上下文中将整个文件存储在具有有限容量的高速缓存中的问题，其中高速缓存策略可以访问预测预言（例如，a神经网络）。假设连续的文件请求是由对手生成的，并且没有对预言的准确性进行假设。在这种情况下，我们提供了一个普遍的预测辅助在线缓存的下限，并继续设计一套政策的范围内的性能复杂性权衡。所有建议的政策提供次线性的遗憾范围相称的预言的准确性。我们的研究结果大大改善后，所有最近提出的在线缓存政策，无法利用预言，只提供$O(\sqrt{T})$遗憾。在这种追求中，我们设计，尽我们所知，第一个全面的乐观跟随扰动的领导者的政策，概括超越缓存问题。我们还研究了不同大小文件的缓存问题和二分网络缓存问题。最后，我们通过大量的数值实验，使用真实世界的痕迹，评估所提出的政策的有效性。
2022-11-09 cs.DS cs.LG cs.NI
Only Pay for What Is Uncertain: Variance-Adaptive Thompson Sampling
Apple ML Research（苹果机器学习研究院）；TTI, Chicago（芝加哥丰田理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对奖励方差未知且异构的高斯赌博机问题，提出方差自适应汤普森采样算法，利用先验知识实现更低的贝叶斯遗憾，并通过实验验证其优越性与鲁棒性。
2023-10-12 cs.LG
An Information-Theoretic Analysis for Thompson Sampling with Many Actions
Stanford University（斯坦福大学）
Russo和Van Roy的信息论贝叶斯后悔界限捕捉到了后悔对先验不确定性的依赖。然而，这种依赖性是通过熵来实现的，随着动作数量的增加，熵可以变得任意大。我们建立新的界限，而不是依赖于率失真的概念。除此之外，这使我们能够通过信息论的论点恢复线性强盗的接近最优的界限。我们还提供了一个边界的逻辑强盗，大大提高了最好的以前可用的，虽然这个边界取决于信息理论统计，我们只能通过计算来量化。
2020-07-08 cs.IT cs.LG math.IT
An Information-Theoretic Analysis of Thompson Sampling with Infinite Action Spaces
KTH Royal Institute of Technology（瑞典皇家理工学院）；Division of Information Science and Engineering (ISE)（信息科学与工程系（ISE））
本文将汤普森采样的信息论遗憾分析从有限动作空间扩展到无限连续动作空间，并在Lipschitz连续奖励下给出显式依赖动作空间复杂度的遗憾界。
2025-02-04 cs.LG stat.ML
Thompson Sampling for Online Learning with Linear Experts
Technion（以色列理工学院）
在这篇文章中，我们提出了一个版本的汤普森采样算法的问题，在线线性推广与充分的信息（即，Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然，我们表明，它基本上减少到Kalai和Vempala的跟随扰动领导者的策略，用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习，Thompson采样（具有时变似然）的sqrt（T）遗憾界限。
2013-11-03 cs.LG stat.ML
Sparse Optimistic Information Directed Sampling
Universitat Pompeu Fabra（庞培法布拉大学）
针对随机稀疏线性老虎机的高维在线决策问题，提出无需贝叶斯假设的SOIDS算法，通过时变学习率的新分析实现信息与遗憾的最优平衡，是首个在两种数据场景下均达最优最坏情况遗憾的算法，且实验性能优异。
2025-10-28 cs.LG
Worst-Case Regret Bounds for Combinatorial Thompson Sampling in Sleeping Semi-Bandits
Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·艾伦计算机科学与工程学院，华盛顿大学）；Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）；Department of Computer Science, University of Victoria（维多利亚大学计算机科学系）
本文研究了睡眠半带it中组合威胁采样（CTS）的最坏情况后悔界，解决了CTS在半带it设置中缺乏最坏情况后悔保证、对抗性可用性变化缺乏理论支持以及CTS-G的实验证性能较弱的问题，提出CL-SG算法并证明其改进的后悔界。
2026-05-12 cs.LG
Posterior Tempering Explains Variance Inflation in Linear and Generalized Linear Thompson Sampling
Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）；Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Statistics, Texas A&M University（德克萨斯农工大学统计系）
本文提出α-汤普森采样算法，确定先验与奖励分布的正则性条件，推导其遗憾界并解释线性和广义线性汤普森采样中d^(3/2)因子的来源。
2026-09-03 cs.IT cs.LG math.IT
Model-based RL with Optimistic Posterior Sampling: Structural Conditions and Sample Complexity
Google Research（谷歌研究院）；HKUST（香港科技大学）
我们提出了一个通用的框架来设计基于模型的RL的后验抽样方法。我们表明，所提出的算法可以通过减少遗憾的Hellinger距离的条件概率估计进行分析。我们进一步表明，乐观的后验抽样可以控制这个海林格距离，当我们通过数据的可能性来衡量模型误差。这种技术使我们能够设计和分析统一的后验采样算法，并为许多基于模型的RL设置提供最先进的样本复杂度保证。我们说明了我们的一般结果在许多特殊情况下，展示了我们的框架的多功能性。
2022-10-16 cs.AI cs.LG stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样，包括更一般的光滑后验。然而，它仍然遇到的高维问题时，要求高精度的可扩展性问题。为了解决这个问题，我们提出了一个近似的汤普森采样策略，利用欠阻尼朗之万蒙特卡罗，后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件，我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
Improved Worst-Case Regret Bounds for Randomized Least-Squares Value Iteration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了强化学习中随机价值函数的后悔最小化问题。在表格有限时域马尔可夫决策过程中，我们介绍了一个经典的汤普森采样（TS）的类似算法，随机最小二乘值迭代（RLSVI）的裁剪变体。我们的$\tilde{\mathrm{O}}(H^2S\sqrt{AT})$高概率最坏情况下的遗憾边界改善了以前的最尖锐的最坏情况下的遗憾边界RLSVI和现有的最先进的最坏情况下的TS为基础的遗憾边界相匹配。
2021-11-09 cs.LG stat.ML
Bandit Theory and Thompson Sampling-Guided Directed Evolution for Sequence Optimization
Stanford University（斯坦福大学）；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）
定向进化（DirectedEvolution，DE）是20世纪60年代发展起来的一种具有里程碑意义的湿实验室方法，它通过进化候选序列来发现新的蛋白质设计。生物技术的最新进展使得收集高通量数据成为可能，允许使用机器学习来绘制蛋白质的序列与功能关系。人们对机器学习辅助DE加速蛋白质优化的兴趣越来越大。然而，对DE的理论理解以及DE中机器学习的使用仍然有限。本文将DE与强盗学习理论相结合，首次尝试研究DE中的后悔最小化问题。我们提出了一个汤普森采样指导的定向进化（TS-DE）框架序列优化，其中序列到功能的映射是未知的，查询一个单一的值是受到昂贵的和嘈杂的测量。TS-DE基于收集的测量结果更新函数的后验。它使用后验抽样函数估计来指导DE中的交叉、重组和变异步骤。在线性模型的情况下，我们证明了TS-DE具有$\tilde O(d^{2}\sqrt{MT})$阶的贝叶斯后悔，其中$d$是特征维数，$M$是种群大小，$T$是轮数.这个遗憾界几乎是最优的，证实了强盗学习可以证明加速DE。它可能对更一般的序列优化和进化算法有影响。
2022-06-05 cs.LG stat.ML
An Information-Theoretic Analysis of Thompson Sampling
Stanford University（斯坦福大学）
我们提供了一个信息理论分析汤普森采样，适用于广泛的在线优化问题，决策者必须从部分反馈中学习。这种分析继承了信息论的简洁性和优雅性，并导致了与最优行动分布的熵成比例的后悔界限。这加强了先前的结果，并对信息如何提高绩效产生了新的见解。
2015-06-08 cs.LG
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Tokyo（东京大学）；Paradigm Inc.（第四范式公司）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
该论文研究SEA模型下乐观在线镜像下降（OMD）的遗憾界，在凸、强凸和指数凹光滑函数下分别获得与FTRL相当或更优的静态遗憾界，并首次给出动态遗憾保证，同时提出处理非光滑函数的隐式更新算法。
2024-03-16 cs.LG stat.ML
Improved Optimistic Mirror Descent for Sparsity and Curvature
Australian National University（澳大利亚国立大学）；Data61
在线凸优化在大规模机器学习中起着关键作用。早期对这一问题的处理是保守的，主要重点是防范最坏的情况。但最近已经开发了几种算法，用于收紧简单数据实例（如稀疏性、可预测序列和曲线损失）中的遗憾界限。在这项工作中，我们统一了一些现有的技术，以获得新的更新规则的情况下，这些简单的实例一起发生。首先，我们分析了一个自适应和乐观的更新规则，实现更严格的遗憾界时，损失序列是稀疏和可预测的。然后，我们解释了一个更新规则，动态地适应曲率的损失函数，并利用可预测的性质损失序列以及。最后，我们将这些结果扩展到复合损失。
2016-09-08 cs.LG
Order Optimal Regret Bounds for Sharpe Ratio Optimization under Thompson Sampling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；IIT Delhi（印度理工学院德里分校）
本文研究了在随机多臂老虎机设置中最大化夏普比率的顺序决策问题，提出了一种夏普比率汤普森采样算法，通过高斯奖励模型中的正态-伽玛共轭后验来捕捉均值和精度的不确定性，建立了有限时间分布依赖的O(log n)上界和信息论下界，证明了算法的最优性。
2026-04-01 cs.IT cs.LG math.IT
Meta-Thompson Sampling
Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
如何有效地进行网络学习是在线学习的一个基本问题。我们提出了一个变体的汤普森采样，学习更好地探索，因为它与来自未知的先验的强盗实例相互作用。该算法元学习先验知识，因此我们称之为MetaTS。我们提出了几种有效的实现MetaTS和分析它在高斯强盗。我们的分析显示了元学习的好处，是一个更广泛的兴趣，因为我们得到了一个新的先验依赖贝叶斯后悔界汤普森采样。我们的理论得到了实证评估的补充，这表明MetaTS能够快速适应未知的先验。
2021-06-23 cs.LG stat.ML
Improved Path-length Regret Bounds for Bandits
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们研究自适应遗憾界的变化的损失（所谓的路径长度界）的多臂土匪和更一般的线性土匪。我们首先证明了（Wei和Luo，2018）的看似次优的路径长度界实际上对于自适应对手是不可改进的。尽管有这个负面的结果，我们还是开发了两个新的算法，一个是严格改进的（Wei和Luo，2018），具有较小的路径长度测量，另一个是改进的（Wei和Luo，2018），当路径长度很大时，对于不经意的对手。我们的算法基于研究充分的乐观镜像下降框架，但重要的是具有几种新颖的技术，包括新的乐观预测，对最近选择的臂的轻微偏差，以及使用类似于（Bubeck等人，2018年）。此外，我们扩展我们的结果，线性强盗显示减少获得动态遗憾的全信息问题，其次是进一步减少凸体追逐。我们提出了一个简单的贪婪追逐算法的平方2-范数，导致新的动态遗憾的结果，并作为一般的线性土匪的第一路长遗憾。
2019-06-18 cs.LG stat.ML
Optimistic Safety for Online Convex Optimization with Unknown Linear Constraints
University of California, Santa Barbara（加州大学圣芭芭拉分校）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
研究未知线性约束下的在线凸优化问题，提出OSOCO算法，实现$\tilde{O}(\sqrt{T})$遗憾且无约束违反，改进了静态约束下的已知最优遗憾，并通过数值实验验证了有效性。
2024-10-14 cs.LG math.OC
Online Caching with Optimistic Learning
Delft University of Technology（代尔夫特理工大学）；Trinity College Dublin（都柏林圣三一学院）
设计有效的在线缓存策略对于内容分发网络、在线社交网络和边缘计算服务等领域来说是一个越来越重要的问题。本文提出了一种新的算法工具箱，通过乐观的在线学习的镜头来解决这个问题。我们建立在以下的正规化领导者（FTRL）的框架，这是进一步发展，包括预测的文件请求，我们设计的二分网络与固定大小的缓存或弹性租赁缓存的时间平均预算约束的在线缓存算法。预测由影响用户观看活动的内容推荐系统提供，因此可以自然地减少缓存网络对未来请求的不确定性。我们证明了所提出的乐观学习缓存策略可以实现完美预测的零以下性能损失（遗憾），并保持最佳可实现的遗憾界$O(\sqrt T)$，即使是任意坏的预测。所提出的算法的性能进行评估详细的跟踪驱动的数值测试。
2022-04-20 cs.LG cs.NI
Minimizing Dynamic Regret on Geodesic Metric Spaces
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
本文首次在非正曲率黎曼流形上研究一般动态遗憾最小化，提出乐观遗憾界和自适应无遗憾算法，将欧几里得在线学习结果拓展到测地度量空间。
2023-07-05 cs.LG
Optimistic Online Convex Optimization in Dynamic Environments
China University of Petroleum-Beijing（中国石油大学（北京））；College of Information Science and Engineering（信息科学与工程学院）
本文研究了动态环境下的在线乐观凸优化问题。已有的研究表明Ader具有$O\left(\sqrt{\left(1+P_T\right)T}\right)$动态后悔上界，其中$T$是策略序列的轮数，$P_T$是参考策略序列的路径长度.然而，Ader不是环境适应性的。基于乐观为实现环境自适应提供了一个框架的事实，我们分别用乐观-GP和乐观-NES代替Ader中的贪婪投影（GP）和归一化指数次梯度（NES），并将相应的算法命名为ONES-OGP。我们还将双倍策略扩展为自适应策略，并引入三个由乐观情绪自然产生的特征项$M_T$、$\widetilde{M}_T$和$V_T+1_{L^2ρ\left(ρ+2 P_T\right)\leqslant\varrho^2 V_T}D_T$，以取代动态后悔上界对$T$的依赖性.我们详细阐述了具有自适应技巧的ONES-OGP及其次梯度变化版本，它们都是环境自适应的。
2022-03-28 cs.LG math.OC
Thompson Sampling in Online RLHF with General Function Approximation
Department of Electrical and Computer Engineering, University of Florida（电气与计算机工程系，佛罗里达大学）
针对在线RLHF设置，提出受Thompson sampling启发的无模型后验采样算法，基于BE维度建立O(√T)遗憾界，并通过MLE泛化界推导出平方Bellman误差的集中型不等式。
2025-05-29 cs.LG
On the Dynamic Regret of Following the Regularized Leader: Optimism with History Pruning
Faculty of Electrical Engineering, Mathematics and Computer Science, TU Delft, Netherlands（电气工程、数学与计算机科学学院，代尔夫特理工大学，荷兰）
本文研究了在线凸优化中正则化跟随者框架的动态遗憾保证，通过乐观组合未来成本和精心线性化过去成本，实现动态遗憾界，提出历史修剪方法以平衡懒惰与敏捷更新。
2026-03-18 cs.LG
Optimistic Regret Bounds for Online Learning in Adversarial Markov Decision Processes
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文针对对抗性马尔可夫决策过程提出利用代价预测器的新变体，并设计乐观偏置代价估计器与策略搜索方法，首次以高概率获得随预测能力优雅退化的次线性乐观遗憾界。
2024-05-03 cs.AI cs.LG stat.ML
Minimizing Weighted Counterfactual Regret with Optimistic Online Mirror Descent
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
针对PCFR+面对占优行动时遗憾较大的问题，提出整合PCFR+与DCFR的新型CFR变体PDCFR+，经理论和实验验证其在不完美信息博弈中收敛更快且能达到纳什均衡。
2024-05-14 cs.AI cs.GT cs.LG
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Efficient Model-Based Reinforcement Learning Through Optimistic Thompson Sampling
University of Cambridge（剑桥大学）；Karolinska Institutet（卡罗林斯卡学院）
本文提出一种基于汤普森采样的乐观探索方法，首次支持对转移与奖励联合不确定性建模，并在 MuJoCo 和 VMAS 任务中证明其能显著加速稀疏奖励和难探索环境下的学习。
2025-03-10 cs.LG cs.RO
Distributed Thompson Sampling
我们研究了一个具有M个智能体和K个手臂的多智能体多武器协作强盗。代理人的目标是最小化累积的遗憾。在分布式环境下，我们采用了传统的Thompson采样算法。然而，与代理的沟通能力，我们注意到，通信可能会进一步降低分布式汤普森抽样方法的遗憾的上限。为了进一步提高分布式Thompson采样算法的性能，提出了一种基于消除的分布式Thompson采样算法，该算法允许多个智能体协同学习。在Bernoulli报酬下分析了该算法，并导出了一个与问题相关的累积后悔上界。
2021-09-09 cs.AI cs.LG
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
First-Order Bayesian Regret Analysis of Thompson Sampling
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们解决在线组合优化时，玩家有一个事先超过对手的损失序列。在此框架下，Russo和Van Roy提出了基于信息比的Thompson抽样的信息论分析，得到了最坏情况下的最优后悔界。在本文中，我们介绍了三个新的想法，这条线的工作。首先，我们提出了一个新的量，规模-敏感信息比，它允许我们获得更精确的一阶后悔界限（即，形式为$\sqrt{L^*}$的界限，其中$L^*$是最佳组合动作的损失）。其次，我们取代熵的组合动作的坐标熵，这使我们能够获得第一个最佳的最坏情况下的汤普森采样的组合设置。最后，我们介绍了贝叶斯代理和频率置信区间之间的一种新的联系。结合这些想法，我们表明，经典的多臂强盗一阶遗憾界$\tilde{O}(\sqrt{d L^*})$仍然适用于更具有挑战性和更一般的半强盗的情况。后一结果改进了Lykouris、Sridharan和Tardos的现有技术结合$\tilde{O}(\sqrt{(d+m^3)L^*})$。此外，我们锐化这些结果与两个技术成分。第一个利用了最近的洞察力Zimmert和Latterfly取代香农熵更精细的潜在功能的分析。第二种是\emph{Thresholded} Thompson采样算法，它通过从不播放低概率动作来略微修改原始算法。当$L^*$几乎肯定是上界时，这种阈值处理会导致完全$T$独立的遗憾界，这对于普通的Thompson采样是不成立的。
2022-04-04 cs.LG stat.ML
Analysis of Thompson Sampling for Graphical Bandits Without the Graphs
The Ohio State University（俄亥俄州立大学）；Tulane University（杜兰大学）
我们研究多臂强盗问题与图形反馈，其中决策者被允许观察所选择的动作的相邻动作，在设置中的图形可能会随着时间的推移而变化，从来没有完全透露给决策者。我们发现，当反馈图是无向的，原始的汤普森采样达到最佳的（对数因子内）遗憾$\tilde{O}\left(\sqrt{β_0(G)T}\right)$在时间范围$T$，其中$β_0(G)$是潜在的图形的平均独立数。据我们所知，这是第一个结果表明，原来的汤普森采样是最佳的图形土匪在无向设置。在有向环境下，本文还给出了一个稍弱的后悔限.为了填补这一空白，我们提出了一个变种的汤普森采样，达到最佳的遗憾，在有向设置内的对数因子。这两种算法都可以有效地实现，并且在任何时候都不需要反馈图的知识。
2018-05-23 cs.AI cs.LG stat.ML
Improved Bayesian Regret Bounds for Thompson Sampling in Reinforcement Learning
Toyota Motor North America（丰田北美汽车公司）；InfoTech Labs（信息技术实验室）；Purdue University（普渡大学）
本文为强化学习中的汤普森采样证明了多种设置下的首个贝叶斯遗憾界，通过离散替代环境与后验一致性分析获得$\widetilde{O}(H\sqrt{d_{l_1}T})$上界，并给出具体维数界限，部分结果为首次或优于现有最优。
2024-02-06 cs.AI cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia（亿达美）
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣，但它有一个缺点，这是其他常见的CMAB策略在考虑非精确预言时所没有的：对于某些预言，CTS具有较差的近似遗憾（与时间范围$T$线性缩放）[Wang和Chen，2018]。然后，有必要进行研究，以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始：他们给出了贪婪预言机CTS的一次近似后悔分析，获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界，其中$Δ$是某个最小奖励差距。在本文中，我们的目标是推动这项研究进一步比简单的情况下，贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS，在一个特定的条件下获得的近似甲骨文，允许减少到确切的甲骨文分析。因此，我们把这个条件称为REDUCE2EXACT，并观察到它在许多具体的例子中得到满足。此外，它可以扩展到概率触发的武器设置，从而捕获更多的问题，如在线影响最大化。
2023-02-22 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
