On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Robust Lipschitz Bandits to Adversarial Corruptions
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究对抗性扰动下的Lipschitz老虎机问题，提出首个在强弱两类对手下均能实现次线性遗憾的鲁棒算法，证明强对手场景下的最优性并通过实验验证有效性。
2023-10-08 cs.LG stat.ML
Lipschitz Dueling Bandits over Continuous Action Spaces
Indian Institute of Technology Ropar, India（印度理工学院罗巴尔分校）；Indian Institute of Technology Hyderabad, India（印度理工学院海德拉巴分校）；Purdue University, USA（普渡大学）
本文首次研究了在连续动作空间中具有Lipschitz结构的随机对战强化学习问题，提出了一种基于轮次探索和递归区域消除的算法，证明了O(T^{(d_z+1)/(d_z+2)})的遗憾界。
2026-08-12 cs.IR cs.LG cs.MA
Invariant Lipschitz Bandits: A Side Observation Approach
University of Warwick（华威大学）
本文针对在线老虎机场景下对称性利用不足的问题，提出UniformMesh-N算法，将基于群轨道的侧观测整合到均匀离散臂集的UniformMesh算法中，证明了有限群下更优的遗憾上界及匹配下界，推动对称性在序贯决策中的研究。
2023-08-28 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Coordinating the Unknown Lipschitz Constant in Multiplayer Bandits
针对连续动作空间中利普希茨常数未知的协作多智能体老虎机问题，设计适配三种信息结构的算法，证明共享奖励或可观测动作可免费达成离散化一致性，否则通过抖动量化估计值达成且不增加悔的主阶成本。
2026-08-12 cs.AI cs.LG
Non-Stationary Lipschitz Bandits
University of Tübingen（图宾根大学）；École Polytechnique, CMAP（巴黎政治学院（CMAP））
针对动作无限、奖励函数可任意变化的非平稳Lipschitz老虎机问题，提出基于动作空间分层离散化的自适应检测显著偏移算法，无需非平稳先验即实现最小最大最优动态后悔界，为该场景首个最优保证。
2025-10-22 cs.LG stat.ML
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程（POMDP）。寻找POMDPs的精确解通常在计算上是难以处理的，但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗（MAB）算法，该算法假设不同动作的结果是不相关的。在某些应用中，如连续空间中的运动规划，类似的动作会产生类似的结果。在本文中，我们利用MAB启发式算法的变体，对行动结果进行Lipschitz连续性假设，以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下，自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Incentivized Lipschitz Bandits
Department of Computer Science, University of Colorado（计算机科学系，科罗拉多大学）
本文研究连续度量空间中无限臂多臂赌博机的激励性探索问题，提出均匀离散化算法，在奖励漂移下同时实现次线性遗憾与补偿，并推广至上下文赌博机。
2025-08-26 cs.AI cs.LG
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看，\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数，而不是最佳的行动或最佳的政策，在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明，用先验分布的熵来约束遗憾，并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是，物流强盗$d$维参数，$K$行动，Lipschitz logits，我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限，不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析，例如，[Kleinberg et al. 2008，Bubeck et al. 2011，Slivkins 2014]，他们提出的算法存在严重的实际问题，包括极端的时间复杂度和对oracle实现的依赖。有了这个动机，我们提出了一种新的算法与上置信界（UCB）的探索，即树UCB-Hoeffding，使用自适应分区。我们的分区方案很容易实现，不需要任何Oracle设置。使用基于树的搜索策略，对于第一次$T$迭代，总计算成本可以改进为$\mathcal{O}(T\log T)$。此外，我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
Off-Policy Risk Assessment in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
即使无法进行实验，从业者也可以使用以前记录的数据来评估未来的政策。然而，虽然土匪文学采用了一套不同的目标，大多数研究的政策外评估的日期集中在预期的回报。在本文中，我们引入Lipschitz风险泛函，一个广泛的目标，包括条件风险价值（CVaR），方差，均值方差，许多扭曲的风险，CPT风险，等等。我们提出了政策外风险评估（OPRA），一个框架，首先估计目标政策的CDF，然后生成插件估计任何收集的Lipschitz风险，提供有限的样本保证，同时在整个类。我们实例OPRA与重要性采样和双重鲁棒估计。我们的主要理论贡献是（i）第一个统一的浓度不等式的CDF估计在上下文土匪和（ii）我们的Lipschitz风险估计的误差界，这都收敛于$O(1/\sqrt{n})$的速度。
2021-06-29 cs.LG stat.ML
A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization
本文提出仅依赖目标函数 Lipschitz 连续性的 BLiE 超参数优化算法，给出 $ε$-最优参数的预算与并行化理论保证，并在基准及扩散模型噪声调度任务中验证其优势。
2023-06-08 cs.LG stat.ML
Multi-Armed Bandits in Metric Spaces
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Brown University（布朗大学）
在多臂强盗问题中，在线算法在一系列试验中从一组策略中进行选择，以便最大化所选策略的总收益。虽然强盗算法的性能与一个小的有限的策略集是相当好的理解，强盗问题与大的策略集仍然是一个非常活跃的研究课题，由实际应用，如在线拍卖和网络广告的动机。这样的研究的目标是确定广泛和自然类的策略集和支付功能，使设计有效的解决方案。在这项工作中，我们研究了一个非常一般的设置多臂强盗问题，其中的策略形成一个度量空间，支付函数满足Lipschitz条件的度量。我们把这个问题称为“Lipschitz MAB问题”。我们提出了一个完整的解决方案，在这种情况下的多臂问题。也就是说，对于每一个度量空间（L，X），我们定义了一个等距不变的界限从下面的性能Lipschitz MAB算法的X，我们提出了一个算法来任意接近满足这个界限。此外，我们的技术提供了更好的结果，良性的回报函数。
2008-09-29 cs.DS cs.LG
Instance-dependent Stochastic Lipschitz bandit
Crest (Fairplay joint team)（Crest（Fairplay联合团队））；EDF R&D（EDF研发）；Criteo AI Lab（Criteo人工智能实验室）
针对Lipschitz bandit问题，提出一种基于水平集次优性间隙积分的算法，实现比传统缩放维度更优的实例依赖遗憾界。
2026-10-26 cs.LG stat.ML
Memory--Batch Tradeoffs in Lipschitz Bandits
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文研究随机 Lipschitz 多臂老虎机中内存与批次的权衡，提出含新惩罚项的极小极大遗憾刻画，揭示状态宽度与更新深度不可互换，匹配策略可实现相关性能。
2026-09-29 cs.LG stat.ML
Batched Bandits with Heavy-Tailed Rewards
本文提出鲁棒批量老虎机算法，针对重尾奖励设计，在有限臂和Lipschitz连续设定中解决批量多臂老虎机问题，发现重尾奖励在实例无关和Lipschitz设定中需更少批次达到近最优遗憾，而实例依赖设定中批次数与尾重无关。
2026-07-07 cs.LG stat.ML
On the Complexity of Bandit Linear Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了在线线性优化问题与强盗反馈，不同的全信息设置，玩家只能观察到自己的损失，而不是完整的损失向量的可达遗憾。我们表明，在这种情况下，强盗信息的价格可以大$d$，反驳了著名的猜想，强盗线性优化的遗憾是最多$\sqrt{d}$倍的全信息遗憾。令人惊讶的是，这是使用标准域的“微不足道”的修改，这在全信息设置中没有影响。我们提出的这一结果和其他结果突出了全信息学习和强盗学习之间的一些有趣的差异，这些差异在以前的文献中没有考虑过。
2014-08-11 cs.LG
Multiplayer Information Asymmetric Bandits in Metric Spaces
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究度量空间中的多玩家信息不对称 Lipschitz 老虎机，利用固定离散化的 CAB 与自适应离散化的 zooming 算法，在奖励、动作及两者不对称设置下分析遗憾界。
2025-03-11 cs.LG stat.ML
Bandits and Experts in Metric Spaces
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Brown University（布朗大学）
在多臂强盗问题中，在线算法在一系列试验中从一组策略中进行选择，以便最大化所选策略的总收益。虽然强盗算法的性能与一个小的有限的策略集是相当好的理解，强盗问题与大的策略集仍然是一个非常活跃的研究课题，由实际应用，如在线拍卖和网络广告的动机。这样的研究的目标是确定广泛和自然类的策略集和支付功能，使设计有效的解决方案。在这项工作中，我们研究了一个非常一般的设置多臂强盗问题，其中的策略形成一个度量空间，支付函数满足Lipschitz条件的度量。我们把这个问题称为“Lipschitz MAB问题”。在这种情况下，我们提出了一个解决方案的多臂强盗问题。也就是说，对于每一个度量空间，我们定义了一个等距不变的界限，从下面的性能Lipschitz MAB算法的度量空间，我们提出了一个算法来任意接近满足这个界限。此外，我们的技术提供了更好的结果，良性的回报函数。我们还解决了全反馈（“最佳专家”）版本的问题，在每一轮之后，所有武器的收益都会显示出来。
2019-04-15 cs.DS cs.LG
Adaptive Discretization against an Adversary: Lipschitz bandits, Dynamic Pricing, and Auction Tuning
MIT（麻省理工学院）；Microsoft Research NYC（微软研究院纽约）
针对对抗收益下Lipschitz赌博机的自适应离散化研究空白，提出Adversarial Zooming算法，推导了兼具最坏情况最优性和实例依赖性的悔界，并将其拓展应用于动态定价、拍卖调优等非平滑对抗场景。
2025-06-12 cs.DS cs.GT cs.LG
Smooth Bandit Optimization: Generalization to Hölder Space
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
我们考虑了一个光滑的奖励函数的强盗优化，目标是累积后悔最小化。本文研究了具有$0<α\leq 1$的$α$-Hölder连续（包括Lipschitz）函数的这一问题.我们的主要结果是在推广的奖励函数的霍尔德空间与指数$α>1$之间的差距Lipschitz土匪和无限可微的模型，如线性土匪。对于Hölder连续函数，基于离散化域的箱中的随机采样的方法足以作为最佳。相比之下，我们提出了一类两层的算法，部署错误指定的线性/多项式强盗算法在箱子。我们表明，该算法可以利用高阶光滑的功能，推导出一个遗憾的上限$\tilde{O}(T^\frac{d+α}{d+2α})$时，$α>1$，这符合现有的下限。我们还研究了适应未知函数光滑度的连续尺度的Hölder空间索引的$α$，与强盗模型选择方法与我们提出的两层算法。我们发现，它达到了遗憾率匹配现有的下限内的$α\leq 1$子集的适应。
2020-12-11 cs.LG stat.ML
Tight Bounds for Bandit Combinatorial Optimization
Technion—Israel Institute of Technology（以色列理工学院）；Google Brain（谷歌大脑）
我们重新研究的最优后悔率在强盗组合优化-一个基本框架，顺序决策下的不确定性，抽象出许多组合预测问题。我们证明，在这种情况下，可达到的遗憾增长为$\widetildeΘ(k^{3/2}\sqrt{dT})$，其中$d$是问题的维数，$k$是最大瞬时损失的界，反驳了Audibert，Bubeck和Lugosi（2013）的猜想，他们认为最佳速率应该是$\widetildeΘ(k\sqrt{dT})$的形式。我们的界限适用于几个重要的情况下的框架，特别是，意味着一个严格的约束研究的强盗最短路径问题。这样，我们也解决了Cesa-Bianchi和Lugosi（2012）提出的一个开放问题。
2017-02-24 cs.LG
Adversarial Bandit Optimization with Globally Bounded Perturbations to Linear Losses
Kyushu University（九州大学）；RIKEN AIP（日本理化学研究所革新智能研究中心）
本文研究了对抗性带隙优化问题，其中损失函数可能非凸非光滑。在每一轮中，学习者观察到由线性部分和扰动组成的损失，扰动受全局预算限制。研究得出了期望和高概率后悔保证，并改进了经典带隙线性优化的高概率后悔界。
2026-03-27 cs.LG
Adversarial Bandit Optimization with Globally Bounded Perturbations to Convex Losses
Department of Informatics, Kyushu University（九州大学信息学系）；RIKEN AIP（理化学研究所革新智能综合研究中心）
研究损失函数可能非凸非光滑的对抗性赌博机优化，提出一种修改的赌博机优化算法，并分析扰动预算对遗憾的影响，将线性损失下的全局预算后行动扰动模型扩展到一般凸且β-光滑损失。
2026-06-23 cs.LG
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Target-Aware Bandit Allocation for Scalable Surrogate Optimization in Chemical Space
提出BOBa框架，通过多臂Bandit自适应分配计算资源到动作空间分区，消除全库代理推理瓶颈，在真实合成库上实现可调节的筛选性能与推理成本权衡。
2026-06-26 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数，涵盖均值-方差、熵风险等，通过新型经验集中不等式推导数据依赖的次优界，无须强叠加假设，达到最小最大最优。
2026-05-15 cs.LG stat.ML
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
Efficient Matroid Bandit Linear Optimization Leveraging Unimodality
Univ. Rennes（里昂大学）；Inria（法国国家信息与自动化技术研究所）；CNRS IRISA - UMR 6074（法国国家科学研究中心IRISA研究中心）
本文提出利用matroid问题的单峰结构，改进半带学习的时间复杂性，同时保持最优后悔性能。
2025-11-29 cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Dual-Mandate Patrols: Multi-Armed Bandits for Green Security
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
本文将绿色安全巡逻形式化为随机多臂老虎机问题，提出利用奖励函数平滑性和动作可分解性的LIZARD算法，在保证收敛率的同时优化短期性能，并在柬埔寨真实偷猎数据上取得提升。
2024-04-26 cs.LG stat.ML
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种群体敏感的离线上下文老虎机优化框架，通过引入群体奖励差异约束，减少策略学习中的群体间奖励不平等，同时保持整体性能的竞争性。
2026-01-06 cs.LG
Leveraging Similarities in Multi-Armed Bandits
Inria（法国国家信息与自动化技术研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔研究所）；LJK（格勒诺布尔联合实验室）；Criteo AI Lab（Criteo人工智能实验室）；IMAG（格勒诺布尔信息与自动化技术研究所）
针对动作具有相似性的在线学习问题，提出利用树结构编码相似性，在多种反馈模型下实现遗憾界中动作数K被相似感知有效动作数替换的算法。
2026-06-23 cs.LG
Bandit Algorithms for Tree Search
用于树搜索的基于Bandit的方法最近在应用于巨大的树时（例如在围棋游戏中）已经流行起来（Gelly等人，2006年）。UCT算法（Kocsis和Szepesvari，2006）是一种基于上置信界限（UCB）的树搜索方法（Auer等人，2002年），被认为是适应当地的有效平滑的树。然而，我们发现UCT在某些情况下过于“乐观”，导致遗憾O（exp（exp（D），其中D是树的深度。我们提出了替代的强盗算法树搜索。首先，使用置信度序列的UCT的修改，该置信度序列与水平深度呈指数级缩放被证明具有遗憾O（2^D \sqrt{n}），但不适应树中可能的平滑度。然后，我们分析了Flat-UCB执行的叶子，并提供了一个有限的遗憾界的概率很高。然后，我们引入了一个基于UCB的Bandit算法的光滑树，它考虑到实际的光滑度的奖励执行有效的“切割”的次优分支具有高的信心。最后，我们提出了一个增量树搜索版本，适用于当满树太大（可能是无限的），完全表示，并显示，具有很高的概率，基本上只有最佳分支是无限发展。我们说明了这些方法的Lipschitz函数的全局优化问题，噪声数据。
2007-03-13 cs.LG
Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Tel Aviv University（特拉维夫大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
本文证明香草策略优化在随机上下文赌博机中无需探索奖励即可实现接近最优遗憾，并扩展出差分隐私版本，通过隐式探索机制和批量更新降低计算成本，实验验证其有效性。
2026-09-29 cs.LG
Online Bandit Linear Optimization: A Study
本文介绍了在线Bandit线性优化的概念，并探讨了一种由Abernethy等人创建的名为SCRiBLe（Bandit Learning中的自一致正则化）的高效设置。\cite{abernethy} . SCRiBLe设置和算法在输入空间的维度上产生$O(\sqrt{T})$遗憾界限和多项式运行时间复杂度界限。在本文中，我们建立到强盗线性优化的情况下，研究SCRiBLe。
2018-05-11 cs.AI cs.LG stat.ML
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Sharp Dichotomies for Regret Minimization in Metric Spaces
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
Lipschitz多臂强盗（MAB）问题一般化了经典的多臂强盗问题，假设一个是由先验上界的差异，在某些对策略的预期收益的边信息。经典的结果（Lai and Robbins 1985）和（Auer et al. 2002）暗示了有限度量空间上Lipschitz MAB问题的一个对数遗憾界。最近的结果连续武装土匪问题和他们的推广意味着下界的$\sqrt{t}$，或更强，许多无限度量空间，如单位区间。这种二分法是普遍的吗？我们证明了答案是肯定的：对于每一个度量空间，Lipschitz MAB算法的最优遗憾是上界的任何$f\in ω(\log t)$，或下界的任何$g\in o(\sqrt{t})$。也许令人惊讶的是，这种二分法并不符合有限和无限度量空间之间的区别;相反，它取决于度量空间的完备化是否是紧的和可数的。我们的证明将在线学习中的上下界技术与经典拓扑概念（如完美集和Cantor-Bendixson定理）联系起来。在许多其他结果中，我们对“全反馈”（又名，“最佳专家”）版本。
2009-11-06 cs.DS cs.LG
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Adversarial bandit optimization for approximately linear functions
Joint Graduate School of Mathematics for Innovation, Kyushu University, Japan（创新数学联合研究生院，九州大学，日本）；Department of Informatics, Kyushu University, Japan（信息学系，九州大学，日本）；RIKEN AIP, Japan（日本理化学研究所AIP）
本文研究了对抗性带宽优化问题，针对近似线性函数提出方法，并改进了带宽线性优化的高概率 regret 绑定。
2026-01-06 cs.AI cs.LG
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
Filtered Poisson Process Bandit on a Continuum
Lancaster University（兰卡斯特大学）；Naval Postgraduate School（海军研究生院）
我们考虑一个版本的连续武装土匪的行动诱导过滤实现的非齐次泊松过程。然后将过滤样本中的点数据显示给决策者，其奖励是显示的点的总数。使用知识的功能管理的过滤，但没有知识的泊松强度函数，决策者寻求最大化的预期数量的揭示点在T轮。我们提出了一个置信上限算法，这个问题利用数据自适应离散化的行动空间。这种方法在奖励函数的Lipschitz假设下具有O（T^（2/3））的后悔。我们提供的任何算法的遗憾的问题，通过新的下限相关的有限武装土匪，并表明，上界和下界的顺序匹配的对数因子。
2020-07-20 cs.LG stat.ML
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Hierarchical Adversarial Bandits for Online Configuration Optimization
NVIDIA；Ben-Gurion University of the Negev（贝纳-约纳大学）；Bar-Ilan University（巴伊兰大学）
针对动态参数空间的在线配置优化，提出层次化框架ABoB，通过聚类分解配置空间加速学习，在真实存储系统上性能提升高达50%，理论证明最坏情况界为O(√kT)，有利条件下可加速至O(k^{1/4}√T)。
2026-06-23 cs.LG cs.MA stat.ML
Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research Cambridge（微软研究院剑桥分院）
大多数学习排序研究都假设不同文档的效用是独立的，这导致学习的排序函数返回冗余的结果。少数几种避免这种情况的方法缺乏理论基础，或者无法扩展。我们提出了一个学习排名配方，优化满意的用户的分数，与几个可扩展的算法，明确考虑到文档的相似性和排名的上下文。我们的公式是来自文献的两个多臂强盗模型的非平凡的共同推广：“排名强盗”（Radlinski等人，ICML 2008）和“Lipschitz bandits”（Kleinberg等人，STOC 2008）。我们提出了这种方法的理论依据，以及一个接近最佳的算法。我们的评估增加了优化，提高了经验性能，并表明我们的算法比以前的方法更快地学习数量级。
2012-09-01 cs.DS cs.LG
