Heavy-tailed Linear Bandits: Adversarial Robustness, Best-of-both-worlds, and Beyond
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所）
本文提出对抗性重尾赌博机通用框架，设计首个无需截断非负性假设的FTRL型BOBW算法，并扩展至线性情形，结合HT-SPM学习率首次实现重尾线性赌博机的双世界最优遗憾界。
2025-08-19 cs.LG
Stochastic Linear Bandits Robust to Adversarial Attacks
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
我们考虑了一个随机线性强盗问题，其中奖励不仅受到随机噪声的影响，而且受到适当预算$C$（即，跨时间范围的腐败幅度之和的上限）。我们提供了两种变体的鲁棒相位消除算法，一个知道$C$，一个不知道。这两个变种，以达到接近最佳的遗憾，在非腐败的情况下$C = 0$，而招致额外的附加条款分别具有线性和二次依赖于$C$一般。我们提出了算法独立的下界表明，这些添加剂的条款是接近最优的。此外，在上下文环境中，我们重新审视了不同的上下文设置，并表明，一个简单的贪婪算法是可证明的强大的接近最佳的添加剂遗憾的长期，尽管没有执行明确的探索，不知道$C$。
2020-10-27 cs.LG stat.ML
Prior Convictions: Black-Box Adversarial Attacks with Bandits and Priors
MIT（麻省理工学院(MIT)）
我们研究了在黑盒设置中生成对抗性示例的问题，在黑盒设置中，只有损失预言机访问模型可用。我们引入了一个框架，在概念上统一了许多现有的黑盒攻击的工作，我们证明了目前最先进的方法是最佳的自然意义上。尽管有这种最优性，我们展示了如何通过将一个新元素引入问题来改进黑盒攻击：梯度先验。我们给出了一个基于强盗优化的算法，使我们能够无缝集成任何这样的先验，我们明确地确定并纳入两个例子。由此产生的方法使用两到四倍少的查询和失败的两到五倍，比目前的最先进的。
2019-03-28 cs.CR cs.LG stat.ML
Adversarial Attacks on Cooperative Multi-agent Bandits
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）
本文研究合作式多智能体多臂赌博机的对抗脆弱性，分别针对同构与异构设置提出低成本攻击策略，并通过数值实验验证其有效性。
2023-11-03 cs.CR cs.LG cs.MA
Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究随机多臂老虎机中的对抗攻击与防御，提出针对UCB和汤普森采样的近最优攻击策略，并设计两种简单防御算法，使竞争比任意接近1。
2024-03-14 cs.LG stat.ML
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine（加利福尼亚大学欧文分校）；University of Miami（迈阿密大学）
针对华法林剂量个体差异大且错误剂量风险高的问题，利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估，构建个性化剂量策略，在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Improving Offline Contextual Bandits with Distributional Robustness
Criteo AI Lab（科韬人工智能实验室）
本文扩展了分布式鲁棒优化（DRO）方法离线上下文土匪。具体来说，我们利用这个框架，介绍了一个凸的反事实风险最小化原则的重新制定。除了依赖于凸规划，我们的方法是兼容的随机最优化，因此可以很容易地适应大数据制度。我们的方法依赖于通过DRO框架的离线上下文土匪的渐近置信区间的建设。通过利用已知的稳健估计的渐近结果，我们还展示了如何自动校准这样的置信区间，这反过来又消除了超参数选择的负担，政策优化。我们提出了初步的实证结果支持我们的方法的有效性。
2020-11-13 cs.AI cs.LG stat.ML
Non-Stationary Latent Bandits
Google Research（谷歌研究院）
推荐系统的用户经常表现在一个非固定的方式，由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中，我们提出了一个实用的方法，快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗，其中用户行为的原型模型是离线学习的，用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪，分析他们，并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合，这些模型可能会被错误指定，然后使用后验采样在线微调。通过这种方式，我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架，将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法，仅需老虎机反馈，并应用于子模最大化，实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Offline-to-Online Learning in Linear Bandits
University of Tokyo（东京大学）
针对随机线性Bandit问题，提出一种平衡离线数据与在线探索的算法，实现次线性遗憾并随离线样本增加降低离线参考遗憾。
2026-06-03 cs.LG stat.ML
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization
Applied AI Institute（应用人工智能研究所）；Deakin University（迪肯大学）；University of Oxford（牛津大学）
离线策略学习（OPL）利用先验收集的现有数据进行策略优化，而无需任何主动探索。尽管流行和最近的兴趣在这个问题上，其理论和算法的基础，在函数逼近设置仍然欠发达。在本文中，我们考虑这个问题的轴上的分布转移，优化和推广离线上下文土匪神经网络。特别是，我们提出了一个可证明有效的离线上下文土匪与神经网络功能近似，不需要任何功能的假设上的回报。我们表明，我们的方法可证明推广到看不见的情况下，比现有的OPL工程分布转移的温和条件。值得注意的是，与任何其他OPL方法不同，我们的方法使用随机梯度下降以在线方式从离线数据中学习，使我们能够将在线学习的好处利用到离线设置中。此外，我们表明，我们的方法是计算效率更高，并有一个更好的依赖于有效尺寸的神经网络比在线对应。最后，我们证明了我们的方法在一系列合成和现实世界的OPL问题的经验有效性。
2022-03-13 cs.AI cs.LG stat.ML
Adversarial Sleeping Bandit Problems with Multiple Plays: Algorithm and Ranking Application
Expedia Group（亿客行集团）
本文提出一种高效算法解决在线推荐系统中的多次选择睡眠老虎机问题，扩展了单臂选择算法，在对抗性损失和未知臂可用性下实现了$\bigO(kN^2\sqrt{T\log T})$的遗憾上界。
2023-07-27 cs.AI cs.LG
Robustly Improving Bandit Algorithms with Confounded and Selection Biased Offline Data: A Causal Approach
University of Arkansas（阿肯色大学）
本文从因果视角处理赌博机中离线数据的复合偏差，将偏差分为混杂与选择偏差，提取含真实均值的鲁棒因果界，引导学习近优策略并降低渐近遗憾。
2023-12-20 cs.AI cs.LG stat.ML
Leveraging Offline Data in Linear Latent Contextual Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对线性潜在上下文老虎机场景，提出带可证明保证的离线低秩子空间学习算法及两种加速在线学习的在线算法，证明极小极大最优性，经实验验证有效，并确立模型通用性。
2025-09-02 cs.AI cs.LG stat.ML
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs（雅虎研究院）
上下文强盗算法已经成为流行的在线推荐系统，如Digg，雅虎！Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要，但由于其“部分标签”性质，非常具有挑战性。通常的做法是创建一个模拟器，它模拟当前问题的在线环境，然后在这个模拟器上运行一个算法。然而，创建模拟器本身往往是困难的，建模偏差通常是不可避免地引入。在本文中，我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同，我们的方法是完全数据驱动的，非常容易适应不同的应用。更重要的是，我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎！前页符合我们的理论结果。此外，我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明，我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Bandits with Partially Observable Confounded Data
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
我们研究线性上下文强盗访问一个大的，混淆的，离线的数据集，从一些固定的政策采样。我们发现，这个问题是密切相关的一个变种的强盗问题的边信息。我们构造了一个线性强盗算法，利用投影信息，并证明了遗憾界。我们的研究结果表明，利用混淆的离线数据的能力。特别是，我们证明了遗憾的界限，提高当前的界限相关的数据中的上下文的可见维度的一个因素。我们的研究结果表明，混淆离线数据可以显着提高在线学习算法。最后，我们通过合成模拟展示了我们的方法的各种特性。
2021-08-10 cs.AI cs.LG stat.ML
Dueling Bandits with Adversarial Sleeping
Microsoft Research（微软研究院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）
本文介绍了具有随机偏好和对抗可用性的睡眠决斗强盗问题（DB-SPAA）。在几乎所有的决斗强盗应用程序中，决策空间往往会随着时间的推移而变化;例如，零售商店管理，网上购物，餐厅推荐，搜索引擎优化等令人惊讶的是，决斗强盗的“睡眠方面”从未在文献中研究过。就像决斗的强盗一样，目标是通过顺序查询项目对的偏好反馈来与最好的手臂竞争。然而，非平凡性的结果是由于非稳定的项目空间，允许任何任意子集的项目在每一轮都不可用。我们的目标是找到一个最佳的“无遗憾”政策，可以确定最好的项目在每一轮，而不是标准的“固定的最佳武器遗憾目标”的决斗土匪。我们首先推导出DB-SPAA $Ω( \sum_{i =1}^{K-1}\sum_{j=i+1}^K \frac{\log T}{Δ(i,j)})$的特定于实例的下限，其中$K$是项目的数量，$Δ(i,j)$是项目$i$和$j$之间的间隙。这表明偏好反馈的睡眠问题本质上比经典的多臂强盗（MAB）更困难。然后，我们提出了两个算法，接近最佳的遗憾保证。我们的研究结果得到了实证证实。
2021-07-05 cs.AI cs.LG
Kernelized Offline Contextual Dueling Bandits
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
针对人类反馈获取成本高的问题，提出离线上下文对决式老虎机设定，设计上置信界风格算法并证明遗憾界，实验显示其效果优于均匀采样上下文的策略。
2023-07-21 cs.AI cs.LG stat.ML
Adversarial bandit optimization for approximately linear functions
Joint Graduate School of Mathematics for Innovation, Kyushu University, Japan（创新数学联合研究生院，九州大学，日本）；Department of Informatics, Kyushu University, Japan（信息学系，九州大学，日本）；RIKEN AIP, Japan（日本理化学研究所AIP）
本文研究了对抗性带宽优化问题，针对近似线性函数提出方法，并改进了带宽线性优化的高概率 regret 绑定。
2026-01-06 cs.AI cs.LG
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种群体敏感的离线上下文老虎机优化框架，通过引入群体奖励差异约束，减少策略学习中的群体间奖励不平等，同时保持整体性能的竞争性。
2026-01-06 cs.LG
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Offline-to-online hyperparameter transfer for stochastic bandits
Google LLC（谷歌公司）；TTIC（芝加哥丰田技术研究所）
本文研究随机老虎机超参数调优难题，提出利用多任务离线数据为未知分布中的新在线任务迁移超参数，并给出任务间与任务内样本复杂度界。
2025-01-06 cs.LG
Bandit Multi-linear DR-Submodular Maximization and Its Applications on Adversarial Submodular Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；Fuzhou University（福州大学）
本文研究了单调多线性DR-次模函数的在线Bandit学习，提出算法$\mathtt{BanditMLSM}$，并首次为带划分拟阵约束的次模Bandit问题给出次线性regret算法，改进了相关问题的现有regret界。
2023-05-21 cs.AI cs.LG
Is Offline Decision Making Possible with Only Few Samples? Reliable Decisions in Data-Starved Bandits via Trust Region Enhancement
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文研究数据极度匮乏的离线多臂老虎机问题，证明随机策略优于确定性策略，并提出基于信赖域、局部化定律和相对悲观主义的 TRUST 算法，在样本极少时比 LCB 具有显著更低的样本复杂度。
2024-02-24 cs.AI cs.LG stat.ML
Gaussian-Width Bounds for Offline-to-Online Linear Bandits
University of Alberta（阿尔伯塔大学）
该研究针对部分覆盖离线数据的随机线性多臂老虎机问题，利用高斯向量 Lipschitz 函数集中度得到更紧的 regret 界，开发了分阶段消除算法并给出纯探索的上下界。
2026-10-12 cs.LG
Learning to Attack: A Bandit Approach to Adversarial Context Poisoning
AdvBandit通过构建代理模型和优化扰动，提出了一种对抗性上下文污染的多臂老虎机方法，有效提升攻击效果并控制检测风险。
2026-02-28 cs.AI cs.LG
Prompt-Tuning Bandits: Enabling Few-Shot Generalization for Efficient Multi-Task Offline RL
Örebro University（奥雷布罗大学）；King, Microsoft Gaming（微软游戏公司）
针对PDT均匀采样提示导致任务区分信息不足的问题，本文提出一种推理时基于赌博机的轻量级提示调优框架，通过优化轨迹提示选择提升多任务离线RL的少样本泛化性能、样本效率与可扩展性。
2025-07-18 cs.LG
Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits
Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系）
本文提出Ellipsoidal-MINUCB算法，通过引入方向偏置证书解决离线到在线学习中的方向性偏置问题，提高在线学习的性能。
2026-05-07 cs.LG
Pessimism for Offline Linear Contextual Bandits using $\ell_p$ Confidence Sets
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
我们提出了一个家庭$\{\hatπ\}_{p\ge 1}$的悲观学习规则离线学习的线性上下文土匪，依赖于不同的$\ell_p$规范，其中$\hatπ_2$对应于贝尔曼一致的悲观（BCP），而$\hatπ_\infty$是一个新的推广置信下限（LCB）的线性设置的置信集。我们表明，新的$\hatπ_\infty$学习规则是，在某种意义上说，自适应最优的，因为它实现了极大极小性能（对数因子）对所有$\ell_q$约束的问题，因此，它严格地主导了家庭中的所有其他预测，包括$\hatπ_2$。
2022-10-04 cs.LG stat.ML
Offline Local Search for Online Stochastic Bandits
Boston University（波士顿大学）；University of Houston（休斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法，实现O(log^3 T)的近似遗憾，优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University（斯坦福大学）
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而，当奖励模型没有很好地指定，强盗算法可能会招致意想不到的遗憾，所以最近的工作集中在算法，是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法，通过恢复到一个很好的安全的政策时，有证据表明，误指定是造成遗憾的增加，以适应误指定错误。我们的算法只需要一个离线回归预言，以确保遗憾的保证，优雅地降低在平均误指定水平的措施。与先前的工作相比，我们获得了类似的遗憾保证，但我们不依赖于主算法，并且不需要更强大的预言机，如在线或约束回归预言机（例如，Foster等人（2020 a）; Krishnamurthy等人（2020））。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
Taming the Monster Every Context: Complexity Measure and Unified Framework for Offline-Oracle Efficient Contextual Bandits
提出OE2D框架，通过离线回归预言机实现上下文赌博机学习，在T轮中仅需O(log T)次调用即可达到近最优遗憾，并引入决策-离线估计系数（DOEC）作为新的复杂度度量。
2026-06-29 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen（哥本哈根大学）
我们推导出Zimmert和Seldin（2021）的Tsallis-INF算法的改进遗憾界。我们表明，在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界，其中$T$是时间范围，$K$是武器的数量，$Δ_i$是次优差距，$i^*$是最好的手臂，$C$是腐败的幅度，和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪，随机约束对抗土匪，随机土匪与对抗腐败的特殊情况。此外，我们提供了一个一般性的分析，它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
Offline Contextual Bandit with Counterfactual Sample Identification
Criteo AI Lab（Criteo人工智能实验室）；Criteo AI Lab, Fairplay joint team（Criteo人工智能实验室，Fairplay联合团队）
针对上下文赌博机直接奖励模型易受混淆影响的问题，提出反事实样本识别方法，通过比较动作与相同上下文下的反事实动作来识别成功动作，在理论与实际应用中均优于直接模型。
2025-09-03 cs.LG
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Optimal Best-Arm Identification in Bandits with Access to Offline Data
Georgia Institute of Technology（佐治亚理工学院）；TIFR Mumbai（塔塔基础研究所孟买分院）；Google Research（谷歌研究院）
本文针对结合离线数据的随机K臂老虎机最佳臂识别问题，推导了1-δ置信度下策略的样本复杂度下界，提出了δ较小时匹配下界、单样本获取成本为Õ(K)的高效算法。
2023-06-15 cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法，这个问题的遗憾是近最佳的，大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的，并且可以容忍大量的腐败，几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Hybrid Combinatorial Multi-armed Bandits with Probabilistically Triggered Arms
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）
本文提出混合概率触发组合多臂老虎机框架，结合离线数据与在线交互，通过混合CUCB算法提升探索效率并纠正数据偏差，实验证明其在高质量和低质量数据下的优越性能。
2025-12-26 cs.LG
Offline Learning for Combinatorial Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）
研究提出首个针对组合多臂老虎机的离线学习框架Off-CMAB，核心CLCB算法结合悲观估计与组合求解器，在两种新数据覆盖条件下实现近乎最优的次优性差距，并在多种实际应用与实验中展现卓越性能。
2025-05-29 cs.LG
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University（康奈尔大学）
研究了一个具有记忆约束的对抗性强盗问题，其中只能存储一个臂子集的统计信息。一个层次的学习策略，只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔，建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
PAC-Bayesian Offline Contextual Bandits With Guarantees
Criteo AI Lab（Criteo人工智能实验室）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学校）；IPP（巴黎政治学院）；ESSEC Business School（埃塞克商学院）
本文通过PAC-Bayesian视角将策略建模为决策规则混合，提出更紧的泛化界及可直接优化的算法，实现离线上下文赌博机中具有性能保证且无需额外超参数调优的策略学习。
2023-05-27 cs.LG stat.ML
Nearly Optimal Algorithms for Adversarial Kernelized Bandits
LY Corporation（LY公司）
针对对抗性环境下的核化赌博机问题，提出指数权重算法并证明其达到近最优遗憾界，同时给出下界并利用Nyström近似实现高效计算。
2026-10-20 cs.LG
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
Exploitation Over Exploration: Unmasking the Bias in Linear Bandit Recommender Offline Evaluation
Federal University of São Carlos（圣卡洛斯联邦大学）
研究发现，在线性老虎机推荐系统离线评估中，贪婪模型在多数数据集上表现优异，表明探索策略可能被低估，需改进评估方法。
2026-04-16 cs.IR cs.LG
Adversarial Combinatorial Bandits with General Non-linear Reward Functions
New York University（纽约大学）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
在本文中，我们研究了一个已知的非线性回报函数的对抗性组合强盗，扩展了现有的工作对抗性线性组合强盗。{The具有一般非线性报酬的对抗性组合强盗是强盗文献中的一个重要的公开问题，并且仍然不清楚与线性报酬、随机强盗或半强盗反馈的情况是否存在显著的差距。我们发现，与$N$武器和$K$武器的子集被选择在每个$T$时间段，极小极大最优遗憾是$\widetildeΘ_{d}(\sqrt{N^d T})$，如果奖励函数是一个$d$ -度多项式与$d< K$，和$Θ_K(\sqrt{N^K T})$，如果奖励函数不是一个低次多项式。{Both的界限与线性情况下的界限$O(\sqrt{\mathrm{poly}(N,K)T})$显著不同，这表明在线性和非线性奖励结构之间存在根本差距。}我们的研究结果也发现应用于在线推荐中的对抗性分类优化问题。我们表明，在最坏的情况下，对抗性的分类问题，最优算法必须对待每个人的$\binom{N}{K}$分类独立。
2021-01-05 cs.LG stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
The best of both worlds: stochastic and adversarial bandits
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们提出了一个新的强盗算法，SAO（随机和对抗最优），其遗憾，本质上是最优的对抗性奖励和随机奖励。具体地，SAO结合了Exp3的平方根最坏情况遗憾（Auer等人，SIAM J. on Computing 2002）和UCB 1的（多）对数遗憾（Auer et al.，机器学习2002）的随机奖励。对抗性奖励和随机奖励是（非贝叶斯）多臂强盗文献中的两个主要设置。之前关于多武装土匪的工作将它们分开对待，并且不试图联合优化两者。我们的结果属于一个一般的主题，实现良好的最坏情况下的性能，同时也利用了“好”的问题的情况下，一个重要的问题，在设计的算法与部分已知的输入。
2012-02-20 cs.DS cs.LG
