Interactively Learning Preference Constraints in Linear Bandits
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
我们研究顺序决策与已知的奖励和未知的约束，激励的情况下，约束代表昂贵的评估人类的喜好，如安全和舒适的驾驶行为。我们正式的挑战，互动学习这些约束作为一个新的线性土匪问题，我们称之为约束线性最佳臂识别。为了解决这个问题，我们提出了自适应约束学习（ACOL）算法。我们提供了一个依赖于实例的下限约束线性最佳臂识别，并表明，ACOL的样本复杂性匹配的下限在最坏的情况下。在平均情况下，ACOL的样本复杂度界限仍然比更简单的方法的界限更严格。在合成实验中，ACOL的性能与Oracle解决方案相当，并且优于一系列基线。作为一个应用程序，我们考虑学习约束，以代表人类的喜好，在驾驶模拟。ACOL比该应用的替代品具有更高的采样效率。此外，我们发现，学习偏好的约束条件是更强大的变化，在驾驶场景比编码的偏好直接在奖励函数。
2022-06-10 cs.AI cs.LG stat.ML
Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization
针对传统多目标多臂老虎机忽视用户偏好的问题，本文提出偏好感知框架，探索未知与隐藏偏好场景，通过偏好估计与感知优化机制实现帕累托前沿内的定制化优化，理论与实证均验证其近最优遗憾与有效性。
2025-11-15 cs.LG
Preferences Evolve And So Should Your Bandits: Bandits with Evolving States for Online Platforms
Google Research（谷歌研究院）；MIT（麻省理工学院）；National Technical University of Athens（雅典国家技术大学）
提出具有确定性演化状态的 Bandit 模型，考虑状态演化速率，旨在最小化相对最佳固定拉臂序列的遗憾，并提供鲁棒的在线学习算法。
2025-01-28 cs.AI cs.GT cs.LG
CoCoB: Adaptive Collaborative Combinatorial Bandits for Online Recommendation
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院）
本文提出CoCoB算法，通过用户侧与物品侧的双侧老虎机架构自适应利用邻居偏好，解决了聚类老虎机中相似用户定义不清及缺乏合适邻居时的推荐质量下降问题，并在三个数据集上取得F1平均提升2.4%的效果。
2025-05-05 cs.AI cs.IR cs.LG
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences
Microsoft Research, NYC（微软研究院，纽约市）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔综合理工学院）
我们研究的问题$K$武装决斗土匪随机和对抗环境中，学习者的目标是通过相对偏好的决策点查询在网上顺序的方式来聚合信息。我们首先提出了一个新的减少从任何（一般）决斗土匪多武装土匪，尽管简单，它使我们能够改善许多现有的结果决斗土匪。特别是，\emph{we give the first best-of-both world result for the dueling bandits regret minimization problem} --一个统一的框架，保证同时对随机和对抗性偏好进行最佳执行。此外，我们的算法也是第一个实现最佳的$O(\sum_{i = 1}^K \frac{\log T}{Δ_i})$遗憾约束对康多塞冠军的基准，最佳规模的手臂大小$K$和实例特定的次优差距$\{Δ_i\}_{i = 1}^K$。这解决了长期存在的问题，设计一个实例间隙相关的顺序最优后悔算法决斗土匪（匹配下限小常数因子）。我们进一步证明了我们提出的算法的鲁棒性，通过证明其最佳后悔率下adversarially损坏的偏好-这优于现有的最先进的损坏决斗结果的大幅度。总之，我们相信我们的减少想法将在解决不同类别的决斗土匪设置中找到更广泛的范围，否则将与通常更复杂的解决方案和更差的保证的多武装土匪分开研究。我们提出的算法的有效性是经验证实对现有的决斗土匪的方法。
2022-02-14 cs.LG stat.ML
Dueling Bandits with Dependent Arms
Cornell University（康奈尔大学）
我们研究决斗土匪弱效用为基础的遗憾时，对武器的偏好有一个总的顺序，并进行可观察的特征向量。假设顺序由这些特征向量、未知偏好向量和已知效用函数确定。该结构引入了对臂的偏好之间的依赖性，并且允许从对另一对臂的偏好中学习对一对臂的偏好。我们提出了一种算法，这种设置称为比较最好的（CTB），我们表明，具有恒定的预期累积弱效用为基础的遗憾。我们提供了一个贝叶斯解释CTB，实现适合于少量的武器，和一个替代的实现许多武器，可以使用时，输入参数满足分解条件。我们通过数值实验证明，CTB与适当的输入参数优于所有基准考虑。
2017-06-15 cs.LG
Jump Start or False Start? A Theoretical and Empirical Evaluation of LLM-initialized Bandits
Queen’s University（女王大学）；RBC Borealis
本文研究LLM生成的偏好在存在噪声和系统性偏差时对多臂老虎机性能的影响，发现30%以内噪声下初始化有效，40%后效果下降，50%后性能劣化。系统性偏差下，LLM初始化可能比冷启动更差，通过理论分析得出LLM初始化优于冷启动的充分条件。
2026-04-02 cs.AI cs.LG
Latent Preference Bandits
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚尔斯基技术大学）；University of Gothenburg（哥德堡大学）
针对个性化决策中潜在赌博机假设过强的问题，提出仅需偏好排序模型的潜在偏好赌博机，并给出后验采样算法，在奖励尺度异质时表现更优。
2025-08-07 cs.LG
Enhancing Preference-based Linear Bandits via Human Response Time
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
本文提出利用人类响应时间作为偏好强度的补充信号，结合二元选择与EZ扩散模型构建高效效用估计器，并将其集成到基于偏好的线性赌博机中，在三个真实数据集上验证了该方法相比仅用选择的方法能显著加速偏好学习。
2025-01-02 cs.AI cs.HC cs.LG
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题，提出基于反馈增强的无模型改进框架，引入增强置信界整合反馈并分析权衡，原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
A Field Test of Bandit Algorithms for Recommendations: Understanding the Validity of Assumptions on Human Preferences in Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
本文通过众包漫画推荐实验检验多臂老虎机中人类偏好固定不变的核心假设，发现该假设不成立，并提出一个用于理解偏好动态和测试多臂老虎机算法的灵活实验框架。
2023-04-16 cs.HC cs.IR cs.LG
Preference-based Online Learning with Dueling Bandits: A Survey
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；Google Research（谷歌研究院）
在机器学习中，多臂强盗的概念是指一类在线学习问题，其中智能体应该在顺序决策过程中同时探索和利用给定的一组选择方案。在标准设置中，智能体以实值奖励的形式从随机反馈中学习。然而，在许多应用程序中，数字奖励信号并不容易获得-相反，只提供较弱的信息，特别是相对偏好的形式之间的定性比较对的选择。这一观察激发了对多臂强盗问题的变体的研究，其中更一般的表示用于学习的反馈类型和预测目标。本文的目的是提供一个调查的艺术在这一领域，被称为基于偏好的多武装土匪或决斗土匪的国家。为此，我们提供了一个概述的文献中已经考虑的问题，以及解决这些问题的方法。我们的分类法主要是基于这些方法对数据生成过程的假设，以及与此相关的基于偏好的反馈的属性。
2021-07-12 cs.LG stat.ML
Combinatorial Bandits for Incentivizing Agents with Dynamic Preferences
Electrical Engineering Department, University of Washington（华盛顿大学电气工程系）
本文提出一种多臂老虎机框架，用于在资源受限环境下匹配用户激励，结合贪心匹配、UCB算法和马尔可夫链混合时间，理论分析 regret 并通过合成和现实案例验证性能。
2018-07-06 cs.AI cs.LG cs.SY
Optimal and Efficient Dynamic Regret Algorithms for Non-Stationary Dueling Bandits
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
本文研究了非平稳或时变偏好下$K$武装决斗强盗中的\emph{dynamic regret minimization}问题。这是一个在线学习设置，其中代理在每一轮选择一对项目，并只观察这对项目的相对二进制“赢-输”反馈，从该轮的潜在偏好矩阵中采样。本文首先研究了对抗偏好序列的静态遗憾最小化问题，并设计了一个具有$O(\sqrt{KT})$高概率遗憾的有效算法。接下来，我们使用类似的算法思想，提出了一个有效的和可证明的最佳算法的动态遗憾最小化下的两个概念的非平稳性。特别是，我们建立$\tO(\sqrt{SKT})$和$\tO({V_T^{1/3}K^{1/3}T^{2/3}})$动态遗憾的保证，$S$是“有效开关”的总数量在潜在的偏好关系和$V_T$是衡量“连续变化”的非平稳性。这些问题的复杂性尚未研究之前，这项工作，尽管在现实世界中的系统的非平稳环境的实用性。我们证明了我们的算法的最优性，通过证明匹配的下界保证上述两个概念的非平稳性。最后，我们用大量的模拟来证实我们的结果，并比较我们的算法在最先进的基线上的有效性。
2022-06-12 cs.AI cs.LG
Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校）；School of Artificial Intelligence and Data Science, University of International Business and Economics（国际商务经济大学人工智能与数据科学学院）
HyperBandit+通过整合时间感知超网络和LLM预热机制，提升流媒体推荐中对随时间变化用户偏好的适应能力。
2026-02-08 cs.LG
Selective Ensemble Based on Preference-Directed Multi-Objective Bandits
Department of Computer Science, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对有限评估预算下部分偏好指定的选择性集成问题，形式化为偏好导向多目标赌博机，提出PrefUCB算法，实现对数遗憾界，在预训练模型集成和资产分配中验证有效性。
2026-06-23 cs.LG
Exploiting Transitivity for Top-k Selection with Score-Based Dueling Bandits
University of Warwick（华威大学）
研究了具有分数信息的Dueling Bandit问题中的top-k子集选择问题。现实世界的成对排序问题往往表现出高度的传递性和先前的工作建议抽样方法，利用这种传递性，通过使用参数偏好模型，如布拉德利-特里-卢斯（BTL）和瑟斯顿模型。到目前为止，这项工作的重点是样本结果是赢/输二元反应的情况下。我们扩展到选择问题，抽样结果包含定量信息，提出了一个瑟斯顿风格的模型和适应成对最优计算预算分配子集选择（POCBAm）抽样方法，利用该模型进行有效的样本选择。我们对标准POCBAM和其他竞争算法的实证性能进行比较。
2020-12-31 cs.LG
Bandits for Efficient Experimentation: Adapting to Control Group, Preferences, and Context Drifts
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL（里尔大学、法国国家科学研究中心、中央理工学院、UMR 9189 – CRIStAL）
针对用户偏好和上下文分布随时间漂移的线性上下文随机多臂赌博机问题，提出Dri-MED算法，通过异方差回归处理非平稳噪声，实现实例相关的遗憾界和约束违规界。
2026-06-08 cs.AI cs.LG stat.ML
LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing
本文将LLM选择建模为多臂老虎机问题，提出偏好条件动态路由机制，在推理时按用户偏好平衡准确性与成本，并能泛化到未见过的模型，实验证明其在不同平台上显著提升准确性和成本效益。
2025-02-04 cs.LG
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
When Can We Track Significant Preference Shifts in Dueling Bandits?
Columbia University（哥伦比亚大学）
研究存在分布转移的$K$臂决斗赌博机，刻画可实现$O(\sqrt{K\tilde{L}T})$动态遗憾的偏好分布类别边界。
2024-01-24 cs.LG stat.ML
Bandits with Preference Feedback: A Stackelberg Game Perspective
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本文提出MAXMINLCB算法，通过Stackelberg博弈框架解决无限域和非线性奖励下的多臂问题，实现最优后悔保证和优越性能。
2025-12-18 cs.AI cs.GT cs.LG
Online Clustering of Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Tianjin University（天津大学）
本文首次提出对决赌博机聚类方法，通过 COLDB 和 CONDB 两种算法实现基于偏好反馈的多用户协作决策，并从理论和实验上证明其能改善遗憾界。
2025-02-04 cs.AI cs.LG
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Vector preference-based contextual bandits under distributional shifts
Department of EECS, University of Michigan（电子工程与计算机科学系，密歇根大学）；Department of ECE, Texas A&M University（电气与计算机工程系，德克萨斯阿姆大学）
本文研究分布漂移下基于向量偏好的上下文赌博机问题，提出自适应离散化与乐观消除策略，并引入基于帕累托前沿距离的偏好遗憾概念，给出推广现有结果的遗憾上界。
2025-08-21 cs.LG cs.SY eess.SY
Bandit Learning in Decentralized Matching Markets
University of California（加利福尼亚大学）
我们研究双边匹配市场，其中一方的市场（球员）没有一个先验知识，其偏好的另一方（武器），并要求从经验中学习其偏好。此外，我们假设玩家没有直接的通信手段。该模型扩展了标准的随机多臂强盗框架，分散的多个玩家设置与竞争。我们引入了一个新的算法，这种设置，在一个时间范围$T$，达到$\mathcal{O}(\log(T))$稳定的遗憾时，共享的武器的偏好，和$\mathcal{O}(\log(T)^2)$遗憾时，没有任何一方的偏好的假设。此外，在设置中，一个单一的球员可能会偏离，我们表明，该算法是激励兼容的武器的偏好是共享的，但不一定是这样的偏好是完全一般的。
2021-06-21 cs.GT cs.LG cs.MA
Jump Starting Bandits with LLM-Generated Prior Knowledge
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Borealis AI（北极星人工智能公司）
该研究提出利用大语言模型生成的人类偏好预训练数据集初始化上下文多臂老虎机的方法，有效降低在线学习遗憾值与数据收集成本，并通过两组实验验证了有效性。
2024-10-29 cs.AI cs.CL cs.LG
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon（亚马逊）；Columbia University（哥伦比亚大学）
针对多保真度树优化问题，提出CANOPY方法，通过在线学习分段平滑先验的有效区域，引导昂贵评估，在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Time-Sensitive Bandit Learning and Satisficing Thompson Sampling
Northwestern University（西北大学）；Stanford University（斯坦福大学）
关于强盗学习和后悔分析的文献集中在目标是以限制探索成本的方式收敛于最优行动的背景下。这种取向的一个缺点是，它没有以连贯的方式对待时间偏好。当最佳行动相对于接近最佳行动而言学习成本较高时，时间偏好起着重要的作用。这种局限性不仅限制了理论结果的相关性，而且影响了算法的设计。事实上，汤普森抽样和UCB等流行方法在这种情况下可能表现不佳。在本文中，我们考虑折扣，而不是累积的遗憾，折扣因子编码的时间偏好。我们提出了满意的汤普森采样-汤普森采样的变化-并建立了一个强大的折扣遗憾界这个新的算法。
2017-04-28 cs.LG
Exploiting Structure of Uncertainty for Efficient Matroid Semi-Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind（深度思维）
我们提高了随机\emph{combinatorial semi-bandits}算法的效率。在大多数有趣的问题中，最先进的算法利用奖励的结构属性，例如\emph{independence}。然而，虽然是最佳的渐近遗憾，这些算法是低效的。在我们的论文中，我们首先减少他们的实现到一个特定的\emph{submodular maximization}。然后，在\emph{matroid}约束的情况下，我们设计了适应的近似例程，从而提供了第一个有效的算法，依赖于奖励结构，以提高遗憾界。特别是，我们提高了国家的最先进的有效的无间隙的遗憾约束的一个因素$\sqrt{m}/\log m$，其中$m$是最大的动作大小。最后，我们将展示我们的改进如何转化为更一般的\emph{budgeted combinatorial semi-bandits}。
2019-06-21 cs.LG stat.ML
Hierarchical Conversational Preference Elicitation with Bandit Feedback
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
会话式推荐的最新进展提供了一种有前途的方式，有效地通过会话式交互来获取用户的偏好。为了实现这一点，推荐系统与用户进行对话，询问他们对不同项目或项目类别的偏好。现有的会话式推荐系统大多采用多臂的Bandit框架，以在线的方式学习用户的偏好。然而，它们依赖于预定义的对话频率来询问项目类别而不是单个项目，这可能导致损害用户体验的过度对话交互。为了使更灵活的提问关键词，我们制定了一个新的会话强盗问题，允许推荐系统选择一个关键词或一个项目，建议在每一轮和明确的模型奖励这些行动。这促使我们处理关键词询问和项目推荐之间的新的探索-利用（EE）权衡，这要求我们准确地建模关键词和项目奖励之间的关系。我们进行了一项调查，并分析了现实世界的数据集发现，与以往的工作中所作的假设，关键词奖励主要是由代表性项目的奖励影响。我们提出了两个强盗算法，Hier-UCB和Hier-LinUCB，利用这种观察到的关系和关键词和项目之间的层次结构，有效地学习哪些项目推荐。我们从理论上证明，我们的算法可以减少遗憾界的依赖项目的总数从以前的工作。我们验证了我们提出的算法和遗憾的合成和真实世界的数据。
2022-09-06 cs.IR cs.LG
Estimating Quality in Multi-Objective Bandits Optimization
Université Laval（拉瓦尔大学）
许多现实世界的应用程序的特点是许多相互冲突的性能指标。由于在多目标设置中进行优化会导致一组非支配解，因此需要偏好函数来选择具有目标之间的适当权衡的解。问题是：为了使最大化偏好函数的解保持不变，这些目标的估计必须有多好？在本文中，我们引入了偏好半径的概念来表征的偏好函数的鲁棒性，并提供指导方针，控制质量的估计在多目标设置。更具体地说，我们提供了一个一般的制定下的强盗设置的多目标优化。我们展示了偏好半径与最优间隙的关系，并利用这一概念对多元正态先验的Thompson抽样算法进行了理论分析。最后，我们提出的实验来支持理论结果，并强调一个事实，即不能简单地将多目标问题转化为单目标问题。
2017-04-20 cs.LG stat.ML
Aligning AI Agents via Information-Directed Sampling
Stanford University（斯坦福大学）
本文提出老虎机对齐问题框架，研究智能体在环境与人类偏好均未知时如何权衡探索与利用，并通过理论和实验证明信息导向采样优于朴素探索和Thompson采样。
2024-10-18 cs.AI cs.LG
Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems
Princeton University（普林斯顿大学）；Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文从理论上比较了离线上下文赌博机中绝对评分与偏好排序两种人类反馈方法，揭示了人类偏差和不确定性对理论保证的影响，为偏好方法的经验成功提供了建模层面的解释。
2023-10-28 cs.LG math.ST stat.ML
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题，提出两种基于消除的算法，同时实现遗憾最小化与最佳臂识别，并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Influencing Bandits: Arm Selection for Preference Shaping
IIT Bombay（印度理工学院孟买分校）
研究非平稳多臂老虎机中通过奖励反馈塑造群体偏好的问题，提出并分析 ETC 与 Thompson sampling 策略，并扩展到多观点和多推荐系统权衡场景。
2024-02-29 cs.AI cs.IR cs.LG
When and Whom to Collaborate with in a Changing Environment: A Collaborative Dynamic Bandit Solution
University of Virginia（弗吉尼亚大学）
合作式的强盗学习，即，利用协同过滤技术提高在线交互式推荐中样本效率的Bandit算法，因其两全其美而受到广泛关注。然而，所有现有的协作式强盗学习解决方案都强加了关于环境的静态假设，即，用户偏好和用户之间的依赖性都被假定为随时间是静态的。不幸的是，由于用户的兴趣和依赖关系不断变化，这一假设在实践中很难成立，这不可避免地使推荐系统在实践中的性能次优。在这项工作中，我们开发了一个协作的动态强盗解决方案，以处理不断变化的环境中的建议。我们明确地建模的用户偏好和他们的依赖关系作为一个随机过程的潜在变化。个体用户的偏好是由一个混合的全球共享的上下文强盗模型与狄利克雷过程先验。因此，用户之间的协作是通过全局强盗模型的贝叶斯推理来实现的。每个用户的模型选择和手臂选择通过汤普森采样来平衡开发和探索。我们的解决方案被证明是保持一个标准的$\tilde O(\sqrt{T})$次线性遗憾，即使在这样一个具有挑战性的环境。对合成和真实世界数据集的广泛实证评估进一步证实了对不断变化的环境建模的必要性以及我们的算法相对于几种最先进的在线学习解决方案的实用优势。
2021-04-14 cs.LG
Best-of-Both-Worlds Multi-Dueling Bandits: Unified Algorithms for Stochastic and Adversarial Preferences under Condorcet and Borda Objectives
本文提出了一种兼顾随机和对抗性环境的多对决老虎机统一算法，针对康多塞和波尔多目标，同时在无先验知识的情况下实现了最优性能。
2026-05-18 cs.LG
Adversarial Dueling Bandits
Indian Institute of Science（印度科学研究所）；Tel Aviv University（特拉维夫大学）；Google Tel Aviv（谷歌特拉维夫）
我们在对抗决斗强盗中引入了后悔最小化问题。正如在经典的决斗强盗，学习者必须反复选择一对项目，并观察只有一个相对的二进制的“赢-输”反馈这对，但在这里，这种反馈是从一个任意的偏好矩阵，可能选择对立。我们的主要结果是一个算法的$T$轮遗憾相比，\emph{Borda-winner}从一组$K$项目是$\tilde{O}(K^{1/3}T^{2/3})$，以及匹配的$Ω(K^{1/3}T^{2/3})$下界。我们还证明了类似的高概率后悔界。我们进一步考虑了一个更简单的\emph{fixed-gap}对抗设置，它在两个极端偏好反馈模型之间架起了桥梁：固定偏好和任意偏好序列。对于固定差距的对抗设置，我们给出了一个$\smash{ \tilde{O}((K/Δ^2)\log{T}) }$后悔算法，其中$Δ$是最好的项目和所有其他项目之间的Borda分数的差距，并显示了$Ω(K/Δ^2)$的下限，表明我们对主要问题参数$K$和$Δ$的依赖是紧密的（对数因子）。
2020-10-27 cs.LG stat.ML
Exploiting Adjacent Similarity in Multi-Armed Bandit Tasks via Transfer of Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
针对相邻任务平均奖励差异有界的顺序多任务随机多臂老虎机问题，提出两种基于 UCB 的奖励样本迁移算法，并从理论和实验上证明其可降低跨任务总体遗憾。
2025-03-12 cs.LG stat.ML
Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests
Cornell University（康奈尔大学）；Alibaba Group（阿里巴巴集团）
研究了高度非平稳环境下的上下文强盗问题。由于用户兴趣的时变，上下文强盗问题在各种推荐系统中普遍存在。两个模型与不相交和混合支付被认为是表征的现象，用户对不同的项目的偏好不同，随着时间的推移。在不相交支付模型中，使用手臂的奖励由特定于手臂的偏好向量确定，该偏好向量是分段平稳的，不同手臂之间的变化是异步的和明显的。提出了一种有效的学习算法，是自适应的突然奖励的变化和理论的遗憾分析表明，一个次线性缩放的时间长度$T$的遗憾实现。该算法被进一步扩展到一个更一般的设置与混合的回报，其中的奖励，发挥手臂是由一个手臂特定的偏好向量和联合系数向量共享的所有武器。在真实世界的数据集上进行了实证实验，以验证所提出的学习算法在这两种设置下对基线的优势。
2020-02-29 cs.AI cs.LG stat.ML
Incentivized Bandit Learning with Self-Reinforcing User Preferences
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊）
在本文中，我们研究了一个新的多臂强盗（MAB）在线学习模型，该模型考虑了许多推荐系统中的现实世界现象：（i）学习代理不能自己拉动手臂，因此必须向用户提供奖励以间接激励手臂拉动;以及（ii）如果具有特定手臂偏好的用户得到很好的奖励，它们会产生“自我强化”效应，因为它们会吸引更多具有类似武器偏好的使用者。除了解决勘探和开采的权衡问题外，这种新的MAB模式的另一个关键特征是平衡奖励和激励支付。代理的目标是在固定的时间范围$T$内以较低的总支付最大化总奖励。我们在本文中的贡献是两方面的：（i）我们提出了一个新的MAB模型与随机臂选择，考虑用户的自我增强的偏好和激励的关系;（ii）我们利用多色波利亚瓮与非线性反馈模型的属性，提出了两个MAB策略，称为“至少- $n$探索然后提交”和“UCB列表”。我们证明了这两个政策实现$O(log T)$预期的遗憾与$O(log T)$预期支付的时间跨度$T$。我们进行数值模拟来演示和验证这两种策略的性能，并研究它们在各种设置下的鲁棒性。
2021-05-31 cs.LG stat.ML
DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
Harvard University（哈佛大学）；Texas A&M University（德克萨斯大学）；Stony Brook University（石溪大学）
本文针对 restless bandits 中奖励函数难以指定的问题，提出 Pref-RMAB 模型和 DOPL 算法，通过在线收集并直接利用成对偏好反馈进行决策，首次实现次线性遗憾并验证其有效性。
2025-07-16 cs.LG math.OC stat.ML
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization
Duke University（杜克大学）
针对已知平均奖励随动作呈凹性的上下文赌博机问题，提出将凹性约束融入高斯过程后验的 UCB 算法，并给出遗憾界与抗凝血剂量优化实验验证。
2026-10-22 cs.LG stat.ML
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
Adversarial Multi-dueling Bandits
Eindhoven University of Technology（埃因霍温理工大学）
本文提出对抗性多对决赌博机问题，并设计 MiDEX 算法，其遗憾上界为 O((K log K)^{1/3} T^{2/3})，下界为 Ω(K^{1/3} T^{2/3})，证明算法近乎最优。
2024-06-26 cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Saturation-Insensitive Dueling Bandits with General Function Approximation
针对决斗式赌博机在偏好模型饱和时的样本复杂度问题，提出SI-CDB算法，通过启发式对手选择消除逆导数因子，实现饱和不敏感学习，并借助局部Eluder维度框架获得近最优理论保证。
2026-09-29 cs.LG
Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization
Cambridge University（剑桥大学）；University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
我们解决的问题，找到一个非线性光滑函数的最大化，只能评估逐点，受限制的数量允许的功能评估。这个问题在多臂强盗文献中也被称为固定预算最佳臂识别。我们引入了贝叶斯方法，这个问题，并表明它的经验优于现有的频率论和其他贝叶斯优化方法。贝叶斯方法强调详细的建模，包括对武器之间的相互关系建模。因此，它可以很好地执行的情况下，手臂的数量远远大于允许的功能评估的数量，而频率论的对应物是不适用的。此功能使我们能够开发和部署实际应用程序，例如自动机器学习工具箱。本文提出了全面的比较所提出的方法，汤普森采样，经典的贝叶斯优化技术，最近的贝叶斯强盗的方法，和国家的最先进的最好的手臂识别方法。这是许多这些方法在文献中的第一次比较，使我们能够检查其不同功能的相对优点。
2013-11-11 cs.LG stat.ML
