When Can We Track Significant Preference Shifts in Dueling Bandits?
Columbia University（哥伦比亚大学）
研究存在分布转移的$K$臂决斗赌博机，刻画可实现$O(\sqrt{K\tilde{L}T})$动态遗憾的偏好分布类别边界。
2024-01-24 cs.LG stat.ML
Vector preference-based contextual bandits under distributional shifts
Department of EECS, University of Michigan（电子工程与计算机科学系，密歇根大学）；Department of ECE, Texas A&M University（电气与计算机工程系，德克萨斯阿姆大学）
本文研究分布漂移下基于向量偏好的上下文赌博机问题，提出自适应离散化与乐观消除策略，并引入基于帕累托前沿距离的偏好遗憾概念，给出推广现有结果的遗憾上界。
2025-08-21 cs.LG cs.SY eess.SY
Bandit Learning in Decentralized Matching Markets
University of California（加利福尼亚大学）
我们研究双边匹配市场，其中一方的市场（球员）没有一个先验知识，其偏好的另一方（武器），并要求从经验中学习其偏好。此外，我们假设玩家没有直接的通信手段。该模型扩展了标准的随机多臂强盗框架，分散的多个玩家设置与竞争。我们引入了一个新的算法，这种设置，在一个时间范围$T$，达到$\mathcal{O}(\log(T))$稳定的遗憾时，共享的武器的偏好，和$\mathcal{O}(\log(T)^2)$遗憾时，没有任何一方的偏好的假设。此外，在设置中，一个单一的球员可能会偏离，我们表明，该算法是激励兼容的武器的偏好是共享的，但不一定是这样的偏好是完全一般的。
2021-06-21 cs.GT cs.LG cs.MA
Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization
针对传统多目标多臂老虎机忽视用户偏好的问题，本文提出偏好感知框架，探索未知与隐藏偏好场景，通过偏好估计与感知优化机制实现帕累托前沿内的定制化优化，理论与实证均验证其近最优遗憾与有效性。
2025-11-15 cs.LG
Bandits for Efficient Experimentation: Adapting to Control Group, Preferences, and Context Drifts
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL（里尔大学、法国国家科学研究中心、中央理工学院、UMR 9189 – CRIStAL）
针对用户偏好和上下文分布随时间漂移的线性上下文随机多臂赌博机问题，提出Dri-MED算法，通过异方差回归处理非平稳噪声，实现实例相关的遗憾界和约束违规界。
2026-06-08 cs.AI cs.LG stat.ML
On the Complexity of Preference-Based Bandits
Criteo AI Lab（Criteo人工智能实验室）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学校）
本文研究基于偏好的老虎机问题，提出局部敏感eluder维度作为复杂度度量，并设计GINOP算法，实现与直接奖励学习同等统计效率的遗憾界。
2026-10-01 cs.AI cs.LG
Bandits with Preference Feedback: A Stackelberg Game Perspective
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本文提出MAXMINLCB算法，通过Stackelberg博弈框架解决无限域和非线性奖励下的多臂问题，实现最优后悔保证和优越性能。
2025-12-18 cs.AI cs.GT cs.LG
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Preferences Evolve And So Should Your Bandits: Bandits with Evolving States for Online Platforms
Google Research（谷歌研究院）；MIT（麻省理工学院）；National Technical University of Athens（雅典国家技术大学）
提出具有确定性演化状态的 Bandit 模型，考虑状态演化速率，旨在最小化相对最佳固定拉臂序列的遗憾，并提供鲁棒的在线学习算法。
2025-01-28 cs.AI cs.GT cs.LG
Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems
Princeton University（普林斯顿大学）；Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文从理论上比较了离线上下文赌博机中绝对评分与偏好排序两种人类反馈方法，揭示了人类偏差和不确定性对理论保证的影响，为偏好方法的经验成功提供了建模层面的解释。
2023-10-28 cs.LG math.ST stat.ML
Estimating Quality in Multi-Objective Bandits Optimization
Université Laval（拉瓦尔大学）
许多现实世界的应用程序的特点是许多相互冲突的性能指标。由于在多目标设置中进行优化会导致一组非支配解，因此需要偏好函数来选择具有目标之间的适当权衡的解。问题是：为了使最大化偏好函数的解保持不变，这些目标的估计必须有多好？在本文中，我们引入了偏好半径的概念来表征的偏好函数的鲁棒性，并提供指导方针，控制质量的估计在多目标设置。更具体地说，我们提供了一个一般的制定下的强盗设置的多目标优化。我们展示了偏好半径与最优间隙的关系，并利用这一概念对多元正态先验的Thompson抽样算法进行了理论分析。最后，我们提出的实验来支持理论结果，并强调一个事实，即不能简单地将多目标问题转化为单目标问题。
2017-04-20 cs.LG stat.ML
Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries
The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
提出MO-PQUCB算法，通过主动查询获取用户偏好信号，结合Plackett-Luce模型和正则化UCB，解决多目标老虎机中偏好与奖励的耦合问题，实现更优的遗憾界。
2026-08-18 cs.AI cs.LG
CoCoB: Adaptive Collaborative Combinatorial Bandits for Online Recommendation
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院）
本文提出CoCoB算法，通过用户侧与物品侧的双侧老虎机架构自适应利用邻居偏好，解决了聚类老虎机中相似用户定义不清及缺乏合适邻居时的推荐质量下降问题，并在三个数据集上取得F1平均提升2.4%的效果。
2025-05-05 cs.AI cs.IR cs.LG
Dueling Bandits with Dependent Arms
Cornell University（康奈尔大学）
我们研究决斗土匪弱效用为基础的遗憾时，对武器的偏好有一个总的顺序，并进行可观察的特征向量。假设顺序由这些特征向量、未知偏好向量和已知效用函数确定。该结构引入了对臂的偏好之间的依赖性，并且允许从对另一对臂的偏好中学习对一对臂的偏好。我们提出了一种算法，这种设置称为比较最好的（CTB），我们表明，具有恒定的预期累积弱效用为基础的遗憾。我们提供了一个贝叶斯解释CTB，实现适合于少量的武器，和一个替代的实现许多武器，可以使用时，输入参数满足分解条件。我们通过数值实验证明，CTB与适当的输入参数优于所有基准考虑。
2017-06-15 cs.LG
Latent Preference Bandits
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚尔斯基技术大学）；University of Gothenburg（哥德堡大学）
针对个性化决策中潜在赌博机假设过强的问题，提出仅需偏好排序模型的潜在偏好赌博机，并给出后验采样算法，在奖励尺度异质时表现更优。
2025-08-07 cs.LG
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
Adversarial Dueling Bandits
Indian Institute of Science（印度科学研究所）；Tel Aviv University（特拉维夫大学）；Google Tel Aviv（谷歌特拉维夫）
我们在对抗决斗强盗中引入了后悔最小化问题。正如在经典的决斗强盗，学习者必须反复选择一对项目，并观察只有一个相对的二进制的“赢-输”反馈这对，但在这里，这种反馈是从一个任意的偏好矩阵，可能选择对立。我们的主要结果是一个算法的$T$轮遗憾相比，\emph{Borda-winner}从一组$K$项目是$\tilde{O}(K^{1/3}T^{2/3})$，以及匹配的$Ω(K^{1/3}T^{2/3})$下界。我们还证明了类似的高概率后悔界。我们进一步考虑了一个更简单的\emph{fixed-gap}对抗设置，它在两个极端偏好反馈模型之间架起了桥梁：固定偏好和任意偏好序列。对于固定差距的对抗设置，我们给出了一个$\smash{ \tilde{O}((K/Δ^2)\log{T}) }$后悔算法，其中$Δ$是最好的项目和所有其他项目之间的Borda分数的差距，并显示了$Ω(K/Δ^2)$的下限，表明我们对主要问题参数$K$和$Δ$的依赖是紧密的（对数因子）。
2020-10-27 cs.LG stat.ML
DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
Harvard University（哈佛大学）；Texas A&M University（德克萨斯大学）；Stony Brook University（石溪大学）
本文针对 restless bandits 中奖励函数难以指定的问题，提出 Pref-RMAB 模型和 DOPL 算法，通过在线收集并直接利用成对偏好反馈进行决策，首次实现次线性遗憾并验证其有效性。
2025-07-16 cs.LG math.OC stat.ML
Incentivized Bandit Learning with Self-Reinforcing User Preferences
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊）
在本文中，我们研究了一个新的多臂强盗（MAB）在线学习模型，该模型考虑了许多推荐系统中的现实世界现象：（i）学习代理不能自己拉动手臂，因此必须向用户提供奖励以间接激励手臂拉动;以及（ii）如果具有特定手臂偏好的用户得到很好的奖励，它们会产生“自我强化”效应，因为它们会吸引更多具有类似武器偏好的使用者。除了解决勘探和开采的权衡问题外，这种新的MAB模式的另一个关键特征是平衡奖励和激励支付。代理的目标是在固定的时间范围$T$内以较低的总支付最大化总奖励。我们在本文中的贡献是两方面的：（i）我们提出了一个新的MAB模型与随机臂选择，考虑用户的自我增强的偏好和激励的关系;（ii）我们利用多色波利亚瓮与非线性反馈模型的属性，提出了两个MAB策略，称为“至少- $n$探索然后提交”和“UCB列表”。我们证明了这两个政策实现$O(log T)$预期的遗憾与$O(log T)$预期支付的时间跨度$T$。我们进行数值模拟来演示和验证这两种策略的性能，并研究它们在各种设置下的鲁棒性。
2021-05-31 cs.LG stat.ML
Leveraging the Power of Conversations: Optimal Key Term Selection in Conversational Contextual Bandits
The Chinese University of Hong Kong（香港中文大学）
针对对话式上下文Bandit中关键术语选择探索不足和对话发起规则僵化的问题，提出CLiSK、CLiME和CLiSK-ME三种算法，通过平滑上下文和自适应发起对话优化偏好学习，实现更紧的遗憾界并提升实际性能。
2025-05-27 cs.AI cs.LG
Dueling Bandits with Adversarial Sleeping
Microsoft Research（微软研究院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）
本文介绍了具有随机偏好和对抗可用性的睡眠决斗强盗问题（DB-SPAA）。在几乎所有的决斗强盗应用程序中，决策空间往往会随着时间的推移而变化;例如，零售商店管理，网上购物，餐厅推荐，搜索引擎优化等令人惊讶的是，决斗强盗的“睡眠方面”从未在文献中研究过。就像决斗的强盗一样，目标是通过顺序查询项目对的偏好反馈来与最好的手臂竞争。然而，非平凡性的结果是由于非稳定的项目空间，允许任何任意子集的项目在每一轮都不可用。我们的目标是找到一个最佳的“无遗憾”政策，可以确定最好的项目在每一轮，而不是标准的“固定的最佳武器遗憾目标”的决斗土匪。我们首先推导出DB-SPAA $Ω( \sum_{i =1}^{K-1}\sum_{j=i+1}^K \frac{\log T}{Δ(i,j)})$的特定于实例的下限，其中$K$是项目的数量，$Δ(i,j)$是项目$i$和$j$之间的间隙。这表明偏好反馈的睡眠问题本质上比经典的多臂强盗（MAB）更困难。然后，我们提出了两个算法，接近最佳的遗憾保证。我们的研究结果得到了实证证实。
2021-07-05 cs.AI cs.LG
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题，提出基于反馈增强的无模型改进框架，引入增强置信界整合反馈并分析权衡，原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Bandits with Single-Peaked Preferences and Limited Resources
Technion—Israel Institute of Technology（技术ion—以色列理工学院）
本文提出了一种基于单峰偏好的高效算法，用于解决带有有限资源的在线老虎机问题，实现了O~(UKT^{2/3})的后悔界。
2026-02-10 cs.AI cs.LG
Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校）；School of Artificial Intelligence and Data Science, University of International Business and Economics（国际商务经济大学人工智能与数据科学学院）
HyperBandit+通过整合时间感知超网络和LLM预热机制，提升流媒体推荐中对随时间变化用户偏好的适应能力。
2026-02-08 cs.LG
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
Selective Ensemble Based on Preference-Directed Multi-Objective Bandits
Department of Computer Science, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对有限评估预算下部分偏好指定的选择性集成问题，形式化为偏好导向多目标赌博机，提出PrefUCB算法，实现对数遗憾界，在预训练模型集成和资产分配中验证有效性。
2026-06-23 cs.LG
Exploiting Correlation to Achieve Faster Learning Rates in Low-Rank Preference Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
我们介绍了\emph{Correlated Preference Bandits}问题与随机效用为基础的选择模型（RUM），其目标是确定最好的项目从一个给定的池$n$项目通过在线subsetwise偏好反馈。我们研究了具有简单相关结构的模型，例如低秩模型，是否可以导致更快的学习率。虽然我们表明，这个问题可能是不可能解决的一般“低排名”的选择模型，更快的学习率可以达到假设更多的结构化项目的相关性。特别是，我们介绍了一类新的\emph{Block-Rank}基于RUM模型，其中最好的项目是$(ε,δ)$ -PAC学习只有$O(r ε^{-2} \log(n/δ))$的样本。这改进了通常学习算法已知的$\tilde{O}(nε^{-2} \log(1/δ))$的标准样本复杂度界限，通常学习算法可能不利用项目相关性（$r \ll n$）。我们补充了上述样本的复杂性与匹配的下限（对数因子），证明我们的分析的紧密性。令人惊讶的是，我们还显示了一个下界的$Ω(nε^{-2}\log(1/δ))$时，学习者被迫发挥只是决斗，而不是更大的subsetwise查询。此外，我们将结果扩展到更一般的“\emph{noisy Block-Rank}”模型，这确保了我们的技术的鲁棒性。总的来说，我们的研究结果证明了优势，发挥subsetwise查询成对的偏好$(k=2)$，我们证明了后者未能利用相关性。
2022-02-23 cs.AI cs.LG
Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests
Cornell University（康奈尔大学）；Alibaba Group（阿里巴巴集团）
研究了高度非平稳环境下的上下文强盗问题。由于用户兴趣的时变，上下文强盗问题在各种推荐系统中普遍存在。两个模型与不相交和混合支付被认为是表征的现象，用户对不同的项目的偏好不同，随着时间的推移。在不相交支付模型中，使用手臂的奖励由特定于手臂的偏好向量确定，该偏好向量是分段平稳的，不同手臂之间的变化是异步的和明显的。提出了一种有效的学习算法，是自适应的突然奖励的变化和理论的遗憾分析表明，一个次线性缩放的时间长度$T$的遗憾实现。该算法被进一步扩展到一个更一般的设置与混合的回报，其中的奖励，发挥手臂是由一个手臂特定的偏好向量和联合系数向量共享的所有武器。在真实世界的数据集上进行了实证实验，以验证所提出的学习算法在这两种设置下对基线的优势。
2020-02-29 cs.AI cs.LG stat.ML
LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing
本文将LLM选择建模为多臂老虎机问题，提出偏好条件动态路由机制，在推理时按用户偏好平衡准确性与成本，并能泛化到未见过的模型，实验证明其在不同平台上显著提升准确性和成本效益。
2025-02-04 cs.LG
Learning Equilibria in Matching Markets from Bandit Feedback
UC Berkeley（加州大学伯克利分校）
大规模的双边匹配平台必须找到符合用户偏好的市场结果，同时从数据中学习这些偏好。不幸的是，经典的稳定性概念（Gale和Shapley，1962; Shapley和Shubik，1971）在学习环境中的价值有限，因为偏好在学习过程中具有内在的不确定性和不稳定性。为了弥合这一差距，我们开发了一个框架和算法，用于在不确定性下学习稳定的市场结果。我们的主要设置是匹配可转移的公用事业，其中平台既匹配代理，又设置它们之间的货币转移。我们设计了一个激励意识的学习目标，捕捉市场结果从均衡的距离。使用这个目标，我们分析了学习的复杂性作为偏好结构的函数，铸造学习作为一个随机的多臂强盗问题。在数学上，我们表明，“乐观面对不确定性，”许多强盗算法的基本原则，适用于原始-对偶制定的匹配与转让，并导致接近最佳的遗憾界限。我们的工作迈出了第一步，阐明了稳定匹配何时以及如何在大型数据驱动的市场中出现。
2023-01-31 cs.GT cs.LG stat.ML
Competing Bandits in Matching Markets
University of California, Berkeley（加州大学伯克利分校）
稳定匹配是双边市场的经典模型，长期以来一直在研究，很少考虑各方的偏好是如何学习的。随着由数据驱动的匹配平台驱动的大规模在线市场的出现，有必要更好地理解学习和市场目标之间的相互作用。我们提出了一个统计学习模型，其中一方的市场没有先验知识，其偏好的另一方，并需要学习这些随机奖励。我们的模型扩展了标准的多武装土匪框架，以多个玩家，增加了武器对玩家的偏好。我们研究了集中和分散的方法来解决这个问题，并显示出令人惊讶的探索-开发权衡相比，单人多武装土匪设置。
2020-07-12 cs.GT cs.LG cs.MA
Hierarchical Conversational Preference Elicitation with Bandit Feedback
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
会话式推荐的最新进展提供了一种有前途的方式，有效地通过会话式交互来获取用户的偏好。为了实现这一点，推荐系统与用户进行对话，询问他们对不同项目或项目类别的偏好。现有的会话式推荐系统大多采用多臂的Bandit框架，以在线的方式学习用户的偏好。然而，它们依赖于预定义的对话频率来询问项目类别而不是单个项目，这可能导致损害用户体验的过度对话交互。为了使更灵活的提问关键词，我们制定了一个新的会话强盗问题，允许推荐系统选择一个关键词或一个项目，建议在每一轮和明确的模型奖励这些行动。这促使我们处理关键词询问和项目推荐之间的新的探索-利用（EE）权衡，这要求我们准确地建模关键词和项目奖励之间的关系。我们进行了一项调查，并分析了现实世界的数据集发现，与以往的工作中所作的假设，关键词奖励主要是由代表性项目的奖励影响。我们提出了两个强盗算法，Hier-UCB和Hier-LinUCB，利用这种观察到的关系和关键词和项目之间的层次结构，有效地学习哪些项目推荐。我们从理论上证明，我们的算法可以减少遗憾界的依赖项目的总数从以前的工作。我们验证了我们提出的算法和遗憾的合成和真实世界的数据。
2022-09-06 cs.IR cs.LG
Influencing Bandits: Arm Selection for Preference Shaping
IIT Bombay（印度理工学院孟买分校）
研究非平稳多臂老虎机中通过奖励反馈塑造群体偏好的问题，提出并分析 ETC 与 Thompson sampling 策略，并扩展到多观点和多推荐系统权衡场景。
2024-02-29 cs.AI cs.IR cs.LG
Bandit Learning with Positive Externalities
Stanford University（斯坦福大学）
在许多平台中，新用户呈现出一种自我强化的行为：未来的新用户可能会有与过去满意的用户相似的偏好。换句话说，抵达呈现出正外部性。研究了具有正外部性的多臂强盗问题。我们表明，自我强化的偏好可能会导致标准的基准算法，如UCB表现出线性遗憾。我们开发了一种新的算法，平衡探索（BE），仔细探索武器，以避免在收集足够的证据之前到达次优收敛。我们还介绍了一个自适应的变异BE，连续消除次优武器。我们分析了他们的渐近遗憾，并建立最优性表明，没有算法可以表现得更好。
2019-03-06 cs.LG stat.ML
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
Jump Start or False Start? A Theoretical and Empirical Evaluation of LLM-initialized Bandits
Queen’s University（女王大学）；RBC Borealis
本文研究LLM生成的偏好在存在噪声和系统性偏差时对多臂老虎机性能的影响，发现30%以内噪声下初始化有效，40%后效果下降，50%后性能劣化。系统性偏差下，LLM初始化可能比冷启动更差，通过理论分析得出LLM初始化优于冷启动的充分条件。
2026-04-02 cs.AI cs.LG
Time-Sensitive Bandit Learning and Satisficing Thompson Sampling
Northwestern University（西北大学）；Stanford University（斯坦福大学）
关于强盗学习和后悔分析的文献集中在目标是以限制探索成本的方式收敛于最优行动的背景下。这种取向的一个缺点是，它没有以连贯的方式对待时间偏好。当最佳行动相对于接近最佳行动而言学习成本较高时，时间偏好起着重要的作用。这种局限性不仅限制了理论结果的相关性，而且影响了算法的设计。事实上，汤普森抽样和UCB等流行方法在这种情况下可能表现不佳。在本文中，我们考虑折扣，而不是累积的遗憾，折扣因子编码的时间偏好。我们提出了满意的汤普森采样-汤普森采样的变化-并建立了一个强大的折扣遗憾界这个新的算法。
2017-04-28 cs.LG
Identifying Copeland Winners in Dueling Bandits with Indifferences
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对带无差异反馈的对决老虎机问题，给出了识别Copeland获胜者的样本复杂度下界，提出了接近该下界且性能优异的POCOWISTA算法，并针对满足随机传递性的场景给出了改进版本。
2023-10-01 cs.LG stat.ML
Jump Starting Bandits with LLM-Generated Prior Knowledge
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Borealis AI（北极星人工智能公司）
该研究提出利用大语言模型生成的人类偏好预训练数据集初始化上下文多臂老虎机的方法，有效降低在线学习遗憾值与数据收集成本，并通过两组实验验证了有效性。
2024-10-29 cs.AI cs.CL cs.LG
Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Imperial College London（伦敦帝国学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Google Research India（谷歌印度研究院）
本文提出以偏好度量（PM）为中心的老虎机框架，其最佳策略为混合多臂而非单臂，并设计了含估计与跟踪机制的后悔高效算法。
2025-04-30 cs.LG stat.ML
Dynamic Matching Bandit For Two-Sided Online Markets
University of California Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对双边在线市场中偏好随上下文动态变化的问题，提出动态匹配赌博机算法，通过在线估计偏好排序实现智能体最优稳定匹配，并证明对数遗憾界，实验验证其鲁棒性与实用性。
2024-05-29 cs.GT cs.LG cs.MA
FedConPE: Efficient Federated Conversational Bandits with Heterogeneous Clients
The Chinese University of Hong Kong（香港中文大学）
针对集中式对话推荐的隐私与效率问题，提出联邦阶段淘汰算法 FedConPE，通过自适应关键术语协调异构客户端，实现近最优遗憾、更低通信与对话开销。
2024-06-20 cs.AI cs.LG stat.ML
When and Whom to Collaborate with in a Changing Environment: A Collaborative Dynamic Bandit Solution
University of Virginia（弗吉尼亚大学）
合作式的强盗学习，即，利用协同过滤技术提高在线交互式推荐中样本效率的Bandit算法，因其两全其美而受到广泛关注。然而，所有现有的协作式强盗学习解决方案都强加了关于环境的静态假设，即，用户偏好和用户之间的依赖性都被假定为随时间是静态的。不幸的是，由于用户的兴趣和依赖关系不断变化，这一假设在实践中很难成立，这不可避免地使推荐系统在实践中的性能次优。在这项工作中，我们开发了一个协作的动态强盗解决方案，以处理不断变化的环境中的建议。我们明确地建模的用户偏好和他们的依赖关系作为一个随机过程的潜在变化。个体用户的偏好是由一个混合的全球共享的上下文强盗模型与狄利克雷过程先验。因此，用户之间的协作是通过全局强盗模型的贝叶斯推理来实现的。每个用户的模型选择和手臂选择通过汤普森采样来平衡开发和探索。我们的解决方案被证明是保持一个标准的$\tilde O(\sqrt{T})$次线性遗憾，即使在这样一个具有挑战性的环境。对合成和真实世界数据集的广泛实证评估进一步证实了对不断变化的环境建模的必要性以及我们的算法相对于几种最先进的在线学习解决方案的实用优势。
2021-04-14 cs.LG
Hierarchical Exploration for Accelerating Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；H. John Heinz III College, Carnegie Mellon University（卡内基梅隆大学H.约翰·海因茨三世学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
上下文强盗学习是一种越来越流行的通过用户反馈优化推荐系统的方法，但由于需要探索大的特征空间，在实践中收敛速度很慢。在本文中，我们提出了一个粗到细的分层方法编码先验知识，大大减少了所需的探索量。直观地，用户偏好可以合理地嵌入到可以有效探索的粗略低维特征空间中，仅在必要时才需要在高维空间中进行探索。我们引入了一个强盗算法，探讨在这个粗到细的频谱，并证明性能保证，这取决于如何以及粗糙的空间捕捉用户的喜好。我们证明了传统的强盗算法，通过广泛的模拟，以及在个性化的新闻推荐设置的现场用户研究的实质性改善。
2012-06-27 cs.LG stat.ML
Best-of-Both-Worlds Multi-Dueling Bandits: Unified Algorithms for Stochastic and Adversarial Preferences under Condorcet and Borda Objectives
本文提出了一种兼顾随机和对抗性环境的多对决老虎机统一算法，针对康多塞和波尔多目标，同时在无先验知识的情况下实现了最优性能。
2026-05-18 cs.LG
The Assistive Multi-Armed Bandit
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
在经济学和计算机科学中，人们所做的选择中隐含的学习偏好是一个得到充分研究的问题。然而，大多数工作都假设人类的行为（噪音）与他们的偏好有关。当人们自己了解他们想要什么时，这种方法可能会失败。在这项工作中，我们介绍了辅助多臂强盗，其中一个机器人协助人类玩强盗任务，以最大限度地提高累积奖励。在这个问题中，人类不知道奖励函数，但可以通过从手臂拉动中获得的奖励来学习它;机器人只观察人类拉动哪些手臂，但不观察与每次拉动相关的奖励。我们提供了充分和必要的条件，在这个框架内成功地帮助人类。令人惊讶的是，在孤立的情况下，更好的人类表现并不一定会在机器人的帮助下带来更好的表现：人类策略可以通过有效地将其观察到的奖励传达给机器人来做得更好。我们进行概念验证实验来支持这些结果。我们认为这项工作有助于人类与机器人交互算法背后的理论。
2019-01-24 cs.AI cs.LG stat.ML
Optimal and Efficient Dynamic Regret Algorithms for Non-Stationary Dueling Bandits
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
本文研究了非平稳或时变偏好下$K$武装决斗强盗中的\emph{dynamic regret minimization}问题。这是一个在线学习设置，其中代理在每一轮选择一对项目，并只观察这对项目的相对二进制“赢-输”反馈，从该轮的潜在偏好矩阵中采样。本文首先研究了对抗偏好序列的静态遗憾最小化问题，并设计了一个具有$O(\sqrt{KT})$高概率遗憾的有效算法。接下来，我们使用类似的算法思想，提出了一个有效的和可证明的最佳算法的动态遗憾最小化下的两个概念的非平稳性。特别是，我们建立$\tO(\sqrt{SKT})$和$\tO({V_T^{1/3}K^{1/3}T^{2/3}})$动态遗憾的保证，$S$是“有效开关”的总数量在潜在的偏好关系和$V_T$是衡量“连续变化”的非平稳性。这些问题的复杂性尚未研究之前，这项工作，尽管在现实世界中的系统的非平稳环境的实用性。我们证明了我们的算法的最优性，通过证明匹配的下界保证上述两个概念的非平稳性。最后，我们用大量的模拟来证实我们的结果，并比较我们的算法在最先进的基线上的有效性。
2022-06-12 cs.AI cs.LG
Decentralized Competing Bandits in Non-Stationary Matching Markets
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云科技人工智能）；UC Berkeley（加州大学伯克利分校）
了解双边在线匹配市场的复杂动态，需求方代理商竞争与供应方（武器）匹配，最近收到了很大的兴趣。为此，在本文中，我们介绍了非平稳（动态）环境下的分散双边匹配市场的框架。我们坚持串行独裁设置，需求方代理商有未知的和不同的偏好，供应方（武器），但武器有固定的和已知的偏好。我们提出并分析了一个分散和异步的学习算法，即分散的非平稳竞争土匪（\texttt{DNCB}），其中代理人发挥（限制性）连续消除型学习算法，以了解他们的偏好的武器。理解这样一个系统的复杂性源于这样一个事实，即竞争的强盗以异步的方式选择他们的行动，并且较低排名的代理只能从一组手臂中学习，而不是由较高排名的代理学习PDMATHAMN，这导致\emph{forced exploration}。仔细定义的复杂性参数，我们描述了这个\emph{forced exploration}，并获得次线性（对数）遗憾的\texttt{DNCB}。此外，我们通过实验验证了我们的理论研究结果。
2022-05-31 cs.IT cs.LG math.IT
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Adversarial Multi-dueling Bandits
Eindhoven University of Technology（埃因霍温理工大学）
本文提出对抗性多对决赌博机问题，并设计 MiDEX 算法，其遗憾上界为 O((K log K)^{1/3} T^{2/3})，下界为 Ω(K^{1/3} T^{2/3})，证明算法近乎最优。
2024-06-26 cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Competing Bandits in Time Varying Matching Markets
University of California, Irvine（加州大学欧文分校）；University of California, Berkeley（加州大学伯克利分校）
研究了双边非平稳匹配市场中的在线学习问题，目标是收敛到一个稳定的匹配。特别是，我们考虑的设置，其中一方的市场，武器，有固定的一套已知的偏好，在另一边，球员。虽然这个问题已经研究了当球员有固定的，但未知的偏好，在这项工作中，我们研究的问题是如何学习时，球员的偏好是随时间变化的和未知的。我们的贡献是一种方法，可以处理任何类型的偏好结构和变化的情况。我们表明，与所提出的算法，每个球员收到一个统一的子线性遗憾的{ $\widetilde{\mathcal{O}}(L^{1/2}_TT^{1/2})$ }的数量变化的代理，$L_T$的基本偏好。因此，我们表明，单智能体学习的最佳速率可以实现，尽管竞争的差异是一个恒定的因素。我们还讨论了该算法的扩展的情况下，变化的数量不需要已知的先验。
2023-01-12 cs.GT cs.LG cs.MA
