Sparse Dueling Bandits
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
决斗强盗问题是经典的多臂强盗问题的一种变体，其中允许的动作是两对手臂之间的噪声比较。本文重点介绍了一种新的方法，找到“最好的”手臂根据Borda标准使用噪声比较。我们证明，在没有结构性假设的情况下，这个问题的样本复杂性是成比例的总和的Borda分数的每个次优的手臂和最好的arm.We探索这种依赖进一步之间的差距平方反比，并考虑结构约束的成对比较矩阵（一种特殊形式的稀疏性自然这个问题），可以显着降低样本的复杂性。这激发了一种新的算法，称为连续消除与比较稀疏（SECS），利用稀疏找到Borda赢家使用更少的样本比标准算法。我们还评估了新算法的实验与合成和真实的数据。结果表明，稀疏模型和新的算法可以提供显着的改善标准的方法。
2015-01-31 cs.LG stat.ML
Quantile Multi-Armed Bandits with 1-bit Feedback
National University of Singapore（新加坡国立大学）
针对融合风险敏感性与通信约束的最优臂识别问题，提出基于噪声二分搜索的算法以1位反馈估计分位数奖励，推导样本复杂度的实例相关上界与算法无关下界，证明1位反馈对样本复杂度缩放影响极小。
2025-02-10 cs.IT cs.LG math.IT
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
在无限臂强盗问题中，每个臂的平均奖励从未知分布中采样，并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值，并提出了统一的Meta算法离线和在线设置，实现最佳的样本复杂性。我们表明，在线估计，学习者可以顺序选择是否采样一个新的或现有的手臂，提供了没有优势的离线设置估计的平均功能，但显着降低了其他功能，如中位数，最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下，我们确定了一个奇怪的阈值的现象，高斯卷积之间的不变性相对于噪声水平，这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎文理研究大学-巴黎多芬大学）；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Liverpool University（利物浦大学）
我们引入了一个新的图形双线性强盗问题的学习者（或\emph{central entity}）分配武器的节点图，并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题，其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状，我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是，我们表征的图形结构（如星，完整或圆）的收敛速度的影响，并提出实证实验，证实这种依赖。
2021-06-10 cs.LG
Multi-player Multi-armed Bandits with Collision-Dependent Reward Distributions
University of Virginia（弗吉尼亚大学）
研究了一个新的随机多人多臂强盗（MP-MAB）问题，在该问题中，如果碰撞发生在手臂上，则奖励分布发生变化，现有文献通常假设碰撞发生时参与者的奖励为零，但对于认知无线电等应用，更现实的情况是碰撞降低了平均奖励，但不一定为零.我们专注于更实际的无感知设置，玩家不直接感知冲突，并提出了纠错冲突通信（EC 3）算法，模型隐式通信作为一个可靠的通信噪声信道问题，其中随机编码错误指数是用来建立最佳遗憾，没有通信协议可以击败。最后，优化代码长度和解码出错率之间的折衷导致接近集中式MP-MAB遗憾的遗憾，其表示自然下限。在合成数据集和真实数据集上的实际纠错码实验证明了EC 3的优越性。特别是，研究结果表明，编码方案的选择对后悔性能有着深远的影响。
2021-06-25 cs.IT cs.LG eess.SP
Actuator Trajectory Planning for UAVs with Overhead Manipulator using Reinforcement Learning
Clemson University（克莱姆森大学）；Jiangxi University of Sci. & Tech.（江西理工大学）
本研究针对带两自由度顶部机械臂的无人机飞行操作任务，结合基于碰撞时间的运动规划模型与基于模型的Q-learning方法，实现鲁棒的末端执行器轨迹控制，在15000回合训练下达到92%的平均位移误差准确率，可适配多种高空危险环境作业任务。
2023-08-25 cs.LG cs.RO
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
A Complete Characterization of Learnability for Stochastic Noisy Bandits
Purdue University（普渡大学）
该研究针对随机噪声老虎机问题，首次证明带任意噪声的模型类可学习性可判定，完整刻画其可学习性与最优查询复杂度范围，提出DEC新变体以刻画该场景可学习性。
2025-01-17 cs.AI cs.LG stat.ML
Approximate Function Evaluation via Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究了一个已知的光滑函数$f$在一个未知点$\boldsymbolμ \in \mathbb{R}^n$的值的估计问题，其中每个组件$μ_i$可以通过一个嘈杂的预言采样。更频繁地对与具有较大方向导数的函数的方向相对应的$\boldsymbolμ$的分量进行采样更有采样效率。然而，由于$\boldsymbolμ$是未知的，最佳采样频率也是未知的。我们设计了一个实例自适应算法，该算法根据每个坐标的重要性学习采样，并且概率至少$1-δ$返回$f(\boldsymbolμ)$的$ε$准确估计。我们推广我们的算法，以适应异方差噪声，并证明渐近最优性时，$f$是线性的。我们证实了我们的理论结果与数值实验，显示了戏剧性的收益所提供的自适应。
2022-03-18 cs.LG
Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的类型的收购功能，在线决策的多臂和上下文的强盗问题的极端收益。具体而言，我们将收益函数建模为高斯过程，并制定了一种新型的置信上限（UCB）获取函数，该函数根据观察到的奖励的变化性指导对被认为最相关的土匪的探索。这是通过计算一个易于处理的似然比来实现的，该似然比量化了输出相对于输入的重要性，并且本质上充当了促进对极端奖励的探索的\textit{attention mechanism}。我们展示了所提出的方法在几个合成基准的好处，以及一个现实的例子，涉及嘈杂的传感器网络数据。最后，我们提供了一个JAX库，用于使用高斯过程进行有效的bandit优化。
2021-10-08 cs.LG stat.ML
Asymptotic Allocation Rules for a Class of Dynamic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；University of Peradeniya（佩拉德尼亚大学）
本文提出了一类动态多臂强盗问题，其中报酬可以建模为满足一定有界性约束的时变线性随机动态系统的噪声输出。该类允许在一个单一的框架中考虑许多看似不同的问题，这些问题具有随时间变化的选项特性。它还为考虑许多具有实际重要性的新问题提供了可能性。例如，它提供了一个无缝的方式，同时考虑时间选项的不可用性和选项之间的依赖性与时变的选项特性。我们表明，对于这类问题，任何上界置信度类型的算法与任何有效的奖励估计的预期回报相结合，确保对数边界的预期累积遗憾。我们展示了一个新的例子的实际利益的明确考虑的方法的多功能性。
2017-10-07 cs.LG
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong（香港城市大学）；Northwest Polytechnical University（西北工业大学）
该研究针对多目标老虎机场景，提出少对多最优臂识别问题，设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法，证明其样本复杂度保证，通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
The multi-armed bandit problem with covariates
Université Paris Diderot（巴黎第七大学）；Princeton University（普林斯顿大学）
我们考虑一个多臂强盗问题的设置，每个手臂产生一个嘈杂的奖励实现依赖于一个可观察的随机协变量。与传统的静态多臂强盗问题相反，这种设置允许动态改变奖励，从而更好地描述边信息可用的应用。我们采用了一个非参数模型，其中预期的回报是协变量的光滑函数，并且问题的难度由保证金参数捕获。为了最大限度地提高预期的累积奖励，我们引入了一个政策，称为自适应装箱逐次淘汰（abse），自适应分解成适当的“本地化”的静态强盗问题的全球性问题。该策略使用连续消除（SE）策略的变体来构造自适应分区。我们的结果包括更清晰的遗憾界的se政策在一个静态的强盗问题和minimax最优遗憾界的abse政策在动态的问题。
2013-05-24 cs.LG math.ST stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University（耶鲁大学）
研究固定预算最佳臂识别问题，对比算法与静态预言机，证明对于任意\(K\geq3\)及特定奖励，任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍，回答了相关开放问题。
2026-07-14 cs.LG stat.ML
Measuring information transfer in a soft robotic arm
The Hakubi Center for Advanced Research, Kyoto University（京都大学白眉高级研究中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Department of Informatics, University of Zurich（苏黎世大学信息学系）
软体机器人通过将控制部分外包给其软体的形态和材料特性，可以在简单的驱动类型下表现出多样化的行为，这是由于控制、身体和环境之间的紧密耦合。在本文中，我们提出了一种方法，将定量表征这些不同的时空动态的软体的基础上的信息理论的方法。特别地，软体具有通过整个身体传播致动效果的能力，由于它们的弹性，具有一定的时间延迟。我们的目标是捕捉这种延迟的互动定量的方式的基础上，称为瞬时信息传输的措施。我们将此措施扩展到软机器人应用程序，并使用章鱼启发的物理软机器人平台展示其功能。我们的方法可以从两个方面说明。首先，我们统计特征的延迟驱动传播通过身体作为一个强度的信息传递。其次，我们直接将这种信息传播捕获为局部信息动态。因此，我们表明，我们的方法可以成功地表征软机器人平台的时空动力学，明确可视化信息如何通过整个身体传输延迟。我们的方法的进一步扩展方案进行了讨论，软机器人的应用一般。
2014-07-15 cs.IT cs.RO math.IT
Greedy k-Center from Noisy Distance Samples
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文研究了度量空间中顶点集上的典型k-中心问题的一个变形，其中基本距离是先验未知的。相反，我们可以查询一个oracle，它提供了任何一对顶点之间距离的噪声/不完整估计。我们考虑两种Oracle模型：维度采样，其中对oracle的每个查询返回一维中一对点之间的距离;以及噪声距离采样，其中oracle返回被噪声破坏的真实距离。我们提出了主动算法，基于思想，如UCB，汤普森采样和跟踪和停止开发的密切相关的多臂强盗问题，自适应地决定哪些查询发送到甲骨文，并能够解决的k-中心问题的近似比内的两个高概率。我们分析了我们算法的实例相关查询复杂性，并通过对两个真实数据集（Tiny ImageNet和UT Zappos 50 K）的数值评估，证明了对朴素实现的显着改进。
2022-04-04 cs.DS cs.LG stat.ML
Query-Efficient Correlation Clustering with Noisy Oracle
CENTAI Institute（CENTAI研究所）；Eurecat（欧雷特卡特研究中心）；Microsoft Research（微软研究院）
针对相似度计算成本高且带噪的聚类场景，研究者基于组合多臂老虎机纯探索范式提出两种在线学习问题构造，设计了结合采样策略与经典相关聚类近似算法的方案，首次给出底层问题为NP难的该类场景多项式时间算法。
2024-11-03 cs.DS cs.LG stat.ML
Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners
Indian Institute of Science（印度科学学院）；Technion, Israel Institute of Technology（以色列理工学院）
研究了线性参数化多臂强盗的最佳臂识别问题。给定一组特征向量$\mathcal{X}\subset\mathbb{R}^d,$、置信参数$δ$和未知向量$θ^*,$，目标是识别$\arg\max_{x\in\mathcal{X}}x^Tθ^*$，概率至少为$1-δ,$，使用$x^Tθ^*.$形式的噪声测量。对于此固定置信度（$δ$ -PAC）设置，我们提出了一种明确可实现且可证明的阶数最优样本复杂度算法来解决此问题。以前的方法依赖于访问极大极小优化预言机。该算法，我们称之为\textit{Phased Elimination Linear Exploration Game}（PELEG），保持一个高概率的信心椭圆包含$θ^*$在每一轮，并使用它来消除次优武器的阶段。PELEG实现了沿着最令人困惑的（即，接近，但不是最佳的）方向，通过解释问题作为两个玩家零和游戏，并使用低后悔学习器计算玩家的策略，在每一轮顺序收敛到它的鞍点。我们分析了PELEG的样本复杂性，并表明它匹配，为了，在线性强盗设置样本复杂性的实例相关的下界。我们还提供了数值计算结果，该算法符合其理论保证。
2020-06-13 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
Structured Best Arm Identification with Fixed Confidence
University of Alberta（阿尔伯塔大学）
我们研究的问题，确定最好的行动之间的一组可能的选项时，每个动作的值是由一个映射从一些嘈杂的微观可观的所谓的固定置信度设置。我们的主要动机是应用于极大极小博弈搜索，这一直是人工智能的一个主要兴趣话题。在本文中，我们引入了一个抽象的设置，清楚地描述了问题的基本属性。虽然以前的工作只考虑了一个两步游戏树搜索问题，我们的抽象设置可以应用到一般的极大极小游戏的深度可以是不均匀的和任意的，并允许换位。我们介绍了一种新的算法（LUCB-micro）的抽象设置，并给出其上，下样本复杂度的结果。我们的边界恢复了以前的一些结果，这些结果只适用于更有限的设置，同时它们也进一步阐明了极大极小问题的结构如何影响样本复杂性。
2017-06-19 cs.AI cs.LG
Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles
KAIST（韩国科学技术院）；Centrale-Supelec（中央高等电力学院）
针对带噪声与缺失的特征下的上下文线性老虎机问题，分析贝叶斯预言机的偏差特性，提出逼近贝叶斯预言机的算法，在多臂场景下达到$\tilde{O}(d\sqrt{T})$遗憾界，并通过合成与真实数据集验证。
2024-10-10 cs.AI cs.LG stat.ML
Selective Sampling for Online Best-arm Identification
University of Washington（华盛顿大学）
本文研究了最佳臂识别的选择性抽样问题。给定一组潜在选项$\mathcal{Z}\subset\mathbb{R}^d$，学习者的目标是以大于$1-δ$的概率进行计算，其中$θ_{\ast}$是未知的$\arg\max_{z\in \mathcal{Z}} z^{\top}θ_{\ast}$。在每个时间步，潜在的测量$x_t\in \mathcal{X}\subset\mathbb{R}^d$被绘制IID，并且学习者可以选择进行测量，在这种情况下，他们观察到$x^{\top}θ_{\ast}$的噪声测量，或者放弃进行测量并等待可能更多信息的点到达流中。因此，学习者面临着一个基本的权衡之间的标记样本的数量，他们采取和当他们已经收集了足够的证据，宣布最好的手臂和停止采样。这项工作的主要结果精确地描述了标记样本和停止时间之间的权衡，并提供了一种算法，该算法在给定期望的停止时间的情况下几乎最优地实现了最小的标签复杂度。此外，我们表明，最佳决策规则有一个简单的几何形式的基础上，决定一个点是否在一个椭圆或没有。最后，我们的框架是一般性的，足以捕捉二进制分类改进以前的作品。
2021-11-02 cs.LG
Sample Efficient Graph-Based Optimization with Noisy Observations
Queensland University of Technology（昆士兰科技大学）；Stanford University（斯坦福大学）；Adobe Research（奥多比研究中心）；Google Research（谷歌研究中心）
我们研究样本复杂性优化“爬山友好”功能定义在一个图上的噪声观测。我们定义了一个概念的凸性，我们表明，一个变种的最佳臂识别可以找到一个接近最优的解决方案后，少量的查询，是独立的图的大小。对于具有局部极小值和近凸的函数，我们展示了噪声观测下经典模拟退火的样本复杂性。我们证明了贪心算法的有效性与重新启动和模拟退火的问题，基于图的最近邻分类以及Web文档重新排名的应用。
2020-06-04 cs.LG stat.ML
Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
大多数成功的机器人操作已被限制在单臂夹持机器人，其灵活性低，限制了范围内的可解决的任务，拾取和放置，插入，和对象的重排。更复杂的任务，如装配，需要双臂和多臂平台，但也带来了一系列独特的挑战，如双臂协调和避免碰撞，稳健的抓取和长期规划。在这项工作中，我们研究了在模拟中训练深度强化学习（RL）策略并将其转移到现实世界（Sim 2 Real）的可行性，作为一种通用方法，用于获得真实世界双手动机器人操作任务的性能控制器。作为双手操作的试验平台，我们开发了U型磁块装配任务，其中两个机器人具有平行的夹具必须连接3个磁块形成U形。没有手动设计的控制器，也没有人的演示，我们证明，通过仔细的Sim 2 Real考虑，我们的策略在仿真中使用RL训练，使两个xArm 6机器人能够解决U形装配任务，在仿真中的成功率超过90%，在真实硬件上的成功率为50%，而无需任何额外的真实世界的微调。通过仔细的消融，我们强调了系统的每个组成部分是如何对这种简单而成功的策略学习和转移至关重要的，包括任务规范，学习算法，直接关节空间控制，行为约束，感知和驱动噪声，动作延迟和动作插值。我们的研究结果为真实硬件上的双臂能力向前迈出了重要的一步，我们希望我们的系统可以激发未来对双手动策略的深度RL和Sim 2 Real传输的研究，大幅提升现实世界机器人操作器的能力。
2023-03-27 cs.AI cs.LG cs.RO
Annealed Softmax Greedy in Many-Armed Bayesian Bandits
Stanford University（斯坦福大学）
本文研究退火Softmax贪婪算法在多臂贝叶斯伯努利老虎机中的贝叶斯遗憾，证明在先验满足线性上尾条件（β=1的β正则性）时，算法达到接近最优的贝叶斯遗憾率，并与RLVR方法形成结构类比。
2026-08-18 cs.AI cs.LG
Genetic multi-armed bandits: a reinforcement learning approach for discrete optimization via simulation
University of Augsburg（奥格斯堡大学）
本文提出了一种新的算法，称为GMAB，结合了多武装匪徒的强化学习域的概念和随机搜索策略域的遗传算法，通过模拟来解决离散随机优化问题。特别是，重点是嘈杂的大规模问题，这往往涉及众多的维度以及多个局部最优。我们的目标是结合属性的多武装匪徒，以应付挥发性的模拟观测的能力，遗传算法处理高维的解决方案空间伴随着大量的可行的解决方案。为此，多臂强盗框架作为基础，其中每个观察到的模拟被纳入GMAB的内存。基于这种记忆，遗传算子指导搜索，因为它们为探索和开发提供了强大的工具。实证结果表明，GMAB实现了优越的性能相比，从文献中的基准算法在各种各样的测试问题。在所有的实验中，GMAB需要相当少的模拟，以实现类似的或（远）更好的解决方案比现有的方法产生的。同时，GMAB在所需运行时方面的开销非常小，这是因为建议了基于树的内存实现。此外，我们证明了它的收敛到全局最优的模拟努力去无穷大。
2023-02-15 cs.AI cs.LG cs.NE
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
The Sampling Complexity of Condorcet Winner Identification in Dueling Bandits
UM6P College of Computing INRAE, MISTEA, Institut Agro, Univ. Rabat, Morocco Montpellier（UM6P计算学院 INRAE MISTEA 研究院 阿尔及利亚拉巴特大学 摩洛哥蒙彼利埃）；INRAE, MISTEA, Institut Agro, Univ Montpellier（INRAE MISTEA 研究院 阿尔及利亚蒙彼利埃大学）
研究在随机对抗性老虎机中识别科恩茨胜利者的问题，提出利用完整的差距矩阵而非仅胜利者与其他臂的差距的新方法，并提供改进的样本复杂性保证和新的下界。
2026-11-11 cs.LG stat.ML
Simple Bayesian Algorithms for Best Arm Identification
本文考虑了测量工作量的最优自适应分配，以确定有限的选项或设计集合中的最佳选项或设计。实验者依次选择设计来测量并观察其质量的噪声信号，目的是在少量测量后自信地识别最佳设计。本文提出了三个简单而直观的贝叶斯算法自适应分配测量工作，并形式化的意义上说，这些看似天真的规则是最好的可能。一个建议是前两个概率抽样，它计算两个设计的最高后验概率是最佳的，然后随机选择这两个。一种是前两个抽样的变体，它不仅考虑设计是最优的概率，而且考虑其质量超过其他设计的预期量。最后的算法是一个修改版本的汤普森采样，是专为确定最佳的设计。我们证明了这些简单的算法满足尖锐的最优性属性。在设计的真实质量是固定的频率论设置中，人们希望后验确定地识别最优设计，在这个意义上，分配给其他一些设计是最优的事件的后验概率随着测量的收集而收敛到零。我们证明了在所提出的算法下，这种收敛以指数速率发生，并且相应的指数是所有分配中最好的
2018-06-08 cs.LG
Distributed Optimization via Kernelized Multi-armed Bandits
Purdue University（普渡大学）
本文将异构奖励下的分布式优化建模为多智能体核化多臂赌博机，提出保护隐私的去中心化 MA-IGP-UCB，并以延迟更新和更多通信为代价给出降低智能体数量依赖的 MAD-IGP-UCB。
2023-12-07 cs.LG cs.MA math.OC
Correlational Dueling Bandits with Application to Clinical Treatment in Large Decision Spaces
California Institute of Technology（加州理工学院）
我们考虑顺序决策的不确定性，其目标是优化一个大的决策空间，使用嘈杂的比较反馈。这个问题可以用公式表示为$K$ -武装决斗强盗问题，其中$K$是决策的总数。当$K$很大时，现有的决斗强盗算法在收敛到最优手臂之前会遭受巨大的累积遗憾。我们的问题是由一个临床决策过程中的大决策空间。我们提出了一个有效的算法CorrDuel优化探索/开发权衡在这个大的决策空间的临床治疗。更广泛地说，我们的方法可以应用于其他顺序决策问题与大型和结构化的决策空间。我们得出遗憾的界限，并在模拟实验中，以及对治疗性脊髓刺激的现场临床试验的性能进行评估。据我们所知，这标志着第一次将在线学习算法应用于脊髓损伤治疗。我们的实验结果表明，我们的方法的有效性和效率。
2017-07-08 cs.LG
Thompson Sampling in Partially Observable Contextual Bandits
University of Georgia（佐治亚大学）；Southern Methodist University（南卫理公会大学）
研究部分可观测上下文赌博机中的决策问题，提出Thompson Sampling策略平衡探索与利用，通过新鞅技巧和浓度不等式建立多对数regret界限，并验证其有效性。
2024-02-15 cs.LG stat.ML
Neural Dueling Bandits: Preference-Based Optimization with Human Feedback
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对现有情境对决老虎机算法假设奖励函数线性的局限，提出基于神经网络估计非线性奖励函数的上置信界和汤普森采样算法，实现次线性遗憾并扩展到二元反馈情境，实验验证有效性。
2025-04-16 cs.AI cs.LG stat.ML
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Batched Dueling Bandits
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
$K$ -武装决斗强盗问题，其中的反馈是在噪声成对比较的形式，已被广泛研究。以前的工作只集中在顺序设置的政策适应后，每次比较。然而，在诸如搜索排名和推荐系统的许多应用中，优选地在有限数量的并行批次中执行比较。研究了批量$K$ -武装决斗强盗问题在两种标准条件下的解：（i）Condorcet获胜者的存在性，（ii）强随机传递性和随机三角不等式.对于这两种设置，我们获得的算法与批次和遗憾的数量之间的平滑权衡。我们的遗憾边界匹配最知名的顺序遗憾边界（多对数因子），只使用对数数量的批次。我们用一个几乎匹配的下限来补充我们的遗憾分析。最后，我们还验证了我们的理论结果，通过实验的合成和真实数据。
2022-02-22 cs.LG stat.ML
Stochastic Contextual Dueling Bandits under Linear Stochastic Transitivity Models
LMU Munich（慕尼黑大学）；Microsoft Research（微软研究院）
我们考虑了带有上下文信息的决斗强盗问题中的后悔最小化问题。在顺序决策问题的每一轮中，学习者根据上下文选择两个选择方案（武器）进行相互比较，并以嘈杂的偏好信息的形式接收反馈。我们假设的反馈过程是由一个线性随机传递性模型与上下文的效用（CoLST），和学习者的任务是包括最好的手臂（具有最高的潜在的上下文相关的效用）的决斗。我们提出了一个计算效率高的算法，$\texttt{CoLSTIM}$，它使其选择的基础上模仿的反馈过程中使用扰动的上下文相关的效用估计的基础CoLST模型。如果每个手臂都与一个$d$维特征向量相关联，我们表明，$\texttt{CoLSTIM}$实现了$T$学习轮后，为了$\tilde O( \sqrt{dT})$遗憾。此外，我们还建立了$\texttt{CoLSTIM}$的最优性，显示了一个下界的弱遗憾，细化现有的平均遗憾分析。我们的实验证明了它的优越性，在特殊情况下的CoLST模型的最先进的算法。
2022-10-13 cs.LG stat.ML
Federated Combinatorial Multi-Agent Multi-Armed Bandits
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Purdue University（普渡大学）
论文提出面向老虎机反馈在线组合优化的联邦多智能体框架，可将离线 $(α-ε)$-近似算法转化为低遗憾、通信高效且随智能体数线性加速的在线算法。
2024-05-09 cs.AI cs.DM cs.LG
Complexity of Round-Robin Allocation with Potentially Noisy Queries
本文研究轮询分配算法的复杂度，给出最坏与随机偏好下的运行时间界限，证明比较查询下界，并扩展至噪声查询模型。
2024-04-30 cs.CC cs.GT cs.IT
