Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗，我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界，其中$d$是特征维数，$K$是回合数，$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限，它只与方差和维数成比例，但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时，这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP，我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界，其中$d$是基础模型的数量，$K$是情节的数量，$H$是规划范围。这是第一个遗憾的界限，只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置，从而\emph{exponentially improving}现有的结果，并解决了一个开放的问题，在\citep{zhou2020nearly}。我们开发了三个技术思想，可能是独立的兴趣：1）应用剥离技术的输入范数和方差大小，2）基于递归的估计方差，和3）一个新的凸势引理，推广了种子椭圆势…
2021-10-29 cs.LG
Risk-sensitive Bandits: Arm Mixture Optimality and Regret-efficient Algorithms
Google DeepMind（谷歌DeepMind）
本文提出风险敏感赌博机通用框架，揭示最优策略常需混合多个臂而非选择单一臂，并设计遗憾高效算法以准确跟踪最优臂混合或单独臂，实现 $O((\log T/T)^ν)$ 的遗憾界。
2025-03-11 cs.LG stat.ML
Non-Stationary Latent Bandits
Google Research（谷歌研究院）
推荐系统的用户经常表现在一个非固定的方式，由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中，我们提出了一个实用的方法，快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗，其中用户行为的原型模型是离线学习的，用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪，分析他们，并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合，这些模型可能会被错误指定，然后使用后验采样在线微调。通过这种方式，我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability
Aalto University（阿尔托大学）
本文针对潜在上下文赌博机在协变量偏移下的迁移学习问题，利用因果可迁移性理论设计算法，避免负迁移，并通过变分自编码器处理高维代理，实验证明其学习效率优于基线。
2025-02-27 cs.LG
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）；Ads Online Experimentation（广告在线实验部）；Central Applied Science（应用科学中央研究所）
针对奖励依赖于未观测马尔可夫状态的赌博机问题，提出基于LinUCB的自适应算法，通过滞后动作-奖励对和探针指纹两种摘要来区分状态，并采用残差、边际和过时测试动态更新指纹，在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Identifiable Latent Bandits: Leveraging observational data for personalized decision-making
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle（睡眠周期）
本文提出一种可识别的潜在老虎机框架，通过学习历史决策和结果来实现更高效的探索和个性化决策，优于传统老虎机。
2026-05-11 cs.LG stat.ML
Latent Bandits Revisited
Google Research（谷歌研究院）
一个潜在的强盗问题是一个学习代理知道的手臂奖励分布的条件下，一个未知的离散的潜在状态。智能体的主要目标是识别潜在状态，之后它可以采取最佳行动。这种设置是在线和离线学习之间的自然中点-复杂的模型可以离线学习，代理在线识别潜在状态-在推荐系统中具有实际意义。在这项工作中，我们提出了一般的算法，这种设置的基础上，置信上限（UCB）和汤普森采样。我们的方法是上下文和模型的不确定性和错误的意识。我们提供了一个统一的理论分析，我们的算法，它有较低的遗憾比经典的强盗政策时，潜在状态的数量小于行动。一个全面的实证研究展示了我们的方法的优势。
2020-06-15 cs.AI cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题，提出LARL算法，通过隐式预测潜在自回归状态形成奖励预测，近似稳态卡尔曼滤波，实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Challenges and Solutions for Bandits in the Wild: Warm-Started Mixture Bandits for Cross-Cohort Slate Recommendation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU（莱茵兰-普法尔茨州凯泽斯劳滕-兰道工业大学（RPTU））；LMU（慕尼黑大学（LMU））
针对推荐系统冷启动队列的挑战，提出热启动混合老虎机CohortMix-TS，利用跨队列迁移和库存感知榜单构建，提升早期推荐质量并防止物品耗尽，经模拟和野外部署验证有效。
2026-09-30 cs.AI cs.LG
Leveraging Offline Data in Linear Latent Contextual Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对线性潜在上下文老虎机场景，提出带可证明保证的离线低秩子空间学习算法及两种加速在线学习的在线算法，证明极小极大最优性，经实验验证有效，并确立模型通用性。
2025-09-02 cs.AI cs.LG stat.ML
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
在生成模型选择中，混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率，挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对生成模型选择仅考虑单模型的局限，本研究将最优混合模型选择建模为多臂老虎机问题，提出Mixture-UCB算法，可高效找到优于单个模型的生成模型最优混合体，并验证了其在文本、图像生成任务中的有效性。
2025-03-22 cs.LG stat.ML
Block Optimism for Nonstationary Bandits with Latent Linear Dynamics
Seoul National University（首尔国立大学）
针对具有潜在线性动力学的非平稳赌博机，提出基于循环近似和UCB的块级乐观算法，将遗憾从$\tilde{O}(T^{2/3})$改进至$\tilde{O}(\sqrt T)$。
2026-10-02 cs.LG stat.ML
Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Imperial College London（伦敦帝国学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Google Research India（谷歌印度研究院）
本文提出以偏好度量（PM）为中心的老虎机框架，其最佳策略为混合多臂而非单臂，并设计了含估计与跟踪机制的后悔高效算法。
2025-04-30 cs.LG stat.ML
Optimal Algorithms for Latent Bandits with Cluster Structure
Google Research（谷歌研究院）
本文针对多用户潜在簇结构老虎机问题提出 LATTICE 算法，通过矩阵补全同时利用簇内臂信息并聚类用户，首次在簇数为常数级时实现极小极大最优遗憾，且计算高效。
2023-07-11 cs.LG stat.ML
Improving Generalization in Meta-RL with Imaginary Tasks from Latent Dynamics Mixture
KAIST（韩国科学技术院）
大多数Meta强化学习（meta-RL）方法的泛化能力在很大程度上限于从用于对训练任务进行采样的相同分布中采样的测试任务。为了克服这一局限性，我们提出了潜在动力学混合（LDM），训练一个强化学习代理与虚拟任务产生的混合物学习的潜在动力学。通过在混合任务和原始训练任务上训练策略，LDM允许代理在训练期间为看不见的测试任务做准备，并防止代理过度拟合训练任务。LDM在网格世界导航和MuJoCo任务的测试返回中显着优于标准的元RL方法，其中我们严格分离了训练任务分布和测试任务分布。
2022-01-18 cs.LG
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习，提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法，得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
A Direct Approach for Handling Contextual Bandits with Latent State Dynamics
本文提出一种直接方法处理隐马尔可夫链驱动的线性上下文赌博机，通过简化模型归约到标准线性上下文赌博机，并扩展理论分析以考虑HMM参数估计，同时针对更复杂的隐状态依赖模型引入周期性参数更新算法。
2026-06-01 cs.LG stat.ML
High-Dimensional Linear Bandits under Stochastic Latent Heterogeneity
Stern School of Business, New York University（纽约大学 Stern 学校）
针对在线决策中随机潜在异质性挑战，提出潜在异质性老虎机框架与分阶段EM-贪婪算法，联合学习高维潜在群体概率和奖励参数，揭示随机潜在子群体决策的不可约分类不确定性并建立遗憾界，为补救提供方向。
2025-11-14 cs.LG stat.ME stat.ML
Co-Exploration and Co-Exploitation via Shared Structure in Multi-Task Bandits
本文提出了一种基于共享结构的多任务老虎机方法，通过联合探索和利用潜在依赖性，提升在不完全上下文和模型不规范情况下的性能。
2025-12-14 cs.AI cs.LG
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
ContextWIN: Whittle Index Based Mixture-of-Experts Neural Model For Restless Bandits Via Deep RL
New York University（纽约大学）
本研究提出ContextWIN架构，通过在强化学习框架中集成混合专家机制扩展NeurWIN模型，利用上下文信息为NeurWIN网络子集分配特定权重，提高了RMAB问题中Whittle指数计算的效率和准确性，并严格证明了模型的收敛性。
2024-10-13 cs.IR cs.LG stat.ML
Contextual Bandits with Latent Confounders: An NMF Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于NMF的ε-贪心算法，通过低维结构学习与最优臂选择平衡，实现在线矩阵补全的 regret 保障，适用于高维数据场景。
2016-10-27 cs.LG cs.SY eess.SY
Beyond Random Noise: Insights on Anonymization Strategies from a Latent Bandit Study
Blekinge Institute of Technology（布莱金厄理工学院）
本文在潜在老虎机推荐场景下模拟链接攻击，比较噪声注入与多种聚合策略，发现单独使用Laplace噪声效果最差，而结合聚类平均等策略可更好权衡隐私与推荐遗憾。
2023-09-30 cs.AI cs.LG
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models
University of California, San Diego（加州大学圣迭戈分校）
提出贝叶斯流形课程（BMC）框架，将问题采样建模为流形结构赌博机问题，通过层次任务树和贝叶斯学习引导采样，平衡学习信号、多样性和实用性。
2026-06-19 cs.AI cs.CL cs.LG
An Information-Theoretic Analysis of Nonstationary Bandit Learning
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
本文采用信息论方法分析非平稳老虎机学习，以最优动作过程的熵率界定每期遗憾，并通过信息比率反映问题结构。
2023-12-23 cs.IT cs.LG math.IT
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University（湾大大学）；Fuzhou University（福州大学）
该研究针对拟阵约束下的对抗博弈子模极大化问题，提出基于平衡分数交换的多项式时间算法，实现次线性regret，是该方向首个此类算法。
2026-08-26 cs.LG
When and Whom to Collaborate with in a Changing Environment: A Collaborative Dynamic Bandit Solution
University of Virginia（弗吉尼亚大学）
合作式的强盗学习，即，利用协同过滤技术提高在线交互式推荐中样本效率的Bandit算法，因其两全其美而受到广泛关注。然而，所有现有的协作式强盗学习解决方案都强加了关于环境的静态假设，即，用户偏好和用户之间的依赖性都被假定为随时间是静态的。不幸的是，由于用户的兴趣和依赖关系不断变化，这一假设在实践中很难成立，这不可避免地使推荐系统在实践中的性能次优。在这项工作中，我们开发了一个协作的动态强盗解决方案，以处理不断变化的环境中的建议。我们明确地建模的用户偏好和他们的依赖关系作为一个随机过程的潜在变化。个体用户的偏好是由一个混合的全球共享的上下文强盗模型与狄利克雷过程先验。因此，用户之间的协作是通过全局强盗模型的贝叶斯推理来实现的。每个用户的模型选择和手臂选择通过汤普森采样来平衡开发和探索。我们的解决方案被证明是保持一个标准的$\tilde O(\sqrt{T})$次线性遗憾，即使在这样一个具有挑战性的环境。对合成和真实世界数据集的广泛实证评估进一步证实了对不断变化的环境建模的必要性以及我们的算法相对于几种最先进的在线学习解决方案的实用优势。
2021-04-14 cs.LG
Partial Structure Discovery is Sufficient for No-regret Learning in Causal Bandits
Purdue University（普渡大学）；School of Electrical Computer Engineering（电气与计算机工程学院）
针对因果图未知且含潜在混淆变量的因果老虎机问题，本文刻画了必要且充分的潜在混淆变量，提出两阶段算法，先学习祖先子图构建最优臂集，再用UCB算法，实现次线性遗憾。
2024-11-06 cs.LG stat.ML
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；DeepMind；Duke University（杜克大学）；Norwegian University of Science and Technology（挪威科技大学）
我们提出了一个新的框架结构化土匪，我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动，潜变量和观察，从而统一和扩展了许多现有的模型，如组合半土匪，级联土匪，低秩土匪。我们开发了新的在线学习算法，学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动，我们从模型参数的后验中采样，然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题，并表明，他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Causal Bandit Over Unknown Graphs: Upper Confidence Bounds With Backdoor Adjustment
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究了在未知因果图下的因果投递问题，提出BA-UCB算法，通过结合观测和实验数据识别后门调整集，改进累积遗憾的上界并降低对干预臂数量的依赖。
2026-04-03 cs.LG stat.ME
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Leveraging Similarities in Multi-Armed Bandits
Inria（法国国家信息与自动化技术研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔研究所）；LJK（格勒诺布尔联合实验室）；Criteo AI Lab（Criteo人工智能实验室）；IMAG（格勒诺布尔信息与自动化技术研究所）
针对动作具有相似性的在线学习问题，提出利用树结构编码相似性，在多种反馈模型下实现遗憾界中动作数K被相似感知有效动作数替换的算法。
2026-06-23 cs.LG
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Blocked Collaborative Bandits: Online Collaborative Filtering with Per-Item Budget Constraints
Google Research（谷歌研究院）
针对带单臂预算约束的分块协同老虎机问题，提出B-LATTICE算法，通过分阶段聚类与组内协同学习，在合理假设下取得首个次线性遗憾界，实验性能优于基线方法。
2023-10-31 cs.IR cs.LG stat.ML
Explore-then-Commit for Nonstationary Linear Bandits with Latent Dynamics
Cornell（康奈尔大学）；Imperial College London（伦敦帝国学院）；U Washington（华盛顿大学）
针对动作影响潜在线性动态并造成短期与长期奖励权衡的非平稳 bandit，论文提出先探索后提交算法，通过系统辨识和长期动作优化实现 $\tilde{\mathcal{O}}(T^{2/3})$ 遗憾。
2025-10-17 cs.LG cs.SY eess.SY
Multi-Armed Bandits with Correlated Arms
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个多臂强盗框架，其中通过拉动不同的手臂获得的奖励是相关的。我们开发了一个统一的方法来利用这些奖励的相关性，并提出了基本概括的经典强盗算法的相关设置。我们提出了一个统一的证明技术来分析所提出的算法。C-UCB的严格分析（相关的强盗版本的上限置信度）表明，该算法最终拉某些次优的武器，称为非竞争性，只有O（1）倍，而不是O（log T）拉所需的经典强盗算法，如UCB，TS等，我们提出了遗憾的下限，并表明，当武器相关通过一个潜在的随机源，我们的算法获得订单最优后悔。我们通过MovieLens和Goodreads数据集上的实验验证了所提出的算法，并显示出比经典的强盗算法有显着的改进。
2021-09-10 cs.LG stat.ML
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Episodic Contextual Bandits with Knapsacks under Conversion Models
Industrial Systems Engineering & Management National University of Singapore（新加坡国立大学工业系统工程与管理学院）
本文提出了一种在转换模型下处理周期性情境老虎机与背包问题的算法，通过置信界 oracle 实现子线性后悔，改进了某些情况下的后悔界，并引入了无标签特征数据的应用。
2026-01-02 cs.LG
A Definition of Non-Stationary Bandits
Stanford University（斯坦福大学）；Stanford Graduate School of Business（斯坦福大学商学院）
针对现有非平稳老虎机定义导致的分类模糊、遗憾指标失效及过度探索问题，本文提出了一种适用于贝叶斯与频率学派表述的统一正式定义，确保了分类一致性并提供了更稳健的学习框架。
2023-07-28 cs.LG stat.ML
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University（哥伦比亚大学）
该研究针对多臂老虎机问题，提出贝叶斯非参数汤普森采样算法，无需指定奖励模型参数形式，实验表明其后悔性能与Oracle TS相当，且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
Stochastic Low-Rank Bandits
Adobe Research（Adobe 研究院）；University of Alberta（阿尔伯塔大学）；Rutgers University（罗格斯大学）
计算机视觉和推荐系统中的许多问题都涉及到低秩矩阵。在这项工作中，我们研究的问题，找到一个随机低秩矩阵的最大项目，从顺序观察。在每一步，学习代理选择成对的行和列臂，并接收其潜在值的噪声乘积作为奖励。主要的挑战是潜在价值未被观察到。我们确定了一类非负矩阵的最大条目可以找到统计有效，并提出了一种算法，找到他们，我们称之为LowRankElim。我们推导出了$\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$的$n$ -步遗憾上界，其中$K$是行数，$L$是列数，$d$是矩阵的秩，$Δ$是最小间隙。该界限取决于其他特定问题的常数，而这些常数显然不依赖于$K L$。据我们所知，这是文献中的第一个这样的结果。
2017-12-13 cs.LG stat.ML
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong（香港城市大学）；Northwest Polytechnical University（西北工业大学）
该研究针对多目标老虎机场景，提出少对多最优臂识别问题，设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法，证明其样本复杂度保证，通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Factorization Bandits for Online Influence Maximization
University of Virginia（弗吉尼亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
研究了社交网络中的在线影响力最大化问题。在这个问题中，学习者的目标是通过与网络交互来识别网络中的“最佳影响者”集合，即，重复选择种子节点并观察网络中的激活反馈。我们利用了影响力最大化问题的一个重要性质--网络可伸缩性，这一性质在现有的在线影响力最大化研究中被忽略.为了实现网络的敏感性，我们将边上的激活概率分解为相应节点上的潜在因子，包括给定节点上的影响因子和接收节点上的敏感因子。我们提出了一个基于置信上限的在线学习解决方案来估计潜在因素，从而估计激活概率。基于因子分解的在线影响力最大化算法实现了相当大的遗憾减少。在两个真实网络上进行的广泛的实证评估表明了我们提出的解决方案的有效性。
2019-07-16 cs.LG cs.SI stat.ML
PAC-Bayesian Offline Contextual Bandits With Guarantees
Criteo AI Lab（Criteo人工智能实验室）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学校）；IPP（巴黎政治学院）；ESSEC Business School（埃塞克商学院）
本文通过PAC-Bayesian视角将策略建模为决策规则混合，提出更紧的泛化界及可直接优化的算法，实现离线上下文赌博机中具有性能保证且无需额外超参数调优的策略学习。
2023-05-27 cs.LG stat.ML
New Classes of the Greedy-Applicable Arm Feature Distributions in the Sparse Linear Bandit Problem
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；RIKEN AIP（理化学研究所革新智能综合研究中心）；Tokyo Institute of Technology（东京工业大学）；Chuo University（中央大学）；Keio University（庆应义塾大学）；National Institute of Informatics（国立信息学研究所）；The University of Tokyo（东京大学）
本文针对稀疏线性赌博机问题，通过证明混合分布的贪心适用性并提出高斯混合、离散和径向分布相关的新分布类别，将贪心策略的理论保证扩展到具有原点非对称支撑的更广泛臂特征分布。
2024-03-29 cs.LG stat.ML
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest（波尔多西南法国国立信息学与自动化研究院）；ENSTA ParisTech（巴黎高等先进技术学院）；Bordeaux University（波尔多大学）
我们考虑的情况下，代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互，智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法，将这种情况视为多武装土匪问题，其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂，并建立该方法是既能够区分不同质量的策略，即使当差异是微不足道的，并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
