Leveraging Offline Data in Linear Latent Contextual Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对线性潜在上下文老虎机场景，提出带可证明保证的离线低秩子空间学习算法及两种加速在线学习的在线算法，证明极小极大最优性，经实验验证有效，并确立模型通用性。
2025-09-02 cs.AI cs.LG stat.ML
Latent Contextual Bandits and their Application to Personalized Recommendations for New Users
Carnegie Mellon University（卡内基梅隆大学）
针对新用户的个性化推荐，也被称为冷启动问题，可以被公式化为上下文强盗问题。现有的上下文强盗算法通常仅依赖于特征来捕获用户可变性。这样的方法在学习新用户的兴趣方面是低效的。在本文中，我们提出了潜在的上下文强盗。我们既考虑了为新用户利用一组学习到的潜在用户类的好处，又考虑了如何从以前的用户那里学习这些潜在类。我们表明，我们的方法实现了更好的遗憾界比现有的算法。我们还展示了我们的方法使用大型现实世界的数据集和初步的用户研究的好处。
2016-04-22 cs.AI cs.LG
Non-Stationary Latent Bandits
Google Research（谷歌研究院）
推荐系统的用户经常表现在一个非固定的方式，由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中，我们提出了一个实用的方法，快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗，其中用户行为的原型模型是离线学习的，用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪，分析他们，并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合，这些模型可能会被错误指定，然后使用后验采样在线微调。通过这种方式，我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
Multi-Fidelity Multi-Armed Bandits Revisited
The Chinese University of Hong Kong（香港中文大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Research（微软研究院）
该研究再探多保真多臂老虎机问题，针对固定置信度最佳臂识别给出成本复杂度上下界及算法框架，针对遗憾最小化提出新定义、证明两类下界并设计匹配上界的消除式算法。
2023-06-13 cs.LG stat.ML
Identifiable Latent Bandits: Leveraging observational data for personalized decision-making
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle（睡眠周期）
本文提出一种可识别的潜在老虎机框架，通过学习历史决策和结果来实现更高效的探索和个性化决策，优于传统老虎机。
2026-05-11 cs.LG stat.ML
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题，提出LARL算法，通过隐式预测潜在自回归状态形成奖励预测，近似稳态卡尔曼滤波，实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
The Elliptical Potential Lemma Revisited
Otto Von Guericke Universität Magdeburg（马格德堡奥托·冯·格里克大学）；DeepMind
本文对所谓的椭圆位势引理提出了一个新的证明和新的观点。这一结果在在线学习中是重要的，特别是对于线性随机强盗。最初的证明结果，但简短而优雅，并没有给太多的灵活性的类型的潜力考虑，我们相信，这种新的解释可以在这一领域的未来研究的兴趣。
2020-10-20 cs.LG stat.ML
Latent Order Bandits
Sleep Cycle AB；Chalmers University of Technology（楚克马尔斯技术大学）；University of Gothenburg（戈尔丁大学）
本文提出潜在顺序老虎机（LOB），通过放松对潜在老虎机的假设，仅需部分行动偏好顺序的先验知识，以提高样本效率。该方法在不同实例中允许奖励分布变化，但共享行动顺序，并在实验中验证了其有效性。
2026-08-19 cs.LG
High Accuracy and Low Regret for User-Cold-Start Using Latent Bandits
Trinity College Dublin（都柏林圣三一学院）
本文提出一种隐式赌博机算法解决推荐系统新用户冷启动问题，在准确率和遗憾两方面均显著超越现有方法。
2023-05-12 cs.IR cs.LG
Latent Preference Bandits
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚尔斯基技术大学）；University of Gothenburg（哥德堡大学）
针对个性化决策中潜在赌博机假设过强的问题，提出仅需偏好排序模型的潜在偏好赌博机，并给出后验采样算法，在奖励尺度异质时表现更优。
2025-08-07 cs.LG
Block Optimism for Nonstationary Bandits with Latent Linear Dynamics
Seoul National University（首尔国立大学）
针对具有潜在线性动力学的非平稳赌博机，提出基于循环近似和UCB的块级乐观算法，将遗憾从$\tilde{O}(T^{2/3})$改进至$\tilde{O}(\sqrt T)$。
2026-10-02 cs.LG stat.ML
Optimal Algorithms for Latent Bandits with Cluster Structure
Google Research（谷歌研究院）
本文针对多用户潜在簇结构老虎机问题提出 LATTICE 算法，通过矩阵补全同时利用簇内臂信息并聚类用户，首次在簇数为常数级时实现极小极大最优遗憾，且计算高效。
2023-07-11 cs.LG stat.ML
Linear Contextual Bandits with Hybrid Payoff: Revisited
Microsoft Research（微软研究院）
本文重新研究混合收益线性上下文赌博机，提出利用混合奖励结构与多样性条件改进LinUCB和DisLinUCB的遗憾分析，并设计新算法HyLinUCB，在多数场景下实现显著更低的遗憾且可扩展至大规模动作空间。
2024-09-03 cs.AI cs.LG
MARBLE: Multi-Armed Restless Bandits in Latent Markovian Environment
Department of Computer and Systems Sciences (DSV), Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯研究中心）；Smartprofile（Smartprofile公司）
MARBLE引入潜在马尔可夫状态以应对非平稳环境中的多臂 restless 博弈，提出马尔可夫平均指数性准则，并证明在该准则下同步Q学习与Whittle指数几乎必然收敛到最优Q函数。
2026-04-09 cs.LG
Information-Gathering in Latent Bandits
Center for Applied Intelligent Systems Research（应用智能系统研究中心）；Halmstad University（哈尔姆斯塔德大学）
在潜在的强盗问题中，学习者可以获得奖励分布和-对于非平稳变量-环境的过渡模型。奖励分布是以手臂和未知的潜在状态为条件的。我们的目标是使用奖励历史来识别潜在状态，从而为未来的武器选择提供最佳选择。潜在的强盗设置适合于许多实际应用，如推荐和决策支持系统，其中丰富的数据允许离线估计环境模型，在线学习仍然是一个关键组成部分。在这种情况下，以前的解决方案总是根据智能体对状态的信念来选择最高奖励臂，而不是明确考虑信息收集臂的价值。这种信息收集臂不一定提供最高奖励，因此可能永远不会被始终选择最高奖励臂的代理选择。在本文中，我们提出了一种方法，在潜在的土匪信息收集。鉴于特定的奖励结构和过渡矩阵，我们表明，选择最好的手臂代理的信念，国家招致更高的遗憾。此外，我们表明，通过仔细选择武器，我们得到了一个改进的估计状态分布，从而降低了累积遗憾，通过更好的武器选择在未来。我们在合成和真实世界的数据集上评估了我们的方法，结果表明，与最先进的方法相比，遗憾有了显着的改善。
2022-07-08 cs.LG
A Direct Approach for Handling Contextual Bandits with Latent State Dynamics
本文提出一种直接方法处理隐马尔可夫链驱动的线性上下文赌博机，通过简化模型归约到标准线性上下文赌博机，并扩展理论分析以考虑HMM参数估计，同时针对更复杂的隐状态依赖模型引入周期性参数更新算法。
2026-06-01 cs.LG stat.ML
Co-Exploration and Co-Exploitation via Shared Structure in Multi-Task Bandits
本文提出了一种基于共享结构的多任务老虎机方法，通过联合探索和利用潜在依赖性，提升在不完全上下文和模型不规范情况下的性能。
2025-12-14 cs.AI cs.LG
High-Dimensional Linear Bandits under Stochastic Latent Heterogeneity
Stern School of Business, New York University（纽约大学 Stern 学校）
针对在线决策中随机潜在异质性挑战，提出潜在异质性老虎机框架与分阶段EM-贪婪算法，联合学习高维潜在群体概率和奖励参数，揭示随机潜在子群体决策的不可约分类不确定性并建立遗憾界，为补救提供方向。
2025-11-14 cs.LG stat.ME stat.ML
Beyond Random Noise: Insights on Anonymization Strategies from a Latent Bandit Study
Blekinge Institute of Technology（布莱金厄理工学院）
本文在潜在老虎机推荐场景下模拟链接攻击，比较噪声注入与多种聚合策略，发现单独使用Laplace噪声效果最差，而结合聚类平均等策略可更好权衡隐私与推荐遗憾。
2023-09-30 cs.AI cs.LG
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models
University of California, San Diego（加州大学圣迭戈分校）
提出贝叶斯流形课程（BMC）框架，将问题采样建模为流形结构赌博机问题，通过层次任务树和贝叶斯学习引导采样，平衡学习信号、多样性和实用性。
2026-06-19 cs.AI cs.CL cs.LG
Contextual Bandits with Latent Confounders: An NMF Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于NMF的ε-贪心算法，通过低维结构学习与最优臂选择平衡，实现在线矩阵补全的 regret 保障，适用于高维数据场景。
2016-10-27 cs.LG cs.SY eess.SY
Low-rank Bandits with Latent Mixtures
Indian Institute of Science（印度科学理工学院）；Inria Saclay – Île de France（法国国家信息与自动化研究所萨克雷-法兰西岛研究中心）
我们研究的任务，最大限度地提高回报，从推荐项目（行动），用户顺序交互的推荐系统。用户被建模为C许多代表性的用户类的潜在混合物，其中每个类指定跨动作的平均奖励配置文件。用户特征（类上的混合分布）和项目特征（每个类的平均奖励向量）都是先验未知的。用户身份是学习者在交互时唯一可用的上下文信息。这在来自向用户b推荐项目a的预期回报ra，b的矩阵上引起低秩结构。当用户或物品侧特征完全已知时，问题简化为众所周知的线性强盗。在设置中，每个用户，其随机采样的口味配置文件，交互只有少量的会话，我们开发了一个强盗算法的双边不确定性。它结合了Anandkumar等人（2014 b）的鲁棒张量幂方法和Abbasi-Yadkori等人（2011）的OFUL线性强盗算法。我们提供了这个组合的第一个严格的遗憾分析，表明它的遗憾后，T用户交互是$\tilde O(C\sqrt{BT})$，与B的用户数量。对这一结果的一个成分是一个新的鲁棒性的OFUL，独立的利益。
2016-09-06 cs.LG
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability
Aalto University（阿尔托大学）
本文针对潜在上下文赌博机在协变量偏移下的迁移学习问题，利用因果可迁移性理论设计算法，避免负迁移，并通过变分自编码器处理高维代理，实验证明其学习效率优于基线。
2025-02-27 cs.LG
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）；Ads Online Experimentation（广告在线实验部）；Central Applied Science（应用科学中央研究所）
针对奖励依赖于未观测马尔可夫状态的赌博机问题，提出基于LinUCB的自适应算法，通过滞后动作-奖励对和探针指纹两种摘要来区分状态，并采用残差、边际和过时测试动态更新指纹，在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Dual Instrumental Method for Confounded Kernelized Bandits
The Hong Kong University of Science and Technology（香港科技大学）
语境强盗问题是一个理论上合理的框架，在各个领域有着广泛的应用。虽然以前对这个问题的研究通常需要噪声和上下文之间的独立性，但我们的工作考虑了一个更合理的设置，其中噪声成为影响上下文和奖励的潜在混淆因素。这样的混杂设置更现实，并且可以扩展到更广泛的应用范围。然而，未解决的混杂因素将导致奖励函数估计的偏差，从而导致较大的遗憾。为了应对混杂因素带来的挑战，我们采用了双工具变量回归，它可以正确识别真实的奖励函数。我们证明了该方法在两类广泛使用的再生核Hilbert空间中的收敛速度是近最优的。因此，我们可以基于混杂强盗问题的理论保证设计计算高效且遗憾最优的算法。数值结果表明，我们所提出的算法在混杂强盗设置的有效性。
2022-09-07 cs.AI cs.LG stat.ML
Mixture Martingales Revisited with Applications to Sequential Tests and Confidence Intervals
Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 - CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工学院、UMR 9189 - CRIStAL实验室）；Centrum Wiskunde & Informatica（荷兰数学与计算机科学研究中心）
本文提出了一个新的偏差不等式，它在自适应采样下在时间上一致有效。在给定的一维指数族中使用库尔贝克-莱布勒散度测量偏差，并且可以一次考虑几个臂。它们是通过为每个臂构造一个基于分层先验的混合鞅，并将这些鞅相乘来获得的。我们的偏差不等式使我们能够分析基于广义似然比的一大类序列识别问题的停止规则，并为臂均值的某些函数构造紧的置信区间。
2021-12-08 cs.LG stat.ML
Partial Structure Discovery is Sufficient for No-regret Learning in Causal Bandits
Purdue University（普渡大学）；School of Electrical Computer Engineering（电气与计算机工程学院）
针对因果图未知且含潜在混淆变量的因果老虎机问题，本文刻画了必要且充分的潜在混淆变量，提出两阶段算法，先学习祖先子图构建最优臂集，再用UCB算法，实现次线性遗憾。
2024-11-06 cs.LG stat.ML
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；DeepMind；Duke University（杜克大学）；Norwegian University of Science and Technology（挪威科技大学）
我们提出了一个新的框架结构化土匪，我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动，潜变量和观察，从而统一和扩展了许多现有的模型，如组合半土匪，级联土匪，低秩土匪。我们开发了新的在线学习算法，学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动，我们从模型参数的后验中采样，然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题，并表明，他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Analysis of Thompson Sampling for Graphical Bandits Without the Graphs
The Ohio State University（俄亥俄州立大学）；Tulane University（杜兰大学）
我们研究多臂强盗问题与图形反馈，其中决策者被允许观察所选择的动作的相邻动作，在设置中的图形可能会随着时间的推移而变化，从来没有完全透露给决策者。我们发现，当反馈图是无向的，原始的汤普森采样达到最佳的（对数因子内）遗憾$\tilde{O}\left(\sqrt{β_0(G)T}\right)$在时间范围$T$，其中$β_0(G)$是潜在的图形的平均独立数。据我们所知，这是第一个结果表明，原来的汤普森采样是最佳的图形土匪在无向设置。在有向环境下，本文还给出了一个稍弱的后悔限.为了填补这一空白，我们提出了一个变种的汤普森采样，达到最佳的遗憾，在有向设置内的对数因子。这两种算法都可以有效地实现，并且在任何时候都不需要反馈图的知识。
2018-05-23 cs.AI cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Blocked Collaborative Bandits: Online Collaborative Filtering with Per-Item Budget Constraints
Google Research（谷歌研究院）
针对带单臂预算约束的分块协同老虎机问题，提出B-LATTICE算法，通过分阶段聚类与组内协同学习，在合理假设下取得首个次线性遗憾界，实验性能优于基线方法。
2023-10-31 cs.IR cs.LG stat.ML
An Information-Theoretic Analysis of Nonstationary Bandit Learning
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
本文采用信息论方法分析非平稳老虎机学习，以最优动作过程的熵率界定每期遗憾，并通过信息比率反映问题结构。
2023-12-23 cs.IT cs.LG math.IT
Multi-Armed Bandits with Correlated Arms
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个多臂强盗框架，其中通过拉动不同的手臂获得的奖励是相关的。我们开发了一个统一的方法来利用这些奖励的相关性，并提出了基本概括的经典强盗算法的相关设置。我们提出了一个统一的证明技术来分析所提出的算法。C-UCB的严格分析（相关的强盗版本的上限置信度）表明，该算法最终拉某些次优的武器，称为非竞争性，只有O（1）倍，而不是O（log T）拉所需的经典强盗算法，如UCB，TS等，我们提出了遗憾的下限，并表明，当武器相关通过一个潜在的随机源，我们的算法获得订单最优后悔。我们通过MovieLens和Goodreads数据集上的实验验证了所提出的算法，并显示出比经典的强盗算法有显着的改进。
2021-09-10 cs.LG stat.ML
Top Two Algorithms Revisited
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
Top Two算法是将Thompson采样应用于多臂强盗模型中的最佳臂识别（Russo，2016），用于参数化的臂族。他们通过随机选择两个候选手臂，一个领导者和一个挑战者来选择下一个手臂进行采样。尽管他们的经验表现良好，理论保证固定的信心最好的手臂识别时，只有获得武器是高斯已知的方差。在本文中，我们提供了一个一般的分析前两个方法，确定理想的属性的领导者，挑战者，和（可能是非参数）分布的武器。其结果是，我们得到理论上支持的前两个算法最好的手臂识别有界分布。我们的证明方法特别表明，用于选择从汤普森抽样继承的领导者的抽样步骤可以被其他选择所取代，例如选择经验最佳手臂。
2022-10-04 cs.LG stat.ML
Explore-then-Commit for Nonstationary Linear Bandits with Latent Dynamics
Cornell（康奈尔大学）；Imperial College London（伦敦帝国学院）；U Washington（华盛顿大学）
针对动作影响潜在线性动态并造成短期与长期奖励权衡的非平稳 bandit，论文提出先探索后提交算法，通过系统辨识和长期动作优化实现 $\tilde{\mathcal{O}}(T^{2/3})$ 遗憾。
2025-10-17 cs.LG cs.SY eess.SY
A Definition of Non-Stationary Bandits
Stanford University（斯坦福大学）；Stanford Graduate School of Business（斯坦福大学商学院）
针对现有非平稳老虎机定义导致的分类模糊、遗憾指标失效及过度探索问题，本文提出了一种适用于贝叶斯与频率学派表述的统一正式定义，确保了分类一致性并提供了更稳健的学习框架。
2023-07-28 cs.LG stat.ML
Stochastic Low-Rank Bandits
Adobe Research（Adobe 研究院）；University of Alberta（阿尔伯塔大学）；Rutgers University（罗格斯大学）
计算机视觉和推荐系统中的许多问题都涉及到低秩矩阵。在这项工作中，我们研究的问题，找到一个随机低秩矩阵的最大项目，从顺序观察。在每一步，学习代理选择成对的行和列臂，并接收其潜在值的噪声乘积作为奖励。主要的挑战是潜在价值未被观察到。我们确定了一类非负矩阵的最大条目可以找到统计有效，并提出了一种算法，找到他们，我们称之为LowRankElim。我们推导出了$\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$的$n$ -步遗憾上界，其中$K$是行数，$L$是列数，$d$是矩阵的秩，$Δ$是最小间隙。该界限取决于其他特定问题的常数，而这些常数显然不依赖于$K L$。据我们所知，这是文献中的第一个这样的结果。
2017-12-13 cs.LG stat.ML
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong（香港城市大学）；Northwest Polytechnical University（西北工业大学）
该研究针对多目标老虎机场景，提出少对多最优臂识别问题，设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法，证明其样本复杂度保证，通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Factorization Bandits for Online Influence Maximization
University of Virginia（弗吉尼亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
研究了社交网络中的在线影响力最大化问题。在这个问题中，学习者的目标是通过与网络交互来识别网络中的“最佳影响者”集合，即，重复选择种子节点并观察网络中的激活反馈。我们利用了影响力最大化问题的一个重要性质--网络可伸缩性，这一性质在现有的在线影响力最大化研究中被忽略.为了实现网络的敏感性，我们将边上的激活概率分解为相应节点上的潜在因子，包括给定节点上的影响因子和接收节点上的敏感因子。我们提出了一个基于置信上限的在线学习解决方案来估计潜在因素，从而估计激活概率。基于因子分解的在线影响力最大化算法实现了相当大的遗憾减少。在两个真实网络上进行的广泛的实证评估表明了我们提出的解决方案的有效性。
2019-07-16 cs.LG cs.SI stat.ML
Doubly High-Dimensional Contextual Bandits: An Interpretable Model for Joint Assortment-Pricing
University of Notre Dame（圣母大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种基于上下文老虎机的联合选品-定价模型，利用近低秩表示矩阵应对双重高维问题，并证明其遗憾上界，仿真和真实案例均显示该方法在收入和利润上显著优于现有方法。
2023-09-14 cs.AI cs.LG stat.AP
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT（麻省理工学院运筹学研究中心）；Sloan School of Management, MIT（麻省理工学院斯隆管理学院）；Department of EECS, MIT（麻省理工学院电气工程与计算机科学系）
针对推荐系统中嵌入模型路由问题，形式化为具有低秩专家的对抗性上下文线性赌博机，提出Hypentropy策略梯度算法，实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Context Uncertainty in Contextual Bandits with Applications to Recommender Systems
AWS AI Labs（亚马逊云科技人工智能实验室）
递归神经网络已被证明是有效的建模推荐系统的顺序用户反馈。然而，它们通常只关注项目的相关性，而不能有效地为用户探索不同的项目，因此从长远来看损害了系统的性能。为了解决这个问题，我们提出了一种新型的递归神经网络，称为递归探索网络（REN），共同执行表示学习和有效的探索在潜在的空间。REN试图平衡相关性和探索性，同时考虑到表征中的不确定性。我们的理论分析表明，REN可以保持率最优的次线性遗憾，即使在学习表示存在不确定性。我们的实证研究表明，REN可以在合成和真实世界的推荐数据集上获得令人满意的长期回报，优于最先进的模型。
2022-02-16 cs.AI cs.IR cs.LG
Hedging the Drift: Learning to Optimize under Non-Stationarity
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
我们引入数据驱动的决策算法，实现国家的最先进的\emph{dynamic regret}边界的非平稳的强盗设置。这些设置可在不断变化的环境中捕获广告分配、动态定价和流量网络路由等应用。我们展示了如何（未知的\emph{a priori}和可能的对抗）的非平稳性所带来的困难可以克服随机和对抗的强盗学习算法之间的非常规婚姻。我们的主要贡献是一个通用的算法配方各种各样的非平稳土匪问题。具体来说，我们设计和分析的滑动窗口置信上限算法，实现最佳的动态遗憾界的设置时，我们知道各自的基础\emph{variation budget}，量化的潜在环境的时间变化的总量。在适应潜在变化的新的强盗框架的推动下，我们可以以（令人惊讶的）无参数的方式进一步享受（接近）最优的动态后悔界限。除了经典的探索-利用权衡之外，我们的算法还利用了学习过程中的“遗忘原理”，这在不断变化的环境中至关重要。我们在合成和真实世界的在线汽车贷款数据集上进行了大量的数值实验，结果表明，与现有算法相比，我们提出的算法具有更好的经验性能。
2021-03-17 cs.LG stat.ML
Causal Bandit Over Unknown Graphs: Upper Confidence Bounds With Backdoor Adjustment
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究了在未知因果图下的因果投递问题，提出BA-UCB算法，通过结合观测和实验数据识别后门调整集，改进累积遗憾的上界并降低对干预臂数量的依赖。
2026-04-03 cs.LG stat.ME
Additive Causal Bandits with Unknown Graph
DeepMind（深度思维）
针对因果图未知的因果老虎机最优干预选择难题，提出加性假设下的动作消除算法，无需显式学习结果父节点即可找到最优干预，给出样本复杂度界并通过实验验证。
2023-06-13 cs.LG stat.ML
Deep Hierarchy in Bandits
University of California, Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；DeepMind（深度思维）；Google Research（谷歌研究院）
行动的平均回报往往是相关的。这些相关性的形式可能是复杂的并且是先验未知的，诸如用户对推荐产品及其类别的偏好。为了最大限度地提高统计效率，重要的是在学习时利用这些相关性。我们制定了这个问题的一个强盗变体，其中的相关性的平均行动奖励表示的层次贝叶斯模型与潜在变量。由于层次结构可以有多个层，我们称之为深层次。我们提出了一个分层的汤普森采样算法（HierTS），这个问题，并展示了如何实现它有效的高斯层次结构。有效的实施是可能的，由于一种新的精确的层次表示的后，这本身是独立的利益。我们使用这个精确的后验分析的贝叶斯后悔HierTS高斯土匪。我们的分析反映了问题的结构，即后悔减少与事先的宽度，也表明，层次减少了后悔的行动数量的非常数因素。我们证实了这些理论研究结果的经验，在合成和现实世界的实验。
2022-02-03 cs.LG stat.ML
BLOB : A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
推荐系统的一个常见任务是从用户浏览历史中的项目中建立用户兴趣的概况，然后从同一目录中向用户推荐项目。用户的行为由两部分组成：他们在没有干预的情况下观看的项目序列（有机部分）和推荐给他们的项目序列及其结果（强盗部分）。在本文中，我们提出了贝叶斯潜在有机强盗模型（BLOB），概率的方法来结合“有机”和“强盗”的信号，以提高推荐质量的估计。由于其给出推荐性能的直接反馈，所以该强盗信号是有价值的，但是信号质量非常不均匀，因为其高度集中于被推荐器系统的过去版本认为是最优的推荐。相比之下，有机信号通常很强，覆盖大多数项目，但并不总是与推荐任务相关。为了利用有机信号来有效地学习贝叶斯模型中的强盗信号，我们确定了三种基本类型的距离，即动作-历史距离、动作-动作距离和历史-历史距离。我们使用变分自动编码器和局部重新参数化技巧实现完整模型的可扩展近似。我们使用广泛的模拟研究表明，我们的方法优于或匹配的价值都是最先进的有机为基础的推荐算法，和土匪为基础的方法（价值和政策为基础的）在有机和土匪丰富的环境。
2020-08-28 cs.LG stat.ML
Policy Evaluation with Latent Confounders via Optimal Balance
Cornell University（康奈尔大学）
使用记录的数据评估新的上下文强盗策略在探索成本高昂的应用中至关重要，例如医学。但它通常依赖于没有未观察到的混杂因素的假设，这在实践中注定会失败。我们研究的问题，政策评估时，我们反而有代理的潜在混杂因素，并开发一个重要性加权方法，避免拟合潜在的结果回归模型。我们表明，与无混淆的情况不同，没有一组权重可以对所有结果模型进行无偏评估，但我们提出了一种新的算法，该算法仍然可以通过最小化对抗平衡目标来可证明地保证一致性。我们进一步开发了易于处理的算法来优化这一目标，并以经验证明了我们的方法的力量时，混淆因素是潜在的。
2019-08-06 cs.LG stat.ML
Challenges and Solutions for Bandits in the Wild: Warm-Started Mixture Bandits for Cross-Cohort Slate Recommendation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU（莱茵兰-普法尔茨州凯泽斯劳滕-兰道工业大学（RPTU））；LMU（慕尼黑大学（LMU））
针对推荐系统冷启动队列的挑战，提出热启动混合老虎机CohortMix-TS，利用跨队列迁移和库存感知榜单构建，提升早期推荐质量并防止物品耗尽，经模拟和野外部署验证有效。
2026-09-30 cs.AI cs.LG
Information-Directed Sampling for Causal Bandits
研究含不可操纵变量的情境因果博弈，假设因果图已知且无潜在混杂，采用贝叶斯公式。开发汤普森采样和信息导向采样的因果变体，建立相关遗憾界和置信界，实验证明所提方法能有效利用信息，优于因果和非因果基线。
2026-09-22 cs.AI cs.LG
