Poisson-MNL Bandit: Nearly Optimal Dynamic Joint Assortment and Pricing with Decision-Dependent Customer Arrivals
University of Notre Dame（圣母大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
Poisson-MNL Bandit通过结合上下文MNL选择模型与泊松到达模型，实现近似最优的动态联合assortment与定价，考虑决策依赖的顾客到达对提升决策效果至关重要。
2026-02-18 cs.LG stat.ML
Nearly Minimax Optimal Regret for Multinomial Logistic Bandit
Seoul National University（首尔国立大学）
本文针对上下文多项式逻辑斯谛老虎机问题，在均匀和非均匀奖励下分别证明了极小极大最优遗憾界，并提出常数时间算法OFU-MNL+实现匹配上界，首次达到该问题的最优性。
2025-10-16 cs.LG stat.ML
MNL-Bandit: A Dynamic Learning Approach to Assortment Selection
Columbia University（哥伦比亚大学）；Columbia Business School（哥伦比亚商学院）
我们考虑一个动态的品种选择问题，在每一轮的零售商提供了一个子集（品种）的$N$替代产品的消费者，谁选择这些产品之一，根据多项logit（MNL）的选择模型。零售商观察这种选择，目标是动态地学习模型参数，同时优化长度为$T$的销售范围内的累积收入。我们把这个探索-开发公式称为MNL-Bandit问题。针对该问题的现有方法遵循“探索-然后-利用”的方法，该方法估计参数到期望的准确度，然后将这些估计视为正确的参数值，基于这些估计提供最佳分类。这些方法需要对“可分性”有一定的先验知识，由基本MNL模型的真实参数决定，而这反过来又是决定勘探期长短的关键。（可分性是指真正的最优分类与其他次优选择的可分性。在本文中，我们给出了一个有效的算法，同时探索和利用，实现性能独立的底层参数。该算法可以以完全在线的方式实现，而不需要知道时域长度$T$。此外，该算法是自适应的，在这个意义上，它的性能是接近最佳的“良好分离”的情况下，以及一般的参数设置，这种分离不需要举行。
2018-06-29 cs.LG
Improved Online Confidence Bounds for Multinomial Logistic Bandits
Seoul National University, Seoul, Korea（首尔国立大学）
针对现有MNL老虎机在线置信界依赖参数范数界与结果规模的问题，通过更紧的自和谐性质与Ville不等式推导改进置信界，提出两种算法分别实现方差依赖的最优悔值与无poly(B)的任意时间悔值。
2025-06-16 cs.LG stat.ML
Fully Gap-Dependent Bounds for Multinomial Logit Bandit
Tsinghua University（清华大学）
我们研究了多项logit（MNL）强盗问题，在每个时间步，卖方提供了一个品种的大小最多$K$从池的$N$项目，和买方购买的项目从品种根据MNL选择模型。目标是学习模型参数并最大化预期收益。我们提出了（i）一个算法，确定最佳的组合$S^*$内$\widetilde{O}(\sum_{i = 1}^N Δ_i^{-2})$时间步长的概率很高，和（ii）一个算法，招致$O(\sum_{i \notin S^*} KΔ_i^{-1} \log T)$遗憾$T$时间步长。据我们所知，我们的算法是第一个实现完全依赖于所有项目的次优差距的差距依赖的界限。我们的技术贡献包括一个算法框架，涉及的MNL-土匪问题的一个变种的顶部- $K$手臂识别问题的多武装土匪，一个广义的基于时代的提供程序，和一个基于层的自适应估计程序。
2020-11-19 cs.LG
Diversified Multinomial Logit Contextual Bandits
Seoul National University（首尔国立大学）
研究针对现有上下文多项式逻辑回归博弈忽略品类内多样性、次模/组合博弈缺乏结构化选择概率的问题，提出多样化多项式逻辑回归（DMNL）上下文博弈及白盒UCB算法OFU-DMNL，给出遗憾界，实验证明其有收益且运行高效。
2026-09-29 cs.LG stat.ML
UCB-based Algorithms for Multinomial Logistic Regression Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of British Columbia（不列颠哥伦比亚大学）
在广义线性强盗的丰富家族中，也许研究得最好的是在二元奖励问题中使用的逻辑强盗：例如，当学习者/代理试图最大化可以选择两种可能结果之一的用户的利润时（例如，“click”vs“no-click”）。尽管最近取得了显著的进展并且改进了用于物流强盗的算法，但是现有的工作没有解决用户可以选择的结果的数量大于两个的实际情况（例如，“click”、“show me later”、“never show again”、“no click”）。在本文中，我们研究这样的扩展。我们使用多项logit（MNL）来模拟$K+1\geq 2$可能结果中的每一个的概率（+1代表“不点击”结果）：我们假设对于学习者的动作$\mathbf{x}_t$，用户选择$K+1\geq 2$结果中的一个，比如结果$i$，具有多项logit（MNL）概率模型，具有相应的未知参数$\bar{\boldsymbolθ}_{\ast i}$。每个结果$i$还与收入参数$ρ_i$相关联，目标是最大化预期收入。对于这个问题，我们提出了MNL-UCB，上置信界（UCB）为基础的算法，实现遗憾$\tilde{\mathcal{O}}(dK\sqrt{T})$与小依赖问题相关的常数，否则可以任意大，导致松散的遗憾界限。我们提出的数值模拟，证实了我们的理论结果。
2021-03-21 cs.LG stat.ML
MNL-Bandits under Inventory and Limited Switches Constraints
City University of Hong Kong（香港城市大学）
优化向客户展示的产品种类是增加线下和在线零售商收入的关键。为了在探索顾客偏好和利用顾客从数据中学习到的选择之间取得平衡，本文采用多项标称Logit（MNL）选择模型来捕捉顾客对产品的选择，研究了零售商在计划期$T$内以利润最大化为目标的最优补偿问题。为了使问题设置更实际，我们考虑了库存约束和有限开关约束，其中零售商不能用完资源库存之前的时间$T$，并禁止切换的品种显示给客户太多次。这样的设置适合在线零售商想要动态地优化客户群体的分类选择的情况。我们开发了一个有效的UCB类算法，以优化调度，同时从数据中学习客户的选择。我们证明了我们的算法可以实现一个次线性遗憾界$\tilde{O}\left(T^{1-α/2}\right)$，如果$O(T^α)$开关是允许的。%，我们的遗憾界是最优的$T$。大量的数值实验表明，我们的算法优于基线和我们的算法的性能和理论上界之间的差距是小的。
2022-04-22 cs.LG
MNL-Bandit with Knapsacks: a near-optimal algorithm
Columbia University（哥伦比亚大学）
本文研究固定库存下面对未知MNL需求的动态品类选择问题，提出基于UCB的MNLwK-UCB算法，并证明在不同库存增长情形下均能达到近最优的遗憾界。
2024-01-24 cs.DS cs.LG
Achieving Limited Adaptivity for Multinomial Logistic Bandits
Microsoft Research India（微软印度研究院）
针对多项式逻辑斯谛老虎机，提出B-MNL-CB和RS-MNL两种算法，分别支持批处理和罕见切换模式，在有限策略更新下实现接近最优的遗憾，并优于每轮更新的基线。
2025-08-05 cs.LG stat.ML
Tractable Multinomial Logit Contextual Bandits with Non-Linear Utilities
Seoul National University（首尔国立大学）
本文提出了一种基于上置信界原则的算法，用于解决具有非线性效用函数的多名义逻辑上下文老虎机问题，实现了 O(√T) 的遗憾界。
2026-01-11 cs.LG stat.ML
Contextual Multinomial Logit Bandits with General Value Functions
University of Southern California（南加州大学）
针对上下文MNL bandits仅限于线性价值函数的局限，本文提出使用包含真实值的一般价值函数类，在随机和对抗设置下设计多套算法，在线性情况下首次消除对指数级问题常数的依赖并具备计算高效等优势。
2024-02-18 cs.LG
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Dynamic pricing and assortment under a contextual MNL demand
Columbia University（哥伦比亚大学）
我们考虑动态多产品定价和分类问题下的一个未知的需求在T个时期，在每个时期，卖方决定的价格为每个产品或产品的分类提供给客户谁选择根据一个未知的多项Logit模型（MNL）。这样的问题出现在许多应用中，包括在线零售和广告。我们提出了一个随机动态定价策略的基础上的在线牛顿步算法（ONS）的变体，实现了$O(d\sqrt{T}\log(T))$遗憾保证下的对抗性到达模型。我们还提出了一个新的乐观算法的对抗MNL上下文土匪问题，它实现了更好的依赖性比国家的最先进的算法，在一个问题相关的常数$κ_2$（潜在的指数小）。我们的遗憾上限尺度为$\tilde{O}(d\sqrt{κ_2 T}+ \log(T)/κ_2)$，这给出了比现有的$\tilde{O}(d\sqrt{T}/κ_2)$保证更强的界限。
2022-11-11 cs.LG
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea（首尔国立大学）
本文针对带MNL偏好反馈的组合强化学习，提出MNL-VQL算法，解决物品价值未知与组合动作空间可处理性问题，并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
A Tractable Online Learning Algorithm for the Multinomial Logit Contextual Bandit
University Hall（大学礼堂）
针对上下文MNL-Bandit问题现有方法存在非凸优化难、遗憾界依赖指数级问题参数的不足，提出乐观算法及凸松弛优化步骤，将遗憾界改进至$O(\sqrt{dT}+\kappa)$，实现易处理决策且保留良好性能保证。
2024-04-14 cs.LG stat.ML
A Definition of Non-Stationary Bandits
Stanford University（斯坦福大学）；Stanford Graduate School of Business（斯坦福大学商学院）
针对现有非平稳老虎机定义导致的分类模糊、遗憾指标失效及过度探索问题，本文提出了一种适用于贝叶斯与频率学派表述的统一正式定义，确保了分类一致性并提供了更稳健的学习框架。
2023-07-28 cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University（首尔国立大学）
本文提出了一种批量算法，通过限制匹配更新次数来减少计算开销，同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits
UIUC（伊利诺伊大学厄巴纳-香槟分校）；SMU（新加坡管理大学）
研究了分段平稳组合半强盗问题。与原来的组合半强盗问题相比，我们的设置假设的奖励分布的基础武器可能会改变在一个分段固定的方式在未知的时间步长。我们提出了一种算法，\texttt{GLR-CUCB}，它采用了一种有效的组合半强盗算法，\texttt{CUCB}，几乎无参数的变点检测器，\emph{Generalized Likelihood Ratio Test}（GLRT）。我们的分析表明，\texttt{GLR-CUCB}的遗憾是上界由$\mathcal{O}(\sqrt{NKT\log{T}})$，其中$N$是分段固定段的数量，$K$是基本臂的数量，和$T$是时间步的数量。作为补充，我们还得到了一个几乎匹配的遗憾下界的顺序$Ω(\sqrt{NKT}$），分段固定的多臂土匪和组合半土匪，使用信息理论技术和明智地构建分段固定的土匪实例。我们的下限比最好的遗憾下限$Ω(\sqrt{T})$更紧。在合成数据集和真实数据集上的数值实验证明了\texttt{GLR-CUCB}算法相对于其他最先进算法的优越性。
2020-02-21 cs.LG stat.ML
Dynamic Ensemble Active Learning: A Non-Stationary Bandit with Expert Advice
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习旨在通过预测哪些样本对人类教师标记有用来降低注释成本。然而，很明显，不存在最佳的主动学习算法。受各种关于什么是好的标准的哲学的启发，不同的算法在不同的数据集上表现良好。这促使人们研究主动学习者的集合，这些学习者通常通过多臂强盗算法来学习在给定场景中构成良好标准的内容。虽然算法集成可以带来更好的结果，但它们忽略了一个事实，即算法效率不仅在数据集之间存在差异，而且在单个主动学习会话期间也存在差异。也就是说，最好的标准是非平稳的。这打破了现有算法的保证，并阻碍了它们在实践中的性能。在本文中，我们提出动态集成主动学习作为一个更普遍和有前途的研究方向。我们开发了一个动态集成主动学习器的基础上，非平稳的多臂强盗专家建议算法。我们的动态集成在主动学习的每一步都选择正确的标准。它有理论上的保证，并在$13$流行的数据集上显示出令人鼓舞的结果。
2018-09-29 cs.AI cs.LG stat.ML
DAL: A Practical Prior-Free Black-Box Framework for Piecewise Stationary Bandits
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）
提出检测增强学习（DAL）框架，无需非平稳性先验知识，将任意最优静态赌博机算法与变化检测器结合，在多种非平稳场景下超越现有方法。
2026-06-16 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Non-Stationary Latent Bandits
Google Research（谷歌研究院）
推荐系统的用户经常表现在一个非固定的方式，由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中，我们提出了一个实用的方法，快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗，其中用户行为的原型模型是离线学习的，用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪，分析他们，并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合，这些模型可能会被错误指定，然后使用后验采样在线微调。通过这种方式，我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
Learning to Route and Schedule LLMs from User Retrials via Contextual Queueing Bandits
本文提出基于隐式反馈的联合路由与调度算法，利用用户重试行为进行学习，通过上下文队列老虎机框架实现高效学习和队列稳定。
2026-06-27 cs.LG
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
Taming Non-stationary Bandits: A Bayesian Approach
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
研究了非平稳环境中的多臂强盗问题。基于贝叶斯方法，我们提出了一个变体的汤普森采样，可用于休息和不安的土匪的情况。通过对先验分布的参数进行贴现，我们描述了一种系统地降低过去观测值影响的方法。此外，我们推导出精确的表达式的概率挑选次优武器。通过增加贝叶斯样本的利用价值，我们还提供了一个乐观的版本的算法。在各种情况下进行了大量的实证分析，以验证所提出的算法的效用。还包括与各种状态的手臂算法的比较研究。
2017-07-31 cs.LG stat.ML
On Slowly-varying Non-stationary Bandits
Indian Institute of Science（印度科学院）
我们考虑最小化的动态遗憾，在非平稳的土匪缓慢变化的财产。也就是说，我们假设手臂的回报是随机的，并且随着时间的推移是独立的，但是在任何两个连续的时间步长，任何手臂的期望回报之间的绝对差至多是漂移极限$δ> 0$。针对这一过去没有得到足够重视的情形，我们给出了一个新的算法，它将著名的逐次消去算法自然地推广到了非平稳的bandit情形。我们建立了第一个依赖于实例的后悔上界缓慢变化的非平稳土匪。分析反过来依赖于一个新的表征的实例作为一个可检测的差距，这取决于预期的手臂奖励差异。我们还提供了这个问题的第一个极大极小遗憾下界，使我们能够证明我们的算法本质上是极大极小最优的。此外，这个下限，我们得到的匹配，更一般的总变差预算土匪问题，建立似乎更容易前一个问题至少是困难的更一般的后一个问题在极大极小意义上。我们补充我们的理论结果与实验插图。
2021-10-25 cs.LG stat.ML
Piecewise-Stationary Combinatorial Semi-Bandit with Causally Related Rewards
University of Tübingen（图宾根大学）
研究具有因果相关奖励的分段平稳组合半老虎机问题，提出基于UCB并集成GLR变点检测、组重启策略及图结构追踪机制的算法，理论证明遗憾上界且实验验证其优越性。
2023-07-26 cs.AI cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
A Regret bound for Non-stationary Multi-Armed Bandits with Fairness Constraints
Indian Institute of Science（印度科学学院）
多武装土匪的框架是最常见的平台，研究顺序决策问题的策略。最近，公平的概念在机器学习社区引起了广泛的关注。可以施加公平条件，即在任何给定的时间点，甚至在学习阶段，表现不佳的候选人不应该优先于更好的候选人。这种公平性约束是已知的最严格的，并已在随机多武装匪徒的框架中，在一个固定的设置已经建立了遗憾的界限进行了研究。本文的主要目的是研究这个问题在一个非平稳设置。本文提出了一种新的算法--带探索的公平置信上界公平UCBe算法，用于求解慢变随机$k$ -武装强盗问题。由此我们得到了两个结果：（i）Fair-UCBe确实满足上述公平性条件，（ii）对于某些合适的$α\in (0, 1)$，它达到了$O\left(k^{\frac{3}{2}} T^{1 - \fracα{2}} \sqrt{\log T}\right)$的遗憾界，其中$T$是时间范围.这是第一个公平的算法与次线性遗憾界适用于非平稳土匪尽我们所知。我们表明，我们的算法在非平稳的情况下的性能接近其固定对应的环境中的变化趋于零。
2020-12-24 cs.AI cs.LG
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题，提出LARL算法，通过隐式预测潜在自回归状态形成奖励预测，近似稳态卡尔曼滤波，实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
Non-Stationary Bandit Learning via Predictive Sampling
Jones Graduate School of Business, Rice University（里士满大学沃森商学院研究生院）；Stanford Graduate School of Business（斯坦福商学院）；Department of Management Science and Engineering, Department of Electrical Engineering, Stanford University（斯坦福大学管理科学与工程系、电气工程系）
本文提出预测采样算法，通过区分信息快速失效的行动来改进非平稳环境下的老虎机学习，理论证明其性能并验证其在复杂环境中的有效性。
2026-06-06 cs.LG stat.ML
Non-Stationary Delayed Bandits with Intermediate Observations
DeepMind
在线推荐系统在接收反馈时通常会面临长时间的延迟，特别是在优化一些长期指标时。虽然在静态环境中减轻学习延迟的影响是众所周知的，但当环境发生变化时，这个问题变得更具挑战性。事实上，如果变化的时间尺度与延迟相当，就不可能了解环境，因为现有的观测已经过时。然而，如果中间信号没有延迟地可用，则可以解决所出现的问题，使得给定这些信号，系统的长期行为是稳定的。为了模拟这种情况，我们引入了随机的，非平稳的，延迟土匪与中间观测的问题。我们开发了一个计算效率高的算法UCRL的基础上，并证明次线性后悔保证其性能。实验结果表明，我们的方法是能够学习在非平稳的延迟环境中，现有的方法失败。
2020-08-11 cs.LG stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Partition Tree Weighting for Non-Stationary Stochastic Bandits
Google DeepMind（谷歌DeepMind）
本文针对非平稳随机伯努利赌博机问题，将分区树加权通用源编码从被动预测推广至控制设置，提出一种高效且高性能的算法，解决了动作与观测交织数据流中的自我欺骗问题。
2025-02-26 cs.AI cs.LG
Learning Contextual Bandits in a Non-stationary Environment
University of Virginia（弗吉尼亚大学）
多臂强盗算法已经成为解决推荐系统中的探索/利用困境以及许多其他重要现实问题（如显示广告）的参考解决方案。然而，这样的算法通常假设一个固定的奖励分布，这在实践中很难保持用户的偏好是动态的。这不可避免地使推荐系统的性能不佳。在本文中，我们考虑的情况下，潜在的奖励分布保持不变（可能很短）的时期和变化在未知的时刻。据此，我们提出了一个上下文的强盗算法，检测可能的变化的环境的基础上，其回报估计的信心和更新的手臂选择策略。严格的上后悔界分析所提出的算法证明了它的学习有效性，在这样一个非平凡的环境。对合成和真实世界数据集的广泛实证评估证实了其在不断变化的环境中的实用性。
2018-05-23 cs.LG stat.ML
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Near-Optimal Algorithm for Non-Stationary Kernelized Bandits
MI-6 Ltd.（MI-6有限公司）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
本文针对非平稳核化老虎机问题，首次给出算法无关遗憾下界，并提出带随机排列的重启分阶段消除算法（R-PERP），以低计算成本实现近最优遗憾。
2024-10-21 cs.LG stat.ML
Non-Stationary Lipschitz Bandits
University of Tübingen（图宾根大学）；École Polytechnique, CMAP（巴黎政治学院（CMAP））
针对动作无限、奖励函数可任意变化的非平稳Lipschitz老虎机问题，提出基于动作空间分层离散化的自适应检测显著偏移算法，无需非平稳先验即实现最小最大最优动态后悔界，为该场景首个最优保证。
2025-10-22 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Detection Augmented Bandit Procedures for Piecewise Stationary MABs: A Modular Approach
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究分段平稳多臂Bandit问题，提出检测增强Bandit过程的模块化设计与分析方法，推导出性能下界并开发出阶数最优的新算法，实验验证了其有效性。
2025-11-03 cs.AI cs.LG cs.SY
A New Algorithm for Non-stationary Contextual Bandits: Efficient, Optimal, and Parameter-free
University of Southern California（南加州大学）
我们提出了第一个上下文强盗算法，是无参数，高效，最佳的动态遗憾。具体来说，我们的算法实现了动态遗憾$\mathcal{O}(\min\{\sqrt{ST}, Δ^{\frac{1}{3}}T^{\frac{2}{3}}\})$的上下文强盗问题与$T$轮，$S$开关和$Δ$总变化的数据分布。重要的是，我们的算法是自适应的，不需要提前知道$S$或$Δ$，并可以有效地实现假设访问一个ERM oracle。我们的结果严格地改进了（Luo et al.，2018），并大大推广和改进了（Auer等人，2018）的$\mathcal{O}(\sqrt{ST})$结果，该结果仅适用于没有上下文信息的双臂强盗问题。我们的算法的关键新颖性是引入重放阶段，在该阶段中，算法根据其先前的决定在一定的时间内采取行动，以检测非平稳性，同时保持探索和开发之间的良好平衡。
2019-06-18 cs.LG stat.ML
Kiefer Wolfowitz Algorithm is Asymptotically Optimal for a Class of Non-Stationary Bandit Problems
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
我们考虑为一类强盗问题设计分配规则或“在线学习算法”的问题，其中每次可用的控制动作集$s$是$\mathbb{R}^d$的凸紧子集。当在时间$s$选择动作$x$时，算法获得在$x$处评估的未知且时变函数$f_s$的噪声值。算法的“遗憾”是其预期奖励与策略获得的奖励之间的差距，该策略在每次$s$时都知道函数$f_s$，因此选择使$f_s$最大化的动作$x_s$。对于这个非平稳的强盗问题的设置，我们考虑两个变种的Kiefer Wolfowitz（KW）算法i）KW与固定步长$β$，和ii）KW与滑动窗口的长度$L$。我们表明，如果在时间$T$的函数$f_s$变化的次数是$o(T)$，如果所提出的算法的学习率选择“最佳”，那么所提出的算法的遗憾是$o(T)$，因此算法是渐近有效的。
2017-03-08 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits
Nanjing University（南京大学）
本文重新分析非平稳参数化赌博机的加权策略，提出精细化遗憾框架，得到与窗口/重启方法同样高效的简单算法，并改进 GLB 与 SCB 的遗憾界。
2023-06-07 cs.LG stat.ML
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
