Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Almost Optimal Algorithms for Linear Stochastic Bandits with Heavy-Tailed Payoffs
The Chinese University of Hong Kong（香港中文大学）
在线性随机强盗中，通常假设收益是亚高斯噪声。本文在较弱的噪声假设下，研究了具有h{ \underline e}avy-{ \underline t}支付的\underline{lin}随机{ \underline b}及其分布（LinBET）问题，其中对于某些$ε\in (0,1]$，分布具有有限阶$1+ε$矩.我们严格地分析了LinBET的遗憾下界为$Ω(T^{\frac{1}{1+ε}})$，这意味着2阶有限矩（即，有限方差）产生$Ω(\sqrt{T})$的界，其中$T$是玩强盗游戏的总回合数。所提供的下限还表明，国家的最先进的算法LinBET是远远不是最佳的。通过采用中值的手段与一个精心设计的分配的决定和截断的基础上的历史信息，我们开发了两种新的强盗算法，其中遗憾的上限匹配的下限多对数因子。据我们所知，我们是第一个解决LinBET最佳意义上的多项式阶$T$。我们提出的算法进行评估的基础上合成的数据集，并优于国家的最先进的结果。
2018-11-11 cs.LG stat.ML
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
从先前的任务中学习，并将这些经验转移到提高未来的表现上，对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能，但大多数关于迁移的文献都集中在批量学习任务上。在本文中，我们研究的问题\textit{sequential transfer in online learning}，特别是在多臂强盗框架，其目标是尽量减少累积遗憾的一系列任务，通过逐步转移知识，从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务，并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
A General Recipe for the Analysis of Randomized Multi-Armed Bandit Algorithms
University of Oxford（牛津大学）；Kyoto University（京都大学）
本文提出一种推导随机多臂老虎机算法遗憾界的通用方法，通过验证采样概率和分布族的充分条件证明对数遗憾界，并重新分析了MED和TS算法，还扩展至新的非参数TS算法(h-NPTS)。
2024-11-13 cs.LG stat.ML
Regime Switching Bandits
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）
我们研究了一个多臂强盗问题的奖励表现出政权切换。具体而言，从所有武器产生的随机奖励的分布调制的一个共同的基本状态建模为有限状态马尔可夫链。代理不观察底层状态，必须学习转移矩阵和奖励分布。我们提出了一个学习算法这个问题，建立在隐马尔可夫模型的谱矩估计方法，部分可观察马尔可夫决策过程中的信念误差控制和在线学习的置信上限方法。我们还建立了一个上限$O(T^{2/3}\sqrt{\log T})$所提出的学习算法，其中$T$是学习视野。最后，我们进行概念验证实验来说明学习算法的性能。
2021-02-01 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Robust and Computationally Efficient Linear Contextual Bandits under Adversarial Corruption and Heavy-Tailed Noise
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；The University of Tokyo（东京大学）
本文提出一种计算高效的算法，基于在线镜像下降，实现对对抗性破坏和重尾噪声的鲁棒性，解决了传统方法在计算效率和方差假设上的不足。
2026-03-16 cs.LG
Nearly Optimal Regret for Stochastic Linear Bandits with Heavy-Tailed Payoffs
Nanjing University（南京大学）
本文研究了具有有限行动集的随机线性强盗问题。现有的大多数工作假设收益是有界的或亚高斯的，这可能会违反某些情况下，如金融市场。为了解决这个问题，我们分析了具有重尾收益的线性强盗，其中收益允许有限的$1+ε$矩的一些$ε\in(0,1]$。通过均值中值和动态截断，我们提出了两种新的算法，它们具有$\widetilde{O}(d^{\frac{1}{2}}T^{\frac{1}{1+ε}})$的次线性遗憾界，其中$d$是上下文信息的维度，$T$是时间范围.同时，我们提供了一个$Ω(d^{\fracε{1+ε}}T^{\frac{1}{1+ε}})$下限，这意味着我们的上限匹配的下限$d$和$T$的顺序时，$ε=1$的多对数因子。最后，我们进行了数值实验，以证明我们的算法的有效性和实证结果有力地支持我们的理论保证。
2020-04-28 cs.LG stat.ML
Knapsack based Optimal Policies for Budget-Limited Multi-Armed Bandits
The University of Sydney Business School（悉尼大学商学院）；University of Southampton（南安普顿大学）
在学习受限的多臂强盗（MAB）问题中，学习者的行为是昂贵的，并受到固定预算的约束。因此，最优开发策略可能不是像MAB的其他变体那样反复拉动最优手臂，而是拉动不同手臂的序列，使代理在预算内的总奖励最大化。与现有MAB的这种差异意味着需要新的方法来最大化总回报。有鉴于此，我们开发了两个拉策略，即：（i）KUBE;和（ii）分数KUBE。而前者提供了更好的性能高达40%，在我们的实验设置，后者是计算成本较低。我们还证明了这两个政策的遗憾的对数上界，并表明，这些界限是渐近最优的（即，他们只是不同的最好的可能的遗憾由一个常数因子）。
2012-04-09 cs.AI cs.LG
Regret Minimization in Heavy-Tailed Bandits
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究中心）
在随机多臂强盗模型中，当臂分布为重尾分布时，我们重新研究了经典的后悔最小化问题。后悔最小化问题在有界支持报酬分布或属于单参数指数族的分布的简单设置中得到了很好的研究。我们的工作下，弱得多的假设下，阶$(1+ε)$的时刻是一致有界的一个已知的常数B，对于某些给定的$ε> 0$。我们提出了一个最佳的算法，完全匹配的下限在一阶项。我们也给出了一个有限的时间限制的遗憾。我们表明，我们的指数集中速度比众所周知的截断或修剪经验均值估计重尾分布的平均。计算我们的索引可能需要大量的计算。为了解决这个问题，我们开发了一个基于批量的算法，这是最佳的乘法常数取决于批量大小。因此，我们提供了一个控制的统计最优性和计算成本之间的权衡。
2021-02-07 cs.LG stat.ML
Assouad, Fano, and Le Cam with Interaction: A Unifying Lower Bound Framework and Characterization for Bandit Learnability
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；New York University（纽约大学）；National University of Singapore（新加坡国立大学）
该研究提出交互Fano方法与分数覆盖数，统一了统计估计与交互决策的下界框架，刻画了随机赌博机可学习性，弥合了凸模型类交互决策问题上下界的多项式因子内差距。
2024-12-06 cs.IT cs.LG math.IT
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个无约束的强盗问题，其中每个手臂拉招致一个随机的成本，并产生一个随机的回报。目标是在总成本的预算约束下，最大化总期望报酬。该模型是通用的，因为它允许相关且可能重尾的成本回报对，这些对可以根据许多应用的要求呈现负值。我们表明，如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对，$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界，我们提出了算法，利用成本和回报之间的相关性，通过提取共同的信息，通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界，并表明，所提出的算法实现紧问题相关的遗憾界，这是最佳的联合高斯成本和奖励对的情况下，一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem
University of Rochester（罗切斯特大学）
本文考虑了Locatelli等人最近提出的多臂阈值强盗问题-通过尽可能少的拉动（或回合）来识别预期奖励高于预定义阈值的所有手臂。虽然Locatelli等人提出的算法。[2016]在一定意义上实现了最优轮复杂度，但仍然存在未解决的问题。本文提出了一种异步并行阈值算法及其无参数版本，以提高效率和适用性。一方面，这两种算法在每轮都使用经验方差来指导拉取决策，显著提高了“最优”算法在所有手臂高阶矩有界时的轮复杂度。所提出的算法可以被证明是最优的。另一方面，大多数强盗算法假设在拉取之后可以立即观察到奖励，或者在观察到所有奖励之前不会做出下一个决定。我们提出的异步并行算法允许选择下一个拉与未观察到的奖励从早期的拉，这避免了这样一个不切实际的假设，并显着提高了识别过程。我们的理论分析证明了所提出的异步并行算法的有效性和效率。
2017-07-09 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）；IIT Madras（印度理工学院马德拉斯分校）
传统的多臂强盗（MAB）公式通常对底层武器的分布做出某些假设，例如支持的边界或它们的尾部行为。此外，这种参数信息通常被“烘焙”到算法中。在本文中，我们表明，专门的算法，利用这样的参数信息时，参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的：（i）我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置，及（ii）我们提出了两类算法是渐近接近最优的。此外，我们考虑了一个风险意识的最佳臂识别标准，其中与每个臂相关的目标是平均值和条件风险值（CVaR）的线性组合。在整个过程中，我们做了一个非常温和的“有界矩”假设，这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Optimal Algorithms for Stochastic Multi-Armed Bandits with Heavy Tailed Rewards
Seoul National University（首尔大学）；UNIST（蔚山科学技术院）
本文研究了具有重尾报酬的随机多臂强盗（MABs），其$p$阶矩对于$ν_{p}$是有界的.首先，我们提出了一种新的鲁棒估计器，它不需要$ν_{p}$作为先验信息，而其他现有的鲁棒估计器需要关于$ν_{p}$的先验知识。我们表明，所提出的估计的误差概率指数衰减快。使用这个估计，我们提出了一个扰动为基础的探索策略，并开发了一个广义的遗憾分析计划，通过揭示遗憾和扰动的累积密度函数之间的关系，提供了上下限的遗憾。从所提出的分析方案，我们得到了间隙相关和间隙无关的上，下各种扰动的遗憾界。我们还找到了每个扰动的最优超参数，它可以实现关于总轮数的最小最大最优遗憾界。在模拟中，所提出的估计器表现出良好的性能相比，现有的鲁棒估计器的各种$p$值，对于MAB问题，所提出的扰动策略优于现有的探索方法。
2021-10-27 cs.LG stat.ML
Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；OpenAI；Google（谷歌）；Google Research（谷歌研究院）
本文利用Catoni稳健估计量设计上下文赌博机算法，在重尾奖励下实现仅依赖方差、对奖励范围呈对数依赖的遗憾界，并证明其最优性。
2025-02-04 cs.LG stat.ML
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Statistical Inference for Misspecified Contextual Bandits
Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计系）；School of Data Science and Society, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校数据科学与社会学院）
针对情境赌博机数据，在结果模型误指定下，提出逆概率加权Z估计框架，通过缩放逆倾向收敛条件实现一致估计和有效推断。
2026-06-23 cs.LG stat.ML
An Actor-Critic Contextual Bandit Algorithm for Personalized Mobile Health Interventions
Amazon（亚马逊）；University of Michigan（密歇根大学）；Radcliffe Institute, Harvard University（哈佛大学拉德克利夫研究所）
智能手机和可穿戴设备的日益成熟和广泛使用为创新和高度个性化的健康干预提供了机会。即时自适应干预（JITAI）利用现代移动设备的实时数据收集和通信功能，实时提供适应用户即时需求的干预措施。尽管JITAIs在临床科学家中越来越受欢迎，但在构建基于数据的JITAIs方面缺乏方法学指导仍然是推进JITAI研究的障碍。在这篇文章中，我们第一次尝试弥合这一方法上的差距，制定的任务，剪裁干预措施，实时作为一个上下文强盗问题。在移动健康领域的可解释性要求导致我们制定不同的问题，从现有的配方旨在为网络应用程序，如广告或新闻文章的位置。在线性回报函数的假设下，我们选择的回报函数（“批评家”）参数化分别从随机政策（“演员”）的低维参数化。我们提供了一个在线的演员-评论家算法，指导JITAI的建设和完善。的演员评论家算法的渐近性质的开发和支持的数值实验。通过数值实验验证了该算法在上下文强盗算法分析中所使用的理想化假设被打破时的鲁棒性。
2022-04-22 cs.LG stat.ML
Distributed Online Learning via Cooperative Contextual Bandits
UCLA（加州大学洛杉矶分校）
在本文中，我们提出了一个新的框架，分散，在线学习的许多学习者。在每个时刻，由特定上下文表征的实例可能到达每个学习者;基于上下文，学习者可以选择自己的动作之一（给予奖励并提供信息）或请求另一个学习者的帮助。在后一种情况下，请求者支付成本并获得奖励，但提供者了解信息。在我们的框架中，学习者被建模为合作的上下文土匪。每个学习者都寻求从其到达的预期回报最大化，这涉及到权衡从自己的行动中获得的回报，从自己的行动中学习到的信息，从他人请求的行动中获得的回报以及为这些行动支付的成本-考虑到它从每个其他学习者那里学到的关于帮助价值的知识。我们开发了分布式在线学习算法，并提供了分析边界，以比较这些算法的效率与完整的知识（Oracle）基准（其中每个动作的预期回报在每个上下文中是已知的每个学习者）。我们的估计表明，后悔-算法产生的损失-是次线性的时间。我们的理论框架可以用于许多实际应用，包括大数据采掘，事件检测在监测传感器网络和分布式在线推荐系统。
2015-03-23 cs.LG stat.ML
First- and Second-Order Bounds for Adversarial Linear Contextual Bandits
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究对抗性线性上下文赌博机问题，在对数凹假设下利用截断连续指数权重算法，得出了基于累积二阶矩和最佳策略累积损失的一阶与二阶遗憾界限，改进了良性环境下的最坏情况遗憾。
2023-05-24 cs.LG stat.ML
A New Bandit Setting Balancing Information from State Evolution and Corrupted Context
Center for Applied Intelligent Systems Research（应用智能系统研究中心）；Halmstad University（哈尔姆斯塔德大学）
针对移动健康等场景中状态不可观测、上下文可能被污染的序贯决策问题，提出融合上下文老虎机与多臂老虎机策略的算法，通过马尔可夫状态转移建模提升决策效率，实验验证其性能优于现有方法。
2023-11-05 cs.LG stat.ML
Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；Center for Advanced Intelligence Project, RIKEN, Japan（先进人工智能项目中心，RIKEN，日本）
针对重尾随机线性老虎机问题，提出基于在线镜像下降的单次遍历算法，将每轮计算成本降至常数级，同时实现接近最优的方差感知遗憾界。
2025-06-12 cs.LG stat.ML
Distribution oblivious, risk-aware algorithms for multi-armed bandits with unbounded rewards
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
经典的多臂强盗问题使用臂的期望值作为度量来评估其优度。然而，期望值是一个风险中性指标。在金融等许多应用中，人们感兴趣的是平衡手臂（或投资组合）的预期回报与与回报相关的风险。在本文中，我们考虑的问题，选择的手臂，优化的线性组合的预期回报和相关的条件风险价值（CVaR）在一个固定的预算最佳手臂识别框架。我们允许奖励分布是无界的，甚至是重尾的。对于这个问题，我们的目标是设计出完全不受分布影响的算法，即，该算法不知道关于回报分布的任何信息，包括矩/尾的界限，或跨臂的次优性间隙。在本文中，我们提供了一类这样的算法与可证明的上界的概率不正确的识别。在这个过程中，我们开发了一个新的估计的CVaR的无界（包括重尾）随机变量，并证明了浓度不等式相同，这可能是独立的利益。我们还比较了我们的分布遗忘算法与标准的非遗忘算法的误差界。最后，数值实验表明，我们的算法相比，非遗忘算法的竞争力，这表明分布遗忘可以在实践中实现，而不会产生显着的性能损失。
2019-06-03 cs.LG stat.ML
Best Arm Identification for Contaminated Bandits
Massachusetts Institute of Technology（麻省理工学院）
本文研究了鲁棒统计背景下的主动学习。具体来说，我们提出了一个变种的最佳手臂识别问题的\emph{contaminated bandits}，其中每个手臂拉有概率$\varepsilon$生成一个样本从任意的污染分布，而不是真正的底层分布。目标是以高概率确定最佳（或近似最佳）真实分布，其次是保证该分布的质量。污染的强盗设置的主要挑战是，真正的分布是只有部分可识别的，即使有无限的样本。为了解决这个问题，我们开发了紧密的，非渐近的样本复杂性边界的前两个强大的时刻（中位数和中位数绝对偏差）从污染的样本的高概率估计。这些浓度不等式的主要技术贡献的文件，可能是独立的利益。利用这些结果，我们适应几个经典的最佳手臂识别算法的污染的强盗设置，并推导出样本复杂度上界为我们的问题。最后，我们提供了匹配信息理论上的样本复杂度（小对数因子）的下界。
2019-05-15 cs.LG math.ST stat.ML
Quantum Heavy-tailed Bandits
KAUST（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Purdue University（普渡大学）
本文研究了具有重尾奖励和量子奖励预言的多臂强盗（MAB）和随机线性强盗（SLB）。与以前的工作量子强盗，假设有界/亚高斯分布的奖励，在这里，我们研究量子强盗问题下的一个较弱的假设，奖励的分布只有有界的$(1+v)$ -th时刻的一些$v\in (0,1]$。为了实现对重尾土匪的遗憾改善，我们首先提出了一个新的重尾分布的量子平均估计，这是基于量子蒙特卡罗平均估计，并实现了估计误差的二次改进相比，经典的。基于我们的量子平均估计，我们专注于量子重尾单克隆抗体和SLB和提出量子算法的上置信限（UCB）框架的基础上的问题与$\Tilde{O}(T^{\frac{1-v}{1+v}})$遗憾，多项式改善的依赖性$T$相比，经典的（近）最佳遗憾的$\Tilde{O}(T^{\frac{1}{1+v}})$，其中$T$是轮数。最后，实验也支持我们的理论结果，并显示我们所提出的方法的有效性。
2023-01-23 cs.AI cs.LG
A Zeroth-Order Momentum Method for Risk-Averse Online Convex Games
KTH Royal Institute of Technology（KTH皇家理工学院）；Digital Futures（数字未来中心）；Duke University（杜克大学）；Air Force Research Laboratory（美国空军研究实验室）
我们考虑在重复未知的游戏中的风险厌恶学习，其中代理的目标是最大限度地减少他们的个人风险，从而产生显着的高成本。具体而言，代理使用条件风险值（CVaR）作为风险度量，并依赖于强盗反馈的形式，在每一集的成本值的选择行动，以估计其CVaR值和更新他们的行动。使用强盗反馈估计CVaR的一个主要挑战是，代理只能访问自己的成本值，然而，这取决于所有代理的行动。为了解决这一挑战，我们提出了一个新的风险厌恶学习算法的动量，利用完整的历史信息的成本值。我们表明，该算法实现了次线性的遗憾，并在文献中最知名的算法相匹配。我们提供了一个古诺游戏的数值实验表明，我们的方法优于现有的方法。
2022-09-06 cs.GT cs.LG stat.ML
Catoni-Style Change Point Detection for Regret Minimization in Non-Stationary Heavy-Tailed Bandits
Politecnico di Milano（米兰理工学院）；JPMorgan AI Research（摩根大通人工智能研究）
本文针对非平稳重尾老虎机问题，提出基于Catoni式变点检测的Robust-CPD-UCB算法，结合乐观策略，给出遗憾上界与下界，并通过实验验证。
2025-05-26 cs.LG
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology（国防科技大学理学院）
针对对抗性线性上下文赌博机，提出在线内在线元学习算法 Meta-LinEXP3，利用任务先验指导内部学习器，实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
Adaptive Random Matrices in Gaussian Bandits: Spectral Universality and Selection-Induced Outliers
Abstract Math Institute（抽象数学研究所）
本文研究高斯老虎机中自适应臂选择对观测谱的影响，证明在臂数对数次线性增长时谱收敛于Marchenko-Pastur定律，并揭示选择诱导的离群值与方向效应。
2026-09-28 cs.LG math.PR math.ST
Damage-Aware Bandit Pruning for Vision and Language Transformers
University of Salford（索尔福德大学）
提出损伤感知Bandit剪枝方法，将Transformer结构化单元选择建模为多臂Bandit问题，在固定预算下通过掩蔽损失配对评估，实验表明优于预算贪心方法。
2026-09-09 cs.AI cs.LG
Adaptive Best-of-Both-Worlds Algorithm for Heavy-Tailed Multi-Armed Bandits
Tsinghua University（清华大学）
在本文中，我们推广的概念，重尾多武装匪徒的对抗环境中，并开发了强大的两全其美的算法重尾多武装匪徒（MAB），其中损失的$α$ -th（$1<α\le 2$）时刻有界的$σ^α$，而方差可能不存在。具体地说，我们设计了一个算法\texttt{HTINF}，当重尾参数$α$和$σ$为智能体所知时，\texttt{HTINF}同时实现了随机环境和对抗环境下的最优后悔，而无需先验地知道实际的环境类型.当$α,σ$未知时，\texttt{HTINF}在随机情况下实现了$\log T$式的实例依赖后悔，在对抗情况下实现了$o(T)$无后悔保证.我们进一步开发了一个算法\texttt{AdaTINF}，实现$\mathcal O(σK^{1-\nicefrac 1α}T^{\nicefrac{1}α})$ minimax最优遗憾，即使在对抗设置，没有先验知识的$α$和$σ$。这一结果与已知的后悔下限相匹配（Bubeck等人，2013），其假设随机环境，并且$α$和$σ$都是已知的。据我们所知，所提出的\texttt{HTINF}算法是第一个享受两全其美的遗憾保证，和\texttt{AdaTINF}是第一个算法，可以适应$α$和$σ$，以实现最佳的间隙独立的遗憾界在经典的重尾随机MAB设置和我们的新的对抗配方。
2022-06-13 cs.LG
Conflict-free collective stochastic decision making by orbital angular momentum of photons through quantum interference
The University of Tokyo（东京大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Institut Néel（奈尔研究所）
在最近的光学和计算的交叉学科研究中，基于单光子的决策已经被证明是利用光的波粒二象性来解决多臂强盗问题。此外，基于纠缠光子的决策已经成功地解决了竞争性的多臂强盗问题，避免了参与者之间的决策冲突，同时确保了平等。然而，由于这些研究是基于光的偏振，可用的选择的数量仅限于两个，对应于两个正交的偏振态。在这里，我们提出了一个可扩展的原则来解决竞争决策的情况下，通过使用光子的轨道角动量的基础上，其高维，理论上允许无限数量的武器。此外，通过将Hong-Ou-Mandel效应扩展到两个以上的状态，我们在理论上建立了一个实验配置，能够产生多光子态的轨道角动量和条件，提供无冲突的选择在每一个回合。我们用数值方法研究了三臂强盗问题的总回报，所提出的策略几乎达到了理论最大值，这比传统的混合策略要大，以实现纳什均衡。这要归功于量子干涉效应，它实现了无冲突的选择，即使在探索阶段也能找到最好的武器。
2021-09-18 cs.ET cs.LG physics.optics
Queue Scheduling with Adversarial Bandit Learning
Tsinghua University（清华大学）；University of Southern California（南加州大学）
本文研究了具有零瞬时网络条件知识的排队系统的调度问题。我们考虑一个由$K$队列组成的单跳服务器排队系统，每个队列具有时变和非平稳的到达率和服务率。我们的调度方法建立在一个创新的组合对抗强盗学习和李雅普诺夫漂移最小化，没有知识的瞬时网络状态（到达率和服务率）的每个队列。然后，我们提出了两个新的算法\texttt{SoftMW}（SoftMaxWeight）和\texttt{SSMW}（滑动窗口SoftMaxWeight），都能够稳定的系统，可以稳定的一些（可能是未知的）序列的随机政策，其时间变化满足一个温和的条件。我们进一步推广我们的结果的设置，到达和离开只有有界的时刻，而不是被确定性有界，并提出\texttt{SoftMW+}和\texttt{SSMW+}，能够稳定的系统。作为我们新算法的构建块，我们还扩展了经典的\texttt{EXP3.S}（Auer等人，2002）算法来处理无限大的反馈信号，这可以是独立的兴趣。
2023-03-03 cs.LG cs.PF cs.SY
Efficient Algorithms for Generalized Linear Bandits with Heavy-tailed Rewards
City University of Hong Kong（香港城市大学）；The City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Waterloo（滑铁卢大学）；Zhejiang University（浙江大学）；JD AI Research（京东人工智能研究院）；Nanjing University（南京大学）；Peng Cheng Laboratory（鹏城实验室）
本文针对重尾奖励的广义线性赌博机问题，提出基于截断和中位数均值的两种高效算法，实现几乎最优遗憾界，并在计算开销和在线学习能力上优于现有方法。
2023-10-28 cs.LG
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore（新加坡国立大学）
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机，给出极小极大遗憾下界，并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Extended UCB Policies for Multi-armed Bandit Problems
School of Mathematics and Physics（数学与物理学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；School of Mathematics（数学学院）；Nanjing University（南京大学）；National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）
本文研究了重尾奖励分布下的多臂老虎机问题，提出了扩展稳健UCB策略，将已有矩条件推广至任意 $p>q>1$ 并保持最优遗憾阶 $O(log T)$，同时在仅知 $p$ 阶矩存在时实现近最优遗憾。
2025-09-15 cs.LG math.PR math.ST
Parameter-Free Heavy-Tailed Bandits
Politecnico di Milano（米兰理工大学）
该研究解决COLT 2025开放问题，提出无参数调度探索算法，实现未知重尾多臂老虎机的自适应，刻画了未知尾参数的统计代价。
2026-08-03 cs.LG
Regret Tail Characterization of Optimal Bandit Algorithms with Generic Rewards
Department of ECE（电子工程系）；Indian Institute of Science（印度科学研究院）；Bangalore, India（印度班加罗尔）
本文研究了在随机老虎机中，渐近最优算法的regret尾部行为，提出了一种非参数奖励分布下的扩展算法，并推导了regret尾部概率的新上界。
2026-04-16 cs.IT cs.LG math.IT
When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海人工智能实验室）；Stanford University（斯坦福大学）
该研究针对带可验证奖励的强化学习，通过多臂老虎机公式分析EMA动量的作用，证明在安全范围内增大β可加速优化，且在大模型后训练中增大β₁能提升验证准确率。
2026-10-15 cs.AI cs.LG math.OC
Discrepancy-Rounded Fair Bandits with Static and Time-Varying Exposure Floors
研究具有曝光下限的随机博弈舍入问题，提出分块模型，如 BDQ-UCB 等算法，在不同场景下有相应遗憾界，实验验证算法在合成数据等测试中能精确可行且遗憾与基线有竞争力。
2026-07-28 cs.LG
Deterministic Sequencing of Exploration and Exploitation for Multi-Armed Bandit Problems
University of California, Davis（加州大学戴维斯分校）
提出基于探索与利用确定性排序（DSEE）的策略，针对轻尾分布实现最优对数遗憾，针对重尾分布达到次优遗憾，并推广到多种MAB变体。
2013-03-09 cs.LG cs.SY eess.SY
Order Optimal Regret Bounds for Sharpe Ratio Optimization under Thompson Sampling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；IIT Delhi（印度理工学院德里分校）
本文研究了在随机多臂老虎机设置中最大化夏普比率的顺序决策问题，提出了一种夏普比率汤普森采样算法，通过高斯奖励模型中的正态-伽玛共轭后验来捕捉均值和精度的不确定性，建立了有限时间分布依赖的O(log n)上界和信息论下界，证明了算法的最优性。
2026-04-01 cs.IT cs.LG math.IT
On Fractional Moment Estimation from Polynomial Chaos Expansion
Brno University of Technology（布尔诺理工大学）；TU Dortmund University（多特蒙德工业大学）
针对昂贵模型分数阶矩抽样估计困难，提出直接利用 PCE 系数前四阶矩并借助 Hölder 不等式解析估计任意分数阶矩的方法，数值实验表明其分布估计优于拉丁超立方抽样。
2024-03-04 cs.LG stat.ME
Parameter estimation of the homodyned K distribution based on neural networks and trainable fractional-order moments
Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
在超声成像、光学等研究领域中，均速K（HK）分布被广泛用于描述散射现象。在这项工作中，我们提出了一个基于机器学习的方法来估计的HK分布参数。我们开发的神经网络，可以估计HK分布参数的基础上的信噪比，偏度和峰度计算分数阶矩。与以前的方法相比，我们将矩的阶数视为可训练变量，可以使用反向传播算法与网络权重一起优化。网络基于从HK分布生成的样本进行训练。结果表明，该方法可以准确地估计HK分布参数。
2022-12-16 cs.LG physics.data-an physics.med-ph
