Batched Dueling Bandits
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
$K$ -武装决斗强盗问题，其中的反馈是在噪声成对比较的形式，已被广泛研究。以前的工作只集中在顺序设置的政策适应后，每次比较。然而，在诸如搜索排名和推荐系统的许多应用中，优选地在有限数量的并行批次中执行比较。研究了批量$K$ -武装决斗强盗问题在两种标准条件下的解：（i）Condorcet获胜者的存在性，（ii）强随机传递性和随机三角不等式.对于这两种设置，我们获得的算法与批次和遗憾的数量之间的平滑权衡。我们的遗憾边界匹配最知名的顺序遗憾边界（多对数因子），只使用对数数量的批次。我们用一个几乎匹配的下限来补充我们的遗憾分析。最后，我们还验证了我们的理论结果，通过实验的合成和真实数据。
2022-02-22 cs.LG stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题，传统的多臂土匪问题，其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上，其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序，如网络搜索排名和推荐系统，其中执行顺序更新可能是不可行的。在这项工作中，我们要求：$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$，这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔，其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后，在各种现实世界的数据集的计算实验中，我们观察到，我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法（使用$T$轮）。
2022-09-25 cs.LG stat.ML
Batched Neural Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）；Google Research NYC（谷歌研究院纽约分部）
在许多序贯决策问题中，个体被分成若干批，决策者只允许在批的末尾改变策略。这些批量问题有大量的应用，从临床试验到众包。受此启发，我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法，该算法结合了神经网络与乐观，以解决探索-开发权衡，同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB，并证明它实现了与完全顺序版本相同的遗憾，同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics（上海财经大学）；Columbia University（哥伦比亚大学）
针对批处理多臂老虎机的最优臂识别问题，提出通用线性规划框架及两阶段算法，兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc（Oath公司）
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者，用户参与和社会份额。在雅虎首页，标题测试是使用测试推出策略进行的：我们首先在定义的测试期内将相等比例的流量分配给每个标题变体，然后将所有未来流量转移到性能最好的变体。在本文中，我们介绍了一个多臂强盗（MAB）的方法与批量汤普森采样（bTS）动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明，bTS方法具有较好的鲁棒性，能够准确快速地收敛到最优标题，在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Reconciling Risk Allocation and Prevalence Estimation in Public Health Using Batched Bandits
Stanford University（斯坦福大学）
在许多公共卫生环境中，在向已知的脆弱地区分配资源与了解这一问题的总体普遍性之间存在着明显的紧张关系。受我们帮助设计的一个挨家挨户的新冠病毒检测项目的启发，我们将多臂强盗策略和抽样理论的见解结合起来，演示如何在继续向风险地区分配资源的同时恢复准确的流行率估计。我们以传染病的爆发为例。公共卫生环境有几个特点，使其有别于典型的强盗环境，如分布偏移（真实的疾病流行率随时间而变化）和分批抽样（必须同时作出多项决定）。尽管如此，我们证明了几个强盗算法能够超越贪婪的资源分配策略，这往往比随机分配，因为他们没有注意到在新的领域爆发。
2021-10-25 cs.LG
Batched Single-Index Global Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University（数学系、应用数学与统计学系，凯斯西储大学）；Department of Statistics, Pennsylvania State University（统计系，宾夕法尼亚州立大学）
本文提出了一种新的半参数框架，用于带有协变量的批量老虎机问题，通过引入共享参数和单索引回归模型来捕捉臂奖励之间的关系，提出BIDS算法，在两种设置下推导了理论遗憾界，证明了在协变量维度为1时非参数批量老虎机的最优率。
2026-05-20 cs.LG math.ST stat.ME
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Batched Stochastic Bandit for Nondegenerate Functions
本文针对非退化函数提出几何收窄（GN）算法，以 $\mathcal{O}(\log \log T)$ 个批次实现 $\widetilde{\mathcal{O}}(A_{+}^d \sqrt{T})$ 量级遗憾，并通过下界分析证明其在遗憾和通信轮数上均近最优。
2025-04-08 cs.LG stat.ML
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University（凯斯西储大学）
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题，提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法，具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对在线决策者行为演化历史带来的模仿学习挑战，提出逆批量上下文老虎机（IBCB）框架，将其转化为二次规划问题以高效估计奖励参数和策略，在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Lipschitz Bandits with Batched Feedback
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；School of Data Science, Fudan University（复旦大学大数据学院）
本文提出BLiN算法解决批量反馈下的Lipschitz赌博机问题，仅用O(log log T)个批次即达到理论最优遗憾率。
2023-10-30 cs.LG
Batched Bandits with Crowd Externalities
Microsoft Research（微软研究院）；Sorbonne Université（索邦大学）；Orange Labs（法国电信实验室）
在批量多武装土匪（BMAB）中，不允许在每个时间步更新策略。通常，该设置断言允许的策略更新的最大数量，并且算法调度它们，以便最小化预期的遗憾。在本文中，我们描述了一种新的设置BMAB，具有以下扭曲：的政策更新的时间是不控制的BMAB算法，而是在每批接收的数据量，称为\textit{crowd}，是受过去的选择武器。我们首先设计一个近似的最优策略的参数，我们证明有一个遗憾的$\mathcal{O}(\sqrt{\frac{\ln x}{x}}+ε)$，其中$x$是人群的大小和$ε$是参数误差的近似知识。接下来，我们实现了一个UCB启发的算法，保证额外的遗憾在$\mathcal{O}\left(\max(K\ln T,\sqrt{T\ln T})\right)$，其中$K$是武器的数量和$T$是地平线。
2021-09-29 cs.AI cs.LG
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对边际参数未知的批量非参数上下文老虎机，提出遗憾膨胀准则刻画未知性代价，证明最优遗憾膨胀随时间范围多项式增长，开发RoBIN算法实现最优膨胀，并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
The Batch Complexity of Bandit Pure Exploration
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究随机多臂赌博机纯探索中的批次复杂度，给出任意样本高效算法所需批次数的实例相关下界，并提出通用分批算法证明其上界，在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
The Impact of Batch Learning in Stochastic Bandits
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University in Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
我们考虑强盗问题的一个特殊情况，即成批强盗。出于推荐系统和电子商务平台的自然限制，我们假设一个学习代理在一定的时间内观察成批的响应。与以前的工作不同，我们考虑了一个更实际的批处理学习的批处理为中心的场景。我们提供了一个政策不可知的遗憾分析，并展示了上界和下界的候选政策的遗憾。我们的主要理论结果表明，批量学习的影响可以用在线行为来衡量。最后，我们通过实证实验证明了理论结果的一致性，并对最佳批量选择进行了反思。
2021-11-03 cs.LG stat.ML
Reward Imputation with Sketching for Contextual Batched Bandits
Renmin University of China（中国人民大学）；Tencent Inc.（腾讯公司）
针对上下文批量老虎机未执行动作奖励缺失导致信息利用不足的问题，提出基于随机sketching的奖励插补方法SPUIR，证明其具有次线性遗憾界，在多类数据集上表现优于现有最优基线。
2023-10-07 cs.AI cs.LG
Batched Kernelized Bandits: Refinements and Extensions
National University of Singapore（新加坡国立大学）
本文研究了在批量噪声反馈下进行黑盒优化的问题，改进并扩展了基于核的老虎机的后悔界结果，提出了适应性批量策略，并在鲁棒设置中设计了鲁棒-BPE算法。
2026-03-13 cs.IT cs.LG math.IT
Demystifying Design Choices of Reinforcement Fine-tuning: A Batched Contextual Bandit Learning Perspective
University of Science and Technology of China（中国科学技术大学）；Daqing Oilfield Chongqing Company（重庆大庆油田公司）；IFlyTek (China)（iFlytek（中国））
本文从批量上下文老虎机学习视角，探讨强化微调中设计选择的作用与关键性，通过实验揭示各因素对学习和泛化的影响。
2026-01-30 cs.AI cs.LG
Double Explore-then-Commit: Asymptotic Optimality and Beyond
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了具有亚高斯报酬的多臂强盗问题。探索-然后-提交（ETC）策略，由探索阶段和开发阶段组成，是各种在线决策应用中最广泛使用的算法之一。然而，Garivier et al.（2016）已经表明，ETC在渐近意义上是次优的，因为地平线的增长，因此，比完全顺序策略，如上置信限（UCB）更差。在本文中，我们证明了ETC算法的一个变体实际上可以实现多臂强盗问题的渐近最优性的UCB型算法，并将其扩展到批量强盗设置。具体来说，我们提出了一个双重探索，然后提交（DETC）算法，有两个探索和开发阶段，并证明DETC达到渐近最优的遗憾界。据我们所知，DETC是第一个非完全顺序算法，达到这样的渐近最优。此外，我们将DETC扩展到批量强盗问题，其中（i）探索过程被分成少量批次，（ii）轮复杂性是核心利益。我们证明了一个批量版本的DETC可以达到渐近最优，只有一个常数轮复杂度。这是第一个批量强盗算法，可以同时获得最佳的渐近遗憾界和最佳轮复杂度。
2020-11-19 cs.LG stat.ML
Optimal Batched Linear Bandits
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
本文提出 E$^4$ 算法，通过探索-估计-消除-利用框架解决分批线性赌博机问题，同时实现极小极大与渐近最优遗憾及最优批次复杂度，并在实验中一致优于基线算法。
2024-06-06 cs.LG math.ST stat.ML
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks
研究高维多臂上下文Bandit的批量反馈问题，提出一种可证明样本高效的算法，通过自适应批次分配方法，仅用$\mathcal{O}(\log T)$个批次即可达到与完全串行设置相当的遗憾界。
2023-11-24 cs.LG stat.ML
Breaking the $\log(1/Δ_2)$ Barrier: Better Batched Best Arm Identification with Adaptive Grids
National University of Singapore（新加坡国立大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
针对多臂老虎机批量最优臂识别问题，提出基于自适应网格的算法，通过新颖样本分配方案打破 $\log(1/Δ_2)$ 屏障，实现近优样本复杂度与实例敏感批量复杂度，并扩展至线性老虎机。
2025-01-29 cs.LG
Multi-Agent Dynamic Pricing in a Blockchain Protocol Using Gaussian Bandits
Semiotic Labs（Semiotic 实验室）
Graph Protocol对历史区块链交易数据进行索引，并使其可用于查询。由于该协议是分散的，因此有许多独立的索引器索引并相互竞争以向消费者提供查询。指数公司竞争的一个方面是定价。在本文中，我们提出了一个基于Bandit的算法，通过消费者预算发现索引的收入最大化。我们提出的设计和考虑，我们不得不使一个动态定价算法被多个代理商同时使用。我们讨论了我们的动态定价强盗在模拟和部署到以太坊上运行的一个索引器上的生产中所取得的结果。我们已经开源了我们创建的模拟框架和工具，其他索引器已经开始适应他们自己的工作流程。
2023-01-06 cs.LG q-fin.CP
Improved Regret Analysis for Parallel Gaussian Process Bandit Optimization
Nagoya University（名古屋大学）；MI-6 Ltd.（MI-6有限公司）
本文针对并行GP乐队优化，改进了GP-BTS的遗憾分析，无需初始不确定性采样即可获得不含批量大小乘性因子的遗憾上界，且无噪声设置下性能更优。
2026-09-17 cs.LG stat.ML
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis（加州大学戴维斯分校）
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
Doubly High-Dimensional Contextual Bandits: An Interpretable Model for Joint Assortment-Pricing
University of Notre Dame（圣母大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种基于上下文老虎机的联合选品-定价模型，利用近低秩表示矩阵应对双重高维问题，并证明其遗憾上界，仿真和真实案例均显示该方法在收入和利润上显著优于现有方法。
2023-09-14 cs.AI cs.LG stat.AP
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application（硬件/软件协同设计技术与应用的MoE工程研究中心）；East China Normal University（东华大学）
本文提出了一种改进的随机老虎机框架BARBAT，通过消除K因子实现最优悔恨界，并扩展至多种设置，提升并行化能力与计算效率。
2026-01-02 cs.LG
A Bandit Approach to Online Pricing for Heterogeneous Edge Resource Allocation
边缘计算（EC）通过将云资源定位在终端用户附近，提供卓越的用户体验。有效地分配边缘资源同时最大化EC平台的利润的挑战仍然是一个复杂的问题，特别是随着资源请求的在线到达的复杂性的增加。为了解决这一挑战，我们建议投的问题作为一个多臂的强盗问题，并开发两种新的在线定价机制，Kullback-Leibler上置信界（KL-UCB）算法和最小最大最优算法，异构边缘资源分配。这些机制是实时操作的，并且不需要需求分布的先验知识，这在实践中可能难以获得。拟议的公布定价方案允许用户选择并支付他们首选的资源，平台根据观察到的历史数据动态调整资源价格。数值结果表明，所提出的机制相比，来自传统的强盗算法，包括Epsilon贪婪，基本UCB，和汤普森采样算法的基准计划的优势。
2023-02-14 cs.LG
Human-in-the-Loop Contextual Bandits for Short-Term Rental Dynamic Pricing: Structural Equivalence of Historical Warm-Up and Approval-Gated Live Learning
Oleg Miroshnichenko（奥列格·米罗什尼琴科）
针对短租动态定价中反馈稀疏、决策风险高的问题，提出人机协同门控赌博机框架，证明历史定价数据与在线策略预热数据的结构等价性，并设计正则化岭回归预热方法，将冷启动周期从约150轮压缩至约30轮。
2026-05-22 cs.LG
Online Prompt Pricing based on Combinatorial Multi-Armed Bandit and Hierarchical Stackelberg Game
针对提示捆绑交易场景，提出基于CMAB与层级Stackelberg博弈的在线定价机制，实现消费者、平台和卖家三方利润满意，并在模拟文生图数据集上验证有效性。
2025-09-08 cs.AI cs.LG
Practical and Optimal Algorithm for Linear Contextual Bandits with Rare Parameter Updates
Sanghoon Yu（苏杭oon Yu）；Min-hwan Oh
针对参数更新次数受限的线性上下文赌博机问题，提出两种仅需O(log log T)次参数更新的算法，在静态调度下达到极小化最优遗憾，并显著降低计算复杂度。
2026-08-25 cs.LG stat.ML
Bandit Sequential Posted Pricing via Half-Concavity
School of Computer Science, Georgia Tech（佐治亚理工学院计算机学院）
针对先验未知的序贯定价问题，论文提出老虎机学习算法，利用收入函数的半凹性获得正则与一般分布下关于T近优且紧的遗憾界。
2024-06-12 cs.DS cs.GT cs.LG
Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization
University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
尽管近年来分散式多玩家多武装土匪（MP-MAB）问题的重大利益和许多进展，在异构MP-MAB设置的自然集中下界的遗憾差距仍然是开放的。在本文中，我们提出了BEACON --具有自适应通信的批处理探索--来缩小这一差距。BEACON在隐式通信和有效探索方面做出了新的贡献，实现了这一目标。对于前者，我们提出了一种新的自适应差分通信（ADC）的设计，显着提高了隐式通信效率。对于后者，一个精心制作的批量勘探计划的开发，使合并的组合置信上限（CUCB）的原则。然后，我们将现有的线性奖励MP-MAB问题，其中系统奖励总是单独收集的奖励的总和，一个新的MP-MAB问题，其中系统奖励是一个一般的（非线性）功能的个人奖励。我们扩展了BEACON来解决这个问题，并证明了一个对数遗憾。BEACON桥梁组合MAB（CMAB）和MP-MAB，在MAB的两个很大程度上脱节的领域的算法设计和遗憾分析，本文的结果表明，这种以前被忽视的连接是值得进一步研究。
2021-10-29 cs.IT cs.LG math.IT
Poisson-MNL Bandit: Nearly Optimal Dynamic Joint Assortment and Pricing with Decision-Dependent Customer Arrivals
University of Notre Dame（圣母大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
Poisson-MNL Bandit通过结合上下文MNL选择模型与泊松到达模型，实现近似最优的动态联合assortment与定价，考虑决策依赖的顾客到达对提升决策效果至关重要。
2026-02-18 cs.LG stat.ML
Batched Stochastic Linear Bandits with 1-Bit Communication Constraints
National University of Singapore（新加坡国立大学）；University of Washington（华盛顿大学）
研究在批量大小B和每批仅1比特反馈的通信约束下，随机线性赌博机的遗憾最小化问题，提出了两种基于G-最优设计和1比特均值估计的相位消除算法，实现了接近无约束线性赌博机的最优遗憾。
2026-05-29 cs.IT cs.LG math.IT
Adaptive Discretization against an Adversary: Lipschitz bandits, Dynamic Pricing, and Auction Tuning
MIT（麻省理工学院）；Microsoft Research NYC（微软研究院纽约）
针对对抗收益下Lipschitz赌博机的自适应离散化研究空白，提出Adversarial Zooming算法，推导了兼具最坏情况最优性和实例依赖性的悔界，并将其拓展应用于动态定价、拍卖调优等非平滑对抗场景。
2025-06-12 cs.DS cs.GT cs.LG
Non-Stationary Dynamic Pricing Via Actor-Critic Information-Directed Pricing
National Chengchi University（国立政治大学）；University of California（加利福尼亚大学）；Academia Sinica（中央研究院）
本文提出了一种新的非平稳动态定价算法的设计，定价代理人面对不完全的需求信息和市场环境的变化。代理商进行价格实验，以了解每个产品的需求曲线和利润最大化的价格，同时了解市场环境的变化，以避免提供次优价格的高机会成本。建议ACIDP扩展信息导向抽样（IDS）算法从统计机器学习，包括微观经济选择理论，与一个新的定价策略审计程序，以逃避次优定价后，市场环境的转变。建议ACIDP优于竞争的强盗算法，包括上置信界（UCB）和汤普森采样（TS）在一系列的市场环境的变化。
2022-09-08 cs.LG econ.GN q-fin.EC
Langevin Thompson Sampling with Logarithmic Communication: Bandits and Reinforcement Learning
Yale University（耶鲁大学）；University of California, San Diego（加州大学圣地亚哥分校）
针对汤普森采样的分布假设限制及批量决策的通信成本问题，提出批量朗之万汤普森采样算法，在多臂老虎机和强化学习场景下实现对数级通信成本与最优阶遗憾保证。
2023-06-15 cs.AI cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Bandits with Movement Costs and Adaptive Pricing
Google（谷歌）；Princeton University（普林斯顿大学）；Tel Aviv University（特拉维夫大学）
我们扩展了具有单位转换成本的多臂强盗模型，在行动之间加入了一个度量。我们考虑的情况下，度量的行动可以被建模为一个完整的二叉树，和两个叶子之间的距离是他们的最小共同祖先的子树的大小，抽象的情况下，行动是点上的连续区间$[0,1]$和切换成本是他们的距离。在这种情况下，我们给出了一个新的算法，建立一个遗憾的$\widetilde{O}(\sqrt{kT} + T/k)$，其中$k$是行动的数量和$T$是时间范围。当动作集对应于整个$[0,1]$间隔时，我们可以利用我们的方法来执行具有Lipschitz损失函数的强盗学习任务，其中我们的算法实现了$\widetildeΘ(T^{2/3})$的最佳后悔率，这与没有动作惩罚时获得的后悔率相同。作为我们的主要应用，我们使用我们的新算法来解决自适应定价问题。具体来说，我们考虑的情况下，一个单一的卖方面临着一个流的耐心买家。每个买家都有一个私人价值和一个他们有兴趣购买的时间窗口，如果价格低于他们的价值，他们会以窗口中的最低价格购买。我们表明，与适当的离散化的价格，卖方可以实现一个遗憾的$\widetilde{O}(T^{2/3})$相比，最好的固定价格在事后，这优于以前的遗憾界的$\widetilde{O}(T^{3/4})$的问题。
2017-02-24 cs.GT cs.LG
Adversarial Combinatorial Bandits with Switching Costs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文研究带切换代价的对抗性组合赌博机问题，在赌博机和半赌博机两种反馈下推导极小极大遗憾下界，并提出分批运行的 Batched-Exp2 和 Batched-BROAD 算法逼近下界。
2024-04-02 cs.LG stat.ML
Achieving Limited Adaptivity for Multinomial Logistic Bandits
Microsoft Research India（微软印度研究院）
针对多项式逻辑斯谛老虎机，提出B-MNL-CB和RS-MNL两种算法，分别支持批处理和罕见切换模式，在有限策略更新下实现接近最优的遗憾，并优于每轮更新的基线。
2025-08-05 cs.LG stat.ML
The Traveling Bandit: A Framework for Bayesian Optimization with Movement Costs
University of Michigan（密歇根大学）
本文提出了一种具有移动成本的贝叶斯优化框架，通过整合旅行商问题解决方法，有效降低移动成本并保持与传统方法相当的性能。
2024-10-18 cs.LG stat.ME
Batched Thompson Sampling
Stanford University（斯坦福大学）
我们引入了一种新的随时批量汤普森抽样政策的多武装土匪代理观察她的行动的回报，并调整她的政策，只有在年底的一小部分批次。我们表明，该政策同时实现了一个问题相关的遗憾顺序$O(\log(T))$和一个极大极小遗憾顺序$O(\sqrt{T\log(T)})$，而批次的数量可以有界的$O(\log(T))$独立的问题实例在一个时间范围$T$。我们还表明，在预期中，我们的政策所使用的批次的数量可以由一个实例依赖的顺序$O(\log\log(T))$的界限。这些结果表明，汤普森采样保持相同的性能，在这种批量设置的情况下，当瞬时反馈后，每个动作，同时需要最小的反馈。这些结果还表明，汤普森采样执行竞争力最近提出的算法定制的批量设置。这些算法优化了给定时间范围$T$的批处理结构，并在实验开始时优先考虑探索，以消除次优操作。我们表明，汤普森采样与自适应的自适应策略相结合，可以实现类似的性能，而不知道的时间范围$T$的问题，而不必仔细优化批处理结构，以实现一个目标的遗憾界（即问题相关与极小极大遗憾）为一个给定的$T$。
2021-10-01 cs.LG
Gaussian Process Bandit Optimization with Few Batches
National University of Singapore（新加坡国立大学）
本文研究了小批量的高斯过程（GP）强盗优化的黑箱优化问题。假设未知函数在再生核希尔伯特空间（RKHS）中具有低范数，我们引入了一个批处理有限臂强盗算法的启发，并表明它实现了累积遗憾上限$O^\ast(\sqrt{Tγ_T})$使用$O(\log\log T)$批次在时间范围$T$，其中$O^\ast(\cdot)$符号隐藏维数无关的对数因子和$γ_T$是与内核相关的最大信息增益。这个界限是接近最佳的几个内核的利益和改善典型的$O^\ast(\sqrt{T}γ_T)$界，我们的方法可以说是最简单的算法实现这一改进。此外，在批次数恒定的情况下（不依赖于$T$），我们提出了一种改进的算法，并分析了批次数对遗憾的影响，重点研究了平方指数核和Matérn核.算法的上限被证明是通过类似的算法独立的下限接近极大极小最优。
2022-02-22 cs.IT cs.LG math.IT
Combinatorial Semi-Bandits with Knapsacks
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research NYC（微软研究院纽约市）
我们统一了两个突出的多武装土匪工作线：背包土匪（BwK）和组合半土匪。前者涉及算法消耗的有限“资源”，例如，动态定价中的有限供给。后者允许大量的行动，但假设组合结构和额外的反馈，使问题易于处理。我们定义了一个通用的推广，用几个有启发性的例子来支持它，并设计了一个算法。我们的遗憾界与BwK和组合半强盗的遗憾界相当。
2018-02-20 cs.LG
Contextual Slate GLM Bandits with Limited Adaptivity
Microsoft Research India（微软研究院印度）
针对有限自适应性的上下文式板赌博机问题，提出两种算法B-SlateGLinCB和RS-SlateGLinCB，分别适用于批处理和少切换设置，在多样性假设下实现与非线性参数无关的遗憾界，并具有计算效率。
2026-08-04 cs.LG stat.ML
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University（首尔国立大学）
本文提出了一种批量算法，通过限制匹配更新次数来减少计算开销，同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Fairness Incentives in Response to Unfair Dynamic Pricing
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Université de Montréal（蒙特利尔大学）；Dalhousie University（达尔豪斯大学）；McGill University（麦吉尔大学）
本文针对企业动态定价引发的需求公平问题，设计了一个包含动态社会规划器的模拟经济体，利用多臂老虎机、上下文老虎机和强化学习生成税收与补贴政策以激励公平定价，并引入FairReplayBuffer改善RL采样，显著提升了社会福利。
2024-04-22 cs.CY cs.LG
The Impact of Batch Learning in Stochastic Linear Bandits
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；Tilburg University（蒂尔堡大学）；University of Jyväskylä（于韦斯屈莱大学）
本文研究批量学习在随机线性bandit中的影响，提供与策略无关的遗憾分析，证明批量学习对遗憾的影响为批量大小的乘法因子，并验证了有限臂与无限臂设置的理论一致性。
2022-09-01 cs.LG
