Decentralized Competing Bandits in Non-Stationary Matching Markets
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云科技人工智能）；UC Berkeley（加州大学伯克利分校）
了解双边在线匹配市场的复杂动态，需求方代理商竞争与供应方（武器）匹配，最近收到了很大的兴趣。为此，在本文中，我们介绍了非平稳（动态）环境下的分散双边匹配市场的框架。我们坚持串行独裁设置，需求方代理商有未知的和不同的偏好，供应方（武器），但武器有固定的和已知的偏好。我们提出并分析了一个分散和异步的学习算法，即分散的非平稳竞争土匪（\texttt{DNCB}），其中代理人发挥（限制性）连续消除型学习算法，以了解他们的偏好的武器。理解这样一个系统的复杂性源于这样一个事实，即竞争的强盗以异步的方式选择他们的行动，并且较低排名的代理只能从一组手臂中学习，而不是由较高排名的代理学习PDMATHAMN，这导致\emph{forced exploration}。仔细定义的复杂性参数，我们描述了这个\emph{forced exploration}，并获得次线性（对数）遗憾的\texttt{DNCB}。此外，我们通过实验验证了我们的理论研究结果。
2022-05-31 cs.IT cs.LG math.IT
Dominate or Delete: Decentralized Competing Bandits in Serial Dictatorship
AWS AI（亚马逊云科技人工智能部门）；UC Berkeley（加州大学伯克利分校）；Google（谷歌公司）；UT Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书公司）
双边匹配市场中的在线学习，需求方代理不断竞争与供应方（手臂）匹配，在匹配平台（例如UpWork，TaskRabbit）上的部分信息下抽象复杂的交互。我们研究了分散的串行独裁设置，双边匹配市场的需求方代理商有未知的和异质的估值超过供应方（武器），而武器有已知的统一偏好的需求方（代理商）。我们设计了第一个分散的算法- UCB与分散的主导臂删除（UCB-D3），代理，不需要任何知识的奖励差距或时间范围。UCB-D3分阶段工作，在每个阶段中，代理删除\emph{dominated arms} -高级代理首选的武器，并根据UCB仅从非劣势武器进行游戏。在该阶段结束时，代理以分散的方式广播，通过{ \em纯开发}估计他们的首选武器。我们证明了这两个，一个新的遗憾下界的分散串行独裁模型，UCB-D3是顺序最优的。
2021-03-12 cs.DS cs.GT cs.LG
Competing Bandits in Time Varying Matching Markets
University of California, Irvine（加州大学欧文分校）；University of California, Berkeley（加州大学伯克利分校）
研究了双边非平稳匹配市场中的在线学习问题，目标是收敛到一个稳定的匹配。特别是，我们考虑的设置，其中一方的市场，武器，有固定的一套已知的偏好，在另一边，球员。虽然这个问题已经研究了当球员有固定的，但未知的偏好，在这项工作中，我们研究的问题是如何学习时，球员的偏好是随时间变化的和未知的。我们的贡献是一种方法，可以处理任何类型的偏好结构和变化的情况。我们表明，与所提出的算法，每个球员收到一个统一的子线性遗憾的{ $\widetilde{\mathcal{O}}(L^{1/2}_TT^{1/2})$ }的数量变化的代理，$L_T$的基本偏好。因此，我们表明，单智能体学习的最佳速率可以实现，尽管竞争的差异是一个恒定的因素。我们还讨论了该算法的扩展的情况下，变化的数量不需要已知的先验。
2023-01-12 cs.GT cs.LG cs.MA
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Regret, stability & fairness in matching markets with bandit learners
Massachusetts Institute of Technology（麻省理工学院）
做出明智的决定-例如，在选择职业或住房时-需要了解现有的选择。这些知识通常是通过昂贵的试错来获得的，但这种学习过程可能会被竞争所破坏。在这项工作中，我们研究了竞争如何影响个人学习的长期结果。我们建立在一条工作线上，将这种设置建模为具有强盗学习者的双边匹配市场。最近的一个结果表明，这是不可能的，同时保证两个自然desiderata：稳定性和低最佳遗憾的所有代理。资源分配平台可以将这一结果作为将良好的长期结果分配给某些代理人而将不良结果分配给其他代理人的理由。我们表明，这种不可能性不一定成立。特别是，通过模拟竞争的两个额外的组成部分-即，成本和转移-我们证明，它是可以同时保证四个必要的：稳定性，低最佳遗憾，公平分配的遗憾，高社会福利。
2022-04-13 cs.GT cs.LG cs.MA
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
The Perils of Exploration under Competition: A Computational Modeling Approach
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）
我们实证研究探索和竞争之间的相互作用。从与用户的交互中学习的系统通常参与探索：做出潜在的次优决策，以便为未来的决策获取新信息。然而，当多个系统竞争同一个用户市场时，探索可能会在短期内损害系统的声誉，并产生不利的竞争影响。特别是，当短期声誉成本减少了系统学习的用户数量时，系统可能会进入“死亡螺旋”，这会降低其相对于竞争的性能，并进一步降低其市场份额。我们问更好的探索算法是否在竞争下被激励。我们在一个程式化的双寡头模型中进行了大量的数值实验，其中两家公司部署了多臂强盗算法，并争夺近视用户。我们发现，双头垄断和垄断倾向于一个原始的“贪心算法“，不探索，导致低消费者福利，而一个临时垄断（双头垄断与早期进入者）可能会激励更好的强盗算法，导致更高的消费者福利。我们的研究结果揭示了数字经济中的先发优势，探索了数据作为在线市场进入障碍的作用。
2019-05-01 cs.GT cs.LG
An Opportunistic Bandit Approach for User Interface Experimentation
University of California, Davis（加州大学戴维斯分校）；Target Corporation（塔吉特公司）
面对来自网上竞争对手的日益激烈的竞争，零售业正越来越多地投资于其网上购物平台，以赢得客户忠诚度的高风险战斗。用户体验在这场竞争中发挥着至关重要的作用，零售商正在不断试验和优化其用户界面，以获得更好的用户体验。实验的成本主要由向客户提供次优服务的机会成本决定。通过本文，我们证明了机会主义强盗的有效性，使实验尽可能便宜，使用真实的在线零售数据。事实上，我们将用户界面实验建模为一个机会主义的强盗问题，其中探索的成本根据从客户特征中提取的因素而变化。我们通过减少昂贵的探索和提供额外的上下文信息来帮助指导测试过程，从而大大减少了遗憾。此外，我们分析了使用机会主义强盗在线零售实验的优势和挑战。
2020-06-21 cs.LG stat.ML
Competition, Alignment, and Equilibria in Digital Marketplaces
University of California, Berkeley（加州大学伯克利分校）
众所周知，传统平台之间的竞争通过使平台的行为与用户偏好相一致来提高用户效用。但是，在数据驱动的市场中，一致性在多大程度上得到了体现？为了从理论的角度研究这个问题，我们引入了一个双寡头市场，其中平台行为是强盗算法，两个平台竞争用户参与。这个市场的一个显著特征是，推荐的质量取决于强盗算法和用户交互提供的数据量。算法性能和用户行为之间的这种相互依赖性使市场均衡的结构及其在用户效用方面的质量变得复杂。我们的主要发现是，在这个市场的竞争并不完全符合市场结果与用户效用。有趣的是，市场结果不仅在平台具有单独的数据存储库时表现出不一致，而且在平台具有共享数据存储库时也表现出不一致。尽管如此，数据共享的假设会影响导致错位的机制，也会影响错位的具体形式（例如，最佳情况和最差情况的市场结果的质量）。更广泛地说，我们的工作表明，数字市场的竞争对用户效用有微妙的影响，值得进一步研究。
2023-01-16 cs.GT cs.LG econ.TH
Multiplayer Bandit Learning, from Competition to Cooperation
本文研究双人随机多臂赌博机中竞争与合作对探索-利用权衡的影响，证明竞争减少探索、合作增加探索，中性参与者通过相互学习获得更高总奖励，并分析了不同合作参数下纳什均衡的收敛行为。
2024-01-12 cs.GT cs.LG econ.TH
Bandit based centralized matching in two-sided markets for peer to peer lending
Arizona State University（亚利桑那州立大学）
研究双边P2P借贷市场中的顺序融资问题，提出基于顺序决策的匹配技术，帮助放款人在竞争不确定性下动态调整投资选择，并分析放款人遗憾与初始偏好的关系。
2023-08-02 cs.LG
Strategic Multi-Armed Bandit Problems Under Debt-Free Reporting
CREST, ENSAE（CREST经济与统计研究中心，法国国立统计与经济管理学校）；Criteo AI Lab（Criteo人工智能实验室）；FairPlay joint team（FairPlay联合团队）
研究策略性臂仅部分披露奖励的多臂老虎机问题，提出新机制促使臂诚实披露奖励，使智能体获得第二高真实奖励且累积遗憾受限。
2025-01-27 cs.GT cs.LG
Exploiting Transitivity for Top-k Selection with Score-Based Dueling Bandits
University of Warwick（华威大学）
研究了具有分数信息的Dueling Bandit问题中的top-k子集选择问题。现实世界的成对排序问题往往表现出高度的传递性和先前的工作建议抽样方法，利用这种传递性，通过使用参数偏好模型，如布拉德利-特里-卢斯（BTL）和瑟斯顿模型。到目前为止，这项工作的重点是样本结果是赢/输二元反应的情况下。我们扩展到选择问题，抽样结果包含定量信息，提出了一个瑟斯顿风格的模型和适应成对最优计算预算分配子集选择（POCBAm）抽样方法，利用该模型进行有效的样本选择。我们对标准POCBAM和其他竞争算法的实证性能进行比较。
2020-12-31 cs.LG
Learning to Identify Top Elo Ratings: A Dueling Bandits Approach
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods, GSAI, Renmin University of China（中国人民大学高瓴人工智能学院大数据管理与分析方法北京市重点实验室）
Elo评分系统被广泛用于评估（国际象棋）比赛和体育运动员的技能。最近，它也被集成到机器学习算法中，用于评估计算机化人工智能智能体的性能。然而，对Elo等级（针对顶级玩家）的准确估计通常需要多轮比赛，这可能是昂贵的。在本文中，为了提高样本效率的Elo评价（顶级球员），我们提出了一个有效的在线比赛调度算法。具体来说，我们通过决斗强盗框架识别和匹配顶级玩家，并根据Elo的梯度更新量身定制强盗算法。我们表明，它减少了每一步的内存和时间复杂度为常数，相比传统的似然最大化方法需要$O(t)$的时间。我们的算法有一个遗憾的保证$\tilde{O}(\sqrt{T})$，次线性的比赛轮数，并已扩展到多维Elo评级处理不传递的游戏。我们的经验表明，我们的方法实现了优越的收敛速度和时间效率的各种游戏任务。
2022-01-20 cs.LG cs.MA
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Multi-objective Bandits: Optimizing the Generalized Gini Index
Yahoo Research（雅虎研究院）；Technion Institute of Technology（以色列理工学院）
我们研究了多臂强盗（MAB）的问题，代理收到一个矢量反馈，编码许多可能的竞争目标进行优化。代理的目标是找到一个政策，可以优化这些目标同时在一个公平的方式。这个多目标在线优化问题的形式化使用广义基尼指数（GGI）聚合函数。我们提出了一个在线梯度下降算法，利用GGI聚集函数的凸性，并控制探索在一个谨慎的方式实现一个无分布的遗憾$\tilde{\bigO} (T^{-1/2} )$具有高概率。我们测试我们的算法上的合成数据，以及在电池控制问题，其目标是权衡使用不同的电池，以平衡各自的退化率。
2017-06-15 cs.LG
Bandit Learning in Decentralized Matching Markets
University of California（加利福尼亚大学）
我们研究双边匹配市场，其中一方的市场（球员）没有一个先验知识，其偏好的另一方（武器），并要求从经验中学习其偏好。此外，我们假设玩家没有直接的通信手段。该模型扩展了标准的随机多臂强盗框架，分散的多个玩家设置与竞争。我们引入了一个新的算法，这种设置，在一个时间范围$T$，达到$\mathcal{O}(\log(T))$稳定的遗憾时，共享的武器的偏好，和$\mathcal{O}(\log(T)^2)$遗憾时，没有任何一方的偏好的假设。此外，在设置中，一个单一的球员可能会偏离，我们表明，该算法是激励兼容的武器的偏好是共享的，但不一定是这样的偏好是完全一般的。
2021-06-21 cs.GT cs.LG cs.MA
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota（明尼苏达大学）
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略，并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中，探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下，人们可以选择使用在每个时间点更新的原始探索序列，或者仅在观察到新奖励时更新序列，从而导致两种竞争策略。在这项工作中，我们表明，虽然这两种策略可能会导致很强的一致性分配，后者的财产持有更广泛的情况。然而，对于有限样本的性能，我们说明了这两种策略都有自己的优点和缺点，这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Bandits in Matching Markets: Ideas and Proposals for Peer Lending
Arizona State University（亚利桑那州立大学）
本文从匹配市场视角建模P2P借贷，提出基于序贯决策的技术让贷款人动态调整选择，并通过模拟实验揭示贷款人遗憾受初始偏好影响。
2023-08-02 cs.GT cs.LG econ.GN
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
A unified framework for bandit multiple testing
University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
在bandit多重假设检验中，每个分支对应于我们希望检验的不同的原假设，目标是设计自适应算法，正确识别大量感兴趣的分支（真发现），同时仅错误地识别少数不感兴趣的分支（假发现）。在非伪随机多重检验中的一个常见度量是错误发现率（FDR）。我们提出了一个统一的，模块化的框架，强盗FDR控制，强调解耦的探索和总结的证据。我们利用强大的鞅为基础的概念，“e-过程”，以确保FDR控制任意复合空值，勘探规则和停止时间在一般的问题设置。特别是，有效的FDR控制保持，即使臂的奖励分布可能是依赖的，多个臂可以同时查询，并且多个（合作或竞争）代理可以查询臂，也覆盖组合半强盗类型设置。先前的工作已经非常详细地考虑了每个手臂的奖励分布是独立的和亚高斯的设置，并且在每个步骤中查询单个手臂。我们的框架恢复匹配样本的复杂性保证在这种特殊情况下，并在实践中表现更好。对于其他设置，样本复杂性将取决于问题的更精细的细节（测试的复合空值，探索算法，数据依赖结构，停止规则），我们不探索这些;我们的贡献是表明FDR保证是干净的，完全不可知的这些细节。
2021-11-17 cs.LG stat.ME stat.ML
Bayesian Unification of Gradient and Bandit-based Learning for Accelerated Global Optimisation
University of Agder（阿格德大学）
基于Bandit的优化比基于梯度的方法具有显着的优势，因为它们具有全局视角，消除了陷入局部最优的危险。然而，对于连续优化问题或具有大量动作的问题，基于强盗的方法可能会受到缓慢学习的阻碍。另一方面，基于梯度的方法通过局部优化在高维连续空间中快速导航，遵循细粒度步骤中的梯度。然而，除了容易受到局部最优，这些计划是不太适合在线学习，由于其依赖于广泛的试错之前，可以确定的最佳。在本文中，我们提出了一个贝叶斯方法，统一上述两个范例在一个单一的框架，其目的是结合他们的优势。在我们的方法的核心，我们发现一个随机线性近似的函数进行优化，其中的梯度和函数的值都明确捕获。这使我们能够从噪声函数和梯度观测中学习，并在动作空间中预测这些属性以支持优化。我们进一步提出了一个伴随的强盗驱动的勘探计划，使用贝叶斯可信的界限，权衡勘探开发。我们的实证结果表明，通过统一的强盗和梯度为基础的学习，一个获得一致的改善性能在广泛的问题环境。此外，即使梯度反馈不可用，我们的模型的灵活性，包括梯度预测，仍然允许我们优于竞争方法，尽管幅度较小。由于普遍存在的强盗为基础的优化，我们的计划开辟了改善性能的元优化和梯度相关的信息是现成的应用程序。
2017-05-28 cs.AI cs.LG
A General Framework for Bandit Problems Beyond Cumulative Objectives
Tel Aviv University（特拉维夫大学）；Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）；Columbia University（哥伦比亚大学）
随机多臂强盗（MAB）问题是序贯决策问题的一个常见模型。在标准的设置中，决策者必须在每一时刻在几个竞争的武器之间进行选择，每个武器都提供了一个标量随机变量，称为“奖励”。“几乎所有关于这个主题的研究都认为总的累积奖励是兴趣的标准。这项工作的重点是其他自然的目标，不能投作为一个总和的奖励，而是更多的参与功能的奖励流。与累积准则的情况不同，在我们这里研究的问题中，先验地知道问题参数并用于“集中”遗憾的预言策略并不是微不足道的。我们提供了一个系统的方法来解决这些问题，并推导出一般条件下，预言机的政策是足够听话，以方便设计的乐观主义为基础的（上置信度）的学习政策。这些条件阐明了一个有趣的手臂奖励分布和性能指标之间的相互作用。我们的主要研究结果说明了几个常用的目标，如条件的风险价值，均值方差权衡，夏普比，等等。
2021-10-26 cs.LG stat.ML
Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries
The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
提出MO-PQUCB算法，通过主动查询获取用户偏好信号，结合Plackett-Luce模型和正则化UCB，解决多目标老虎机中偏好与奖励的耦合问题，实现更优的遗憾界。
2026-08-18 cs.AI cs.LG
Bandit Algorithms for Deep Brain Stimulation
Department of Computer Science, UNC Chapel Hill（UNC夏洛茨维尔大学计算机科学系）；Hochschule München（慕尼黑应用科学大学）；Department of Neurosurgery, UNC Chapel Hill（UNC夏洛茨维尔大学神经外科系）；TU Munich Institute for Advanced Study（慕尼黑技术大学高级研究学院）
提出基于时间与阈值触发的剪枝多臂赌博机算法，无需离线训练，在抑制病理性β波段活动和降低刺激能耗方面优于深度强化学习方法，并验证了其在资源受限植入式系统上的可行性。
2026-05-27 cs.LG cs.SY eess.SY
Multi-Armed Bandits with Arriving Arms: Sequential Screening, Dynamic Regret, and Sublinear Guarantees
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学姚氏数学科学中心）
针对可用臂随时间扩展的随机多臂老虎机问题，提出基于消除的UCB-AA算法，通过初步筛选新臂并考虑到达信息差异和漂移基准，实现动态遗憾的次线性界。
2026-06-08 cs.LG math.ST stat.ML
On Competing Wireless Service Providers
我们考虑的情况下，无线服务提供商竞争异构无线用户。用户的付费意愿和个人渠道收益各不相同。在一般渠道模型下，证明了两个服务提供商竞争的纳什均衡的存在唯一性。有趣的是，两个供应商的竞争导致了全球最佳结果。我们将一些结果扩展到两个以上的供应商竞争的情况。最后，我们提供了数值例子来说明各种参数对纳什均衡的影响。
2009-03-11 cs.GT cs.IT math.IT
Fairness under Competition
Department of Economics University of Haifa（海法大学经济系）；Faculty of Data and Decision Sciences Technion – Israel Institute of Technology（技术学院数据与决策科学学院）
本文研究竞争环境下算法公平性对生态系统整体公平性的影响，证明个体公平的分类器可能导致生态系统不公平，并呼吁关注系统层面的公平性。
2025-10-27 cs.GT cs.LG
Causal Inference from Competing Treatments
本文研究竞争性处理下的因果推断问题，构建了基于竞价系统和最小化估计误差效用函数的博弈论模型，证明了易处理目标存在纯纳什均衡且为一般目标的近似均衡，揭示了竞争环境下实验的均衡行为。
2024-06-05 cs.GT
Dynamic R&D Competition under Uncertainty and Strategic Disclosure
本文研究了一个动态两阶段R&D竞争模型，其中竞争企业对第一阶段的难度不确定。留在竞争中代价高昂，公司也可以选择是否以及何时退出。当一个公司解决了第一阶段，它可以选择是否和何时披露解决方案。我们发现存在一个唯一的对称均衡，在该均衡中，如果第一阶段的解决方案提前到达，每个企业都会披露该解决方案，如果该解决方案到达得不早也不晚，则保留该解决方案，如果该解决方案没有到达，则退出竞争足够长的时间。从社会福利的角度来看，令人惊讶的是，竞争并不总是最佳的：在某些情况下，从社会角度来看，将研发项目分配给一家公司更为可取。
2016-10-12 cs.GT
Multi-AI competing and winning against humans in iterated Rock-Paper-Scissors game
预测和模拟人类行为并发现人类决策过程中的趋势是社会科学的一个主要问题。石头剪子布（RPS）是许多博弈论问题和现实世界竞争中的基本策略问题。找到击败特定人类对手的正确方法是具有挑战性的。在这里，我们使用一个人工智能（人工智能）算法的基础上马尔可夫模型的一个固定的记忆长度（简称为“单一人工智能”），以竞争对人类的迭代RPS游戏。我们通过组合多个具有不同固定记忆长度的马尔可夫模型（简称“多AI”）来建模和预测人类的竞争行为，并开发了一种具有可变参数的多AI架构，以适应不同的竞争策略。我们引入了一个名为“焦点长度”的参数（一个正数，如5或10）来控制我们的多AI的速度和灵敏度，以适应对手的策略变化。焦点长度是多AI在确定哪个单AI具有最佳性能并应选择参加下一场比赛时应查看的先前回合数。我们对52个不同的人进行了实验，每个人都对一个特定的多AI模型连续进行了300轮比赛，并证明我们的策略可以战胜95%以上的人类对手。
2020-11-23 cs.GT stat.ML
How Bad is Top-$K$ Recommendation under Competing Content Creators?
University of Virginia（弗吉尼亚大学）；University of Chicago（芝加哥大学）
该研究针对推荐平台上内容创作者竞争影响用户福利的问题，基于top-$K$推荐、随机效用模型和无遗憾学习假设建模，通过无政府状态价格证明用户福利损失存在小常数上界，揭示了相关性驱动推荐的长期内在优势。
2023-05-02 cs.CY cs.GT cs.IR
Truthful Reverse Auctions for Adaptive Selection via Contextual Multi-Armed Bandits
Microsoft Research India（微软研究院印度分部）
本文提出基于上下文多臂老虎机的诚实反拍卖机制，用于自适应选择大型语言模型，实现高效、诚实且查询感知的模型选择。
2026-02-16 cs.GT
Competing Prediction Algorithms
预测是一项经过充分研究的机器学习任务，预测算法是在线产品和服务的核心组成部分。尽管它们在提供基于预测的产品的在线公司之间的竞争中处于中心地位，但预测算法的战略用途仍然未被探索。本文的目的是研究预测算法的战略使用。我们介绍了一种新的游戏理论设置，它是基于PAC学习框架，其中每个球员（又名预测算法在竞争中）寻求最大化的点的总和，它产生一个准确的预测和其他人没有。我们表明，旨在推广的算法可能会故意错过预测某些点，比其他人的期望更好。我们分析了经验博弈，即在给定样本上诱导的博弈，证明了它总是具有一个纯纳什均衡，并证明了每个更好反应的学习过程收敛。此外，我们的学习理论分析表明，玩家可以，以高概率，学习一个近似的纯纳什均衡的整个人口使用少量的样本。
2019-05-08 cs.GT
