Active Learning of Custering with Side Information Using $\eps$-Smooth Relative Regret Approximations
聚类被认为是一种非监督学习设置，其目标是将数据点的集合划分为不相交的聚类。通常，从业者给出或假设聚类数量的界限$k$。这个问题的许多版本已经被定义，最著名的是$k$ -均值和$k$ -中位数。聚类的无监督性质的一个潜在问题是确定相似性函数。缓解这种困难的一种方法被称为边信息聚类，或者半监督聚类。在这里，从业者以数据点对的“必须被聚类”或“必须被分离”标签的形式并入辅助信息。每一条这样的信息都有一个“查询成本”（通常涉及人工响应请求）。然后，将标签的集合作为严格约束或软约束并入通常的聚类算法中，可能向所选择的聚类目标添加成对约束惩罚函数。我们的工作主要是与边信息聚类。我们问如何选择数据点对。我们的分析产生了一种方法，证明比简单地随机选择它们更好。粗略地说，我们表明，分布必须是有偏见的，以便更多的重量放在对事件的元素在较小的集群中的一些最佳解决方案。当然，我们不知道最优解，因此我们不知道偏差。使用最近推出的方法$\eps$ -光滑的相对遗憾近似的Ailon，Begleiter和以斯拉，我们可以显示一个迭代的过程，提高了集群和偏见串联。该过程可证明收敛到最优解的速度（查询成本方面）比算法选择对一致。
2012-01-31 cs.LG
Active Preference Learning using Maximum Regret
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
我们研究主动偏好学习的框架直观地指定自主机器人的行为。在主动偏好学习中，用户从一组备选方案中选择首选行为，机器人从中学习用户的偏好，建模为参数化成本函数。以前的方法为用户提供了最小化成本函数参数不确定性的替代方案。然而，不同的参数可能导致相同的最优行为;因此，解空间比参数空间更有结构性。我们利用这一点，提出了一个查询选择，greetly降低了最大错误率的解决方案空间。在模拟中，我们证明了所提出的方法优于其他国家的最先进的技术，在学习效率和方便用户查询。最后，我们证明了基于解决方案的相似性而不是权重的相似性来评估学习可以更好地预测不同的场景。
2020-09-28 cs.AI cs.LG cs.RO
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Neural Active Learning with Performance Guarantees
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；New York University（纽约大学）
我们调查的问题，主动学习在流设置在非参数制度，其中的标签是随机生成的一类功能上，我们不做任何假设。我们依靠最近提出的神经切线核（NTK）近似工具来构建一个合适的神经嵌入，该神经嵌入确定算法操作的特征空间和在其上计算的学习模型。由于标签请求阈值的形状与要学习的函数的复杂性密切相关，这是先验未知的，因此我们还推导出一个对任何先验知识都不可知的算法版本。该算法依赖于遗憾平衡计划来解决由此产生的在线模型选择问题，并且计算效率高。我们证明了联合保证的累积遗憾和数量的要求标签，这取决于手头的标签功能的复杂性。在线性情况下，这些保证恢复作为标准统计学习设置中的标签复杂度的函数的泛化误差的已知极大极小结果。
2021-06-06 cs.LG
Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中，奖励取决于手臂和环境。在基于流的主动学习设置中，获得奖励的基础事实是昂贵的，并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此，该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中，我们考虑了一个基于流的主动学习设置，其中地面实况的查询请求被发送到注释器，连同地面实况的一些先验信息。根据先验信息的准确性，查询成本会有所不同。我们的算法主要进行两个操作：细化的上下文和手臂空间和动作的选择。在我们的算法中，上下文空间和手臂空间的分区保持一定的时间槽，然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值，旨在最大化总奖励。我们分析表明，遗憾是次线性的，并在相同的顺序与传统的上下文多臂强盗算法，其中没有查询成本
2016-07-11 cs.LG
A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs
Inria Lille（里尔法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）
我们得到了一个新的渐近问题依赖于有限水平表马尔可夫决策过程（MDP）的遗憾最小化的下界。虽然，类似于先前的工作（例如，对于遍历的MDP），下限是一个优化问题的解决方案，我们的推导揭示了需要一个额外的约束的访问分布的状态-动作对，明确占MDP的动态。我们通过一系列的例子说明了不同的MDP可能有显着不同的复杂性，我们的下限提供了一个表征。1)我们首先考虑一个“困难的”MDP实例，其中基于动态的新约束导致更大的下限（即，更大的遗憾）相比，经典的分析。2)然后，我们表明，我们的下限恢复先前得出的特定MDP实例的结果。3)最后，我们表明，在某些“简单”的MDPs，下限是相当小的比一般情况下，它不缩放的最小行动差距。我们表明，这最后一个结果是可以实现的（最多$poly(H)$条款，其中$H$是地平线），提供一个遗憾的上界的基础上的政策差距的乐观算法。
2021-06-24 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
Czech Technical University in Prague（布拉格捷克技术大学）；Ghent University（根特大学）；LMU Munich（慕尼黑大学）；MCML（机器学习与数据挖掘中心）；DFKI（德国人工智能研究中心）
研究认知不确定性评估，基于认知拒绝选项框架，通过将选择性预测表述为约束优化证明最优选择器，揭示现有文献弱点，提议评估分解的可实现风险等作为诊断，实验表明决策理论排名与代理任务排名有差异。
2026-07-17 cs.AI cs.LG
Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）
我们提供了改进的间隙依赖遗憾界的强化学习有限情节马尔可夫决策过程。与以前的工作相比，我们的界限取决于间隙的替代定义。这些定义是基于这样的认识，即为了实现有利的遗憾，算法不需要学习如何在最优策略未达到的状态下表现最优。我们证明了更严格的乐观算法的遗憾上限，并伴随着他们与新的信息理论的下界为一大类的MDP。我们的研究结果表明，乐观算法不能达到信息论的下限，即使在确定性的MDP，除非有一个唯一的最优策略。
2021-10-26 cs.LG
Active Online Learning with Hidden Shifting Domains
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Arizona（亚利桑那大学）
在线机器学习系统需要适应领域的变化。同时，在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法，自适应平衡其遗憾和标签查询的设置，其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归，我们提供了一个紧密的权衡，取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明，该算法在相同的标记预算下，比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
New Lower Bound and Upper Bounds on the Regret for Online Sparse Linear Regression
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；School of Computing and Artificial Intelligence, Shanghai University of Finance and Economics（上海财经大学计算与人工智能学院）；AI 3 Institute, Fudan University and Shanghai Innovation Institute（复旦大学AI 3研究所与上海创新研究院）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本研究针对NP难的在线稀疏线性回归（OSLR），给出其极小极大遗憾值的首个下界，设计了无需正则性假设且上界更优的算法，刻画了遗憾值随问题参数的缩放规律，捕捉了其信息论复杂度。
2026-10-09 cs.LG
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Low-Cost Learning via Active Data Procurement
University of Michigan（密歇根大学）；Harvard SEAS（哈佛大学约翰·A·保尔森工程与应用科学学院）；UCLA（加州大学洛杉矶分校）
我们设计的机制，在线采购数据的战略代理机器学习任务。挑战在于使用过去的数据来积极地为未来的数据定价，并提供学习保证，即使代理人透露数据的成本可能任意取决于数据本身。我们通过展示如何将一大类无遗憾算法转换为在线发布价格和学习机制来实现这一目标。我们的结果在某种意义上平行经典样本的复杂性保证，但与关键资源是金钱，而不是数据量：与预算约束$B$，我们给强大的风险（预测误差）界的顺序$1/\sqrt{B}$。因为我们使用主动的方法，我们通常可以通过利用成本和数据之间的相关性来保证做得更好。我们的算法和分析经历了一个模型的无悔学习$T$到达对（成本，数据）和预算约束$B$。我们对这个模型的遗憾界的顺序是$T/\sqrt{B}$，我们给出了相同的顺序下界。
2015-06-06 cs.AI cs.GT cs.LG
Pragmatic Curiosity: A Unified Framework for Hybrid Learning and Optimization via Active Inference
Department of Aeronautics and Astronautics（航空与航天系）；Massachusetts Institute of Technology（麻省理工学院）；School of Industrial and Systems Engineering（工业与系统工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出Pragmatic Curiosity框架，通过主动推断统一处理混合学习与优化问题，减少决策风险，提升关键结果区域覆盖率，并联合学习预测与偏好结构。
2026-05-12 cs.LG stat.ML
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Meta；Nvidia Research（英伟达研究院）
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式，学习者可以不断适应不断变化的环境，有限的标签。在本文中，我们提出了一个新的在线设置-在线主动持续适应，学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此，我们提出了在线自适应镜像下降（OSAMD），它采用了在线师生结构，使在线自我训练从未标记的数据，和一个基于边缘的标准，决定是否查询标签，以跟踪不断变化的分布。理论上，我们表明，在可分离的情况下，OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下，这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下，我们证明了$O({T}^{2/3} + α^* T)$的遗憾界，其中$α^*$表示域的可分性，并且通常很小。我们的理论结果表明，OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲，我们证明了OSAMD实现有利的遗憾在不断变化的环境下，有限的标签上的模拟和现实世界的数据，这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
Improved Algorithms for Neural Active Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们改进了基于神经网络（NN）的主动学习算法的非参数流设置的理论和经验性能。特别是，我们引入了两个遗憾的指标，最大限度地减少人口损失，更适合在主动学习比一个国家的最先进的（SOTA）相关的工作。然后，该算法利用神经网络的强大的表示开发和探索，有专门的$k$类分类问题的查询决策者的性能保证，利用充分的反馈，并更新参数在一个更实际和有效的方式。这些精心的设计导致了一个依赖于实例的后悔上限，大致提高了一个乘法因子$O(\log T)$，并消除了输入维度的灾难。此外，我们表明，该算法可以实现相同的性能，贝叶斯最优分类器在长期的硬利润率设置下的分类问题。最后，我们使用大量的实验来评估所提出的算法和SOTA基线，以显示改进的经验性能。
2023-01-16 cs.LG stat.ML
A Contextual Bandit Approach for Stream-Based Active Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Miami（迈阿密大学）
上下文强盗算法-一类利用上下文信息的多臂强盗算法-已被证明在解决不确定性下的顺序决策问题中是有效的。在文献中采用的一个常见的假设是，通过采取所选择的动作实现的（地面实况）奖励被学习者观察到没有成本，然而，这在许多实际情况下是不现实的。当观察地面真相奖励是昂贵的，学习者的一个关键挑战是如何明智地获得地面真相通过评估的好处和成本，以平衡学习效率和学习成本。从信息论的角度来看，一个可能更有趣的问题是，由于这种成本，可能会损失多少效率。在本文中，我们设计了一个新的上下文带为基础的学习算法，并赋予它的主动学习能力。我们的算法的关键特征是，除了向注释器发送查询以获取地面实况之外，还将学习器学习到的地面实况的先验信息一起发送，从而降低查询成本。我们证明，通过仔细选择的算法参数，所提出的算法的学习遗憾达到相同的顺序，传统的上下文强盗算法在无成本的情况下，这意味着，令人惊讶的是，由于获取地面真相的成本不会增加学习遗憾在长期运行。我们的分析表明，在主动学习是必要的情况下，地面真相的先验信息在提高系统性能方面起着至关重要的作用。
2017-01-24 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay（电子工程系，印度理工学院，孟买）
本文研究单调结构下基于阈值的多臂老虎机问题，推导了仅与阈值相邻臂相关的渐近遗憾下界，提出最优算法并经蒙特卡洛模拟验证，拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
Disagreement-based Active Learning in Online Settings
Cornell University（康奈尔大学）
我们研究在线主动学习分类流实例的统计学习理论的框架内。每次，学习器要么查询当前实例的标签，要么根据过去看到的示例预测标签。我们的目标是最小化查询的数量，同时限制预测错误的数量超过长度$T$的地平线。我们开发了一个基于分歧的在线学习算法的一般假设空间和Tsybakov噪声下。我们表明，该算法有一个标签的复杂度为$O(dT^{\frac{2-2α}{2-α}}\log^2 T)$的约束下有界遗憾的分类错误，其中$d$是VC维的假设空间和$α$是Tsybakov噪声参数。我们进一步建立了一个匹配（多对数因子）下界，证明了该算法的顺序最优性。我们解决标签的复杂性和遗憾之间的权衡，并表明该算法可以修改操作在权衡曲线上的不同点。
2020-11-16 cs.LG stat.ML
Improved Regret for Differentially Private Exploration in Linear MDP
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了依赖于敏感数据（如医疗记录）的环境中顺序决策的隐私保护探索。特别是，我们专注于解决的问题，强化学习（RL）的约束（联合）差分隐私在线性MDP设置，其中动力学和奖励的线性函数。由于Luyo等人（2021）对该问题的先前工作，实现了$O(K^{3/5})$对发作次数$K$的依赖性的后悔率。我们提供了一个私人的算法与改进的遗憾率与最佳的依赖$O(\sqrt{K})$的情节的数量。我们更强的后悔保证的关键配方是策略更新计划的自适应性，其中只有在检测到数据中的足够变化时才会发生更新。因此，我们的算法受益于低切换成本，只执行$O(\log(K))$更新，这大大减少了隐私噪声的量。最后，在隐私参数$ε$是一个常数的最流行的隐私制度，我们的算法产生的隐私成本可以忽略不计-与现有的非私人遗憾的界限相比，由于隐私的额外遗憾出现在低阶条款。
2022-06-22 cs.LG
Local Differential Privacy for Regret Minimization in Reinforcement Learning
Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（法国国家统计与经济管理局统计研究中心, 法国国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；Imperial College London（帝国理工学院）
强化学习算法被广泛用于期望提供个性化服务的领域。在这些领域中，用户数据通常包含需要防止第三方访问的敏感信息。出于这一动机，我们研究隐私的背景下，有限时域马尔可夫决策过程（MDP），要求信息被混淆的用户端。我们制定这个概念的隐私RL利用本地差分隐私（LDP）框架。我们建立了一个有限时域的LDP保证的MDP的遗憾最小化的下界，这表明，保证隐私的遗憾有一个倍增的效果。这个结果表明，虽然LDP是一个有吸引力的隐私概念，但它使学习问题变得更加复杂。最后，我们提出了一个乐观的算法，同时满足$\varepsilon$的要求，并实现$\sqrt{K}/\varepsilon$遗憾在任何有限的地平线MDP后，$K$事件，匹配的下界依赖于事件的数量$K$。
2021-10-27 cs.LG
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
High Accuracy and Low Regret for User-Cold-Start Using Latent Bandits
Trinity College Dublin（都柏林圣三一学院）
本文提出一种隐式赌博机算法解决推荐系统新用户冷启动问题，在准确率和遗憾两方面均显著超越现有方法。
2023-05-12 cs.IR cs.LG
An Efficient Algorithm for Fair Multi-Agent Multi-Armed Bandit with Low Regret
Khoury College, Northeastern University（东北大学库理学院）
最近，一个多智能体变种的经典多臂强盗提出了解决公平性问题的在线学习。受社会选择和经济学长期研究的启发，我们的目标是优化纳什社会福利而不是总效用。不幸的是，以前的算法要么不是有效的或实现次优遗憾的轮数$T$。我们提出了一个新的高效算法，甚至比以前的低效的遗憾更低。对于$N$代理、$K$武器和$T$回合，我们的方法具有$\tilde{O}(\sqrt{NKT} + NK)$的遗憾界。这是对先前方法的改进，先前方法具有$\tilde{O}( \min(NK, \sqrt{N} K^{3/2})\sqrt{T})$的遗憾界。我们还补充我们的高效算法与低效的方法与$\tilde{O}(\sqrt{KT} + N^2K)$遗憾。实验结果证实了与以前的方法相比，我们的高效算法的有效性。
2022-09-23 cs.DS cs.LG
Polyhedral Instability Governs Regret in Online Learning
University of Washington（华盛顿大学）；Western Washington University（西雅图华盛顿大学）；King Abdulaziz City for Science and Technology（卡布勒·阿卜杜勒·阿齐兹科技城）；HUMAIN
本文研究了在线学习中组合动作的凸松弛问题，证明了遗憾由多面体不稳定性决定，通过分析区域切换次数和顶点数，得出了介于专家算法与维度依赖优化之间的渐进行为。
2026-05-13 cs.CC cs.LG
Label optimal regret bounds for online local learning
Princeton University（普林斯顿大学）
我们解决了COLT'14中提出的（Christiano，2014 b）关于在线本地学习可实现的后悔对标签集大小的最佳依赖性的开放问题。在这个框架中，算法在每一步都显示了从一组$n$项目中选择的一对项目。然后，学习器从大小为$L$的标签集合中预测每个项目的标签，并接收实值回报。这是一个自然的框架，它捕获了许多有趣的场景，如协同过滤，在线赌博和在线max cut等。（Christiano，2014 a）为这个问题设计了一个有效的在线学习算法，实现了$O(\sqrt{nL^3T})$的遗憾，其中$T$是轮数。信息理论上，可以实现$O(\sqrt{n \log L T})$的遗憾。在这一框架中留下的一个主要未决问题是如何缩小上述差距。在这项工作中，我们提供了一个完整的答案，上述问题通过两个主要结果。我们通过更严格的分析表明，基于半定规划的算法（Christiano，2014 a）实际上实现了$O(\sqrt{nLT})$的遗憾。其次，我们给出了一个匹配的计算下界。也就是说，我们表明，一个多项式时间算法的在线本地学习具有较低的遗憾将意味着一个多项式时间算法的种植集团的问题，这被广泛认为是困难的。我们证明了一个类似的硬度下的一个相关猜想，我们提出的种植稠密子图。与种植集团不同，种植稠密子图问题没有任何已知的准多项式时间算法。在线学习的计算下限相对较少，我们希望在这项工作中开发的想法将导致其他在…
2015-08-24 cs.LG
Tight Lower Bounds for Multiplicative Weights Algorithmic Families
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
我们研究的基本问题，预测专家的意见，并开发遗憾的下限为一个大家庭的算法，这个问题。我们开发了简单的对抗原语，这些原语适合于各种组合，从而为许多算法家族带来了尖锐的下限。我们使用这些原语来说明经典的乘性权重算法（MWA）有一个遗憾的$\sqrt{\frac{T \ln k}{2}}$，那里完全关闭的差距之间的上限和下限。我们进一步显示了一个遗憾的下限$\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$的一个更一般的家庭比MWA的算法，其中的学习率可以随时间任意变化，甚至从任意分布随时间的推移。我们还使用我们的原语来构建对手的几何地平线设置MWA精确地表征遗憾在$\frac{0.391}{\sqrtδ}$的情况下，$2$专家和下限的$\frac{1}{2}\sqrt{\frac{\ln k}{2δ}}$的情况下，任意数量的专家$k$。
2016-07-14 cs.LG
$\sqrt{n}$-Regret for Learning in Markov Decision Processes with Function Approximation and Low Bellman Rank
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Florida（佛罗里达大学）
本文研究了具有极大状态空间的马尔可夫决策过程的在线学习问题。在可实现函数逼近和低Bellman秩的假设下，我们开发了一种在线学习算法，该算法学习最优价值函数，同时在学习过程中实现非常低的累积遗憾。我们的学习算法，自适应值函数消除（AVE），是受（Jiang et al.，2017年，被称为橄榄。我们在AVE中的关键技术贡献之一是将OLIVE中的消除步骤制定为上下文强盗问题。该技术使我们能够应用来自（Dudik等人，2011），而不是在原来的OLIVE算法中使用的随机动作探索方案，更有效的探索和更好地控制在每个策略消除步骤中产生的遗憾。据我们所知，这是第一个$\sqrt{n}$遗憾的结果，强化学习在随机MDP一般价值函数近似。
2020-06-20 cs.LG stat.ML
Convex Calibrated Surrogates for the Multi-Label F-Measure
University of Pennsylvania（宾夕法尼亚大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
F-measure是一种广泛使用的多标签分类性能度量，其中多个标签可以同时在一个实例中处于活动状态（例如，在图像标记中，多个标签可以在任何图像中处于活动状态）。特别是，F度量明确地平衡了召回率（预测为活跃的活跃标签的分数）和精度（预测为活跃的标签的分数），这两者在评估多标签分类器的整体性能时都很重要。然而，与大多数离散预测问题一样，直接优化F测度在计算上是困难的。在本文中，我们探讨的问题，设计凸代理损失校准的F-措施-特别是，具有的属性，最大限度地减少代理损失收益率（在足够的数据的限制）贝叶斯最优多标签分类器的F-措施。我们证明了$s$ -标签问题的F-测度，当被视为$2^s \times 2^s$损失矩阵时，具有至多$s^2+1$的秩，并应用Ramaswamy等人的结果。（2014）为F-测度设计一族凸校准代理。由此产生的代理风险最小化算法可以看作是分解的多标签F-测量学习问题的$s^2+1$二进制类概率估计问题。我们还为我们的代理人提供了一个定量的后悔转移界限，它允许将二元问题的任何后悔保证转移到整体F-测度问题的后悔保证，并讨论了与Dembczynski et al.（2013）算法的联系。我们的实验证实了我们的理论发现。
2020-09-16 cs.LG stat.ML
Blackwell Approachability and Low-Regret Learning are Equivalent
University of California, Berkeley（加州大学伯克利分校）；Technion - Israel Institute of Technology（以色列理工学院）
我们考虑著名的Blackwell逼近定理的两个人的游戏与向量支付。我们表明，布莱克威尔的结果是等价的，通过有效的减少，在线线性优化的“无遗憾”算法的存在。事实上，我们表明，任何算法的一个这样的问题可以有效地转换为其他算法。我们提供了一个有用的应用程序，这种减少：校准预测的第一个有效的算法。
2010-11-08 cs.GT cs.LG
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University（清华大学）
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$，我们提供了一个算法并证明了其后悔保证，由于技术原因，随着时间范围$T$的增长，该保证具有两阶段表达式。我们还证明了一个下界定理，令人惊讶地显示了我们的两个阶段的遗憾上限（对数因子）的问题参数的\emph{full range}的最优性，因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明，$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束，我们的算法是简单，易于实际实现。此外，我们的算法实现了最佳遗憾的所有$T \geq d$，而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析，我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界，据我们所知，这是第一次在文献中，可能是独立的兴趣。
2022-10-15 cs.LG
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Finite Stochastic Partial Monitoring
The University of Tokyo（东京大学）
部分监控是一个一般模型的顺序学习与有限的反馈形式化为两个球员之间的游戏。在这个游戏中，学习者选择一个动作，同时对手选择一个结果，然后学习者遭受损失，并收到反馈信号。学习者的目标是使总损失最小化。在本文中，我们研究了有限行动和随机结果的部分监控。我们推导出一个对数分布相关的遗憾下限，定义了问题的难度。受DMED算法（Honda and Takemura，2010）的启发，我们提出了PM-DMED算法，该算法最小化了分布相关的后悔。PM-DMED在数值实验中的性能明显优于最先进的算法。为了证明PM-DMED在遗憾界上的最优性，我们通过引入铰链函数（PM-DMED-Hinge）对算法进行了稍微修改。然后，我们得到了一个渐进最优的后悔PM-DMED-铰链的上界匹配的下限。
2015-09-30 cs.LG stat.ML
Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们考虑随机多武装土匪的期望奖励是一个单峰函数偏序武器。这类重要的问题最近已经研究（Cope 2009，Yu 2011）。臂的集合是离散的，在这种情况下，臂对应于有限图的顶点，该有限图的结构表示奖励的相似性，或者是连续的，在这种情况下，臂属于有界区间。对于离散单峰土匪，我们推导出渐近下限的遗憾下实现任何算法，并提出Ostrial，一个算法的遗憾匹配这个下限。我们的算法最佳地利用了单峰结构的问题，令人惊讶的是，它的渐近遗憾不依赖于武器的数量。我们还提供了一个遗憾的上限Occupy在非平稳的环境中，预期的回报随着时间的推移顺利演变。数值实验结果表明，分析结果的支持，OSTO执行显着优于国家的最先进的算法。对于连续组的武器，我们提供了一个简短的讨论。我们表明，结合适当的离散化的一组武器与UCB算法产生一个订单最优的遗憾，并在实践中，优于最近提出的算法，旨在利用单峰结构。
2014-05-20 cs.LG stat.ML
Provably Efficient Exploration in Reward Machines with Low Regret
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文针对具有未知动态的概率奖励机和非马尔可夫奖励的强化学习问题，提出一种利用奖励机结构的基于模型算法，并给出遗憾上界、下界及相对忽略结构算法的增益证明。
2024-12-26 cs.AI cs.LG
Learning in Restless Multi-Armed Bandits via Adaptive Arm Sequencing Rules
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
考虑一类手臂动力学未知的不安分多臂强盗（RMAB）问题。每次，玩家从N只手臂中选择一只手臂进行游戏，称为主动手臂，并从奖励状态的有限集合中获得随机奖励。主动臂的奖励状态根据未知的马尔可夫动力学过渡。被动武器（在时间t没有被选择参与游戏）的奖励状态根据任意未知的随机过程演变。我们的目标是一个手臂的选择政策，最大限度地减少遗憾，定义为奖励损失相对于一个球员，总是发挥最有价值的手臂。这类的RMAB问题最近已被研究的背景下，通信网络和金融投资应用。我们开发了一种策略，选择武器以连续的方式发挥，被称为自适应排序规则（ASR）算法。ASR算法下的手臂选择排序规则由当前样本奖励手段自适应更新和控制。通过设计明智的自适应排序规则，我们表明，ASR算法实现了一个对数的遗憾顺序与时间，并建立了一个有限样本界的遗憾。虽然现有的方法已经示出了对数遗憾顺序与时间在此RMAB设置，理论分析表明，在ASR下的系统参数的遗憾缩放显着改善。大量的仿真结果支持了理论研究，并证明了强大的性能的算法相比，现有的方法。
2019-06-19 cs.LG stat.ML
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
Finding the Stochastic Shortest Path with Low Regret: The Adversarial Cost and Unknown Transition Case
University of Southern California（南加州大学）
我们取得了显着进展的随机最短路径问题的对抗成本和未知的过渡。具体来说，我们开发的算法，实现$\widetilde{O}(\sqrt{S^2ADT_\star K})$后悔的全信息设置和$\widetilde{O}(\sqrt{S^3A^2DT_\star K})$后悔的强盗反馈设置，其中$D$是直径，$T_\star$是最优策略的预期命中时间，$S$是状态的数量，$A$是行动的数量，和$K$是情节的数量。我们的工作在全信息环境中严格改进（Rosenberg和Mansour，2020），扩展（Chen等人，2020）从已知过渡到未知过渡，也是第一个考虑最具挑战性的组合：具有对抗成本和未知过渡的强盗反馈。为了弥补我们的上界和当前最佳下界之间的差距，通过一个随机遗忘的对手，我们还提出了算法与近最佳遗憾这种特殊情况下。
2021-06-14 cs.AI cs.LG
The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Oxford University（牛津大学）；University of Cambridge（剑桥大学）
本文证明奖励模型低测试误差无法保证低遗憾，源于分布偏移，并指出策略正则化也无法解决，呼吁研究更优的奖励学习方法。
2025-07-08 cs.AI cs.LG stat.ML
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm for High-Dimensional Contextual Linear Bandit
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有高维特征的多臂强盗问题。首先，我们证明了一个极大极小下限，$\mathcal{O}\big((\log d)^{\frac{α+1}{2}}T^{\frac{1-α}{2}}+\log T\big)$，为累积遗憾，在地平线$T$，尺寸$d$和保证金参数$α\in[0,1]$，它控制的最佳和次优武器之间的分离。这个新的下限统一现有的遗憾界的结果，有不同的依赖T由于使用不同的值的保证金参数$α$明确暗示他们的假设。其次，我们提出了一个简单的和计算效率高的算法的启发一般的置信上限（UCB）的策略，实现了遗憾的上限匹配的下限。该算法使用一个适当的中心$\ell_1$ -球的信心，而不是常用的椭球信心集。此外，该算法不需要任何强制采样步骤，从而适应实际未知的边缘参数。仿真和实际数据分析进行了比较，所提出的方法与现有的文献中。
2021-09-23 cs.LG stat.ME
Mean-based algorithms: A lower bound and regret
Technical University of Munich（慕尼黑技术大学）
本文针对未知时间范围且仅有赌博机反馈的设定，首次给出了基于均值算法定义序列γ_t的下界，并提出了两种新算法，实验表明其性能与现有算法相当，同时分析了与无遗憾算法的关系。
2026-10-07 cs.GT cs.LG
Efficient, Low-Regret, Online Reinforcement Learning for Linear MDPs
National University of Singapore（新加坡国立大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Huawei Shanghai Research Center（华为上海研究中心）
针对线性 MDP 中 LSVI-UCB 算法空间占用过高的问题，提出两种交替学习与不学习阶段的改进版本，在保持次线性遗憾的同时显著降低空间与时间开销。
2024-11-16 cs.DS cs.LG
Delegative Reinforcement Learning: learning to avoid traps with a little help
大多数已知的强化学习的后悔界限要么是情节性的，要么是假设一个没有陷阱的环境。我们在不做任何假设的情况下，通过允许算法偶尔将一个动作委托给外部顾问来获得一个后悔界限。因此，我们得出了一个基于主动一次性模型的强化学习的设置，我们称之为DRL（委托强化学习）。为了证明遗憾界限，我们构造的算法是后验采样强化学习的一个变体，由一个决定哪些动作应该被委托的子例程补充。该算法不是任意时刻，因为参数必须根据目标时间折扣进行调整。目前，我们的分析仅限于有限数量的假设，状态和行动的马尔可夫决策过程。
2019-07-19 cs.LG stat.ML
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
The regret lower bound for communicating Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔科学与技术信息与自动化研究中心）
本文为通信马尔可夫决策过程建立更复杂的遗憾下界，揭示最优区域需过度访问的共探索现象，并证明该下界计算上为Σ₂^P难，同时给出近似算法。
2025-01-22 cs.LG stat.ML
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题，提出两种基于消除的算法，同时实现遗憾最小化与最佳臂识别，并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Near-optimal Per-Action Regret Bounds for Sleeping Bandits
University of Victoria（维多利亚大学）
针对每轮可用臂及损失由对手决定的sleeping bandits问题，通过广义EXP3、EXP3-IX和带Tsallis熵的FTRL直接最小化逐动作遗憾，推导出近最优遗憾界，并扩展至带sleeping experts建议的设定及置信度报告场景。
2024-05-30 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
