Directional Optimism for Safe Linear Bandits
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对安全线性老虎机问题，提出方向乐观法以提升两类场景的遗憾保证，同时给出经验性能更优且遗憾保证匹配的新算法，并推广至凸约束场景。
2024-03-11 cs.LG
OVD-Explorer: Optimism Should Not Be the Sole Pursuit of Exploration in Noisy Environments
Tianjin University（天津大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；SADRI Institute（SADRI研究所）
针对噪声环境中纯乐观探索导致过度探测高噪声区域的问题，提出OVD-Explorer，通过噪声感知的乐观探索度量与梯度上升驱动，提升连续控制任务的探索效率，并在MuJoCo和GridChaos上验证其优越性。
2023-12-20 cs.LG
A Unifying View of Optimism in Episodic Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（帝国理工学院）
面对不确定性时的乐观原则是许多理论上成功的强化学习算法的基础。在本文中，我们提供了一个通用的框架，设计，分析和实现这样的算法在情节强化学习问题。这个框架是建立在拉格朗日对偶，并证明了每一个模型乐观算法，构造一个乐观的MDP有一个等价的表示作为一个值乐观的动态规划算法。通常，人们认为这两类算法是不同的，模型乐观算法受益于更清晰的概率分析，而值乐观算法更容易实现，因此更实用。在本文中开发的框架，我们表明，它是可以得到最好的两个世界，通过提供一类算法，具有计算效率的动态编程实现，也是一个简单的概率分析。除了能够在表格设置中捕获许多现有的算法之外，我们的框架还可以在可实现的函数近似下解决大规模问题，其中它可以对最近提出的一些方法进行简单的基于模型的分析。
2020-07-03 cs.LG stat.ML
Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
Columbia University（哥伦比亚大学）
针对现有乐观算法难处理通用函数类与大上下文空间的问题，提出在策略空间构建置信界的UCCB原则，可高效处理相关场景并拓展至无限动作上下文赌博机。
2024-03-09 cs.LG math.ST stat.ML
Non-Stationary Reinforcement Learning: The Blessing of (More) Optimism
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑时间漂移下马尔可夫决策过程（MDP）中的非折扣强化学习（RL），即允许奖励和状态转移分布随时间推移而演变，只要它们各自的总变化，由合适的度量量化，不超过某些变化预算。该设置捕捉了顺序决策场景中的内隐性、外显性、不确定性和部分反馈，并在车辆再营销和实时竞价中得到应用。首先提出了基于置信度加宽的强化学习滑动窗口置信度上界（SWUCRL 2-CW）算法，并在已知变量预算的情况下建立了其动态后悔界.此外，我们提出了Bandit-over-强化学习（BORL）算法自适应调整SWUCRL 2-CW算法，以实现相同的动态遗憾界，但在一个参数的方式，即不知道的变化预算。最后，我们进行数值实验，以表明我们提出的算法实现优越的经验性能相比，现有的算法。值得注意的是，内生性和外生性之间的相互作用提出了一个独特的挑战，在现有的（静态和非静态）随机在线学习设置中不存在，当我们应用传统的乐观面对不确定性原则设计算法时，可以证明在漂移的MDP中RL的动态遗憾较低。我们克服了一种新的信心扩大技术，将额外的乐观到我们的学习算法，以确保低动态遗憾界限的挑战。为了扩展我们的理论研究结果，我们将我们的框架应用于库存控制问题，并演示了如何可以选择利用特殊结构的状态转移分布，以绕过探索时变环境中的困难。
2020-05-18 cs.LG stat.ML
Balancing optimism and pessimism in offline-to-online learning
HEC Paris（巴黎高等商学院）；University of Alberta（阿尔伯塔大学）；Deepmind London（伦敦深度思维公司）
本文研究离线到在线学习中的策略选择困境，提出一种新算法，使学习者在任何时间点的表现几乎与悲观策略LCB和乐观策略UCB中较好者相当，实现从短期悲观到长期乐观的平滑过渡。
2025-03-10 cs.AI cs.LG
Being Optimistic to Be Conservative: Quickly Learning a CVaR Policy
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然最大化预期收益是大多数强化学习方法的目标，但风险敏感目标（如条件风险价值（CVaR））更适合许多高风险应用。然而，对于如何探索快速学习具有良好CVaR的政策，人们知之甚少。本文基于不确定性乐观原则，提出了马尔可夫决策过程中CVaR最优策略的样本有效学习算法。这种方法依赖于一个新的乐观版本的分布贝尔曼算子，移动概率质量从下到上尾的回报分布。我们证明了渐近收敛和乐观的表格政策评估的情况下，该算子。我们进一步证明，我们的算法发现CVaR最优的政策大大快于现有的基线在几个模拟环境中的离散和连续的状态空间。
2020-04-02 cs.AI cs.LG
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
Robust Exploration with Tight Bayesian Plausibility Sets
University of New Hampshire（新罕布什尔大学）
对于许多被证明有效的强化学习算法来说，对状态和动作的乐观态度是探索的主要驱动力。我们提出了乐观面对明智的价值函数（OFVF）-一种新的数据驱动的贝叶斯算法来构建MDP的似然集，以探索鲁棒地最小化最坏情况下的探索成本。该方法通过引入两个新的想法来计算具有更严格的乐观估计的探索策略。首先，它是基于贝叶斯后验分布，而不是分布自由边界。其次，OFVF不构造可扩展性集作为简单的置信区间。置信区间作为相容性集是一个充分条件，但不是必要条件。OFVF使用价值函数的结构来优化可扩展性集合的位置和形状，以直接保证上界，而不必强制要求集合是置信区间。OFVF以发作的方式进行，其中发作的持续时间是固定和已知的。我们的算法本质上是贝叶斯的，可以利用先验信息。我们的理论分析表明，OFVF的鲁棒性，和实证结果表明其实际的承诺。
2019-04-17 cs.AI cs.LG stat.ML
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在海量数据和计算资源重要进展的推动下，新的深度学习系统在大量应用中取得了出色的成果。然而，我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而，为了解决神经网络的脆弱性，对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中，我们对深度学习中的对抗鲁棒性领域进行了深入的回顾，并对其主要概念进行了完整的介绍。但是，与对抗鲁棒性的主流悲观观点相反，我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系，并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外，我们还展示了对抗鲁棒性的广泛适用性，概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习，并为他们提供直观的工具和见解，了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
A General Theory of the Stochastic Linear Bandit and Its Applications
Stanford University（斯坦福大学）
最近越来越多的实验在实践中被采用，导致了对多武装匪徒的关注激增，作为一种减少在线实验机会成本的技术。在这种情况下，决策者在一组给定的行动中依次选择，观察它们的噪声奖励，并旨在最大化她的累积预期奖励（或最小化后悔）在长度为$T$的范围内。在本文中，我们介绍了一个一般的分析框架和一个家庭的随机线性强盗问题，其中包括著名的算法，如在面对的不确定性线性强盗（OFUL）和汤普森采样（TS）作为特殊情况下的优化算法。我们的分析技术桥接了先前文献的几个流，并产生了一些新的结果。首先，我们的新概念乐观的期望产生了一个新的算法，称为筛选贪婪（SG），减少了过度探索问题的OFUL。SG利用这些数据来丢弃具有相对较低不确定性的动作，然后从剩余的动作中选择一个。除了证明SG在理论上是速率最优的，我们的经验模拟表明，SG优于现有的基准，如贪婪，OFUL和TS。我们的通用框架的第二个应用是（据我们所知）在与Goldenshluger和Zeevi（2013）的条件类似的条件下，OFUL和TS的第一个多对数（在$T$中）遗憾界限。最后，我们通过因子$\sqrt{k}$得到了$k$武装的上下文MABs的更精确的后悔界限.
2022-03-31 cs.LG stat.ML
Minimal Exploration in Structured Stochastic Bandits
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）
本文介绍并解决了一类广泛的随机强盗问题的功能映射的手臂相应的奖励表现出一些已知的结构特性。大多数现有的结构（例如线性、Lipschitz、单峰、组合、决斗等）都在我们的框架内。我们推导出这些问题的渐近实例特定的遗憾下界，并开发OSSB，一个算法的遗憾匹配这个基本限制。OSSB不是基于“面对不确定性的乐观主义”或Thompson抽样的经典原则，而是旨在匹配次优武器的最小探索率，其特征在于在遗憾下限的推导中。我们说明了OSSB的效率使用数值实验的情况下，线性强盗问题，并表明OSSB优于现有的算法，包括汤普森采样。
2017-11-01 cs.AI cs.LG math.OC
The Confusing Instance Principle for Online Linear Quadratic Control
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9198-CRIStAL（法国国家科研中心信息与自动化研究院里尔计算机科学、信号与自动化实验室）
针对未知动力学线性二次控制问题，提出基于混淆实例原理的MED-LQ算法，结合LQR策略结构与稳定性分析，在控制套件上展现竞争性能并具大规模应用潜力。
2025-10-22 cs.LG
An Online Algorithm for Computation Offloading in Non-Stationary Environments
Indian Institute of Science（印度科学学院）
我们考虑的延迟最小化问题，在任务卸载的情况下，多个服务器可用于外包计算任务的用户设备。考虑到无线链路的时间动态特性和计算资源的可用性，我们将服务器选择建模为多臂强盗（MAB）问题。在所考虑的MAB框架中，奖励的特征在于端到端延迟。我们提出了一种新的在线学习算法的基础上乐观的原则，在面对不确定性，它优于国家的最先进的算法高达~ 1 s。我们的研究结果强调了在动态环境中严重折扣过去奖励的重要性。
2020-06-22 cs.LG cs.MA eess.SP
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning
Yale University（耶鲁大学）；University of Virginia（弗吉尼亚大学）；University of Science and Technology of China（中国科学技术大学）；Google（谷歌）；Northwestern University（西北大学）
在当今经济中，互联网平台考虑顺序信息设计问题以使其长期利益与gig服务提供商的激励相一致变得重要。本文提出了一种新的模型，顺序信息设计，即马尔可夫说服过程（MPPs），发送者，具有信息优势，试图说服流近视接收者采取行动，最大限度地提高发送者的累积效用在有限时域马尔可夫环境中，具有不同的先验和效用函数。因此，在MPP规划面临着独特的挑战，在寻找一个信令策略，同时具有说服力的近视的接收器，并诱导发送器的最佳长期累积效用。然而，在模型已知的总体水平上，事实证明，我们可以有效地确定最优（分别为）。$ε$ -最佳）策略，具有有限（分别无限的）状态和结果，通过修改公式的贝尔曼方程。我们的主要技术贡献是研究在线强化学习（RL）设置下的MPP，其目标是通过与底层MPP交互来学习最优信令策略，而无需知道发送方的效用函数，先验分布和马尔可夫转移核。我们设计了一个可证明有效的无遗憾学习算法，说服过程的乐观-悲观原则（OP 4），它具有乐观和悲观原则的新颖组合。我们的算法通过实现次线性$\sqrt{T}$ -遗憾上界而享有样本效率。此外，我们的算法和理论都可以通过函数逼近应用于具有大空间结果和状态的MPP，并且我们在线性设置下展示了这样的成功。
2022-02-22 cs.AI cs.GT cs.LG
Efficient Model-free Reinforcement Learning in Metric Spaces
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
无模型强化学习（RL）算法（如Q学习[Watkins，Dayan 92]）已被广泛用于实践，并且可以在视频游戏等应用中实现人类水平的性能[Mnih等人15]。最近，配备了面对不确定性的乐观主义的想法，Q-学习算法[Jin，Allen-Zhu，Bubeck，Jordan 18]可以被证明是样本有效的离散表格马尔可夫决策过程（MDP），具有有限数量的状态和动作。在这项工作中，我们提出了一个有效的无模型的Q-学习为基础的算法在MDP的状态-动作空间上的自然度量-从而扩展有效的无模型的Q-学习算法连续状态-动作空间。与以前基于模型的度量空间RL算法[Kakade，Kearns，Langford 03]相比，我们的算法不需要访问黑盒规划预言机。
2019-05-01 cs.LG stat.ML
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法，用于解决随机到达-避免问题，通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting
California Institute of Technology（加州理工学院）
研究了部分可观测线性二次型高斯控制系统的自适应控制问题，其中系统的模型动态是先验未知的。我们提出了LqgOpt，一种新的强化学习算法的基础上乐观的原则，在面对不确定性，以有效地减少整体控制成本。我们采用预测状态演化表示的系统动力学和部署最近提出的闭环系统辨识方法，估计和置信界建设。LqgOpt有效地探索系统动力学，估计模型参数到其置信区间，并部署最乐观模型的控制器以进行进一步的探索和开发。我们提供了LqgOpt的稳定性保证，并证明了$\tilde{\mathcal{O}}(\sqrt{T})$的遗憾上界的线性二次高斯（LQG）系统的自适应控制，其中$T$是问题的时间范围。
2020-06-24 cs.LG math.OC stat.ML
Gaussian Processes for Sample Efficient Reinforcement Learning with RMAX-like Exploration
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种基于模型的在线强化学习（RL）的实现，用于具有确定性转换的连续域，该连续域是专门设计用于实现低样本复杂度的。为了实现低样本复杂度，由于环境是未知的，智能体必须智能地平衡探索和利用，并且必须能够从观察中快速概括。虽然在过去已经提出了一些相关的样本有效的RL算法，以允许理论分析，主要是模型学习者与弱泛化能力被认为是。在这里，我们将模型学习器中的函数近似（需要样本）与规划器中的插值（不需要样本）分开。对于模型学习，我们应用高斯过程回归（GP），它能够自动调整自身以适应问题的复杂性（通过贝叶斯超参数选择），并且在实践中，通常能够从很少的数据中学习高度准确的模型。此外，GP提供了一种自然的方式来确定其预测的不确定性，这使我们能够实施“面对不确定性的乐观”原则，用于有效地控制探索。我们的方法进行了评估四个常见的基准域。
2012-01-31 cs.AI cs.LG
Bandit Social Learning: Exploration under Myopic Behavior
University of Maryland at College Park（马里兰大学学院公园分校）
本文研究在线平台中短视智能体在 bandit 社会学习下的探索失败问题，建立一般行为模型并证明贪婪算法必然失败，同时发现少量极端乐观者即可避免失败并实现接近最优的遗憾率。
2025-04-10 cs.DS cs.GT cs.LG
A Self-Play Posterior Sampling Algorithm for Zero-Sum Markov Games
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
现有的研究证明有效的算法马尔可夫游戏（MG）几乎完全建立在“乐观面对不确定性”（OFU）的原则。这项工作的重点是后验采样的不同方法，这是庆祝在许多土匪和强化学习设置，但仍然是欠开发的MG。具体地说，对于情节两人零和MG，一种新的后验抽样算法的一般函数近似。理论分析表明，后验抽样算法对于低解耦系数的问题具有$\sqrt{T}$ -后悔界，这是一种新的MG复杂性度量，其中$T$表示事件的数量.当专门为线性MG，所获得的遗憾界匹配的国家的最先进的结果。据我们所知，这是第一个可证明有效的后验抽样算法的MG与频率后悔保证，这丰富了工具箱MG和促进广泛的适用性后验抽样。
2022-10-04 cs.AI cs.GT cs.LG
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Batched Neural Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）；Google Research NYC（谷歌研究院纽约分部）
在许多序贯决策问题中，个体被分成若干批，决策者只允许在批的末尾改变策略。这些批量问题有大量的应用，从临床试验到众包。受此启发，我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法，该算法结合了神经网络与乐观，以解决探索-开发权衡，同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB，并证明它实现了与完全顺序版本相同的遗憾，同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊公司）；Cruise（克鲁斯公司）；Horizon Robotics（地平线机器人）
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$（OFU）的原则，我们训练一个单独的探索政策，以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而，这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题，我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是，我们纠正了政策和批评的培训分布。从经验上讲，我们评估我们提出的方法在几个具有挑战性的连续控制任务，并表现出优越的性能相比，国家的最先进的方法。我们还进行了广泛的消融研究，以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
Regret Minimization for Reinforcement Learning by Evaluating the Optimal Bias Function
Tsinghua University（清华大学）
提出了一种基于\emph{Optimism in the Face of Uncertainty}（OFU）原理的强化学习算法，该算法能够有效地学习由有限状态-动作空间的马尔可夫决策过程（MDP）建模的强化学习（RL）。通过计算最优偏置函数$h^{*}$的状态对差，该算法得到了具有$S$状态和$A$动作的MDP的遗憾界$\tilde{O}(\sqrt{SAHT})$ \footnote{The symbol $\tilde{O}$ means $O$ with log factors ignored. }，在$h^{*}$跨度上的上界$H$，即，$sp(h^{*})$是已知的。这个结果比以前最好的后悔界限$\tilde{O}(S\sqrt{AHT}) $ \citep{fruit2019improved}好一个因子$\sqrt{S}$。此外，该遗憾界限与$Ω(\sqrt{SAHT}) $ \citep{jaksch2010near}的下限匹配到对数因子。因此，我们表明，有一个接近最佳的遗憾界的$\tilde{O}(\sqrt{SADT})$的MDPs与有限直径$D$相比，$Ω(\sqrt{SADT}) $ \citep{jaksch2010near}的下限。
2019-12-28 cs.LG stat.ML
NeoRL: Efficient Exploration for Nonepisodic RL
ETH Zurich（苏黎世联邦理工学院）
针对非线性动态系统的非 episodic RL 问题（单轨迹无重置），提出基于不确定性乐观原则的 NeoRL 方法，使用校准概率模型并乐观规划，在高斯过程动态下获首个 $O(Γ_T \sqrt{T})$ 遗憾界，实证显示其平均成本最优且遗憾最小。
2025-02-11 cs.LG
Replicable Constrained Bandits
Politecnico di Milano（米兰理工大学）
本文提出了一种可复制的约束老虎机算法，通过设计满足约束条件的策略，实现了在相同环境下决策序列的可重复性，并展示了UCB-like算法在可复制性上的应用。
2026-02-16 cs.LG stat.ML
Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）
基于模型的强化学习（RL）被认为是一种很有前途的方法，可以降低阻碍无模型强化学习的样本复杂度。然而，对这种方法的理论理解相当有限。本文介绍了一种新的算法框架，设计和分析基于模型的强化学习算法的理论保证。我们设计了一个元算法的理论保证单调改善的局部最大值的预期回报。元算法基于估计的动态模型和样本轨迹迭代地构建期望回报的下限，然后在策略和模型上联合最大化下限。该框架扩展了乐观面对不确定性的原则，非线性动态模型的方式，需要\textit{no explicit}不确定性量化。通过简化实例化我们的框架，给出了基于模型的RL算法的一种变体随机下限优化（SLBO）。实验表明，SLBO达到国家的最先进的性能时，只有一百万或更少的样本被允许在一系列连续控制基准任务。
2021-02-15 cs.AI cs.LG stat.ML
Latent Variable Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Northwestern University（西北大学）；Georgia Tech（佐治亚理工学院）
深度潜变量模型在基于基于模型的强化学习（RL）中取得了显著的经验成功，这是由于它们在建模复杂的过渡动态方面的表现力。另一方面，在理论和经验上，潜变量模型如何促进学习、规划和探索以提高强化学习的样本效率仍不清楚。在本文中，我们提供了一个表示视图的状态-动作价值函数的潜变量模型，它允许易于处理的变分学习算法和有效的实施乐观/悲观原则，在面对不确定性的探索。特别是，我们提出了一个计算效率高的规划算法与UCB探索，将核嵌入的潜变量模型。从理论上讲，我们建立了所提出的方法在在线和离线设置的样本复杂度。从经验上讲，我们在各种基准测试中表现出优于当前最先进算法的性能。
2023-03-07 cs.LG stat.ML
Learning in Congestion Games with Bandit Feedback
在本文中，我们研究了纳什遗憾最小化拥塞游戏，一类游戏的良性的理论结构和广泛的现实世界中的应用。首先，我们提出了一个集中式算法的基础上的乐观面对不确定性原则的拥塞游戏（半）强盗反馈，并获得有限样本保证。然后，我们提出了一个分散的算法，通过一个新的组合的Frank-Wolfe方法和G-最优设计。通过利用拥塞游戏的结构，我们表明，这两种算法的样本复杂度只取决于多项式的球员的数量和设施的数量，但不是行动集的大小，这可以是指数级大的设施的数量。我们进一步定义了一个新的问题类，马尔可夫拥塞游戏，这使我们能够模拟拥塞游戏中的非平稳性。我们提出了一个集中式算法的马尔可夫拥塞游戏，其样本的复杂性再次只有多项式依赖于所有相关的问题参数，但不是行动集的大小。
2023-01-20 cs.GT cs.LG cs.MA
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
针对约束凸MDP的挑战，提出基于模型的VPDPO算法，利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化，结合OFU价值迭代与梯度上升更新，在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反，并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
Little Exploration is All You Need
ISTBI, Fudan University（复旦大学类脑智能科学与技术研究院）
针对标准UCB只考虑不确定性而忽略任务难度的问题，本文提出将探索奖励调整为$1/n^τ$的UCB$^τ$算法，并通过理论与实验证明其在效果和风险上均优于标准UCB和Thompson Sampling。
2023-10-26 cs.LG
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
UCB Momentum Q-learning: Correcting the bias without forgetting
Otto von Guericke University（奥托·冯·格里克大学）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；DeepMind（深度思维）
我们提出了UCBMQ，上置信界动量Q-学习，一种新的算法，用于表格和可能的阶段依赖性，情节马尔可夫决策过程的强化学习。UCBMQ是基于Q学习的，我们在Q学习中加入了动量项，并依靠乐观原则来应对不确定性。UCBMQ的新技术成分是使用动量来纠正Q学习所遭受的偏见，同时限制它对后悔的二阶项的影响。对于UCBMQ，我们能够保证最多$O(\sqrt{H^3SAT}+ H^4 S A )$的遗憾，其中$H$是事件的长度，$S$是状态的数量，$A$是动作的数量，$T$是事件的数量，并且忽略poly- $\log(SAHT)$中的项。值得注意的是，UCBMQ是第一个同时匹配$Ω(\sqrt{H^3SAT})$的下限的算法，对于足够大的$T$，并且具有仅与状态数$S$线性缩放的二阶项（相对于水平$T$）。
2022-03-18 cs.LG stat.ML
SOMBRL: Scalable and Optimistic Model-Based RL
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）
SOMBRL通过结合乐观性原则和不确定性建模，实现了在非线性动力学中具有亚线性遗憾的可扩展基于模型的强化学习方法，并在多个环境中展示了优越的探索性能。
2025-11-25 cs.LG
Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting
Politecnico di Milano（米兰理工大学）
针对已知观测模型、未知转移的平均奖励无限时域POMDP，提出OAS估计与OAS-UCRL乐观强化学习算法，证明O(√(T log T))遗憾并通过仿真验证。
2024-10-02 cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Set Membership Estimation for Stochastic Linear Contextual Bandits
The Grainger College of Engineering（格里纳尔工程学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有界奖励噪声的随机线性上下文赌博机，提出基于集合成员估计和乐观原则的SME-OFU算法，实现O(log T)的遗憾界，优于次高斯噪声下的最优界。
2026-10-16 cs.LG math.OC stat.ML
Nearly Optimal Algorithms for Linear Contextual Bandits with Adversarial Corruptions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
我们研究了存在对抗性腐败的线性上下文强盗问题，其中每一轮的奖励都被对手腐败，腐败水平（即，在范围上的损坏幅度的总和）是$C\geq 0$。在这种情况下，最著名的算法是有限的，因为它们要么是计算效率低，或需要一个强大的假设上的腐败，或他们的遗憾是至少$C$倍，比没有腐败的遗憾。在本文中，为了克服这些局限性，我们提出了一种新的算法的基础上的乐观原则，面对不确定性。我们算法的核心是加权岭回归，其中每个选择的动作的权重取决于其置信度达到某个阈值。我们发现，对于已知的$C$和未知的$C$的情况下，我们的算法与适当的选择超参数实现了遗憾，几乎匹配的下限。因此，我们的算法几乎是最佳的对数因子的两种情况下。值得注意的是，我们的算法实现了近最优的遗憾损坏和未损坏的情况下（$C=0$）同时。
2022-07-10 cs.LG stat.ML
Better Exploration with Optimistic Actor-Critic
Microsoft Research Cambridge（微软研究院剑桥分院）；University of California San Diego（加州大学圣迭戈分校）
Actor-critic方法是一种无模型强化学习，已成功应用于连续控制中的挑战性任务，通常可以实现最先进的性能。然而，这些方法在现实世界中的大规模采用是困难的，因为它们的样本效率很低。我们从理论和经验两方面解决这个问题。在理论方面，我们确定了两种现象，防止有效的探索，在现有的国家的最先进的算法，如软演员批评。首先，将贪婪的演员更新与对评论家的悲观估计相结合，导致避免代理不知道的动作，我们称之为悲观探索不足的现象。第二，目前的算法是方向不明的，采样动作的概率相等，方向与当前均值相反。这是一种浪费，因为我们通常更需要沿着某些方向采取行动。为了解决这两种现象，我们引入了一种新算法：乐观演员批评者，它逼近状态-动作值函数的置信下限和置信上限。这使我们能够在面对不确定性时应用乐观原则，使用上限进行定向探索，同时仍然使用下限以避免高估。我们在几个具有挑战性的连续控制任务中评估OAC，实现最先进的样品效率。
2019-10-28 cs.LG stat.ML
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分部）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题，提出结合乐观探索与动作消除的框架，在无腐败时保持近最优遗憾，并能优雅适应未知腐败水平，首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Optimistic Online LQR via Intrinsic Rewards
ETH Zürich（苏黎世联邦理工学院）
本文提出IR-LQR算法，通过内在奖励和方差正则化提升不确定性驱动探索，实现最优最坏情况后悔率√T，实验验证其在飞行器pitch角控制中的有效性。
2026-08-24 cs.LG cs.SY eess.SY
Augmented RBMLE-UCB Approach for Adaptive Control of Linear Quadratic Systems
Texas A & M University（德克萨斯农工大学）；Indian Institute of Science（印度科学学院）
我们考虑了具有二次型代价的未知随机线性系的控制问题--称为自适应LQ控制问题。我们重新审视一种被称为“奖励偏置最大似然估计”（RBMLE）的方法，该方法是在四十多年前提出的，并且早于“上置信界”（UCB）方法以及“后悔"的定义。它只是在参数估计的准则中增加了一个有利于具有更大回报的参数的项。我们展示了如何RBMLE和UCB方法可以调和，从而提出了一个增强的RBMLE-UCB算法，该算法结合了RBMLE方法的惩罚与UCB方法的约束，将两种方法结合起来，以乐观面对不确定性。我们建立，理论上，这种方法保留了$\Tilde{\mathcal{O}}(\sqrt{T})$遗憾，迄今为止最有名的。我们进一步比较了经验性能的建议增强RBMLE-UCB和标准RBMLE（没有增强）与UCB，汤普森采样，输入扰动，随机等价性和稳定在许多现实世界的例子，包括波音747和无人机的飞行控制。我们进行了广泛的模拟研究，表明增强的RBMLE始终优于UCB，Thompson采样和StabL的巨大利润，而它略优于输入扰动和适度优于随机等价。
2023-03-24 cs.LG cs.SY eess.SY
A Linked Aggregate Code for Processing Faces (Revised Version)
Human Information Processing Laboratories（人类信息处理实验室）；Advanced Telecommunications Research International（国际先进电信研究所）；Laboratory of Vision Research（视觉研究实验室）；Rutgers University（罗格斯大学）
一个模型的脸表示，启发的生物学的视觉系统，比较实验数据的感知面部相似性。面部表示模型使用聚集的初级视觉皮层（V1）细胞反应，拓扑连接到覆盖面部的网格，允许在两个面部图像的相应点的形状和纹理的比较。当一组相对相似的面孔被用作刺激时，这种链接聚合代码（LAC）预测人类在相似性判断实验中的表现。当使用可感知类别的面孔时，诸如明显的性别和种族等维度出现在未经训练的LAC模型中。混合类别任务的LAC相似性度量的维度结构显示了一些心理上合理的特征，但也突出了模型与人类相似性判断之间的差异。人类的判断表现出种族知觉偏见，这是不共享的LAC模型。结果表明，LAC为基础的相似性度量可以提供一个肥沃的起点，进一步建模研究的脸表示在更高的视觉领域，包括研究的发展偏见，在面对的看法。
2020-09-17 cs.AI cs.CV cs.CY
Efficient aggregation of face embeddings for decentralized face recognition deployments (extended version)
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文针对去中心化人脸识别部署中的效率与隐私问题，通过多数据集分析和多种聚合策略比较，提出一种高效的人脸嵌入聚合方法，并贡献了新数据集，以支持构建大规模可扩展且注重隐私和长期可用性的去中心化人脸识别系统。
2023-04-17 cs.AI cs.CR cs.CV
Large language model for Bible sentiment analysis: Sermon on the Mount
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Data61, Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织 Data61）；Indian Institute of Technology Delhi（印度理工学院德里分校）；Maverick Trailblazers Inc.（Maverick Trailblazers 公司）；UNSW Sydney（新南威尔士大学）；Pingala Institute of Artificial Intelligence（Pingala 人工智能研究院）
本研究利用预训练大型语言模型对《圣经》登山宝训的五种译本进行情感和语义分析，揭示了各章节和译本间的情感差异及词汇不同。
2024-01-01 cs.AI cs.CL
Mining Permission Request Patterns from Android and Facebook Applications (extended author version)
University of California, Berkeley（加州大学伯克利分校）
Android和Facebook为第三方应用程序提供了访问用户私人数据的权限，并能够执行潜在的敏感操作（例如，张贴到用户的墙上或拨打电话）。作为一种安全措施，这些平台使用权限系统限制应用程序的权限：在应用程序可以进行隐私或安全相关的API调用之前，用户必须批准应用程序请求的权限。然而，最近的研究表明，用户往往不理解权限请求，缺乏一个典型的请求的概念。作为简化权限系统的第一步，我们对188，389个Android应用程序和27，029个Facebook应用程序的语料库进行了聚类，以找到权限请求中的模式。使用布尔矩阵分解的方法来寻找重叠的集群，我们发现，Facebook的权限请求遵循一个明确的结构，表现出高稳定性时，只有五个集群，而Android应用程序展示了更复杂的权限请求。我们还发现，低信誉的应用程序往往偏离我们确定的高信誉的应用程序的许可请求模式，这表明许可请求模式是用户满意度或应用程序质量的指标。
2012-10-08 cs.AI cs.CR stat.ML
Embedded Bandits for Large-Scale Black-Box Optimization
NTU（南洋理工大学）；ST Engineering - NTU Corporate Lab（新科工程-南洋理工大学联合实验室）
随机嵌入已经成功地应用于低有效维数的大规模黑盒优化问题。本文提出了EmbeddedHunter算法，它将该技术结合在一个分层的随机强盗设置，以下乐观面对的不确定性原则，并打破了多轮框架中，随机嵌入已被常规应用类似于随机黑箱优化求解器。我们的命题是出于有界的平均变化的目标值的低维点随机投影到决策空间的Lipschitz连续问题。从本质上讲，EmbeddedHunter算法在一个低维（等于问题的有效维数）的搜索空间上乐观地扩展了一棵划分树，该搜索空间基于低维空间中采样点的有限数量的随机嵌入。在对比的概率理论保证多运行的随机嵌入算法，有限时间分析所提出的算法提出了一个理论上的上限的遗憾作为算法的迭代次数的函数。此外，数值实验进行了验证其性能。结果表明，最近提出的随机嵌入方法的大规模问题，提供了一个明显的性能增益的内在维数是低的。
2016-11-27 cs.AI math.OC
Verification of Relational Multiagent Systems with Data Types (Extended Version)
Free University of Bozen-Bolzano（博尔扎诺自由大学）；University of Genova（热那亚大学）
我们研究的关系多智能体系统（RMASs），其中代理人操纵成熟的关系数据库，数据类型和方面配备了特定领域的，刚性的关系（如总订单）的扩展。具体来说，我们专注于设计时验证的RMASs对丰富的一阶时间属性表示的一阶μ演算的一个变种，量化跨状态。我们建立在以前的可判定性结果下的“状态有界”的假设，即，在每个单个状态中，只有有限数量的数据对象被存储在代理数据库中，而随着时间的推移，可以遇到无限多的数据对象。我们重铸这种情况下，在存在密集的，线性的订单，并在他们上面定义的方面显示可判定性。我们的方法是基于建设的有限状态，健全和完整的抽象的原始系统，其中密集的线性订单被重新制定为非刚性的关系，仅在系统的活动域上工作。我们还显示不可判定性时，包括一个数据类型配备了后继关系。
2014-11-17 cs.AI cs.DB cs.MA
