Randomized Exploration in Cooperative Multi-Agent Reinforcement Learning
Duke University（杜克大学）
本文首次研究了合作型多智能体强化学习中的可证明高效随机化探索，提出了统一算法框架及CoopTS-PHE和CoopTS-LMC两种算法，并在近似线性并行MDPs中证明了其遗憾界和通信复杂度，实验验证了其在多种环境下的优越性能。
2025-03-03 cs.LG stat.ML
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota（明尼苏达大学）
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略，并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中，探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下，人们可以选择使用在每个时间点更新的原始探索序列，或者仅在观察到新奖励时更新序列，从而导致两种竞争策略。在这项工作中，我们表明，虽然这两种策略可能会导致很强的一致性分配，后者的财产持有更广泛的情况。然而，对于有限样本的性能，我们说明了这两种策略都有自己的优点和缺点，这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
Near-Optimal Randomized Exploration for Tabular Markov Decision Processes
我们研究算法使用随机价值函数探索强化学习。这种类型的算法享有吸引人的经验性能。我们表明，当我们使用1）一个单一的随机种子在每个情节，和2）伯恩斯坦型的噪声幅度，我们获得了最坏情况下的$\widetilde{O}\left(H\sqrt{SAT}\right)$遗憾界情节时间非齐次马尔可夫决策过程，其中$S$是状态空间的大小，$A$是行动空间的大小，$H$是规划地平线和$T$是互动的数量。该界多项式地改进了基于随机价值函数的算法的所有现有界，并且首次将$Ω\left(H\sqrt{SAT}\right)$下限与对数因子相匹配。我们的研究结果强调，随机探索可以接近最优，这是以前只能通过乐观算法实现。为了达到预期的结果，我们开发了1）一个新的裁剪操作，以确保乐观的概率和悲观的概率都是下界由一个常数，和2）一个新的估计误差的绝对值的递归公式来分析遗憾。
2022-10-13 cs.LG
Randomized Exploration for Reinforcement Learning with General Value Function Approximation
Mila；McGill University（麦吉尔大学）；Peking University（北京大学）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；DeepMind；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个无模型强化学习算法的灵感来自流行的随机最小二乘值迭代（RLSVI）算法以及乐观原则。与现有的基于置信上限（UCB）的方法不同，这些方法通常在计算上难以处理，我们的算法通过简单地用明智选择的i.i.d.扰动训练数据来驱动探索。标量噪声为了获得乐观的价值函数估计，而不诉诸于UCB式奖金，我们引入了一个乐观的奖励抽样过程。当值函数可以由函数类$\mathcal{F}$表示时，我们的算法实现了$\widetilde{O}(\mathrm{poly}(d_EH)\sqrt{T})$的最坏情况下的遗憾界，其中$T$是经过的时间，$H$是规划范围，$d_E$是$\mathcal{F}$的$\textit{eluder dimension}$。在线性设置中，我们的算法减少到LSVI-PHE，RLSVI的变体，享有$\widetilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾。我们补充的理论与经验评估在已知的困难的探索任务。
2021-10-25 cs.LG stat.ML
Randomized Exploration in Generalized Linear Bandits
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
本文提出两种用于广义线性赌博机的随机化算法 GLM-TSL 和 GLM-FPL，分别基于拉普拉斯近似后验采样和随机扰动历史奖励拟合，并证明其遗憾上界为 $\tilde{O}(d \sqrt{n \log K})$，在逻辑斯蒂和神经网络赌博机中验证了随机化探索的有效性。
2023-07-10 cs.LG stat.ML
Randomized Exploration for Non-Stationary Stochastic Linear Bandits
University of Michigan（密歇根大学）
我们研究了两种扰动方法，以克服保守性，乐观的算法长期遭受在实践中。第一种方法在使用置信集时用简单的随机化代替乐观。第二种方法在最大化预期回报之前，将随机扰动添加到其当前估计值中。对于非平稳线性强盗，其中每个动作与$d$维特征相关联，并且未知参数随总变差$B_T$而时变，我们通过两种扰动方法提出了两种随机化算法，贴现随机化LinUCB（D-RandLinUCB）和贴现线性Thompson采样（D-LinTS）。我们强调的统计最优性与计算效率之间的权衡，前者渐近实现最佳动态遗憾$\tilde{O}(d^{7/8} B_T^{1/4}T^{3/4})$，但后者是甲骨文效率与额外的对数因子相比，最小最优动态遗憾的武器数量。在仿真研究中，这两种算法在解决贴现LinUCB所面临的保守性问题上表现出了出色的性能。
2021-10-11 cs.LG stat.ML
More Efficient Randomized Exploration for Reinforcement Learning via Approximate Sampling
Mila, McGill University（米拉研究所，麦吉尔大学）；Duke University（杜克大学）；University of Alberta（阿尔伯塔大学）；Amii, University of Alberta（阿尔伯塔大学人工智能研究所，阿尔伯塔大学）
本研究提出结合近似采样与FGTS的强化学习探索框架，解决现有TS算法难落地、线性MDP遗憾界次优问题，实现最优维度依赖的遗憾界，在深度探索任务及Atari 57游戏上性能优异。
2024-06-18 cs.AI cs.LG
Deep Exploration via Bootstrapped DQN
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
本文提出Bootstrap DQN算法，通过随机价值函数实现高效探索，提升复杂环境中的学习速度和性能，尤其在Atari游戏中表现优异。
2016-07-04 cs.AI cs.LG cs.SY
Randomized Exploration for Linear Bandits via Absolute Perturbations
Department of Computing Science, University of Alberta, Canada（阿尔伯塔大学计算机科学系）
提出绝对汤普森采样（ATS），通过将符号扰动替换为绝对值确保乐观性，实现与TS相同的计算效率且易于分析，达到$\tilde{O}(d^{3/2}\sqrt{K})$遗憾界；进一步提出集成绝对汤普森采样（EATS），随集成规模增大趋近UCB行为。
2026-06-26 cs.LG
Provably Efficient and Agile Randomized Q-Learning
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出了一种结合基于采样的探索和敏捷策略更新的随机Q学习算法，实现了可证明的高效和敏捷的回合制表格强化学习性能。
2026-02-04 cs.LG
The Potential of the Return Distribution for Exploration in RL
Delft University of Technology（代尔夫特理工大学）
本文研究了在确定性强化学习（RL）环境中探索返回分布的潜力。我们研究了高斯分布、分类分布和高斯混合分布的网络损失和传播机制。结合利用这种回报分布的探索策略，我们解决了一个长度为100的随机链任务，这在以前使用神经网络学习时还没有报道过。
2018-07-02 cs.AI cs.LG stat.ML
Randomized Exploration for Reinforcement Learning with Multinomial Logistic Function Approximation
Seoul National University（首尔大学）
该研究针对MNL函数近似的强化学习场景，提出两种随机探索算法，分别实现不同的常数时间每回合计算成本与后悔值界，是该场景下首批兼具统计保证与高效计算的随机RL算法，实验验证了其性能优势。
2024-10-31 cs.LG stat.ML
Challenges in Statistical Analysis of Data Collected by a Bandit Algorithm: An Empirical Exploration in Applications to Adaptively Randomized Experiments
University of Toronto（多伦多大学）；Sapienza University of Rome（罗马第一大学）；University of Cambridge（剑桥大学）；Universitè Laval（拉瓦尔大学）；Carleton College（卡尔顿学院）
几十年来，多臂强盗算法一直被认为是自适应随机实验的有用方法。在此类实验中，算法会改变分配给参与者的手臂（例如帮助学生学习的替代干预措施），目标是为尽可能多的参与者分配更高回报的手臂。我们应用强盗算法汤普森采样（TS）运行自适应实验在三个大学类。教师看到了尝试快速使用数据给他们的学生在实验中更好的武器（例如，更好地解释一个概念）的巨大价值。然而，我们的部署说明了科学家和从业者使用这种自适应实验的主要障碍：与传统的均匀随机分配相比，缺乏对特定现实世界实验的统计分析受到影响程度的量化见解（Pallmann et al，2018; FDA，2019）。因此，我们使用我们的案例研究的无处不在的双臂二进制奖励设置经验调查的影响，使用汤普森采样，而不是均匀的随机分配。在这种情况下，使用常见的统计假设检验，我们表明，使用TS收集数据可以使假阳性率（FPR;当不存在差异时错误地报告差异）和假阴性率（FNR;当存在差异时未能报告差异）增加一倍。
2021-03-26 cs.LG stat.AP
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
我们考虑一个团队的强化学习代理，同时在一个共同的环境中运行，我们开发了一种方法，有效的协调探索，是适合于实际规模的问题。我们的方法建立在种子采样（Dimakopoulou和Van Roy，2018）和随机价值函数学习（Osband等人，2016年）。我们证明，对于简单的表格上下文，该方法与以前提出的表格模型学习方法（Dimakopoulou和Van Roy，2018）具有竞争力。与高维问题和神经网络价值函数表示，该方法学习速度快，代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano（米兰理工大学）
策略优化（PO）是一种广泛使用的方法来解决连续控制任务。在本文中，我们引入了中介反馈的概念，框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比，额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察，我们提出了一种算法，随机化探索策略优化通过多个重要性采样截断（RANDOMIST），在PO中的遗憾最小化，采用随机探索策略，不同于现有的乐观方法。当政策空间是有限的，我们表明，在某些情况下，它是可能实现不断的遗憾，而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后，我们将随机扩展到紧凑的政策空间。最后，我们提供了有限的和紧凑的政策空间的数值模拟，与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
Parameterized Indexed Value Function for Efficient Exploration in Reinforcement Learning
Stanford University（斯坦福大学）
众所周知，量化动作值估计中的不确定性对于强化学习中的有效探索至关重要。包围采样提供了一种相对容易计算的方法，使用随机化的价值函数来实现这一点。然而，它仍然需要大量的计算资源来处理复杂的问题。在本文中，我们提出了一种替代的，计算效率高的方法来诱导探索使用指数采样。我们使用一个指数化的价值函数来表示行动价值估计中的不确定性。本文首先提出了一种在表格环境下通过时间差分的分布形式学习参数化索引价值函数的算法，并证明了算法的遗憾界。然后，在计算的角度来看，我们提出了一个双网络架构，参数化索引网络（PIN），包括一个平均网络和一个不确定性网络学习的索引价值函数。最后，我们通过计算实验证明了PIN的有效性。
2020-03-19 cs.AI cs.LG stat.ML
The Sliding Regret in Stochastic Bandits: Discriminating Index and Randomized Policies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出滑动遗憾概念以度量单次运行中伪遗憾的平滑性，证明随机化方法（如 Thompson Sampling、MED）具有最优滑动遗憾，而 UCB 类指数策略的滑动遗憾和平均起伏均为次优。
2023-11-30 cs.LG cs.SY eess.SY
On the Importance of Exploration for Generalization in Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Meta AI Research（Meta人工智能研究院）
该研究聚焦强化学习泛化中被忽略的探索问题，提出基于分布集成的探索方法EDE，通过Q值分布集成探索高认知不确定性状态，在两个高维泛化基准上取得当前最优结果。
2023-06-08 cs.LG
Regret Analysis of Certainty Equivalence Policies in Continuous-Time Linear-Quadratic Systems
本文从理论上研究了一种普适的强化学习策略，用于控制连续时间随机线性二次系统的规范模型。我们发现，随机确定性等价策略解决了线性控制系统中的探索-开发困境，根据未知的随机微分方程，其运营成本是二次的。更确切地说，我们建立了时间后悔界的平方根，表明随机确定性等价策略从单个状态轨迹快速学习最优控制动作。此外，线性缩放的遗憾与参数的数量示出。所提出的分析介绍了新颖而有用的技术方法，并揭示了连续时间强化学习的基本挑战。
2022-08-22 cs.LG cs.SY eess.SY
No-regret Exploration in Contextual Reinforcement Learning
University of Michigan（密歇根大学）
我们认为最近提出的强化学习（RL）框架的上下文马尔可夫决策过程（CMDP），其中代理与（潜在的敌对）序列的情节表MDP的相互作用。此外，确定MDP参数的上下文向量在每个事件开始时可用于代理，从而允许其学习上下文相关的接近最优的策略。在本文中，我们提出了一个无遗憾的在线RL算法的设置中的MDP参数获得的背景下，使用广义线性映射（GLM）。我们提出并分析了乐观和随机的探索方法，使（时间和空间）有效的在线更新。基于GLM的模型包含了以前在这方面的工作，也提高了以前已知的边界的特殊情况下，上下文映射是线性的。此外，我们展示了一个通用的模板来获得置信集使用在线学习甲骨文，并给出了一个下限的设置。
2020-06-17 cs.AI cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本研究通过好奇心驱动的机器人自我探索，结合Q学习实现主动推理，揭示了组合泛化、快速学习、先配对后组合以及异常处理导致的U型发展模式，为人类高效语言习得提供解释。
2026-06-18 cs.LG stat.ML
Network Randomization: A Simple Technique for Generalization in Deep Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
深度强化学习（RL）代理通常无法泛化到看不见的环境（但在语义上与经过训练的代理相似），特别是当它们在高维状态空间（如图像）上进行训练时。在本文中，我们提出了一种简单的技术，通过引入随机（卷积）神经网络来提高深度RL代理的泛化能力，该网络随机扰动输入观察。它使经过训练的代理能够通过学习在各种随机环境中不变的鲁棒特征来适应新的领域。此外，我们考虑了一种基于蒙特卡罗近似的推理方法，以减少这种随机化引起的方差。我们在2D CoinRun、3D DeepMind Lab探索和3D机器人控制任务中展示了我们方法的优越性：它显著优于用于相同目的的各种正则化和数据增强方法。
2020-02-15 cs.LG stat.ML
Exploration via Feature Perturbation in Contextual Bandits
Seoul National University（首尔国立大学）
提出特征扰动探索策略，通过向特征输入注入随机性实现上下文赌博机的有效探索，达到近乎最优遗憾界且计算高效，可扩展至神经网络模型。
2025-10-24 cs.LG stat.ML
Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization
The University of Tokyo（东京大学）；University of Tübingen（图宾根大学）
本文提出快慢复发机制，通过结合快速递归潜在更新与慢速观测更新，提升长周期序列建模的稳定性与泛化能力，优于LSTM等基线方法。
2026-07-09 cs.AI cs.LG
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
On Generalization and Distributional Update for Mimicking Observations with Adequate Exploration
Shanghai Institute of Satellite Engineering（上海卫星工程研究所）；Department of Mathematics, College of Sciences, Shanghai University（上海大学数学系）；School of Computer Science, University of Bristol（布里斯托大学计算机科学学院）；Newtouch Center for Mathematics of Shanghai University（上海大学数学中心）
针对从观测中学习（LfO）存在的样本低效与训练不稳定问题，该研究结合分布软演员-评论家改进GAIfO的策略优化，提出MODULE算法，兼具SAC的高效鲁棒性与分布强化学习的稳定性，在MuJoCo环境中性能优于现有LfO方法。
2025-10-21 cs.LG stat.ML
Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration Under Uncertainty
Stevens Institute of Technology（斯蒂文斯理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Wing, Alphabet Inc.（Alphabet公司Wing部门）
研究了具有三维距离感知的移动机器人在定位不确定条件下的自主探测问题。我们提出了一个框架，用于在单个仿真环境中自学习高性能的探索策略，并将其转移到其他环境中，这些环境可以是物理的或虚拟的。最近的工作在迁移学习取得了令人鼓舞的性能领域自适应和域随机化暴露代理的情况下，填补了固有的差距，在sim2sim和sim2real的方法。然而，它是低效的训练代理在环境中的随机条件下学习其当前状态的重要特征。智能体可以使用人类专家提供的领域知识来有效地学习。我们提出了一种新的方法，使用图神经网络结合深度强化学习，使决策的图形包含相关的探索信息提供的人类专家来预测机器人的最佳感知动作的信念空间。该策略仅在单个仿真环境中训练，提供了一种实时、可扩展和可转移的决策策略，导致zero-shot转移到其他仿真环境甚至真实世界环境。
2021-05-11 cs.AI cs.LG cs.RO
Training on Irrelevant States Implies Data Augmentation: Generalization in Contextual MDPs
研究上下文马尔可夫决策过程零样本策略转移中智能体泛化问题，提出Explore-Go方法，通过在训练开始引入纯探索阶段，结合现有纯探索策略提升智能体覆盖范围与准确性来增强泛化能力，经实验验证该方法在多种基准测试中有效。
2026-07-14 cs.AI cs.LG
Exploration in Feature Space for Reinforcement Learning
The Australian National University（澳大利亚国立大学）
臭名昭著的探索-利用困境是强化学习（RL）中最古老也是最重要的问题之一。有意识和有效的探索是RL代理在大多数环境中取得成功所必需的。然而，直到最近，即使是非常复杂的强化学习算法在大规模强化学习任务中也采用简单的无向探索策略。我们引入了一个新的乐观计数为基础的探索算法RL是可行的高维MDPs。RL算法在这些领域的成功关键取决于有限训练经验的泛化。函数逼近技术使RL代理泛化，以估计未访问状态的值，但目前很少有方法实现泛化代理的未访问状态的不确定性。我们提出了一种新的方法来计算一个广义的状态访问计数，它允许代理估计与任何状态相关的不确定性。与现有的探索技术相比，我们的$ϕ$ - $\textit{pseudocount}$实现泛化利用的状态空间，用于价值函数近似的特征表示。具有较少观察到的特征的国家被认为更不确定。由此产生的$ϕ$ - $\textit{Exploration-Bonus}$算法奖励代理在特征空间而不是在原始状态空间中进行探索。这种方法比以前的一些建议更简单，计算成本更低，并且在高维RL基准测试中获得了接近最先进的结果。特别是，我们报告了几款难度极高的Atari 2600视频游戏的世界级结果，包括Montezuma的复仇。
2017-10-05 cs.AI
Efficient kernelized bandit algorithms via exploration distributions
University of British Columbia（不列颠哥伦比亚大学）；UBC & Amii（不列颠哥伦比亚大学及阿米）
针对核化赌博机问题，提出基于探索分布的高效通用算法GP-Generic，可涵盖UCB类及多种随机算法，悔界与现有最优结果匹配，且随机化版本实际效果更优。
2025-06-11 cs.LG
Near-Optimal Pure Exploration in Matrix Games: A Generalization of Stochastic Bandits & Dueling Bandits
University of Washington（华盛顿大学）
本文研究带噪声两人零和矩阵博弈中识别纯策略纳什均衡的样本复杂度，提出一个在忽略对数因子条件下匹配实例相关下界的近最优算法，并统一推广了随机多臂老虎机与对决老虎机的纯探索最优界。
2023-11-27 cs.GT cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对目标条件强化学习中的探索效率问题，提出GEASD框架，通过自适应技能分布优化局部熵，增强目标扩散，实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling
Columbia University（哥伦比亚大学）
强化学习研究如何平衡现实世界系统中的探索和利用，优化与世界的交互，同时学习世界如何运作。用于这种学习的一个一般类的算法是多臂强盗设置。随机概率匹配，在20世纪30年代推出的汤普森抽样方法的基础上，最近已被证明表现良好，并享有可证明的最优属性。它允许在贝叶斯设置中生成可解释的建模，其中包含先验知识，并且计算的后验自然捕获知识的全部状态。在这项工作中，我们利用贝叶斯后验中包含的信息，并通过抽样估计其充分统计量。在几个应用领域，例如在健康和医学中，与世界的每次交互都可能是昂贵的和侵入性的，而从模型中提取样本相对便宜。利用这一观点，我们开发了一种由学习过程中的不确定性驱动的双重抽样技术：当确定每个臂的属性时，它有利于开发，否则进行探索。该算法不做任何分布假设，只要贝叶斯后验更新是可计算的，它适用于复杂的回报分布。利用估计的后验充分统计量，双重抽样自主地平衡探索-开发权衡，以做出更明智的决策。我们的经验表明，减少累积遗憾相比，国家的最先进的替代品在代表性的土匪设置。
2018-08-08 cs.LG stat.CO stat.ML
Contextual Exploration Using a Linear Approximation Method Based on Satisficing
Tokyo Denki University（东京电机大学）
深度强化学习已经在各种类型的游戏中实现了人类水平甚至超人的表现。然而，学习所需的探索量往往相当大。深度强化学习也具有超人的性能，因为没有人能够实现如此多的探索。为了解决这个问题，我们专注于\textit{satisficing}政策，这是一个从现有的优化算法的定性不同的方法。因此，我们提出了线性RS（LinRS），这是一种满足算法和风险敏感满足（RS）的线性扩展，适用于更广泛的任务。RS的推广提供了一种通过采用与现有优化算法不同的方法来减少探索性操作量的算法。LinRS利用线性回归和多类分类来线性近似RS计算中所需的动作值和动作选择比例。我们的实验结果表明，LinRS减少了探索的数量和运行时间相比，现有的算法在上下文强盗问题。这些结果表明，满意算法的进一步推广可能对复杂环境有用，包括那些需要用深度强化学习处理的环境。
2021-12-13 cs.LG
RL4RLA: Teaching ML to Discover Randomized Linear Algebra Algorithms Through Curriculum Design and Graph-Based Search
Pratt School of Engineering, Duke University, Durham, NC, USA（杜克大学工程学院）；Department of Computer Science, Dartmouth College, Hanover, NH, USA（达特茅斯学院计算机科学系）
本文提出RL4RLA框架，通过课程设计和基于图的搜索自动化发现可解释的符号随机线性代数算法，展示了其在重发现状态-of-the-art方法和优化算法性能方面的贡献。
2026-05-18 cs.LG
Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization
University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
尽管近年来分散式多玩家多武装土匪（MP-MAB）问题的重大利益和许多进展，在异构MP-MAB设置的自然集中下界的遗憾差距仍然是开放的。在本文中，我们提出了BEACON --具有自适应通信的批处理探索--来缩小这一差距。BEACON在隐式通信和有效探索方面做出了新的贡献，实现了这一目标。对于前者，我们提出了一种新的自适应差分通信（ADC）的设计，显着提高了隐式通信效率。对于后者，一个精心制作的批量勘探计划的开发，使合并的组合置信上限（CUCB）的原则。然后，我们将现有的线性奖励MP-MAB问题，其中系统奖励总是单独收集的奖励的总和，一个新的MP-MAB问题，其中系统奖励是一个一般的（非线性）功能的个人奖励。我们扩展了BEACON来解决这个问题，并证明了一个对数遗憾。BEACON桥梁组合MAB（CMAB）和MP-MAB，在MAB的两个很大程度上脱节的领域的算法设计和遗憾分析，本文的结果表明，这种以前被忽视的连接是值得进一步研究。
2021-10-29 cs.IT cs.LG math.IT
Deep Learned Path Planning via Randomized Reward-Linked-Goals and Potential Space Applications
Tohoku University（东北大学）
太空探索任务已经看到使用越来越复杂的机器人系统，具有越来越多的自主权。深度学习有望将这一点更进一步，并应用于高级任务，如路径规划，以及低级任务，如运动控制，这是任务效率和成功的关键组成部分。在训练过程中使用具有随机奖励函数参数的深度强化端到端学习，我们教一个模拟的8自由度四足蚂蚁机器人在周界内的任何地方旅行，在单个神经网络上进行路径规划和运动控制，而无需任何系统模型或地形或环境的先验知识。我们的方法还允许用户指定的航路点，这可以很好地转换为全自主或半自主/遥控空间应用程序，遇到延迟时间。我们使用随机生成的与奖励函数相关联的路点来训练智能体，并将路点坐标作为输入传递给神经网络。这种应用在各种太空探索机器人上显示出了希望，包括用于快速运动的高速漫游车和用于崎岖地形的腿式洞穴机器人。
2019-09-13 cs.AI cs.LG cs.RO
Frequentist Regret Bounds for Randomized Least-Squares Value Iteration
Stanford University（斯坦福大学）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
针对有限时域强化学习的探索-利用困境，本文提出了一种乐观初始化的 RLSVI 变体，并在低秩转移动态假设下首次证明了带函数逼近的随机化探索的频率学派遗憾上界。
2023-09-08 cs.LG stat.ML
A generalization of the randomized singular value decomposition
University of Oxford（牛津大学）；Cornell University（康奈尔大学）
随机奇异值分解（SVD）是一种利用矩阵向量与标准高斯向量的乘积来计算矩阵$A$的近最佳秩$k$近似的流行而有效的算法。在这里，我们将随机SVD推广到多变量高斯向量，允许将$A$的先验知识纳入算法。这使我们能够探索连续模拟的随机SVD希尔伯特-施密特（HS）运营商使用运营商的功能产品从高斯过程（GP）的功能。然后，我们构造了一个新的协方差核的GP，加权雅可比多项式的基础上，这使我们能够快速采样的GP和控制随机生成的函数的平滑度。矩阵和HS算子的数值例子证明了算法的适用性。
2022-01-21 cs.LG cs.NA math.NA
Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms
Baidu Research（百度研究院）
最近建立了一致稳定学习算法的具有近紧速率的指数泛化界。然而，一致稳定性的概念是严格的，因为它对数据生成分布是不变的。在较弱的和分布依赖的稳定性的概念，如假设稳定性和$L_2$ -稳定性，文献表明，只有多项式泛化界在一般情况下是可能的。本文件探讨这两种结果制度之间长期存在的紧张关系，并在传统的增强信任框架内逐步缓解这种紧张关系。为此，我们首先建立了一个预期的第一时刻泛化误差界潜在的随机学习算法与$L_2$稳定性，基于此，我们然后表明，一个适当设计的subbagging过程导致近紧指数泛化界的数据和算法的随机性。我们进一步具体化这些通用的结果随机梯度下降（SGD），以获得改进的高概率泛化界的凸或非凸优化问题的自然时间衰减的学习率，这是不可能证明与现有的假设稳定性或一致稳定的结果。
2022-06-08 cs.LG stat.ML
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind（深度思维（DeepMind））
本文提出随机化位置编码方案，通过模拟更长序列位置并随机选取有序子集，解决Transformer在长度泛化上的分布外问题，在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Randomized Value Functions via Multiplicative Normalizing Flows
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
随机价值函数提供了一个很有前途的方法，有效地探索在复杂的环境中的高维状态和动作空间的挑战。与传统的点估计方法不同，随机价值函数在动作空间值上保持后验分布。这可以防止代理的行为策略过早地利用早期估计并陷入局部最优。在这项工作中，我们利用变分贝叶斯神经网络的最新进展，并将其与传统的深度Q网络（DQN）和深度确定性策略梯度（DDPG）相结合，以实现高维域的随机价值函数。特别是，我们增加DQN和DDPG与乘法规范化流，以跟踪丰富的近似后验分布的参数的价值函数。这允许代理通过随机梯度方法以计算高效的方式执行近似Thompson采样。我们证明了我们的方法的好处，通过在高维环境中的经验比较。
2019-06-28 cs.LG stat.ML
Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters
该研究针对带有冻结随机因子的非对称LoRA展开理论分析，证明了其泛化间隙的集中性，给出了高概率下的样本复杂度上界与匹配的下界，为非对称LoRA的实际应用可靠性提供理论支撑。
2025-06-17 cs.AI cs.LG cs.NE
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
On Data-Dependent Random Features for Improved Generalization in Supervised Learning
Harvard University（哈佛大学）
随机化特征方法已成功地应用于大规模核近似和监督学习。从中提取随机特征的分布影响有效执行学习任务所需的特征数量。最近，它已被证明，采用数据相关的随机化提高了所需数量的随机特征方面的性能。在本文中，我们关注的是监督学习中的随机特征方法，以获得良好的泛化能力。我们提出了基于能量的探索随机特征（EERF）算法的基础上，数据依赖的得分函数，探索可能的功能集，并利用有前途的地区。我们证明了所提出的得分函数具有很高的概率恢复的频谱内的模型类的最佳拟合。我们在几个基准数据集上的实证结果进一步验证了我们的方法与最先进的方法相比，需要更少数量的随机特征来实现一定的泛化误差，同时引入可忽略不计的预处理开销。EERF可以用几行代码实现，不需要额外的调优参数。
2017-12-19 cs.LG stat.ML
Efficient Training of Deep Neural Operator Networks via Randomized Sampling
Department of Civil and Systems Engineering, Johns Hopkins University（土木与系统工程系，约翰霍普金斯大学）
本文提出一种用于训练DeepONet的随机采样技术，通过对trunk network输入进行随机采样，有效降低了内存需求并显著缩短训练时间，同时提升了模型在复杂物理系统建模中的泛化能力与鲁棒性。
2025-06-01 cs.LG physics.data-an stat.ML
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra（庞培法布拉大学）；Element AI（Element AI公司）；Mila（米拉实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
我们研究了流行的随机优化方法称为随机梯度下降（SGD）优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差，依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差（相对于数据分布）和目标函数沿SGD路径的局部平滑度，以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
