Safe Exploration for Identifying Linear Systems via Robust Optimization
Google（谷歌）
本文研究如何在未知动态系统中安全识别参数，通过鲁棒优化方法逐步扩展安全动作区域，提升安全探索的样本效率。
2017-11-30 cs.LG cs.SY eess.SY
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley（加州大学伯克利分校）
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证，他们往往是不切实际的，在更高的维度，由于它们依赖于枚举的状态动作空间。因此，复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中，我们考虑了具有挑战性的Atari游戏领域，它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略，包括汤普森采样和玻尔兹曼勘探，并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型，我们能够开发一种可扩展且有效的探索奖金方法，该方法可应用于具有复杂高维状态空间的任务。在雅达利领域，我们的方法提供了最一致的改进，在一系列的游戏，构成了一个重大的挑战，以前的方法。除了原始游戏分数，我们还为Atari学习领域开发了AUC-100指标，以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
Curious Explorer: a provable exploration strategy in Policy Learning
University of Pisa（比萨大学）；University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）
使用策略梯度方法，访问探索重启分布（所谓的宽覆盖假设）是至关重要的。这是因为，虽然目标函数对不太可能的状态的更新不敏感，但代理可能仍然需要在这些状态中进行改进，以达到接近最佳的回报。为此，在分析实际策略梯度方法的理论性质时，以某种形式使用宽覆盖。然而，这种假设在某些环境中可能是不可行的，例如当学习是在线的，或者只有从固定的初始状态重新启动才可能。在这些情况下，经典的策略梯度算法可能具有非常差的收敛特性和样本效率。在本文中，我们开发了好奇探索者，一种新颖而简单的迭代状态空间探索策略，可用于任何起始分布$ρ$。Curious Explorer从$ρ$开始，然后使用分配给访问不佳状态集的内在奖励生成一系列策略，每个策略都比前一个策略更具探索性，最后根据探索性策略的状态访问分布输出重启模型$μ$。好奇的探索者是可证明的，在这个意义上，我们提供了理论上的上限多久一个最佳的政策访问量不大的国家。当PAC优化器插入Curious Explorer时，这些界限可用于证明PAC收敛和样本效率结果。这允许实现全局收敛和样本效率结果，而无需对REINFORCE进行任何覆盖假设，并且可能用于任何其他策略梯度方法，从而确保PAC收敛具有广泛的覆盖。最后，我们将好奇探索者的输出插入到REINFORCE和TRPO中，并以经验证明它可以提高具有挑战性探索的MDP的性能。
2021-06-29 cs.AI cs.LG
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
结构化探索的最新研究强调在状态空间中识别新的状态，并通过内在奖励奖金激励代理重新访问它们。在这项研究中，我们的问题，通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中，我们调查的影响，在政策和奖励空间的探索行为的代理。我们继续表明，在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现，我们建议对结构化探索研究的任何改进进行基准测试，以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
Active Coverage for PAC Reinforcement Learning
UMPA, ENS Lyon（里昂高等师范学院UMPA）；Meta AI；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
本文形式化情节式MDP中的主动覆盖问题，提出博弈论算法CovGame，其样本复杂度匹配实例相关下界，并作为构建块解决PAC无奖励探索和最佳策略识别任务，在易探索MDP中优于极小极大复杂度。
2023-06-23 cs.LG
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding
针对长视频理解中稀疏证据定位难的问题，提出VideoScout多轮推理智能体，通过自适应观看节奏实现序列证据获取，结合两阶段训练与DAPO强化学习，7B模型在基准上表现强劲。
2026-09-15 cs.AI cs.CV
PAC Guarantees for Cooperative Multi-Agent Reinforcement Learning with Restricted Communication
Technion, Israel（以色列理工学院）
我们开发模型免费PAC性能保证多个并发MDPs，扩展最近的作品，一个单一的学习者与多个非交互代理在一个无噪声的环境中进行交互。我们的框架允许嘈杂和资源有限的代理之间的通信，并在此扩展设置开发新的PAC保证。通过允许代理之间的通信，我们建议改进的PAC探索算法，可以克服通信噪声，并导致改进的样本复杂度界限。我们提供了一个理论上的动机的算法，最佳地结合信息的资源有限的代理，从而分析噪声和通信约束之间的相互作用，在现实世界的系统中是无处不在的。我们提出了一个简单的任务，支持我们的理论公式和改进后，天真的信息融合方法的经验结果。
2019-10-10 cs.LG stat.ML
Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
我们研究了样本复杂性的基于模型的强化学习（以下简称RL）在一般的上下文决策过程中，需要战略探索，以找到一个接近最优的政策。我们设计了一个通用的模型类RL的新算法，并分析其统计特性。我们的算法样本的复杂性由一个新的结构参数称为证人的排名，我们证明是小的几个设置的兴趣，包括因素的MDP。我们还表明，证人秩永远不会大于最近提出的Bellman秩参数，该参数控制无模型算法OLIVE的样本复杂度（Jiang et al.，2017年），唯一的其他可证明的样本有效的算法，在这个水平的一般性的全球探索。聚焦于因子化的MDP的特殊情况，我们证明了一般类无模型方法的指数下界，包括OLIVE，当与我们的算法结果相结合时，在一些丰富的观测设置中，基于模型的RL和无模型RL之间表现出指数分离。
2019-05-30 cs.LG stat.ML
Behind the Myth of Exploration in Policy Gradients
Montefiore Institute（蒙费伊尔研究所）；University of Liège（利耶大学）
本文从数值优化角度分析策略梯度中的探索项，提出学习目标和随机梯度估计的评价标准，揭示其平滑目标消除局部最优、优化梯度估计提升最优策略获取概率的作用，并通过熵奖励策略实证验证。
2025-08-20 cs.LG stat.ML
Entropy Pacing Policy Optimization for Multi-Task Agentic Reinforcement Learning
Generative AI Lab, College of Computing and Data Science, Nanyang Technological University（生成式人工智能实验室，南洋理工大学计算与数据科学学院）；Tongyi Lab, Alibaba Group（阿里集团通义实验室）
研究多任务智能强化学习中任务间探索-利用步长不匹配问题，提出熵步长策略优化（EPPO），核心是任务级动态裁剪机制，实验证明EPPO在多任务智能基准上结果优于同类方法。
2026-07-09 cs.AI cs.LG
Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
在具有线性函数近似的MDP中可证明有效学习的理论分析方面取得了越来越大的进展，但现有的许多工作都做出了强有力的假设，以使传统的探索框架能够进行探索。通常，这些假设比在批量设置中找到好的解决方案所需的假设更强。在这项工作中，我们将展示如何在一个更标准的概念，低固有贝尔曼错误，通常采用最小二乘值迭代式算法，我们可以提供强大的PAC保证学习一个接近最佳的价值函数提供的线性空间是足够的“探索”。我们提出了一个计算上易于处理的算法的奖励免费设置，并显示它如何可以用来学习一个接近最优的政策，任何（线性）奖励函数，这是揭示一旦学习已经完成。如果这个奖励函数也是从纯探索过程中收集的样本中估计的，那么我们的结果还提供了相同顺序的PAC保证，保证了此设置下所产生的策略的性能。
2020-10-22 cs.LG stat.ML
Improving Intrinsic Exploration by Creating Stationary Objectives
Mila Québec AI Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Ubisoft LaForge（育碧LaForge工作室）
本文提出SOFE框架，通过增广状态表示将非平稳探索奖励转化为平稳奖励，从而简化智能体目标优化，在多种困难探索任务中显著提升了性能。
2024-04-23 cs.AI cs.LG
Planning Goals for Exploration
University of Pennsylvania（宾夕法尼亚大学）
在一个未知的环境中，智能体应该做些什么来快速了解环境，以及如何在环境中完成各种任务？我们在目标条件强化学习范式中解决了这个问题，通过确定代理应该如何在训练时设置目标以最大化探索。我们提出了“规划探索性目标”（PEG），这是一种为每个训练集设置目标的方法，可以直接优化内在的探索奖励。PEG首先选择目标命令，使得代理的目标条件策略在其当前训练水平下将最终处于具有高探索潜力的状态。然后，它启动了一项勘探政策，从那些有希望的州开始。为了实现这种直接优化，PEG学习世界模型并将基于采样的规划算法适配为“规划目标命令”。在具有挑战性的模拟机器人环境中，包括迷宫中的多腿蚂蚁机器人和杂乱桌面上的机器人手臂，PEG探索可以更有效地训练目标条件策略，相对于基线和消融。我们的蚂蚁成功地通过了一个长长的迷宫，机器人手臂在命令下成功地建立了一个三块的堆栈。网址：https://penn-pal-lab.github.io/peg/
2023-03-23 cs.AI cs.LG cs.RO
lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
本文提出了一种新的置信上界（UCB）过程中确定的最大平均值在一个多臂强盗游戏在固定的信心设置使用少量的总样本。该程序不能改进的意义上说，所需的样本数，以确定最佳臂是在一个恒定的因素的下限的基础上的法律的迭代对数（LIL）。受LIL的启发，我们构造了我们的置信区间，以明确说明算法的无限时间范围。此外，通过使用一个新的停止时间的算法，我们避免了工会绑定的武器，已观察到在其他UCB型算法。我们证明了该算法是最佳的常数，并通过模拟表明，它提供了优越的性能相对于国家的最先进的。
2013-12-27 cs.LG stat.ML
MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Tsinghua University（清华大学）
本文提出MESA元探索方法，通过识别高回报联合状态-动作子空间并学习多样化探索策略来覆盖该子空间，从而提升多智能体强化学习在稀疏奖励任务中的探索效率与性能。
2024-05-01 cs.AI cs.LG cs.MA
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Microsoft Research（微软研究院）；Vanderbilt University（范德比尔特大学）
本文提出一种任务驱动的深度Q学习算法，利用LTL自动机表示和部分环境模型指导探索，加速未知随机动力学下LTL任务策略学习，并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
Near-Optimal Pure Exploration in Matrix Games: A Generalization of Stochastic Bandits & Dueling Bandits
University of Washington（华盛顿大学）
本文研究带噪声两人零和矩阵博弈中识别纯策略纳什均衡的样本复杂度，提出一个在忽略对数因子条件下匹配实例相关下界的近最优算法，并统一推广了随机多臂老虎机与对决老虎机的纯探索最优界。
2023-11-27 cs.GT cs.LG
Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain
Tianjin University（天津大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern Polytechnical University（西北工业大学）
深度强化学习（DRL）和深度多智能体强化学习（MARL）在游戏人工智能、自动驾驶汽车、机器人等广泛领域取得了重大成功。然而，DRL和深度MARL智能体被广泛认为是样本效率低下的，即使是相对简单的问题设置也通常需要数百万次交互，从而阻碍了在实际工业场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的勘探问题，即，如何有效地探索环境和收集有益于策略学习的有益经验，以实现最佳政策。这个问题在具有稀疏奖励、嘈杂干扰、长视野和非静止协同学习者的复杂环境中变得更具挑战性。在本文中，我们进行了全面调查现有的探索方法，单智能体和多智能体RL。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支，我们还包括其他具有不同思想和技术的显着勘探方法。除了算法分析，我们提供了一个全面和统一的经验比较不同的勘探方法DRL的一组常用的基准。最后，根据我们的算法和实证研究，总结了DRL和深层MARL研究中存在的问题，并指出了未来的发展方向。
2023-02-02 cs.AI cs.LG cs.MA
On Bonus-Based Exploration Methods in the Arcade Learning Environment
MILA, Université de Montréal（蒙特利尔大学米拉研究所）；Google Brain（谷歌大脑）
应用于Atari 2600游戏的强化学习中的探索研究强调解决困难的探索问题，例如Montezuma的复仇（Bellemare et al.，2016）。最近，基于奖金的探索方法，通过增加环境奖励进行探索，在这些领域达到了高于人类平均水平的表现。在本文中，我们重新评估流行的奖金为基础的探索方法在一个共同的评估框架。我们结合彩虹（Hessel等人，2018年）与不同的探索奖金，并评估其性能蒙特祖玛的复仇，贝勒马尔等人。的一套艰苦的探索游戏与稀疏的奖励，和整个雅达利2600套件。我们发现，虽然探索奖金导致更高的分数蒙特祖玛的复仇，他们不提供有意义的收益比简单的$ε$贪婪的计划。事实上，我们发现，在该游戏上表现最好的方法往往不如$ε$-贪婪的容易探索雅达利2600游戏。我们发现，我们的结论仍然有效，即使超参数调整这些容易探索的游戏。最后，我们发现，没有一个调查的方法受益于额外的训练样本（10亿帧，而彩虹的2亿帧）Bellemare等人。的艰苦探索游戏。我们的研究结果表明，最近在蒙特祖玛的复仇的收益可能更好地归因于架构的变化，而不是更好的探索计划，并在雅达利2600游戏的探索研究的实际进展速度可能已经混淆了一个单一的域上的良好结果。
2021-09-22 cs.LG
Pure Exploration of Multi-armed Bandit Under Matroid Constraints
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了随机多臂强盗对策中具有拟阵约束（最佳基）的纯探索问题。在最佳基的情况下，我们给出了$n$随机武器与未知的奖励分布，以及拟阵$\mathcal{M}$的武器。让手臂的重量是它的奖励分布的平均值。我们的目标是使用尽可能少的样本，确定具有最大总重量的$\mathcal{M}$的基础。该问题是近年来引起广泛关注的最佳臂识别问题和顶- $k$臂识别问题的重要推广。我们研究了最佳基础的精确和PAC版本，并为这些版本提供了接近最佳样本复杂度的算法。我们的结果推广和/或改进的前$k$臂识别问题和组合纯探索问题时，组合约束是拟阵的几个先前的结果。
2016-05-25 cs.DS cs.LG
Blind Exploration and Exploitation of Stochastic Experts
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了盲探索和开发（BEE）算法，用于确定最可靠的随机专家的基础上，采用后验抽样，置信上限，经验Kullback-Leibler分歧，和最小最大方法的随机多臂土匪问题的配方。在无监督或盲目的框架中，由于无法获得来自真实状态的反馈，联合采样和咨询专家的意见取决于世界的隐藏和随机状态，这变得具有挑战性。我们提出了一个经验上可实现的衡量专家能力，可以推断瞬间只使用其他专家的意见。这种措施保留了真正的能力的顺序，从而使联合抽样和咨询的随机专家根据他们的意见动态变化的任务。从拟议的措施中得到的统计数据是即时可用的，允许盲目的探索-利用和无监督的意见聚合。我们讨论了缺乏监督如何影响BEE架构，依赖于UCB 1，KL-UCB，MOSS，IMED，和汤普森采样的渐近遗憾。我们展示了不同的BEE算法的性能经验，并将它们与标准或监督的同行进行比较。
2021-04-02 cs.LG eess.SP
PAC-Bayesian Analysis of the Exploration-Exploitation Trade-off
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Università degli Studi di Milano（米兰大学）；Université Laval（拉瓦尔大学）；University of Leoben（莱奥本大学）；University College London（伦敦大学学院）
我们开发了一个连贯的框架，综合同时分析的勘探开发和模型顺序选择的权衡。我们改进了我们以前在同一主题上的结果（Seldin等人，2011）通过结合PAC-Bayesian分析和鞅的Bernstein型不等式。这样的组合对于研究多个同时发展的鞅也有独立的意义。
2011-05-23 cs.LG stat.ML
A Fast Algorithm for PAC Combinatorial Pure Exploration
我们考虑的问题组合纯探索（CPE），它涉及找到一个组合集或武器与高回报，当奖励的个别武器是未知的，必须估计使用手臂拉。以前的算法这个问题，而在许多情况下获得样本的复杂性降低，是高度计算密集型的，从而使他们不切实际的，即使是轻微的大问题。在这项工作中，我们提出了一个新的CPE算法在PAC设置，这是计算重量轻，所以可以很容易地应用到数以万计的武器的问题。这是实现，因为所提出的算法需要一个非常小的组合的oracle调用。该算法是基于连续接受武器，随着消除这是基于组合结构的问题。我们提供样本的复杂性保证我们的算法，并在实验中证明其在大型问题上的实用性，而以前的算法是不切实际的，甚至几十个武器的问题上运行。算法和实验的代码在https://github.com/noabdavid/csale上提供。
2021-12-08 cs.LG stat.ML
Deep Exploration with PAC-Bayes
Department of Mathematics（数学系）；Computer Science University of Southern Denmark（计算机科学大学）
针对延迟奖励下连续控制强化学习的深度探索问题，首次从PAC-Bayes视角提出PBAC算法，通过评论家集成与随机Actor头部的ε-软策略，实现不同难度连续任务中延迟奖励的持续发现。
2025-08-20 cs.LG
TSEB: More Efficient Thompson Sampling for Policy Learning
IIT Madras（印度理工学院马德拉斯分校）；University of Montreal（蒙特利尔大学）
在基于模型的解决方法中，学习问题的未知环境中，探索学习模型参数需要付出代价的遗憾。如果算法分别利用奖励或探索模型参数，则可以实现关于后悔或PAC界限的最佳性能。在本文中，我们提出了TSEB，汤普森采样为基础的自适应探索奖金的算法，旨在解决问题，更严格的PAC保证，同时谨慎的遗憾。所提出的方法保持分布的模型参数，连续细化更多的经验。在任何给定的时间，智能体解决从该分布中采样的模型，并且采样的奖励分布被探索奖金偏斜，以便生成更多信息的探索。然后，通过求解的策略用于生成更多的经验，这有助于更新模型参数的后验。我们提供了一个详细的分析PAC的保证，和收敛的建议的方法。我们表明，我们的自适应探索奖金鼓励了算法更好的PAC界限所需的额外探索。我们提供了两个不同的模拟域的实证分析。
2015-10-10 cs.LG
An Exploration of How Training Set Composition Bias in Machine Learning Affects Identifying Rare Objects
National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）
当在其中一个类本质上是稀有的数据上训练机器学习分类器时，分类器通常会将太少的源分配给稀有类。为了解决这个问题，通常会增加稀有类的示例的权重，以确保它不会被忽略。出于同样的原因，在源类型的平衡更接近相等的情况下，对受限数据进行训练也是一种常见的做法。在这里，我们表明，这些做法可能会使模型偏向于将资源过度分配给稀有类。我们还探讨了如何检测何时训练数据偏差对训练模型的预测产生了统计上的显著影响，以及如何减少偏差的影响。虽然这里开发的技术的影响程度会因应用程序的细节而异，但在大多数情况下，它应该是适度的。然而，它们普遍适用于每次使用机器学习分类模型时，使它们类似于贝塞尔对样本方差的校正。
2022-07-25 astro-ph.IM cs.LG
Fast PAC Global Optimization via Restarted Langevin: Exploration, Exploitation, and Degenerate Cooling
University of Cambridge（剑桥大学）；University of Florida（佛罗里达大学）
本文提出并行重启朗之万和朗之万-梯度混合方案，通过分离探索与利用，将全局优化的模拟时间从指数级降至多项式级，并在实验中验证了方法的有效性。
2026-09-30 cs.LG math.OC
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
PAC-Bayes-Bernstein Inequality for Martingales and its Application to Multiarmed Bandits
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Chair for Information Technology, University of Leoben（莱奥本大学信息技术教席）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）
我们开发了一种新的工具，用于有限反馈下学习中探索-开发权衡的数据依赖分析。我们的工具基于两个主要成分。第一个要素是一个新的浓度不等式，它使得控制多个（可能是无数个）同时发展和相互依赖的鞅的加权平均值的浓度成为可能。第二个要素是通过重要性加权抽样将这个不等式应用于勘探开发权衡。我们将新的工具随机多臂强盗问题，但是，本文的主要重要性是新的工具的发展和理解，而不是改进现有的算法随机多臂强盗。在后续工作中，我们证明了新工具可以在结构更丰富的问题中改进现有技术，例如具有边信息的随机多臂强盗（Seldin等人，2011年a）。
2012-01-30 cs.LG
Identifying Information from Observations with Uncertainty and Novelty
Department of Computer Science and Engineering, University of Notre Dame（诺特大学计算机科学与工程系）
本文研究了机器学习中如何处理观测中的不确定性和新颖性，通过定义识别信息来解决假设验证、样本复杂度等问题，连接了算法信息与概率信息。
2026-04-16 cs.LG stat.ML
Neural Theorem Provers Do Not Learn Rules Without Exploration
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
神经符号处理旨在将逻辑学习方法的推广和神经网络的性能相结合。Rocktaschel等人（2017）的神经定理证明（NTP）模型学习概念的嵌入并执行逻辑统一。虽然NTP在准确预测事实方面很有前途和有效，但我们对它如何提取数据之间的真实关系知之甚少。为此，我们创建了具有注入关系的合成逻辑数据集，这些数据集可以实时生成，以测试包括NTP在内的基于神经的关系学习算法。我们表明，它很难恢复关系，但最简单的设置。批判性分析和诊断实验表明，优化算法由于其贪婪的赢家通吃的策略，在确定最丰富的结构（证明路径）追求从穷人的局部极小值。我们改变了NTP算法，以增加探索，这大大提高了性能。我们认为并证明，这是有见地的基准与地面真理关系的合成数据，评估模型和揭示算法问题。
2019-06-17 cs.LG stat.ML
Universal Multilayer Network Exploration by Random Walk with Restart
Aix-Marseille Univ（艾克斯-马赛大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
近年来，数据的数量和种类急剧增加。这些数据通常被表示为网络，然后用网络理论产生的方法进行探索。近年来，网络探索方法已经扩展到利用更复杂和更丰富的网络框架。例如，随机漫步已经被扩展到探索多层网络。然而，目前的随机游走方法在它们可以处理的网络层的组合和异构性方面受到限制。新的分析和数值随机游走方法，需要应付日益增加的多样性和复杂性的多层网络。我们在这里提出了MultiXrank，一个Python包，它可以在任何类型的多层网络上使用优化的实现来启用重启随机游走（RWR）。该软件包由RWR的通用数学公式支持。我们用留一法交叉验证和链接预测评估了MultiXrank，并引入了协议来测量添加或删除多层网络数据对预测性能的影响。通过深入探索参数空间，我们进一步测量了MultiXrank对输入参数的敏感性。最后，我们说明了MultiXrank的多功能性，在人类遗传疾病的背景下，无监督节点优先级排序和监督分类的不同用例。
2022-10-03 cs.LG physics.soc-ph q-bio.MN
PAC Classification based on PAC Estimates of Label Class Distributions
模式分类中的标准方法是估计标签类的分布，然后将贝叶斯分类器应用于分布的估计，以便对未标记的示例进行分类。正如人们所期望的那样，我们对标签类分布的估计越好，得到的分类器就越好。在本文中，我们通过识别分类器的标签类分布的估计质量的风险界限，使这一观察精确。我们展示了PAC的可学习性如何与PAC保证其与真实分布的$L_1$距离的分布的估计相关，并且我们在KL发散的PAC界限方面限制了负对数似然风险的增加。我们给出了一个效率低，但通用的平滑方法转换的估计分布，这是良好的$L_1$度量到一个分布，这是良好的KL-发散。
2006-07-11 cs.LG
SPINEX_ Symbolic Regression: Similarity-based Symbolic Regression with Explainable Neighbors Exploration
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本研究提出基于SPINEX系列的新型符号回归算法SPINEX_SymbolicRegression，通过基于相似度的方法筛选高精度高结构相似度的表达式，在180余个国际基准函数测试中表现稳定且部分场景优于主流算法，兼具可解释性。
2024-11-05 cs.LG stat.CO
SPINEX: Similarity-based Predictions and Explainable Neighbors Exploration for Regression and Classification Tasks in Machine Learning
Clemson University（克莱姆森大学）；University of Guelph（圭尔夫大学）
本文提出了一种新颖的基于相似性的可解释邻居探索算法SPINEX，通过结合集成学习与特征交互分析量化特征贡献，在59个数据集上表现出优于或可比的性能，有效解决了高维和不平衡数据的可解释性问题。
2023-06-01 cs.LG stat.AP
