BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
ExTra: Transfer-guided Exploration
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Google Research（谷歌研究院）
在这项工作中，我们提出了一种新的方法，用于强化学习中的转移引导探索，该方法的灵感来自人类在导航新任务时利用过去类似遭遇的经验的倾向。给定一个最优策略在相关的任务环境中，我们表明，它的互模拟距离从当前的任务环境给出了一个下界的最优优势的状态-动作对在当前的任务环境。Transfer-guided Exploration（ExTra）在这些下限上从Softmax分布中采样动作。通过这种方式，具有潜在更高最优优势的动作被更频繁地采样。在我们的实验网格世界环境中，我们证明，在相关的任务环境中，获得最佳的政策，ExTra可以优于流行的特定领域的探索策略，即贪婪，基于模型的区间估计-探索奖金（MBIE-EB），追求和玻尔兹曼的收敛速度。我们进一步表明，ExTra是强大的源任务的选择，并显示出一个优雅的性能退化的源任务的不同增加。我们还证明了ExTra，当与传统的探索算法一起使用时，提高了它们的收敛速度。因此，它是能够补充传统的勘探算法的功效。
2020-05-27 cs.LG stat.ML
Modeling Human Exploration Through Resource-Rational Reinforcement Learning
MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
为人工智能体配备有用的探索机制至今仍是一个挑战。另一方面，人类似乎可以毫不费力地在探索和开发之间进行权衡。在本文中，我们提出了这样的假设，即它们通过最佳利用有限的计算资源来实现这一目标。我们通过元学习强化学习算法来研究这一假设，这些算法牺牲了较短的描述长度（定义为实现给定算法所需的位数）的性能。新兴的一类模型捕捉人类的探索行为比以前考虑的方法，如玻尔兹曼探索，置信上限算法，汤普森采样。我们还证明，在我们的模型类中改变描述长度会产生预期的效果：减少描述长度可以捕捉脑损伤患者的行为，而增加描述长度则反映了青少年时期的认知发展。
2022-11-14 cs.LG
Generalization and Exploration via Randomized Value Functions
Stanford University（斯坦福大学）
本文提出随机最小二乘价值迭代算法（RLSVI），通过线性参数化价值函数实现高效的探索与泛化，证明其在无先验知识学习中的近优性能。
2016-02-15 cs.AI cs.LG cs.SY
Structural Credit Assignment with Coordinated Exploration
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出利用玻尔兹曼机或循环网络实现协调探索，以改进结构化信用分配，实验证明其训练速度优于独立探索和STE反向传播。
2023-07-25 cs.AI cs.LG
Greedy Algorithm almost Dominates in Smoothed Contextual Bandits
Harvard University（哈佛大学）；Microsoft Research NYC（微软纽约研究院）；Microsoft Research, New York（微软纽约研究院）；Carnegie Mellon University（卡内基梅隆大学）
在线学习算法广泛用于网络搜索和内容优化，必须平衡探索和利用，可能会牺牲当前用户的体验，以获得信息，从而在未来做出更好的决策。虽然在最坏的情况下是必要的，但与总是通过选择当前看起来最优的动作来“利用”的贪心算法相比，显式探索具有许多缺点。我们要问的是，在什么条件下，数据的内在多样性使得明确的探索变得不必要。我们建立在最近的工作线上的线性上下文土匪模型的贪心算法的平滑分析。我们改进了以前的结果表明，贪婪的方法几乎匹配的最佳可能的贝叶斯后悔率的任何其他算法在同一问题的情况下，只要多样性条件成立，这种遗憾是最多$\tilde O(T^{1/3})$。
2021-12-27 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Faculty of Applied Sciences, University of West Bohemia（西波希米亚大学应用科学学院）
该研究针对知识迁移任务中的探索问题，对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法，经虚拟无人机问题测试，上置信界算法表现最佳，其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG
Active exploration in parameterized reinforcement learning
Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；National Technical University of Athens（雅典国家技术大学）
具有连续动作的在线无模型强化学习（RL）方法在处理诸如机器人学之类的现实应用时发挥着突出的作用。然而，当面对非平稳环境时，这些方法主要依赖于探索-开发权衡，而这种权衡很少动态地和自动地根据环境的变化进行调整。在这里，我们提出了一个积极的探索算法RL在结构化（参数化）连续动作空间。这个框架处理一组离散的动作，每个动作都是用连续变量参数化的。离散探测通过具有逆温度$β$参数的Boltzmann softmax函数来控制。并行地，将高斯探索应用于连续动作参数。我们应用基于短期和长期奖励运行平均值的变化之间的比较的元学习算法，以同时调整$β$和高斯分布的宽度，从中提取连续的动作参数。当应用到一个简单的虚拟人-机器人交互任务，我们表明，该算法优于连续参数化RL没有主动探索和主动探索的基础上测量的卡尔曼-Q-学习算法的不确定性变化。
2016-10-06 cs.LG
Value of Information-Enhanced Exploration in Bootstrapped DQN
Technical University of Crete Chania, Greece；Technical University of Crete \& NCSR ``Demokritos'' Chania, Greece
本文提出基于信息价值增强的Bootstrap DQN算法，通过改进探索策略提升在复杂环境中的性能，无需额外超参数。
2025-11-21 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Dealing with uncertainty: balancing exploration and exploitation in deep recurrent reinforcement learning
University of Milano-Bicocca（米兰比可卡大学）
本文研究在部分可观测的自动驾驶场景中，如何结合深度循环Q网络与多种探索策略来平衡探索与利用，并验证了自适应策略及Softmax、Max-Boltzmann方法优于epsilon-greedy。
2024-02-20 cs.LG stat.ML
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE（MBZUAI, 阿拉伯联合酋长国）；Stanford University, USA（斯坦福大学, 美国）；EPITA, France（EPITA, 法国）；Indian Institute of Technology Bombay, India（印度班加罗尔理工学院, 印度）
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界，不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案，证明了近似O(N^{9/10})的后悔界，并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Go-Explore: a New Approach for Hard-Exploration Problems
Uber AI Labs（优步人工智能实验室）
强化学习的一个巨大挑战是智能探索，特别是当奖励稀疏或具有欺骗性时。雅达利的两款游戏可以作为这些艰难探索领域的基准：蒙特祖马的复仇和陷阱。在这两个游戏中，当前的强化学习算法表现不佳，即使是那些具有内在动机的算法，这是提高硬探索领域性能的主要方法。为了解决这个问题，我们引入了一个新的算法，称为Go-Explore。它利用了以下原则：（1）记住以前访问过的状态，（2）首先返回到一个有希望的状态（没有探索），然后从它探索，（3）通过任何可用的手段解决模拟环境（包括通过引入确定性），然后通过模仿学习鲁棒化。这些原则的综合效果是对困难探索问题的显著性能改进。在Montezuma's Revenge上，Go-Explore的平均得分超过43 k分，几乎是之前最先进技术的4倍。Go-Explore还可以利用人类提供的领域知识，当使用它时，Montezuma's Revenge的平均得分超过650 k分。它的最高性能接近1800万，超过了人类的世界纪录，甚至达到了“超人”性能的最严格定义。在Pitfall上，具有领域知识的Go-Explore是第一个得分高于零的算法。它的平均得分近60 k点，超过了专家的人类表现。由于Go-Explore可以自动且廉价地生成高性能演示，因此它的性能也优于人工提供解决方案演示的模仿学习工作。Go-Explore开辟了许多新的研究方向，以改进它并将其见解融入当前的RL算…
2021-02-26 cs.AI cs.LG stat.ML
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley（加州大学伯克利分校）
本研究提出MaxInfoRL框架，通过最大化任务信息增益等内在奖励引导定向探索，结合玻尔兹曼探索平衡价值与熵最大化，在多臂老虎机场景实现次线性遗憾，应用于连续空间离线无模型RL方法后，在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
Boltzmann Exploration Expectation-Maximisation
Kamin AI
提出了一种拟合有限混合模型的一般方法。混合模型中的学习包括为每个数据点找到最可能的聚类分配，以及找到聚类本身的参数。在许多混合模型中，这对于当前的学习方法是困难的，其中最常见的方法是采用单调学习算法，例如传统的期望最大化算法。虽然有效，但任何单调算法的成功关键取决于良好的参数初始化，其中常见的选择是$K$ -均值初始化，通常用于高斯混合模型。对于其他类型的混合模型，获得良好初始化参数的路径通常不清楚，可能需要特定于问题的解决方案。为此，我们提出了一种通用的启发式学习算法，利用玻尔兹曼探索将每个观察分配到混合模型中的特定基础分布，我们称之为玻尔兹曼探索期望最大化（BEEM）。使用BEEM，硬分配允许通过仅对其分配的观测值进行调节来直接学习每个基本分布的参数。因此，它可以应用于任何基础分布的混合物，其中单组分参数学习是易处理的。随机学习过程能够逃脱局部最优，因此对参数初始化不敏感。我们在一些合成基准案例以及真实世界的数据集上表现出具有竞争力的性能。
2019-12-18 cs.LG stat.ME stat.ML
Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies
研究强化学习中softmax策略，通过区分两种随机性化解其与MDP奖励结构独立性公理的矛盾，施加IIA和单调性确定玻尔兹曼策略等，得出RL相关结果，综合多领域线索对IIA用于智能体设计进行规范评估。
2026-07-21 cs.LG econ.TH
Maillard Sampling: Boltzmann Exploration Done Optimally
University of Arizona（亚利桑那大学）
Maillard（2013）的博士论文提出了一个相当模糊的算法来解决$K$ -armed bandit问题。这种不太为人所知的算法，我们称之为美拉德采样（MS），计算在\textit{closed form}中选择每个手臂的概率，这对于汤普森采样是不正确的，汤普森采样是业界广泛采用的强盗算法。这意味着，与汤普森抽样不同，来自运行MS的强盗记录数据可以很容易地用于反事实评估。出于这样的优点，我们重新审视MS，并进行了改进的分析，以表明它实现了渐近最优性和$\sqrt{KT\log{T}}$极大极小遗憾界，其中$T$是时间范围，这符合已知的界限渐近最优UCB。%的业绩。然后，我们提出了一个变种的MS称为MS $^+$，提高其极大极小绑定到$\sqrt{KT\log{K}}$。MS $^+$也可以被调整为积极的（即，较少的探索），而不会失去渐近最优性，这是现有的Bandit算法无法获得的独特特征。数值计算结果表明了MS $^+$的有效性。
2022-03-04 cs.LG stat.ML
Sample-Efficient Reinforcement Learning with Maximum Entropy Mellowmax Episodic Control
Imperial College London（帝国理工学院）
深度网络使强化学习能够扩展到更复杂和更具挑战性的领域，但这些方法通常需要大量的训练数据。另一种方法是使用样本有效的情景控制方法：神经启发算法，其使用非/半参数模型，基于存储和检索先前经历的过渡来预测值。进一步提高这些方法的样本效率的一种方式是使用更有原则的探索策略。因此，在这项工作中，我们提出了最大熵mellowmax情节控制（MEMEC），根据玻尔兹曼政策与状态相关的温度采样行动。我们证明了MEMEC在经典的强化学习环境和Atari游戏中优于其他基于不确定性和softmax的探索方法，实现了更快速的学习和更高的最终奖励。
2019-11-21 cs.LG cs.NE stat.ML
VDSC: Enhancing Exploration Timing with Value Discrepancy and State Counts
University of Groningen（格罗宁根大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出VDSC方法，利用智能体内部状态决定何时探索，克服盲目切换缺陷，在Atari实验中优于$ε$-greedy和Boltzmann等传统及Noisy Nets等复杂方法。
2024-03-26 cs.AI cs.LG
Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits
Indiana University（印第安纳大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多臂强盗中的最佳臂识别（或纯探索）是机器学习中的一个基本问题。在本文中，我们研究这个问题的分布式版本，我们有多个代理，他们希望学习最好的手臂协作。我们希望量化有限交互（或通信步骤）下的协作能力，因为在许多情况下交互是昂贵的。我们衡量的运行时间的分布式算法的加速比最好的集中式算法，只有一个代理。我们给几乎紧轮加速权衡这个问题，沿着我们开发了几种新的技术证明时间或置信度约束下的通信步骤的数量的下界。
2019-08-30 cs.IT cs.LG math.IT
Temporal Difference Uncertainties as a Signal for Exploration
DeepMind（深度思维）
强化学习中探索的一种有效方法是依赖于智能体对最优策略的不确定性，这可以在表格设置中产生接近最优的探索策略。然而，在涉及函数逼近器的非表格设置中，获得准确的不确定性估计几乎是一个具有挑战性的问题。在本文中，我们强调，价值估计很容易偏置和时间不一致。鉴于此，我们提出了一种新的方法来估计不确定性的价值函数，依赖于诱导分布的时间差误差。该探索信号控制状态-动作转换，以便隔离由于代理参数的不确定性而导致的值的不确定性。因为我们的不确定性度量是以状态-动作转换为条件的，所以我们不能直接作用于这个度量。相反，我们将其作为一个内在的奖励和治疗探索作为一个单独的学习问题，引起代理的时间差的不确定性。我们引入了一个独特的探索策略，学习收集具有高估计不确定性的数据，这使得课程在整个学习过程中平稳变化，并在完美值估计的限制下消失。我们评估了我们的方法在硬勘探任务，包括深海和雅达利2600环境，发现我们提出的探索形式有利于多样化和深入的探索。
2021-07-01 cs.AI cs.LG stat.ML
Single-partition adaptive Q-learning
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Instituto de Telecomunicações（电信研究所）；IDMEC（机械工程研究所）
本文介绍了单分区自适应Q学习（SPAQL），一种无模型情景强化学习（RL）算法，它自适应地划分马尔可夫决策过程（MDP）的状态-动作空间，同时学习时不变策略（即，例如，从状态到动作的映射并不明确地取决于情节时间步长）以最大化累积奖励。探索和利用之间的权衡是通过在训练期间使用置信上限（UCB）和玻尔兹曼探索的混合来处理的，其中温度参数随着训练的进行而自动调整。该算法是对自适应Q学习（AQL）的改进。它可以更快地收敛到最优解，同时使用更少的手臂。对具有大量时间步长的事件的测试表明，SPAQL不像AQL那样在扩展方面存在问题。基于这一经验证据，我们认为SPAQL可能具有比AQL更高的样本效率，从而对有效的无模型RL方法领域做出了相关贡献。
2020-07-14 cs.LG stat.ML
Pure-Exploration for Infinite-Armed Bandits with General Arm Reservoirs
本文考虑了一个多臂强盗对策，其中的武器数量远大于最大预算，并且实际上是无限的。我们刻画了算法返回概率至少为1 - δ的ε-好臂的总预算的充分必要条件。在这种情况下，样本复杂度取决于ε、δ和所谓的库分布ν，从库分布ν中得出臂的均值iid。虽然大量的文献都是围绕着分析ν的具体情况，比如β分布，但我们的分析并没有对ν的形式做任何假设。我们的算法是基于连续的减半与令人惊讶的例外，手臂开始被丢弃后，只有一个单一的拉，需要一个分析，超越浓度单独。该算法的可证明的正确性也为经验观察提供了解释，即Li et al.（2017）的Hyperband算法中用于超参数调整的最积极的括号几乎总是最好的。
2019-01-13 cs.LG stat.ML
Monte Carlo Tree Search with Boltzmann Exploration
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
针对最大熵树搜索最优动作与原始目标不匹配的问题，提出玻尔兹曼树搜索和衰减熵树搜索算法，保留玻尔兹曼策略优势，在多基准领域实现持续高性能。
2024-04-11 cs.AI cs.LG
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发，我们提出了目标文字咿呀学语（GLIB），一个简单而通用的方法，探索在这样的问题。GLIB对关系连接目标进行采样，这些目标可以被理解为智能体希望在世界上实现的特定目标，并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明，与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中，我们发现GLIB在一系列任务的预测和规划方面都强于现有方法，包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频：https://youtu.be/F6lmrPT6TOY代码：https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Improved Algorithms for Conservative Exploration in Bandits
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））
在数字营销、医疗保健、金融和机器人等许多领域，通常在生产中运行经过良好测试且可靠的基线策略（例如，推荐系统）。然而，基线政策往往不是最佳的。在这种情况下，期望部署在线学习算法（例如，多臂Bandit算法），其与系统交互以在学习过程期间性能几乎永远不会比基线本身的性能差的约束下学习更好/最优策略。本文研究了上下文线性bandit环境下的保守学习问题，并提出了一种新的算法--保守约束LinUCB（CLUCB 2）。我们得出遗憾的界限CLUCB 2匹配现有的结果和经验表明，它优于国家的最先进的保守的强盗算法在一些合成和现实世界的问题。最后，我们考虑了一个更现实的约束，性能验证只在预定义的检查点（而不是在每一步），并显示这种放松的约束有利地影响遗憾和经验表现的CLUCB 2。
2020-02-08 cs.LG stat.ML
Exploration of the generative capabilities of Boltzmann machines applied to social systems under the majority rule
Centro de Modelamiento Matemático (CMM)（数学建模中心）
研究玻尔兹曼机在多数规则下恢复系统的生成能力，通过训练不同配置的深度信念网络，让其根据固定可见单元生成样本并测量偏差，还用离散温度计证实重建处于临界状态，表明DBN能恢复有噪声下仍临界的样本。
2026-07-28 cs.CY cs.LG
Planning to Explore via Self-Supervised World Models
University of Pennsylvania（宾夕法尼亚大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Facebook AI Research（Facebook AI研究院）
强化学习可以解决复杂的任务，然而，学习往往是特定于任务的，样本效率仍然是一个挑战。我们提出了Plan2Explore，一个自监督强化学习代理，通过一种新的自监督探索方法和快速适应新任务来应对这些挑战，这些任务在探索过程中不需要知道。在探索过程中，与先前的方法不同，这些方法在智能体已经到达观察结果之后回顾性地计算观察结果的新颖性，我们的智能体通过利用规划来寻找预期的未来新颖性来有效地行动。在探索之后，智能体以零或Few-Shot的方式快速适应多个下游任务。我们评估具有挑战性的控制任务，从高维图像输入。在没有任何训练监督或特定于任务的交互的情况下，Plan2Explore的表现优于之前的自我监督探索方法，事实上，几乎与可以获得奖励的Oracle的表现相匹配。https://ramanans1.github.io/plan2explore/上的视频和代码
2020-06-30 cs.AI cs.CV cs.LG
The Externalities of Exploration and How Data Diversity Helps Exploitation
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
在线学习算法被广泛用于网络搜索和内容优化，必须平衡探索和利用，可能会牺牲当前用户的体验，以获得未来更好决策的信息。最近，有人担心勘探过程是否会被视为不公平，给某些个人或团体造成太大负担。出于这些担忧，我们开始研究的外部性的探索-不受欢迎的副作用，一方的存在可能会强加给另一个-在线性上下文土匪模型。我们引入了群体外部性的概念，衡量一个用户群体的存在在多大程度上影响了另一个群体的回报。我们表明，这种影响在某些情况下可能是负面的，而且，在某种意义上说，没有算法可以避免it. Then，我们研究在个人层面上的外部性，解释的行为探索的外部性强加给当前用户的系统由未来的用户。这促使我们问，在什么条件下，数据中固有的多样性使显式探索变得不必要。我们建立在最近的工作线上的平滑分析的贪心算法，总是选择的行动，目前看起来最佳的，改善以前的结果表明，一个贪婪的方法几乎匹配的最佳可能的贝叶斯后悔率的任何其他算法在同一问题的情况下，只要多样性条件成立，这种遗憾是最多$\tilde{O}(T^{1/3})$。回到组水平的影响，我们表明，在相同的条件下，负组外部性基本上消失的贪心算法。总之，我们的研究结果揭示了最坏情况下存在的高外部性与如果数据足够多样化则消除所有外部性的能力之间的鲜明对比。
2018-07-02 cs.CY cs.LG stat.ML
Combinatorial Pure Exploration of Causal Bandits
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
因果土匪的组合纯探索是以下在线学习任务：给定具有未知因果推断分布的因果图，在每一轮中，我们选择变量的子集进行干预或不进行干预，并观察所有随机变量的随机结果，目标是使用尽可能少的轮，我们可以以至少$1-δ$的概率输出给出关于奖励变量$Y$的最佳（或几乎最佳）预期结果的干预，其中$δ$是给定的置信水平。我们提供了两种类型的因果模型-二进制广义线性模型（BGLM）和一般图的第一个间隙依赖和完全自适应的纯探索算法。对于BGLM，我们的算法是第一个专门为这种设置设计的，并实现多项式样本复杂度，而所有现有的算法一般图形的样本复杂度指数的图形大小或一些不合理的假设。对于一般的图，我们的算法提供了一个显着的改善样本的复杂性，它几乎匹配的下限，我们证明。我们的算法实现了这样的改进，通过一个新的集成前因果强盗算法和前自适应纯探索算法，其中前者利用因果强盗丰富的观测反馈，但不适应奖励差距，而后者有相反的问题。
2023-03-14 cs.AI cs.LG
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration
National University of Singapore（新加坡国立大学）；Ant Group（蚂蚁集团）
PREPO通过利用内在数据属性提升大语言模型强化学习的数据效率，减少回放需求同时保持性能。
2026-02-19 cs.AI cs.LG
Quantum Generative Models for Computational Fluid Dynamics: A First Exploration of Latent Space Learning in Lattice Boltzmann Simulations
Al Akhawayn University（阿尔阿赫韦因大学）
本文首次将量子生成模型应用于CFD数据的潜在空间学习，通过对比量子与经典方法，展示了在格子玻尔兹曼模拟中提升生成样本质量的潜力。
2025-12-27 cs.LG
Variational autoencoders for tissue heterogeneity exploration from (almost) no preprocessed mass spectrometry imaging data
本文介绍了变分自编码器（VAE）在质谱成像数据（MSI）降维和探索性分析中的应用。结果证实，VAE能够检测与不同组织亚型相关的模式，其性能优于标准方法。
2017-08-24 cs.LG q-bio.QM stat.ML
Representation-Based Exploration for Language Models: From Test-Time to Post-Training
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究语言模型中强化学习探索新行为的价值，提出基于预训练模型隐藏状态的表示奖励探索方法，在推理时和训练后都显著提升了模型性能，如验证效率和测试时样本效率，为发现新行为提供实用途径。
2026-07-16 cs.AI cs.LG
The Multi-Armed Bandit Problem: An Efficient Non-Parametric Solution
Lai和Robbins（1985）和Lai（1987）为多臂强盗问题提供了有效的参数解，表明通过置信上限（UCB）进行的臂分配实现了最小遗憾。这些界限是从报酬分布的Kullback-Leibler信息构造的，从指定的参数族估计。近年来，由于机器学习算法和数据分析的新应用，人们对多臂强盗问题重新产生了兴趣。研究了非参数手臂分配程序，如$ε$ -greedy、Boltzmann exploration和BESA，并在非参数设置下分析了UCB程序的修改版本。然而，与UCB不同，这些非参数程序在一般参数设置下效率不高。在本文中，我们提出了有效的非参数程序。
2019-01-16 math.ST stat.TH
Cumulative Restricted Boltzmann Machines for Ordinal Matrix Data Analysis
Deakin University（迪肯大学）；Curtin University（科廷大学）
序数数据是无所不在的，几乎所有的多用户生成的反馈-问卷，偏好等。本文研究了有序数据建模与高斯限制玻尔兹曼机（RBM）。特别是，我们提出的模型架构，学习和推理过程的向量变量和矩阵变量有序数据。我们表明，我们的模型是能够捕捉潜在的意见配置文件的公民在世界各地，是竞争对手的最先进的协同过滤技术在大规模的公共数据集。因此，该模式有可能将成果管理制的应用扩展到不同的领域，如推荐系统、产品审查和专家评估。
2014-07-31 cs.IR cs.LG stat.AP
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
Feature exploration for almost zero-resource ASR-free keyword spotting using a multilingual bottleneck extractor and correspondence autoencoders
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）；Makerere University（马凯雷雷大学）；University of Edinburgh（爱丁堡大学）
我们比较动态时间规整（DTW）的功能时，用于引导关键字定位（KWS）在一个几乎为零的资源设置。这种可快速部署的系统旨在支持联合国在非洲部分地区的人道主义救援工作，这些地区的语言资源严重不足。我们的目标是确定声学功能，提供可接受的KWS在这样的环境中的性能。作为监督资源，我们将自己限制在一个小的，容易获得的和独立编译的孤立关键字集。对于特征提取，多语言瓶颈特征（BNF）提取器，在资源丰富的域外语言上训练，与在极其稀疏的域内数据上训练的对应自动编码器（CAE）集成。就其本身而言，BNF和CAE功能被证明比基线MFCC实现了超过2%的绝对性能改进。然而，通过使用BNF作为CAE的输入，可以实现更好的性能，ROC AUC比MFCC的绝对改善超过11%，并且对于两种评估语言（英语和卢甘达语），前10名检索的数量是两倍多。我们的结论是，集成BNF与CAE允许大的域外和稀疏的域内资源被利用，以改善ASR的关键字定位。
2019-07-13 cs.LG cs.SD eess.AS
Topology-Aware Exploration of Energy-Based Models Equilibrium: Toric QC-LDPC Codes and Hyperbolic MET QC-LDPC Codes
South-West State University（西南国立大学）
该研究提出拓扑感知的准循环码平衡方法，通过维度扩展将不规则网格电荷系统映射为均匀构型，证明玻尔兹曼机在环面与双曲面拓扑下平衡可达，可应用于材料科学、自然语言处理等多领域。
2024-01-26 cs.AI cs.CV cs.IT
Dropout-Based Rashomon Set Exploration for Efficient Predictive Multiplicity Estimation
JPMorgan Chase Bank, N.A.（摩根大通银行）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对预测多样性计算难度高的问题，提出基于dropout的Rashomon集探索框架，经理论推导和实验验证，该方法在指标估计有效性上优于基线，速度提升显著，还可通过集成和模型选择缓解预测多样性问题。
2024-02-01 cs.LG stat.ML
Bayesian machine learning for Boltzmann machine in quantum-enhanced feature spaces
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Cryptology（密码学国家重点实验室）；Peng Cheng Laboratory（鹏城实验室）；Jiangxi University of Finance and Economics（江西财经大学）
贝叶斯学习在实现分类和回归任务方面无处不在，然而，当特征空间变得非常大时，它伴随着计算上难以处理的限制。针对这一问题，本文提出了一种基于量子增强特征空间的受限玻尔兹曼机的量子机器学习框架。我们的框架提供了编码阶段，将真实数据和玻尔兹曼权重映射到量子特征空间和训练阶段，以学习最佳推理函数。具体地说，训练阶段提供一个物理量来度量量子特征空间中的后验分布，并利用该度量设计量子最大后验（QMAP）算法和量子预测分布估计器（QPDE）。结果表明，这两个量子算法实现指数级的速度比他们的经典同行。此外，值得注意的是，我们的框架可以计算出经典的baidu学习任务，即处理经典数据并输出相应的经典标签。在一个量子计算的开源软件框架上进行的仿真表明，我们的算法与经典算法相比，具有几乎相同的分类性能。注意到所提出的量子算法利用浅电路，我们的工作预计将在有噪声的中间尺度量子（NISQ）器件上实现，并且是实现量子霸权的有希望的候选者之一。
2019-12-20 cs.LG physics.data-an quant-ph
