A Strongly Quasiconvex PAC-Bayesian Bound
University of Copenhagen（哥本哈根大学）；Sorbonne Universités, UPMC Université Paris 06（索邦大学，巴黎第六大学）
我们提出了一个新的PAC-Bayesian界和一种构造假设空间的方法，使得该界在后验分布中是凸的，并且在后验分布的经验性能与其复杂性之间的权衡参数中也是凸的。复杂性是通过Kullback-Leibler散度来衡量的。我们推导出一个交替的过程，最小化的界限。我们表明，界可以重写为一个一维函数的权衡参数，并提供充分条件下，该功能有一个单一的全球最小值。当条件满足时，交替极小化保证收敛到界的全局极小值。我们提供的实验结果表明，严格的最小化的界限是有竞争力的交叉验证在调整复杂性和经验性能之间的权衡。在我们所有的实验中，即使在充分条件被违反的情况下，权衡也是拟凸的。
2017-08-24 cs.LG stat.ML
In-context Exploration-Exploitation for Reinforcement Learning
Spotify Research（Spotify 研究院）
本文提出 ICEE 算法，在 Transformer 推理过程中实现探索-利用权衡，以更低计算成本完成上下文内强化学习，并在网格世界中显著减少所需回合数。
2024-03-11 cs.AI cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Epsilon-Greedy Thompson Sampling to Bayesian Optimization
University of Houston（休斯顿大学）
针对贝叶斯优化中汤普森采样利用能力较弱的问题，本文引入ε-贪心策略在通用TS与样本平均TS间切换，实验证明合适ε值的方法鲁棒性更优。
2024-10-30 cs.LG math.OC stat.ML
DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off
East China Normal University（东华师范大学）；Ant Group（蚂蚁集团）；Shanghai Innovation Institute（上海创新研究院）；Xiamen University（厦门大学）
本文提出 DiPO 方法，通过解耦 perplexity 空间来优化探索与利用的平衡，提升 LLM 在数学推理和函数调用任务中的性能。
2026-04-15 cs.LG
Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits
Twitter Inc.（推特公司）；University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究了机会主义强盗-一个新的变种强盗拉一个次优的手臂在不同的环境条件下，如网络负载或产品价格变化的遗憾。当负载/价格低时，拉动次优臂的成本/遗憾也低（例如，尝试次优网络配置）。因此，直观地说，我们可以在负载/价格较低时进行更多探索，而在负载/价格较高时进行更多开发。受这种直觉的启发，我们提出了一个自适应置信上限（AdaUCB）算法，以适应性地平衡机会主义强盗的探索-利用权衡。我们证明了AdaUCB比传统的UCB算法以更小的系数实现了$O(\log T)$遗憾。此外，如果当负载水平低于某个阈值时探索成本为零，则AdaUCB实现关于$T$的$O(1)$遗憾。最后，基于合成数据和真实数据的实验结果表明，AdaUCB算法在大的负载/价格波动下，性能明显优于UCB和TS（Thompson Sampling）等其他Bandit算法.
2018-11-30 cs.LG stat.ML
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Offline Oracle-Efficient Learning for Contextual MDPs via Layerwise Exploration-Exploitation Tradeoff
本文提出一种从上下文马尔可夫决策过程到离线密度估计的高效归约算法，通过分层探索-利用权衡实现统计上接近最优的性能，仅需O(HlogT)次预言机调用，且无需结构假设。
2024-05-28 cs.LG stat.ML
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore（新加坡国立大学）
我们考虑一个参与马尔可夫决策过程的代理，每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序，如多目标优化，最大熵探索，并在马尔可夫环境中的约束优化。在我们的一般设置中，一个固定的策略可能有多个循环类，代理人面临着一个微妙而重要的权衡，在不同的行动之间交替平衡矢量结果。特别是，固定的政策一般是次优的。我们提出了一种基于在线凸优化（OCO）工具（Agrawal和Devanur 2014）和UCRL 2（Jaksch等人2010）的无遗憾算法。重要的是，我们引入了一种新的梯度阈值程序，它仔细控制动作之间的切换，以处理微妙的权衡。通过延迟梯度更新，我们的过程产生了一个非平稳的政策，多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
Dealing with uncertainty: balancing exploration and exploitation in deep recurrent reinforcement learning
University of Milano-Bicocca（米兰比可卡大学）
本文研究在部分可观测的自动驾驶场景中，如何结合深度循环Q网络与多种探索策略来平衡探索与利用，并验证了自适应策略及Softmax、Max-Boltzmann方法优于epsilon-greedy。
2024-02-20 cs.LG stat.ML
Mastering the exploration-exploitation trade-off in Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
本文提出一种自适应平衡探索与利用的新型采集函数，在多个测试函数上优于现有方法，几乎总是帕累托最优且权衡最平衡。
2023-05-15 cs.AI cs.LG math.OC
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
MEET: A Monte Carlo Exploration-Exploitation Trade-off for Buffer Sampling
Infineon Technologies AG（英飞凌科技股份公司）；Technical University of Munich（慕尼黑工业大学）；Johannes Kepler University Linz（约翰开普勒林茨大学）；University of Michigan（密歇根大学）
本文提出了一种基于蒙特卡洛探索-利用权衡的经验回放缓冲区采样策略MEET，通过Q值不确定性估计指导采样，在密集奖励环境中收敛性和峰值性能平均提升26%。
2023-04-17 cs.AI cs.LG
On Exploration, Exploitation and Learning in Adaptive Importance Sampling
University of Oxford（牛津大学）；Northeastern University（东北大学）
我们研究自适应重要性抽样（AIS）作为一个在线学习问题，并认为在这种适应的探索和利用之间的权衡的重要性。借鉴土匪文学的思想，我们提出了Daisee，一个基于分区的AIS算法。我们进一步介绍了一个概念的遗憾AIS和Daisee有$\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$累积伪遗憾，其中$T$是迭代次数。然后，我们扩展Daisee自适应学习的样本空间的分层分区更有效的采样和确认这两种算法的性能经验。
2018-10-31 cs.LG stat.ML
Exploration-exploitation trade-off for continuous-time episodic reinforcement learning with linear-convex models
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Alan Turing Institute（艾伦·图灵研究所）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系）
我们开发了一个概率框架，用于分析情景设置中基于基于模型的强化学习。然后，我们应用它来研究有限时间范围内的线性动态随机控制问题，但未知系数和凸，但可能不规则的目标函数。使用概率表示，我们研究相关的成本函数的规律性，并建立精确的估计应用最优反馈控制来自估计和真实的模型参数之间的性能差距。我们确定了这种性能差距为二次的条件，改善了最近工作中的线性性能差距[X. Guo，中国古猿A. Hu和Y. Zhang，arXiv预印本，arXiv：2104.09311，（2021）]，这与随机线性二次问题的结果相匹配。接下来，我们提出了一个基于阶段的学习算法，我们展示了如何优化探索-开发权衡，并实现高概率和期望的次线性遗憾。当二次性能差距所需的假设成立时，该算法在一般情况下实现了顺序$\mathcal{O}(\sqrt{N} \ln N)$高概率后悔，在自我探索的情况下实现了顺序$\mathcal{O}((\ln N)^2)$期望后悔，在$N$事件上，与文献中的最佳可能结果相匹配。分析需要新的浓度不等式相关的连续时间观测，我们得到。
2021-12-19 cs.LG math.OC math.PR
Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off
College of Software, Nankai University（南开大学软件学院）；Zhongguancun Academy（中关村学院）；School of Automation , Beijing Institute of Technology（北京理工大学自动化学院）；College of Computer Science（计算机科学学院）；Technology, Zhejiang University（浙江大学技术学院）
本文提出DCPO，通过分布层面的正则化实现可控探索，改进了探索-利用权衡。
2026-01-19 cs.LG
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca（米兰比可卡大学）
本文的主要目的是勾勒出一个理论框架，分析人类的决策策略下的不确定性管理信息收集（探索）和奖励寻求（剥削）之间的权衡。一个关键的观察，激励这一系列的研究，是认识到人类学习者是惊人的快速和有效地适应陌生的环境，并纳入即将到来的知识：这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习，更具体地说，如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模，该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型，如果一个决策集包含一个帕累托有效（主导）策略，理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是（帕累托）理性的（即，位于边境）或与“令人恼火”的探索有关。然而，由于不确定性是定义帕累托前沿的两个目标之一，我们已经研究了三种不同的不确定性量化措施，并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Exploration vs. Exploitation in Team Formation
Stanford University（斯坦福大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在线劳动力平台面临着一个在线学习问题，即如何将工人与工作相匹配，并利用这些工作的表现来创造更好的未来匹配。这种学习问题由于这些平台上复杂任务的增加而变得复杂，例如Web开发和产品设计，需要一个团队来完成。现在，工作的成功取决于所有相关工作人员的技能和贡献，而平台和发布工作的客户可能都不知道这一点。这些团队匹配导致了关于个人的已知信息之间的结构化相关性，并且可以利用这些信息来创建更好的未来匹配。我们分析了两个自然的设置，一个团队的表现是由其最强和最弱的成员，分别。我们发现，这两个问题提出了一个探索利用之间的权衡学习的性能未经测试的团队和重复以前测试的团队，导致了良好的性能。我们建立了基本的遗憾界限和设计接近最优的算法，揭示了这些权衡的几个见解。
2018-10-12 cs.AI cs.LG stat.ML
Navigating the Exploration-Exploitation Tradeoff in Inference-Time Scaling of Diffusion Models
针对扩散模型推理时扩展中SMC方法面临的探索-利用权衡困境，提出漏斗调度和自适应温度两种策略，在不增加噪声函数评估总数的情况下显著提升样本质量，并在多个基准上优于现有基线。
2025-08-17 cs.AI cs.LG math.ST
A Frequency-Domain Analysis of the Multi-Armed Bandit Problem: A New Perspective on the Exploration-Exploitation Trade-off
School of Advanced Technology（先进技术学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
本文提出多臂老虎机问题的频域分析框架，将学习过程转化为信号处理问题，证明UCB置信界等效于时变增益，为算法设计提供了新理论基础。
2025-10-10 cs.AI cs.IT cs.LG
Generative Exploration and Exploitation
Peking University（北京大学）
稀疏奖励是强化学习（RL）面临的最大挑战之一。在本文中，我们提出了一种新的方法，称为生成的探索和利用（基因），以克服稀疏奖励。GENE自动生成启动状态，以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化，自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识，可以与任何RL算法结合，无论是on-policy还是off-policy，单智能体还是多智能体。经验上，我们证明基因显着优于现有的方法，在三个任务，只有二进制奖励，包括迷宫，迷宫蚂蚁，和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Exploration-Exploitation in Constrained MDPs
Technion（以色列理工学院）；Facebook AI Research（Facebook人工智能研究院）
在许多序贯决策问题中，目标是优化效用函数，同时满足对不同效用的一组约束。这个学习问题通过约束马尔可夫决策过程（CMDPs）形式化。在本文中，我们研究了CMDPs中的探索-开发困境。当在未知的CMDP中学习时，Agent应该权衡探索以发现关于MDP的新信息，以及利用现有知识以在满足约束的情况下最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但我们不希望智能体在学习过程中过于频繁地违反约束。在这项工作中，我们分析了两种方法在CMDP学习。第一种方法利用CMDP的线性公式在每个事件中执行乐观规划。第二种方法利用CMDP的对偶公式（或鞍点公式）来执行原始变量和对偶变量的增量式乐观更新。我们发现，这两个实现次线性后悔w.r.t.主效用，同时对违反约束具有次线性遗憾。话虽如此，我们强调这两种方法之间的一个关键区别;线性规划方法比基于对偶公式的方法有更强的保证。
2020-03-04 cs.LG stat.ML
Fast PAC Global Optimization via Restarted Langevin: Exploration, Exploitation, and Degenerate Cooling
University of Cambridge（剑桥大学）；University of Florida（佛罗里达大学）
本文提出并行重启朗之万和朗之万-梯度混合方案，通过分离探索与利用，将全局优化的模拟时间从指数级降至多项式级，并在实验中验证了方法的有效性。
2026-09-30 cs.LG math.OC
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的神经探索策略的上下文土匪，EE-Net，不同于标准的UCB为基础的和TS为基础的方法。背景多武装匪徒已经研究了几十年，有各种应用。为了解决强盗中的开发-探索权衡，有三种主要技术：ε贪婪，汤普森采样（TS）和上置信界（UCB）。在最近的文献中，线性上下文强盗采用岭回归估计奖励函数，并将其与TS或UCB策略相结合进行探索。然而，这一系列的工作明确地假设奖励是基于手臂向量的线性函数，这在现实世界的数据集中可能不是真的。为了克服这一挑战，人们提出了一系列神经强盗算法，其中使用神经网络来学习底层奖励函数，并采用TS或UCB进行探索。我们提出了一种新的基于神经元的探索策略“EE-Net”，而不是像以前的方法那样计算一个基于大偏差的统计边界进行探索。除了使用一个神经网络（Exploitation网络）来学习奖励函数外，EE-Net还使用另一个神经网络（Exploration网络）来自适应地学习与当前估计的探索奖励相比的潜在收益。然后，一个决策者被构造来组合来自开采和勘探网络的输出。我们证明了EE-Net可以实现$\mathcal{O}(\sqrt{T\log T})$遗憾，并表明EE-Net在现实世界的数据集上优于现有的线性和神经上下文强盗基线。
2022-05-12 cs.LG stat.ML
Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off
University of Connecticut（康涅狄格大学）；Texas A&M University（得克萨斯农工大学）；North Carolina State University（北卡罗来纳州立大学）；Lehigh University（理海大学）；University of Texas at San Antonio（得克萨斯大学圣安东尼奥分校）
本文将动态稀疏训练建模为稀疏连接搜索，提出兼顾利用与探索的采集函数并给出收敛理论保证，实验表明其在高达98%稀疏度下优于现有SOTA方法。
2023-04-24 cs.AI cs.CV cs.LG
Localized exploration in contextual dynamic pricing achieves dimension-free regret
Princeton University（普林斯顿大学）；New York University（纽约大学）；Columbia University（哥伦比亚大学）
本文提出局部探索后承诺（LetC）算法，通过分阶段探索与利用，在上下文动态定价中实现无维度极小极大最优遗憾，并给出有限时间范围内的探索-利用平衡理论框架。
2024-12-26 cs.LG math.OC stat.ML
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia（英属哥伦比亚大学）；Vector Institute（矢量研究所）
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题，提出First-Explore方法，通过分离探索与利用策略，显著提升性能。
2024-11-04 cs.AI cs.LG
MULEX: Disentangling Exploitation from Exploration in Deep RL
Google Research（谷歌研究院）
通过交互学习的代理应该在探索环境以发现新的奖励和使用过去获得的信息来采取有用的行为之间平衡其动作选择过程。这种权衡通常是通过扰动代理的动作（例如，e-greedy或Gibbs采样）或代理的参数（例如，或者通过修改它收到的奖励（例如，探索奖金、内在动机或手形奖励）。在这里，我们采用了一种破坏性的，但简单和通用的观点，我们明确地解开探索和利用。不同的损失是并行优化的，其中一个来自真正的目标（最大化环境的累积回报），其他的与探索有关。每次丢失都被用来学习生成转换的策略，所有这些都在单个重放缓冲区中共享。然后将非策略方法应用于这些转换以优化每个损失。我们展示了我们的方法在硬勘探环境中，显示其样本的效率和鲁棒性，并讨论进一步的影响。
2019-07-01 cs.AI cs.LG stat.ML
A Provably Efficient Sample Collection Strategy for Reinforcement Learning
Facebook AI Research（Facebook AI研究院）；Inria Lille（里尔法国国家信息与自动化研究所）；DeepMind
在线强化学习（RL）的挑战之一是智能体需要在环境探索和样本利用之间进行权衡，以优化其行为。无论我们是针对遗憾、样本复杂度、状态空间覆盖还是模型估计进行优化，我们都需要在探索与利用之间做出不同的权衡。在本文中，我们提出了一种解耦的方法来解决探索-利用问题，该方法由以下组成：1）一种“目标特定”算法，该算法（自适应地）规定在哪些状态下收集多少样本，就好像它可以访问生成模型（即，环境的模拟器）; 2）负责尽可能快地生成规定样本的“客观不可知”样本收集探索策略。最近的方法探索在随机最短路径问题的基础上，我们首先提供了一个算法，作为输入的样本数$b(s,a)$需要在每个状态-动作对，需要$\tilde{O}(B D + D^{3/2} S^2 A)$时间步长收集$B=\sum_{s,a} b(s,a)$所需的样本，在任何未知的通信MDP与$S$状态，$A$行动和直径$D$。然后，我们展示了这种通用的探索算法如何与“特定目标”的策略配对，这些策略规定了样本要求，以解决各种设置-例如，模型估计，稀疏奖励发现，无目标无成本的探索在沟通MDP-我们获得改进或新的样本复杂性保证。
2021-11-18 cs.LG stat.ML
SEREN: Knowing When to Explore and When to Exploit
UCL（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
高效的强化学习（RL）涉及到在最大化预期回报的“剥削”行为和对未访问状态进行采样的“探索”行为之间的权衡。为了鼓励探索，最近的方法建议增加随机性的行动，分离探索和开发阶段，或等同于减少不确定性的奖励。然而，这些技术并不一定提供完全系统的方法，使这种权衡。在这里，我们介绍选择性强化探索网络（SEREN），它将探索-利用权衡作为RL代理- \exploiter（纯粹利用已知奖励）和另一个RL代理- \switcher（选择在哪些状态激活纯探索策略，该策略经过训练以最大限度地减少系统不确定性并覆盖Exploiter）之间的游戏。使用一种称为脉冲控制的策略形式，\switcher能够确定切换到探索策略的最佳状态集，而Exploiter可以自由地在其他任何地方执行其操作。我们证明了SEREN收敛速度快，并诱导纯剥削的自然时间表。通过在离散（MiniGrid）和连续（MuJoCo）控制基准的广泛的实证研究，我们表明，SEREN可以很容易地与现有的RL算法相结合，以产生显着的性能改善相对于国家的最先进的算法。
2022-05-30 cs.LG
Exploitation Over Exploration: Unmasking the Bias in Linear Bandit Recommender Offline Evaluation
Federal University of São Carlos（圣卡洛斯联邦大学）
研究发现，在线性老虎机推荐系统离线评估中，贪婪模型在多数数据集上表现优异，表明探索策略可能被低估，需改进评估方法。
2026-04-16 cs.IR cs.LG
PAC-Bayes-Bernstein Inequality for Martingales and its Application to Multiarmed Bandits
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Chair for Information Technology, University of Leoben（莱奥本大学信息技术教席）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）
我们开发了一种新的工具，用于有限反馈下学习中探索-开发权衡的数据依赖分析。我们的工具基于两个主要成分。第一个要素是一个新的浓度不等式，它使得控制多个（可能是无数个）同时发展和相互依赖的鞅的加权平均值的浓度成为可能。第二个要素是通过重要性加权抽样将这个不等式应用于勘探开发权衡。我们将新的工具随机多臂强盗问题，但是，本文的主要重要性是新的工具的发展和理解，而不是改进现有的算法随机多臂强盗。在后续工作中，我们证明了新工具可以在结构更丰富的问题中改进现有技术，例如具有边信息的随机多臂强盗（Seldin等人，2011年a）。
2012-01-30 cs.LG
Multi-Agent LLMs for Adaptive Acquisition in Bayesian Optimization
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文研究多智能体大语言模型在贝叶斯优化中的自适应获取策略，通过分解探索-利用控制与候选生成，提升搜索效率与稳定性。
2026-10-30 cs.AI cs.LG
Neural Exploitation and Exploration of Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出EE-Net，一种基于神经网络的情境老虎机利用与探索策略，通过实例方法提供O(√T)的 regret 上界，并在真实数据集上优于线性及神经情境老虎机基线。
2026-04-05 cs.LG
Parallelizing Thompson Sampling
Yale University（耶鲁大学）；Google Research（谷歌研究院）
我们如何利用在线决策问题的信息并行性，同时有效地平衡探索-开发权衡？本文介绍了一个批量Thompson抽样框架，用于两个典型的在线决策问题，即随机多臂强盗和线性上下文多臂强盗。在一个时间范围$T$，我们的\textit{batch}汤普森采样政策实现了相同的（渐近）遗憾界的一个完全连续的，而只进行$O(\log T)$批处理查询。为了实现这种指数下降，即，为了减少从$T$到$O(\log T)$的交互数量，我们的批处理策略动态地确定每个批处理的持续时间，以便平衡探索-利用权衡。我们还证明了实验，动态批分配显着优于自然基线，如静态批分配。
2021-06-02 cs.AI cs.LG math.OC
Infomax strategies for an optimal balance between exploration and exploitation
University of California San Diego（加州大学圣地亚哥分校）；The Abdus Salam International Centre for Theoretical Physics (ICTP)（阿卜杜勒·萨拉姆国际理论物理中心（ICTP））
在开发和探索之间保持适当的平衡是做出好的决策的原因，这些决策可以获得高回报，如回报或进化适应性。Infomax原则假定信息的最大化指导了从生命系统到人工神经网络的各种系统的功能。虽然具体的应用是成功的，但信息作为奖励代理的有效性仍然不清楚。在这里，我们考虑多臂强盗决策问题，其特征在于武器（老虎机）的未知成功概率和玩家试图通过选择武器的顺序来最大化累积收益。我们发现，一个信息最大战略（信息-P），最佳收集信息的最高平均奖励之间的武器饱和已知的最佳界限，并比较有利的现有政策。Info-p所考虑的最高平均奖励并不是选择要玩的手臂实际所需的数量，但它允许在探索和开发之间进行最佳权衡。
2016-01-12 cs.IT cs.LG math.IT
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
HTPO: Towards Exploration-Exploitation Balanced Policy Optimization via Hierarchical Token-level Objective Control
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院）；Xiaohongshu Inc.（小红书公司）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文提出HTPO算法，通过分层划分响应令牌为功能组，设计专用优化目标以平衡探索与利用，实验验证其在推理基准上的优越性。
2026-05-08 cs.AI cs.CL cs.LG
Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning
Oden Institute of Computational Engineering and Sciences, University of Texas（德克萨斯大学奥登计算工程与科学研究所）；University of Minnesota（明尼苏达大学）
我们表明，不确定性采样足以实现基于图的主动学习中的探索与利用，只要不确定性的度量与底层模型正确对齐，并且模型正确反映了未探索区域的不确定性。特别是，我们使用最近开发的算法，泊松重新加权拉普拉斯学习（PWLL）的分类器，我们引入了一个采集功能，旨在测量不确定性，在这个基于图形的分类器，识别未探索的数据区域。我们在PWLL中引入对角扰动，它产生解的指数局部化，并控制主动学习中的探索与利用权衡。我们使用PWLL的适定性连续极限来严格分析我们的方法，并给出了一些基于图的图像分类问题的实验结果。
2022-10-27 cs.LG stat.ML
Thompson Sampling with Virtual Helping Agents
Purdue University（普渡大学）；IIT (BHU)（印度理工学院（瓦拉纳西））；Stanford University（斯坦福大学）；Motorola Mobility（摩托罗拉移动）
我们解决了在线顺序决策的问题，即，平衡利用当前知识以最大化即时性能与探索新信息以使用多臂强盗框架获得长期利益之间的权衡。汤普森抽样是解决这种探索-开发困境的选择行动的方法之一。我们首先提出了一个通用的框架，有助于探索性地调整探索与开发权衡汤普森采样使用多个样本的后验分布。利用这个框架，我们提出了两个算法的多臂强盗问题，并提供理论界的累积遗憾。接下来，我们证明了经验改进的累积后悔性能的算法超过汤普森采样。我们还展示了该算法在真实世界数据集上的有效性。与现有的方法相反，我们的框架提供了一种机制，根据手头的任务来改变探索/开发的量。为此，我们将我们的框架扩展到两个额外的问题，即，最佳手臂识别和时间敏感学习的土匪，并比较我们的算法与现有的方法。
2022-09-16 cs.AI cs.LG
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Exploration, Exploitation, and Engagement in Multi-Armed Bandits with Abandonment
University of Michigan（密歇根大学）；ShanghaiTech University（上海科技大学）
多臂强盗（MAB）是理解勘探-开采权衡的经典模型。传统的推荐系统MAB模型假设用户在整个学习时间段内都停留在系统中。在ALEKS等新的在线教育平台或TikTok和YouTube Shorts等新的视频推荐系统中，用户在应用程序上花费的时间取决于推荐内容的吸引力。如果推荐的项目不能吸引用户，则用户可以暂时离开系统。为了理解这些系统中的探索、利用和参与，我们提出了一个新的模型，称为MAB-A，其中“A”代表放弃，放弃概率取决于当前推荐的项目和用户过去的经验（称为状态）。我们提出了两种算法，ULCB和KL-ULCB，这两种算法都做更多的探索（乐观），当用户喜欢以前的推荐项目和较少的探索（悲观），当用户不喜欢以前的项目。我们证明了ULCB和KL-ULCB都达到了对数后悔，$O(\log K)$，其中$K$是访问（或发作）的次数。此外，KL-ULCB下的遗憾界是渐近尖锐的。我们还提出的算法扩展到一般状态设置。仿真结果证实了我们的理论分析，并表明所提出的算法有显着低于传统的UCB和KL-UCB，Q学习算法的遗憾。
2022-05-26 cs.LG
Evolutionary Policy Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对强化学习中探索-利用权衡问题，提出集成神经进化与策略梯度的混合算法EPO，在Atari基准上验证其策略质量和样本效率优于标准PG与EC方法。
2025-04-17 cs.LG cs.NE
Exploration versus exploitation in reinforcement learning: a stochastic control approach
Columbia University（哥伦比亚大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Oxford（牛津大学）
我们在连续时间内考虑强化学习（RL），并研究在黑盒环境的探索和利用当前知识之间实现最佳权衡的问题。我们提出了一个熵正则化的报酬函数，涉及的行动分布的微分熵，并激励和设计一个探索性的制定的特征动态，捕获重复学习探索。由此产生的最优化问题是一个振兴的经典放松随机控制。我们进行了一个完整的分析问题的线性二次（LQ）设置和推导出的最佳反馈控制分布平衡开发和勘探是高斯。这反过来解释并证明了RL中广泛采用的高斯探索，超越了其采样的简单性。此外，利用和探索被捕获，分别和互斥，由高斯分布的均值和方差。我们还发现，一个更随机的环境包含更多的学习机会，在这个意义上，更少的探索是必要的。我们描述的勘探成本，其中，对于LQ的情况下，被证明是成正比的熵正则化权重和成反比的贴现率。最后，当探索权衰减到零时，我们证明了熵正则化LQ问题的解收敛到经典LQ问题的解。
2019-02-13 cs.LG math.OC
Meta-SAC: Auto-tune the Entropy Temperature of Soft Actor-Critic via Metagradient
Carnegie Mellon University（卡内基梅隆大学）
探索-利用困境一直是强化学习中的一个重要问题。在本文中，我们提出了一种新的方法来自动平衡这两个。我们的方法是建立在软演员批评（SAC）算法，它使用的“熵温度”，平衡原始任务奖励和政策熵，从而控制开发和探索之间的权衡。经验表明，SAC是非常敏感的这个超参数，后续工作（SAC-v2），它使用约束优化自动调整，有一定的局限性。我们的方法，即Meta-SAC的核心，是使用元梯度以及一个新的Meta目标，自动调整SAC中的熵温度。我们表明，Meta-SAC在几个Mujoco基准测试任务上取得了令人满意的性能，并且在最具挑战性的任务之一humanoid-v2中的性能优于SAC-v2超过10%。
2020-07-31 cs.LG stat.ML
Optimal Exploration-Exploitation in a Multi-Armed-Bandit Problem with Non-stationary Rewards
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
在多臂强盗（MAB）问题中，赌徒需要在每一轮游戏中选择K个臂中的一个，每个臂的特征在于未知的奖励分布。只有当选择了一个分支时，才能观察到奖励实现，并且赌徒的目标是在游戏T的某个给定范围内最大化他的累积预期收益。要做到这一点，赌徒需要获得关于武器的信息（探索），同时优化即时奖励（剥削）;由于这种权衡而付出的代价通常被称为遗憾，主要问题是这个价格作为视界长度T的函数可以有多小。这个问题已经被广泛研究时，奖励分布不随时间而变化;一个假设，支持一个尖锐的特征的遗憾，但往往是违反在实际环境中。在本文中，我们专注于一个MAB制定，允许广泛的时间不确定性的奖励，同时仍然保持数学上的易处理性。我们充分的特点（遗憾）的复杂性，这类MAB的问题，通过建立一个直接的联系，允许奖励的程度之间的“变化”和最小的可实现的遗憾。我们的分析得出了两个相当不同的文献链之间的一些联系：对抗性和随机MAB框架。
2019-06-06 cs.LG math.OC math.PR
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute（佐治亚理工研究院）
强化学习（RL）中的探索-利用权衡是一个众所周知的和大量研究的问题，其平衡贪婪动作选择与新颖经验，并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而，在在线任务转移的背景下，在在线操作过程中任务发生变化，我们假设，预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此，我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中，我们回顾了强化学习探索方法，定义了一个分类，以组织它们，分析这些方法的任务转移的背景下的差异，并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
Controlling Exploration-Exploitation in GFlowNets via Markov Chain Perspectives
LUMIA Lab, School of Artificial Intelligence, SJTU（LUMIA实验室，人工智能学院，上海交通大学）；School of Mathematical Sciences, SJTU（数学科学学院，上海交通大学）；Shanghai Advanced Institute of Finance, SJTU（上海先进金融研究院，上海交通大学）；School of Computer Science, SJTU（计算机科学学院，上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Center for Data Science, NYU Shanghai（上海数据科学中心，纽约大学上海学院）；NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai（纽约大学-华东师范大学数学科学研究院，纽约大学上海学院）
通过引入可调参数$α$，$α$-GFNs改进了GFlowNets的探索-利用平衡，提升了模式发现能力。
2026-02-26 cs.AI cs.LG
Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对LLM智能体技能过拟合问题，提出SkillBoost三阶段框架，在23种模型-基准配置上达SOTA性能，优化后技能可跨智能体复用。
2026-08-20 cs.AI cs.LG
Fiduciary Bandits
Technion - Israel Institute of Technology（以色列理工学院）；University of British Columbia（不列颠哥伦比亚大学）
推荐系统经常面临探索-利用的权衡：系统只能通过向某些用户推荐新选项来了解新选项的可取性。这样的系统因此可以被建模为多臂强盗设置;然而，用户是自私的，不能遵循建议。我们要问的是，探索是否仍然可以以一种严格尊重代理人利益的方式进行-即，由一个充当受托人的系统来管理。更正式地说，我们引入了一个模型，在这个模型中，推荐系统面临着一个探索-利用权衡的约束下，它永远不能推荐任何行动，它知道收益较低的预期回报比代理将实现，如果它单独行动。我们的主要贡献是一个积极的结果：一个渐进最优的，激励相容的，和事前个别合理的推荐算法。
2020-06-28 cs.GT cs.IR cs.LG
Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward
Columbia（哥伦比亚大学）；CUHK SZ（香港大学）；DAMO, Alibaba US（阿里云实验室）；NYU Stern（纽约大学 Stern 学院）
本文通过截断、熵和虚假奖励机制，重新审视RLVR框架，揭示了探索与利用权衡对大语言模型推理能力提升的影响。
2026-01-26 cs.AI cs.CL cs.LG
Reward Shaping via Diffusion Process in Reinforcement Learning
本研究利用随机热力学原理，通过扩散过程进行奖励塑形，构建双框架以平衡探索与利用，并揭示信息熵与熵产生的关系，为RL提供新视角。
2023-06-20 cs.AI cs.LG
Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting
National University of Singapore（新加坡国立大学）；University of California, Davis（加州大学戴维斯分校）；University of Southern California（美国南加州大学）
本文提出一种协方差感知的GRPO方法，通过高斯核动态降低极端令牌更新权重，以平衡探索与利用，提升大语言模型推理性能并稳定熵。
2026-05-12 cs.AI cs.CL cs.LG
Breaking Information Cocoons: A Hyperbolic Framework for Balancing Exploration and Exploitation in Recommender Systems
University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science（香港科学大学）；Snap Inc.（Snap公司）；Yale University（耶鲁大学）
提出双曲框架HERec，通过语义增强的层次机制和自动层次聚类，在推荐系统中平衡探索与利用，有效缓解信息茧房。
2026-05-29 cs.AI cs.CL cs.IR
