Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge(剑桥大学);Tencent RoboticsX(腾讯机器人X实验室);Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);IDEA(粤港澳大湾区数字经济研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在这项工作中,我们研究了基于价值的深度强化学习(DRL)中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中,线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性,我们提出了一个关键的见解,即积极的奖励转移导致保守的剥削,而消极的奖励转移导致好奇心驱动的探索。相应地,保守开发改进了离线RL值估计,而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力,并显示了其相对于基线的改进:(1)在离线RL中,保守开发导致基于现成算法的性能改善;(2)在在线连续控制中,具有不同移位常数的多个价值函数可以用于解决探索-开发困境,以获得更好的样本效率;(3)在离散控制任务中,负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
A Balanced Approach of Rapid Genetic Exploration and Surrogate Exploitation for Hyperparameter Optimization
Hanyang University(汉阳大学)
本文针对超参数优化中进化算法利用能力不足的问题,提出将线性代理模型集成到遗传算法中,以平衡探索与利用,并在实验中相较现有方法取得平均1.89%的性能提升。
2025-04-10 cs.AI cs.NE
Query Decomposition for RAG: Balancing Exploration-Exploitation
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University(约翰霍普金斯大学)
该研究将RAG的查询分解与文档检索建模为探索-利用问题,用老虎机学习动态选子查询,结合排名和人工判断估相关性,提升了检索精度与长文本生成性能。
2025-10-21 cs.AI
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Plan-MCTS: Plan Exploration for Action Exploitation in Web Navigation
Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
Plan-MCTS通过将网页导航探索转移到语义计划空间,提升动作利用效率,实现更高效的导航任务执行。
2026-02-15 cs.AI
SkillHEX: Improving Agent Skills via Hypothesis-Driven Autonomous Exploration and Exploitation
SkillHEX是结合假设驱动自验证与证据引导树搜索的闭环框架,在SkillsBench87个任务上,5次迭代预算下用GPT-5.3-Codex和Claude Opus 4.7分别获55.9%、57.9%平均通过率,优于现有自演化方法。
2026-08-07 cs.AI
Balancing Exploration and Exploitation by an Elitist Ant System with Exponential Pheromone Deposition Rule
Jadavpur University(贾达沃普尔大学)
提出了一种指数型信息素沉积规则,对基本蚁群算法中的常数沉积规则进行了改进。利用微分方程进行了稳定性分析,找出了两种沉积规则下使蚂蚁系统动力学稳定的参数值。一个连接的城市路线图被选为问题的环境,其中两个给定的城市之间的最短路径需要被发现。使用精英蚂蚁系统模型对这两种沉积方法进行的仿真表明,指数沉积方法在很大程度上优于经典沉积方法。通过大量的实验,找出了指数沉积法不同控制参数的最佳设置,以及算法主要控制参数与问题环境特征之间的经验关系。
2008-11-02 cs.AI
Generative Exploration and Exploitation
Peking University(北京大学)
稀疏奖励是强化学习(RL)面临的最大挑战之一。在本文中,我们提出了一种新的方法,称为生成的探索和利用(基因),以克服稀疏奖励。GENE自动生成启动状态,以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化,自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识,可以与任何RL算法结合,无论是on-policy还是off-policy,单智能体还是多智能体。经验上,我们证明基因显着优于现有的方法,在三个任务,只有二进制奖励,包括迷宫,迷宫蚂蚁,和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Nearly optimal exploration-exploitation decision thresholds
虽然一般来说,在强化学习中权衡探索和利用是困难的,但在一些公式下存在相对简单的解决方案。在本文中,我们首先推导出上界的效用选择不同的行动中的多臂强盗设置。与常见的统计置信上限不同,这些明确地将规划范围、不确定性和探索的需要明确地联系起来。由此产生的算法可以看作是一个推广的经典汤普森采样算法。我们实验测试这些算法,以及$ε$ -贪婪和完美的信息分析的价值。最后,我们还介绍了强化学习的装袋思想。通过采用在线自举的版本,我们可以有效地从近似的后验分布中采样。
2018-06-04 cs.AI cs.LG
Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding
National Institute of Informatics(信息学研究所)
提出用 Soft RLLF 在 LLM 微调中平衡探索与利用,并通过基准对比、迁移学习和法律 AI 评估验证其对否定理解与逻辑可靠性的提升。
2024-03-02 cs.AI cs.CL
WESE: Weak Exploration to Strong Exploitation for LLM Agents
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对现有LLM智能体忽略探索利用过程、在开放世界交互任务中易产生次优解且成本高的问题,提出WESE方法,通过弱智能体探索、知识图谱存储提取相关知识来增强强智能体,在四个基准上显著提升成功率与效率。
2024-04-11 cs.AI cs.MA
Scale-Adaptive Balancing of Exploration and Exploitation in Classical Planning
University of New Hampshire(新罕布什尔大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出GreedyUCT-Normal算法,通过UCB1-Normal带宽解决经典规划中奖励尺度差异问题,提升规划效率。
2026-03-26 cs.AI
Exploitation Is All You Need... for Exploration
本文提出在满足环境结构、智能体记忆和长时程信用分配条件下,仅用贪婪目标训练的元强化学习智能体能涌现探索行为,并通过实验验证了该发现。
2025-08-02 cs.AI cs.LG
Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
基于模型的深度强化学习已经在需要高样本效率的各个领域取得了成功,例如Go和机器人。然而,还有一些遗留问题,如规划有效的探索,以学习更准确的动态模型,评估学习模型的不确定性,以及更合理地利用模型。为了缓解这些问题,我们提出了MEEE,一个模型集成方法,包括乐观的探索和加权开发。在探索过程中,与现有方法直接选择最大化预期累积回报的最佳行动不同,我们的代理首先生成一组候选行动,然后寻找既考虑预期回报又考虑未来观察新颖性的最佳行动。在开发过程中,根据模型的不确定性,分别为虚拟转移元组分配不同的折扣权重,以防止模型预测误差在Agent训练中的传播。几个具有挑战性的连续控制基准任务的实验表明,我们的方法优于其他无模型和基于模型的最先进的方法,特别是在样本复杂度。
2021-07-05 cs.AI cs.LG
Disentangling Exploration of Large Language Models by Optimal Exploitation
Technical University of Clausthal(Clausthal 技术大学);University of Mannheim(曼海姆大学);University of Rostock(罗斯托克大学)
针对LLMs在部分隐藏状态空间的探索能力不明确问题,本研究将探索作为唯一目标,分解缺失奖励为探索与利用组件,实验发现多数模型探索困难但探索性能与推理能力正相关,为优化探索任务提供工具。
2025-08-24 cs.AI cs.CL cs.LG
SELF-REDRAFT: Eliciting Intrinsic Exploration-Exploitation Balance in Test-Time Scaling for Code Generation
Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
提出SELF-REDRAFT框架,通过鼓励模型为根本缺陷的方案重写新草稿,在无解释器反馈的代码生成中激发LLM内在的探索-利用平衡,建立了性能优于Self-Refine的基线并指出反馈与判别是未来改进关键。
2025-10-31 cs.AI cs.SE
Mastering the exploration-exploitation trade-off in Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学)
本文提出一种自适应平衡探索与利用的新型采集函数,在多个测试函数上优于现有方法,几乎总是帕累托最优且权衡最平衡。
2023-05-15 cs.AI cs.LG math.OC
Recommandation mobile, sensible au contexte de contenus évolutifs: Contextuel-E-Greedy
Télécom SudParis(南巴黎电信学院);UMR CNRS Samovar(法国国家科学研究中心萨莫瓦联合实验室)
本文介绍了一种名为上下文-E-贪婪,处理用户的内容的动态性的算法。它是基于动态的勘探/开采权衡,并可以自适应地平衡这两个方面,通过决定哪种情况是最相关的勘探或开采。实验结果表明,我们的算法优于调查算法。
2014-02-09 cs.AI
MEET: A Monte Carlo Exploration-Exploitation Trade-off for Buffer Sampling
Infineon Technologies AG(英飞凌科技股份公司);Technical University of Munich(慕尼黑工业大学);Johannes Kepler University Linz(约翰开普勒林茨大学);University of Michigan(密歇根大学)
本文提出了一种基于蒙特卡洛探索-利用权衡的经验回放缓冲区采样策略MEET,通过Q值不确定性估计指导采样,在密集奖励环境中收敛性和峰值性能平均提升26%。
2023-04-17 cs.AI cs.LG
SkillBoost: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
针对LLM智能体技能过拟合问题,提出SkillBoost三阶段框架,在23种模型-基准配置上达SOTA性能,优化后技能可跨智能体复用。
2026-11-17 cs.AI cs.LG
Decoupling Exploration and Exploitation for Unsupervised Pre-training with Successor Features
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
本文提出NMPS模型,通过分离基于后继特征的探索与利用智能体,解决无监督预训练中统一内在奖励导致的局部最优问题,并在对比实验中优于APS。
2024-05-04 cs.AI cs.LG
Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Skyfall AI(天空fall人工智能公司);McGill University(麦吉尔大学)
该研究提出语义老虎机框架,发现LLM的探索-利用受语义先验偏置,语义标签对齐奖励可提升性能,负奖励比同等正奖励触发更多探索,为LLM智能体决策可靠性提供了新见解。
2026-08-18 cs.AI cs.CL
MULEX: Disentangling Exploitation from Exploration in Deep RL
Google Research(谷歌研究院)
通过交互学习的代理应该在探索环境以发现新的奖励和使用过去获得的信息来采取有用的行为之间平衡其动作选择过程。这种权衡通常是通过扰动代理的动作(例如,e-greedy或Gibbs采样)或代理的参数(例如,或者通过修改它收到的奖励(例如,探索奖金、内在动机或手形奖励)。在这里,我们采用了一种破坏性的,但简单和通用的观点,我们明确地解开探索和利用。不同的损失是并行优化的,其中一个来自真正的目标(最大化环境的累积回报),其他的与探索有关。每次丢失都被用来学习生成转换的策略,所有这些都在单个重放缓冲区中共享。然后将非策略方法应用于这些转换以优化每个损失。我们展示了我们的方法在硬勘探环境中,显示其样本的效率和鲁棒性,并讨论进一步的影响。
2019-07-01 cs.AI cs.LG stat.ML
Exploitation-Guided Exploration for Semantic Embodied Navigation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);FAIR at Meta(Meta AI基础人工智能研究中心)
针对具身导航模块化策略的组合优化问题,提出利用引导探索(XGX)框架,通过利用模块教师强制引导探索模块的策略优化,提升物体导航精度与探索效率,且仿真到真实迁移效果超最优基线两倍。
2023-11-06 cs.AI cs.CV cs.LG
Breaking Information Cocoons: A Hyperbolic Framework for Balancing Exploration and Exploitation in Recommender Systems
University of California, Davis(加州大学戴维斯分校);The Hong Kong University of Science(香港科学大学);Snap Inc.(Snap公司);Yale University(耶鲁大学)
提出双曲框架HERec,通过语义增强的层次机制和自动层次聚类,在推荐系统中平衡探索与利用,有效缓解信息茧房。
2026-05-29 cs.AI cs.CL cs.IR
Controlling Exploration-Exploitation in GFlowNets via Markov Chain Perspectives
LUMIA Lab, School of Artificial Intelligence, SJTU(LUMIA实验室,人工智能学院,上海交通大学);School of Mathematical Sciences, SJTU(数学科学学院,上海交通大学);Shanghai Advanced Institute of Finance, SJTU(上海先进金融研究院,上海交通大学);School of Computer Science, SJTU(计算机科学学院,上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Shanghai Center for Data Science, NYU Shanghai(上海数据科学中心,纽约大学上海学院);NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai(纽约大学-华东师范大学数学科学研究院,纽约大学上海学院)
通过引入可调参数$α$,$α$-GFNs改进了GFlowNets的探索-利用平衡,提升了模式发现能力。
2026-02-26 cs.AI cs.LG
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca(米兰比可卡大学)
本文的主要目的是勾勒出一个理论框架,分析人类的决策策略下的不确定性管理信息收集(探索)和奖励寻求(剥削)之间的权衡。一个关键的观察,激励这一系列的研究,是认识到人类学习者是惊人的快速和有效地适应陌生的环境,并纳入即将到来的知识:这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习,更具体地说,如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模,该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型,如果一个决策集包含一个帕累托有效(主导)策略,理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是(帕累托)理性的(即,位于边境)或与“令人恼火”的探索有关。然而,由于不确定性是定义帕累托前沿的两个目标之一,我们已经研究了三种不同的不确定性量化措施,并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Quantum-Inspired Multi Agent Reinforcement Learning for Exploration Exploitation Optimization in UAV-Assisted 6G Network Deployment
Intelligent Knowledge City(智能知识城)
本文提出量子启发的多智能体强化学习框架,用于优化UAV辅助6G网络部署中的探索利用权衡,通过整合量子优化技术提升样本效率和收敛速度。
2025-11-25 cs.AI math.OC
Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward
Columbia(哥伦比亚大学);CUHK SZ(香港大学);DAMO, Alibaba US(阿里云实验室);NYU Stern(纽约大学 Stern 学院)
本文通过截断、熵和虚假奖励机制,重新审视RLVR框架,揭示了探索与利用权衡对大语言模型推理能力提升的影响。
2026-01-26 cs.AI cs.CL cs.LG
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
探索-利用权衡是强化学习(RL)的核心。然而,最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发,并且在需要更多功能探索的基准测试中表现不佳。例如,正如我们的实证研究所证明的那样,最先进的RL算法(如DDPG和TD 3)无法在即使是小的2D迷宫中引导点质量。在本文中,我们提出了一种新的算法,称为“计划,回放,链技能”(PBCS),结合运动规划和强化学习,以解决困难的探索环境。在第一阶段中,使用运动规划算法来找到单个良好轨迹,然后通过组合Backplay算法的变体和技能链,使用从轨迹导出的课程来训练RL算法。我们表明,这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中,并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Towards Self-Evolving Agents: A Human-Inspired Adaptive Exploration-Exploitation Framework for Genetic Network Programming
Fasa University(法萨大学);Deakin University(迪肯大学);Chulalongkorn University(朱拉隆功大学);Torrens University Australia(澳大利亚托伦斯大学);Obuda University(奥布达大学)
该研究受人类发育模式启发,提出人类启发的遗传网络编程(HGNP)框架,通过新型自适应交叉、变异算子及循环消除机制,动态调节遗传网络编程中探索与利用的平衡,提升了智能体策略性能,且可应用于多种GNP变体。
2026-07-15 cs.AI cs.NE
B-STaR: Monitoring and Balancing Exploration and Exploitation in Self-Taught Reasoners
The Hong Kong University of Science and Technology(香港科技大学);BAAI(北京智源人工智能研究院);Tencent(腾讯)
本研究提出B-STaR框架,通过自主调整配置来监控并平衡自主学习推理器中的探索与利用,有效缓解了迭代中探索能力衰退和奖励利用减弱的问题,在数学、编程和常识推理任务上显著提升了模型性能。
2025-03-04 cs.AI cs.CL cs.LG
Pass@k Training for Adaptively Balancing Exploration and Exploitation of Large Reasoning Models
Renmin University of China(中国人民大学)
本文提出Pass@k Training方法,通过将Pass@k作为RLVR的奖励指标来训练策略模型,推导其优势函数的解析解,证明探索与利用可相互促进,为RLVR的优势设计提供了新方向。
2025-08-14 cs.AI cs.CL cs.LG
In-context Exploration-Exploitation for Reinforcement Learning
Spotify Research(Spotify 研究院)
本文提出 ICEE 算法,在 Transformer 推理过程中实现探索-利用权衡,以更低计算成本完成上下文内强化学习,并在网格世界中显著减少所需回合数。
2024-03-11 cs.AI cs.LG stat.ML
Representation-Driven Reinforcement Learning
Department of Electrical-Engineering, Technion Institute of Technology, Israel(电气工程系,技术学院技术研究所,以色列);Nvidia Research(Nvidia研究);Technion (currently at Google Research)(技术学院(目前在谷歌研究))
本文提出了一种基于表示的强化学习框架,通过将策略表示为预期值的估计,利用上下文老虎机技术提升探索与利用效率,显著改进了传统方法的性能。
2026-01-22 cs.AI cs.LG
Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck
Thomson Reuters(汤姆森路透)
该研究通过首个计算归一化对比发现,测试时缩放(TTS)中从候选池选择的利用环节是瓶颈,跨候选合成(Fusion)仅恢复约40%可用质量,探索缩放有效但利用失效。
2026-08-20 cs.AI cs.CL
Improved cooperation by balancing exploration and exploitation in intertemporal social dilemma tasks
ZheJiang University of Technology(浙江工业大学)
当个体的行为具有理性特征时,这可能导致群体的非理性集体行动。从动物到人类的各种生物体经常进化出合作的社会属性来应对这一挑战。因此,个体之间的合作对于让社会有机体适应自然环境的变化具有重要意义。基于多智能体强化学习,我们提出了一种新的学习策略,通过将学习率,可以平衡探索和开发,以实现协调。我们证明,代理人使用简单的策略,提高了相对集体的回报,在一个决策任务称为跨期的社会困境,其中个人和群体之间的冲突是特别尖锐的。我们还探讨了学习率的多样性对强化学习代理的人口的影响,并表明在异质群体中训练的代理制定特别协调的政策相对于在同质群体中训练的代理。
2021-10-19 cs.AI cs.CY cs.MA
Multi-Agent LLMs for Adaptive Acquisition in Bayesian Optimization
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文研究多智能体大语言模型在贝叶斯优化中的自适应获取策略,通过分解探索-利用控制与候选生成,提升搜索效率与稳定性。
2026-10-30 cs.AI cs.LG
Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow
National Tsing Hua University(国立清华大学)
在过去的几年里,来自环境中状态的新颖性的探索奖金已经成为激励深度强化学习代理的探索的流行方法。最近的方法,如好奇心驱动的探索,通常是通过其系统动力学模型的预测误差来估计新观测的新颖性。然而,由于模型的容量限制和执行下一帧预测的困难,这些方法通常无法在高维观测任务中的探索和利用之间进行平衡,导致智能体忘记访问路径并重复探索这些状态。这种低效的探索行为会导致性能显著下降,特别是在奖励信号稀疏的大型环境中。本文提出从计算机视觉领域引入光流估计的概念来解决上述问题。我们建议采用光流估计误差来检查新观测的新颖性,这样代理能够以更全面的方式记忆和理解访问过的状态。我们比较我们的方法对以前的方法在一些实验性的实验。我们的研究结果表明,所提出的方法似乎比以前的方法提供更优越和持久的性能。我们进一步提供了一套全面的烧蚀分析所提出的方法,并调查光流估计的DRL代理的学习曲线的影响。
2019-01-24 cs.AI cs.CV cs.LG
Exploration vs. Exploitation in Team Formation
Stanford University(斯坦福大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在线劳动力平台面临着一个在线学习问题,即如何将工人与工作相匹配,并利用这些工作的表现来创造更好的未来匹配。这种学习问题由于这些平台上复杂任务的增加而变得复杂,例如Web开发和产品设计,需要一个团队来完成。现在,工作的成功取决于所有相关工作人员的技能和贡献,而平台和发布工作的客户可能都不知道这一点。这些团队匹配导致了关于个人的已知信息之间的结构化相关性,并且可以利用这些信息来创建更好的未来匹配。我们分析了两个自然的设置,一个团队的表现是由其最强和最弱的成员,分别。我们发现,这两个问题提出了一个探索利用之间的权衡学习的性能未经测试的团队和重复以前测试的团队,导致了良好的性能。我们建立了基本的遗憾界限和设计接近最优的算法,揭示了这些权衡的几个见解。
2018-10-12 cs.AI cs.LG stat.ML
HTPO: Towards Exploration-Exploitation Balanced Policy Optimization via Hierarchical Token-level Objective Control
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);Xiaohongshu Inc.(小红书公司);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文提出HTPO算法,通过分层划分响应令牌为功能组,设计专用优化目标以平衡探索与利用,实验验证其在推理基准上的优越性。
2026-05-08 cs.AI cs.CL cs.LG
REX: Rapid Exploration and eXploitation for AI Agents
Salesforce Research(赛富时研究院);CTO Office, Salesforce(赛富时首席技术官办公室)
针对现有AutoGPT风格AI智能体决策依赖精确描述、缺乏系统试错机制的问题,提出引入奖励层与UCB类概念的REX方法,无需微调即可适配基础模型,性能可比肩甚至优于CoT、RAP,且大幅缩短执行时间。
2024-01-26 cs.AI cs.LG
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia(英属哥伦比亚大学);Vector Institute(矢量研究所)
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题,提出First-Explore方法,通过分离探索与利用策略,显著提升性能。
2024-11-04 cs.AI cs.LG
Auto-configuring Exploration-Exploitation Tradeoff in Evolutionary Computation via Deep Reinforcement Learning
South China University of Technology(华南理工大学);National University of Singapore(新加坡国立大学)
针对进化计算中探索-利用权衡依赖人工规则的问题,提出基于深度强化学习的自动配置框架,可自适应调整权衡策略,在CEC2021基准上显著提升多种进化算法性能且泛化性良好。
2024-04-12 cs.AI cs.NE
Exploration-Exploitation Model of Moth-Inspired Olfactory Navigation
Ariel University(阿里埃勒大学);University College London(伦敦大学学院);The Volcani Center(沃尔卡尼中心);Coastal Carolina University(海岸卡罗莱纳大学);Tel Aviv University(特拉维夫大学)
本研究基于探索-利用(EE)模型,结合风洞实验与3D追踪技术分析雄性飞蛾的信息素导航行为,揭示探索-利用率与距离、气流湍流的关联,为开发生物启发式导航算法提供理论支撑。
2023-12-02 cs.AI cs.IR cs.RO
BEE: Metric-Adapted Explanations via Baseline Exploration-Exploitation
The Open University, Israel(以色列开放大学);Tel Aviv University, Israel(特拉维夫大学)
提出BEE方法,通过将基线建模为学习的随机张量并引入随机性到路径积分过程中,生成多样化解释图以适应不同评估指标,在多种模型架构上表现优于现有方法。
2024-12-23 cs.AI cs.CV cs.LG
Accelerating Large-Scale Dataset Distillation via Exploration-Exploitation Optimization
North Carolina State University(北卡罗来纳州立大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出E²D方法,通过探索-利用优化策略在大规模数据集蒸馏中提升效率与准确率,实现18倍加速和显著性能改进。
2026-02-19 cs.AI cs.CV cs.LG
SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space
SPAARS通过抽象探索和动作空间精细化利用,提升强化学习策略对齐的安全性与效率
2026-03-11 cs.AI cs.LG cs.RO
Exploration and Exploitation of Victorian Science in Darwin's Reading Notebooks
Indiana University(印第安纳大学);Xi’an Jiaotong University(西安交通大学);Carnegie Mellon University(卡内基梅隆大学);Santa Fe Institute(圣塔菲研究所)
在资源分布不确定的环境中进行搜索,需要在利用过去的发现和进一步勘探之间进行权衡。这延伸到信息搜寻,知识寻求者在深度阅读和研究新领域之间转换。为了研究这个决策过程,我们研究了当代最著名的科学家之一查尔斯·达尔文的阅读选择。从他按时间顺序组织的阅读期刊中列出的书籍全文,我们生成主题模型,以量化他的本地(文本到文本)和全球(文本到过去)的阅读决策使用Kullback-Liebler分歧,认知验证,信息理论的相对惊喜的措施。达尔文的行为从早期的开发转向后来的探索,寻求相对于以前时代而言异常高水平的认知惊喜,而不是一种与纯粹的开发策略相对应的最小化模式。这些变化,检测到一个无监督的贝叶斯模型,与他的职业生涯中的主要知识时代的定性奖学金和达尔文自己的自我评论确定。我们的方法使我们能够比较他的消费文本与他们的出版顺序。我们发现达尔文的消费比文化的生产更具探索性,这表明在渐进的社会变革之下是对个人综合和发现的探索。我们的定量方法通过测试个人和集体行为之间以及短期和长期消费选择之间的相互作用的框架来推进认知搜索的研究。这种新颖的应用主题建模来表征个人阅读补充了广泛的集体科学行为的研究。
2017-02-02 cs.AI cs.CL cs.CY
Co-Exploration and Co-Exploitation via Shared Structure in Multi-Task Bandits
本文提出了一种基于共享结构的多任务老虎机方法,通过联合探索和利用潜在依赖性,提升在不完全上下文和模型不规范情况下的性能。
2025-12-14 cs.AI cs.LG
DGRO: Enhancing LLM Reasoning via Exploration-Exploitation Control and Reward Variance Management
School of Mathematics and Statistics(数学与统计学学院);Beijing Jiaotong University(北京交通大学);Yau Mathematical Sciences Center(叶中科学中心);Tsinghua University(清华大学);Department of Mathematical Sciences(数学科学系);Beijing, China(中国北京);Zhongguancun Academy(中关村学院);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(燕琪湖数学科学与应用研究所);Academy of Mathematics and Systems Science(数学与系统科学研究院);Chinese Academy of Sciences(中国科学院);Microsoft Research AI4Science(微软研究院AI4Science)
针对现有大语言模型推理强化学习方法依赖手工奖励函数、探索利用权衡难控制等问题,提出解耦组奖励优化算法DGRO,通过解耦正则系数实现探索利用精准控制并管理奖励方差,在Logic数据集达96.9%准确率且数学基准泛化性强。
2025-05-19 cs.AI cs.LG
Multi-Armed Bandits for Minesweeper: Profiting from Exploration-Exploitation Synergy
Federal Center for Technological Education Celso Suckow da Fonseca (CEFET-RJ)(塞尔索·苏科·达·丰塞卡联邦技术教育中心(里约热内卢联邦技术教育中心))
作为一个流行的电脑益智游戏,扫雷游戏需要人类玩家同时拥有运气和策略才能成功。更正式地分析这些方面,在我们的研究中,我们评估了一种基于强化学习的新方法的可行性,作为解决这个游戏所提出的问题的适当方法。为此,我们采用了多臂强盗算法,这些算法经过仔细调整,以便能够使用它们来定义自主计算玩家,目标是最好地利用一些游戏特性。经过实验评估,结果表明,这种方法确实是成功的,特别是在较小的游戏板,如标准的初学者水平。尽管如此,这项工作的主要贡献是从学习的角度对扫雷舰进行了详细的检查,这导致了各种原始的见解,并进行了彻底的讨论。
2021-06-17 cs.AI cs.LG stat.ML
$ϕ$-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation
Shanghai AI Lab(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);The University of Hong Kong(香港大学);Peking University(北京大学);National University of Singapore(新加坡国立大学)
本文提出 $ϕ$-Decoding,通过前瞻采样、分布近似及宽度/深度剪枝平衡推理时探索与利用,在七个基准上提升性能与效率。
2025-03-17 cs.AI cs.CL cs.LG
Phased Exploration with Greedy Exploitation in Stochastic Combinatorial Partial Monitoring Games
University of Michigan(密歇根大学)
部分监控游戏是重复的游戏,学习者收到的反馈可能不同于对手的行动,甚至是学习者获得的奖励。最近,提出了一种组合部分监控(CPM)游戏的一般模型\cite{lincombinatorial2014},其中学习者的动作空间可以是指数级的大,对手的样本从一个有界的,连续的空间,根据一个固定的分布。本文给出了一种基于置信限的算法(GCB),该算法可以得到$O(T^{2/3}\log T)$分布无关和$O(\log T)$分布相关的后悔限.他们的算法的实现依赖于两个独立的离线预言机,并且依赖于分布的后悔还需要存在唯一的最优动作。采用他们的CPM模型,我们的第一个贡献是一个阶段性探索与贪婪剥削(PEGE)算法框架的问题。该框架中的不同算法分别实现了$O(T^{2/3}\sqrt{\log T})$分布无关后悔和$O(\log^2 T)$分布相关后悔。最重要的是,我们的框架只需要简单的“argmax”神谕从GCB和分布相关的遗憾不需要存在一个唯一的最佳行动。我们的第二个贡献是另一种算法,PEGE 2,它结合了差距估计与PEGE算法,以实现$O(\log T)$遗憾界,匹配的GCB保证,但消除了对学习者的动作空间的大小的依赖。然而,像GCB一样,PEGE2需要访问离线预言机和存在唯一的最佳动作。最后,我们讨论了我们的算法可以有效地应用到CPM问题的实际利益:即,在顶部的反馈在线排名。
2016-08-23 cs.AI cs.GT