Selective Experience Sharing in Reinforcement Learning Enhances Interference Management
Villanova University(维拉诺瓦大学)
提出一种选择性经验共享的多智能体强化学习方法用于小区间干扰缓解,实现去中心化训练与执行,在大幅减少通信开销与经验共享量的同时,性能优于现有去中心化算法。
2025-01-27 cs.LG eess.SP
Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts
Carnegie Mellon University(卡内基梅隆大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI
本文提出GRESO算法,利用奖励训练动态在展开前预测并跳过无信息量提示,在多个数学推理模型上实现最高2.4倍展开加速和2.0倍总训练加速且不损失精度。
2025-06-02 cs.AI cs.LG
Bounding-Box Inference for Error-Aware Model-Based Reinforcement Learning
Harvey Mudd College(哈维穆德学院);Tufts University(塔夫茨大学)
针对基于模型的强化学习中模型不准确会干扰策略学习的问题,提出边界框推理方法,通过对分布不敏感的不确定性估计实现选择性规划,提升策略学习的可靠性。
2024-06-23 cs.AI cs.LG
Beyond Penalization: Diffusion-based Out-of-Distribution Detection and Selective Regularization in Offline Reinforcement Learning
School of Computer Science and Technology, Tongji University, Shanghai, China(同济大学计算机科学与技术学院,上海,中国);MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China(教育部嵌入式系统与服务计算重点实验室,同济大学,上海,中国);Shanghai Innovation Institute(上海创新研究院)
本文提出DOSER框架,通过扩散模型捕捉行为策略和状态分布,利用单步去噪重构误差检测分布外动作,并通过评估预测转移区分有益与有害动作,提供理论保证和实验验证。
2026-05-06 cs.AI cs.LG
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);Computer Science Department, Stanford University(斯坦福大学计算机科学系);The Taub Faculty of Computer Science, Technion - Israel Institute of Technology(以色列理工学院陶布计算机科学学院)
提出选择性多智能体优先经验回放方法,通过智能体间共享少量高度相关的经验,在仅需有限通信的去中心化训练下显著提升多智能体强化学习性能。
2024-04-23 cs.AI cs.LG cs.MA
Statistical Inference in Reinforcement Learning: A Selective Survey
London School of Economics and Political Science(伦敦政治经济学院)
本文选择性综述强化学习(RL)中的统计推断工具,涵盖假设检验与置信区间构建,强调其对统计学和机器学习社区的价值,推动经典统计推断工具在RL领域的应用。
2025-04-17 cs.LG stat.ML
Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing
University of Edinburgh(爱丁堡大学)
在多智能体深度强化学习中共享参数在允许算法扩展到大量智能体方面发挥了至关重要的作用。智能体之间的参数共享显著减少了可训练参数的数量,将训练时间缩短到易于处理的水平,并且与更有效的学习有关。然而,让所有代理共享相同的参数也会对学习产生不利影响。我们展示了参数共享方法对训练速度和收敛回报的影响,并确定当不加区别地应用时,它们的有效性高度依赖于环境。我们提出了一种新的方法来自动识别代理,可以从共享参数的基础上,他们的能力和目标进行分区。我们的方法结合了增加的样本效率的参数共享与多个独立的网络的代表性能力,以减少训练时间,提高最终的回报。
2021-06-12 cs.LG cs.MA
Generalization in Reinforcement Learning with Selective Noise Injection and Information Bottleneck
University of Oxford(牛津大学);Microsoft Research(微软研究院)
策略推广到新环境的能力是RL代理广泛应用的关键。一个有前途的方法,以防止代理的政策过拟合有限的一组训练环境是应用正则化技术最初开发的监督学习。然而,监督学习和RL之间存在着明显的差异。我们讨论了这些差异,并对现有的正则化技术提出了修改,以便更好地适应RL。特别是,我们专注于正则化技术,依赖于将噪声注入到学习函数中,这是一个家族,其中包括一些最广泛使用的方法,如Dropout和批量归一化。为了使它们适应RL,我们提出了选择性噪声注入(SNI),它保持了注入噪声的正则化效果,同时减轻了它对梯度质量的不利影响。此外,我们证明了信息瓶颈(IB)是一种特别适合RL的正则化技术,因为它在训练RL代理早期遇到的低数据机制中是有效的。将IB与SNI相结合,我们的表现明显优于当前最先进的结果,包括最近提出的泛化基准Coinrun。
2019-10-28 cs.AI cs.LG stat.ML
Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior
School of Future Technology(未来技术学院);Shanghai University(上海大学);National and Local Co-Built Humanoid Robotics Innovation Center(国家与地方共建人形机器人创新中心)
本文提出一种多步态学习方法,通过统一的强化学习框架使人形机器人掌握五种步态,采用选择性对抗运动先验策略提升收敛速度和稳定性。
2026-04-21 cs.AI cs.RO
RISE-RL: Rubric-Informed Selective Exploration for Open-Ended Reinforcement Learning
Li Auto Inc.(理想汽车)
该研究针对开放式任务中LLM的强化学习探索难题,提出RISE-RL方法,通过奖励过滤与策略支持塑造实现选择性内化,在多领域基准评测中显著优于现有方法。
2026-11-17 cs.AI
Selective Perception: Optimizing State Descriptions with Reinforcement Learning for Language Model Actors
University of California Irvine(加州大学欧文分校)
针对LLM智能体决策时高维状态描述冗余低效的问题,提出BLINDER方法,通过学习任务条件下的状态描述值函数自动筛选简洁状态描述,在NetHack游戏和机器人操作任务中提升了成功率、降低了成本且可跨LLM泛化。
2023-07-21 cs.AI cs.CL cs.LG
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
ROSS通过选择性监督从历史自生成轨迹中重新学习,在多个任务上提升性能,无需额外策略轨迹。
2026-10-21 cs.AI cs.LG
RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
RELAY是一种用于基于评分标准的强化学习的自适应交接选择性自蒸馏方法,通过分阶段结合冻结教师的选择性蒸馏与GRPO,在四个模型-领域对的RaR-Medicine任务上取得优于GRPO的性能。
2026-11-10 cs.AI cs.CL cs.LG
To Measure or Not: A Cost-Sensitive, Selective Measuring Environment for Agricultural Management Decisions with Reinforcement Learning
Wageningen University and Research(瓦赫宁根大学及研究中心)
本文提出将作物测量纳入强化学习决策,设计带测量成本的环境,用循环PPO训练智能体在关键发育阶段自适应选择测量与施氮时机,从而在降低观测成本的同时优化农业管理。
2025-01-22 cs.AI cs.LG
Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models
Indian Institute of Technology (BHU)(印度理工学院(博生胡大学));Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
提出选择性优势熵自适应视野GRPO(SA-AH-GRPO),通过非对称令牌级折扣(仅对负优势轨迹应用熵基折扣)来稳定训练并提升数学推理性能。
2026-06-03 cs.AI cs.LG
Selective experience replay compression using coresets for lifelong deep reinforcement learning in medical imaging
Rice University(莱斯大学);McGovern Medical School, UTHealth Houston(德克萨斯大学健康科学中心休斯顿麦戈文医学院);The Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);University of Maryland School of Medicine(马里兰大学医学院)
提出一种保持奖励分布的coreset压缩技术,用于压缩终身深度强化学习中的选择性经验回放缓冲区,在医学影像定位任务中验证了其在大幅减少存储的同时能保持模型性能。
2024-01-09 cs.CV cs.LG
Improving Offline Goal-Conditioned Reinforcement Learning via Selective Reward Stimulation
The Hong Kong University of Science and Technology(香港科技大学)
针对离线目标条件强化学习中稀疏奖励和长时程依赖导致的奖励传播延迟问题,提出RSIQL方法,通过在进展中间状态引入额外奖励信号,以简单非分层结构提升性能,实验验证其优于目标条件IQL并媲美分层方法。
2026-09-18 cs.LG
SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization
Monash University(墨尔本大学);Imperial College London(伦敦帝国理工学院)
SPINE通过令牌选择性和熵带正则化提升测试时间推理稳定性与效果。
2026-03-06 cs.CL cs.LG
Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning
Birkbeck, University of London(伦敦大学伯贝克学院)
人类大脑使用选择性注意来过滤感知输入,以便仅使用其有限的计算资源来处理对行为有用的成分。我们专注于一种特殊形式的视觉注意力,称为基于特征的注意力,它涉及识别视觉输入的特征,这些特征对当前任务很重要,而不管它们的空间位置如何。基于视觉特征的注意力通过降低状态表征的维数和引导学习向相关特征方向发展来提高强化学习(RL)的效率。尽管在复杂的感知运动任务中达到了人类水平的性能,但深度RL算法一直因其效率低下和缺乏灵活性而受到批评。因此,基于视觉特征的注意力是解决这些批评的一个选择。尽管如此,大脑如何能够学习在RL期间注意哪些特征仍然是一个悬而未决的问题。为了帮助回答这个问题,我们提出了一种新的算法,称为选择性粒子注意力(SPA),它赋予深度RL代理执行选择性基于特征的注意力的能力。SPA根据自下而上的显著性以及它们预测未来奖励的准确性来学习要关注的特征组合。我们评估SPA的多项选择任务和2D视频游戏,都涉及原始像素输入和动态变化的任务结构。我们展示了SPA的各种好处,天真地参加所有或随机子集的功能。我们的研究结果表明:(1)深度RL模型中基于视觉特征的注意力如何提高其学习效率和处理任务结构突然变化的能力;(2)粒子滤波器可能代表了基于视觉特征的注意力如何在大脑中发生的可行计算。
2020-08-26 cs.CV cs.LG cs.NE
Selective Network Discovery via Deep Reinforcement Learning on Embedded Spaces
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Northeastern University(东北大学)
复杂网络通常要么太大,无法完全探索,要么只能部分访问,要么只能部分观察。这些不完整网络上的下游学习任务可能会产生低质量的结果。此外,减少网络的不完整性可能是昂贵的和不平凡的。因此,网络发现算法优化特定的下游学习任务给定的资源收集的限制是极大的兴趣。在本文中,我们制定了特定任务的网络发现问题在一个不完整的网络设置作为一个顺序决策问题。我们的下游任务是选择性收获,即具有特定属性的顶点的最佳集合。我们提出了一个框架,称为网络演员评论(NAC),它通过深度强化学习算法在离线环境中学习未来奖励的策略和概念。NAC范例利用特定于任务的网络嵌入来降低状态空间复杂度。一个详细的比较分析流行的网络嵌入方面的作用,支持离线规划。此外,定量研究提出了几个合成的和真正的基准使用NAC和几个基线。我们发现,离线模型的奖励和网络发现政策导致显着提高性能相比,有竞争力的在线发现算法。最后,我们概述了学习制度,规划是解决稀疏和不断变化的奖励信号的关键。
2020-10-21 cs.LG stat.ML
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司)
针对现有检索增强机器翻译策略统一化的问题,提出智能体强化学习框架SRAT,通过优化翻译质量学习检索决策,实验显示其在多类翻译任务上优于基线,将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学)
近年来,强化学习在解决机器学习中的各种顺序决策问题方面取得了巨大的成功。大多数成功的RL应用程序,例如,围棋和扑克、机器人和自动驾驶的游戏涉及多于一个单个代理的参与,其自然落入多代理RL(MARL)的领域,该领域具有相对较长的历史,并且最近由于单代理RL技术的进步而重新出现。虽然在经验上取得了成功,但在文献中,MARL的理论基础相对缺乏。在本章中,我们提供了一个选择性的概述MARL,重点是算法支持的理论分析。更具体地说,我们主要在两个代表性的框架,马尔可夫/随机游戏和扩展形式的游戏,根据他们解决的任务类型,即,完全合作,完全竞争,以及两者的混合。我们还介绍了这些算法的几个重要的,但具有挑战性的应用。正交现有的审查MARL,我们突出了几个新的角度和MARL理论的分类,包括学习的广泛形式的游戏,分散的MARL与网络代理,MARL在平均场制度,(非)收敛的基于政策的方法在游戏中学习,等一些新的角度推断,从我们自己的研究努力和兴趣。本章的总体目标是,除了对该领域的现状进行评估外,还要确定MARL理论研究的未来研究方向。我们希望本章能够继续激励那些对这个令人兴奋而又充满挑战的主题感兴趣的研究人员。
2021-04-28 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland(马里兰大学工程学院)
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题,提出一种同时考虑前后车行为的深度强化学习纵向避撞算法,仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Selective Credit Assignment
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);DeepMind(深度思维)
有效的信用分配对于预测和控制环境中的强化学习算法是必不可少的。我们描述了一个统一的观点选择性信用分配的时间差算法。这些选择性算法应用权重来量化学习更新的贡献。我们提出了将权重应用于基于值的学习和规划算法的见解,并描述了它们在预测和控制中调解后向信用分布的作用。在这个空间内,我们确定了一些现有的在线学习算法,可以选择性地分配信贷作为特殊情况下,以及添加新的算法,分配信贷的时间向后反事实,允许信贷分配偏离轨道和关闭政策。
2022-02-20 cs.AI cs.LG stat.ML
Selective Expert Guidance for Effective and Diverse Exploration in Reinforcement Learning of LLMs
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Institute of Artificial Intelligence for Education, East China Normal University(华东师范大学上海智能教育研究院);College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与技术学院);Ant Group(蚂蚁集团)
提出MENTOR框架,仅在关键决策点提供专家引导,平衡探索的有效性与多样性,提升LLM在可验证奖励强化学习中的推理能力。
2026-07-02 cs.AI cs.CL
Learning Selective Merge Policies for Deadline-Constrained Coded Caching via Deep Reinforcement Learning
Amirhossein Yousefiramandi(阿米尔霍塞因·尤塞菲拉曼迪)
针对截止时间约束的编码缓存问题,提出基于深度强化学习的选择性合并策略,通过近端策略优化训练策略网络,在广播包过期率和效率上优于SACM++。
2026-05-22 cs.AI cs.IT cs.NI
SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection
Zhejiang University(浙江大学);Kuaishou Technology(快手科技);University of the Chinese Academy of Sciences(中国科学院大学);Zhejiang University of Science and Technology(浙江科技学院)
SkillScaffold是一种策略自适应训练支撑,通过低成本技能效用估计与选择性技能注入解决现有技能型智能体强化学习的缺陷,在多基准任务上优于相关基线,且验证了效用选择与弃权的重要性。
2026-10-14 cs.CL cs.LG
NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA(英伟达)
由于复杂的设计规则,在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中,我们介绍了一个自动的标准单元布局生成器称为NVCell,可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习(RL)来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models
Department of Computer Science Anonymous University(计算机科学系 匿名大学)
EGSPO通过token级梯度分配提升大型语言模型的混合训练效果,实现数学推理任务的性能提升并降低计算开销。
2026-02-03 cs.AI cs.LG
Expression might be enough: representing pressure and demand for reinforcement learning based traffic signal control
Lanzhou University(兰州大学);University of Electronic Science and Technology of China(电子科技大学);University of Wollongong(伍伦贡大学);Jiangxi University of Science and Technology(江西理工大学)
许多研究证实,对于经典的交通信号控制(TSC)问题,一个合适的交通状态表示比复杂的算法更重要。本文(1)提出了一种新颖、灵活、有效的方法--先进最大压力法(2)创造性地设计了基于Advanced-MP的有效压力和有效行驶车辆的交通运动表示,即先进交通状态(ATS);以及(3)通过将ATS与最新的强化学习方法相结合,开发基于强化学习(RL)的算法模板,称为Advanced-XLight,并从Advanced-XLight生成两种强化学习算法,即“Advanced-MPLight”和“Advanced-CoLight”。在多个真实世界数据集上的综合实验表明:(1)Advanced-MP优于基线方法,并且对于部署来说也是高效和可靠的;(2)Advanced-MPLight和Advanced-CoLight可以达到最先进的水平。
2022-08-09 cs.AI cs.LG eess.SP
Learning to Reason with Selective Internal Feedback
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Pengcheng Laboratory(鹏城实验室)
本文提出结合比较奖励构建与选择性策略更新的强化学习方法SIF,在12个数学与科学推理基准上,其最终检查点准确率优于Intuitor和Vigor,在Qwen2.5-Math-1.5B上较Intuitor提升4.71个百分点,且测试时训练仅需4次rollout即可持续改进。
2026-10-16 cs.AI
Decision Mamba: Reinforcement Learning via Hybrid Selective Sequence Modeling
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Institute of High Performance Computing, A*STAR(新加坡高性能计算研究院(新加坡科技研究局));Lehigh University(理海大学)
本文提出Decision Mamba-Hybrid(DM-H),结合Mamba的长期记忆与Transformer的高质量预测能力,解决了上下文强化学习中计算成本高的问题,在多项基准任务中达到最优且显著提升效率。
2024-05-31 cs.LG
Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review
Electrical and Computer Science Engineering Department, Faculty of Engineering, Monash University, Clayton, Victoria, Australia(莫纳什大学工程学院电气与计算机科学工程系)
本综述探讨了持续强化学习如何使智能体按顺序持续学习并保留可重用知识,分析了关键概念、挑战与新颖方法,并重点介绍了机器人领域的最新进展及评估环境,最后指出了局限性与未来方向。
2025-06-27 cs.LG
Comprehensive Overview of Reward Engineering and Shaping in Advancing Reinforcement Learning Applications
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Innopolis University(Innopolis 大学)
本文系统综述了强化学习中奖励工程与奖励塑造的方法、技术、局限及最新进展,并探讨了其在机器人、自动驾驶等复杂任务中的未来应用方向。
2024-12-27 cs.LG cs.SY eess.SY
Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability
University of California, Irvine(加州大学欧文分校)
尽管深度强化学习(RL)在广泛的任务中已经证明是成功的,但它面临的一个挑战是应用于现实世界问题时的可解释性。显着图经常用于为深度神经网络提供可解释性。然而,在强化学习领域,现有的显着性图方法要么计算昂贵,因此不能满足现实世界的场景的实时要求,或者不能产生可解释的显着性图的强化学习策略。在这项工作中,我们提出了一种选择性输入梯度正则化(DIGR)的蒸馏方法,该方法使用策略蒸馏和输入梯度正则化来产生新的策略,从而在生成显着性图时实现高的可解释性和计算效率。我们的方法也被发现,以提高多个对抗攻击的RL政策的鲁棒性。我们在三个任务上进行实验,MiniGrid(获取对象),Atari(突破)和CARLA自动驾驶,以证明我们的方法的重要性和有效性。
2022-05-18 cs.AI cs.LG
Selective Dyna-style Planning Under Limited Model Capacity
The University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Harvey Mudd College(哈维穆德学院)
在基于模型的强化学习中,使用不完美的环境模型进行规划可能会损害学习进度。但是,即使模型是不完美的,它仍然可能包含对规划有用的信息。在本文中,我们研究的想法,选择性地使用一个不完美的模型。智能体应该在状态空间中模型有用的部分进行规划,但避免在模型有害的部分使用模型。一个有效的选择性规划机制需要估计预测的不确定性,这是由任意的不确定性,参数的不确定性,模型的不充分性,以及其他来源。先前的工作集中在选择性规划的参数不确定性。在这项工作中,我们强调模型不足的重要性。我们发现,异方差回归可以信号预测的不确定性所产生的模型不足,这是互补的,这是检测的方法设计的参数不确定性,这表明,考虑参数的不确定性和模型不足可能是一个更有前途的方向,有效的选择性规划比任何一个孤立的。
2021-03-07 cs.AI cs.LG stat.ML
A Review of Reinforcement Learning for Autonomous Building Energy Management
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文综述了强化学习在自主建筑能源管理系统中的应用,总结了相关文献,并探讨了未来研究方向和挑战。
2019-03-15 cs.LG cs.SY eess.SY
GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);AI2;Johns Hopkins University(约翰霍普金斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究利用语言模型作为GPU内核性能的选择性替代,通过强化学习提高预测准确性和校准度,在有限GPU评估预算下加速内核搜索。
2026-05-29 cs.AI cs.LG
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University(哈佛大学);Imperial College London(帝国理工学院);MIT(麻省理工学院)
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理,因为个别患者对治疗的反应不同。因此,为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中,我们通过应用专家混合框架来实现这一目标,以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居(内核)和深度强化学习(DRL)专家之间交替。在一个大型回顾性队列中,这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
Selective Off-Policy Reference Tuning with Plan Guidance
Hanoi University of Science and Technology(河内科学技术大学);University of Oregon(俄勒冈大学);Monash University(墨尔本大学)
本文提出SORT方法,通过计划引导修复失败的反政策参考调优,提升模型在复杂提示下的学习效果,实验表明在多个基准上优于基线方法。
2026-09-28 cs.AI
Advances in Preference-based Reinforcement Learning: A Review
University of Waterloo(滑铁卢大学)
本文综述了基于偏好的强化学习(PbRL)的研究进展,统一框架,涵盖提升可扩展性与效率的新方法、理论保证、基准测试、实际应用及未来研究方向。
2024-08-21 cs.AI
Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances
Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多智能体强化学习(MARL)一直是机器学习和控制领域的重要研究课题。随着最近(单智能体)深度RL的发展,人们对开发新的MARL算法,特别是那些有理论分析支持的算法重新产生了兴趣。在本文中,我们回顾了最近的一些进展,这一主题的一个子领域:分散MARL与网络代理。具体来说,多个代理在一个共同的环境中执行顺序决策,而无需任何中央控制器的协调。相反,允许代理通过通信网络与其邻居交换信息。这种设置在机器人、无人驾驶车辆、移动传感器网络和智能电网的控制和操作中有广泛的应用。这篇综述是建立在我们在这个方向上的几个研究努力,以及其他研究人员沿着这条线取得的一些进展。我们希望这篇评论能激励更多的研究工作投入到这个令人兴奋但又具有挑战性的领域。
2019-12-09 cs.AI cs.LG cs.MA
Parameter Stress Analysis in Reinforcement Learning: Applying Synaptic Filtering to Policy Networks
Virginia Tech(弗吉尼亚理工大学)
本文提出通过突触过滤方法分析强化学习策略的参数鲁棒性,揭示抗脆弱参数对策略性能的提升作用。
2026-03-05 cs.LG cs.SY eess.SY
BEAR: Physics-Principled Building Environment for Control and Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校);Hong Kong University of Science and Technology(香港科技大学)
强化学习算法的最新进展为研究人员自主操作和优化建筑能源管理系统打开了大门。然而,缺乏一个易于配置的建筑动态模型和能源管理任务模拟和评估平台,可以说是减缓了开发先进的和专用的强化学习(RL)和控制算法的建筑操作任务的进展。在这里,我们提出了“BEAR”,一个基于物理原理的控制和强化学习的建筑环境。该平台允许研究人员使用Python中广泛的标准建筑模型集合对基于模型和无模型的控制器进行基准测试,而无需使用外部建筑模拟器进行协同模拟。在本文中,我们讨论了这个平台的设计,并与其他现有的建筑模拟框架进行比较。我们展示了BEAR与不同控制器的兼容性和性能,包括模型预测控制(MPC)和两个案例研究的几个国家的最先进的RL方法。
2022-11-27 cs.LG cs.SY eess.SY
Selective Experience Replay for Lifelong Learning
The University of Pennsylvania(宾夕法尼亚大学);Honda Research Institute(本田研究所)
深度强化学习已经成为各种学习任务的强大工具,但是深度网络在顺序学习多个任务时通常会表现出遗忘。为了减轻遗忘,我们提出了一个经验重放过程,增加了标准的FIFO缓冲区,并有选择地存储经验的长期记忆。我们探索了四种策略来选择哪些经验将被存储:支持惊喜,支持奖励,匹配全局训练分布,以及最大化状态空间的覆盖范围。我们发现,分布匹配成功地防止了灾难性遗忘,并始终是最好的方法在所有域的测试。虽然分布匹配具有更好,更一致的性能,我们确定了一种情况下,覆盖最大化是有益的-当任务,接受较少的训练是更重要的。总体而言,我们的研究结果表明,选择性的经验重放,当采用合适的选择算法,可以防止灾难性遗忘。
2018-02-28 cs.AI
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
University of California, Riverside(加州大学河滨分校);AWS AI Labs(AWS AI实验室)
本文提出 PrefVLM 框架,通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注,同时利用自监督逆动力学损失微调模型,在保持性能的同时显著减少人类反馈需求,提升了基于偏好强化学习的可扩展性。
2025-02-03 cs.LG
Reinforcement Learning Based Approaches to Adaptive Context Caching in Distributed Context Management Systems
Deakin University(迪肯大学)
性能指标驱动的上下文缓存对分布式上下文管理系统的实时上下文查询的吞吐量和响应时间有着深远的影响。本文提出了一种基于强化学习的方法来自适应缓存上下文,其目标是最小化上下文管理系统在响应上下文查询时所产生的成本。我们的新算法,使上下文查询和子查询,以重用和重用缓存的上下文在一个有效的方式。这种方法与传统的数据缓存方法的区别在于三个主要特征。首先,我们不使用上下文或上下文查询负载的先验知识来进行选择性上下文缓存准入。其次,我们开发并采用创新的启发式模型来计算预期的性能缓存的项目时,作出决定。第三,我们的策略定义了一个时间感知的连续缓存动作空间。我们提出了两个强化学习代理,一个价值函数估计行动者-批评者代理和一个策略搜索代理使用深度确定性策略梯度方法。本文还提出了自适应的政策,如驱逐和缓存内存扩展,以补充我们的目标。我们的方法进行评估,使用综合生成的负载的上下文子查询和合成数据集的灵感来自现实世界的数据和查询样本。我们进一步研究不同设置下的最佳自适应缓存配置。本文介绍,比较和讨论我们的研究结果,建议的选择性缓存方法达到短期和长期的成本和性能效率。本文表明,所提出的方法优于其他模式的上下文管理,如重定向器模式,数据库模式,并缓存所有的政策高达60%的成本效率。
2023-02-09 cs.IR cs.LG cs.PF
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology(罗切斯特理工学院);Paige;Cornell Tech(康奈尔科技学院)
在持续学习中,系统从非平稳数据流或批次中学习,而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究,但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里,我们研究类比推理的持续学习。类比推理测试,如乌鸦的渐进矩阵(RPM)通常用于衡量人类的非语言抽象推理,最近离线神经网络的RPM问题已经提出。在本文中,我们建立了实验基线,协议,和向前和向后传输指标,以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现,选择性地选择要重放的样本提供的益处(如果有的话)比随机选择少得多。相比之下,我们发现,选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
该研究针对多轮智能体训练中局部信用分配不足的问题,提出PEARL算法,通过模式记忆选择性更新策略,在AppWorld和ALFWorld数据集上取得优于基线的性能。
2026-10-14 cs.AI
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对无外部变化信号的持续强化学习问题,提出融合策略优化与熟悉度自动编码器的端到端系统,以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard(先锋领航)
在咨询和财务规划的世界里,很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功,但它的成功往往取决于从数据集中选择正确的特征,这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法,可以用于复杂的数据集,在这些数据集中几乎不可能选择正确的特征。在本文中,我们将探讨如何使用机器学习进行财务预测,预测经济指标,并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习,可识别多个目标和收入来源的最佳储蓄率,以帮助客户实现财务成功。Vanguard学习算法经过训练,可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为,相反,它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信,强化学习可以用来为顾问和最终投资者创造价值,创造效率,更个性化的计划和数据,以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG
A Method of Selective Attention for Reservoir Based Agents
Astera Institute(阿斯特拉研究所)
针对深度强化学习训练受无关输入维度拖慢的问题,提出高维输入掩码作为选择性注意力机制,相比层归一化或无抑制方法,训练速度提升四倍或两倍。
2025-02-28 cs.LG
Selective Uncertainty Propagation in Offline RL
Meta;Amazon(亚马逊公司);Adobe(奥多比公司);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对离线强化学习中动态规划各步骤策略学习的分布偏移难题,提出选择性不确定性传播方法构建置信区间,自适应问题难度,并在玩具环境验证其对离线策略学习的益处。
2025-01-19 cs.AI cs.LG
FineFT: Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading
Nanyang Technological University(南洋理工大学);Hong Kong University of Science(香港科技大学);Singapore Management University(新加坡管理学院)
FineFT 是一种高效的期货交易强化学习 ensemble 方法,通过三阶段框架实现稳定训练和风险控制,实验表明其在六个金融指标上优于 12 个基线方法,风险降低超过 40%。
2025-12-29 cs.AI cs.LG