Reset & Distill: A Recipe for Overcoming Negative Transfer in Continual Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University(电子与计算机工程系,首尔国立大学);Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University(人工智能交叉计划,首尔国立大学);Samsung Advanced Institute of Technology(三星先进技术研究所)
针对持续强化学习中的负迁移问题,提出Reset & Distill(R&D)方法,通过重置在线网络与离线知识蒸馏策略,在Meta World任务上显著提升了成功率。
2025-11-04 cs.AI cs.LG
A Survey on Causal Reinforcement Learning
Tsinghua University(清华大学);Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Shantou University(汕头大学)
本文综述了因果强化学习(CRL),按因果信息是否预先给定对现有方法分类,并从MDP、POMDP、MAB和DTR等模型角度分析,总结了评估指标、开源资源、应用与未来方向。
2023-06-01 cs.AI cs.LG
Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals
College of Computer and Cyber Security, Fujian Normal University(福建师范大学计算机与网络空间安全学院);Fujian Provincial Key Laboratory of Network Security and Cryptology(福建省网络安全与密码技术重点实验室)
针对传感器信号半监督异常检测中现有方法忽略因果关系、强化学习方法存在先验利用不足等问题,提出融合因果推断的三重辅助因果强化学习检测模型Tri-CRLAD,在7个数据集上优于9种SOTA方法,稳定性最高提升23%。
2024-05-16 cs.AI cs.LG
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University(卡内基梅隆大学)
课程强化学习(CRL)旨在创建一系列任务,从简单的任务开始,逐渐向困难的任务学习。在这项工作中,我们专注于框架CRL作为源(辅助)和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力,但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发,我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度,它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说,我们生成一系列任务分布作为测地线插值(即,Wasserstein重心)之间的源和目标分布。与许多现有的方法不同,我们的算法考虑了任务相关的上下文距离度量,并且能够处理连续和离散上下文设置中的非参数分布。此外,我们从理论上表明,梯度,在一定条件下,在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验,并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
Survival Reinforcement Learning: Toward Scalable Self-Supervised RL
Inria and École Normale Supérieure PSL Research University(Inria 和 法国国家科学研究中心巴黎大学)
提出生存强化学习(SRL),一种基于在线分类的方法,通过最大化智能体在目标状态停留时间来解决对比强化学习中的均匀性-容忍性困境,在长时程运动任务上性能提升2至8倍。
2026-09-21 cs.LG
Contextualize Me -- The Case for Context in Reinforcement Learning
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Freiburg(弗赖堡大学)
本文提出情境强化学习框架与基准库 CARL,通过情境扩展环境实证说明情境信息对零样本泛化和通用智能体研究的关键作用。
2023-06-02 cs.LG
A Survey of Continual Reinforcement Learning
School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics(西南财经大学计算机与人工智能学院);Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院,教育部计算智能与中文信息处理重点实验室);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);College of Data Science and Computing, Nanyang Technological University(南洋理工大学数据科学与计算学院)
本文综述了连续强化学习,探讨其核心概念、挑战与方法,提出新的分类体系,分析其独特挑战与未来方向。
2026-04-07 cs.AI cs.LG
CRL-VLA: Continual Vision-Language-Action Learning
University of Southampton, UK(英国南安普顿大学);Westlake University, China(西湖大学)
CRL-VLA通过双批评者架构和目标条件价值公式,实现VLA模型在持续学习中的稳定与可塑性平衡,优于现有方法。
2026-02-03 cs.AI cs.LG cs.RO
Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
Department of Computer Science(计算机科学系);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出了一种基于价值的数据复习方法,用于多循环持续强化学习,通过引入Qreg+NWLU方法改进学习效率、遗忘缓解和知识转移。
2026-05-21 cs.AI cs.LG
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep;AIMS;University of Stellenbosch(斯特伦博斯大学)
本文提出CPPO算法,通过对比性Q值直接优化策略优势,无需奖励函数或回放缓冲区,在连续和离散环境中均表现出色,超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
Continual Reinforcement Learning by Planning with Online World Models
Sea AI Lab(海智人工智能实验室);National University of Singapore(新加坡国立大学)
本文提出基于在线世界模型规划的持续强化学习方法FTL Online Agent,通过在线学习Follow-The-Leader浅层模型并结合模型预测控制,有效解决了多任务序列中的灾难性遗忘问题,并在Continual Bench上表现优于深度世界模型基线。
2025-07-12 cs.AI cs.LG stat.ML
Real Time Control of Tandem-Wing Experimental Platform Using Concerto Reinforcement Learning
School of Aeronautics, Northwestern Polytechnical University(西北工业大学航空学院);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
提出 CRL2RT 强化学习控制算法,通过时间交错架构与规则策略组合器融合经典控制,实现 DDTWEP 在 2500 Hz 以上的稳定实时控制并显著提升跟踪精度。
2025-02-08 cs.AI cs.LG cs.RO
Semi-Infinitely Constrained Markov Decision Processes and Efficient Reinforcement Learning
Peking University(北京大学)
该研究提出泛化的半无限约束马尔可夫决策过程SICMDP,设计了基于模型的SI-CRL和策略优化类SI-CPO两种算法,首次将半无限规划工具用于约束强化学习,完成理论分析并通过实验验证了算法有效性。
2023-04-29 cs.LG stat.ML
Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
提出方向条件化策略(DCP),通过利用表示空间中的方向与距离信息改进对比强化学习,在多个导航和操作任务中提升成功率和目标接近时间,并验证其几何捕获能力。
2026-10-06 cs.AI cs.LG cs.RO
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Syracuse University(雪城大学)
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题,提出CauCRL算法,通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Task Specialization Fine-Tuning for Contextual Reinforcement Learning
Nanyang Technological University(南洋理工大学);MIT(麻省理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对上下文强化学习的任务专业化微调难题,提出TSFT框架,通过整数线性规划分配微调预算,在多领域实验中提升了任务覆盖性能。
2026-08-19 cs.AI cs.LG
On the Benefit of Optimal Transport for Curriculum Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science at Technical University of Darmstadt(达姆施塔特工业大学认知科学中心);Center for Artificial Intelligence and Data Science at University of Würzburg(维尔茨堡大学人工智能与数据科学中心);Aalto University(阿尔托大学)
本文将课程强化学习中的课程生成建模为任务分布间的约束最优传输问题,通过插值任务分布自动生成由易到难的课程,并在多种任务基准上验证其优于现有方法。
2024-05-04 cs.LG
Avalanche RL: a Continual Reinforcement Learning Library
University of Pisa(比萨大学)
持续强化学习(CRL)是一种具有挑战性的设置,在这种设置中,智能体学习与随时间不断变化的环境(经验流)进行交互。在本文中,我们描述了Avalanche RL,一个用于连续强化学习的库,它可以轻松地在连续的任务流上训练代理。Avalanche RL基于PyTorch,支持任何OpenAI Gym环境。它的设计基于Avalanche,这是一个比较流行的持续学习库,它允许我们重用大量的持续学习策略,并改善强化学习和持续学习研究人员之间的互动。此外,我们提出了连续的模拟实验室,一个新的基准和高层次的库,使使用的真实感模拟器模拟SIM的CRL研究。总体而言,Avalanche RL试图在一个通用框架下统一持续的强化学习应用,我们希望这将促进该领域的发展。
2022-03-24 cs.AI cs.CV cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University(东北大学);Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
TCRL通过引入时序耦合对抗训练框架,解决传统方法在处理时序耦合扰动时的不足,提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Coordinated Reinforcement Learning Prefetching Architecture for Multicore Systems
Fairleigh Dickinson University(费尔菲尔德迪金森大学)
针对多核系统中传统预取器存在的冗余预取和扩展性差的问题,提出基于强化学习的协同预取器CRL-Pythia,通过跨核心信息共享与协同决策减少冗余并提升收敛性,实现约12%的IPC提升。
2025-09-12 cs.AR cs.DC cs.LG
Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching
University of Minnesota(明尼苏达大学);Northeastern University(东北大学)
针对需确保时序逻辑约束概率满足的约束强化学习问题,提出基于早期试验估计约束满足概率、自适应调整纯学习与约束满足策略切换概率的框架,理论验证了算法正确性并通过仿真展示性能。
2024-11-27 cs.AI cs.RO cs.SY
Density Constrained Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);California Institute of Technology(加州理工学院)
我们研究约束强化学习(CRL)从一个新的角度直接设置约束的状态密度函数,而不是以前的作品所考虑的价值函数。态密度具有明确的物理和数学解释,并且能够表达各种各样的约束,例如资源限制和安全要求。密度约束还可以避免设计和调整基于价值函数的约束所需的成本函数以编码系统规范的耗时过程。我们利用密度函数和Q函数之间的对偶性,开发了一种有效的算法来最优地解决密度约束RL问题,并保证满足约束。我们证明了所提出的算法收敛到一个接近最优的解决方案,有界误差,即使在政策更新是不完善的。我们使用一组全面的实验来证明我们的方法的优势,国家的最先进的CRL方法,具有广泛的密度约束的任务,以及标准的CRL基准,如安全健身房。
2021-06-24 cs.LG cs.SY eess.SY
Causal-Paced Deep Reinforcement Learning
本文提出因果节奏深度强化学习(CP-DRL),通过交互数据近似任务间结构因果模型差异并结合奖励增益衡量可学习性,构建统一课程目标,在多个基准上验证了其提升收敛速度、回报和样本效率的有效性。
2025-06-24 cs.AI cs.LG stat.ML
IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
MIT(麻省理工学院);ETH Zurich(苏黎世联邦理工学院)
针对多智能体上下文强化学习缺乏标准化基准的问题,本文提出基于城市生态驾驶的IntersectionZoo基准套件,利用美国10个城市16,334个交叉口生成100万个交通场景,并证明现有流行算法在CRL设置中泛化困难。
2024-10-19 cs.AI cs.LG cs.MA
Constrained Optimal Fuel Consumption of HEV: A Constrained Reinforcement Learning Approach
Product Planning and New Auto Technologies Research Institute, BYD Auto Industry Company Limited(比亚迪汽车工业有限公司产品规划与新汽车技术研究院)
本文从约束强化学习视角形式化HEV的约束最优燃油消耗问题,并用CVPO和基于拉格朗日的方法在NEDC下的Prius THS系统中实现满足SOC平衡的最低油耗。
2024-04-02 cs.LG
Forager: a lightweight testbed for continual learning with partial observability in RL
本文提出Forager,一个轻量级部分可观察连续学习环境,用于测试当前CRL代理的挑战与性能,展示状态构造对连续学习的重要性。
2026-10-20 cs.AI cs.LG
Equivariant Goal Conditioned Contrastive Reinforcement Learning
Khoury College of Computer Sciences Northeastern University(克劳利计算机科学学院东北大学)
本文提出等变对比强化学习 ECRL,通过目标条件群不变 MDP 和旋转不变 critic 与旋转等变 actor,提升机器人操作任务的样本效率和空间泛化能力,并扩展到离线 RL。
2025-07-22 cs.LG cs.RO
CRoSS: A Continual Robotic Simulation Suite for Scalable Reinforcement Learning with High Task Diversity and Realistic Physics Simulation
Department of Computer Science(计算机科学系);Fulda University of Applied Sciences(弗鲁达应用科学大学)
CRoSS是一种用于连续强化学习的机器人仿真套件,通过高任务多样性和真实物理仿真,提供可扩展且可重复的基准测试环境。
2026-02-04 cs.AI cs.LG
Continual Reinforcement Learning for Cyber-Physical Systems: Lessons Learned and Open Challenges
Trinity College Dublin(都柏林圣三一学院);Trinity College Institute of Neuroscience(都柏林圣三一学院神经科学研究所)
本文探讨了持续强化学习在自动驾驶中的应用,揭示了持续学习环境中的关键挑战,包括环境抽象、超参数敏感性、灾难性遗忘及神经网络容量利用,提出了跨学科研究的重要性。
2025-11-19 cs.AI cs.LG
Arrive and Survive: Scaling Safe Goal-Conditioned Policy Learning from One-Bit Failure Signals
Southeast University(东南大学);Yinwang Intel. Tech. Co. Ltd.(银网智能科技有限公司);Lab(2030实验室)
本文针对失败终止CRL的系统性偏差,提出Safe-CRL方法,仅用失败的一位信号,在12个机器人任务中提升了存活率与目标到达性能,完善了失败终止下的CRL理论。
2026-08-28 cs.LG cs.RO
Conceptual Reinforcement Learning for Language-Conditioned Tasks
SKL of Processors, Institute of Computing Technology, CAS(中国科学院计算技术研究所处理器国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);University of Science and Technology of China(中国科学技术大学);SKL of Computer Science, Institute of Software, CAS(中国科学院软件研究所计算机科学国家重点实验室)
尽管深度强化学习(RL)的应用广泛,但将策略转移和调整到看不见但相似的环境中仍然是一个重大挑战。最近,语言条件化策略被提出来通过学习观察和文本的联合表示来促进策略迁移,该联合表示捕获跨环境的紧凑和不变的信息。现有的语言条件强化学习方法的研究通常将联合表示作为给定实例(特定于情节的观察和文本)的简单潜在层来学习,这不可避免地包括噪声或不相关的信息,并导致依赖于实例的虚假相关性,从而损害泛化性能和训练效率。为了解决这个问题,我们提出了一个概念强化学习(CRL)的框架来学习语言条件的政策的概念一样的联合表示。其核心思想是通过从现实世界中的大量实例中提取相似性,将概念作为人类认知中的一种紧凑且不变的表示。在CRL中,我们提出了一个多层次的注意编码器和两个互信息约束学习紧凑和不变的概念。在RTFM和Messenger两个具有挑战性的环境中验证,CRL显著提高了训练效率(高达70%)和泛化能力(高达30%)。
2023-03-09 cs.LG
Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning
University of Southern California(南加州大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校)
本文通过系统研究发现,对于大型预训练视觉-语言-动作模型,简单的顺序微调结合低秩适配在持续强化学习中表现出高可塑性、几乎无遗忘和强零样本泛化,优于复杂方法。
2026-07-14 cs.LG cs.RO
A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning
Ant Group(蚂蚁集团)
虽然在一般的强化学习(RL)中得到了很好的建立,但基于值的方法很少在约束RL(CRL)中进行探索,因为它们无法找到可以在多个动作中随机化的策略。为了将基于值的方法应用于CRL,最近一种开创性的博弈论方法使用了混合策略,该策略在一组精心生成的策略中随机化,以收敛到所需的满足约束的策略。然而,这些方法需要存储大量的策略,这不是策略有效的,并且可能在受约束的深度RL中引起过高的存储器成本。为了解决这个问题,我们提出了一种替代方法。我们的方法首先将CRL重新表述为一个等价的距离优化问题。通过一个专门设计的线性优化预言机,我们得到了一个元算法,该算法使用任何现成的RL算法和任何条件梯度(CG)类型的算法作为子程序来解决它。然后,我们提出了一个新的变体的CG型算法,推广的最小范数点(MNP)的方法。所提出的方法匹配现有的博弈论方法的收敛速度,并实现最坏情况下的最优策略效率。在导航任务上的实验表明,该方法在降低内存开销的同时,获得了更好的性能,证明了该方法的有效性和效率。
2022-06-25 cs.LG
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London(伦敦大学学院)
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控,提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-11-13 cs.AI cs.CL cs.LG
An Arbitration Control for an Ensemble of Diversified DQN variants in Continual Reinforcement Learning
Department of AI-based Convergence, Dankook University(人工智能融合系, Dankook大学);Department of Artificial Intelligence, Dankook University(人工智能系, Dankook大学)
针对深度强化学习模型在持续学习场景下的灾难性遗忘问题,受大脑决策机制启发,提出基于多样化DQN变体集成的仲裁控制框架ACED-DQN,通过优先选择高可靠性智能体,在静态和持续环境中均实现显著性能提升。
2025-09-05 cs.LG cs.MA
Causal Reinforcement Learning based Agent-Patient Interaction with Clinical Domain Knowledge
本文提出基于因果强化学习的Agent-患者交互框架,通过整合因果发现与推理提升医疗场景中的决策可解释性和适应性。
2025-11-17 cs.AI cs.RO
Deep Reinforcement Learning for Chatbots Using Clustered Actions and Human-Likeness Rewards
School of Computer Science University of Lincoln(林肯大学计算机学院);Artificial Intelligence Research Group Samsung Electronics(三星电子人工智能研究组)
使用强化学习范式训练聊天机器人是具有挑战性的,因为它具有高维状态、无限的动作空间以及难以指定奖励函数。我们解决这些问题,使用集群的行动,而不是无限的行动,和一个简单的,但有前途的奖励功能的基础上,来自人与人的对话数据的人相似的分数。我们使用原始文本中的聊天数据训练深度强化学习(DRL)代理--没有任何手动注释。使用不同分割的训练数据的实验结果报告如下。首先,我们的智能体在他们熟悉的环境中学习合理的策略,但当他们暴露在一组看不见的对话中时,他们的表现会大幅下降。第二,在测试数据上,100维和300维之间的句子嵌入大小的选择没有显著差异。第三,我们提出的类似人类的奖励对于训练聊天机器人来说是合理的,只要他们使用超过10个句子的冗长对话历史。
2019-08-27 cs.AI cs.CL cs.LG
Multi-granularity Knowledge Transfer for Continual Reinforcement Learning
Southwestern University of Finance and Economics(西南财经大学);Shanxi University(山西大学)
针对持续强化学习中跨任务知识迁移不足的问题,提出MT-Core框架,结合大语言模型的粗粒度目标设定与强化学习的细粒度策略学习,并构建策略库实现多粒度知识迁移,实验验证其在多样化任务上的优越性。
2025-06-05 cs.AI cs.LG
Causal Coordinated Concurrent Reinforcement Learning
Huawei Noah's Ark Lab(华为诺亚方舟实验室)
该研究针对并发强化学习中非相同环境的场景,提出结合ANM-MM因果推断算法的协调探索与数据共享框架,提升了学习效率,是该领域首个相关研究。
2024-01-31 cs.LG stat.ML
Structure Detection for Contextual Reinforcement Learning
本文提出SD-MBTL框架,通过动态识别CMDP的通用化结构,选择合适的MBTL算法,提升多任务学习性能,实验显示其在连续控制、交通控制和农业管理等任务中表现优于现有方法。
2026-01-13 cs.LG
Context-aware Constrained Reinforcement Learning Based Energy-Efficient Power Scheduling for Non-stationary XR Data Traffic
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文针对XR下行传输中非平稳流量下的高能效功率调度问题,提出上下文感知约束强化学习算法,通过上下文推断重塑奖励并采用CSSCA优化策略,在节能和丢包约束上优于基线。
2025-03-12 cs.ET cs.LG cs.SY
Improving LLM Code Generation via Requirement-Aware Curriculum Reinforcement Learning
Tianjin University(天津大学);Dalian Maritime University(大连海事大学)
本文提出RECRL框架,通过自动感知需求难度、优化挑战性需求和自适应课程采样策略,提升LLM代码生成性能,实验显示在多个基准上表现显著。
2026-05-01 cs.AI cs.SE
A Cognitive-Aware QML-CRL Framework for Detecting Affinity and Romance-Investment Fraud
Fujitsu Research of America, Inc.(富士通美国研究院)
提出混合量子-经典框架,通过量子电路建模认知偏差并联合强化学习智能体逐轮决策,用于检测亲和与婚恋投资欺诈,在含硬负样本的合成对话上评估性能。
2026-10-08 cs.LG quant-ph
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia(计算机科学与软件工程系,西澳大利亚大学)
本文综述了因果强化学习的分类、算法和应用,探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Qizhi Institute(上海期智研究院)
安全性是利用强化学习控制复杂动力系统的主要考虑因素,其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数,并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念,两者的综合都具有挑战性。因此,现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个,这限制了它们对一般未知动态的适用性。本文提出了一种新的方法,同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是,我们制定了一个损失函数,以优化安全证书参数,最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习(CRL)中,我们联合更新策略和安全证书参数,并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明,该算法学习可证明安全的策略,没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Graph Signal Sampling via Reinforcement Learning
Aalto University(阿尔托大学)
我们制定的问题,采样和恢复聚类图信号作为一个多臂强盗(MAB)问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是,采样策略表示为MAB各个臂上的概率分布,并使用梯度上升进行优化。数值实验表明,基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究提出一个安全且样本效率高的强化学习(RL)框架,以解决开发适用RL算法的两个主要挑战:满足安全约束和在有限样本下有效学习。为了保证在现实世界中的复杂环境中的安全性,我们使用安全集算法(SSA)来监视和修改标称控制,并评估SSA+RL在集群动态环境中,这是具有挑战性的解决现有的RL算法。然而,SSA+RL框架通常不是样本有效的,特别是在奖励稀疏环境中,这在以前的安全RL作品中没有得到解决。为了提高学习效率,我们提出了三种技术:(1)通过调整SSA来避免表现得过于保守;(2)使用具有安全约束的随机网络蒸馏来鼓励安全探索;(3)通过将SSA视为专家演示并直接从中学习来提高政策收敛性。实验结果表明,与其他安全RL方法相比,我们的框架在训练过程中可以实现更好的安全性能,并以更少的事件解决任务。项目网址:https://hychen-naza.github.io/projects/Safe_RL/。
2023-03-24 cs.LG cs.RO cs.SY
Three Steps at a Time: Learning Representations from Action Sequences in Contrastive RL
ETH Zurich(苏黎世联邦理工学院);University of Warsaw(华沙大学);Princeton University(普林斯顿大学);MPI IS Tubingen(图宾根马克斯·普朗克智能系统研究所);Warsaw University of Technology(华沙理工大学);IDEAS Research Institute(IDEAS研究所)
该研究针对对比强化学习(CRL)将动作建模尺度从单步扩展至动作块,在18个与11个环境中分别实现31.7%、93.1%的性能提升,揭示动作块可改进CRL的评论者表示以提升算法效果。
2026-09-01 cs.LG
A Reinforcement Learning-Based Task Mapping Method to Improve the Reliability of Clustered Manycores
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出一种基于强化学习的任务映射方法,通过DBSCAN聚类与Q-learning优化核心温度分布,以降低老化机制影响并提升众核系统可靠性,实验显示MTTF最多提高27%。
2024-12-26 cs.AI cs.LG
Continuous Control with Coarse-to-fine Reinforcement Learning
Dyson Robot Learning Lab(戴森机器人学习实验室)
针对强化学习算法难部署于真实环境的问题,提出从粗到细强化学习框架CRL及具体算法CQN,通过迭代离散动作空间选高Q值区间实现连续控制,在RLBench任务和真实操作中表现优异。
2024-07-10 cs.AI cs.CV cs.LG
Realistic Curriculum Reinforcement Learning for Autonomous and Sustainable Marine Vessel Navigation
本文提出基于现实课程强化学习的框架,结合数据驱动的海洋模拟和机器学习预测模块,以实现自主且可持续的船舶导航。
2026-01-15 cs.LG
Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对约束强化学习处理投资组合配置约束时结果次优的问题,提出基于单纯形分解的CAOSD方法,将约束动作空间转化为无约束问题,在Nasdaq-100数据上表现优于现有CRL基准。
2024-04-16 cs.AI
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
Shanghai Jiao Tong University, Shanghai, China(上海交通大学)
本文提出MICE方法,通过引入内在成本和偏差校正策略,有效控制约束强化学习中的低估偏差,减少约束违反并保持策略性能。
2026-01-17 cs.LG
Continual Reinforcement Learning in 3D Non-stationary Environments
University of Bologna(博洛尼亚大学);University of Michigan(密歇根大学);Purdue University(普渡大学)
高维时变环境对现有的强化学习技术提出了严峻的挑战。如今,人工智能体通常在模拟中的非常静态和受控的条件下进行离线训练,使得训练观察可以被认为是采样的i.i.d.。从整个观察空间。然而,在现实世界中,环境往往是非静止的,并且经常发生不可预测的变化。在本文中,我们提出并公开发布了CRLMaze,这是一个新的基准,用于在基于ViZDoom的复杂3D非静止任务中通过强化不断学习,并受到多种环境变化的影响。然后,我们引入了一种端到端的无模型连续强化学习策略,该策略在四个不同的基线上显示出有竞争力的结果,并且不需要访问任何额外的监督信号,以前遇到的环境条件或观察结果。
2020-04-21 cs.CV cs.LG stat.ML