Safe Reinforcement Learning Using Robust Action Governor
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
强化学习(RL)本质上是一种试错学习过程,在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用,特别是对安全关键系统的应用。在本文中,我们介绍了一个安全RL的框架,该框架基于RL算法与附加安全监督模块的集成,称为鲁棒动作总督(RAG),该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架,通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Learning to Operate an Electric Vehicle Charging Station Considering Vehicle-grid Integration
University of Riverside, California(加州大学河滨分校)
电动汽车(EV)的快速采用要求广泛安装EV充电站。为了最大限度地提高充电站的盈利能力,非常需要提供充电和电网服务的智能控制器。然而,由于电动汽车的到达时间和充电需求的不确定性,确定最佳充电时间表是具有挑战性的。在本文中,我们提出了一种新的集中分配和分散执行(CADE)的强化学习(RL)框架,以最大限度地提高充电站的利润。在集中分配过程中,电动汽车被分配到等待或充电点。在分散执行过程中,每个充电器在从共享重放存储器学习动作价值函数的同时做出其自己的充电/放电决定。该CADE框架显著提高了RL算法的可扩展性和样本效率。数值结果表明,建议的CADE框架是计算效率和可扩展性,并显着优于基线模型预测控制(MPC)。我们还提供了一个深入的分析学习的动作价值函数来解释内部工作的强化学习代理。
2022-08-16 cs.LG cs.SY eess.SY
Scalable Volt-VAR Optimization using RLlib-IMPALA Framework: A Reinforcement Learning Approach
University of Connecticut(康涅狄格大学);Hitachi America Ltd R&D(日立美国有限公司研发中心)
本文提出基于RLlib-IMPALA框架的深度强化学习方法,利用RAY分布式计算能力解决电力系统Volt-VAR优化问题,在奖励结果和计算效率上均显著优于现有DRL方法,训练速度提升超10倍。
2024-02-24 cs.LG cs.SY eess.SY
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis(泰勒与弗朗西斯出版集团)
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励,而模仿学习试图提取关于专家演示的轨迹的一般知识,即,示威者因为它们中的每一个都有自己的缺点,所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而,许多方法都是启发式的,没有坚实的理论基础。在本文中,我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架,强化学习,{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放(pMDP-MO)。此外,我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架,比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明,我们的框架成功地集成了模仿和强化学习,即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Integration of Multi-Mode Preference into Home Energy Management System Using Deep Reinforcement Learning
Dept. of Electrical and Computer Engineering(电气与计算机工程系);FAMU-FSU College of Engineering(弗吉尼亚州立大学工程学院);Florida State University(佛罗里达州立大学)
本文提出多模式DRL-HEMS框架,通过无模型单智能体深度强化学习算法嵌入动态消费者偏好,优化家庭能耗并增强需求响应参与度,在真实数据下表现优异且计算效率超越MILP算法。
2025-05-02 cs.LG cs.SY eess.SY
The Synergy Between Optimal Transport Theory and Multi-Agent Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院);Stanford University(斯坦福大学)
本文系统梳理OT理论与MARL的融合路径,从策略对齐、资源管理、非平稳性、可扩展学习和能效五方面阐明其协同价值。
2024-01-24 cs.LG cs.MA cs.SY
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度强化学习(Deep Reinforcement Learning,DRL)在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而,安全性和稳定性仍然是主要的问题,阻碍了日间行车灯的应用,安全关键的自治系统。为了解决这些问题,我们提出了Phy-DRL:一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的:i)类似于Lyapunov的奖励,以及ii)剩余控制(即,基于物理模型控制和数据驱动控制的集成)。并发的物理奖励和剩余控制赋予Phy-DRL(数学上)可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验,验证了Phy-DRL在保证安全性和稳定性的同时,具有较强的鲁棒性,并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Autonomous Adaptive Solver Selection for Chemistry Integration via Reinforcement Learning
本文提出基于强化学习的自适应求解器选择方法,通过马尔可夫决策过程自主选择隐式BDF求解器和准稳态求解器,提升化学积分效率,同时保持精度约束。
2026-03-31 cs.LG
A modular framework for stabilizing deep reinforcement learning control
University of British Columbia(不列颠哥伦比亚大学);Honeywell Process Solutions(霍尼韦尔过程解决方案公司)
提出一种结合深度强化学习与Youla-Kucera参数化的模块化反馈控制器设计框架,利用数据驱动内部模型和神经网络实现非线性稳定算子,在保证稳定性的同时具备无模型优势,并在双水箱系统仿真中验证了有效性。
2023-04-07 cs.LG cs.SY eess.SY
Enhancing Solution Efficiency in Reinforcement Learning: Leveraging Sub-GFlowNet and Entropy Integration
本文通过为子GFlowNet引入新损失函数并集成熵来改进GFlowNet,在超网格和分子合成任务中验证了其在候选多样性和计算效率上优于传统方法。
2024-10-01 cs.LG
Optimizing Job Shop Scheduling in the Furniture Industry: A Reinforcement Learning Approach Considering Machine Setup, Batch Variability, and Intralogistics
Faculty of Wood Technology and Construction(木材技术与建筑学院);Rosenheim Technical University of Applied Sciences(罗森heim应用技术大学);Center for Research, Development and Transfer(研究、开发与转让中心);Faculty of Management and Engineering(管理与工程学院)
本文提出一种深度强化学习模型,扩展传统作业车间调度以涵盖机器设置、批次变异和内部物流,通过两种集成策略优化家具行业的生产调度效率与准确性。
2024-09-18 cs.AI cs.LG cs.SY
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习(RL)代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而,在实践中,算法往往需要大量的训练经验来学习和推广。此外,经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面,基于模型的强化学习试图从经验中学习环境模型,并且具有更高的样本效率,但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中,我们提出了一种梯度匹配算法,以提高样本效率,利用目标斜率信息的动态预测器,以帮助无模型学习。我们证明了这一点,提出了一种技术,用于匹配的梯度信息,从基于模型的学习与无模型的组件在一个抽象的低维空间,并验证所提出的技术,通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Relative Entropy Regularized Reinforcement Learning for Efficient Encrypted Policy Synthesis
School of Aeronautics and Astronautics, Purdue University(航空宇航工程学院,普渡大学);ASRI, the Department of Electrical and Computer Engineering, Seoul National University(ASRI,电气电子工程系,首尔国立大学);Japan Society for the Promotion of Science(日本学术振兴会)
该研究提出高效加密策略合成方法,证明相对熵正则化强化学习框架的线性无最小化值迭代结构可直接集成带自举的全同态加密,分析了加密误差下的收敛性与误差界,并通过数值模拟验证了该框架的有效性。
2025-06-14 cs.LG cs.SY eess.SY
Tackling Uncertainties in Multi-Agent Reinforcement Learning through Integration of Agent Termination Dynamics
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Synopsys(新思科技)
针对多智能体强化学习中的不确定性,提出结合分布式学习与基于障碍函数的安全损失,在星际争霸II基准上提升收敛性并优于现有基线。
2025-01-21 cs.LG cs.MA
SACHI: Structured Agent Coordination via Holistic Information Integration in Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);DEVCOM Army Research Laboratory(美国陆军研究实验室);DEVCOM Army Research Office(美国陆军研究办公室)
本文提出SACHI方法,通过整体信息整合实现多智能体强化学习中的结构化智能体协调,解决了智能体在部分局部观察下协调行动的信息瓶颈问题,通过图Transformer卷积在智能体协调图上增强每个智能体的表示,从而在多个任务中表现出色。
2026-05-19 cs.LG
Python-Based Reinforcement Learning on Simulink Models
Josef Ressel Centre for Intelligent and Secure Industrial Automation(约瑟夫·雷塞尔智能与安全工业自动化中心);Salzburg University of Applied Sciences(萨尔茨堡应用科技大学);Paris Lodron University of Salzburg(巴黎洛顿萨尔茨堡大学)
本研究提出一种结合Python与Simulink模型的强化学习智能体训练框架,通过C代码生成、DLL编译等集成步骤实现策略无缝迁移,在Quanser Aero 2上验证其有效性并超越以往方法。
2024-05-14 cs.LG cs.SY eess.SY
Reinforcement Learning for Efficient Design and Control Co-optimisation of Energy Systems
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Planair SA(普莱尔公司);University of Liège(列日大学)
本文提出一种新型强化学习框架,通过联合优化能源系统的设计与控制策略,摆脱对显式系统建模的依赖,从而提升可再生能源整合效率和系统整体性能。
2024-06-28 cs.LG
Lyapunov-Regularized Reinforcement Learning for Power System Transient Stability
University of Washington(华盛顿大学)
随着可再生能源的日益广泛应用,电力系统的暂态稳定性问题变得越来越重要。这些资源导致机械惯性的减小,但也提供了频率响应的增加的灵活性。也就是说,它们的电力电子接口可以实现几乎任意的控制律。为了设计这些控制器,强化学习(RL)已经成为一种强大的方法,在搜索最佳的非线性控制策略参数化的神经网络。一个关键的挑战是强制学习控制器必须是稳定的。提出了一种基于李雅普诺夫正则化RL的有耗网络暂态稳定最优频率控制方法。由于缺乏解析的李雅普诺夫函数,我们学习一个由神经网络参数化的李雅普诺夫函数。损耗是针对物理电力系统专门设计的。然后,将学习到的神经李雅普诺夫函数用作正则化,通过惩罚违反李雅普诺夫条件的行为来训练神经网络控制器。算例分析表明,引入李雅普诺夫正则化,使控制器能够稳定,并获得较小的损失。
2021-05-06 cs.LG cs.SY eess.SY
A View on Deep Reinforcement Learning in System Optimization
Intel Labs(英特尔研究院);University of California, Berkeley(加州大学伯克利分校)
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题,并且提供了利用深度强化学习最近的实质性进展的机会。然而,在某些情况下,尚不清楚为什么深度强化学习很适合解决这个问题。有时,它的性能并不比最先进的解决方案更好。在其他情况下,随机搜索或贪心算法可能优于深度强化学习。在本文中,我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标,以指导未来的工作,在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后,我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations
Royal Military College of Canada(皇家军事学院);Defence Research and Development Canada(加拿大国防研究与发展加拿大);Polytechnique Montreal(蒙特利尔大学)
本研究通过整合预训练的大语言模型与强化学习,提升自主网络操作中的决策能力,显著提高奖励并加速策略收敛。
2026-02-13 cs.AI cs.CR cs.LG
Risk-Aware Reinforcement Learning through Optimal Transport Theory
Rochester Institute of Technology(罗切斯特理工学院)
本文将最优传输理论与强化学习结合,构建风险感知框架,通过修改目标函数引入风险约束,在最大化期望奖励的同时实现风险控制,为RL平衡奖励与风险提供了新方向。
2023-09-12 cs.LG cs.SY eess.SY
Application of Soft Actor-Critic Algorithms in Optimizing Wastewater Treatment with Time Delays Integration
Aalborg University(奥尔堡大学);AAU Energy, Aalborg University(奥尔堡大学AAU能源学院);Norwegian University of Science and Technology(挪威科技大学)
本研究提出基于软演员-评论家算法的深度强化学习方法,结合含LSTM的模拟器处理污水处理中的随机延迟,显著提升除磷效率并降低成本,优于传统控制方法。
2024-11-27 cs.AI cs.LG cs.SY
Reinforcement Learning and Operational Research: A Review of Methodological Integration and Research Directions
Delft University of Technology(代尔夫特理工大学);University of Warwick(华威大学)
本文系统综述强化学习赋能运筹学的三种角色:动态序贯决策、组合优化集成及数字孪生扩展现实分析,并展望未来研究路线图。
2026-10-23 cs.LG math.OC
Reinforcement Learning for Selective Key Applications in Power Systems: Recent Advances and Future Challenges
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院)
随着可再生能源发电和分布式能源的大规模集成,现代电力系统面临着新的运营挑战,如复杂性增加,不确定性增加,波动性加剧。与此同时,由于智能电表、智能传感器和升级的通信网络的广泛部署,越来越多的数据变得可用。因此,数据驱动控制技术,特别是强化学习(RL),近年来引起了人们的广泛关注。本文对各种强化学习技术以及它们如何应用于电力系统的决策和控制进行了全面的综述。特别是,我们选择了三个关键应用,即,频率调节、电压控制和能量管理,作为示例来说明基于RL的模型和解决方案。然后,我们提出了RL应用中的关键问题,即,安全性、鲁棒性、可扩展性和数据。还讨论了几个潜在的未来发展方向。
2022-02-25 cs.AI cs.LG cs.SY
CoRL: Environment Creation and Management Focused on System Integration
STR
现有的强化学习环境库使用整体环境类,提供用于改变代理观察和动作空间的浅方法,和/或与特定的模拟环境相关联。核心强化学习库(CoRL)是一个模块化、可组合和超可配置的环境创建工具。它允许通过使用易于阅读的配置文件,pydantic验证器和functor设计模式对代理观察,奖励和完成条件进行分钟控制。使用集成途径允许代理在新的仿真环境中快速实施,鼓励快速探索,并使知识从低保真度过渡到高保真度仿真。本机多代理设计和与Ray/RLLib的集成(Liang等人,2018)允许代理复杂性和计算能力的轻松扩展。该代码已公开发布,可在https://github.com/act3-ace/CoRL上获得。
2023-03-03 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
针对SFT过拟合与RL模式崩溃问题,提出逐步自适应混合训练框架SASR,统一SFT与RL并动态平衡,实验证明其优于单一及静态混合方法。
2025-08-04 cs.AI cs.LG
VisualEnv: visual Gym environments with Blender
University of Arizona(亚利桑那大学)
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境,并与Python完全集成。该框架的描述和测试一系列的例子问题,展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Deep Reinforcement Learning for Crowdsourced Urban Delivery: System States Characterization, Heuristics-guided Action Choice, and Rule-Interposing Integration
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文研究了在众包城市交付的背景下,将运输请求分配给临时快递员的问题。装运请求在空间上分布,每个装运请求具有在最早拾取时间和最晚递送时间之间的有限时间窗口。被称为众包的临时信使的可用时间和承载能力也有限。我们提出了一种新的基于深度强化学习(DRL)的方法来解决这个分配问题。训练了一种深度Q网络(DQN)算法,该算法具有经验重放和目标网络两个显著特征,可提高DRL训练的效率、收敛性和稳定性。更重要的是,本文做出了三个方法上的贡献:1)提出了一个全面和新颖的描述众包系统状态,包括时空和容量信息的众包和请求; 2)嵌入的启发式,利用状态表示提供的信息,并基于直观的推理来指导具体的行动,以保持易处理性和提高培训效率; 3)集成规则插入,避免路由改进时重复访问相同的路由和节点序列,通过加速学习进一步提高训练效率。通过大量的数值分析证明了该方法的有效性。结果表明,DRL训练中的策略指导动作选择和规则插入带来的好处,以及所提出的方法在解决方案质量,时间和可扩展性方面优于现有的策略。除了提高众包运营规划效率的潜力外,该方法还为车辆路径环境中的其他问题提供了新的途径和通用框架。
2020-11-29 cs.AI cs.LG
Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces
CyberAgent(赛博agent公司);RIKEN(理化学研究所)
本文将 Mamba 框架集成到 Decision Transformer 中提出 Decision Mamba,通过在多种决策环境中的实验验证其能提升序贯决策性能。
2024-03-29 cs.AI cs.LG
Skill-based Multi-objective Reinforcement Learning of Industrial Robot Tasks with Planning and Knowledge Integration
Lund University(隆德大学);University of Patras(帕特雷大学);Stanford University(斯坦福大学)
在现代化的小批量工业环境中,为新任务设置机器人系统应该很容易。策略是存在的,例如技能的使用,但当涉及到处理力和扭矩时,这些系统往往不足。我们介绍了一种方法,它提供了一个组合的任务级规划与有针对性的学习,基于技能的系统的具体参数。我们提出了以下管道:(1)用户以规划语言PDDL提供任务目标,(2)规划(即,技能序列)被生成并且技能的可学习参数被自动识别。然后,操作员为学习过程选择(3)奖励函数和超参数。我们的方法的两个方面是至关重要的:(a)学习是紧密结合的知识框架,以支持符号规划,并提供先验的学习,(b)使用多目标优化。这有助于平衡关键绩效指标(KPI),例如安全和任务绩效,因为它们通常会相互影响。我们采用多目标贝叶斯优化方法,并在模拟中完全学习。我们证明了我们的方法的有效性和多功能性,通过学习两个不同的接触丰富的任务的技能参数。我们展示了他们的成功执行一个真正的7自由度KUKA-iiwa机械手和优于人工参数化的人类机器人操作员。
2022-03-18 cs.LG cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra(庞培法布拉大学);PyTorch Team, Meta(Meta PyTorch团队);ICREA, Universitat Pompeu Fabra(ICREA、庞培法布拉大学)
本文提出BricksRL平台,通过将乐高机器人与TorchRL库对接,实现现实世界中自定义乐高机器人的创建、设计与训练,支持GPU强化学习训练,提供灵活经济的扩展方案,助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory(Simula研究所)
强化学习(RL)智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此,训练代理是数据密集型的,并且不能保证学习到的行为是安全的,并且不违反环境规则,这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内,RL代理可以自由地适应和探索,从而不会妨碍其解决给定问题的有效性。然而,一旦RL代理离开由约束定义的空间,外部模型可以提供指导,使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点,并进行实验的两个案例研究:一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明,约束指导既提供了可靠性的提高和更安全的行为,以及加速培训。
2021-04-24 cs.AI cs.LG
A Game Theoretical Framework for the Evaluation of Unmanned Aircraft Systems Airspace Integration Concepts
预测将无人机系统(UAS)集成到国家航空航天(NAS)中的结果是一个复杂的问题,在允许UAS常规访问NAS之前,需要通过仿真研究来解决。本论文的重点是提供二维和三维仿真框架,使用博弈论方法来评估集成概念的情况下,有人驾驶和无人驾驶飞行器共存。文献中的根本差距是有人驾驶和无人驾驶飞行器之间的相互作用模型是不够的:a)它们假设飞行员的行为是先验已知的,b)它们忽略了决策过程。这项工作的贡献是提出了一个建模框架,其中,人类飞行员的反应建模使用强化学习和一个游戏理论的概念,称为k级推理,以填补这一空白。k级推理的概念是基于人类具有不同决策水平的假设。强化学习是一种植根于人类学习的数学学习方法。在这项工作中,一个经典的和一个近似的强化学习(神经拟合Q迭代)方法被用来模拟飞行员的时间扩展决策与二维和三维机动。无人机集成的分析进行了使用示例场景中存在的有人驾驶飞机和全自主无人机配备感测和避免算法。
2019-04-17 cs.LG cs.RO stat.ML
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Reinforcement Learning of Musculoskeletal Control from Functional Simulations
ETH Zurich(苏黎世联邦理工学院)
为了诊断、计划和治疗肌肉骨骼疾病,理解和再现复杂运动的肌肉招募是必不可少的。由于运动的肌肉激活通常是高度冗余、非线性和时间依赖的,机器学习可以为特定于解剖结构的肌肉骨骼模拟提供建模和控制的解决方案。复杂的生物力学模拟通常需要专门的计算环境,数值复杂且缓慢,阻碍了它们与典型的深度学习框架的集成。在这项工作中,基于深度强化学习(DRL)的逆动力学控制器被训练来控制人体肩部生物力学模型的肌肉激活。在可推广的端到端方式中,肌肉激活是在给定当前和期望的位置-速度对的情况下学习的。引入了用于轨迹控制的定制奖励函数,从而能够直接扩展到额外的肌肉和更高的自由度。使用生物力学模型,使用正在训练的DRL的进化神经模型同时在集群上模拟多个事件。结果提出了一个单轴运动控制肩外展的任务,随机生成的角轨迹。
2020-07-13 cs.LG cs.RO cs.SY
Sample Efficient Reinforcement Learning by Automatically Learning to Compose Subtasks
Utrecht University(乌得勒支大学)
针对稀疏奖励强化学习中人工奖励结构不准、自动学习方法计算困难的问题,提出利用子任务标签联合训练高层子任务选择策略与低层执行策略,以自动构建奖励并提升样本效率。
2024-01-25 cs.LG
Deep reinforcement learning for complex evaluation of one-loop diagrams in quantum field theory
Washington University in St. Louis(圣路易斯华盛顿大学);Silicon Austria Labs GmbH(奥地利硅实验室有限公司)
在本文中,我们提出了一种基于深度强化学习的新技术,该技术允许在量子场论的单圈图中经常遇到的积分的数值解析延拓。为了提取一定数量的两点函数,如谱密度,质量极点或多粒子阈值,有必要进行相关器的解析延拓。在欧氏空间中的单圈水平,这导致必须在圈动量的平方的复平面中变形圈积分的积分轮廓,以避免在积分平面中的非解析性。使用一个玩具模型,其精确的解决方案是已知的,我们训练强化学习代理执行所需的轮廓变形。我们的研究表明,在复杂的域中,用于计算非微扰2点函数的迭代数值方法中部署的代理有很大的希望,例如夸克传播子Dyson-Schwinger方程,或者更一般地说,第二类Fredholm方程。
2019-12-27 cs.LG hep-ph physics.comp-ph
Hybrid Reinforcement Learning Framework for Mixed-Variable Problems
School of Mathematics(数学学院);Georgia Institute of Technology(佐治亚理工学院);UKG AI(UKG人工智能公司);Ultimate Kronos Group(终极 Kronos 集团)
针对离散与连续变量共存的优化问题,提出一种结合强化学习与贝叶斯优化的混合框架,在合成函数与机器学习超参数调优任务中均优于传统方法。
2024-05-30 cs.LG math.OC
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London(帝国理工学院)
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明,演化计算算法在该领域也取得了成功,表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库,但没有公开可用的库将这两种方法结合起来以增强比较,合作或可视化。为此,我们创建了Pearl(https://github.com/LondonNode/Pearl),这是一个开源Python库,旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括:模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
Efficient time stepping for numerical integration using reinforcement learning
Paderborn University(帕德博恩大学);LMU Munich(慕尼黑大学);Zuse Institute Berlin(柏林祖斯研究所)
本文提出将经典求积规则或 ODE 求解器与强化学习的数据驱动时间步进控制器结合,使数值方法适配特定问题类别,从而在混沌等复杂系统中优于现有自适应方案。
2022-03-03 cs.LG math.DS
RLSR: Reinforcement Learning from Self Reward
Tufa Labs(图法实验室)
本文提出RLSR方法,利用大型语言模型自我评判生成奖励信号,无需真实答案即可进行强化学习,在倒计时和积分任务中达到形式验证水平,并建立完整自我改进循环,推动自主AI发展。
2025-08-06 cs.AI cs.LG
DEFlow: Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
该研究提出DEFlow深度均衡流策略,结合隐式欧拉积分与隐式微分等技术,在多目标对接、操纵等强化学习任务中提升了性能,为兼具多样性与精度的任务提供了有效方案。
2026-10-15 cs.LG cs.RO
BarlowRL: Barlow Twins for Data-Efficient Reinforcement Learning
Koc University(科奇大学)
本文提出BarlowRL,结合Barlow Twins自监督学习与DER算法,在Atari 100k基准上超越DER和CURL,通过避免维度坍缩提升数据效率与强化学习性能。
2023-10-12 cs.LG
Integrating Large Language Models and Reinforcement Learning for Sentiment-Driven Quantitative Trading
Wo Long(未知);Wenxin Zeng(未知);Xiaoyu Zhang(未知);Ziyao Zhou(未知)
本研究开发了一个情感驱动的量化交易系统,利用 FinGPT 进行情感分析,并采用 TD3 强化学习算法集成情感与技术信号,实验表明该方法能有效融合异构信号并提升交易策略表现。
2025-10-12 cs.LG q-fin.CP
Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
提出了一种新的深度强化学习(DRL)策略水印方案。该方案提供了一种机制,用于将唯一标识符以其对指定的状态转换序列的响应的形式集成在策略内,同时对策略的标称性能产生最小的影响。该水印方案的应用包括检测专有策略的未授权复制,以及使授权实体能够优雅地中断或终止DRL活动。我们证明了我们的建议的可行性,通过实验评估水印的DQN政策在Cartpole环境中训练。
2019-06-03 cs.AI cs.CR cs.LG
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文针对电商搜索广告排名与竞价机制,结合强化学习与进化策略提出动态模型,有效平衡广告主成本、用户相关性与平台收入,显著提升广告投放准确率与成本效率。
2024-05-29 cs.LG
Combining Reinforcement Learning and Optimal Transport for the Traveling Salesman Problem
National University of Singapore(新加坡国立大学);Loyola Marymount University(洛约拉马利蒙特大学);Grabtaxi Holdings Pte Ltd(Grab出租车控股私人有限公司)
本文针对旅行商问题规模扩大时精确算法耗时、深度学习方法推理慢的问题,将熵正则化最优输运集成到深度强化学习网络中,实现无监督学习、更快推理,并在端到端训练中强制分配约束。
2022-03-02 cs.AI cs.LG math.OC
Recurrent Off-Policy Deep Reinforcement Learning Doesn't Have to be Slow
University Of Southampton, School Of Electronics and Computer Science(索姆塞特大学电子与计算机科学学院)
RISE通过简化编码实现递归网络在非策略强化学习中的高效应用,提升了Atari基准性能35.6%。
2025-12-23 cs.LG
Proximal Distilled Evolutionary Reinforcement Learning
University of Cambridge(剑桥大学)
由于与深度神经网络(DNN)的集成,强化学习(RL)在许多复杂环境中取得了令人印象深刻的性能。与此同时,通常被视为RL竞争方法的遗传算法(GA)在扩展到解决具有挑战性的任务所需的DNN方面取得的成功有限。与这种二分法相反,在物理世界中,进化和学习是不断相互作用的互补过程。最近提出的进化强化学习(ERL)框架已经证明了这两种方法相结合时,双方的利益。然而,ERL并没有完全解决GA的可扩展性问题。在本文中,我们证明了这个问题的根源在于DNN的简单遗传编码和传统生物启发的变异算子的使用的不幸组合。当应用于这些编码时,标准运算符是破坏性的,并导致网络获得的特性的灾难性遗忘。我们提出了一种新的算法称为近端蒸馏进化强化学习(PDERL),其特点是进化和学习之间的层次集成。PDERL的主要创新是使用基于学习的变异算子来补偿遗传表示的简单性。与传统的运营商,我们的建议满足功能要求的变化运营商时,直接编码的DNN。我们在OpenAI健身房的五个机器人运动设置中评估PDERL。在所有测试环境中,我们的方法都优于ERL以及两种最先进的RL算法PPO和TD3。
2020-07-07 cs.LG cs.NE stat.ML
Information-Based Exploration via Random Features for Reinforcement Learning
研究如何在强化学习中进行信息探索,提出基于贝叶斯核方法理论的随机特征信息增益(RFIG),用随机傅里叶特征近似信息增益,给出误差界并避免黑箱问题,实践细节使其可扩展到深度RL场景,实验显示其性能有竞争力且理论解释优。
2026-07-21 cs.LG
An Introduction to Quantum Reinforcement Learning (QRL)
Wells Fargo(富国银行)
本文面向AI与ML社区,综述量子计算与强化学习的交叉领域量子强化学习(QRL),介绍其通过量子原理增强RL算法的研究方向。
2024-09-09 cs.AI cs.ET cs.LG
Quantum Boltzmann Machines for Sample-Efficient Reinforcement Learning
University of Bonn(波恩大学);CERN(欧洲核子研究中心)
本文提出连续半量子玻尔兹曼机(CSQBMs),通过混合量子-经典建模和解析梯度计算,将其集成到连续 Q-learning 框架中,以高效采样替代全局最大化,解决连续控制中的不稳定性问题。
2025-11-06 cs.LG quant-ph