Strategic bidding in freight transport using deep reinforcement learning
提出了一种多智能体强化学习算法来表征货运市场中的策略性投标行为。使用该算法,我们调查是否可行的市场均衡出现没有任何中央控制或代理之间的通信。在这样的环境中研究行为可能会成为像物理互联网这样的自组织物流系统的垫脚石。我们模拟一个基于代理的环境中,托运人和承运人积极学习投标策略,使用策略梯度方法,提出出价和要价在个别集装箱水平。这两个代理的目标是学习最好的反应给定的预期行为的对手。中立经纪人根据买卖价差分配工作。我们的博弈理论分析和数值实验专注于行为洞察。为了评估系统的性能,我们衡量坚持纳什均衡,公平的奖励分工和利用的运输能力。我们在可预测的、确定性的环境(约95%符合纳什均衡)和高度随机的环境(约85%符合)中都观察到了良好的性能。风险寻求行为可能会增加代理人的奖励份额,只要策略不是过于激进。研究结果表明,货运市场有可能实现完全自动化和分散化。
2021-02-18 cs.LG
Enhancing Solution Efficiency in Reinforcement Learning: Leveraging Sub-GFlowNet and Entropy Integration
本文通过为子GFlowNet引入新损失函数并集成熵来改进GFlowNet,在超网格和分子合成任务中验证了其在候选多样性和计算效率上优于传统方法。
2024-10-01 cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis(泰勒与弗朗西斯出版集团)
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励,而模仿学习试图提取关于专家演示的轨迹的一般知识,即,示威者因为它们中的每一个都有自己的缺点,所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而,许多方法都是启发式的,没有坚实的理论基础。在本文中,我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架,强化学习,{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放(pMDP-MO)。此外,我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架,比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明,我们的框架成功地集成了模仿和强化学习,即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
SACHI: Structured Agent Coordination via Holistic Information Integration in Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);DEVCOM Army Research Laboratory(美国陆军研究实验室);DEVCOM Army Research Office(美国陆军研究办公室)
本文提出SACHI方法,通过整体信息整合实现多智能体强化学习中的结构化智能体协调,解决了智能体在部分局部观察下协调行动的信息瓶颈问题,通过图Transformer卷积在智能体协调图上增强每个智能体的表示,从而在多个任务中表现出色。
2026-05-19 cs.LG
Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions
UC Berkeley(加州大学伯克利分校)
在本文中,安全关键控制中的模型不确定性的问题是解决与数据驱动的方法。为此,我们利用输入-输出线性化控制器的结构的基础上的标称模型以及控制障碍函数和控制李雅普诺夫函数基于二次规划(CBF-CLF-QP)。具体来说,我们提出了一种新的强化学习框架,学习模型的不确定性存在于CBF和CLF约束,以及其他控制仿射动态约束的二次规划。将训练后的策略与基于名义模型的CBF-CLF-QP相结合,得到基于强化学习的CBF-CLF-QP(RL-CBF-CLF-QP),解决了安全约束中的模型不确定性问题。通过在一个欠驱动非线性双足机器人上的实验,验证了该方法的有效性,在模型不确定的情况下,该机器人在具有一步预瞄的随机间隔踏脚石上行走,获得了稳定和安全的行走。
2020-06-04 cs.LG cs.RO cs.SY
Reinforcement Learning for Efficient Design and Control Co-optimisation of Energy Systems
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Planair SA(普莱尔公司);University of Liège(列日大学)
本文提出一种新型强化学习框架,通过联合优化能源系统的设计与控制策略,摆脱对显式系统建模的依赖,从而提升可再生能源整合效率和系统整体性能。
2024-06-28 cs.LG
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习(RL)代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而,在实践中,算法往往需要大量的训练经验来学习和推广。此外,经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面,基于模型的强化学习试图从经验中学习环境模型,并且具有更高的样本效率,但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中,我们提出了一种梯度匹配算法,以提高样本效率,利用目标斜率信息的动态预测器,以帮助无模型学习。我们证明了这一点,提出了一种技术,用于匹配的梯度信息,从基于模型的学习与无模型的组件在一个抽象的低维空间,并验证所提出的技术,通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Tackling Uncertainties in Multi-Agent Reinforcement Learning through Integration of Agent Termination Dynamics
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Synopsys(新思科技)
针对多智能体强化学习中的不确定性,提出结合分布式学习与基于障碍函数的安全损失,在星际争霸II基准上提升收敛性并优于现有基线。
2025-01-21 cs.LG cs.MA
DeepGait: Planning and Control of Quadrupedal Gaits using Deep Reinforcement Learning
Robotic Systems Lab, ETH Zürich(苏黎世联邦理工学院机器人系统实验室)
本文研究了非平坦地形下的步行问题。由于诸如四足动物的足式机器人将被部署在具有难以建模和预测的几何形状的地形中,因此需要使它们具有很好地推广到不可预见的情况的能力。在这项工作中,我们提出了一种新的技术,训练神经网络的政策,地形感知运动,它结合了最先进的方法,基于模型的运动规划和强化学习。我们的方法是集中在制定马尔可夫决策过程中使用的评价动态可行性标准的物理模拟。因此,我们采用政策梯度的方法来独立的训练政策,分别计划和执行立足点和基础运动在3D环境中使用本体感受和外感受测量。我们应用我们的方法在一个具有挑战性的模拟地形的情况下,其中包含的功能,如狭窄的桥梁,差距和踏脚石,和训练政策,成功地在所有情况下,有效地进行。
2020-01-31 cs.LG cs.RO
GzDRL: Reproducible and Scalable Deep Reinforcement Learning with Gazebo
GzDRL提出无中间件的单进程RL框架,实现Gazebo中确定性、高吞吐、可复现的训练,并验证了四旋翼的仿真到现实迁移。
2026-09-15 cs.LG cs.RO
Deep Reinforcement Learning for Detecting Malicious Websites
Texas Tech University(德克萨斯理工大学)
网络钓鱼是最简单的网络犯罪形式,其目的是诱使人们泄露敏感信息,例如个人可识别的数据、银行和信用卡详细信息,甚至凭据和密码。这种简单但最有效的网络攻击通常通过电子邮件、电话或即时消息发起。被盗的凭证或私人数据然后被用于访问受害者的关键记录,并可能导致广泛的欺诈和金钱损失。因此,向受害者发送恶意消息是网络钓鱼过程的垫脚石。一个\textit{phisher}通常会建立一个欺骗性的网站,在那里受害者被诱骗输入凭据和敏感信息。因此,在对受害者造成任何有害损害之前检测这些类型的恶意网站非常重要。受钓鱼网站不断演化的启发,提出了一种基于深度强化学习的恶意URL建模和检测方法。该模型能够适应钓鱼网站的动态行为,从而学习与钓鱼网站检测相关的特征。
2019-05-22 cs.CR cs.LG stat.ML
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations
Royal Military College of Canada(皇家军事学院);Defence Research and Development Canada(加拿大国防研究与发展加拿大);Polytechnique Montreal(蒙特利尔大学)
本研究通过整合预训练的大语言模型与强化学习,提升自主网络操作中的决策能力,显著提高奖励并加速策略收敛。
2026-02-13 cs.AI cs.CR cs.LG
Control-Tutored Reinforcement Learning: Towards the Integration of Data-Driven and Model-Based Control
University of Naples Federico II(那不勒斯费德里科二世大学);Scuola Superiore Meridionale(南方高等研究院);University of Salerno(萨莱诺大学);University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
我们提出了一个架构,其中的反馈控制器上的近似模型的环境协助学习过程,以提高其数据效率。这种架构,我们称之为控制辅导Q学习(CTQL),有两种可选的风格。前者基于定义奖励函数,以便可以使用布尔条件来确定何时采用控制导师策略,而后者称为概率CTQL(pCTQL),而是基于在学习期间以一定概率执行对导师的调用。通过将OpenAI Gym中定义的倒立摆的稳定性视为代表性问题,这两种方法都得到了验证,并完全针对Q-Learning进行了基准测试。
2021-12-11 cs.LG cs.SY eess.SY
Learning a local trading strategy: deep reinforcement learning for grid-scale renewable energy integration
Georgia Institute of Technology(佐治亚理工学院)
本文研究利用深度强化学习运行与太阳能同址部署的电网规模电池,实验表明其平均达到理论最优的61%(最高96%),优于先进控制方法,并能更有效地转移太阳能至高峰时段及提高调度多样性。
2024-11-23 cs.AI cs.LG cs.SY
Reinforcement Learning in Medical Image Analysis: Concepts, Applications, Challenges, and Future Directions
Emory University(埃默里大学);Winship Cancer Institute(温希普癌症研究所);School of Medicine, Emory University(埃默里大学医学院)
动机:医学图像分析涉及协助医生对病变或解剖结构进行定性和定量分析的任务,显著提高诊断和预后的准确性和可靠性。传统上,这些任务由医生或医学物理学家完成,并导致两个主要问题:(i)效率低;(ii)受个人经验的影响。在过去的十年中,许多机器学习方法已被应用于加速和自动化图像分析过程。与监督和无监督学习模型的大量部署相比,在医学图像分析中使用强化学习的尝试很少。这篇综述文章可以作为相关研究的垫脚石。重要性:从我们的观察来看,尽管强化学习近年来逐渐获得了发展势头,但许多医学分析领域的研究人员发现很难理解并在临床上部署。原因之一是缺乏针对缺乏专业计算机科学背景的读者的组织良好的评论文章。本文不是提供医学图像分析中所有强化学习模型的全面列表,而是帮助读者学习如何将医学图像分析研究作为强化学习问题来制定和解决。方法和结果:我们选择了来自Google Scholar和PubMed的已发表文章。考虑到相关文章的稀缺性,我们还包括一些优秀的最新预印本。这些论文被仔细审查,并根据图像分析任务的类型进行分类。我们首先回顾了强化学习的基本概念和流行模型。然后,我们探讨了强化学习模型在地标检测中的应用。最后,我们通过讨论所回顾的强化学习方法的局限性和可能的改进来结束本文。
2022-06-28 cs.CV cs.LG
When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks?
The Thørväld Group(索尔瓦尔德集团);Inria Paris-Rocquencourt(巴黎-鲁克肯堡国家信息与自动化研究所);Rajiv Gandhi University Doimukh(拉贾·甘地大学多伊穆克);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒姆研究实验室);The Kumquat Consortium(昆quat联盟)
本文研究神经进化在迁移学习中的能力,通过引入stepping gates和ecorobot两个基准,发现NE方法在跨任务技能迁移上经常优于强化学习基线,具有构建适应性智能体的潜力。
2025-05-28 cs.LG
Bridging the Performance Gap Between Target-Free and Target-Based Reinforcement Learning
DFKI, SAIROL(DFKI,SAIROL);TU Darmstadt(图腾达姆施塔特大学);University of Southern Denmark(南部丹麦大学);Delft University of Technology(代尔夫特理工大学);University of Würzburg(乌尔姆大学);Robotics Institute Germany(德国机器人研究所)
iS-QL通过结合迭代Q学习与共享参数的目标网络,提升目标无关方法的样本效率,弥合目标无关与目标导向强化学习之间的性能差距。
2026-02-27 cs.AI cs.LG
Hierarchical Reinforcement Learning Framework for Stochastic Spaceflight Campaign Design
Georgia Institute of Technology(佐治亚理工学院)
针对存在不确定性的多任务航天任务设计问题,本文提出结合强化学习与混合整数线性规划(MILP)的分层框架,通过分层优化任务级与子任务级决策,为空间任务设计提供新的解决方案。
2022-02-17 cs.LG cs.SY eess.SY
CoRL: Environment Creation and Management Focused on System Integration
STR
现有的强化学习环境库使用整体环境类,提供用于改变代理观察和动作空间的浅方法,和/或与特定的模拟环境相关联。核心强化学习库(CoRL)是一个模块化、可组合和超可配置的环境创建工具。它允许通过使用易于阅读的配置文件,pydantic验证器和functor设计模式对代理观察,奖励和完成条件进行分钟控制。使用集成途径允许代理在新的仿真环境中快速实施,鼓励快速探索,并使知识从低保真度过渡到高保真度仿真。本机多代理设计和与Ray/RLLib的集成(Liang等人,2018)允许代理复杂性和计算能力的轻松扩展。该代码已公开发布,可在https://github.com/act3-ace/CoRL上获得。
2023-03-03 cs.AI cs.LG
Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
针对SFT过拟合与RL模式崩溃问题,提出逐步自适应混合训练框架SASR,统一SFT与RL并动态平衡,实验证明其优于单一及静态混合方法。
2025-08-04 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Renewable energy integration and microgrid energy trading using multi-agent deep reinforcement learning
Keele University(基尔大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
本文采用多智能体强化学习控制混合储能系统协同工作,通过最大化可再生能源价值和交易降低微电网的能源成本。智能体必须学会控制三种不同类型的储能系统,适用于在需求波动、动态批发能源价格和不可预测的可再生能源发电情况下的短期、中期和长期存储。考虑两个案例研究:第一个是研究储能系统如何在动态定价下更好地整合可再生能源发电,第二个是研究这些相同的代理如何与聚合代理一起使用,将能源出售给自利的外部微电网,以减少自己的能源账单。这项工作发现,多代理深度确定性策略梯度及其最先进的变体的集中式学习与分散式执行允许多代理方法比单个全局代理的控制表现得更好。研究还发现,在多代理方法中使用单独的奖励函数比使用单个控制代理要好得多。能够与其他微电网进行交易,而不仅仅是卖回给公用电网,也被发现大大增加了电网的储蓄。
2021-12-05 cs.AI cs.LG cs.MA
FinRL: Deep Reinforcement Learning Framework to Automate Trading in Quantitative Finance
Columbia University(哥伦比亚大学);University of Virginia(弗吉尼亚大学);New York University Shanghai(纽约大学上海校区)
深度强化学习(DRL)被认为在量化金融中具有竞争优势。然而,由于编程容易出错,调试工作艰巨,量化交易者要想获得一个自动定位以在市场上获胜的代理,即\textit{to decide where to trade, at what price}和\textit{what quantity},有一个陡峭的发展曲线。在本文中,我们提出了第一个开源框架\textit{FinRL}作为一个完整的管道,以帮助量化交易者克服陡峭的学习曲线。FinRL在\textit{full-stack framework, customization, reproducibility}和\textit{hands-on tutoring}的关键原则下具有简单性、适用性和可扩展性的特点。FinRL是一个具有模块化结构的三层架构,它实现了微调的最先进的DRL算法和常见的奖励函数,同时减轻了调试工作量。因此,我们帮助用户以高周转率进行策略设计。在多个时间粒度级别上,FinRL使用历史数据和实时交易API模拟各种市场作为训练环境。FinRL具有高度的可扩展性,保留了一套用户导入接口,并结合了市场摩擦、市场流动性和投资者风险规避等交易约束。此外,作为从业者的垫脚石,典型的交易任务是作为一步一步的教程提供的,例如,股票交易、投资组合分配、加密货币交易等。
2021-11-07 cs.LG q-fin.TR
Agile and versatile bipedal robot tracking control through reinforcement learning
受生物平衡与运动模式解耦的启发,研究提出基于模型IK求解器与强化学习的双足机器人通用控制器,以单步为最小控制单元结合三阶段训练,实现多步态轨迹跟踪与灵活平衡,经仿真验证有效。
2024-04-12 cs.LG cs.RO
VisualEnv: visual Gym environments with Blender
University of Arizona(亚利桑那大学)
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境,并与Python完全集成。该框架的描述和测试一系列的例子问题,展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Deep Reinforcement Learning for Crowdsourced Urban Delivery: System States Characterization, Heuristics-guided Action Choice, and Rule-Interposing Integration
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文研究了在众包城市交付的背景下,将运输请求分配给临时快递员的问题。装运请求在空间上分布,每个装运请求具有在最早拾取时间和最晚递送时间之间的有限时间窗口。被称为众包的临时信使的可用时间和承载能力也有限。我们提出了一种新的基于深度强化学习(DRL)的方法来解决这个分配问题。训练了一种深度Q网络(DQN)算法,该算法具有经验重放和目标网络两个显著特征,可提高DRL训练的效率、收敛性和稳定性。更重要的是,本文做出了三个方法上的贡献:1)提出了一个全面和新颖的描述众包系统状态,包括时空和容量信息的众包和请求; 2)嵌入的启发式,利用状态表示提供的信息,并基于直观的推理来指导具体的行动,以保持易处理性和提高培训效率; 3)集成规则插入,避免路由改进时重复访问相同的路由和节点序列,通过加速学习进一步提高训练效率。通过大量的数值分析证明了该方法的有效性。结果表明,DRL训练中的策略指导动作选择和规则插入带来的好处,以及所提出的方法在解决方案质量,时间和可扩展性方面优于现有的策略。除了提高众包运营规划效率的潜力外,该方法还为车辆路径环境中的其他问题提供了新的途径和通用框架。
2020-11-29 cs.AI cs.LG
Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces
CyberAgent(赛博agent公司);RIKEN(理化学研究所)
本文将 Mamba 框架集成到 Decision Transformer 中提出 Decision Mamba,通过在多种决策环境中的实验验证其能提升序贯决策性能。
2024-03-29 cs.AI cs.LG
Skill-based Multi-objective Reinforcement Learning of Industrial Robot Tasks with Planning and Knowledge Integration
Lund University(隆德大学);University of Patras(帕特雷大学);Stanford University(斯坦福大学)
在现代化的小批量工业环境中,为新任务设置机器人系统应该很容易。策略是存在的,例如技能的使用,但当涉及到处理力和扭矩时,这些系统往往不足。我们介绍了一种方法,它提供了一个组合的任务级规划与有针对性的学习,基于技能的系统的具体参数。我们提出了以下管道:(1)用户以规划语言PDDL提供任务目标,(2)规划(即,技能序列)被生成并且技能的可学习参数被自动识别。然后,操作员为学习过程选择(3)奖励函数和超参数。我们的方法的两个方面是至关重要的:(a)学习是紧密结合的知识框架,以支持符号规划,并提供先验的学习,(b)使用多目标优化。这有助于平衡关键绩效指标(KPI),例如安全和任务绩效,因为它们通常会相互影响。我们采用多目标贝叶斯优化方法,并在模拟中完全学习。我们证明了我们的方法的有效性和多功能性,通过学习两个不同的接触丰富的任务的技能参数。我们展示了他们的成功执行一个真正的7自由度KUKA-iiwa机械手和优于人工参数化的人类机器人操作员。
2022-03-18 cs.LG cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra(庞培法布拉大学);PyTorch Team, Meta(Meta PyTorch团队);ICREA, Universitat Pompeu Fabra(ICREA、庞培法布拉大学)
本文提出BricksRL平台,通过将乐高机器人与TorchRL库对接,实现现实世界中自定义乐高机器人的创建、设计与训练,支持GPU强化学习训练,提供灵活经济的扩展方案,助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory(Simula研究所)
强化学习(RL)智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此,训练代理是数据密集型的,并且不能保证学习到的行为是安全的,并且不违反环境规则,这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内,RL代理可以自由地适应和探索,从而不会妨碍其解决给定问题的有效性。然而,一旦RL代理离开由约束定义的空间,外部模型可以提供指导,使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点,并进行实验的两个案例研究:一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明,约束指导既提供了可靠性的提高和更安全的行为,以及加速培训。
2021-04-24 cs.AI cs.LG
A Game Theoretical Framework for the Evaluation of Unmanned Aircraft Systems Airspace Integration Concepts
预测将无人机系统(UAS)集成到国家航空航天(NAS)中的结果是一个复杂的问题,在允许UAS常规访问NAS之前,需要通过仿真研究来解决。本论文的重点是提供二维和三维仿真框架,使用博弈论方法来评估集成概念的情况下,有人驾驶和无人驾驶飞行器共存。文献中的根本差距是有人驾驶和无人驾驶飞行器之间的相互作用模型是不够的:a)它们假设飞行员的行为是先验已知的,b)它们忽略了决策过程。这项工作的贡献是提出了一个建模框架,其中,人类飞行员的反应建模使用强化学习和一个游戏理论的概念,称为k级推理,以填补这一空白。k级推理的概念是基于人类具有不同决策水平的假设。强化学习是一种植根于人类学习的数学学习方法。在这项工作中,一个经典的和一个近似的强化学习(神经拟合Q迭代)方法被用来模拟飞行员的时间扩展决策与二维和三维机动。无人机集成的分析进行了使用示例场景中存在的有人驾驶飞机和全自主无人机配备感测和避免算法。
2019-04-17 cs.LG cs.RO stat.ML
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London(帝国理工学院)
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明,演化计算算法在该领域也取得了成功,表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库,但没有公开可用的库将这两种方法结合起来以增强比较,合作或可视化。为此,我们创建了Pearl(https://github.com/LondonNode/Pearl),这是一个开源Python库,旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括:模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
Deep reinforcement learning for complex evaluation of one-loop diagrams in quantum field theory
Washington University in St. Louis(圣路易斯华盛顿大学);Silicon Austria Labs GmbH(奥地利硅实验室有限公司)
在本文中,我们提出了一种基于深度强化学习的新技术,该技术允许在量子场论的单圈图中经常遇到的积分的数值解析延拓。为了提取一定数量的两点函数,如谱密度,质量极点或多粒子阈值,有必要进行相关器的解析延拓。在欧氏空间中的单圈水平,这导致必须在圈动量的平方的复平面中变形圈积分的积分轮廓,以避免在积分平面中的非解析性。使用一个玩具模型,其精确的解决方案是已知的,我们训练强化学习代理执行所需的轮廓变形。我们的研究表明,在复杂的域中,用于计算非微扰2点函数的迭代数值方法中部署的代理有很大的希望,例如夸克传播子Dyson-Schwinger方程,或者更一般地说,第二类Fredholm方程。
2019-12-27 cs.LG hep-ph physics.comp-ph
`Next Generation' Reservoir Computing: an Empirical Data-Driven Expression of Dynamical Equations in Time-Stepping Form
Cooperative Institute for Research in Environmental Sciences(环境科学合作研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);Physical Sciences Laboratory(物理科学实验室);National Oceanic and Atmospheric Administration(美国国家海洋和大气管理局);University of California San Diego(加利福尼亚大学圣迭戈分校)
应用基于非线性向量自回归(NVAR)的下一代储备池计算来模拟简单的动态系统模型,并与数值积分方案(例如Euler和$2^\text{nd}$阶龙格库塔)进行比较。结果表明,NVAR仿真器可以被解释为一个数据驱动的方法,用于恢复的数值积分方案,产生的数据。它还表明,该方法可以扩展到直接从数据产生高阶数值方案。在训练集中的噪声和时间稀疏的存在的影响,进一步检查,以衡量这种方法的潜在用途更现实的应用。
2022-01-13 cs.LG cs.NA math.DS
Integration of Multi-Mode Preference into Home Energy Management System Using Deep Reinforcement Learning
Dept. of Electrical and Computer Engineering(电气与计算机工程系);FAMU-FSU College of Engineering(弗吉尼亚州立大学工程学院);Florida State University(佛罗里达州立大学)
本文提出多模式DRL-HEMS框架,通过无模型单智能体深度强化学习算法嵌入动态消费者偏好,优化家庭能耗并增强需求响应参与度,在真实数据下表现优异且计算效率超越MILP算法。
2025-05-02 cs.LG cs.SY eess.SY
The Synergy Between Optimal Transport Theory and Multi-Agent Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院);Stanford University(斯坦福大学)
本文系统梳理OT理论与MARL的融合路径,从策略对齐、资源管理、非平稳性、可扩展学习和能效五方面阐明其协同价值。
2024-01-24 cs.LG cs.MA cs.SY