Self-driving scale car trained by Deep reinforcement learning
North China University of Technology(北方工业大学)
基于深度强化学习的自动驾驶,作为人工智能最重要的应用,已经成为热门话题。目前的自动驾驶方法大多集中在如何直接从原始感知数据中学习端到端的自动驾驶控制策略。本质上,这种控制策略可以被认为是图像和驾驶行为之间的映射,通常面临泛化能力低的问题。为了提高驾驶行为的泛化能力,强化学习方法需要来自真实环境的外部奖励,这可能会损坏汽车。为了在安全性方面获得良好的泛化能力,利用Unity设计了一个可以构建不同驾驶场景的虚拟仿真环境。在虚拟仿真环境中建立了理论模型并进行了分析,采用双Deep Q网络对其进行了训练。然后,将训练好的模型迁移到现实世界中的比例车上。这个过程也称为sim2real方法。sim2real训练方法有效地解决了这两个问题。仿真和实验结果验证了该算法的性能和有效性。最后,证明了在现实世界中的规模汽车获得自主驾驶的能力。
2019-12-04 cs.AI cs.LG cs.SY
A Lifetime Extended Energy Management Strategy for Fuel Cell Hybrid Electric Vehicles via Self-Learning Fuzzy Reinforcement Learning
建模难度大、模型时变、外部输入不确定是燃料电池混合动力汽车能量管理面临的主要挑战。为降低燃料电池混合动力汽车的燃油消耗,维持电池的长期运行,延长燃料电池系统的使用寿命,提出了一种基于模糊强化学习的能量管理策略。模糊Q学习是一种无模型强化学习,它可以通过与环境的交互来自我学习,因此不需要对燃料电池系统进行建模。此外,燃料电池的频繁启动将减少燃料电池系统的剩余使用寿命。该方法通过在强化学习的奖励中考虑对燃料电池启动次数的惩罚来抑制燃料电池的频繁启动。此外,应用模糊逻辑来近似Q-学习中的价值函数,可以解决连续状态和动作空间问题。最后,基于Python的训练测试平台验证了该方法在初始状态变化、模型变化和驾驶条件变化情况下的有效性和自学习能力的提高。
2023-02-13 cs.AI cs.LG cs.SY
CropGym: a Reinforcement Learning Environment for Crop Management
Wageningen University and Research(瓦赫宁根大学及研究中心)
氮肥对环境有不利影响,可以通过优化肥料管理策略来减少。我们实现了一个OpenAI Gym环境,其中强化学习代理可以使用基于过程的作物生长模型来学习施肥管理政策,并确定减少环境影响的政策。在我们的环境中,一个代理训练的近端策略优化算法是更成功地减少环境影响比其他基线代理,我们目前。
2021-04-23 cs.LG
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University(俄亥俄州立大学)
针对强化学习在自动驾驶中样本效率低、探索不足的问题,提出结合基于规则的次优换道控制器与SAC算法引导智能体训练,提升了驾驶性能与学习效率,且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Driver Assistance Eco-driving and Transmission Control with Deep Reinforcement Learning
Clemson University(克莱姆森大学);Allison Transmission Inc.(艾里逊变速箱公司)
随着减少能源消耗和温室气体排放的需求日益增长,生态驾驶战略为交通运输部门寻求的其他技术解决方案提供了额外节省燃料的重要机会。本文提出了一种无模型的深度强化学习(RL)控制代理,用于主动生态驾驶辅助,将燃料消耗与其他驾驶员适应目标进行权衡,并从经验中学习最佳牵引扭矩和变速器换档策略。所提出的RL代理的训练方案使用了一个离线策略的演员-评论家架构,该架构迭代地进行策略评估,并使用混合动作空间的最大后验策略优化算法进行多步返回和策略改进。建议的生态驾驶RL代理实现的商业车辆在汽车跟随交通。与完全了解燃油效率表的基准控制器相比,它在最大限度地减少燃油消耗方面表现出卓越的性能。
2022-12-15 cs.AI cs.LG cs.SY
Quality of service based radar resource management using deep reinforcement learning
智能雷达资源管理是认知雷达系统发展的重要里程碑。基于服务质量的资源分配模型(Q-RAM)是一个框架,允许智能决策,但经典的解决方案似乎不足以在现代雷达系统的实时应用。在本文中,我们提出了一种使用深度强化学习的Q-RAM雷达资源管理问题的解决方案,大大提高了运行时性能。
2020-10-20 cs.LG eess.SP
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology(北京理工大学);Delft University of Technology(代尔夫特理工大学)
基于深度强化学习的能量管理策略(EMS)已成为混合动力汽车(HEV)的一种有前途的解决方案。当行驶工况发生变化时,需要对神经网络进行重新训练,这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习(DRL)与迁移学习结合起来,可以将一个领域的知识迁移到另一个新领域,使新领域的网络快速达到收敛值。在迁移学习过程中,比较了不同的DRL探索方法,包括加入动作空间噪声和参数空间噪声。结果表明,加入参数空间噪声的神经网络比其他神经网络更稳定,收敛速度更快。总之,可转移EMS的最佳探索方法是在参数空间中添加噪声,而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
Deep Reinforcement Learning for Robust Goal-Based Wealth Management
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing(电气工程与计算学院)
本文提出一种基于深度强化学习的稳健目标型财富管理新方法,在模拟与历史市场数据上均优于多个基准。
2023-07-25 cs.LG q-fin.PM
Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework
University of Kansas(堪萨斯大学);Amazon Web Services(亚马逊云科技)
本文提出了一种多智能体深度强化学习(DRL)框架,用于自主控制和可再生能源资源集成到智能电网系统中。特别是,拟议的框架共同考虑需求响应(DR)和分布式能源管理(DEM)的住宅终端用户。DR在提高电网稳定性和可靠性方面具有广泛的潜力,同时可以减少最终用户的能源账单。然而,传统的DR技术有几个缺点,如无法处理操作的不确定性,同时招致最终用户的负效用,这阻止了在现实世界中的应用广泛采用。所提出的框架通过基于使用深度强化学习实现的实时定价策略实现DR和DEM来解决这些缺点。此外,该框架使得电网服务提供商能够利用分布式能源(即,光伏屋顶板和电池存储)作为可调度资产,在高峰时段支持智能电网,从而实现分布式能源的管理。基于深度Q网络(DQN)的仿真结果表明,生产消费者和电网服务提供商的24小时累计利润显着改善,以及电网备用发电机的利用率大幅降低。
2022-11-29 cs.LG cs.MA cs.SY
Optimizing Nitrogen Management with Deep Reinforcement Learning and Crop Simulations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
氮素管理对于维持土壤肥力和作物生产至关重要,同时最大限度地减少负面环境影响,但优化具有挑战性。本文提出了一个智能氮管理系统,使用深度强化学习(RL)和作物模拟与农业技术转让决策支持系统(DSSAT)。我们首先将N管理问题表述为RL问题。然后,我们训练管理策略与深度Q网络和软演员评论家算法,以及Gym-DSSAT接口,允许模拟作物环境和RL代理之间的日常互动。根据在美国爱荷华州和佛罗里达州的玉米作物上的实验,我们的RL训练的政策通过在使用更少的肥料的情况下获得更高或相似的产量而优于先前的经验方法
2022-04-21 cs.LG
Storehouse: a Reinforcement Learning Environment for Optimizing Warehouse Management
Vicomtech(维康科技);Politecnico di Milano(米兰理工大学)
由于新的数据智能技术,仓库管理系统一直在发展和改进。然而,当前的许多优化都已应用于特定情况或非常需要手动交互。这就是强化学习技术发挥作用的地方,为当前的优化策略提供自动化和适应性。在本文中,我们提出了Storehouse,一个可定制的环境,概括了强化学习的仓库模拟的定义。我们还验证了这种环境对国家的最先进的强化学习算法,并比较这些结果与人类和随机的政策。
2022-07-21 cs.AI cs.LG
Transferred Energy Management Strategies for Hybrid Electric Vehicles Based on Driving Conditions Recognition
Chongqing University(重庆大学);Tsinghua University(清华大学)
能量管理策略是混合动力汽车的重要组成部分,它决定着混合动力汽车的节能减排潜力。提出了一种基于强化学习方法和工况识别相结合的并联混合动力汽车传递能量管理系统。首先,利用马尔可夫决策过程和转移概率矩阵来区分驾驶条件。然后,制定强化学习算法,以实现功率分配控制,其中Q表是由当前的驾驶情况调整。最后,在一个并行混合拓扑结构中对所提出的转换框架进行了评估和验证。总结并证明了该算法在计算效率和燃油经济性方面的优势。
2020-07-16 cs.LG eess.SP
Human-like Energy Management Based on Deep Reinforcement Learning and Historical Driving Experiences
Chongqing University(重庆大学);Chongqing Normal University(重庆师范大学);Chongqing University Three Gorges Hospital(重庆大学附属三峡医院)
本文面向混合动力电动汽车提出融合DDPG、DP专家轨迹与驾驶员历史数据的类人能量管理框架,并通过实验验证其燃油经济性、收敛性与适应性。
2023-09-26 cs.AI cs.LG cs.SY
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology(佐治亚理工学院);CableLabs, Inc.(CableLabs公司)
提出了一种基于强化学习的下一代以太网无源光网络(NG-EPON)智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟,这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology(代尔夫特理工大学);Utrecht University(乌特勒支大学)
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题,发现专门方法在实际应用中优于现有MORL算法,揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Benchmarking Robustness of Deep Reinforcement Learning approaches to Online Portfolio Management
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);LUSIS(LUSIS公司)
本文提出了一套训练与评估流程,系统评测经典深度强化学习算法在在线投资组合管理中的鲁棒性,发现多数算法泛化能力差且在回测中快速退化。
2023-06-19 cs.LG q-fin.PM
CLIP-RLDrive: Human-Aligned Autonomous Driving via CLIP-Based Reward Shaping in Reinforcement Learning
Concordia University(康考迪亚大学)
本文提出CLIP-RLDrive框架,通过CLIP视觉语言模型构建基于视觉与文本线索的奖励模型,将自动驾驶决策与人类偏好对齐,解决了复杂城市场景中手动设计强化学习奖励模型的难题。
2024-12-17 cs.AI cs.LG cs.RO
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University(成均馆大学)
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储,成本低于购买和维护大型主机。在本文中,我们研究将强化学习(RL)应用于系统域问题是否可行。实验结果表明,RL模型在解决块管理问题上具有可比性,甚至优于其他算法。然而,我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用,但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
A Hierarchical Architecture for Sequential Decision-Making in Autonomous Driving using Deep Reinforcement Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
战术决策是先进驾驶系统的一个关键特征,它包含了几个挑战,例如不确定环境的复杂性和自主系统的可靠性。在这项工作中,我们开发了一个多模态架构,包括环境建模的自我周围和训练一个深度强化学习(DRL)代理,产生一致的性能在随机高速公路驾驶场景。为此,我们将自我周围的占用网格馈送到DRL代理中,并获得高级顺序命令(即车道变换)以将其发送到较低级别的控制器。我们将证明,将自动驾驶问题划分为多层控制架构,使我们能够利用人工智能的力量来单独解决每一层,并实现可接受的可靠性得分。与端到端方法相比,这种架构使我们能够最终获得一个更可靠的系统,可以在实际的自动驾驶汽车中实现。
2019-06-20 cs.AI cs.LG cs.RO
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
A Centralised Soft Actor Critic Deep Reinforcement Learning Approach to District Demand Side Management through CityLearn
University College Dublin(都柏林大学学院)
强化学习是一个有前途的无模型和自适应控制器的需求侧管理,作为未来智能电网的一部分,在地区一级。本文介绍了为CityLearn Challenge提交的算法的结果,该挑战于2020年初举办,旨在设计和调整强化学习代理,以平坦化和平滑不同建筑物区域的电力需求汇总曲线。所提出的解决方案使用能够处理连续动作空间的集中式“Soft Actor Critic”深度强化学习代理在挑战中获得第二名。控制器能够在包括不同建筑物和气候的挑战数据集上实现0.967的平均分数。这突出了深度强化学习作为即插即用型控制器的潜在应用,该控制器能够处理不同的气候和异质建筑存量,用于建筑物的区域需求侧管理。
2020-09-22 cs.LG stat.ML
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统,结合高效逼真的驾驶模拟器,在自动驾驶领域进行大规模实验,证明策略性能随规模提升,最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Optimizing Dialogue Management with Reinforcement Learning: Experiments with the NJFun System
Syntek Capital(辛泰克资本);University of Pittsburgh(匹兹堡大学);University of Pennsylvania(宾夕法尼亚大学)
设计口语对话系统的对话策略涉及许多重要的选择。本文提出了一种用于自动优化对话策略的强化学习方法,该方法解决了将强化学习应用于与人类用户的工作对话系统的技术挑战。我们报告的设计,建设和实证评估NJFun,实验口语对话系统,为用户提供有关有趣的事情在新泽西州做的信息。我们的研究结果表明,通过强化学习优化其性能,NJFun显著提高了系统性能。
2011-06-03 cs.AI cs.LG
Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
自动驾驶近年来取得了重大进展,但自动驾驶汽车仍无法应对可能发生事故的高风险情况。在这种近乎事故的情况下,即使车辆动作的微小变化也可能导致截然不同的后果。为了避免在接近事故的情况下采取不安全的行动,我们需要充分探索环境。然而,强化学习(RL)和模仿学习(IL),两种广泛使用的策略学习方法,不能建模快速相变,并且不可扩展以完全覆盖所有状态。为了解决在接近事故的情况下驾驶,我们提出了一个分层强化和模仿学习(H-ReIL)的方法,包括低级别的政策学习的IL离散驾驶模式,和一个高级别的政策学习的RL之间切换不同的驾驶模式。我们的方法通过将IL和RL集成到一个统一的学习框架中,利用了IL和RL的优势。实验结果和用户研究表明,我们的方法可以实现更高的效率和安全性相比,其他方法。对策略的分析表明,在接近事故驾驶的情况下,我们的高层策略在不同的低层策略之间进行了适当的切换。
2020-07-01 cs.AI cs.LG cs.RO
MARLIM: Multi-Agent Reinforcement Learning for Inventory Management
École Polytechnique(巴黎综合理工学院);TotalEnergies OneTech(道达尔能源OneTech)
本文提出名为MARLIM的强化学习框架,通过单或多智能体协作优化补货决策,解决具有随机需求和提前期的单级多产品供应链库存管理问题,并在真实数据实验中展现出优于传统基线的优势。
2023-08-03 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Solving Management Problems: Towards A Large Management Mode
Random Seed Inc.(随机种子公司);Wuhan Institute for Artificial Intelligence(武汉人工智能研究院);Guanghua School of Management, Peking University(北京大学光华管理学院);Xiangjiang Laboratory(湘江实验室);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文提出统一的深度强化学习框架,通过生成式基础决策模型协调库存、定价与推荐等管理任务,并验证其优于启发式方法。
2024-03-01 cs.AI cs.LG
Reinforcement Learning with Intrinsic Affinity for Personalized Prosperity Management
Sparebank 1 SR-Bank;Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
将强化学习(RL)应用于资产管理的共同目的是利润最大化。用于学习最优策略的外部奖励函数通常不考虑任何其他偏好或约束。我们已经开发了一种正则化方法,该方法确保策略具有全局内在亲和力,即,不同的个性可能对某些资产具有偏好,这些偏好可能随时间而改变。我们利用这些内在的政策亲和力,使我们的强化学习模型内在地可解释。我们演示了如何可以训练RL代理,以协调这种个人政策,为特定的个性配置文件,仍然实现高回报。
2022-07-27 cs.AI cs.LG
A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology(谢里夫理工大学)
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法,使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过,但据我们所知,这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明,平均而言,我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Explainable AI for Radar Resource Management: Modified LIME in Deep Reinforcement Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
本文提出了一种将深度学习集成到采样过程的改进LIME方法(DL-LIME),应用于雷达资源管理的深度强化学习中,以解决传统LIME忽略特征相关性的问题,并在保真度、任务性能及决策因素洞察上展现优越性。
2025-06-26 cs.LG
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.(Nuro公司)
本文提出CIMRL框架,结合模仿学习和强化学习,利用模仿先验与安全约束在仿真中训练驾驶策略,无需复杂奖励设计,在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University(南洋理工大学);Indian Institute of Technological(印度技术学院);Indian Institute of Technology(印度理工学院)
提出将车道保持建模为约束强化学习,自动学习权重系数,免去场景特定调整,实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Deep Reinforcement Learning for Shared Autonomous Vehicles (SAV) Fleet Management
Virginia Polytechnic(弗吉尼亚理工学院)
共享自动驾驶汽车(SAV)车队公司正在全国范围内启动试点项目。2020年,弗吉尼亚州费尔法克斯宣布了弗吉尼亚州首个共享自动驾驶车队试点项目。SAV承诺改善生活质量。然而,SAV也会产生额外的车辆行驶里程(VMT),从而导致更多的排放,能源消耗和排放,从而产生一些负外部性。过多的VMT主要是通过空重定位过程产生的。基于强化学习的算法正在被研究,作为解决其中一些问题的可能解决方案:最明显的是最大限度地减少乘客的等待时间。但是,还没有研究使用强化学习减少停车位成本或减少空巡航时间。本研究探讨不同的\textbf {强化学习方法,然后决定最佳的方法,以帮助减少乘客等待时间,停车成本和空行程
2022-01-15 cs.LG cs.RO
Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making
Horizon Robotics, inc.(地平线机器人技术有限公司(Horizon Robotics, inc.))
战术驾驶决策对于自动驾驶系统至关重要,近年来引起了人们的极大兴趣。在本文中,我们提出了几个实用的组件,可以加速深度强化学习算法对战术决策任务:1)非均匀动作跳过作为一个更稳定的替代动作重复跳帧,2)计数器为基础的惩罚车道上的自我车辆有较少的路权,和3)启发式推理时间动作掩蔽明显不受欢迎的行动。我们在一个现实的驾驶模拟器中评估所提出的组件,并将它们与几个基线进行比较。结果表明,该方案提供了优越的性能,在安全性,效率和舒适性。
2018-02-01 cs.AI cs.LG
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US(美国本田研究所);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(DRL)为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而,识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中,我们表明,明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架,结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外,我们通过图神经网络(GNNs)对不同车辆之间的影响进行建模。与最先进的基线方法相比,所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
ApolloRL: a Reinforcement Learning Platform for Autonomous Driving
Baidu Apollo Autonomous Driving(百度阿波罗自动驾驶);University of Cambridge(剑桥大学)
我们介绍ApolloRL,这是一个用于自动驾驶强化学习研究的开放平台。该平台提供了一个完整的闭环管道,包括培训,模拟和评估组件。它配备了300小时的驾驶场景和流行的基线,如近端策略优化(PPO)和软Actor-Critic(SAC)代理的真实数据。我们在本文中阐述的架构和平台中定义的环境。此外,我们还讨论了基线代理在ApolloRL环境中的性能。
2022-01-29 cs.LG cs.RO stat.ML
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Battery Management in Dairy Farming via Proximal Policy Optimization
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院);Atlantic Technological University(大西洋理工大学)
本文将深度强化学习算法PPO应用于奶牛场电池管理,利用真实数据优化可再生能源利用,结果显示其在减少电网购电方面较Q-learning提升1.62%。
2024-07-01 cs.AI cs.LG
AutoGrid AI: Deep Reinforcement Learning Framework for Autonomous Microgrid Management
Electrical and Computer Engineering(电气与计算机工程);University of Toronto(多伦多大学);Industrial Engineering(工业工程);Staff Applied Research Scientist(应用研究科学家);RBC Borealis
本研究提出面向偏远社区自治微电网管理的AutoGrid AI深度强化学习框架,结合Transformer预测与PPO智能体优化调度,相比传统方法能效和韧性显著提升,还开源了多环境仿真框架,助力零碳智能电网发展。
2025-09-03 cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving
Nanyang Technological University(南洋理工大学)
强化学习(Reinforcement learning,RL)需要巧妙的定义和大量的计算工作来解决优化和控制问题,这可能会影响其应用前景。将人类指导引入强化学习是提高学习性能的一种有前途的方法。本文建立了一个综合的基于人的指导的强化学习框架。为了提高强化学习算法的效率和性能,提出了一种适应强化学习过程中人工指导的经验优先回放机制.为了减轻人类参与者的繁重工作量,基于增量式在线学习方法建立行为模型来模仿人类行为。我们设计了两个具有挑战性的自动驾驶任务来评估所提出的算法。通过实验研究了该算法的训练和测试性能以及学习机制。对国家的最先进的方法的比较结果表明,我们的算法在学习效率,性能和鲁棒性方面的优势。
2022-11-29 cs.LG cs.RO
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
A Novel Neuromorphic Processors Realization of Spiking Deep Reinforcement Learning for Portfolio Management
Amirkabir University of Technology(阿米尔卡比尔理工大学)
不断将资金重新分配到金融资产中,旨在增加投资的预期回报并最大限度地降低风险的过程被称为投资组合管理。投资组合管理的处理速度和能耗已变得至关重要,因为其现实世界应用的复杂性越来越多地涉及高维观察和行动空间以及环境不确定性,而其有限的机载资源无法抵消这些因素。受人类大脑启发的新兴神经形态芯片将处理速度提高了1000倍,并将功耗降低了几个数量级。本文提出了一种尖峰深度强化学习(SDRL)算法,该算法可以根据不可预测的环境预测金融市场,并实现定义的盈利和风险降低的投资组合管理目标。该算法针对英特尔的Loihi神经形态处理器进行了优化,与竞争对手相比,能耗分别降低了186倍和516倍。此外,高端处理器和GPU的速度分别提高了1.3倍和2.0倍。这些评估是在2016年至2021年的基准加密货币市场上进行的。
2022-03-26 cs.AR cs.LG
Towards a Standardized Reinforcement Learning Framework for AAM Contingency Management
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本研究将AAM应急管理问题表述为马尔可夫决策过程并集成到AAM-Gym框架中,为强化学习算法的快速原型化与评估提供了社区基准及基线性能指标。
2023-11-17 cs.AI cs.LG
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete(克里特理工大学);University of Malta(马耳他大学)
在这项工作中,被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法,该方法对环境模型和系统动态进行假设。相反,这项工作提出了基于强化学习的驱动策略的发展。通过这种方式,所提出的驾驶策略对环境做出最小假设或不做假设,因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知,这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略,首先,通过动态规划推导出的最优策略进行比较,其次,其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后,一些初步的结果,自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
A General Framework on Enhancing Portfolio Management with Reinforcement Learning
Columbia University(哥伦比亚大学)
本文提出一个支持连续权重、卖空和特征决策的通用强化学习资产管理框架,并比较 PGAC、PPO 和 ES 在含交易成本模拟环境中的表现,以提升现实投资组合管理的适用性。
2023-10-27 cs.LG q-fin.PM
Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning
Syracuse University(雪城大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学)
本文研究自动驾驶行为决策问题,采用DQN和PPO两种深度强化学习方法并改进奖励函数设计,实验证明其决策策略在多种驾驶任务中优于传统基于规则的方法。
2024-12-27 cs.LG
Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev(本-古里安大学)
自动驾驶汽车(AV)开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而,人类控制的车辆可能会在未来几十年内继续在道路上行驶,并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中,自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧,以实现顺畅的交通流。为了生成自动化的类人驾驶策略,我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟(Unity)。我们的控制算法从两个来源接收随机反馈信号:模型驱动的部分,编码简单的驾驶规则,如车道保持和速度控制,和随机的,数据驱动的部分,结合人类的专家知识,从驾驶数据。为了评估机器和人类驾驶之间的相似性,我们将轨道位置和速度的分布建模为高斯过程。我们证明,我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
Cryptocurrency Portfolio Management with Reinforcement Learning: Soft Actor--Critic and Deep Deterministic Policy Gradient Algorithms
Department of Mathematics, Tafresh University, Tafresh, Iran(数学系,塔夫什尔大学,塔夫什尔,伊朗)
本文提出基于SAC和DDPG算法的加密货币投资组合管理框架,通过强化学习优化投资组合权重,提升市场波动下的收益与风险控制能力。
2025-11-16 cs.LG q-fin.CP
Driving Reinforcement Learning with Models
imperial.ac.uk(帝国理工学院(注:原文本中此处可能为邮箱域名,非明确机构,根据提取规则应忽略))
在本文中,我们提出了一种新的方法来补充强化学习(RL)与基于模型的控制(特别是,模型预测控制- MPC)。我们介绍了一种算法,MPC增强RL(MPRL),结合RL和MPC在一个新的方式,使他们可以增强对方的优势。我们证明了MPRL的有效性,让它发挥对雅达利游戏乒乓。对于这项任务,结果强调了MPRL如何能够在单独使用时优于RL和MPC。
2020-02-26 cs.AI cs.LG
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Empirical Analysis of AI-based Energy Management in Electric Vehicles: A Case Study on Reinforcement Learning
Jilin University(吉林大学)
基于强化学习(RL)的能量管理策略(EMS)被认为是具有多个电源的电动汽车的能量管理的有前途的解决方案。它已被证明优于传统的方法,在能源管理问题的节能和实时性能。然而,以前的研究并没有系统地研究基于RL的EMS的基本要素。本文提出了一种基于RL的EMS在插电式混合动力电动汽车(PHEV)和燃料电池电动汽车(FCEV)的实证分析。从算法、感知和决策粒度、超参数和奖励函数四个方面进行了实证分析。结果表明,与其他算法相比,Off-policy算法有效地开发了一个更省油的解决方案在完整的驾驶循环。提高感知和决策粒度并不会产生更理想的节能解决方案,但会更好地平衡电池电量和燃料消耗。基于瞬时荷电状态(SOC)变化的等效能量优化目标是参数敏感的,并且可以帮助RL-EMS实现更有效的能量成本策略。
2022-12-18 cs.AI cs.LG
Optimizing Crop Management with Reinforcement Learning and Imitation Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Tasmania(塔斯马尼亚大学);Stockholm University(斯德哥尔摩大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
作物管理包括氮肥运筹和灌溉管理,对作物产量、经济效益和环境有着重要的影响。虽然有管理指南,但在特定的种植环境和作物下,找到最佳管理做法是一项挑战。以前的工作使用强化学习(RL)和作物模拟器来解决这个问题,但经过训练的策略要么性能有限,要么无法在现实世界中部署。在本文中,我们提出了一个智能作物管理系统,优化氮肥和灌溉同时通过RL,模仿学习(IL),作物模拟使用农业技术转移决策支持系统(DSSAT)。我们首先使用深度RL,特别是深度Q网络,来训练管理策略,这些策略需要来自模拟器的所有状态信息作为观测(表示为完整观测)。然后,我们调用IL来训练管理策略,这些策略只需要有限的状态信息,这些信息可以通过模仿先前RL训练的策略在完全观察下的动作在现实世界中容易地获得(表示为部分观察)。我们在佛罗里达州使用玉米的案例研究进行实验,并在模拟中将训练的政策与玉米管理指南进行比较。我们在完全和部分观测下训练的策略都能获得更好的结果,从而获得更高的利润或类似的利润,同时对环境的影响更小。此外,部分观测管理策略可直接部署在现实世界中,因为它们使用现成的信息。
2023-02-27 cs.AI cs.LG
A SWAT-based Reinforcement Learning Framework for Crop Management
Emory University(埃默里大学);Michigan State University(密歇根州立大学);Sandia National Laboratories(桑迪亚国家实验室);IBM Research(IBM研究院);IBM Corporate Social Responsibility(IBM企业社会责任部门);Texas A&M AgriLife(德克萨斯A&M农业生命科学机构)
作物管理是在一个复杂的、高度不确定的环境中进行的一系列重要的、相互依赖的决策或行动,这些决策或行动表现出明显的时空变化。面对气候变化、供应减少和价格飙升,管理化肥和灌溉等资源投入是一项艰巨的任务。机器学习有效查询复杂、非线性和高维数据集的能力可以彻底改变农业决策。在本文中,我们介绍了一个强化学习(RL)的环境,利用动态的土壤和水评估工具(SWAT),使管理实践进行评估和评估的流域水平。这大大节省了时间和资源,否则将在一个完整的生长季节部署。我们认为作物管理是一个优化问题,其目标是生产更高的作物产量,同时最大限度地减少外部农业投入(特别是肥料和灌溉量)的使用。这个问题自然受到环境因素的影响,如降水、太阳辐射、温度和土壤含水量。我们展示了我们的框架的实用性,通过开发和基准测试各种决策代理的管理策略,由标准的农业实践和最先进的RL算法。
2023-02-10 cs.LG