Managing Autonomous Mobility on Demand Systems for Better Passenger Experience
University of California, Irvine(加州大学尔湾分校)
自动按需移动系统虽然仍处于起步阶段,但在不久的将来为城市人口提供可持续和安全的个人移动性方面具有非常广阔的前景。虽然已经对自动驾驶汽车和按需移动系统进行了大量研究,但据我们所知,这是第一项展示如何管理自动驾驶按需移动系统以获得更好乘客体验的工作。我们介绍了扩展和目标算法,它可以很容易地集成到三个不同的调度策略调度自动驾驶车辆。我们实现了一个基于代理的仿真平台,并实证评估所提出的方法与纽约市出租车数据。实验结果表明,该算法显著改善了乘客的体验,减少了乘客的平均等待时间高达29.82%,提高了行程成功率高达7.65%。
2015-07-09 cs.AI cs.MA
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University(华盛顿州立大学)
强化学习(RL)虽然通常功能强大,但学习速度较慢,特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法,可以自主分解任务,利用关联规则挖掘,发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL(Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习)。它提取强化学习中子目标的时间和结构关系,以及多任务强化学习。特别是,它找到了子目标和它们之间的关系。实验结果表明,该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
An Online Mechanism for Ridesharing in Autonomous Mobility-on-Demand Systems
University of California, Irvine(加州大学欧文分校);Masdar Institute of Science and Technology(马斯达尔科学技术研究所)
在适当的管理下,自主移动按需(AMoD)系统通过提供安全,方便和负担得起的拼车服务,具有满足城市人口交通需求的巨大潜力。同时,这些系统可以大大减少私家车的拥有和使用,从而大大减少交通拥堵、能源消耗和碳排放。为了实现这一目标,AMoD系统需要关于乘客需求的私人信息。然而,由于自身利益,乘客不太可能在这方面与服务提供者合作。因此,在线机制是可取的,如果它激励乘客如实报告他们的实际需求。为了促进拼车,我们在此介绍了一个发布价格,集成的在线拼车机制(IORS),满足期望的属性,如事后激励兼容性,个人理性,和公平平衡。数值结果表明,IORS的竞争力相比,两个基准,即最优分配和离线,拍卖为基础的机制。
2017-03-02 cs.AI cs.GT
TrajGPT-R: Generating Urban Mobility Trajectory with Reinforcement Learning-Enhanced Generative Pre-trained Transformer
The University of Tokyo(东京大学);Toyota Motor Corporation(丰田汽车公司)
TrajGPT-R通过强化学习增强的生成式预训练变换器生成城市移动轨迹,提升了轨迹生成的可靠性和多样性,为交通管理和城市规划提供支持。
2026-02-24 cs.AI cs.LG
A New Era of Mobility: Exploring Digital Twin Applications in Autonomous Vehicular Systems
Tennessee Tech University(田纳西理工大学)
本文系统综述了数字孪生在自动驾驶车辆行业中的应用,分析其基本特征、核心技术、方法比较及应用挑战,强调其在提升性能和可靠性方面的作用。
2023-05-09 cs.AI cs.NI
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory(Simula研究实验室)
众所周知,自动驾驶汽车容易受到对抗攻击的攻击,这些攻击可能危及汽车的安全,并对其他道路使用者构成危险。为了有效地防御对手,不仅需要测试自动驾驶汽车以发现驾驶错误,还需要提高汽车对这些错误的鲁棒性。为此,在本文中,我们提出了一种自动驾驶汽车的两步方法,包括(i)通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态,以及(ii)通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车,在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略,以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明,对抗性测试可用于发现错误的自动驾驶行为,然后进行对抗性训练,以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明,使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de(法兰克福大学vsi.cs(vsi.cs.uni-frankfurt.de));cs.uni-frankfurt.de(法兰克福大学计算机科学系(cs.uni-frankfurt.de))
使用深度强化学习(DRL)可以成为处理(模拟)自动驾驶领域各种任务的一种有前途的方法。然而,最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体(DSA ^2),一个软件,用于验证DRL算法在更常见的驾驶环境的基础上,人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务,同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München(慕尼黑工业大学)
在这项工作中,我们研究应用强化学习两个著名的决策困境,即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外,我们认为,一个纽科姆式的配方是更充分的人机交互的情况下,经验表明,未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan(密歇根大学)
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先,我们研究了表格环境下的Q-学习算法,并将其成功地应用于OpenAi Gym环境Taxi。其次,我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三,我们还研究了强化学习在自动驾驶中的应用,以及与安全检查约束(安全控制器)的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体,并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Spatial-Temporal Interplay in Human Mobility: A Hierarchical Reinforcement Learning Approach with Hypergraph Representation
University of Macau(澳门大学);Northeast Normal University(东北师范大学);Dalian Maritime University(大连海事大学)
针对人类移动中时空权衡的个体差异,提出STI-HRL层次强化学习框架,结合超图嵌入捕捉时空交互,在真实数据集上超越现有方法。
2023-12-25 cs.AI cs.CY cs.LG
A deep reinforcement learning approach to assess the low-altitude airspace capacity for urban air mobility
University of Maryland(马里兰大学);University of Tehran(德黑兰大学);Sharif University of Technology(谢里夫理工大学)
城市空中交通是一种新的交通方式,旨在通过利用低空空域提供快速和安全的旅行方式。如果不实施新的飞行规则,就无法实现这一目标,新的飞行规则可以确保为大量垂直起飞/降落的飞行器安全有效地分配飞行路径。这些规则还应允许为规划目的估计低空空域的有效容量。路径规划是城市空中机动中的一个重要课题,它可以使大量的无人机在空域中同时飞行而不会面临碰撞的风险。由于城市空中交通是一个新概念,当局仍在努力编辑适用于城市空中交通的新飞行规则。在这项研究中,自主无人机路径规划框架,提出了使用深度强化学习方法和深度确定性策略梯度算法。其目标是使用一个自我训练的无人机,在任何环境中,通过调整其加速度在尽可能短的时间内到达目的地。它应避免与任何动态或静态障碍物发生碰撞,并避免进入其路径上存在的优先许可区。因此,两种不同的奖励函数组合进行比较,并选择组合部署训练无人机通过编码的RL算法在Python中。最后,数值模拟研究了无人机在不同情况下的成功率,提供了有效空域容量的估计。
2023-01-23 cs.AI cs.RO eess.SP
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法,在保证安全和路线准确性的前提下,使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Spatio-Temporal Split Learning for Autonomous Aerial Surveillance using Urban Air Mobility (UAM) Networks
Korea University(高丽大学);Hallym University(翰林大学);Ajou University(亚洲大学);UC-Irvine(加州大学尔湾分校)
部署了自动监视无人机(UAV),以观察城市街道上的任何可疑活动。本文利用监视无人机的目的是检测在街道上的火灾的存在。从无人机监视无人机收集广泛的数据库。在人工智能(AI)的帮助下,消防站可以迅速识别附近出现的火灾。时空分裂学习应用到这种情况下,以保护隐私和全球训练火灾分类模型。火灾是一种危险的自然灾害,可以迅速蔓延。需要迅速识别火灾,以部署消防员到现场。为此,需要在UAV与进行深度学习过程的中央服务器之间进行强有力的通信。提高通信复原力是加强道路安全体验的一个组成部分。因此,本文探讨了足够数量的客户端和数据比率,在这种无人机设置的分裂学习,以及所需的网络基础设施。
2021-11-15 cs.AI cs.CV cs.NI
Offline Reinforcement Learning for Mobility Robustness Optimization
Ericsson Research(爱立信研究)
本研究探索使用离线强化学习方法(Decision Transformers和Conservative Q-Learning)学习最优小区个体偏移调整以优化移动鲁棒性,在3500 MHz New Radio网络中比传统规则方法提升达7%,并支持多目标函数训练。
2025-06-28 cs.AI cs.NI cs.PF
Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning
University of Twente(特文特大学);Jönköping University(延雪平大学)
检测和维护是工业管道设备的两个关键方面。虽然机器人技术在管道检测机器人的机械设计方面取得了巨大的进步,但由于执行器数量多和所需的复杂操纵,这种机器人的自主控制仍然是一个巨大的挑战。为了解决这个问题,我们研究了深度强化学习的使用,以实现复杂拓扑结构的管道网络中的管道机器人的自主导航。此外,我们引入了一个分层的策略分解的基础上分层强化学习学习强大的高层次的导航技能。我们表明,在政策中引入的层次结构是通过管道解决导航任务的基础,实现导航性能优于人类水平的控制是必要的。
2021-07-08 cs.AI cs.RO
A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University(浙江大学)
随着工业的发展,无人机出现在各个领域。近年来,深度强化学习在游戏领域取得了令人瞩目的成绩,我们致力于将深度强化学习算法应用于机器人领域,将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发,决定在强化学习领域进行一次大胆的尝试,来控制无人机。目前,将强化学习算法应用于机器人控制的工作还比较缺乏,与机器人控制相关的物理仿真平台只适合于经典算法的验证,不适合接入强化学习算法进行训练。在本文中,我们将面对这个问题,弥合物理仿真平台和智能代理之间的差距,将智能代理连接到物理仿真平台,让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台(ROS-RL)的强化学习框架,并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性,基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA(美国本田研究所)
强化学习已经取得了许多进展,但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证,但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架,并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统,结合高效逼真的驾驶模拟器,在自动驾驶领域进行大规模实验,证明策略性能随规模提升,最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Virtual to Real Reinforcement Learning for Autonomous Driving
University of California, Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
强化学习被认为是驱动策略学习的一个有前途的方向。然而,在真实环境中使用强化学习训练自动驾驶车辆涉及不可负担的试错。更希望首先在虚拟环境中进行训练,然后转移到真实环境中。在本文中,我们提出了一种新的现实翻译网络,使在虚拟环境中训练的模型在现实世界中是可行的。该网络可以将非真实感的虚拟图像转换为具有相似场景结构的真实图像。以真实帧为输入,通过强化学习训练的驾驶策略可以很好地适应现实世界的驾驶。实验表明,我们提出的虚拟现实(VR)的强化学习(RL)工作得很好。据我们所知,这是第一个通过强化学习训练驾驶策略的成功案例,可以适应真实世界的驾驶数据。
2017-09-26 cs.AI cs.CV
Towards More Efficient Shared Autonomous Mobility: A Learning-Based Fleet Repositioning Approach
University of California, Irvine(加利福尼亚大学尔湾分校);University of Connecticut(康涅狄格大学)
本文提出一种基于强化学习的集成系统-智能体再定位(ISR)方法,用于共享自主出行服务中的车队再定位,无需显式需求预测,可显著减少乘客等待时间并具有良好的可迁移性。
2024-02-08 cs.AI cs.CY cs.SY
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen(不来梅大学)
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态,以加速和转向命令给定的目标,达到一个特定的目标状态,同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此,考虑了停车场的自主探索,包括转弯机动和避障。总而言之,这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning
Chongqing University(重庆大学);Chongqing University Three Gorges Hospital(重庆大学三峡医院)
决策模块使自主车辆能够在复杂的城市环境中,特别是在交叉路口的情况下达到适当的机动。提出了一种基于深度强化学习(DRL)的无人驾驶汽车无信号交叉口左转决策框架。研究的目标是在一个四向无信号交叉口的自动车辆进行高效和安全的左转机动。已开发的DRL方法包括深度Q学习(DQL)和双DQL。仿真结果表明,该决策策略能有效降低碰撞率,提高传输效率。本研究亦显示所建构之左转控制结构具有良好之即时性。
2022-12-21 cs.AI cs.LG
Fine-grained acceleration control for autonomous intersection management using deep reinforcement learning
Dept. of Computer Science University of California, Irvine(计算机科学系 加州大学尔湾分校)
本文利用信任区域策略优化方法,实现自动驾驶车辆在网格街道中的细粒度加速控制,以达成全局管理目标。
2017-05-30 cs.AI cs.RO cs.SY
A Reinforcement Learning Benchmark for Autonomous Driving in Intersection Scenarios
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,城市交叉口控制成为一个新兴的研究课题.在这种情况下,自动驾驶汽车面临着复杂的情况,因为它必须在遵守交通规则的同时及时处理与社会车辆的交互。通常,自动驾驶车辆应该在追求更高效率的同时避免碰撞。现有的工作未能提供一个框架,强调场景的完整性,同时能够部署和测试强化学习(RL)方法。具体来说,我们提出了一个基准,在复杂的交叉路口场景中,这是所谓的RL-CIS的训练和测试基于RL的自动驾驶代理。然后,部署了一组由各种算法组成的基线。测试基准和基线是为交叉口场景下的自动驾驶RL研究提供一个公平、全面的训练和测试平台,推动基于RL的交叉口自动驾驶控制方法的发展。我们提出的框架的代码可以在https://github.com/liuyuqi123/ComplexUrbanScenarios上找到。
2021-09-22 cs.AI cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology(代尔夫特理工大学)
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制,我们可以确保基于学习的控制律为整个系统提供闭环稳定性,并可能提高深度强化学习的采样效率。通过强化学习,我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中,使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London(伦敦帝国理工学院);University of Bristol(布里斯托尔大学)
近几十年来,手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点,可以为患者提供更短的恢复时间和更短的住院时间。然而,目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中,存在大量重复但简单的操作,这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明,该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Tradeoffs When Considering Deep Reinforcement Learning for Contingency Management in Advanced Air Mobility
NASA Langley Research Center(NASA兰利研究中心)
本文研究先进空中交通中应急管理问题,将深度强化学习与经典方法进行对比,从性能、验证难度和开发过程等方面分析其权衡。
2024-06-28 cs.AI cs.LG
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology(SRM科学技术研究所)
在这项工作中,我们提出了一个严格的端到端的自动驾驶汽车控制策略,旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器,该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构,并制作了一种新颖的奖励函数来训练深度神经网络策略,以便在不到20小时的时间内自主驾驶(使用模仿学习)和比赛(使用强化学习)一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能,比最佳手动圈速快了0.96秒,而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation
University of Maryland, Baltimore County (UMBC)(马里兰大学巴尔的摩郡分校(UMBC))
本文利用深度Q学习算法,在CARLA仿真环境中训练自动驾驶策略,使车辆能以最高速度保持车道并避开其他车辆,并通过仿真验证了该方法的有效性。
2023-06-20 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta(阿尔伯塔大学)
在本文中,我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习(RL)来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先,所提出的算法确保了冲突永远不会发生,因此加快了学习过程。其次,该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体(如汽车和行人)的不可预测行为,并使马尔可夫决策过程(MDP)在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Fleet Rebalancing for Expanding Shared e-Mobility Systems: A Multi-agent Deep Reinforcement Learning Approach
University of Exeter(埃克塞特大学);The Alan Turing Institute(阿兰·图灵研究所);University of Warwick(华威大学);Tongji University(同济大学);University of Leeds(利兹大学);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
针对扩展中的共享电动出行系统,提出一种考虑续航与充电约束的多智能体深度强化学习车队再平衡方法,通过高保真模拟与动作级联策略优化,显著提升需求满足率和净收入。
2022-11-11 cs.AI cs.LG cs.SY
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所));Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略,证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University(斯坦福大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
强化学习(RL)有望使不同的智能体自主获取复杂的行为。然而,当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是,在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化,这挫败了自主获得复杂行为的目标。在这项工作中,我们提出了价值加速的持久性强化学习(VaPRL),它生成一个初始状态的课程,使代理可以引导成功的简单任务,有效地学习更难的任务。智能体还学习达到课程提出的初始状态,最大限度地减少对人类干预学习的依赖。我们观察到,VaPRL减少了三个数量级相比,情节RL所需的干预,同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
Data-Driven H-infinity Control with a Real-Time and Efficient Reinforcement Learning Algorithm: An Application to Autonomous Mobility-on-Demand Systems
University of Minnesota(明尼苏达大学)
提出一种无模型、数据高效的 Q 学习 H∞ 控制算法,将计算复杂度从 O(q̲³) 降至 O(q̲²),无需初始稳定策略,并在自主出行按需系统中验证有效性。
2023-09-16 cs.AI cs.LG cs.SY
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete(克里特理工大学);University of Malta(马耳他大学)
在这项工作中,被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法,该方法对环境模型和系统动态进行假设。相反,这项工作提出了基于强化学习的驱动策略的发展。通过这种方式,所提出的驾驶策略对环境做出最小假设或不做假设,因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知,这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略,首先,通过动态规划推导出的最优策略进行比较,其次,其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后,一些初步的结果,自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG