Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而，仍有一些关键挑战需要解决，以提供更可靠的政策。在本文中，我们提出了一个通用的风险意识的DQN方法，以学习高层次的行动，通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息，其允许用于多车道场景。此外，我们提出了一个基于风险的奖励函数，它惩罚有风险的情况，而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络，并学习更可靠的策略，在具有挑战性的情况下更安全。所提出的方法的效率相比，与传统的碰撞为基础的奖励计划，也与基于规则的交叉口导航政策的DQN学习。评估结果表明，所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作，并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning
Chongqing University（重庆大学）；Chongqing University Three Gorges Hospital（重庆大学三峡医院）
决策模块使自主车辆能够在复杂的城市环境中，特别是在交叉路口的情况下达到适当的机动。提出了一种基于深度强化学习（DRL）的无人驾驶汽车无信号交叉口左转决策框架。研究的目标是在一个四向无信号交叉口的自动车辆进行高效和安全的左转机动。已开发的DRL方法包括深度Q学习（DQL）和双DQL。仿真结果表明，该决策策略能有效降低碰撞率，提高传输效率。本研究亦显示所建构之左转控制结构具有良好之即时性。
2022-12-21 cs.AI cs.LG
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
推荐系统中的一个主要挑战是处理新用户，他们也被称为$\textit{cold-start}$用户。在本文中，我们提出了一种新的方法来学习一系列最佳的问题，以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题，以创建用户简档，从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的，但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
Navigating Occluded Intersections with Autonomous Vehicles using Deep Reinforcement Learning
The University of Pennsylvania（宾夕法尼亚大学）；The University of Virginia（弗吉尼亚大学）；Honda Research Institute（本田研究所）；The Georgia Institute of Technology（佐治亚理工学院）
提供一个有效的策略来安全地通过无信号交叉口是一项艰巨的任务，需要确定其他驾驶员的意图。我们探索深度强化学习处理交集问题的有效性。利用深度强化学习的最新进展，我们能够学习在包括任务完成时间和目标成功率在内的几个指标上超过常用启发式方法性能的策略，并且推广能力有限。然后，我们探索系统的能力，学习主动感知行为，使导航安全的情况下闭塞。我们的分析，提供了深入了解的交叉处理问题，解决方案的网络学习指出了目前的基于规则的方法的几个缺点，我们目前的深度强化学习系统的失败指向未来的研究方向。
2018-02-27 cs.AI cs.RO
Reinforcement Learning with Uncertainty Estimation for Tactical Decision-Making in Intersections
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；AI Innovation of Sweden（瑞典人工智能创新中心）；Zenuity AB（泽努伊提股份有限公司）
本文研究了如何贝叶斯强化学习方法可以用来创建一个战术决策代理自动驾驶在交叉路口的情况下，代理可以估计其推荐的行动的信心。一个神经网络的合奏，与额外的随机先验函数（RPF），通过使用自举经验重放存储器进行训练。在估计的$Q$ -值的合奏成员的变异系数被用来近似的不确定性，和一个标准，确定代理是否有足够的信心，使一个特定的决定被引入。集成RPF方法的性能进行了评估，在交叉口的情况下，并与标准的深度Q网络方法。结果表明，经过训练的集合RPF代理可以检测具有高不确定性的情况下，无论是在远离训练分布的情况下，还是在训练分布内很少发生的情况下。在这项研究中，不确定性信息用于在未知情况下选择安全的动作，这将消除训练分布内的所有碰撞，以及分布外的大多数碰撞。
2020-06-17 cs.AI cs.LG cs.RO
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg（弗莱堡大学）
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变，其影响是，我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益，例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理，这是交通中的一个重要瓶颈，使用智能交通信号或完全自动化的车辆。然而，如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中，我们提出了一种新的方法来优化混合交通情况下的交叉口交通流，使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略，让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权，让位给其他车辆，以优化交通流量。我们实现了我们的方法，并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明，我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置，也提供了更好的性能在广泛的交通情况相比，国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
A Reinforcement Learning Benchmark for Autonomous Driving in Intersection Scenarios
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，城市交叉口控制成为一个新兴的研究课题.在这种情况下，自动驾驶汽车面临着复杂的情况，因为它必须在遵守交通规则的同时及时处理与社会车辆的交互。通常，自动驾驶车辆应该在追求更高效率的同时避免碰撞。现有的工作未能提供一个框架，强调场景的完整性，同时能够部署和测试强化学习（RL）方法。具体来说，我们提出了一个基准，在复杂的交叉路口场景中，这是所谓的RL-CIS的训练和测试基于RL的自动驾驶代理。然后，部署了一组由各种算法组成的基线。测试基准和基线是为交叉口场景下的自动驾驶RL研究提供一个公平、全面的训练和测试平台，推动基于RL的交叉口自动驾驶控制方法的发展。我们提出的框架的代码可以在https://github.com/liuyuqi123/ComplexUrbanScenarios上找到。
2021-09-22 cs.AI cs.RO
Multi-task Safe Reinforcement Learning for Navigating Intersections in Dense Traffic
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Automation and Electrical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）
多任务交叉路口导航，包括无保护的左转，右转，直行在密集的交通仍然是一个具有挑战性的任务，自动驾驶。对于人类驾驶员来说，与其他交互车辆的协商技能是保证安全和效率的关键。然而，它是很难平衡的安全性和效率的自主车辆的多任务交叉口导航。在本文中，我们制定了一个多任务安全的强化学习与社会关注，以提高安全性和效率时，与其他交通参与者。具体而言，社会关注模块用于关注协商车辆的状态。此外，在多任务强化学习框架中增加了安全层，以保证协商的安全性。我们在仿真器SUMO与丰富的交通流和CARLA与高保真车辆模型的实验比较，这两个都表明，该算法可以提高安全性与一致的交通效率的多任务交叉口导航。
2022-02-19 cs.AI cs.RO
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University（厄兹耶金大学）；Istinye University（伊斯坦布尔阿依登大学）
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍，需要开发现代和更有效的控制方法。通过这种方式，强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面，它们成为突出的方法，因为算法使用它们过去的经验来学习最优策略。在这项研究中，三个强化学习算法; DDPG，TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的，能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中，这三种算法的效率和速度进行了分析，在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Learning Interpretable Models of Aircraft Handling Behaviour by Reinforcement Learning from Human Feedback
University of Bristol（布里斯托大学）
本文提出利用人类偏好反馈的强化学习学习可解释的奖励树模型，以捕捉飞行员操纵能力并训练智能体，实验证明其性能可与神经网络奖励模型竞争。
2023-05-26 cs.AI
Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）
本文通过引入可学习约束扩展安全探索方法ATACOM，解决安全强化学习中任务特定安全约束难以获取、长期安全性难以预见及不确定性问题，在保持训练安全性的同时实现优异最终性能。
2024-09-23 cs.LG cs.RO
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Fine-grained acceleration control for autonomous intersection management using deep reinforcement learning
Dept. of Computer Science University of California, Irvine（计算机科学系 加州大学尔湾分校）
本文利用信任区域策略优化方法，实现自动驾驶车辆在网格街道中的细粒度加速控制，以达成全局管理目标。
2017-05-30 cs.AI cs.RO cs.SY
Learning When to Drive in Intersections by Combining Reinforcement Learning and Model Predictive Control
Zenuity AB（泽纽蒂公司）；Chalmers University of Technology（查尔姆斯理工大学）；AI Innovation of Sweden（瑞典人工智能创新中心）
在本文中，我们提出了一个决策算法，旨在自动车辆谈判与其他可能的非自动车辆在十字路口。决策算法分为两个部分：基于强化学习的高层决策模块和基于模型预测控制的底层规划模块。交通模拟与许多预定义的驾驶员的行为和意图，和所提出的决策算法的性能进行了评估对另一个控制器。结果表明，所提出的决策算法产生更短的训练集和提高性能的成功率相比，其他控制器。
2019-08-01 cs.AI cs.LG cs.RO
Eco-driving for Electric Connected Vehicles at Signalized Intersections: A Parameterized Reinforcement Learning approach
Southeast University（东南大学）；Tibet University（西藏大学）
本文提出一种基于参数化强化学习的电动网联车辆生态驾驶框架，通过构建MDP联合优化交叉口附近的跟驰与换道行为，在SUMO仿真中显著降低能耗且不干扰人类驾驶车辆。
2022-10-07 cs.AI cs.RO
Handling Delay in Real-Time Reinforcement Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Calgary（卡尔加里大学）；IBM Research（IBM研究院）；University of Cambridge（剑桥大学）；CIFAR AI Chair（加拿大高级研究院人工智能主席项目）
针对实时强化学习中因网络计算导致的观测延迟问题，提出利用时间跳跃连接结合历史增强观测的方法，在保持网络表达能力的同时有效降低延迟，并在多种环境和硬件上验证了其强劲性能与推理加速效果。
2025-03-30 cs.AI cs.LG cs.RO
A Distributed Approach to Autonomous Intersection Management via Multi-Agent Reinforcement Learning
University of Padova（帕多瓦大学）
针对自主交叉路口管理（AIM）依赖昂贵集中式服务器的问题，提出一种基于多智能体强化学习（MARL）和3D环视技术的分布式方法，并引入优先场景回放策略提升训练效率，在SMARTS平台上验证了其优于基准的性能。
2024-09-24 cs.AI cs.RO
Distributed traffic light control at uncoupled intersections with real-world topology by deep reinforcement learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ZF Friedrichshafen AG（采埃孚股份公司）；University of Freiburg（弗莱堡大学）
这项工作探讨了与当地现实世界的拓扑结构和传感器设置对交通灯控制方法的解耦交叉口的影响。控制方法的评价方面：交通流量，燃料消耗和噪声排放在交叉口。描述了腓特烈港的真实路网，对路网进行了预处理，并从状态空间和行为空间两个方面对现有的交通灯控制交叉口进行了建模。不同的策略，包含固定时间，基于间隙和基于时间的控制方法，以及我们的深度强化学习为基础的控制方法，实施和评估。我们的新DRL方法允许建模的TLC动作空间，相对于相位选择以及选择的过渡时间。结果发现，现实世界的拓扑结构，从而不规则排列的交叉口的交通灯控制方法的性能有影响。这甚至可以在相同的交叉类型（n臂，m相）中观察到。此外，我们可以证明，这些影响可以有效地处理我们的深度强化学习为基础的控制方法。
2018-11-27 cs.AI
Multi-agent Reinforcement Learning for Dynamic Dispatching in Material Handling Systems
Hitachi America Ltd.（日立美国有限公司）；JR Automation Collaboration Project（JR自动化合作项目）；Industrial A.I. Lab.（工业人工智能实验室）
本文提出一种多智能体强化学习方法学习动态调度策略，通过集成启发式领域知识增强探索，在物料搬运系统中吞吐量中位数最高提升7.4%，并验证了架构影响及迭代训练的进一步提升效果。
2024-09-27 cs.AI cs.LG cs.MA
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种无模型强化学习方法，用于控制模拟交通网络中的混合自主交通，该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解，允许分散控制的基础上，对任意数量的受控车辆的本地观测。我们证明，即使没有奖励塑造，强化学习也能学会协调车辆，使其表现出类似交通信号灯的行为，在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下，我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
对于自动驾驶汽车来说，有效的行为规划对于确保自我汽车的安全至关重要。在许多城市场景中，很难创建足够通用的启发式规则，特别是对于一些新的人类驾驶员发现困难的挑战性场景。在这项工作中，我们提出了一种基于强化学习（RL）的行为规划结构，它能够在模拟城市环境中进行分层结构的自主车辆行为规划。分层结构的应用允许满足行为规划系统的各个层。我们的算法可以比基于规则的方法更好地执行选择性决策，例如何时在相反方向接近的车辆之间左转，或者由于车道阻塞或在自我汽车前面的延迟而接近交叉路口时可能变道。这种行为很难评估为正确或不正确，但对于一些积极的专家人类驾驶员来说，他们可以有效和快速地处理这种情况。另一方面，与传统的强化学习方法相比，由于在训练过程中使用了混合奖励机制和启发式探索，我们的算法具有更高的样本效率。结果还表明，该方法比传统的RL方法更快地收敛到最优策略。
2020-11-09 cs.AI cs.RO
Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University（麦克马斯特大学）
本研究用深度强化学习（DQN）调控信号和车辆行为，发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突，提升交通安全。
2024-05-29 cs.AI cs.LG
Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
Singapore Management University（新加坡管理大学）；Rutgers University（罗格斯大学）
本文提出CoSHRL机制，结合上层受约束搜索智能体与低层目标条件RL智能体，解决长时复杂安全约束决策问题，支持成本分布约束且无需重训即可调整阈值。
2024-01-09 cs.AI cs.LG
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
强化学习（RL）最近在各个领域取得了巨大的成功。然而，奖励函数的设计需要详细的领域专业知识和繁琐的微调，以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而，稀疏奖励本身就代表了一个挑战，通常会导致智能体的训练失败。因此，在本文中，我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造，而不使用昂贵的人类示范，这也将适用于广泛的领域。因此，我们建议使用模型预测控制~（MPC）作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造，我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外，我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明，MPC作为一个经验源，提高了代理的学习过程中，对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
AttendLight: Universal Attention-Based Reinforcement Learning Model for Traffic Signal Control
SAS Institute Inc.（SAS公司）
我们提出AttendLight，一个端到端的强化学习（RL）算法的交通信号控制问题。以前的方法，这个问题的缺点是，他们需要训练每个新的交叉口与不同的结构或交通流分布。AttendLight通过为具有任意数量的道路、车道、相位（可能的信号）和交通流的交叉口训练单个通用模型来解决这个问题。为此，我们提出了一个深度强化学习模型，其中包含两个注意力模型。第一个注意力模型被引入到处理不同数量的道路车道，和第二个注意力模型的目的是使决策与任何数量的相位在一个交叉口。因此，我们提出的模型适用于任何交叉配置，只要在训练集中表示类似的配置。实验进行了合成和真实世界的标准基准数据集。我们的结果显示，覆盖交叉口与三个或四个接近的道路;单向/双向道路与一个，两个和三个车道;不同数量的阶段;和不同的交通流量。我们考虑两种制度：（i）单一环境的培训，单一的部署，和（ii）多环境的培训，多部署。AttendLight在这两种机制的所有情况下都优于经典和其他基于RL的方法。
2020-10-12 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Large-Scale Mixed-Traffic and Intersection Control using Multi-agent Reinforcement Learning
Department of Civil and Coastal Engineering at University of Florida（佛罗里达大学土木与海岸工程系）；Department of Computer Science at University of Memphis（密苏里大学计算机科学系）；Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee（田纳西大学电子工程与计算机科学系）
本文提出去中心化多智能体强化学习方法，用于交通信号与机器人车辆共存的大规模混合交通控制，并在14个真实交叉口验证其效率提升。
2025-07-26 cs.LG cs.MA
Automatic Intersection Management in Mixed Traffic Using Reinforcement Learning and Graph Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
本研究提出基于强化学习和图场景表示的协作多智能体规划方法，用于解决混合交通中的自动交叉口管理问题，显著提升了车辆通行量并减少了交互延误。
2023-07-28 cs.LG cs.RO
HARL: A Novel Hierachical Adversary Reinforcement Learning for Automoumous Intersection Management
Tsinghua University（清华大学）
作为一种新兴技术，互联自动驾驶汽车（CAV）被认为能够通过有效的车辆到一切（V2X）通信和全球观察，以更快，更安全的方式通过交叉路口。交叉口自主管理是实现交叉口高效过街的关键途径，通过对每辆CAV的自适应决策过程，减少不必要的减速和停车，实现交叉口空间的充分利用。分布式强化学习（DRL）为AIM提供了一种灵活的端到端模型，适用于许多交叉口场景。而DRL在复杂的交互过程中，由于多个参与方的行为都是从一个通用的策略中采样的，容易发生冲突，限制了DRL在现实场景中的应用。为了解决这个问题，我们提出了一个层次化的强化学习框架，其中不同层次的模型在接受范围、动作步长和奖励反馈周期方面有所不同。上层模型对CAV进行加速以避免冲突，下层模型对上层模型的趋势进行调整以避免移动状态的变化引起新的冲突。CAV在每一步的实际行动都由两个层次的趋势共同决定，在对抗过程中形成实时平衡。在一个4支路4车道的复杂交叉口上进行的实验表明，该模型是有效的，并显示出更好的性能与基线相比。
2022-07-23 cs.MA cs.RO
Analyzing Behaviors of Mixed Traffic via Reinforcement Learning at Unsignalized Intersections
本报告利用强化学习分析无信号交叉口机器人车辆与人类驾驶车辆的混合交通行为，重点考察多模态分布、相关性及影响排队长度的因果因素。
2023-11-21 cs.CY cs.LG cs.RO
Multi-Agent Reinforcement Learning for Deadlock Handling among Autonomous Mobile Robots
本文研究多智能体强化学习在自主移动机器人内部物流死锁处理中的应用，提出集成 MARL 的结构化方法，并通过实验证明 PPO 和 IMPALA 结合 CTDE 在复杂拥挤环境中优于传统规则方法。
2025-11-10 cs.MA cs.RO
IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
MIT（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
针对多智能体上下文强化学习缺乏标准化基准的问题，本文提出基于城市生态驾驶的IntersectionZoo基准套件，利用美国10个城市16,334个交叉口生成100万个交通场景，并证明现有流行算法在CRL设置中泛化困难。
2024-10-19 cs.AI cs.LG cs.MA
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Valeo Driving Assistance Research Valeo.ai（法雷奥驾驶辅助研究法雷奥人工智能）
强化学习（RL）旨在从自己的实验中学习最优行为策略，而不是基于规则的控制方法。然而，目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术，创造了隐含的启示，有效地利用RL的城市驾驶，从而包括车道保持，行人和车辆回避，交通灯检测。据我们所知，我们是第一个提出一个成功的RL代理处理这样一个复杂的任务，特别是关于交通灯检测。此外，我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
Risk-Aware Reinforcement Learning for Autonomous Driving: Improving Safety When Driving through Intersection
School of Automotive Studies, Tongji University（同济大学汽车学院）；Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University（香港理工大学航空及航空工程系）
本文提出一种风险感知强化学习框架，通过安全评论家、拉格朗日投影及混合注意力机制，提升自动驾驶在无信号交叉路口的通行安全与效率。
2025-03-27 cs.RO
Tensor-based Cooperative Control for Large Scale Multi-intersection Traffic Signal Using Deep Reinforcement Learning and Imitation Learning
Tsinghua University（清华大学）
交通信号控制一直被认为是智能交通系统中的一个重要课题。大多数现有的学习方法主要集中在孤立的交叉点，并遭受效率低下的训练。针对大规模多交叉口交通信号协同控制问题，建立了一种基于端到端学习的协同控制模型，并提出了相应的有效训练方法。在该模型中，输入的交通状态在多个交叉口表示为一个张量，这不仅显着降低了维数比使用单一的矩阵，但也避免了信息丢失。在输出端，控制策略采用多维布尔向量表示信号状态是否发生变化，简化了表示形式，符合实际相位变化规律。该模型采用多任务学习结构，通过学习获得协作策略。与单纯用强化学习对模型进行训练不同，我们采用模仿学习将基于规则的模型与神经网络结合起来进行预训练，从而提供了一个可靠的、令人满意的阶段解，并大大加快了收敛速度。然后，采用强化学习方法继续进行精细训练，并结合近端策略优化算法解决多维输出情况下的策略崩溃问题。在数值实验中，所提出的模型的优点与相关的国家的最先进的方法进行了比较。
2019-09-30 cs.LG stat.ML
Neighbor-Aware Reinforcement Learning for Mixed Traffic Optimization in Large-scale Networks
University of Tennessee（田纳西大学）
本文提出一种邻域感知强化学习框架，通过奖励机制协调多交叉口混合交通，实现RV均衡分布，在真实网络中平均等待时间较单交叉口策略降低39.2%。
2024-12-17 cs.LG cs.SY eess.SY
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Autonomous Driving at Unsignalized Intersections: A Review of Decision-Making Challenges and Reinforcement Learning-Based Solutions
University of Waterloo（滑铁卢大学）；Watonomous（滑铁卢自动驾驶团队）
本文综述了无信号交叉口自动驾驶的决策挑战，聚焦于结合强化学习与深度学习的穿越策略算法，通过比较分析指出尚无鲁棒方案，并提出了兼顾安全与非过度谨慎的可行研究方向。
2024-09-20 cs.RO cs.SY eess.SY
Unicorn: A Universal and Collaborative Reinforcement Learning Approach Towards Generalizable Network-Wide Traffic Signal Control
Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）；State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；Cisco-NUS Accelerated Digital Economy Corporate Laboratory（Cisco-NUS加速数字经济企业实验室）
本文提出Unicorn框架，通过统一状态动作映射、通用交通表示和对比学习提升交通信号控制的适应性与协作性，解决复杂交通网络的可扩展优化问题。
2026-03-25 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Iterative Reachability Estimation for Safe Reinforcement Learning
UC San Diego（加州大学圣迭戈分校）
本文提出RESPO框架，通过可达性估计在随机环境中实现安全约束强化学习，在可行集内优化奖励、在可行集外保证最小违规进入可行集，并证明算法几乎必然收敛到局部最优策略，在多个安全RL环境中验证了其优于基线方法的奖励性能与安全性。
2023-09-24 cs.AI cs.LG cs.RO
Bayesian Critique-Tune-Based Reinforcement Learning with Adaptive Pressure for Multi-Intersection Traffic Signal Control
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）
本文提出BCT-APLight方法，通过贝叶斯批判-调优框架和自适应压力机制改进多路口交通信号控制中的强化学习策略，在七个真实数据集上显著降低队列长度和等待时间。
2024-12-25 cs.AI cs.LG cs.MA
A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction
Beihang University（北京航空航天大学）
当今的智能交通灯控制系统是根据当前的道路交通状况进行交通调节的。然而，这些方法不能提前利用未来的交通信息。针对多交叉口智能交通控制系统的交通拥堵问题，提出了一种结合图神经网络（GNN）的深度强化学习（DRL）算法GPlight。在GPlight中，首先使用图神经网络（GNN）来预测交叉口的未来短期交通流。然后，将交通流预测结果用于交通灯控制，智能体将预测结果与观测到的当前交通状况相结合，动态控制交叉口交通灯的相位和时长。在杭州和纽约的模拟数据集和真实数据集上的实验验证了GPlight算法的有效性和合理性。
2020-09-29 cs.LG
Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections
University of California at Riverside（加州大学河滨分校）；Beijing Jiaotong University（北京交通大学）
利用车联网（V2X）通信和自动驾驶技术，互联和自动驾驶汽车正迅速成为许多交通问题的变革性解决方案之一。然而，在信号交叉口的混合交通环境中，考虑到交通系统的复杂性和不确定性，如何提高整体吞吐量和能量效率仍然是一个具有挑战性的任务。在这项研究中，我们提出了一个混合强化学习（HRL）框架，该框架结合了基于规则的策略和深度强化学习（深度RL），以支持在混合交通信号交叉口连接生态驾驶。视觉感知方法与车辆到基础设施（V2 I）通信相结合，以在混合连接的交通中实现更高的移动性和能源效率。HRL框架有三个组成部分：一个基于规则的驾驶管理器，用于操作基于规则的策略和RL策略之间的协作;一个多流神经网络，用于提取视觉和V2 I信息的隐藏特征;以及一个基于RL的深度策略网络，用于生成纵向和横向的生态驾驶行为。为了评估我们的方法，我们开发了一个基于Unity的模拟器，并设计了一个混合交通路口的情况。此外，几个基线实施，以比较我们的新设计，并进行了数值试验，以测试的HRL模式的性能。实验表明，我们的HRL方法可以减少能源消耗的12.70%，节省11.75%的旅行时间相比，最先进的基于模型的生态驾驶方法。
2022-01-28 cs.LG cs.SY eess.SY
Learning Dexterous Bimanual Catch Skills through Adversarial-Cooperative Heterogeneous-Agent Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对双手机器人抓取的协调控制难题，提出基于HARL的对抗-合作框架，让投掷智能体动态增加难度、抓取智能体学习双手协作，并在15种物体仿真中取得约2倍于单智能体基线的奖励。
2025-02-17 cs.AI cs.RO
ADORN: Adaptive Drift handling for Open RAN using Reinforcement Learning
Indian Institute of Technology Dharwad, Karnataka, India（印度理工学院达拉德分校）；University of Pretoria, Pretoria, South Africa（南非彼得里亚大学）；Johns Hopkins University, USA（约翰霍普金斯大学）；Stockholm University, Sweden（斯德哥尔摩大学）；Open Networking Advanced Research (OpNeAR) Lab, The University of Texas at Dallas, TX, USA（开放网络高级研究实验室，德克萨斯大学达拉斯分校）
针对开放式无线接入网络中因动态流量变化导致的模型性能下降问题，提出基于Q学习的自适应重新训练方法，通过将决策制定为马尔可夫决策过程，结合多专家长短期记忆集成，有效降低重新训练开销并维持系统性能。
2026-07-10 cs.AI cs.NI
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Goal-conditioned Hierarchical Reinforcement Learning for Sample-efficient and Safe Autonomous Driving at Intersections
提出一种带目标条件碰撞预测模块的分层强化学习框架，通过高层选择安全子目标、低层执行运动规划，实现交叉路口场景下更高效、更安全的自动驾驶。
2025-06-19 cs.MA cs.RO
Adaptive Decision Making at the Intersection for Autonomous Vehicles Based on Skill Discovery
Beijing Institute of Technology（北京理工大学）
在城市环境中，复杂和不确定的交叉口场景对自动驾驶具有挑战性。为了确保安全性，开发一个能够处理与其他车辆交互的自适应决策系统至关重要。手动设计的基于模型的方法在常见情况下是可靠的。但在不确定环境中，它们是不可靠的，因此提出了基于学习的方法，特别是强化学习（RL）方法。然而，当前的RL方法需要重新训练时，场景发生变化。换句话说，目前的RL方法不能重用积累的知识。当新的场景出现时，他们会忘记所学的知识。为了解决这个问题，我们提出了一个分层的框架，可以自主积累和重用知识。该方法结合了运动基元（MP）和分层强化学习（HRL）的思想。它将复杂问题分解为多个基本子任务，以降低难度。基于CARLA仿真器，在一个具有挑战性的交叉口场景中对所提出的方法和其他基线方法进行了测试。交叉口场景包含三个不同的子任务，可以反映实际交通流的复杂性和不确定性。经过离线学习和测试，该方法被证明是所有方法中性能最好的。
2022-07-24 cs.AI cs.RO
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
Ben-Gurion University of the Negev（内盖夫本古里安大学）
针对无信号交叉口自动驾驶车辆协调难题提出MAPS分层DRL架构，主智能体生成编码全局策略的原型计划，工作智能体结合局部观测执行控制。实验表明MAPS能实现无碰撞导航、减少行驶时间，且原型计划泛化能力强。
2026-07-24 cs.AI cs.LG cs.MA
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning-based Cooperative Autonomous Driving in Smart Intersections
本文提出以路侧单元为中心的协同驾驶系统，采用CQL+BC离线预训练与MAPPO在线微调的两阶段混合强化学习框架，在CARLA中实现复杂交叉口下失败率低于0.03%的协同自动驾驶。
2025-05-07 cs.MA cs.RO cs.SY
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
Department of Civil Engineering and Engineering Mechanics, Columbia University（哥伦比亚大学土木工程与工程力学系）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Center for Smart Cities, Data Science Institute, Columbia University（哥伦比亚大学智能城市中心、数据科学研究所）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出分层联邦强化学习方法，用于解决大规模异质交通信号控制中的协调与可扩展性问题，通过动态分组提升性能。
2026-02-07 cs.LG
