Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
ROAD: Responsibility-Oriented Reward Design for Reinforcement Learning in Autonomous Driving
Global Institute of Future Technology（未来技术全球研究院）；Shanghai Jiao Tong University（上海交通大学）；College of Humanities（人文学院）；Department of Automation（自动化系）；School of Aeronautics and Astronautics（航空宇航学院）
本研究提出面向责任的奖励函数ROAD，将交通法规引入强化学习框架，结合知识图谱与视觉语言模型自动化分配奖励，显著提升自动驾驶事故责任判定准确率并降低智能体责任。
2025-05-30 cs.LG
Safety-Prioritized, Reinforcement Learning-Enabled Traffic Flow Optimization in a 3D City-Wide Simulation Environment
本文提出安全优先的强化学习框架与三维全市交通仿真环境，通过自定义奖励的PPO模型显著减少碰撞、优化交通流并降低碳排放。
2025-05-23 cs.AI cs.LG cs.RO
A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms
Tongji University（同济大学）
针对强化学习多车辆协同驾驶样本效率低的问题，提出基于稳态转移系统的差异化奖励方法，将状态转移梯度融入奖励设计，在MAPPO等算法中显著提升训练收敛速度及交通效率、安全性与动作合理性。
2025-08-09 cs.AI cs.MA cs.RO
Large-scale Regional Traffic Signal Control Based on Single-Agent Reinforcement Learning
本文提出基于单智能体强化学习的大规模区域交通信号控制模型，通过优化交通信号协调以缓解拥堵和减少行驶时间。
2026-01-12 cs.LG cs.SY eess.SY
A Fully Data-Driven Approach for Realistic Traffic Signal Control Using Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；Baidu Inc.（百度公司）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出完全数据驱动且无模拟器的现实交通信号控制框架D2TSC，结合交通流理论与机器学习构建奖励推断模型，并利用样本高效的离线强化学习方法从历史离线数据集学习信号控制策略，实验证明其优于基线方法且现实适用性更强。
2023-11-27 cs.AI
OCALM: Object-Centric Assessment with Language Models
LMU Munich（慕尼黑大学）；Munich Center of Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；National Research Center for Applied Cybersecurity (Athene)（国家应用网络安全研究中心）；Centre for Cognitive Science of Darmstadt（达姆施塔特认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对强化学习奖励定义难、黑盒奖励难调试的问题，提出OCALM方法，结合大语言模型的世界知识与环境的对象中心特性，从自然语言任务描述生成可解释的关系型奖励函数，支持智能体从任务描述推导策略。
2024-06-24 cs.CL cs.LG
Informed Reinforcement Learning for Situation-Aware Traffic Rule Exceptions
FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出知情强化学习，将结构化规则手册融入强化学习，并通过情境感知动态奖励使智能体学会在必要时执行受控交通规则例外，在复杂自动驾驶场景中取得高完成率。
2024-06-12 cs.CV cs.LG cs.RO
Context-aware Constrained Reinforcement Learning Based Energy-Efficient Power Scheduling for Non-stationary XR Data Traffic
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
本文针对XR下行传输中非平稳流量下的高能效功率调度问题，提出上下文感知约束强化学习算法，通过上下文推断重塑奖励并采用CSSCA优化策略，在节能和丢包约束上优于基线。
2025-03-12 cs.ET cs.LG cs.SY
Deep Reinforcement Learning for Traffic Light Control in Vehicular Networks
New Jersey Institute of Technology（新泽西理工学院）；University of Houston（休斯顿大学）
现有的交通灯控制效率低下，造成了大量的问题，如长时间的延误和浪费能源。为了提高效率，必须将实时交通信息作为输入，并根据实时交通信息动态调整交通灯的持续时间。在如何动态调整交通信号持续时间方面，现有的工作要么是将交通信号分割成相等的持续时间，要么是从实际数据中提取有限的交通信息。本文研究了如何根据不同传感器和车载网络采集的数据来确定交通信号灯的持续时间。我们提出了一个深度强化学习模型来控制交通灯。在该模型中，我们通过收集数据并将整个交叉口划分为小网格，将复杂的交通场景量化为状态。交通灯的定时变化是行为，它被建模为一个高维马尔可夫决策过程。奖励是两个周期之间的累积等待时间差。为了求解该模型，采用卷积神经网络将状态映射到奖励。该模型由决斗网络、目标网络、双Q学习网络和优先经验回放等部分组成。在城市机动性仿真系统中对该模型进行了仿真验证，仿真结果表明了该模型在交通信号灯控制方面的有效性。
2018-03-29 cs.AI cs.LG stat.ML
Extensive Exploration in Complex Traffic Scenarios using Hierarchical Reinforcement Learning
The Ohio State University（俄亥俄州立大学）
针对DRL控制器在复杂交通中泛化性不足的问题，提出分层框架将决策分解为子任务，通过两步训练分别优化高低层控制器，在复杂高速公路驾驶中展现优越性。
2025-01-25 cs.LG cs.RO
A Comparative Study of Algorithms for Intelligent Traffic Signal Control
PES University（PES大学）
在本文中，方法已被探索，以有效地优化交通信号控制，最大限度地减少等待时间和排队长度，从而增加交通流量。首先将交通交叉口定义为一个马尔可夫决策过程，并选择了状态表示、动作和奖励。利用城市机动性仿真（SUMO）对一个交叉口进行仿真，比较了不同场景下的交通信号控制策略，即反馈控制机制Round Robin调度策略和深度Q网络（DQN）、优势行为者-批评者（A2C）两种强化学习技术。最后，该方法进行了测试，在印度的Bengalu的一个真实世界的交叉口的模拟。
2021-09-18 cs.LG cs.SY eess.SY
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
在本文中，我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现，奖励的系统应考虑整体的交通效率，而不是个别车辆的行驶效率。总之，合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University（爱荷华州立大学）
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器，或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时，通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习（DRL）的潜力。然而，大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中，我们提出了一个基于DRL的自适应交通信号控制框架，明确考虑现实的交通场景，传感器和物理约束。在这个框架中，我们还提出了一种新的奖励功能，显示出显着改善的交通性能相比，典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Neighbor-Aware Reinforcement Learning for Mixed Traffic Optimization in Large-scale Networks
University of Tennessee（田纳西大学）
本文提出一种邻域感知强化学习框架，通过奖励机制协调多交叉口混合交通，实现RV均衡分布，在真实网络中平均等待时间较单交叉口策略降低39.2%。
2024-12-17 cs.LG cs.SY eess.SY
Reinforcement Learning Approaches for Traffic Signal Control under Missing Data
New Jersey Institute of Technology（新泽西理工学院）；Xi’an Jiaotong University（西安交通大学）
针对真实道路网络中交叉口传感器缺失导致观测不全的问题，提出两种基于插补的强化学习交通信号控制方案，实验证明优于传统方法且在不同缺失率下表现稳定。
2023-04-25 cs.AI cs.LG
Learning to Communicate with Reinforcement Learning for an Adaptive Traffic Control System
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
多智能体强化学习的最新研究工作研究了与行动策略同时学习的智能体通信，以提高团队的回报。在本文中，我们研究了独立Q学习（IQL）没有通信和可微的智能体间学习（DIAL）的自适应交通控制系统（ATCS）的学习通信。在现实世界的ATCS中，不可能将环境的完整状态呈现给每个代理，因此在我们的模拟中，单个代理只能对环境的完整状态进行有限的观察。ATCS将使用城市移动性模拟（SUMO）交通模拟器进行模拟，其中模拟了两个相连的交叉口。每个交叉口都由一个智能体控制，该智能体具有改变交通流方向的能力。我们的研究结果表明，DIAL代理优于一个独立的Q-学习者的训练时间和最大实现的奖励，因为它能够与其他代理共享相关信息。
2021-10-29 cs.LG cs.MA
MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
本文提出MetaVIM方法，通过元变分隐变量建模邻居信息并设计内在奖励，提升分散式交通信号控制策略的泛化性与稳定性，在CityFlow上显著优于现有方法。
2024-04-01 cs.AI cs.LG cs.MA
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research（爱立信研究院）
本文提出利用奖励机强化学习优化移动网络睡眠控制，在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
Cooperative Reinforcement Learning on Traffic Signal Control
交通信号控制是一个具有挑战性的现实世界的问题，旨在通过协调车辆在道路交叉口的运动，以最大限度地减少总行程时间。现有的交通信号控制系统仍然严重依赖于过于简单的信息和基于规则的方法。具体来说，绿色/红色灯交替的周期性可以被认为是一个更好的规划每个代理在政策优化的先验。为了更好地学习这种自适应和预测的先验知识，传统的基于RL的方法只能从预定义的动作池返回一个固定的长度，只有本地代理。如果这些代理之间没有合作，一些代理经常会与其他代理发生冲突，从而降低整体吞吐量。提出了一种基于年龄衰减权值的协同多目标多Agent深度确定性策略梯度（COMMA-DDPG）结构，用于交通信号控制优化中多个奖励项的估计.两种类型的代理运行，以最大化不同目标的回报-一个是在每个交叉口的局部交通优化，另一个是全局交通等待时间优化。全局代理用于指导本地代理，作为帮助更快学习的手段，但不用于推理阶段。我们还提供了一个分析的解决方案的存在性与收敛性证明建议RL优化。使用来自亚洲国家的交通摄像头收集的真实交通数据进行评估。我们的方法可以有效地减少总延迟时间的60%。结果表明，与SoTA方法相比，其优越性。
2022-08-06 cs.AI
HumanLight: Incentivizing Ridesharing via Human-centric Deep Reinforcement Learning in Traffic Signal Control
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；New Jersey Institute of Technology（新泽西理工学院）
提出基于深度强化学习的去中心化交通信号控制算法HumanLight，通过奖励高载客量车辆并引入活跃车辆概念优化交叉口人员通行量，在多场景下显著降低延误与排队，推动以人为本的拼车激励政策。
2023-04-05 cs.AI cs.LG cs.SY
MAESTRO: Multi-Agent Environment Shaping through Task and Reward Optimization
Department of Mechanical and Industrial Engineering（机械与工业工程系）；University of Toronto（多伦多大学）
MAESTRO通过任务和奖励优化提升多智能体强化学习的环境塑造能力，结合LLM生成课程和奖励函数，提高性能和稳定性。
2025-12-10 cs.AI cs.LG
Deep Reinforcement Learning to Maximize Arterial Usage during Extreme Congestion
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Meta；Walmart（沃尔玛）
本研究提出一种深度强化学习方法，通过训练智能体学习自适应绕行策略以优化利用高速公路车道及邻近干道网络，在极端拥堵场景下将平均交通速度提升21%。
2023-05-16 cs.AI cs.LG
SHM-Traffic: DRL and Transfer learning based UAV Control for Structural Health Monitoring of Bridges with Traffic
University of Nebraska at Omaha（内布拉斯加大学奥马哈分校）；University of New Hampshire（新罕布什尔大学）
本文提出SHM-Traffic方法，结合深度强化学习PPO控制无人机与迁移学习CNN，在交通状态下对桥梁进行裂缝检测，实验表明CNN检测精度和奖励更高，而Canny边缘检测任务完成时间更短。
2024-02-22 cs.AI
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington（华盛顿大学）；NEC Laboratories America Inc.（NEC美国实验室公司）
在这项工作中，我们研究了自适应数据引导的交通规划和控制使用强化学习（RL）。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术，这些技术改进了原始的深度Q网络（DQN）的离散控制，并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法（称为TC-DQN+）作为快速，更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数，进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML
Development and Assessment of Autonomous Vehicles in Both Fully Automated and Mixed Traffic Conditions
University of Central Florida（中佛罗里达大学）
本文采用多阶段方法开发单辆与网联AV，引入“共享与关怀”V2V通信和深度强化学习提升协作驾驶，并通过调查评估混合交通中人类驾驶员竞争带来的安全风险。
2023-12-08 cs.AI cs.MA cs.RO
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种无模型强化学习方法，用于控制模拟交通网络中的混合自主交通，该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解，允许分散控制的基础上，对任意数量的受控车辆的本地观测。我们证明，即使没有奖励塑造，强化学习也能学会协调车辆，使其表现出类似交通信号灯的行为，在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下，我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Autonomous vehicle decision and control through reinforcement learning with traffic flow randomization
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）
本研究提出通过随机化SUMO中微观交通流参数来训练强化学习策略，提升自动驾驶在真实交通场景中的性能，实验证明该方法显著提高了成功率和计算奖励。
2024-04-19 cs.LG cs.RO cs.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；IFSTTAR（法国交通、发展与网络科学技术研究院）
智能交通信号控制器将DQN算法应用于交通灯策略优化，通过实时调整交通信号来有效地减少交通拥堵。然而，文献中的大多数主张认为，所有车辆在交叉口被检测到，一个不切实际的情况。最近，新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备，能够在低检测率下执行的方法是可取的。在本文中，我们提出了一种深度强化Q学习模型，用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先，我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制，并提供了一个网络架构和调谐超参数。其次，我们评估的性能模型在多个场景的数值模拟，在两个步骤。首先对现有的驱动控制器进行完全检测，然后对联网车辆的比例进行部分检测和损失估计。最后，从得到的结果，我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
CARLA Real Traffic Scenarios -- novel training ground and benchmark for autonomous driving
University of Warsaw（华沙大学）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）；Jagiellonian University（雅盖隆大学）；Volkswagen AG（大众汽车集团）；Google（谷歌）
这项工作介绍了互动的交通场景中的CARLA模拟器，这是基于现实世界的交通。我们专注于持续数秒的战术任务，这对当前的控制方法来说尤其具有挑战性。CARLA真实交通场景（CRTS）旨在成为自动驾驶系统的培训和测试场地。为此，我们在许可证下开源代码，并提出了一套基线策略。CRTS结合了交通场景的真实性和仿真的灵活性。我们用它来训练代理使用强化学习算法。我们展示了如何获得竞争政策，并通过实验评估观察类型和奖励计划如何影响训练过程和所产生的代理的行为。
2021-09-19 cs.AI cs.LG cs.RO
RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为加拿大技术有限公司）；York University（约克大学）；Canada CIFAR AI Chair, Amii（加拿大 CIFAR 人工智能主席，Amii）
本文提出RLFTSim框架，通过强化学习微调提升交通仿真场景的真实感，并通过目标条件化方法实现对交通仿真可控性的提炼，实验表明其在真实感和可控性方面均优于其他启发式搜索方法。
2026-05-18 cs.AI cs.CV cs.LG
Shaping Rewards, Shaping Routes: On Multi-Agent Deep Q-Networks for Routing in Satellite Constellation Networks
German Aerospace Center (DLR)（德国航空航天中心）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
该研究面向卫星星座网络动态路由，评估多智能体深度Q网络在时延与负载均衡联合优化中的效果，并提出集中式学习、分散式控制的混合方案。
2024-08-04 cs.LG cs.NI
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文提出SEMI-CTDE架构，通过区域划分实现多交叉口交通信号控制，结合集中训练与分布式执行，提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
Let Hybrid A* Path Planner Obey Traffic Rules: A Deep Reinforcement Learning-Based Planning Framework
University of Bremen（不来梅大学）；TOPAS Industriemathematik Innovation gGmbH（TOPAS工业数学创新有限责任公司）
本文提出一种将深度强化学习高层决策与混合A*局部轨迹规划相结合的自动驾驶框架，并利用线性时序逻辑将交通规则编码为奖励函数，实现遵守规则的变道决策与无碰撞轨迹生成。
2024-07-01 cs.AI cs.RO
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
PDLight: A Deep Reinforcement Learning Traffic Light Control Algorithm with Pressure and Dynamic Light Duration
Beihang University（北京航空航天大学）
现有的城市交叉口交通灯控制效率低下，缺乏灵活性，往往会导致交通拥挤，造成长时间延误和能源浪费等诸多问题。如何找到最优的信号配时策略是城市交通管理中的一个重大挑战。在本文中，我们提出了PDlight，这是一种深度强化学习（DRL）交通灯控制算法，具有一种新的奖励PRCOL（具有出站车道剩余容量的压力）。作为对交通控制算法中使用的压力的改进，PRCOL不仅考虑了进入车道上的车辆数量，而且还考虑了离开车道的剩余容量。仿真结果表明，使用合成和真实世界的数据集相比，所提出的PDlight产生较低的平均旅行时间的几个国家的最先进的算法，PressLight和Colight，在固定和动态的绿灯持续时间。
2020-09-29 cs.LG eess.SP
Single-agent Reinforcement Learning Model for Regional Adaptive Traffic Signal Control
本文提出一种基于单代理强化学习的区域自适应交通信号控制模型，利用探测车辆数据有效缓解区域拥堵。
2026-01-12 cs.AI cs.LG
From Faithfulness to Correctness: Generative Reward Models that Think Critically
University of California, Davis（加州大学戴维斯分校）；WeChat, Tencent（微信、腾讯）；Tsinghua University（清华大学）
针对开放域问答中正确性难以验证、模型过度依赖外部文档的问题，本文提出TRM，通过句子级忠实性、推理与正确性评估赋予奖励模型批判性思考能力，并提升策略优化效果。
2025-09-29 cs.AI cs.CL cs.LG
Offline Reinforcement Learning for Road Traffic Control
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
交通信号控制是城市交通中的一个重要问题，具有显著的经济和环境影响潜力。虽然人们对交通信号控制的强化学习（RL）越来越感兴趣，但到目前为止，这项工作主要集中在通过模拟进行学习，这可能会由于简化假设而导致不准确。相反，关于交通的真实经验数据是可用的，可以以最低的成本加以利用。离线或批量RL的最新进展已经实现了这一点。特别是基于模型的离线RL方法，已经被证明比其他方法更好地从经验数据中进行概括。我们建立了一个基于模型的学习框架，从使用循环交通信号控制策略收集的数据集推断马尔可夫决策过程（MDP），该策略既常见又易于收集。MDP是建立在悲观的成本，以管理的分布情况下，使用自适应整形的奖励，这是为了提供更好的正则化相比，以前的相关工作，除了PAC最优。我们的模型进行了评估，一个复杂的信号环形交叉口显示，它是可以建立高性能的交通控制策略，在一个数据有效的方式。
2022-12-11 cs.AI cs.LG
Balancing Progress and Safety: A Novel Risk-Aware Objective for RL in Autonomous Driving
FZI Research Center for Information Technology（弗赖堡信息科技研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出了一种新的风险感知目标，用于自动驾驶中的强化学习，通过分层结构化驾驶目标和规范化方法，提高安全性和性能。
2026-03-05 cs.AI cs.RO
Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）
强化学习的最新进展激发了人们对通过动态交互自适应地学习用户建模的兴趣，例如，在基于强化学习的推荐系统中。在大多数强化学习应用中，奖励函数是一个重要的参数，它可以为优化提供指导。然而，目前基于学习的方法依赖于人工定义的奖励函数，不能适应动态和噪声环境。此外，它们通常使用特定于任务的奖励函数，牺牲了泛化能力。针对上述问题，提出了一种生成式逆强化学习的用户行为偏好建模方法。我们的模型不使用预定义的奖励函数，而是基于区分性演员-评论家网络和Wasserstein GAN自动学习用户行为的奖励。我们的模型提供了一种描述和解释潜在行为倾向的一般方法，我们的实验表明，我们的方法在各种场景下，即交通信号控制，在线推荐系统和扫描路径预测中的表现优于最先进的方法。
2021-05-05 cs.AI cs.IR cs.LG
SynTraC: A Synthetic Dataset for Traffic Signal Control from Traffic Monitoring Cameras
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；Rider University（莱德大学）
该研究推出首个基于图像的公开交通信号控制合成数据集SynTraC，提供带标注的CARLA模拟器写实图像、信号状态及多类奖励值，覆盖多样场景，实验验证了图像式交通信号控制仍具挑战，可助力后续算法研发。
2024-08-18 cs.AI
Traffic Light Control with Reinforcement Learning
Hangzhou Foreign Language School（杭州外国语学校）
本研究提出一种基于深度Q学习的实时交通信号灯控制方法，通过相位门结构、记忆宫殿机制及多因素奖励函数优化配时，在杭州交叉口数据验证中较固定配时显著降低车辆等待时间、队列长度与总行程时间。
2023-08-28 cs.AI cs.LG
Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究所）
交通信号控制器在当今的交通系统中起着至关重要的作用。然而，他们中的大多数目前是不够灵活或适应性，以产生最佳的交通时间表。在本文中，我们提出了一种方法，学习政策的信号控制器使用深度强化学习，旨在优化交通流。我们的方法使用了一种新的配方的奖励功能，同时考虑效率和公平。此外，我们提出了一种通用的方法来找到所提出的公平因子的界限，我们引入了自适应贴现方法，极大地稳定了学习，并有助于保持绿灯持续时间的高度灵活性。模拟和真实世界的数据的实验评估表明，我们提出的算法实现了最先进的性能（以前举行的传统非学习方法）在广泛的交通情况。
2020-12-27 cs.LG eess.SP stat.ML
iPLAN: Intent-Aware Planning in Heterogeneous Traffic via Distributed Multi-Agent Reinforcement Learning
University of Maryland（马里兰大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文提出分布式 MARL 方法 iPLAN，使自动驾驶智能体仅凭局部观测推断其他驾驶员的行为与即时意图，并在两类交通仿真中显著提升奖励、成功率和生存时间。
2023-08-21 cs.LG cs.MA cs.RO
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
Reinforcement Learning in Non-Stationary Environments
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Dharwad（印度理工学院达尔瓦德分校）
强化学习（RL）方法在静态环境中学习最优决策。然而，对环境的平稳假设是非常有限制的。在许多现实世界的问题，如交通信号控制，机器人应用，人们经常遇到的情况下，非平稳的环境，在这些情况下，RL方法产生次优的决策。因此，在本文中，我们考虑的问题，开发RL方法，在非平稳环境中获得最佳决策。这个问题的目标是最大化的长期折扣奖励时，环境的基础模型随时间变化而实现。为了实现这一目标，我们首先采用变点算法来检测环境统计数据的变化，然后开发一种RL算法，使长期奖励最大化。我们说明，我们的变点方法检测到的环境模型的变化有效，从而有利于RL算法在最大化的长期回报。我们进一步验证了所提出的解决方案的有效性，非平稳随机马尔可夫决策过程，传感器能量管理问题和交通信号控制问题。
2020-05-19 cs.AI cs.LG stat.ML
Balancing Multiple Objectives in Urban Traffic Control with Reinforcement Learning from AI Feedback
Trinity College Dublin（都柏林三一学院）
本文提出利用人工智能反馈方法在城市交通控制中平衡多个目标，通过多目标自适应系统实现无需繁琐奖励工程的策略学习。
2026-02-24 cs.AI
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
最近的研究表明，在交通中引入自动驾驶汽车（AV）可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能，包括自主车辆控制，并已用于最先进的AV控制器。然而，深度神经网络（DNN）使自动驾驶容易受到基于机器学习的攻击。在这项工作中，我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法，是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波（拥堵攻击）或AV加速导致AV撞到前面的车辆（保险攻击）。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明，后门模型不损害正常的操作性能，与累积奖励的最大下降为1%。尽管如此，当相应的触发器出现时，它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY
Shapley Q-value: A Local Reward Approach to Solve Global Reward Games
Imperial College London（伦敦帝国理工学院）；Laiye Network Technology Co.Ltd.（来也网络科技有限公司）
合作博弈是多智能体强化学习（MARL）的一个重要研究领域。全局奖励博弈是合作博弈的一个子类，其中所有代理人的目标是最大化全局奖励。信用分配是全局报酬博弈中研究的一个重要问题。以往的研究大多站在非合作博弈的理论框架和共享报酬的观点上，每个代理被直接分配共享的全局奖励。然而，这可能会给每个智能体一个不准确的奖励，这可能会导致学习效率低下。为了解决这个问题，我们i）引入了一个合作博弈的理论框架，称为扩展凸博弈（ECG），它是全局奖励博弈的超集; ii）提出了一个局部奖励方法，称为Shapley Q值。Shapley Q值能够分配全局奖励，反映每个代理人自己的贡献，与共享奖励方法相反。此外，我们推导出一个MARL算法称为Shapley Q值深度确定性策略梯度（SQDDPG），使用Shapley Q值作为每个代理的评论。我们评估SQDDPG的合作导航，捕食者和交通枢纽，与最先进的算法相比，如，MADDPG、COMA、独立DDPG和独立A2 C。在实验中，SQDDPG表现出显着的改善收敛速度。最后，我们绘制了Shapley Q值，并验证了公平信用分配的性质。
2022-10-13 cs.AI cs.LG cs.MA
Multi-agent Reinforcement Learning for Cooperative Lane Changing of Connected and Autonomous Vehicles in Mixed Traffic
Tongji University（同济大学）；Michigan State University（密歇根州立大学）
本文针对混合交通中多自动驾驶车辆与人类驾驶车辆共存的变道决策问题，提出了一种基于多智能体优势演员-评论家网络（MA2C）的MARL框架，通过多目标奖励函数优化燃油效率、舒适性和安全性，实验证明其在效率、安全性和舒适性上优于现有基准。
2024-01-05 cs.LG cs.MA
Objective-aware Traffic Simulation via Inverse Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Tianrang Inc.（天壤公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
交通模拟器是交通系统运营和规划的重要组成部分。传统的交通模拟器通常采用标定的物理跟驰模型来描述车辆的行为及其与交通环境的相互作用。然而，目前还没有一个通用的物理模型可以准确地预测车辆在不同情况下的行为模式。由于交通动态的非平稳特性，在复杂的环境中，固定的物理模型往往不太有效。本文将交通仿真问题转化为一个逆强化学习问题，提出了一种参数共享对抗逆强化学习模型，用于动态鲁棒仿真学习。我们提出的模型能够模仿车辆在现实世界中的轨迹，同时恢复奖励函数，揭示了车辆的真实目标，这是不变的不同的动态。在合成数据集和真实数据集上的大量实验表明，与最先进的方法相比，我们的方法具有优越的性能，并且对流量的变化动态具有鲁棒性。
2022-07-08 cs.AI
Cooperative Multi-Objective Reinforcement Learning for Traffic Signal Control and Carbon Emission Reduction
National Yang Ming Chiao Tung University（阳明交通大学）；Institute of Computational Intelligence（计算智能研究所）
针对现有交通信号控制方法次优、不稳定的问题，提出含局部与全局智能体的MOMA-DDPG合作多目标架构，用年龄衰减权重估计多奖励项，推理阶段保持去中心化，在真实数据上优于SOTA，可同时降低等待时间与碳排放，首次关联交通信号控制中的碳排放与全局智能体。
2023-07-16 cs.AI cs.LG cs.MA
