Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil（巴黎东克雷泰伊大学）；Huawei Technologies France（华为技术法国公司）
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台，需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事，同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中，我们表明，在学习驾驶策略时，模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法（MOPPO），提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略，以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University（新加坡管理大学）
协作多智能体强化学习（MARL）在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域，一个关键的挑战是学习一些好的经验，即，仅在少数情况下获得正增强（例如，在灭火或追踪犯罪或递送包裹时），并且在大多数其他情况下，存在零强化或负强化。由于三个原因，学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先，与单个代理的情况相比，探索更难，因为多个代理必须协调才能获得良好的体验。第二，环境不是静止的，因为所有的智能体都在同时学习（从而改变策略）。第三，每增加一个代理，问题的规模就会显著增加。相关的现有工作是广泛的，并集中在处理一些很好的经验，在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是，这些方法（或其扩展）都不能有效地解决稀疏的好经验的问题。因此，我们提供了一种新的虚构的自我模仿的方法，能够同时处理非平稳性和稀疏的良好经验，在一个可扩展的方式。最后，我们提供了一个彻底的比较（实验或描述）对相关的合作MARL算法，以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
FitLight: Federated Imitation Learning for Plug-and-Play Autonomous Traffic Signal Control
East China Normal University（华东师范大学）；Kent State University（肯特州立大学）
提出FitLight联邦模仿学习框架，通过知识共享、混合压力智能体、模型剪枝与异构聚合，实现多交叉口交通信号控制的即插即用、快速收敛及微控制器部署。
2025-02-17 cs.AI cs.LG
Shared Voxel-Map-Based Cooperative Indoor UAV Guidance with a Multi-Agent Soft Actor-Critic Controller
研究室内无人机协同导航问题，提出结合共享体素地图与多智能体软演员-评论家控制器的框架，多无人机融合LiDAR观测构建地图并提供给各智能体，模拟中控制器成功率达90.3%，经微调后在现实实验中实现稳定协同操作，证明该地图表示有效且可扩展。
2026-07-29 cs.AI cs.LG cs.RO
IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
MIT（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
针对多智能体上下文强化学习缺乏标准化基准的问题，本文提出基于城市生态驾驶的IntersectionZoo基准套件，利用美国10个城市16,334个交叉口生成100万个交通场景，并证明现有流行算法在CRL设置中泛化困难。
2024-10-19 cs.AI cs.LG cs.MA
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control
University of Science and Technology of China（中国科学技术大学）；University of Arizona（亚利桑那大学）；IFLYTEK Co., Ltd（科大讯飞股份有限公司）；Rutgers University（罗格斯大学）
智能交通灯控制系统的开发是智能交通管理的基础。虽然已经做出了一些努力，以优化使用单独的交通信号灯在一个孤立的方式，相关的研究在很大程度上忽略了这样一个事实，即多路口交通信号灯的使用是空间上的影响，并有一个时间依赖性的历史交通状态的当前交通信号灯控制。为此，在本文中，我们提出了一种新的时空多智能体强化学习（STMARL）框架，有效地捕捉多个相关的交通灯的时空依赖性和控制这些交通灯的协调方式。具体而言，我们首先构建交通灯邻接图的基础上的空间结构的交通灯。然后，历史交通记录将通过递归神经网络结构与当前交通状态相结合。此外，基于时间相关的交通信息，我们设计了一个基于图神经网络的模型来表示多个交通灯之间的关系，并通过深度Q学习方法以分布式方式对每个交通灯进行决策。最后，通过仿真数据和真实数据的实验结果验证了STMARL框架的有效性，并对多交叉口交通信号灯的影响机制提供了深入的理解.
2020-11-29 cs.AI cs.LG cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
UNIQ: Offline Inverse Q-learning for Avoiding Undesirable Demonstrations
Singapore Management Univerisity（新加坡管理大学）
针对离线学习中避免不良示范的问题，提出基于逆Q学习框架的UNIQ算法，通过最大化学习策略与不良策略间的统计距离实现非对抗性训练，并在基准环境中优于现有基线。
2024-10-10 cs.AI cs.LG
Cooperative Multi-Objective Reinforcement Learning for Traffic Signal Control and Carbon Emission Reduction
National Yang Ming Chiao Tung University（阳明交通大学）；Institute of Computational Intelligence（计算智能研究所）
针对现有交通信号控制方法次优、不稳定的问题，提出含局部与全局智能体的MOMA-DDPG合作多目标架构，用年龄衰减权重估计多奖励项，推理阶段保持去中心化，在真实数据上优于SOTA，可同时降低等待时间与碳排放，首次关联交通信号控制中的碳排放与全局智能体。
2023-07-16 cs.AI cs.LG cs.MA
CoTV: Cooperative Control for Traffic Light Signals and Connected Autonomous Vehicles using Deep Reinforcement Learning
University College Dublin（都柏林大学学院）；North China Electric Power University（华北电力大学）
仅以缩短行程时间为目的，并不足以支持未来智慧交通系统的发展。为了与联合国可持续发展目标（UN-SDG）保持一致，还应考虑进一步减少燃料和排放，改善交通安全，以及方便基础设施的部署和维护。与现有的工作集中在交通灯信号（以提高交叉口吞吐量）或车辆速度（以稳定交通）的控制优化不同，本文提出了一种多智能体深度强化学习（DRL）系统CoTV，它可以协同控制交通灯信号和互联自主车辆（CAV）。因此，我们的CoTV可以很好地平衡旅行时间，燃料和排放减少的成就。与此同时，CoTV也可以通过仅与每个引入道路上最靠近交通灯控制器的一个CAV合作来轻松部署。这使得交通灯控制器和CAV之间能够更有效地协调，从而导致传统上难以收敛的大规模多智能体场景下的训练CoTV的收敛。我们给出了详细的系统设计的CoTV，并证明了其有效性，在模拟研究中使用相扑在各种网格地图和现实的城市场景下，混合自主交通。
2023-02-14 cs.AI cs.LG cs.SY
Potentially Optimal Joint Actions Recognition for Cooperative Multi-Agent Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Stanford University（斯坦福大学）；MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China（同济大学嵌入式系统与服务计算教育部重点实验室，上海，中国）；The University of Hong Kong（香港大学）；Shanghai Innovation Institute（上海创新研究院）
针对值函数分解中单调性约束限制表达能力的问题，提出潜在最优联合动作加权方法，通过迭代加权训练保证最优策略恢复，在多个任务上超越现有方法。
2026-06-03 cs.AI cs.LG
Generalizing Cooperative Eco-driving via Multi-residual Task Learning
Massachusetts Institute of Technology（麻省理工学院）；Toyota InfoTech Labs（丰田信息技术实验室）；Toyota Motor North America（丰田北美汽车公司）
针对自动驾驶控制策略泛化难的问题，提出多残差任务学习框架，将控制分解为传统方法求解的标称分量与学习求解的残差项，在近600个交叉口、1200种场景的车队减排任务中验证了其协同DRL与传统方法的泛化优势。
2024-03-07 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem
Clemson University International Center for Automotive Research (CU-ICAR)（克莱姆森大学国际汽车研究中心（CU-ICAR））
提出基于 AutoDRIVE Ecosystem 的模块化多智能体深度强化学习框架，分别用 Nigel 共享策略和 F1TENTH 独立策略验证合作通行与对抗竞速。
2023-09-30 cs.AI cs.LG cs.MA
Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习不同的技能是机器人技术的主要挑战之一。为此，模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行，以实现对个体行为的学习和主动控制，这限制了它们的适用性。在这项工作中，我们提出了一种合作对抗方法，通过最大限度地提高其可辨别性，从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外，我们表明，通过利用生成对抗模仿学习框架中的无监督技能发现，新的和有用的技能出现与成功的任务完成。最后，所获得的多功能的政策进行了测试，一个敏捷的四足机器人称为独奏8，并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
Time-series Generation by Contrastive Imitation
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出对比模仿生成框架，用可逐步分解的全局能量模型训练前瞻性局部转移策略，兼顾显式动态与轨迹分布，理论一致且实证达到现有基准水平。
2023-11-02 cs.LG stat.ML
Cooperative Behavior Planning for Automated Driving using Graph Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
由于静态优先规则和遮挡限制了优先交通的视野，城市交叉口容易出现延误和效率低下。现有的改善交通流的方法，广泛称为自动交叉口管理系统，大多是基于非学习预留方案或优化算法。基于机器学习的技术在规划单个自我车辆方面显示出有希望的结果。本文提出利用机器学习算法，通过多车辆联合规划来优化城市交叉口的交通流。基于学习的行为规划提出了几个挑战，需要合适的输入和输出表示以及大量的地面实况数据。我们解决前一个问题，使用灵活的基于图形的输入表示伴随着一个图神经网络。这允许有效地编码场景，并固有地为所有涉及的车辆提供单独的输出。为了学习一个合理的策略，而不依赖于模仿的专家示范，合作规划任务被认为是一个强化学习问题。我们在自动驾驶决策的开源模拟环境中对所提出的方法进行了训练和评估。相比先进先出的计划和交通由静态优先级规则，学习规划显示出显着的增益流量，同时减少诱导停止的数量。除了合成模拟，该方法还基于从公开可用的inD数据集获取的真实交通数据进行评估。
2022-07-26 cs.LG cs.RO
Automatic Intersection Management in Mixed Traffic Using Reinforcement Learning and Graph Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
本研究提出基于强化学习和图场景表示的协作多智能体规划方法，用于解决混合交通中的自动交叉口管理问题，显著提升了车辆通行量并减少了交互延误。
2023-07-28 cs.LG cs.RO
Learning Translations: Emergent Communication Pretraining for Cooperative Language Acquisition
King’s College London（伦敦国王学院）
本文提出合作语言习得问题CLAP，允许新加入智能体利用目标群体交互数据，并比较模仿学习与涌现通信预训练加翻译学习两种方法，以解决零样本协调中缺乏先验数据导致的通信困难。
2024-02-26 cs.CL cs.LG cs.MA
INTERACTION Dataset: An INTERnational, Adversarial and Cooperative moTION Dataset in Interactive Driving Scenarios with Semantic Maps
University of California, Berkeley（加州大学伯克利分校）；Xi’an Jiaotong University（西安交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；MINES ParisTech（巴黎高等矿业学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
行为相关的研究领域，如运动预测/规划，表示/模仿学习，行为建模/生成和算法测试，需要高质量的运动数据集的支持，包含不同的驾驶文化的交互式驾驶场景。在本文中，我们提出了一个国际，对抗和合作的运动数据集（互动数据集）在交互式驾驶场景与语义地图。突出显示了数据集的五个特征。1)交互式驾驶场景多样，包括城市/高速公路/匝道并道和变道、带让行/停车标志的环形交叉口、信号交叉口、带单向/双向/全向停车的交叉口等。2）收集来自不同国家和不同大洲的运动数据，自然包含不同文化的驾驶偏好和风格。3)驾驶行为是高度互动和复杂的对抗和合作的各种交通参与者的运动。高度复杂的行为，如谈判，侵略性/非理性的决定和交通规则违反密集包含在数据集中，而常规行为也可以从谨慎的跟车，停止，左/右/U-转弯到合理的车道变化和骑自行车和行人过马路等。真正的碰撞，虽然相对轻微，也包括在内。5)具有完整语义信息的地图提供了物理层、参考线、车道连接和交通规则。这些数据来自无人机和交通摄像头。还提供了实体数量和交互密度方面的数据集统计数据，以及在各种行为相关研究领域的一些利用实例。数据集可以通过https://interaction-dataset.com下载。
2019-09-30 cs.CV cs.LG cs.RO
Towards Cooperative Federated Learning over Heterogeneous Edge/Fog Networks
Purdue University（普渡大学）；University at Buffalo–SUNY（纽约州立大学布法罗分校）
联邦学习（FL）已被推广为用于在边缘/雾网络上训练机器学习（ML）模型的流行技术。FL的传统实现在很大程度上忽略了网络间合作的潜力，将边缘/雾设备和参与ML的其他基础设施视为单独的处理元素。因此，FL容易受到网络异质性的几个方面的影响，例如不同的计算能力，通信资源，数据质量和隐私需求。我们提倡合作联邦学习（CFL），这是一种基于设备到设备（D2 D）和设备到服务器（D2 S）交互的合作边缘/雾ML范式。通过D2 D和D2 S的合作，CFL通过启用模型/数据/资源池机制来抵消边缘/雾网络中的网络异构性，这将大大提高ML模型训练质量和网络资源消耗。我们提出了一套核心的方法，形成D2 D和D2 S合作的基础，并提出初步的实验，证明他们的好处。我们还讨论了这种合作框架所支持的新FL功能，例如将未标记数据和异构设备隐私集成到ML模型训练中。最后，我们描述了一些开放的研究方向在合作的边缘/雾和FL的交叉点。
2023-03-15 cs.DC cs.LG cs.NI
Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出分层生成对抗模仿学习架构hGAIL，通过GAN生成鸟瞰视图中层表示并与GAIL联合训练，解决城市自动驾驶中从原始图像直接学习控制策略不稳定的问题，在CARLA中实现跨城市98%交叉口成功导航。
2024-09-05 cs.AI cs.LG cs.RO
CoLLMLight: Cooperative Large Language Model Agents for Network-Wide Traffic Signal Control
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对LLM交通信号控制缺乏智能体协调的问题，本文提出CoLLMLight框架，通过时空图、复杂度感知推理和仿真反馈微调实现全网协作优化，并在多类数据集上验证其优越性能。
2025-03-14 cs.AI cs.CL cs.LG
CityLight: A Neighborhood-inclusive Universal Model for Coordinated City-scale Traffic Signal Control
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
CityLight提出一种包含邻域信息的通用策略模型，通过邻域影响编码器和聚合器实现城市级异构交叉口协同控制，在五个数据集上平均吞吐量提升11.68%，泛化提升22.59%。
2025-08-06 cs.AI cs.LG cs.MA
Data-Driven Intersection Management Solutions for Mixed Traffic of Human-Driven and Connected and Automated Vehicles
University of Virginia（弗吉尼亚大学）
本文提出了两种解决方案，在连接和自动驾驶汽车的存在下，城市交通控制。首先，提出了一种集中式基于车队的控制器的协同交叉口管理问题，利用车队系统和V2I通信，以产生快速和平稳的交通流在一个单一的交叉口。其次，提出了一种数据驱动的方法，用于在联网车辆存在的情况下进行自适应信号控制。所提出的系统依赖于一个数据驱动的方法，最佳信号时序和数据驱动的探试法估计路由决策。它不需要在交叉口安装额外的传感器，与实践中的自适应信号控制器的典型设置相比，降低了安装成本。该交通控制器包含一个最优信号配时模块和一个交通状态估计器。信号配时模块是在微观仿真数据上训练的神经网络模型，以根据给定的性能度量（例如车辆延迟或平均队列长度）实现最优结果。交通状态估计器依赖于连接车辆的信息来估计交通的路由决策。提出了一种探试法来最小化估计误差。通过充分的参数调整，估计误差随着联网车辆市场渗透率（MPR）的增长而减小。当MPR为10%时，估计误差小于30%，当MPR大于30%时，估计误差缩小到20%以下。仿真结果表明，建议的交通控制器优于公路通行能力手册的方法，并给予适当的离线参数调整，它可以减少平均车辆延误高达25%。
2020-12-10 cs.LG cs.SY eess.SY
