X-Light: Cross-City Traffic Signal Control Using Transformer on Transformer as Meta Multi-Agent Reinforcement Learner
Baidu Inc.(百度公司);University of Cologne(科隆大学);Arizona State University(亚利桑那州立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Fudan University(复旦大学);Peking University(北京大学);Qingyuan Research Institute(清远研究院)
本文提出X-Light模型,通过下层Transformer聚合城市内交叉口轨迹、上层Transformer学习跨城市通用决策模式,实现可迁移的交通信号控制,在未见场景中平均超越基线7.91%。
2024-06-17 cs.AI
Decentralized Multi-Agents by Imitation of a Centralized Controller
UCLA(加州大学洛杉矶分校);Max Planck Institute, Leipzig(莱比锡马克斯·普朗克研究所);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于集中训练、去中心执行框架的新型算法,通过模仿学习生成去中心化多智能体,解决了多智能体强化学习中非平稳和部分可观测环境下的协作问题。
2021-04-22 cs.AI cs.LG cs.MA
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa(亚马逊Alexa);Indian Institute of Science(印度科学研究院)
本文研究了多智能体强化学习在交通信号控制中的收敛性问题,通过随机逼近方法分析学习动态,并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
FitLight: Federated Imitation Learning for Plug-and-Play Autonomous Traffic Signal Control
East China Normal University(华东师范大学);Kent State University(肯特州立大学)
提出FitLight联邦模仿学习框架,通过知识共享、混合压力智能体、模型剪枝与异构聚合,实现多交叉口交通信号控制的即插即用、快速收敛及微控制器部署。
2025-02-17 cs.AI cs.LG
Ctx2TrajGen: Traffic Context-Aware Microscale Vehicle Trajectories using Generative Adversarial Imitation Learning
本文提出 Ctx2TrajGen 框架,融合 GAIL、PPO 与 WGAN-GP,并依据周围车辆和道路几何生成交互感知轨迹,在 DRIFT 数据集上显著提升真实性、多样性与情境保真度。
2025-07-23 cs.AI cs.LG
Learn what matters: cross-domain imitation learning with task-relevant embeddings
University of Oxford(牛津大学)
我们研究了一个自主智能体如何从不同领域的演示中学习执行任务,例如不同的环境或不同的代理。这种跨域模仿学习是需要的,例如,从人类专家的演示中训练人工代理。我们提出了一个可扩展的框架,使跨领域的模仿学习,而无需访问额外的演示或进一步的领域知识。我们共同训练学习者代理的政策和学习者和专家领域之间的映射与对抗训练。我们通过使用互信息标准来实现这一点,以找到一个嵌入的专家的状态空间,包含任务相关的信息,是不变的域的具体情况。这一步骤大大简化了学习者和专家领域之间的映射估计,从而促进了端到端的学习。我们展示了在相当不同的领域之间成功转移的政策,没有额外的监督,如额外的演示,并在其他方法失败的情况下。
2022-09-24 cs.AI
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题,提出基于偏好主动查询的算法,实现了接近标准设定的遗憾界与低查询复杂度,且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Efficient Imitation under Misspecification
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
研究错误设定下的模仿学习问题,提出基于奖励无关策略完备性条件的局部搜索逆向强化学习算法,证明扩大局部搜索状态集可避免复合误差,并实验验证离线数据能有效扩大搜索范围。
2025-04-02 cs.AI cs.LG
Beyond Self-Play: Hierarchical Reasoning for Continuous Motion in Closed-Loop Traffic Simulation
School of Aeronautics and Astronautics, Purdue University(普渡大学航空航天学院)
本文提出一种层次化架构,结合高层多智能体交互推理与底层连续轨迹生成,以提升闭合环路交通模拟中代理的可扩展性和行为真实性,实验表明其在控制平滑性和安全性方面优于自我博弈和被动模仿基线。
2026-05-09 cs.AI cs.RO
When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning
本文针对基于值函数的模仿学习,提出交互式在线算法OVI,发现专家交互可降低学习者的表示要求,且OVI在多数场景下性能优于现有方法。
2026-11-16 cs.AI cs.LG stat.ML
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior
Massachusetts Institute of Technology(麻省理工学院)
本文提出一个理论框架,通过引入低层控制器稳定模仿过程,并利用扩散模型等强大生成式模型进行纯监督行为克隆,证明了在满足全变差连续性条件下,模仿轨迹分布可在最优传输距离下逼近专家轨迹分布。
2023-10-24 cs.LG math.ST stat.ML
Imitation Learning from Observation through Optimal Transport
McGill University(麦吉尔大学)
该研究提出一种简化的最优传输ILfO方法,无需学习模型或对抗学习即可生成奖励,可适配任意RL算法,在连续控制任务上超越现有最优水平,单条无动作专家轨迹即可实现专家级性能。
2024-10-03 cs.AI cs.LG cs.RO
Causal Imitation Learning with Unobserved Confounders
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
孩子们学习的一种常见方式是模仿成年人。模仿学习的重点是学习政策与适当的性能从示范产生的专家,一个未指定的性能指标,和未观察到的奖励信号。流行的模仿学习方法要么直接模仿专家的行为策略(行为克隆),要么学习一个奖励函数,优先考虑观察到的专家轨迹(逆强化学习)。然而,这些方法依赖于这样的假设,即专家用来确定其行为的协变量被完全观察到。在本文中,我们放松了这一假设,并研究了当学习者和专家的感官输入不同时的模仿学习。首先,我们提供了一个非参数的,图形化的标准,是完整的(既必要又充分),以确定模仿的可行性,从示范数据和定性假设的基础环境的组合,表示在因果模型的形式。然后,我们表明,当这样的标准不成立,模仿仍然是可行的,利用定量知识的专家轨迹。最后,我们开发了一个有效的程序学习模仿政策,从专家的轨迹。
2022-08-12 cs.AI cs.LG
$f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning
Worcester Polytechnic Institute(伍斯特理工学院);University of Minnesota(明尼苏达大学)
模仿学习(IL)的目的是从专家示范中学习一种策略,最大限度地减少学习者和专家行为之间的差异。已经提出了各种模仿学习算法,其具有不同的预定分歧以量化差异。这自然产生了以下问题:给定一组专家演示,哪种分歧可以更准确地恢复专家策略,并具有更高的数据效率?在这项工作中,我们提出了$f$ -GAIL,一个新的生成对抗模仿学习(GAIL)模型,自动学习的差异措施,从$f$分歧家庭以及能够产生专家般的行为的政策。与具有各种预定义偏差度量的IL基线相比,$f$ -GAIL在六个基于物理的控制任务中学习到更好的策略和更高的数据效率。
2020-11-19 cs.AI cs.LG stat.ML
Mirror Learning
University of British Columbia(不列颠哥伦比亚大学);Inverted AI;Amii
该研究提出镜像学习框架,通过视频扩散模型的视角变换与逆动力学模型合成镜像数据,用其增强行为克隆训练可提升策略性能,为数据收集提供替代方案。
2026-08-03 cs.CV cs.LG cs.RO
What Matters to Enhance Traffic Rule Compliance of Imitation Learning for End-to-End Autonomous Driving
Technical University of Munich(慕尼黑工业大学);Huawei Munich Research Center(华为慕尼黑研究中心)
针对端到端自动驾驶模仿学习策略交通规则依从性不足的安全问题,提出结合对比跨语义生成融合与三类交通惩罚的P-CSG方法,在CARLA基准上提升驾驶得分,且对抗攻击鲁棒性显著增强。
2024-09-12 cs.AI cs.CV cs.LG
A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对基于观测的离线模仿在不完整轨迹下 DICE 方法优化不稳定的问题,提出 TAILO,用判别器缩放的未来轨迹折扣和进行加权行为克隆,实验表明其更鲁棒有效。
2023-11-02 cs.AI cs.LG
Autonomous Navigation through intersections with Graph ConvolutionalNetworks and Conditional Imitation Learning for Self-driving Cars
The Hong Kong University of Science and Technology(香港科技大学)
在自动驾驶中,通过无信号交叉路口的导航与许多交通参与者移动是一项具有挑战性的任务。为了解决这个问题,我们提出了一种新的分支网络G-CIL的导航策略学习。具体来说,我们首先表示这样的动态环境的图形结构的数据,并提出了一个有效的策略,边缘定义聚合周围的信息,为自我车辆。然后使用图卷积神经网络作为感知模块,从环境中捕获全局和几何特征。为了生成安全高效的导航策略,我们进一步将其与条件模仿学习算法相结合,直接从专家演示中学习驾驶行为。我们提出的网络能够处理不同数量的周围车辆并生成最优控制动作(例如,转向角和油门)根据给定的高级命令(例如,向左转向全球目标)。对不同交通密度的无信号交叉口的评估表明,我们的端到端可训练神经网络优于基线,具有更高的成功率和更短的导航时间。
2021-02-01 cs.AI cs.RO
LEAD: Minimizing Learner-Expert Asymmetry in End-to-End Driving
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);NVIDIA Research(英伟达研究院);KE:SAI
本文研究了仿真中专家示范与学生观测不一致对模仿学习的影响,提出TransFuser v6在CARLA等基准中取得新突破,提升驾驶性能。
2026-04-13 cs.AI cs.CV cs.LG
From Imitation to Exploration: End-to-end Autonomous Driving based on World Model
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Key Laboratory of System Control and Information Processing, Ministry of Education of China(系统控制与信息处理重点实验室,中华人民共和国教育部);Global Institute of Future Technology, Shanghai Jiao Tong University(未来技术全球研究院,上海交通大学)
提出RAMBLE,一种基于世界模型的端到端强化学习方法,结合模仿学习与强化学习,通过非对称变分自编码器和Transformer提取环境特征,在CARLA基准上取得领先性能。
2025-04-20 cs.AI cs.LG cs.RO
Learning energy-efficient driving behaviors by imitating experts
University of California, Berkeley(加州大学伯克利分校)
汽车自动化的兴起引起了人们对未来自动驾驶汽车(AV)潜在作用的极大兴趣。特别是,在高度密集的交通环境中,预计AV将作为干扰阻尼器,减轻各种来源引起的不稳定性的存在。然而,在许多应用中,这样的机动在很大程度上依赖于交互AV的非本地感测或协调,从而使它们适应现实世界的设置成为一个特别困难的挑战。为了应对这一挑战,本文探讨了模仿学习在弥合这种控制策略与通信和感知的现实限制之间的差距方面的作用。将一个这样的控制器视为“专家”,我们证明了模仿学习可以成功地推导出政策,如果采用5%的车辆,可以提高能源效率的网络与不同的交通条件下,仅使用本地观测15%。结果和代码可在https://sites.google.com/view/il-traffic/home在线获得。
2022-06-28 cs.AI cs.LG cs.RO
Learning to Simulate on Sparse Trajectory Data
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学)
对现实世界交通的模拟可以用来帮助验证交通策略。一个好的模拟器意味着模拟的交通与真实世界的交通相似,这通常需要密集的交通轨迹(即,具有高采样率)以覆盖真实世界中的动态情况。然而,在大多数情况下,真实世界的轨迹是稀疏的,这使得模拟具有挑战性。在本文中,我们提出了一个新的框架ImInGAIL来解决学习的问题,从稀疏的真实世界的数据来模拟驾驶行为。所提出的架构将数据插值与模仿学习的行为学习过程相结合。据我们所知,我们是第一个解决行为学习问题的数据稀疏性问题。我们在驾驶车辆的合成和真实轨迹数据集上研究了我们的框架,表明我们的方法优于各种基线和最先进的方法。
2021-03-22 cs.AI cs.LG
EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation
Sungkyunkwan University(成均馆大学)
EVOL利用知识追踪模拟器通过进化搜索合成专家示范,并训练免部署策略,在多个数据集上超越8种基线,解决学习路径推荐中的稀疏奖励问题。
2026-10-05 cs.AI
Gaze Training by Modulated Dropout Improves Imitation Learning
Hong Kong University of Science and Technology(香港科技大学)
通过行为克隆的模仿学习是一种流行的方法,在基于视觉的自动驾驶中取得了一定的成功。行为克隆背后的基本思想是让神经网络通过观察人类专家的行为来学习。通常,卷积神经网络通过模仿人类驾驶员的行为来学习从原始驾驶员视图图像预测转向命令。然而,还有其他线索,如凝视行为,可从人类驾驶员尚未被利用。先前的研究表明,新手人类学习者可以从观察专家的凝视模式中受益。我们在这里提出,深度神经网络也可以从中受益。我们提出了一种方法,凝视调制辍学,将这种凝视信息隐式地整合到深度驾驶网络中,而不是作为额外的输入。我们的实验结果表明,凝视调制的辍学提高了网络的泛化能力,看不见的场景。与均匀丢失相比,转向命令的预测误差减少了23.5%。在模拟器中运行闭环,凝视调制的辍学网络将违规之间的平均距离增加了58.5%。与这些结果一致,凝视调制的辍学网络显示出较低的模型不确定性。
2019-08-16 cs.AI cs.CV cs.RO
Multi-task Learning with Attention for End-to-end Autonomous Driving
Toyohashi University of Technology(丰桥技术科学大学);University of Eastern Finland(东芬兰大学)
自动驾驶系统需要处理复杂的场景,例如车道跟随,避免碰撞,转弯和响应交通信号。近年来,基于端到端行为克隆的方法在点对点导航场景中表现出了卓越的性能,使用逼真的模拟器和标准基准测试。离线模仿学习是现成的,因为它不需要昂贵的手工注释或与目标环境的交互,但很难获得可靠的系统。此外,现有的方法还没有专门解决交通信号灯反应的学习,这在训练数据集中很少发生。受多任务学习和注意力建模的启发,本文在条件模仿学习(CIL)框架下提出了一种新的多任务注意力感知网络。这不仅提高了标准基准测试的成功率,还提高了对交通信号灯的反应能力,这是我们在标准基准测试中展示的。
2021-04-21 cs.AI cs.CV cs.RO
Modeling Human Driving Behavior through Generative Adversarial Imitation Learning
自动驾驶汽车安全性验证的一个开放性问题是在仿真中建立可靠的人类驾驶行为模型。这项工作提出了一种从真实世界驾驶演示数据中学习神经驾驶策略的方法。我们模拟人类驾驶的顺序决策问题,其特征在于非线性和随机性,和未知的潜在成本函数。模仿学习是一种用于在成本函数未知或难以指定时生成智能行为的方法。生成对抗模仿学习(GAIL)建立在逆强化学习(IRL)的基础上,旨在为具有大或连续状态和动作空间的问题提供有效的模仿,例如模拟人类驾驶。本文描述了使用GAIL进行基于学习的驱动程序建模。由于驱动程序建模本质上是一个多代理问题,代理之间的交互需要建模,本文描述了一个参数共享扩展GAIL称为PS-GAIL来解决多代理驱动程序建模。此外,GAIL是领域不可知的,使得在学习过程中难以编码与驾驶相关的特定知识。本文介绍了奖励增强模仿学习(RAIL),它修改奖励信号,提供特定领域的知识代理。最后,人类的演示取决于GAIL可能无法捕捉到的潜在因素。本文介绍了烧伤InfoGAIL,它允许在演示中的潜在变异的解开。模仿学习实验使用NGSIM,一个真实世界的高速公路驾驶数据集。实验表明,这些修改GAIL可以成功地模拟高速公路驾驶行为,准确地复制人类的示范和产生现实的,紧急的行为在交通流中所产生的驾驶代理之间的相互作用。
2023-02-07 cs.AI
Missing Bridges: Composition-Aware Active Imitation Learning
Purdue University(普渡大学)
提出AALT方法,通过构建潜在枢纽拓扑并请求最大化起始-目标连通性增益的桥梁演示,在72任务模拟中仅用3个演示即达100%成功率。
2026-09-17 cs.AI cs.RO
SwapTransformer: highway overtaking tactical planner model via imitation learning on OSHA dataset
Innovation Center of California(加州创新中心);Volkswagen Group Innovation(大众集团创新中心)
本文研究高速公路超车决策问题,发布OSHA数据集并提出SwapTransformer模仿学习架构,结合辅助任务提升环境理解,在仿真中优于基线模型。
2024-01-02 cs.AI cs.CV cs.LG
Reactive and Safe Road User Simulations using Neural Barrier Certificates
Massachusetts Institute of Technology(麻省理工学院)
反应式和安全的代理建模是当今交通模拟器设计和安全规划应用的重要组成部分。在这项工作中,我们提出了一个反应式代理模型,它可以确保安全,而不包括原来的目的,只学习高层次的决策,从专家数据和低层次的分散控制器的指导下,共同学习分散的障碍证书。实证结果表明,我们学习的道路用户模拟模型可以实现一个显着的改善,在安全性相比,国家的最先进的模仿学习和纯粹的控制为基础的方法,而类似于人类代理的专家数据的误差较小。此外,我们学习的反应代理被证明可以更好地概括看不见的交通状况,并对其他道路使用者做出更好的反应,因此可以帮助务实地理解具有挑战性的规划问题。
2021-09-14 cs.AI cs.LG cs.MA
Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
Microsoft Research(微软研究院);MIT(麻省理工学院)
该研究从学习理论角度重新审视离线与在线模仿学习的差距,分析带对数损失的行为克隆,发现满足特定条件时离线IL可实现时间跨度无关的样本复杂度,且离线与在线IL的差距小于此前认知,实验验证了结果的实际相关性。
2024-11-30 cs.AI cs.LG math.ST
Learning to Drive Anywhere
Boston University(波士顿大学)
本文提出地理感知条件模仿学习模型 AnyD,通过基于地理位置的高容量通道注意力机制和对比模仿目标,实现跨地域、异构数据的高效自动驾驶学习,并在 CARLA 开环和闭环测试中显著优于 CIL 基线。
2023-09-25 cs.AI cs.CV cs.LG
SkyDrive: Learning to Drive in a New City from Aerial Traffic Monitoring
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本研究提出SkyDrive框架,利用无人机交通监测为自动驾驶智能体提供监督,提取65万驾驶样本构建基准,可缓解跨城市领域差距,是适配新城市自动驾驶的高效可扩展数据源。
2026-08-27 cs.AI cs.RO