Purpose in the Machine: Do Traffic Simulators Produce Distributionally Equivalent Outcomes for Reinforcement Learning Applications?
本研究探究交通模拟器CityFlow和SUMO是否为强化学习应用产生分布等价结果,通过控制实验发现二者在RL相关指标上不具有分布等价性,强调理解模拟器间差异的必要性。
2023-11-14 cs.CE cs.LG
Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning
Khoury College of Computer Sciences(计算机科学学院)
本文提出一种新型攻击'Daze',通过模拟器动态在强化学习代理中隐秘植入动作级后门,无需修改或观察奖励,证明其在通用RL任务中的有效性,并展示其在机器人硬件上的迁移。
2026-03-18 cs.CR cs.LG cs.RO
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim,一种基于模型的离线逆强化学习框架,通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构,提升探索性和泛化能力,无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Alpha-RF: Automated RF-Filter-Circuit Design with Neural Simulator and Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Keysight Technologies, Inc.(Keysight技术公司)
Alpha-RF通过神经模拟器和强化学习实现自动射频滤波器电路设计,显著提升设计效率和精度。
2026-02-18 cs.LG eess.SP
VMAgent: Scheduling Simulator for Reinforcement Learning
East China Normal University(华东师范大学);Huawei Technologies Co., Ltd.(华为技术有限公司);The Chinese University of Hong Kong-Shenzhen(香港中文大学(深圳))
介绍了一种新的模拟器VMAgent,以帮助RL研究人员更好地探索新的方法,特别是虚拟机调度。VMAgent的设计灵感来自于实际的虚拟机调度任务,它提供了一个能够反映云计算实际情况的高效仿真平台。从实际的云计算中总结出三种场景(衰落,恢复和扩展),并对应于许多强化学习挑战(高维状态和动作空间,高度非平稳性和终身需求)。VMAgent为RL研究人员提供灵活的配置,以设计考虑不同问题特征的定制调度环境。从虚拟机调度的角度来看,VMAgent还有助于探索更好的基于学习的调度解决方案。
2021-12-09 cs.AI cs.LG
JaxWildfire: A GPU-Accelerated Wildfire Simulator for Reinforcement Learning
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
JaxWildfire是一种基于JAX的GPU加速野火模拟器,利用单元格自动机模型实现高效模拟,加速RL训练以优化野火扑灭策略。
2025-12-05 cs.AI cs.LG
An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks
Telecommunications Research Institute, University of Malaga(马拉加大学电信研究院);Aalborg University(奥尔堡大学)
本文针对低地球轨道卫星星座动态系统不确定性问题,提出开源Python模拟器,支持传统路由与Q-Routing、MA-DRL等学习方案,通过事件驱动模拟提升端到端延迟性能,代码文档开源。
2024-11-28 cs.LG cs.NI eess.SP
Solving Physics Olympiad via Reinforcement Learning on Physics Simulators
Carnegie Mellon University(卡内基梅隆大学)
本文通过物理模拟器生成合成数据,利用强化学习训练LLM,实现零样本迁移到现实物理竞赛,提升模型物理推理能力。
2026-04-13 cs.AI cs.CV cs.LG
Reinforcement-learning robotic sailboats: simulator and preliminary results
Fluminense Federal University(弗卢米嫩塞联邦大学);Center Inria de l’Université de Lille(里尔大学Inria中心);Federal University of Rio Grande do Norte(北里奥格兰德联邦大学);Center Inria Chile(智利Inria中心)
本文针对无人水面艇数字孪生虚拟海洋环境的开发,提出模拟方程定义、实现及RL控制与感知策略整合的方法,并展示基于真实帆船的建模与初步结果,为RL导航算法在实船应用奠定基础。
2024-01-16 cs.AI cs.LG cs.RO
Assessing Transferability from Simulation to Reality for Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(本田欧洲研究院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
从物理模拟中学习机器人控制策略对机器人社区非常感兴趣,因为它可以通过减轻对昂贵的真实世界实验的需求来使学习过程更快,更便宜和更安全。然而,将学到的行为从模拟直接转移到现实是一个重大挑战。在稍微有故障的模拟器上优化策略很容易导致“模拟优化偏差”(SOB)的最大化。在这种情况下,优化器利用模拟器的建模误差,使得所产生的行为可能会损坏机器人。我们通过应用域随机化来应对这一挑战,即,在学习期间随机化物理模拟的参数。我们提出了一种算法称为基于仿真的策略优化与可转移性评估(SPOTA),它使用的估计量的最大值,制定一个停止标准的训练。引入的估计量量化了训练时经历的域集合的过拟合。我们在两个不同的二阶非线性系统上的实验结果表明,新的基于仿真的策略搜索算法能够专门从随机模拟器中学习控制策略,该策略可以直接应用于实际系统而无需任何额外的训练。
2019-10-21 cs.LG cs.RO
Gym-TORAX: Open-source software for integrating reinforcement learning with plasma control simulators in tokamak research
Montefiore Institute, University of Liège(蒙费尔 Institute,列日大学)
本文提出Gym-TORAX,一种Python包,用于在托卡马克研究中将强化学习与等离子体动态和控制模拟结合。该软件通过定义简洁的控制动作和观测集以及控制目标,创建一个封装TORAX的Gymnasium环境,以模拟等离子体动态。
2026-03-19 cs.LG
The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA));McGill University(麦吉尔大学);Facebook Artificial Intelligence Research (FAIR)(Facebook人工智能研究院(FAIR))
深度强化学习最近取得了许多令人印象深刻的成功。然而,将这些方法应用于现实世界问题的一个主要障碍是它们缺乏数据效率。为此,我们提出了瓶颈模拟器:一种基于基于模型的强化学习方法,它将环境的学习,因子化过渡模型与推出模拟相结合,从很少的例子中学习有效的策略。所学习的转换模型采用抽象的离散(瓶颈)状态,其通过减少模型参数的数目和通过利用环境的结构特性来增加样本效率。我们提供了一个数学分析的瓶颈模拟器在固定点的学习策略,它揭示了性能是如何受到四个不同来源的错误:错误相关的抽象空间结构,错误相关的过渡模型估计方差,错误相关的过渡模型估计偏差,和错误相关的过渡模型类偏差。最后,我们评估瓶颈模拟器上的两个自然语言处理任务:文本冒险游戏和现实世界中,复杂的对话响应选择任务。在这两个任务上,瓶颈模拟器都能产生出色的性能,击败竞争对手。
2018-07-12 cs.AI cs.CL cs.LG
JAX-LOB: A GPU-Accelerated limit order book simulator to unlock large scale reinforcement learning for trading
University of Oxford(牛津大学)
本研究推出首款支持GPU的限价订单簿模拟器JAX-LOB,可并行处理数千个订单簿并降低单消息处理耗时,集成JAX生态后可用于交易领域的大规模强化学习训练及最优执行问题研究。
2023-08-25 cs.AI cs.CE cs.LG
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低,与使用标准摄像机的现有基于视觉的学习应用相比,可以实现更快的机器人控制。为了处理强化学习的事件流,我们引入了一个类似图像的功能,并证明了在模拟器中训练代理的两个任务的可行性:快速避碰和障碍物跟踪。最后,我们在现实世界中设置了一个带有事件摄像机的机器人,然后转移了在模拟器中训练的代理,从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中,通过端到端学习方法,为需要快速控制的各种机器人应用(如自动驾驶汽车和无人机)开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
Robotic Surgery With Lean Reinforcement Learning
The Johns Hopkins University(约翰斯·霍普金斯大学)
随着手术机器人变得越来越普遍,自动化减轻一些复杂的直接人工操作的负担变得越来越可行。无模型强化学习(RL)是一个有前途的方向,可推广的自动化手术性能,但由于缺乏有效和现实的学习环境,进展缓慢。在本文中,我们描述了向达芬奇技能模拟器添加强化学习支持,达芬奇技能模拟器是一种在世界各地使用的培训模拟,允许外科医生学习和排练技术技能。我们成功地教基于RL的代理在模拟器环境中执行子任务,使用图像或状态数据。据我们所知,这是第一次在手术机器人环境中从视觉数据中教授基于RL的代理。此外,我们使用一个简单的实现系统来解决RL的样本效率低下问题,我们称之为混合批量学习(HBL),有效地为Q学习过程添加了第二个长期重放缓冲区。此外,这使我们能够使用从状态学习的更简单任务从收集的数据中引导图像学习。我们表明,HBL显着减少我们的学习时间。
2021-05-03 cs.LG cs.RO
Faster Reinforcement Learning Using Active Simulators
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们提出了几种在线方法来建立一个\emph{learning curriculum}从一组给定的目标任务特定的训练任务,以加快强化学习(RL)。与从头开始训练目标任务相比,这些方法可以减少RL代理所需的总训练时间。与传统的迁移学习不同,我们考虑从几个训练任务中创建一个序列,以便在减少训练的总时间方面提供最大的好处。我们的方法利用迄今为止看到的课程任务上的代理的学习轨迹来决定接下来要训练哪些任务。我们的方法的一个有吸引力的特点是,它们是弱耦合到RL算法的选择,以及迁移学习方法。此外,当有领域信息可用时,我们的方法可以结合这些知识以进一步加快学习。我们的实验表明,这些方法可以用来获得合适的学习课程,加快两个不同领域的整体训练时间。
2017-11-21 cs.LG
PerSim: Data-Efficient Offline Reinforcement Learning with Heterogeneous Agents via Personalized Simulators
MIT(麻省理工学院)
我们考虑在严重数据稀缺的情况下,使用异构代理的离线强化学习(RL),即,在未知的、潜在的次优策略下,我们仅观察每个代理的单个历史轨迹。我们发现,考虑到这种有限的数据可用性,最先进的离线和基于模型的RL方法的性能显着降低,即使是通常认为的“解决”基准设置,如“MountainCar”和“CartPole”。为了应对这一挑战,我们提出了PerSim,一种基于模型的离线RL方法,它首先通过集体使用所有代理的历史轨迹来学习每个代理的个性化模拟器,然后再学习策略。我们这样做的假设,跨代理的过渡动态可以表示为一个潜在的功能与代理,状态和行动的潜在因素,随后,我们从理论上建立,这个功能是很好的近似由一个“低秩”分解可分离的代理,状态和行动的潜在功能。这种表示提出了一个简单的,正则化的神经网络架构,以有效地学习每个代理的过渡动态,即使是稀缺的离线数据。我们在几个基准环境和RL方法中进行了广泛的实验。从状态动态预测和最终奖励两个方面衡量,我们的方法不断改进,证实了我们的框架在利用有限的历史数据同时学习跨代理的个性化策略方面的有效性。
2021-11-10 cs.LG
Deep Reinforcement Learning for Adverse Garage Scenario Generation
本文提出基于深度强化学习的自动化程序生成框架,自动生成2D地面脚本并构建3D场景,用于Carla仿真器中的导航算法测试,以解决手动搭建场景耗时费力的问题。
2024-07-01 cs.AI cs.LG cs.RO
OTTR: Off-Road Trajectory Tracking using Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
在这项工作中,我们提出了一种新的强化学习(RL)算法的越野轨迹跟踪问题。越野环境涉及不同的地形类型和海拔高度,并且很难对特定越野车辆与这种多样且复杂的环境的交互动力学进行建模。在模拟器上训练的标准RL策略将无法在如此具有挑战性的现实环境中运行。而不是使用一个天真的域随机化方法,我们提出了一个创新的监督学习为基础的方法来克服模拟到真实的差距问题。我们的方法有效地利用了有限的现实世界中的数据,以适应基线RL的政策,使用一个简单的运动学模拟器。这避免了对车辆与越野环境的多样且复杂的交互进行建模的需要。我们评估所提出的算法使用两种不同的越野车,野猪和驼鹿的性能。与标准的ILQR方法相比,我们提出的方法在Warthog和Moose中分别实现了30%和50%的交叉跟踪误差减少,仅利用30分钟的真实驾驶数据。
2021-10-05 cs.LG cs.RO
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Cambridge(剑桥大学)
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发(和基准测试)也很重要。然而,全尺寸模拟器通常缺乏可移植性和并行性。反之亦然,许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉,但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中,我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面,以及对逼真碰撞和空气动力学效果的支持,使其成为同类产品中的第一个。我们通过几个例子展示了它的使用,无论是控制(轨迹跟踪与PID控制,多机器人飞行与下洗,等)。或强化学习(单智能体和多智能体稳定任务),希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University(西湖大学);Tsinghua University(清华大学)
我们提出了一种异域逆强化学习的方法,该方法在模拟器中学习奖励函数,并借鉴了现实世界中的演示。该方法背后的直觉是,奖励函数不仅应该以模仿专家为导向,而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标,采用了广泛使用的GAN启发的IRL方法,并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中,可以产生可转移的奖励函数适合模拟器的动力学,这可以通过推导来保证。实际上,我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验,我们的方法显示了其有效性,并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
近年来,完全可微刚体物理模拟器已经被开发出来,它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下,这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而,到目前为止,这些梯度被证明是非常具有挑战性的,并且被完全不使用梯度信息的算法所超越。在这项工作中,我们提出了一种新的算法,交叉熵分析策略梯度,能够利用这些梯度,以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Deep Learning Based Simulators for the Phosphorus Removal Process Control in Wastewater Treatment via Deep Reinforcement Learning Algorithms
Krüger A/S(克鲁格公司);Aalborg University(奥尔堡大学);AAU Energy(奥尔堡大学AAU能源机构)
本研究训练六个模型构建深度强化学习(DRL)环境模拟器以优化废水处理除磷过程,发现模型复合误差限制了其长期模拟性能,提出利用SCADA系统数据创建仿真环境以改进过程控制。
2024-01-23 cs.AI cs.LG cs.SY
Federated Transfer Reinforcement Learning for Autonomous Driving
Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
强化学习(RL)被广泛应用于自动驾驶任务中,并且训练RL模型通常涉及多个步骤的过程:在模拟器上预训练RL模型,将预训练的模型上传到现实生活中的机器人,以及微调机器人车辆上的重量参数。这个顺序的过程非常耗时,更重要的是,来自微调模型的知识停留在本地,不能被重用或协同利用。为了解决这个问题,我们提出了一个在线联邦RL传输过程,用于实时知识提取,其中所有参与者代理都使用其他人学到的知识进行相应的操作,即使他们在非常不同的环境中行事。为了验证所提出的方法的有效性,我们构建了一个现实生活中的碰撞避免系统与微软Airsim模拟器和NVIDIA JetsonTX2汽车代理,合作从头开始学习,以避免在室内环境中与障碍物的碰撞。我们证明,与建议的框架,模拟器汽车代理可以实时传输知识的RC车,与障碍物的平均距离增加了27%,碰撞次数减少了42%。
2019-10-14 cs.AI cs.LG cs.RO
TABX: A High-Throughput Sandbox Battle Simulator for Multi-Agent Reinforcement Learning
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系);Gauss Labs Inc., Seoul, Republic of Korea(首尔Gauss实验室)
提出基于JAX的高吞吐沙盒模拟器TABX,通过可重构任务和硬件加速支持多智能体强化学习的高效研究与评估。
2026-05-27 cs.AI cs.LG cs.MA
A Microscopic Pandemic Simulator for Pandemic Prediction Using Scalable Million-Agent Reinforcement Learning
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
微观流行病模型是政府决策者预测和模拟流行病爆发的有力工具,它可以捕捉个体行为对宏观现象的影响。然而,现有的模型只考虑简单的基于规则的个人行为,限制了它们的适用性。本文提出了一种深度强化学习的微观模型,称为微观流行病模拟器(MPS)。通过将基于规则的代理替换为理性代理,理性代理的行为被驱动以最大化奖励,MPS提供了对真实世界动态的更好近似。为了在MPS中有效地模拟大量的代理,我们提出了可扩展的百万代理DQN(SMADQN)。MPS使我们能够有效地评估不同政府战略的影响。本文首先根据美国阿勒格尼的真实数据对MPS进行了校准,然后实证评估了两种政府策略:信息披露和隔离。仿真结果验证了该方法的有效性。作为广泛的影响,本文为DRL在经济和社交网络等大规模基于代理的网络中的应用提供了新的见解。
2021-08-14 cs.AI cs.LG cs.MA
Deep Learning of Robotic Tasks without a Simulator using Strong and Weak Human Supervision
Technion - Israel Institute of Technology(以色列理工学院)
我们提出了一个计划,培训计算机化的代理执行复杂的人类任务,如公路转向。该计划的目的是遵循自然的学习过程,其中一个人类教练教计算机化的学员。学习过程由五个要素组成:(i)无监督特征学习;(ii)有监督模仿学习;(iii)有监督奖励诱导;(iv)有监督安全模块构建;以及(v)强化学习。我们使用深度卷积网络实现了该方案的最后四个元素,并将其应用于成功创建一个能够在着名赛车游戏Assetto Corsa上自主驾驶高速公路的计算机化代理。我们证明,最后四个元素的使用是必不可少的,有效地进行转向任务,单独使用视觉,而无需访问驾驶模拟器内部,并在挂钟时间操作。这也可以通过引入安全网络来实现,这是一种防止代理在强化学习阶段执行灾难性错误的新方法。
2017-03-26 cs.AI cs.LG cs.RO
Efficient Reservoir Management through Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);ATREE(阿什oka生态研究信托基金会);FERAL;Google Research(谷歌研究院)
水坝通过流量调节和上下游联系的中断影响下游河流动态。然而,目前的大坝运行是远远不能令人满意的,由于无法响应的复杂和不确定的动态上下游系统和各种用途的水库。更有甚者,大坝运行不佳可能导致下游地区发生洪水。因此,在这项工作中,我们利用强化学习(RL)方法来计算有效的大坝运行指南。具体来说,我们建立离线模拟器与真实数据和不同的数学模型的上游流入,即,广义最小二乘(GLS)和动态线性模型(DLM),然后利用仿真器对DDPG、TD3和SAC等最新的强化学习算法进行训练。实验结果表明,基于DLM的仿真器能够有效地模拟上游的入流动态,RL算法训练的大坝运行策略明显优于人工生成的策略。
2020-12-07 cs.LG
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University(清华大学)
如何尽可能有效和彻底地探索角落案例一直是深度强化学习(DeepRL)自动驾驶背景下的首要问题之一。与利用真实世界数据相比,使用模拟数据进行训练的成本和危险性更低,但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距,这可能是模拟器难以生成的新颖,异常和风险情况下表现不佳的原因。域随机化(DR)是一种方法,可以用很少或没有真实世界的数据来弥合这一差距。因此,在这项研究中,提出了一种对抗模型,以增强在模拟中训练的基于DeepRL的自动驾驶车辆,以逐渐出现更难的事件,以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Decentralized Reinforcement Learning for Multi-Target Search and Detection by a Team of Drones
Mechanical and Industrial Engineering Department, Northeastern University(东北大学机械与工业工程学院)
目标搜索和检测包含了覆盖、监视、搜索、观察和追捕等多种决策问题。在本文中,我们开发了一种多智能体深度强化学习(MADRL)方法,以协调一组飞行器(无人机)定位一组静态目标在未知区域的目的。为此,我们设计了一个逼真的无人机模拟器,它复制了真实实验的动力学和扰动,包括从实验数据中进行建模的统计推断。我们的强化学习方法利用这个模拟器进行训练,能够为无人机找到接近最优的策略。与其他最先进的MADRL方法相比,我们的方法在学习和执行过程中是完全分散的,可以处理高维和连续的观测空间,并且不需要调整额外的超参数。
2021-03-17 cs.LG cs.MA cs.RO
QuadSwarm: A Modular Multi-Quadrotor Simulator for Deep Reinforcement Learning with Direct Thrust Control
University of Southern California(南加州大学)
针对强化学习训练数据需求大、仿真器需兼顾速度与sim2real迁移性的问题,提出高并行化的多四旋翼模拟器QuadSwarm,支持域随机化与多场景训练,在16核CPU上单/8旋翼采样率分别超48500/62000 SPS。
2023-06-15 cs.AI cs.LG cs.MA
Pgx: Hardware-Accelerated Parallel Game Simulators for Reinforcement Learning
Kyoto University(京都大学);ATR(国际电气通信基础技术研究所);The University of Tokyo(东京大学)
本文提出基于 JAX 并针对 GPU/TPU 优化的棋盘游戏强化学习环境套件 Pgx,通过自动向量化与并行化实现比 Python 现有实现快 10-100 倍的模拟速度,并提供基准环境、小型游戏集和基线模型以加速 RL 研究。
2024-01-15 cs.AI cs.LG
The Power of Resets in Online Reinforcement Learning
Google(谷歌);Microsoft(微软)
本文研究在线强化学习中局部模拟器访问的力量,提出新算法在仅要求Q*可实现性的条件下实现低覆盖性MDP的样本高效学习,并设计计算更高效的RVFS算法提供可证明的样本复杂度保证。
2024-04-26 cs.AI cs.LG stat.ML
A User Simulator for Task-Completion Dialogues
Microsoft Research(微软研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(国立台湾大学)
尽管人们对面向任务的对话系统的学习能力有着广泛的兴趣,但有几个障碍会阻碍研究和开发的进展。首先,强化学习者通常需要与环境进行交互,因此不能直接使用传统的对话语料库。其次,每个任务都提出了具体的挑战,需要单独的任务特定的注释数据语料库。第三,为面向任务的对话收集和注释人机或人与人的对话需要广泛的领域知识。因为建立一个合适的数据集可能既经济上昂贵又耗时,一种流行的方法是基于示例对话的语料库来建立用户模拟器。然后,当代理与模拟器交互时,可以以在线方式训练强化学习代理。在这些模拟器上训练的对话代理可以作为一个有效的起点。一旦智能体掌握了模拟器,它们就可以被部署到真实的环境中与人类进行交互,并继续接受在线培训。为了减轻经验算法比较对话,本文介绍了一个新的,公开的模拟框架,我们的模拟器,专为电影预订域,利用规则和收集的数据。模拟器支持两个任务:电影票预订和电影搜索。最后,我们展示了几个代理,并详细介绍了在建议的框架中添加和测试自己的代理的过程。
2017-11-13 cs.AI cs.CL cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
When to Trust Your Simulator: Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning
Tsinghua University(清华大学);Indian Institute of Technology(印度理工学院);Shanghai Jiaotong University(上海交通大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Shanghai AI Laboratory(上海人工智能实验室)
针对非完美模拟器与有限真实数据的问题,提出动力学感知的混合离线和在线强化学习(H2O)框架,通过自适应惩罚模拟数据上的Q学习并结合真实数据,显著提升性能。
2025-10-14 cs.AI cs.LG
PAC Reinforcement Learning without Real-World Feedback
University of Michigan(密歇根大学);Microsoft AI & Research(微软人工智能与研究院)
这项工作研究了强化学习在模拟到真实的设置,其中代理首先在一些模拟器上进行训练,然后部署在现实世界中,目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程(ROMDP),我们制定了一个理论框架,模拟到真实的情况下,在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证,其小于目前已知的直接(即,不访问模拟器)学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
End-to-end Offline Reinforcement Learning for Glycemia Control
Diabeloop(迪亚布洛普公司)
针对闭环血糖控制过度依赖模拟器的问题,提出基于真实患者数据训练的离线强化学习智能体,并利用端到端个性化流程与离线策略评估消除模拟器需求,同时估计临床相关指标。
2023-10-16 cs.AI cs.LG q-bio.QM
LibSignal: An Open Library for Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院);Xi’an Jiaotong University(西安交通大学)
本文提出开源库LibSignal,统一接口与评估指标,首次在相同数据集上跨SUMO和CityFlow公平比较多种最先进强化学习交通信号控制算法。
2023-11-29 cs.LG
Mahjax: A GPU-Accelerated Mahjong Simulator for Reinforcement Learning in JAX
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究院AIP);Nara Institute of Science and Technology(奈良科学技術大學);Kobe University(Kobe大学);Kyoto University(京都大学);ATR;The University of Sydney(悉尼大学)
本文提出Mahjax,一种基于JAX实现的麻将环境,利用GPU加速大规模并行化,以解决麻将游戏中的高维状态空间和随机性问题,为强化学习提供高效的训练平台。
2026-05-20 cs.AI cs.LG
Generalization Across Observation Shifts in Reinforcement Learning
Amazon(亚马逊);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文扩展双模拟框架,通过基于双模拟的新目标学习对上下文相关观测偏移不变的表示,并给出模拟器保真度与策略迁移的理论界,在高维图像控制任务中验证了泛化效果。
2023-06-07 cs.AI cs.LG cs.RO
CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario
Shanghai Jiao Tong University(上海交通大学);Pennsylvania State University(宾夕法尼亚州立大学)
交通信号控制是强化学习的新兴应用场景。交通信号控制是影响人们日常生活的重要问题之一,如何适应动态交通环境,协调包括车辆和行人在内的数千个智能体,是强化学习面临的独特挑战。现代强化学习成功的一个关键因素依赖于一个好的模拟器来生成大量用于学习的数据样本。然而,目前最常用的开源交通仿真器SUMO在大规模路网和大流量交通场景下的可扩展性较差,阻碍了强化学习在交通场景中的应用研究。这促使我们创建一个新的交通模拟器CityFlow从根本上优化数据结构和高效的算法。CityFlow可以支持基于合成和真实世界数据的道路网络和交通流的灵活定义。它还为强化学习提供了用户友好的界面。最重要的是,CityFlow比SUMO快20倍以上,并且能够通过交互式渲染来支持城市范围的交通模拟。除了交通信号控制,CityFlow还可以作为其他交通研究的基础,并可以为智能交通领域的机器学习方法测试创造新的可能性。
2019-05-13 cs.LG cs.MA
Improved Long Short-Term Memory-based Wastewater Treatment Simulators for Deep Reinforcement Learning
Krüger A/S(克鲁格公司);Aalborg University(奥尔堡大学);AAU Energy(奥尔堡大学能源学院)
针对污水处理数据非线性导致DRL模拟器存在复合误差的问题,提出在训练中引入模型预测作为输入校正并改进损失函数以考虑长期动态,使模拟器全年预测准确度最高提升98%。
2024-03-22 cs.AI cs.LG cs.SY
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Toward Simulating Environments in Reinforcement Learning Based Recommendations
Michigan State University(密歇根州立大学);Tsinghua University(清华大学)
随着强化学习(RL)的发展,人们对将RL应用于推荐系统产生了极大的兴趣。然而,直接训练和评估一个新的基于RL的推荐算法需要在真实系统中收集用户的实时反馈,这不仅费时费力,而且可能会对用户体验产生负面影响。因此,它需要一个用户模拟器,可以模仿真实用户的行为,我们可以预先训练和评估新的推荐算法。在动态系统中模拟用户的行为面临着巨大的挑战-(i)底层项分布是复杂的,(ii)每个用户的历史日志是有限的。本文提出了一种基于生成对抗网络(GAN)的用户模拟器。具体来说,生成器捕捉用户历史日志的底层分布,生成真实日志,可以看作是真实日志的扩充;而日志生成器不仅可以区分真实日志和虚假日志,还可以预测用户的行为。基于真实电子商务数据的实验结果验证了该模拟器的有效性。
2019-09-10 cs.IR cs.LG
Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation
提出一种闭环CO2封存控制框架,结合历史条件策略和潜在模型自适应,仅利用井口观测数据实现接近特权状态性能,并在异常工况下优于直接无模型重调。
2026-06-26 cs.LG
Reinforcement Learning for Resilient Power Grids
University of California-Berkeley(加州大学伯克利分校)
传统的电网系统在更加频繁和极端的自然灾害下已经过时。强化学习(RL)在电网控制方面取得了成功,是一种很有前途的解决方案。然而,大多数电网仿真器和RL接口不支持在大规模停电或当网络被划分为子网络时的电网仿真。在这项研究中,我们提出了一个更新的电网模拟器建立在Grid2Op,现有的模拟器和RL接口,并对限制Grid2Op的动作和观察空间进行了实验。通过DDQN和SliceRDQN算法的测试,我们发现减少的动作空间显著提高了训练性能和效率。此外,我们还研究了一种用于深度Q学习的低秩神经网络正则化方法,深度Q学习是最广泛使用的RL算法之一。实验结果表明,在电网仿真环境中,采用该方法可以显著提高强化学习代理的性能。
2022-12-08 cs.LG cs.SY eess.SY
Data-driven simulator of multi-animal behavior with unknown dynamics via offline and online reinforcement learning
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息学研究科);RIKEN Center for Advanced Intelligence Project, Japan(RIKEN高级智能项目研究中心);Graduate School of Arts and Sciences, The University of Tokyo, Japan(东京大学文学系研究科);Project team for SIP, Japan(SIP项目团队);Japan Agency for Marine-Earth Science and Technology, Japan(日本海洋地球科学技术机构);Faculty of Education, Shitennoji University, Japan(世田谷大学教育学部);Graduate School of Engineering, The University of Tokyo, Japan(东京大学工学研究科);Graduate School of Science and Technology, Niigata University, Japan(新潟大学科学技术研究科);Graduate School of Science, Nagoya University, Japan(名古屋大学理学研究科);Principles of Informatics Research Division, National Institute of Informatics, Japan(信息学原理研究部门,日本信息处理技术研究所);Graduate School of Information Science, The University of Osaka, Japan(大阪大学信息科学研究科)
提出基于深度强化学习和反事实模拟的多动物行为数据驱动模拟器,通过RL框架估计动作并采用伪奖励对齐状态,在多种生物上验证了更高的行为重现性和奖励获取能力,支持反事实预测。
2025-10-12 cs.AI cs.LG
Multi-Fidelity Hybrid Reinforcement Learning via Information Gain Maximization
King's College London(伦敦国王学院)
本文提出MF-HRL-IGM算法,在固定成本预算下通过自举方法基于信息增益最大化选择模拟器保真度,实现多保真度混合离线-在线强化学习,并证明其无遗憾性质及优于现有基准的性能。
2025-09-18 cs.LG eess.SP
MADRaS : Multi Agent Driving Simulator
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Microsoft(微软);University of Alberta(阿尔伯塔大学);Intel Labs, Intel(英特尔实验室,英特尔);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在这项工作中,我们提出了MADRaS,一个开源的多智能体驾驶模拟器,用于自动驾驶的运动规划算法的设计和评估。MADRaS提供了一个用于构建各种公路和轨道驾驶场景的平台,其中多个驾驶代理可以使用强化学习和其他机器学习算法针对运动规划任务进行训练。MADRaS是建立在TORCS,一个开源的赛车模拟器。TORCS提供具有不同动态特性的各种汽车以及具有不同几何形状和表面特性的行驶轨道。MADRaS继承了TORCS的这些功能,并引入了对多智能体训练、车辆间通信、噪声观测、随机行为和自定义交通车辆的支持,这些车辆的行为可以通过编程来模拟现实世界中遇到的具有挑战性的交通条件。MADRaS可用于创建驾驶任务,其复杂性可沿八个轴以明确定义的步骤进行调整。这使得它特别适合课程和持续学习。MADRaS是轻量级的,它提供了一个方便的OpenAI Gym接口,用于独立控制每辆车。除了原始的转向加速制动控制模式的TORCS,MADRaS提供了一个分层的跟踪位置速度控制,可以用来实现更好的泛化。MADRaS使用多处理来运行每个代理作为一个并行过程,以提高效率,并与流行的强化学习库(如RLLib)集成良好。
2020-10-02 cs.LG cs.MA cs.RO
Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator
研究在闭环去中心化交易所模拟器中,针对动态费用下的执行问题,采用构建最小闭环模拟器及小深度Q网络的方法,得出该方法能减少执行缺口,且优势集中在动态费用环境中的结论。
2026-07-14 cs.LG q-fin.CP stat.ML
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University(卡内基梅隆大学);InfoTech Labs, Toyota Motor North America R&D(丰田北美研发公司InfoTech实验室)
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体,而人类驾驶的车辆则使用它们来辅助驾驶员。然而,单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如,车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中,我们提出了一个合作的感知方案与深度强化学习,以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据,我们的方案减轻了车载通信网络中的网络负载,提高了通信可靠性。为了设计,测试和验证的合作感知方案,我们开发了一个合作与智能车辆仿真(CIVS)平台,它集成了三个软件组件:交通模拟器,车辆模拟器和对象分类器。我们评估,我们的计划减少数据包丢失,从而提高检测精度高达12%,相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
WFCRL: A Multi-Agent Reinforcement Learning Benchmark for Wind Farm Control
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);IFP Energies nouvelles(法国石油与新能源研究院)
WFCRL是首个用于风电场控制的多智能体强化学习开源基准,提供静态与动态模拟器及多种风场布局,支持迁移学习以应对扩展挑战。
2025-01-23 cs.LG cs.MA cs.SY
Deep Reinforcement Learning for Optimizing Energy Consumption in Smart Grid Systems
Iran university of Science and Technology(伊朗科技大学);Islamic Azad university(伊斯兰阿扎德大学)
本文提出利用物理信息神经网络改进强化学习,以提高智能电网能耗优化的效率和性能。
2026-02-20 cs.AI cs.DC cs.LG