Characterizing Speed Performance of Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);DEVCOM Army Research Lab(DEVCOM陆军研究实验室)
本文从加速视角提出MARL算法分类法,并在同构多核CPU平台上系统分析了MADDPG、ToM2C和NeurComm三种基准算法的性能瓶颈,论证了将延迟有界吞吐量作为关键性能指标的必要性。
2023-09-13 cs.AI cs.LG cs.MA
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology(北京理工大学);Southeast University(东南大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
可变车速限制(VSL)控制是一种灵活的方式来改善交通状况,提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势,最近的研究已经显示出有希望的结果。目前,深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习(DRL)模型用于差分可变限速(DVSL)控制,该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构,可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号,如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练,并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明,该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现,通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
At Human Speed: Deep Reinforcement Learning with Action Delay
DeepMind(深度思维);MIT(麻省理工学院);Stanford(斯坦福大学)
最近,玩游戏的人工智能的能力出现了爆炸式增长。许多类别的任务,从视频游戏到运动控制再到棋盘游戏,现在都可以通过基于深度学习和强化学习的相当通用的算法来解决,这些算法可以用最少的先验知识从经验中学习游戏。然而,这些机器通常不仅仅是通过智能取胜--它们拥有远远优越的速度和精确度,使它们能够以人类永远无法做到的方式行事。为了公平竞争,我们将机器的反应时间限制在人类的水平,并发现标准的深度强化学习方法的性能会迅速下降。我们提出了一个解决方案的行动延迟问题的灵感来自人类的感知-赋予代理与环境的神经预测模型,“撤销”固有的延迟在他们的环境-并证明其对专业玩家的效力在超级粉碎兄弟。
2018-10-16 cs.AI cs.LG
Deep Reinforcement Learning for the Joint Control of Traffic Light Signaling and Vehicle Speed Advice
TU Dresden(德累斯顿工业大学);Audi AG(奥迪股份公司)
本文首次提出用深度强化学习联合优化交通信号灯控制与车辆速度建议,在11个基准场景中的8个场景降低了平均行程延误,并通过平滑车辆速度曲线提升交通系统效能。
2023-09-18 cs.LG
Relational Multi-Agent Reinforcement Learning for Dynamic Pricing in High-Speed Railway Markets
Department of Technologies and Information Systems, Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学技术与信息系统系);Warwick Manufacturing Group, University of Warwick(华威大学华威制造集团)
针对高铁市场部分可观测、禁直接通信的动态定价难题,提出实体图建模与改进多智能体强化学习算法,较基线方法提升收益与稳定性。
2026-07-07 cs.AI cs.LG cs.MA
Automated Speed and Lane Change Decision Making using Deep Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术公司)
介绍了一种基于深度强化学习的通用决策函数自动生成方法。在模拟环境中训练Deep Q-网络代理,以处理卡车-拖车组合的速度和车道变换决策。在高速公路驾驶的情况下,它表明,该方法产生的代理,匹配或超过常用的参考模型的性能。为了证明该方法的通用性,还通过在有迎面而来的车辆的道路上训练它来测试完全相同的算法。此外,还介绍了一种将卷积神经网络应用于表示可互换对象的高级输入的新方法。
2018-11-01 cs.AI cs.LG cs.RO
Precision at Speed: Sample-Efficient Online Model-Based Reinforcement Learning for Hydraulic Excavator Control
ETH Zürich(苏黎世联邦理工学院)
提出一种在线基于模型的强化学习框架,用于液压挖掘机控制,通过概率动力学集成和精度门控目标,在无演示或预训练下实现样本高效学习,20分钟达到先前100-150分钟训练数据的精度,40分钟维持亚厘米级误差。
2026-09-28 cs.LG cs.RO cs.SY
The reinforcement learning-based multi-agent cooperative approach for the adaptive speed regulation on a metallurgical pickling line
Severstal Digital(谢韦尔数字)
我们提出了一个整体的数据驱动的方法来提高生产率的问题上的例子,冶金酸洗线。所提出的方法结合了数学建模作为基础算法和合作的多智能体强化学习(MARL)系统实现,以提高性能的多个标准,同时也满足安全性和可靠性的要求,并考虑到某些技术过程的意外波动。我们展示了如何将深度Q-Learning应用于重工业中的实际任务,从而显著改善先前存在的自动化系统。输入数据稀缺的问题通过LSTM和CGAN的两步组合来解决,这有助于同时包含数据的表格表示及其顺序属性。离线RL训练,在这种情况下的必要性,已经成为可能,通过复杂的概率运动环境。
2022-04-02 cs.LG stat.ML
SafeDiver: Cooperative AUV-USV Assisted Diver Communication via Multi-agent Reinforcement Learning Approach
针对水下潜水员通信难题,提出利用多智能体强化学习控制AUV与USV协同中继的方案,实现潜水员间及与水面平台的高速可靠通信,并经仿真验证有效性。
2025-10-23 cs.LG cs.MA cs.RO
Prioritized Guidance for Efficient Multi-Agent Reinforcement Learning Exploration
探索效率是多智能体强化学习(MARL)中的一个具有挑战性的问题,因为联盟MARL学习的策略依赖于多个智能体之间的协作方法。另一个重要的问题是,与监督学习中的信息标签相比,较少的信息奖励限制了MARL的学习速度。在这项工作中,我们利用一种新的通信方法来引导MARL加速探索,并提出了一种预测网络来预测当前状态-动作对的奖励,并使用预测网络学习的指导来修改奖励函数。采用改进的优先经验重放,以更好地利用不同的代理,更有效地利用时间差(TD)错误的学习不同的知识。实验结果表明,该算法优于现有的方法在合作的多智能体环境。我们注意到,该算法可以扩展到监督学习,以加快其训练。
2019-12-25 cs.LG cs.MA stat.ML
Deep Reinforcement Learning for Time Optimal Velocity Control using Prior Knowledge
Ariel University(阿里尔大学)
自主导航最近在强化学习领域引起了极大的兴趣。然而,很少有人注意到时间最优速度控制问题,即控制车辆,使其以最大速度行驶,而不会变得动态不稳定(翻滚或滑动)。时间最优速度控制可以使用基于最优控制和车辆动力学的现有方法数值求解。在本文中,我们使用深度强化学习来生成时间最优速度控制。此外,我们使用数值解来进一步提高强化学习器的性能。结果表明,强化学习器优于数值导出的解决方案,并且混合方法(将学习与数值解相结合)加快了训练过程。
2019-07-25 cs.LG cs.RO
Optimizing Data Collection in Deep Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
众所周知,强化学习(RL)工作负载需要很长的训练时间,因为在运行时从模拟器收集了大量的样本。不幸的是,集群扩展方法仍然昂贵,并且模拟器的常用CPU实现在GPU计算之间来回切换时会产生很高的开销。我们探索了两种优化方法,通过提高GPU利用率来提高RL数据汇集效率:(1)GPU矢量化:在GPU上并行化模拟以提高硬件并行性,以及(2)模拟器内核融合:融合多个模拟步骤以在单个GPU中运行内核启动以降低全局内存带宽需求。我们发现,GPU矢量化可以实现高达$1024\times$加速比常用的CPU模拟器。我们分析了不同实现的性能,并表明对于一个简单的模拟器,GPU矢量化的ML编译器实现(XLA)通过减少重复Python到DL后端API调用的CPU开销,通过$13.4\times$优于DNN框架(PyTorch)。我们发现,模拟器内核融合加速与一个简单的模拟器$11.3\times$和增加高达$1024\times$作为模拟器的复杂性增加方面的内存带宽的要求。我们表明,从模拟器内核融合的加速是正交的,并与GPU矢量化相结合,导致乘法加速。
2022-07-15 cs.LG
Speeding up the Metabolism in E-commerce by Reinforcement Mechanism Design
Alibaba Inc.(阿里巴巴公司)
在一个大型的电子商业平台中,所有的参与者都在平台的分配机制下争夺印象。现有的方法主要关注基于当前观测的短期收益,而不是长期收益。本文通过定义产品的引入、成长、成熟和衰退阶段及其在整个生命周期中的过渡,形式化地建立了产品的生命周期模型。在此基础上,提出了一种基于强化学习的印象分配机制设计框架,该框架结合了基于第一主成分的置换和新的经验生成方法,以最大化平台的短期和长期回报。借助试错的力量,可以在全球范围内优化印象分配策略,这有助于参与者和平台本身的健康发展。我们评估我们的算法在一个最大的电子商业平台的基础上建立的模拟环境,并取得了显着的改善与基线解决方案相比。
2018-07-02 cs.LG stat.ML
Faster Reinforcement Learning Using Active Simulators
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们提出了几种在线方法来建立一个\emph{learning curriculum}从一组给定的目标任务特定的训练任务,以加快强化学习(RL)。与从头开始训练目标任务相比,这些方法可以减少RL代理所需的总训练时间。与传统的迁移学习不同,我们考虑从几个训练任务中创建一个序列,以便在减少训练的总时间方面提供最大的好处。我们的方法利用迄今为止看到的课程任务上的代理的学习轨迹来决定接下来要训练哪些任务。我们的方法的一个有吸引力的特点是,它们是弱耦合到RL算法的选择,以及迁移学习方法。此外,当有领域信息可用时,我们的方法可以结合这些知识以进一步加快学习。我们的实验表明,这些方法可以用来获得合适的学习课程,加快两个不同领域的整体训练时间。
2017-11-21 cs.LG
Emergence of Chemotactic Strategies with Multi-Agent Reinforcement Learning
Institute for Computational Physics(计算物理研究所);University of Stuttgart(斯图加特大学)
本文用多智能体强化学习仿真不同形状、尺寸和速度下的趋化行为,揭示物理可行边界、参数收敛规律及三类主导策略,为生物趋化机制提供解释。
2024-04-02 cs.LG cs.MA physics.bio-ph
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Aurora Innovation(奥罗拉创新公司)
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷,提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法,理论上实现指数级加速,实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
High-speed Autonomous Drifting with Deep Reinforcement Learning
Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology(香港科技大学)
漂移是自动车辆控制的复杂任务。在这一领域的大多数传统方法是基于运动方程的理解车辆动力学,这是很难精确建模。我们提出了一个没有显式运动方程的鲁棒漂移控制器,该控制器基于最新的无模型深度强化学习算法soft actor-critic。将漂移控制问题转化为一个轨迹跟踪任务,设计了基于误差的状态和奖励。在经过不同难度的赛道训练后,我们的控制器能够使车辆在看不见的地图中快速稳定地通过各种尖角。所提出的控制器具有良好的泛化能力,可以直接处理不可见的车辆类型与不同的物理属性,如质量,轮胎摩擦等。
2020-01-06 cs.LG cs.RO cs.SY
Speeding up reinforcement learning by combining attention and agency features
University Pompeu Fabra(庞培法布拉大学);Universitat Pompeu Fabra(庞培法布拉大学)
当玩电子游戏时,我们会立即检测到我们控制的实体,并将注意力集中在它身上,以集中学习并降低其维度。强化学习(RL)已经能够处理大的状态空间,包括Atari游戏中像素图像导出的状态,但学习速度很慢,依赖于从全局状态到动作值(Q函数)的强力映射,因此其性能受到状态维度的严重影响,无法转移到其他游戏或同一游戏的其他部分。我们提出了不同的输入状态的转换,结合注意力和代理检测机制,这两者都已在RL中单独解决,但没有在一起,我们的知识。我们提出和基准不同的架构,包括全球和本地机构为中心的版本的国家,也包括周围的摘要。结果表明,即使是一个冗余的全局-本地状态网络也可以比单独的全局网络学习得更快。状态的总结版本看起来很有希望实现输入大小独立学习。
2019-12-29 cs.AI cs.LG
Adaptive Frequency Green Light Optimal Speed Advisory based on Hybrid Actor-Critic Reinforcement Learning
Software College, Liaoning Technical University(辽宁工程技术大学软件学院)
针对现有绿灯最优速度建议系统存在建议冗余或无法适配动态交通的问题,提出基于混合近端策略优化的自适应频率GLOSA模型,通过混合actor网络输出控制间隔与加速度曲线,结合兼顾效率与油耗的奖励函数,在仿真中实现了停车时间、油耗和碳排放的更优降低效果。
2023-06-12 cs.AI cs.LG
Quantum Bayesian Networks Can Speed up Reinforcement Learning in Partially Observable Environments
High-Assurance Software Laboratory (HASLab), INESC TEC, Portugal(高可信软件实验室(HASLab),INESC TEC,葡萄牙);Department of Computer Science, University of Minho, Portugal(米尼奥大学计算机科学系,葡萄牙);International Iberian Nanotechnology Laboratory (INL), Portugal(国际伊比利亚纳米技术实验室(INL),葡萄牙)
提出量子贝叶斯强化学习(QBRL),利用量子拒绝采样和幅度放大加速稀疏贝叶斯网络上的推理,实现部分可观察环境中基于模型的强化学习,在稀疏动力学环境下获得亚二次加速。
2026-07-01 cs.LG quant-ph
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Adapting Surprise Minimizing Reinforcement Learning Techniques for Transactive Control
University of California, Berkeley(加州大学伯克利分校)
优化能源需求响应的价格需要一个灵活的控制器,能够驾驭复杂的环境。我们提出了一个强化学习控制器,其架构中的惊喜最小化修改。我们建议,惊喜最小化可以用来提高学习速度,利用人们的能源使用的可预测性。我们的架构在模拟能源需求响应中表现良好。我们提出这种修改,以提高功能和节省在一个大规模的实验。
2021-11-11 cs.LG
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);AI Initiative, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学人工智能计划)
本文提出 Chunked-TD 算法,通过学习到的世界模型对轨迹进行分块压缩,在必要时自举以平滑偏差-方差权衡,从而加速强化学习中的信用分配,且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
A Novel Neuromorphic Processors Realization of Spiking Deep Reinforcement Learning for Portfolio Management
Amirkabir University of Technology(阿米尔卡比尔理工大学)
不断将资金重新分配到金融资产中,旨在增加投资的预期回报并最大限度地降低风险的过程被称为投资组合管理。投资组合管理的处理速度和能耗已变得至关重要,因为其现实世界应用的复杂性越来越多地涉及高维观察和行动空间以及环境不确定性,而其有限的机载资源无法抵消这些因素。受人类大脑启发的新兴神经形态芯片将处理速度提高了1000倍,并将功耗降低了几个数量级。本文提出了一种尖峰深度强化学习(SDRL)算法,该算法可以根据不可预测的环境预测金融市场,并实现定义的盈利和风险降低的投资组合管理目标。该算法针对英特尔的Loihi神经形态处理器进行了优化,与竞争对手相比,能耗分别降低了186倍和516倍。此外,高端处理器和GPU的速度分别提高了1.3倍和2.0倍。这些评估是在2016年至2021年的基准加密货币市场上进行的。
2022-03-26 cs.AR cs.LG
Using Implicit Behavior Cloning and Dynamic Movement Primitive to Facilitate Reinforcement Learning for Robot Motion Planning
Eindhoven University of Technology(埃因霍温理工大学);University of Victoria(维多利亚大学);Natural Sciences and Engineering Research Council (NSERC) Canada(加拿大自然科学与工程研究委员会)
针对多自由度机器人运动规划强化学习训练慢、泛化差的问题,提出结合IBC与DMP的RL框架,搭配自建人类演示数据集,经仿真与真机实验验证可提升训练速度与任务表现,为机器人RL性能优化提供新思路。
2024-08-18 cs.LG cs.RO
Discovering and Removing Exogenous State Variables and Rewards for Reinforcement Learning
School of EECS, Oregon State University(俄勒冈州立大学电气与计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
外部状态变量和奖励可以通过向奖励信号中注入不受控制的变化来减缓强化学习。我们形式化的外生状态变量和奖励,并确定条件下,MDP与外生状态可以分解成一个外生马尔可夫奖励过程只涉及外生状态+奖励和一个内生马尔可夫决策过程定义的只有内生奖励。我们还推导出一个方差-协方差条件下,蒙特卡罗政策评估的内生MDP加速相比,使用完整的MDP。类似的加速可能会延续到所有RL算法。我们开发了两种算法来发现外生变量,并在几个MDP上进行了测试。实验结果表明,该算法具有一定的实用性,能够显著提高强化学习的速度。
2018-06-05 cs.LG stat.ML
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数,提升大规模语言模型的生成速度,实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
Deep Reinforcement Learning for Real-Time Optimization of Pumps in Water Distribution Systems
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
在配水系统中,对水泵进行实时的【形】控制是一项不可行的任务,因为寻找最佳水泵转速的计算是资源密集型的。当使用常规优化技术时,即使具有智能水网的能力,也不能降低计算需求。深度强化学习(DRL)在这里被提出作为两个WDS中的泵的控制器。基于决斗深度q网络的代理被训练以基于瞬时节点压力数据来保持泵速度。一般优化技术(例如,Nelder-Mead方法,差分进化)作为基线。与最佳性能基线相比,DRL代理实现的总效率高于0.98,而与此相比,加速约为2倍。所提出的方法的主要贡献是,代理可以运行泵在实时的【形】,因为它只依赖于测量数据。如果用水力模拟代替WDS,该代理在搜索速度上仍然优于传统技术。
2020-10-13 cs.AI cs.LG physics.flu-dyn
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification(麦斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦斯特大学)
本文提出了一种结合三种自适应安全机制的框架,用于在非平稳环境下实现安全的持续强化学习,通过自适应约束机制减少分布偏移下的安全违规,同时保持任务性能。
2026-05-13 cs.LG
Reinforcement Learning with Subspaces using Free Energy Paradigm
University of Tehran(德黑兰大学)
在大规模问题中,标准的强化学习算法存在学习速度慢的问题。在本文中,我们遵循的框架,使用子空间来解决这个问题。我们提出了一个自由能最小化框架来选择子空间,并将状态空间的策略整合到子空间中。我们提出的自由能最小化框架依赖于汤普森采样政策和行为政策的子空间和状态空间。因此,它适用于各种任务,离散或连续状态空间,无模型和基于模型的任务。通过一组实验,我们表明,这种通用框架大大提高了学习速度。我们还提供了一个收敛性证明。
2020-12-13 cs.IT cs.LG math.IT
Queue-based Eco-Driving at Roundabouts with Reinforcement Learning
本研究针对混合交通环形交叉口,提出基于规则和强化学习的生态驾驶系统以优化网联车辆速度,实验表明两者均优于基线,但RL在高速流量下优势不显著。
2024-07-18 cs.LG
Smart Information Exchange for Unsupervised Federated Learning via Reinforcement Learning
Purdue University(普渡大学);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文提出利用强化学习在无监督联邦学习中创建最优数据传输图,以解决本地非独立同分布数据集问题,并在考虑环境约束下提升收敛速度和对落后节点的鲁棒性。
2024-02-15 cs.LG
QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning
Harvard University(哈佛大学);Amazon Advertising(亚马逊广告);Georgia Institute of Technology(佐治亚理工学院);DeepMind(深度思维);Google Research, Brain(谷歌研究院大脑团队)
深度强化学习在实现任务级自主性方面继续显示出巨大的潜力,然而,其计算和能量需求仍然非常高。在本文中,我们通过将量化应用于强化学习来解决这个问题。为此,我们引入了一种新的强化学习(RL)训练范式,\textit{ActorQ},以加快演员-学习者分布式RL训练。\textit{ActorQ}利用8位量化参与者来加速数据汇集,而不影响学习收敛。我们的量化分布式RL训练系统\textit{ActorQ}展示了端到端的加速\blue{between 1.5 $\times$ and 5.41$\times$},以及在一系列任务(Deepmind Control Suite)和不同RL算法(D4 PG,DQN)上的全精度训练的更快收敛。此外,我们比较了\textit{ActorQ}与标准强化学习\blue{algorithms}在各种任务上的碳排放量(二氧化碳的千克数)。在各种设置中,我们表明\textit{ActorQ}通过实现\blue{carbon emission improvements between 1.9$\times$ and 3.76$\times$}来实现更环保的强化学习,而不是在全精度中训练RL代理。我们相信,这是未来许多关于实现计算节能和可持续强化学习的工作中的第一个。源代码可在此处提供给公众用途:\url{https://github.com/harvard-ed…
2022-11-14 cs.AI cs.LG cs.RO
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology(南方科技大学);NetEase Games AI Lab(网易游戏人工智能实验室)
尽管将演化计算集成到强化学习中取得了新的进展,但缺乏一个高性能的平台来赋予可组合性和大规模并行性,这给异步商业游戏的研究和应用带来了不小的困难。在这里,我们介绍Lamarkian-一个开源平台,支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率,Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求,拉马克为异步马尔可夫决策过程定制了一个接口,并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比,我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势:i)在Google足球游戏上运行PPO时,采样效率和训练速度都提高了一倍; ii)在Pong游戏上运行PBT+PPO时,训练速度提高了13倍。此外,我们还提出了两个用例:i)拉马克如何应用于生成行为多样化的游戏AI; ii)拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Autonomous Adaptive Solver Selection for Chemistry Integration via Reinforcement Learning
本文提出基于强化学习的自适应求解器选择方法,通过马尔可夫决策过程自主选择隐式BDF求解器和准稳态求解器,提升化学积分效率,同时保持精度约束。
2026-03-31 cs.LG
Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality
Jeonbuk National University(全北国立大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出融合群不变网络与transformer式位置编码的MARL流动控制方法,并在Rayleigh-Bénard对流中验证其可加快收敛、缩短一半训练时间并降低Nu。
2024-10-25 cs.LG physics.flu-dyn
MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
几乎所有最先进的深度学习算法都依赖于误差反向传播,这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理,因此网络被视为一组代理。因此,所有单元都可以通过REINFORCE进行训练,这是一种由全局信号调制的局部学习规则,与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度,但它具有高方差,因此学习速度慢,使其无法训练深度网络。因此,我们提出了一种新的算法,称为MAP传播,以减少这种变化显着,同时保留本地属性的学习规则。实验表明,MAP传播可以解决常见的强化学习任务,在应用于演员-评论家网络时,速度与反向传播相似。因此,我们的工作允许在深度强化学习中更广泛地应用代理团队。
2021-10-05 cs.AI cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
Software Simulation and Visualization of Quantum Multi-Drone Reinforcement Learning
Korea University(高丽大学);Ajou University(亚洲大学)
量子机器学习(QML)因其训练参数少、速度快而受到广泛关注,量子多智能体强化学习(QMARL)的研究也随之活跃起来。现有的经典多智能体强化学习(MARL)具有非平稳性和不确定性。因此,本文提出了一种新的QMARL控制自主多无人机的仿真软件框架,即,量子多无人机强化学习我们提出的框架完成了合理的回报收敛和服务质量性能与较少的可训练参数。此外,它显示出更稳定的训练结果。最后,我们提出的软件允许我们分析培训过程和结果。
2023-02-03 cs.AI cs.LG cs.MA
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder(阿格德大学)
本文解决了迫切需要一个平台,有效地提供了一个框架运行强化学习(RL)的实验。我们提出了CaiRL环境工具包作为一个有效的,兼容的,更可持续的替代训练学习代理,并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而,很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的,Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包,具有相同的灵活性,但工作速度要快几个数量级,以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包,该工具包具有内置的JVM和Flash支持,用于运行传统的Flash游戏,以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性,并将其执行速度与OpenAI Gym进行了比较。此外,我们还说明了CaiRL可以作为OpenAI Gym的直接替代品,因为减少了环境计算时间,可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University(清华大学)
由于需要较少的在线仿真数据,因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程,另一些人通过模仿专家演示来预训练策略。然而,这些方法是不稳定的,不适合演员-评论家强化学习算法。此外,一些现有的方法依赖于全局最优假设,这在大多数情况下是不正确的。在本文中,我们采用专家示范的行动者-批评强化学习框架,同时确保性能不受影响的事实,专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法,预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER,实验结果表明,该方法不仅比没有预训练过程的RL算法性能更好,而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Switchable Lightweight Anti-symmetric Processing (SLAP) with CNN Outspeeds Data Augmentation by Smaller Sample -- Application in Gomoku Reinforcement Learning
City, University of London(伦敦城市大学)
本文提出SLAP方法替代数据增强,通过强化经验加速机器学习并减少样本量,在五子棋CNN实验中收敛速度提升83%,样本量仅需八分之一。
2023-05-16 cs.AI cs.CV cs.LG
Beyond the Need for Speed: Energy-Aware Code Generation via Simulation-Guided Reinforcement Learning
Dalhousie University(达尔豪斯大学)
研究针对代码模型忽视软件能源效率问题,用确定性架构模拟构建数据集,经监督微调与闭环强化学习训练能源感知代码模型,引入新指标评估,提升能源效率,揭示问题并开源数据,助力社区。
2026-07-07 cs.LG cs.SE
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架,证明N个智能体协作求解联合不动点问题可获得N倍线性加速,并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
我们介绍了异步优势演员-评论家(A3 C)算法的混合CPU/GPU版本,该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性,并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略,可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Rapid Locomotion via Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);NSF AI Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能与基础交互研究所)
敏捷的机动,如短跑和高速转弯在野外是具有挑战性的足式机器人。我们提出了一个端到端的学习控制器,实现了MIT Mini Cheetah的创纪录敏捷性,维持速度高达3.9 m/s。该系统在草地、冰和砾石等自然地形上快速运行和转弯,并对干扰做出稳健的响应。我们的控制器是一个神经网络,通过强化学习在模拟中训练,并转移到现实世界。两个关键组成部分是(i)速度命令的自适应课程和(ii)利用先前的工作进行仿真到现实迁移的在线系统辨识策略。有关机器人行为的视频,请访问:https://agility.csail.mit.edu/
2022-05-05 cs.AI cs.LG cs.RO
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University(厄兹耶金大学);Istinye University(伊斯坦布尔阿依登大学)
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍,需要开发现代和更有效的控制方法。通过这种方式,强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面,它们成为突出的方法,因为算法使用它们过去的经验来学习最优策略。在这项研究中,三个强化学习算法; DDPG,TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的,能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中,这三种算法的效率和速度进行了分析,在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Distributional Reinforcement Learning with Information Bottleneck for Uncertainty-Aware DRAM Equalization
Control Laboratory, School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院控制实验室)
本文提出了一种结合信息瓶颈与条件价值-at-风险优化的分布式强化学习框架,用于具有不确定性感知的DRAM均衡优化,实现了显著的性能提升和可靠性改进。
2026-03-05 cs.LG
Training in Task Space to Speed Up and Guide Reinforcement Learning
University of California at Santa Barbara (UCSB)(加州大学圣巴巴拉分校(UCSB))
本文提出在任务空间中训练以提高强化学习的效率和稳定性,通过简化高自由度系统模型、利用正逆运动学以及在笛卡尔空间中学习运动策略,从而减少样本复杂度和训练时间。
2019-03-06 cs.LG cs.RO cs.SY
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University(罗格斯大学)
本研究探索层次强化学习在时间序列预测中的应用,结合深度学习开发股票与车辆预测智能体,发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升,其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Anderson Acceleration for Reinforcement Learning
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Google Brain(谷歌大脑);Inria(法国国家信息与自动化研究所)
安德森加速是一种古老而简单的方法,用于加速不动点的计算。然而,据我们所知,令人惊讶的是,它从未被应用于动态规划或强化学习。在本文中,我们简要地解释了安德森加速是什么,以及它如何可以应用于值迭代,这是支持的初步实验显示了显着的收敛速度,我们批判性地讨论。我们还讨论了这个想法如何更普遍地应用于(深度)强化学习。
2018-09-25 cs.LG stat.ML
On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations
Harvard University(哈佛大学);Stony Brook University(石溪大学);Meta
本文提出个性化联邦强化学习框架 PFedRL-Rep,通过共享特征表示和个性化权重向量解决异构环境问题,并首次证明 PFedTD-Rep 相对智能体数量具有线性收敛加速,实验验证其在学习和泛化上的优势。
2025-07-16 cs.LG math.OC stat.ML
Octax: Accelerated CHIP-8 Arcade Environments for Reinforcement Learning in JAX
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL(里尔大学、法国国家科学研究中心、中央理工大学、UMR 9189-CRIStAL)
研究为强化学习引入Octax,基于CHIP-8仿真在JAX实现经典街机游戏环境,相比传统CPU模拟器有数量级加速,可训练RL智能体,模块化设计便于扩展,是大规模RL实验理想平台。
2026-07-07 cs.LG