Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
深度强化学习（RL）算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多，这导致低学习率。针对这一局限性，本文做出了两方面的贡献。首先，我们开发了一种算法，称为经验嫁接（EG），使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹，同时保持质量。其次，在EG的基础上，我们进一步开发了一个AutoEG代理，它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法（DDPG）相比，AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of British Columbia（不列颠哥伦比亚大学）
ARM-FM通过基础模型实现自动化奖励设计，利用自然语言生成奖励机并实现跨任务泛化，提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading
Deakin University（迪肯大学）；Deakin Business School（迪肯商学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
针对加密货币自动交易的盈利难题，提出集成贝叶斯与动态贝叶斯网络的CausalReinforceNet框架，增强强化学习智能体决策，实验表明其在多种山寨币上优于买入持有和基线RL模型。
2024-08-19 cs.AI cs.LG
Automated Synthesis of Steady-State Continuous Processes using Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Weihenstephan-Triesdorf University of Applied Sciences（魏恩施蒂芬-特里斯多夫应用科学大学）
流程图自动综合是计算机辅助过程工程的一个重要领域。目前的工作演示了如何强化学习可以用于自动化流程图综合没有任何的概念设计的先验知识的知识。该环境由包含所有物理知识的稳态流程图模拟器组成。代理被训练为采取离散的动作，并顺序地建立解决给定过程问题的流程图。提出了一种新的方法SynGameZero，以确保在复杂问题中的良好的勘探计划。其中，流程图合成被建模为两个竞争的玩家的游戏。智能体在训练过程中与自己进行这种游戏，它由一个人工神经网络和一个用于前瞻性规划的树搜索组成。该方法已成功地应用于四元体系的反应精馏过程。
2021-03-15 cs.AI cs.CE cs.LG
A Comparative Analysis of Deep Reinforcement Learning-enabled Freeway Decision-making for Automated Vehicles
Clinical Research Center and Medical Pathology Center, Chongqing University Three Gorges Hospital, Chongqing University（重庆大学三峡医院临床研究中心及医学病理中心、重庆大学）
本文针对自动驾驶车辆高速公路决策问题，对比了DQL、DDQL等四种深度强化学习方法，通过仿真实验分析了不同方法的控制性能及其学习特性与驾驶效果的关联。
2023-10-08 cs.AI cs.LG
ARLO: A Framework for Automated Reinforcement Learning
Politecnico di Milano（米兰理工大学）；ML cube
自动强化学习（AutoRL）是一个相对较新的研究领域，正受到越来越多的关注。AutoRL的目标在于通过减轻其一些主要挑战，包括数据汇集，算法选择和超参数调整，为更广泛的公众简化强化学习（RL）技术的使用。在这项工作中，我们提出了一个通用的和灵活的框架，即ARLO：自动化强化学习优化器，构建自动流水线AutoRL。在此基础上，我们提出了一个用于离线的管道和一个用于在线RL的管道，讨论了组件，交互，并强调了两种设置之间的差异。此外，我们还提供了这种管道的Python实现，作为开源库发布。我们的实现已经过测试，说明LQG域和经典的MuJoCo环境，显示出有能力达到竞争力的性能，需要有限的人为干预。我们还展示了一个现实的大坝环境，自动执行特征选择和模型生成任务的完整管道。
2022-05-20 cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mississippi State University（密西西比州立大学）
针对元强化学习在复杂高维任务上的挑战，提出三层架构自动发现任务无关宏动作以引导原始策略学习，提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
An Overview of Machine Learning-Enabled Optimization for Reconfigurable Intelligent Surfaces-Aided 6G Networks: From Reinforcement Learning to Large Language Models
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）
本文综述了RIS辅助6G网络中基于机器学习的优化方法，重点梳理各类强化学习技术，进一步探讨大语言模型与强化学习结合的优势，并指出未来挑战与方向。
2024-09-17 cs.LG cs.NI cs.SY
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。
2026-06-11 cs.AI cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University（推理主席 雷姆辛大学）；Institute for Automotive Engineering RWTH Aachen University（汽车工程研究所 雷姆辛大学）
本文提出SAD-RL框架，通过分层强化学习结合场景化环境训练自动驾驶决策策略，解决了复杂任务泛化性与学习效率问题，实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment
Tongji University（同济大学）
自动驾驶汽车被认为是未来智能交通系统的关键要素。人们在提高自动驾驶汽车的环境识别能力和车辆控制能力方面做了大量的研究，但对决策问题的关注还不够，决策算法还处于初步阶段。因此，本文提出了一个决策训练与学习的框架。它由两部分组成：深度强化学习训练程序和高保真虚拟仿真环境。然后在这个框架内训练基本的微观行为，汽车跟随。此外，对利用深度强化学习加速训练的奖励函数设置进行了理论分析和实验研究。结果表明，在保证驾驶舒适性的前提下，训练后的自动驾驶汽车的效率比经典交通模型、智能驾驶员模型提高了7.9%。之后，在一个更复杂的三车道路段上，我们训练的综合模型结合了车辆跟驰和换道行为，平均速度进一步增长了2.4%。这表明我们的框架是有效的自动车辆的决策学习。
2018-04-17 cs.AI
Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
Stevens Institute of Technology（斯蒂文斯理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）；Trine University（特莱恩大学）
针对大规模云计算任务调度的复杂性与实时性需求，本文提出基于深度学习和强化学习的Kubernetes自动调度方案，通过实时监控预测与动态策略调整，实现资源最优利用和任务效率最大化。
2024-02-26 cs.AI cs.DC cs.LG
Dampen the Stop-and-Go Traffic with Connected and Automated Vehicles -- A Deep Reinforcement Learning Approach
Department of Philosophy, UMass Lowell（马萨诸塞大学洛厄尔分校哲学系）
走走停停的交通对交通系统提出了许多挑战，但其形成和机理仍处于探索之中，但已经证明通过引入具有精心设计的控制器的互联自动车辆（CAV）可以抑制车队中的走走停停波。该研究采用强化学习控制CAV的行为，而不是使用分析模型，并将单个CAV置于车队的第二位置，目的是抑制车队领导者的速度振荡，并帮助后续人类驾驶员采取更平稳的驾驶行为。仿真结果表明，该控制器可以使CAV的速度振荡减小54%，对跟驰的CAV可以减小8%-28%。还观察到显著的燃料消耗节省。此外，结果表明，CAV可能会作为一个交通稳定器，如果他们选择稍微利他的行为。
2020-05-17 cs.AI cs.LG eess.SP
Automated Speed and Lane Change Decision Making using Deep Reinforcement Learning
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Group Trucks Technology（沃尔沃集团卡车技术公司）
介绍了一种基于深度强化学习的通用决策函数自动生成方法。在模拟环境中训练Deep Q-网络代理，以处理卡车-拖车组合的速度和车道变换决策。在高速公路驾驶的情况下，它表明，该方法产生的代理，匹配或超过常用的参考模型的性能。为了证明该方法的通用性，还通过在有迎面而来的车辆的道路上训练它来测试完全相同的算法。此外，还介绍了一种将卷积神经网络应用于表示可互换对象的高级输入的新方法。
2018-11-01 cs.AI cs.LG cs.RO
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin（都柏林圣三一学院）
本文探讨反事实解释在强化学习中应用不足的原因，分析监督学习与RL的差异与挑战，重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications
Bogazici University（博阿齐奇大学）
针对移动图形用户界面（GUI）应用的自动测试生成已经有了很多研究。这些研究成功地演示了如何检测致命异常，并实现高代码和活动覆盖率与全自动测试生成引擎。然而，目前还不清楚这些引擎能够测试多少GUI功能。此外，这些引擎只实现隐式测试预言机。本文提出了一种基于强化学习驱动规范的Android测试生成器（FARLEAD-Android）。FARLEAD-Android接受GUI级别的形式化规范作为线性时间时态逻辑（LTL）公式。通过动态执行被测应用程序（AUT），它学习如何使用强化学习（RL）生成满足LTL公式的测试。LTL公式不仅指导测试生成，而且还充当指定的测试预言机，使开发人员能够通过更改公式为各种GUI功能定义自动化测试预言机。我们的评估表明，FARLEAD-Android在为指定的GUI功能生成测试方面比三种已知的方法（Random，Monkey和QBEa）更有效，并且性能更高。据我们所知，FARLEAD-Android是第一个使用正式规范的全自动移动GUI测试引擎。
2019-11-27 cs.AI cs.LG cs.SE
Automated Cloud Provisioning on AWS using Deep Reinforcement Learning
Synaptiq, LLC（Synaptiq有限责任公司）；BlackSky（BlackSky公司）
随着云计算的使用不断增加，控制成本变得越来越重要。然而，有证据表明，30%-45%的云支出被浪费了。现有的云供应工具通常依赖于训练有素的人类专家来指定要监控的内容、触发动作的阈值和动作。在本文中，我们将探索使用强化学习（RL）来获取平衡性能和支出的策略，允许人们指定他们想要什么，而不是如何去做，从而最大限度地减少对云专业知识的需求。使用CloudSim模拟器进行表格式、深度和决斗式双深度Q学习的实证结果显示了RL的实用性和这些方法的相对优点。我们还演示了有效的策略迁移学习，从一个非常简单的模拟器到CloudSim，下一步是从CloudSim迁移到Amazon Web Services物理环境。
2017-09-19 cs.AI cs.DC cs.LG
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University（斯坦福大学）；Rigetti Computing（里盖蒂计算公司）
我们开发了一种基于激励的混合量子经典计算系统的编程方法，使用强化学习，并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例，通过强化学习技术训练的智能体能够生成短量子程序，这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题，以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而，仍有一些关键挑战需要解决，以提供更可靠的政策。在本文中，我们提出了一个通用的风险意识的DQN方法，以学习高层次的行动，通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息，其允许用于多车道场景。此外，我们提出了一个基于风险的奖励函数，它惩罚有风险的情况，而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络，并学习更可靠的策略，在具有挑战性的情况下更安全。所提出的方法的效率相比，与传统的碰撞为基础的奖励计划，也与基于规则的交叉口导航政策的DQN学习。评估结果表明，所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作，并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University（麦克马斯特大学）
本研究用深度强化学习（DQN）调控信号和车辆行为，发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突，提升交通安全。
2024-05-29 cs.AI cs.LG
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度强化学习（DRL）是一种新兴的方法，正在改变许多复杂的交通决策问题的解决方式。研究人员越来越多地转向这种强大的基于学习的方法来解决交通领域的挑战性问题。虽然在文献中已经报道了许多有前途的应用，但仍然缺乏对许多DRL算法及其使用和适应的全面综合。本文的目的是填补这一空白，进行全面的，综合性的审查，日间行车灯在交通运输中的应用。首先，我们提供了一个概述的DRL的数学背景，流行的和有前途的DRL算法，和一些非常有效的DRL扩展。在此概述的基础上，约150 DRL的研究，出现在交通文献中，分为七个不同的类别，进行了系统的调查。在此次审查的基础上，我们继续研究日间行车灯技术在交通领域应用的适用性、优点、缺点以及常见和特定应用问题。最后，我们建议未来的研究方向和目前可用的资源，实际实施DRL。
2020-10-13 cs.AI cs.LG
Reinforcement Learning for Education: Opportunities and Challenges
MPI-SWS（马克斯·普朗克软件系统研究所）；Carleton College（卡尔顿学院）；Worcester Polytechnic Institute（伍斯特理工学院）
这篇调查文章源于作者在教育数据采掘（EDM）2021会议上组织的RL4ED研讨会。我们组织了这次研讨会，作为社区建设工作的一部分，汇集了对强化学习（RL）和教育（ED）广泛领域感兴趣的研究人员和从业人员。本文旨在提供研讨会活动的概述，并总结了在该领域的RL教育的主要研究方向。
2021-07-15 cs.AI cs.LG
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney（悉尼科技大学）；Defence Science and Technology Group（国防科技集团）
渗透测试对计算机系统进行有组织的攻击，以测试现有的防御措施，已被广泛用于评估网络安全。这是一个耗时的过程，需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL，它采用了代数动作分解策略，以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快，更稳定地找到最佳攻击策略，该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
在各种交通文化和驾驶条件下，自动驾驶车辆在野外以适当的道路驾驶技术（安全有效地驾驶，而不打扰或危及其他道路使用者）执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色，并被应用于自动驾驶汽车策略，但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程（MDP）适应问题，并开发了Meta强化学习（MRL）驱动策略，以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟，以验证快速适应能力的MRL驾驶策略，显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
A Multi-Agent Deep Reinforcement Learning Coordination Framework for Connected and Automated Vehicles at Merging Roadways
University of Delaware（特拉华大学）
在高速公路上行驶的车辆数量的稳步增加继续加剧拥堵、事故、能源消耗和温室气体排放。新兴的移动系统，例如，互联和自动驾驶汽车（CAV）有可能直接解决这些问题，并提高运输网络的效率和安全性。在本文中，我们考虑了一个高速公路合并的情况下，并提出了一个框架，协调CAV，停止和去驾驶被淘汰。我们使用一种分散形式的行动者-批评者方法来进行深度强化学习$-$多智能体深度确定性策略梯度。我们通过数值模拟证明了CAV的协调性，并表明通过消除走走停停的驾驶来实现平稳的交通流。模拟结果的视频和图表可在本补充$\href{https://sites.google.com/view/ud-ids-lab/MADRL}{\text{site}}$中找到。
2022-03-14 cs.AI cs.LG cs.SY
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton（纽约州立大学宾汉姆顿分校）
强化学习（RL）使智能体能够从试错经验中学习，以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务，但由于它们不同的计算模式，RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率，我们开发了Guided Dyna-Q（GDQ），使RL agent能够使用动作知识进行推理，以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务，在多房间的办公室环境中进行了评估。与竞争基线相比，GDQ显著减少了探索的努力，同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Research（NVIDIA研究）
针对机器人长期操纵挑战，ReinforceGen系统结合任务分解、数据生成、模仿学习与运动规划形成初始方案，经强化学习微调，在Robosuite数据集基准测试中成功率达80%，消融研究显示微调使性能平均提升89%，实际评估也有显著改进。
2026-07-13 cs.AI cs.LG cs.RO
RLScheduler: An Automated HPC Batch Job Scheduler Using Reinforcement Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Iowa State University（爱荷华州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
今天，高性能计算（HPC）平台仍然由批处理作业主导。因此，有效的批作业调度是获得高系统效率的关键。现有的HPC批处理作业调度器通常利用启发式优先级函数来对作业进行优先级排序和调度。但是，一旦由专家配置和部署，这样的优先级函数很难适应作业负载、优化目标或系统设置的变化，当发生变化时，可能导致系统效率降低。为了解决这个根本问题，我们提出了RLSTOM，一个自动化的HPC批处理作业调度建立在强化学习。RLSTOM依赖于最少的人工干预或专家知识，但可以通过自己的连续“试错”学习高质量的调度策略。我们在RL调度器中引入了新的基于内核的神经网络结构和轨迹过滤机制，以改善和稳定学习过程。通过广泛的评估，我们确认RLSTOM可以学习高质量的调度策略，对各种工作负载和各种优化目标，相对较低的计算成本。此外，我们表明，即使应用于看不见的工作负载时，学习的模型也能稳定地执行，使其适用于生产使用。
2020-09-02 cs.AI cs.DC cs.LG
Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning
Preferred Networks, Inc.（首选网络公司）
自动定理证明（ATP）中的问题求解可以被解释为证明者逐步构造证明树的搜索问题。本文提出了一种用于直觉命题逻辑中证明搜索的深度强化学习算法。将深度学习应用于ATP的最大挑战是缺乏大型公共定理数据库。然而，我们通过在强化学习的每次迭代中应用新的数据增强过程来克服这个问题。我们还提高了算法的效率，通过一种新的紧凑图表示公式的语法结构。使用大量的扩充数据，我们训练高度精确的图神经网络，其近似公式的语法结构的集合的价值函数。我们的方法在计算时间方面也具有成本效益。我们将展示我们的证明器优于Coq的$\texttt{tauto}$策略，这是一种基于人类工程学的证明器。在指定的时间限制内，我们的证明器解决了基准库中84%的定理，而$\texttt{tauto}$只能解决52%。
2018-11-02 cs.AI cs.LG cs.LO
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University（莱斯大学）
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾，提出 A3C-S 框架，自动协同搜索匹配的智能体与加速器，以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Amazon（亚马逊）；Brown University（布朗大学）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
本文综述分层强化学习，从决策挑战角度阐述其益处，并梳理从在线经验、离线数据到利用大语言模型发现时间结构的方法族及面临的挑战。
2026-09-11 cs.AI
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University（西北大学）
提出一种深度强化学习集成方法，通过多验证期模型选择和混合分布策略，提升日内加密货币交易策略的泛化性能，优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization
Computer Network Information Center, Chinese Academy of Sciences, and the University of the Chinese Academy of Sciences（中国科学院计算机网络信息中心及中国科学院大学）；Department of Electrical Engineering and Computer Science at the University of Kansas（堪萨斯大学电气工程与计算机科学系）；School of Computing and Information Technology, Great Bay University, Dongguan, China（广东大湾大学计算机与信息科技学院）；School of Software, Tsinghua University（清华大学软件学院）；Institute for Infocomm Research, Agency for Science, Technology, and Research（新加坡科技研究局信息与通信研究院）
提出TCTO框架，利用协作多智能体强化学习与图驱动路径优化，通过演化交互图实现自动化特征变换，提升下游任务性能。
2025-04-24 cs.AI cs.LG
Comprehensive Overview of Reward Engineering and Shaping in Advancing Reinforcement Learning Applications
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
本文系统综述了强化学习中奖励工程与奖励塑造的方法、技术、局限及最新进展，并探讨了其在机器人、自动驾驶等复杂任务中的未来应用方向。
2024-12-27 cs.LG cs.SY eess.SY
Automated Augmentation with Reinforcement Learning and GANs for Robust Identification of Traffic Signs using Front Camera Images
Volvo Cars USA（沃尔沃汽车美国公司）；U. Washington（华盛顿大学）；VolvoCars（沃尔沃汽车）；Chalmers University of Technology（查尔姆斯理工大学）；Fung Institute, University of California, Berkeley（加州大学伯克利分校冯氏研究所）
利用车辆摄像头图像识别交通标志在自动驾驶和路径规划中起着关键作用。然而，前置摄像头图像可能由于模糊、光照变化和故意破坏而失真，这可能导致检测性能下降。作为一种解决方案，机器学习模型必须使用来自多个领域的数据进行训练，并且在每个新领域中收集和标记更多数据既耗时又昂贵。在这项工作中，我们提出了一个端到端的框架，以增强交通标志训练数据，使用最佳的强化学习策略和各种生成对抗网络（GAN）模型，然后可以用来训练交通标志检测器模块。我们的自动增强器可以使用LISA交通标志和BDD-Nexar数据集从转换的夜间，光线不足和不同程度的遮挡中学习。所提出的方法能够将训练数据从一个域映射到另一个域，从而将夜间图像的交通标志检测精度/召回率从0.70/0.66提高到0.83/0.71。
2019-11-15 cs.AI cs.CV cs.LG
Facilitating Reinforcement Learning for Process Control Using Transfer Learning: Overview and Perspectives
College of Control Science and Engineering Zhejiang University（控制科学与工程学院浙江大学）；Department of Chemical Engineering Chung-Yuan Christian University（化学工程系 Chung-Yuan Christian University）
本文从迁移学习视角综述深度强化学习在过程控制中的应用，分析其挑战与必要性，并提出未来研究方向，以提升工业控制的安全性和样本效率。
2025-04-22 cs.AI cs.LG cs.SY
A Deep Reinforcement Learning Approach to First-Order Logic Theorem Proving
Northwestern University（西北大学）；IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Zurich Lab（IBM苏黎世实验室）；The University of Auckland（奥克兰大学）
自动定理证明器传统上依赖于手动调整的算法来指导它们如何执行证明搜索。深度强化学习已经被提出作为一种方法来满足这种推理的需要，然而，它在自动定理证明中的部署仍然是一个挑战。在本文中，我们介绍了TRAIL，这是一个将深度强化学习应用于基于饱和的定理证明的系统。TRAIL利用（a）定理证明器状态的新神经表示和（b）推理选择过程在基于注意力的行动策略方面的新特征。我们通过系统的分析表明，这些机制使TRAIL显着优于以前的基于学习的定理证明器在两个基准数据集的一阶逻辑自动定理证明（证明约15%以上的定理）。
2020-09-16 cs.AI cs.LG cs.LO
A survey of benchmarking frameworks for reinforcement learning
University of South Africa（南非大学）
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展，解决强化学习问题的方法也越来越多。当使用强化学习解决问题时，有各种困难的挑战需要克服。为了确保该领域的进展，基准测试对于测试新算法和与其他方法进行比较非常重要。因此，公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献，并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施，任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注，并鼓励以标准化的方式进行研究。此外，这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
AndroidEnv: A Reinforcement Learning Platform for Android
DeepMind（深度思维）
我们介绍AndroidEnv，这是一个基于Android生态系统的强化学习（RL）研究开源平台。AndroidEnv允许RL代理通过通用触摸屏界面与人类常用的各种应用和服务进行交互。由于代理训练在Android设备的真实模拟上进行，因此它们有可能部署在真实设备上。在这份报告中，我们给出了一个环境的概述，突出了它为研究提供的重要功能，我们提出了一些流行的强化学习代理建立在这个平台上的一组任务的实证评估。
2021-05-27 cs.AI cs.LG
Integrating Deep Reinforcement Learning with Model-based Path Planners for Automated Driving
The Ohio State University（俄亥俄州立大学）
城市环境中的自动驾驶具有挑战性。人类参与行为很难建模，传统的基于规则的自动驾驶系统（ADS）在面对未建模的动态时往往会失败。另一方面，最近，基于端到端深度强化学习（DRL）的无模型ADS已经显示出有希望的结果。然而，纯基于学习的方法缺乏基于模型的控制器的硬编码安全措施。在这里，我们提出了一种混合的方法，将路径规划管道集成到基于视觉的DRL框架，以减轻这两个世界的缺点。总之，DRL代理被训练为尽可能接近地跟随路径规划器的航路点。智能体通过与环境交互来学习该策略。奖励函数包含两个主要项：偏离路径规划器的惩罚和发生碰撞的惩罚。后者以具有显著更大的数值的形式具有优先权。实验结果表明，该方法可以规划其路径和导航之间的随机选择的起点和终点的CARLA，一个动态的城市模拟环境。我们的代码是开源的，可以在线获得。
2020-05-19 cs.AI
Reinforcement Learning with Automated Auxiliary Loss Search
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；New York University（纽约大学）
良好的状态表示对于解决复杂的强化学习（RL）挑战至关重要。许多最近的作品集中在设计辅助损失学习信息表示。不幸的是，这些手工制作的目标在很大程度上依赖于专家知识，可能是次优的。在本文中，我们提出了一个原则性和通用的方法来学习更好的表示与辅助损失函数，名为自动辅助损失搜索（A2 LS），自动搜索性能最好的辅助损失函数RL。具体而言，基于收集的轨迹数据，我们定义了一个一般的辅助损失空间的大小$7.5 \times 10^{20}$和探索的空间与一个有效的进化搜索策略。实验结果表明，所发现的辅助损失（即A2-winner）显着提高性能的高维（图像）和低维（矢量）看不见的任务，更高的效率，显示出有前途的推广能力，不同的设置，甚至不同的基准领域。我们进行了统计分析，以揭示模式的辅助损失和RL性能之间的关系。
2022-10-12 cs.LG
High-level Decisions from a Safe Maneuver Catalog with Reinforcement Learning for Safe and Cooperative Automated Merging
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
强化学习（RL）最近被用于解决自动驾驶背景下具有挑战性的决策问题。然而，所提出的基于RL的策略的主要缺点之一是缺乏安全保证，因为它们努力减少预期的碰撞次数，但仍然容忍它们。在本文中，我们提出了一个有效的基于RL的决策管道，用于合并场景中的安全和合作自动驾驶。RL代理能够预测当前情况并提供高层决策，指定负责安全的低级计划器的操作模式。为了学习更通用的策略，我们提出了一个可扩展的RL架构的合并方案，是不敏感的环境配置的变化。根据我们的实验，建议RL代理可以有效地识别合作的司机从他们的车辆状态历史，并产生交互式操纵，从而更快，更舒适的自动驾驶。同时，由于规划器内部的安全约束，所有的机动都是无碰撞和安全的。
2021-07-15 cs.AI cs.RO
CAFE: Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning
CAFE通过因果引导的多智能体强化学习提升自动化特征工程的鲁棒性和效率。
2026-10-27 cs.AI cs.LG cs.MA
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning
Graduate School of Engineering and Science, Shibaura Institute of Technology（芝浦工业大学理工学研究科）
本文提出利用深度强化学习的自动化框架，用于优化量子虚时间演进方法的电路设计，通过减少门数和深度提升硬件效率，实现更高效的量子算法设计。
2026-04-09 cs.AI cs.LG quant-ph
Generalizing Decision Making for Automated Driving with an Invariant Environment Representation using Deep Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
应用于自动驾驶的数据驱动决策方法需要适当的泛化策略，以确保适用于世界的变化。当前的方法要么不能很好地概括超出训练数据的范围，要么不能考虑可变数量的交通参与者。因此，我们提出了一个不变的环境表示的角度来看，自我车辆。该表示对安全决策所需的所有信息进行编码。为了评估新的环境表示的泛化能力，我们训练我们的代理人在一个小的子集的情况下，并评估整个不同的情况。在这里，我们表明，代理人能够成功地推广到看不见的情况下，由于抽象。此外，我们提出了一个简单的闭塞模型，使我们的代理导航与闭塞的交叉点，而没有显着的性能变化。
2021-05-31 cs.LG
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg（弗莱堡大学）
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变，其影响是，我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益，例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理，这是交通中的一个重要瓶颈，使用智能交通信号或完全自动化的车辆。然而，如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中，我们提出了一种新的方法来优化混合交通情况下的交叉口交通流，使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略，让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权，让位给其他车辆，以优化交通流量。我们实现了我们的方法，并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明，我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置，也提供了更好的性能在广泛的交通情况相比，国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia（弗吉尼亚大学）
自动驾驶汽车（AV）安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理（封闭试验场）或虚拟（模拟预定义场景）环境中控制，也可以在现实世界中的操作过程中自发出现（开放道路测试或模拟随机生成的场景）。在自动驾驶测试中，仿真主要有两个目的：帮助开发强大的自动驾驶汽车，并在发布前测试和验证自动驾驶汽车。由于涉及大量变量（其中大多数是连续的），从上述每个来源可以构建大量的情景变化，这带来了挑战。即使连续变量离散化，可能的组合数量也变得实际上不可行。为了克服这一挑战，我们建议使用强化学习（RL）来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果，但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中，如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
Dialogue Diplomats: An End-to-End Multi-Agent Reinforcement Learning System for Automated Conflict Resolution and Consensus Building
School of Computing and Engineering（计算与工程学院）；College of Engineering（工程学院）；University of Wollongong（沃灵顿大学）
Dialogue Diplomats通过端到端多智能体强化学习框架，结合分层共识网络、渐进谈判协议和上下文感知奖励机制，实现复杂环境中的自动化冲突解决与共识构建。
2025-11-20 cs.AI cs.MA
