An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University(西北大学)
提出一种深度强化学习集成方法,通过多验证期模型选择和混合分布策略,提升日内加密货币交易策略的泛化性能,优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
Optimal Scheduling of Isolated Microgrids Using Automated Reinforcement Learning-based Multi-period Forecasting
Northeast Electric Power University(东北电力大学);State Grid Beijing Electric Power Company(国网北京市电力公司)
为了减少负荷和可再生能源输出的不确定性对微电网运行的负面影响,提出了一种基于自动强化学习的可再生能源发电量和负荷多时段预测的孤立微电网优化调度模型。首先,优先经验重放自动强化学习(PER-AutoRL)旨在以定制的方式简化基于深度强化学习(DRL)的预测模型的部署,首次提出了基于PER-AutoRL的单步多期预测方法,以解决现有多步预测方法所遭受的误差累积问题,然后通过误差分布对所提出的预测方法得到的预测值进行修正,提高预测精度;其次,以微网总运行成本最小为目标,构建了考虑需求响应的调度模型,并将修正后的预测值作为调度依据,最后,利用序列运算理论(SOT)将原调度模型转化为一个易于求解的混合整数线性规划问题,并利用CPLEX求解器对转化后的模型进行求解。仿真结果表明,与传统的无预测调度模型相比,该方法提高了预测精度,显著降低了系统运行成本。
2021-08-15 cs.LG cs.SY eess.SP
Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment
Amazon(亚马逊);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
考虑到老化的基础设施和美国高速公路工作区数量的预期增长,研究工作区合并控制非常重要,这对于提高工作区安全性和容量至关重要。本文提出并评价了一种新的高速公路工作区合并控制策略的基础上,由人工智能实现的合作驾驶行为。所提出的方法假设所有车辆都是完全自动化的,连接和合作的。它在开放车道上插入两个计量区,为封闭车道上的合并车辆腾出空间。此外,封闭车道上的每辆车都学习如何最佳地调整其纵向位置,以使用非策略软演员评论(SAC)强化学习(RL)算法在开放车道上找到安全间隙,同时考虑其周围的交通状况。学习结果在卷积神经网络中捕获,并用于在测试阶段控制单个车辆。通过增加计量区并考虑周围车辆的位置、速度和加速度,隐含地考虑了车辆之间的合作。这个基于RL的模型使用微观交通模拟器进行训练和评估。结果表明,这种合作RL为基础的合并控制显着优于流行的战略,如晚合并和早合并的流动性和安全措施。
2020-01-21 cs.LG eess.SP
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University(莱斯大学)
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾,提出 A3C-S 框架,自动协同搜索匹配的智能体与加速器,以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg(弗莱堡大学)
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变,其影响是,我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益,例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理,这是交通中的一个重要瓶颈,使用智能交通信号或完全自动化的车辆。然而,如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中,我们提出了一种新的方法来优化混合交通情况下的交叉口交通流,使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略,让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权,让位给其他车辆,以优化交通流量。我们实现了我们的方法,并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明,我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置,也提供了更好的性能在广泛的交通情况相比,国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning
McGill University(麦吉尔大学)
互联和自动驾驶汽车(CAV)最近引起了越来越多的关注。快速的驱动时间使它们具有提高整个运输系统的效率和安全性的潜力。由于技术挑战,将有一部分车辆可以配备自动化,而其他车辆则没有自动化。我们不是学习自我自动驾驶汽车的可靠行为,而是专注于如何通过让每个自动驾驶汽车学习相互合作并调节人类驾驶的交通流量来改善整个交通系统的结果。最先进的方法之一是使用强化学习来学习智能决策策略。然而,直接强化学习框架不能提高整个系统的性能。在这篇文章中,我们证明,考虑问题的多代理设置共享的政策,可以帮助实现更好的系统性能比非共享的政策,在单代理设置。此外,我们发现,利用注意力机制的互动功能,可以捕捉每个代理之间的相互作用,以促进合作。据我们所知,虽然以前的自动驾驶研究主要集中在提高个人的驾驶性能,这项工作作为一个起点,系统级的多智能体合作性能的研究,使用图形信息共享。我们进行了广泛的实验,在汽车跟随和无信号交叉口设置。结果表明,我们的方法控制的CAV可以达到最佳的性能对几个国家的最先进的基线。
2021-10-22 cs.LG stat.ML
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University(推理主席 雷姆辛大学);Institute for Automotive Engineering RWTH Aachen University(汽车工程研究所 雷姆辛大学)
本文提出SAD-RL框架,通过分层强化学习结合场景化环境训练自动驾驶决策策略,解决了复杂任务泛化性与学习效率问题,实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
Reinforcement Learning with Automated Auxiliary Loss Search
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);New York University(纽约大学)
良好的状态表示对于解决复杂的强化学习(RL)挑战至关重要。许多最近的作品集中在设计辅助损失学习信息表示。不幸的是,这些手工制作的目标在很大程度上依赖于专家知识,可能是次优的。在本文中,我们提出了一个原则性和通用的方法来学习更好的表示与辅助损失函数,名为自动辅助损失搜索(A2 LS),自动搜索性能最好的辅助损失函数RL。具体而言,基于收集的轨迹数据,我们定义了一个一般的辅助损失空间的大小$7.5 \times 10^{20}$和探索的空间与一个有效的进化搜索策略。实验结果表明,所发现的辅助损失(即A2-winner)显着提高性能的高维(图像)和低维(矢量)看不见的任务,更高的效率,显示出有前途的推广能力,不同的设置,甚至不同的基准领域。我们进行了统计分析,以揭示模式的辅助损失和RL性能之间的关系。
2022-10-12 cs.LG
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
提出iTRACE框架,利用预训练视觉-语言模型自动提取语义特征并蒸馏为轻量级模型,训练可解释的基于树的强化学习策略,在Atari等三个领域匹配黑盒策略性能。
2025-10-31 cs.AI cs.LG
Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
Stevens Institute of Technology(斯蒂文斯理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);North Carolina State University(北卡罗来纳州立大学);Trine University(特莱恩大学)
针对大规模云计算任务调度的复杂性与实时性需求,本文提出基于深度学习和强化学习的Kubernetes自动调度方案,通过实时监控预测与动态策略调整,实现资源最优利用和任务效率最大化。
2024-02-26 cs.AI cs.DC cs.LG
Automated Proof of Polynomial Inequalities via Reinforcement Learning
East China Normal University(华东师范大学);Southwest University(西南大学)
本文提出利用强化学习自动选择Krivine基以证明多项式不等式,并实现工具APPIRL,在基准测试及最大稳定集问题上验证了其有效性。
2025-03-09 cs.LG math.OC
Generalizing Decision Making for Automated Driving with an Invariant Environment Representation using Deep Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
应用于自动驾驶的数据驱动决策方法需要适当的泛化策略,以确保适用于世界的变化。当前的方法要么不能很好地概括超出训练数据的范围,要么不能考虑可变数量的交通参与者。因此,我们提出了一个不变的环境表示的角度来看,自我车辆。该表示对安全决策所需的所有信息进行编码。为了评估新的环境表示的泛化能力,我们训练我们的代理人在一个小的子集的情况下,并评估整个不同的情况。在这里,我们表明,代理人能够成功地推广到看不见的情况下,由于抽象。此外,我们提出了一个简单的闭塞模型,使我们的代理导航与闭塞的交叉点,而没有显着的性能变化。
2021-05-31 cs.LG
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
Automated Speed and Lane Change Decision Making using Deep Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术公司)
介绍了一种基于深度强化学习的通用决策函数自动生成方法。在模拟环境中训练Deep Q-网络代理,以处理卡车-拖车组合的速度和车道变换决策。在高速公路驾驶的情况下,它表明,该方法产生的代理,匹配或超过常用的参考模型的性能。为了证明该方法的通用性,还通过在有迎面而来的车辆的道路上训练它来测试完全相同的算法。此外,还介绍了一种将卷积神经网络应用于表示可互换对象的高级输入的新方法。
2018-11-01 cs.AI cs.LG cs.RO
Automated Reinforcement Learning: An Overview
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫尔蒙尼乌斯数据科学学院);Shandong University(山东大学)
本文综述了自动化强化学习的发展,包括基于大语言模型的技术,并探讨了其挑战和未来研究方向。
2026-07-21 cs.AI cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
深度强化学习(RL)算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多,这导致低学习率。针对这一局限性,本文做出了两方面的贡献。首先,我们开发了一种算法,称为经验嫁接(EG),使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹,同时保持质量。其次,在EG的基础上,我们进一步开发了一个AutoEG代理,它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明,与标准深度RL算法(DDPG)相比,AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
A Multi-Agent Deep Reinforcement Learning Coordination Framework for Connected and Automated Vehicles at Merging Roadways
University of Delaware(特拉华大学)
在高速公路上行驶的车辆数量的稳步增加继续加剧拥堵、事故、能源消耗和温室气体排放。新兴的移动系统,例如,互联和自动驾驶汽车(CAV)有可能直接解决这些问题,并提高运输网络的效率和安全性。在本文中,我们考虑了一个高速公路合并的情况下,并提出了一个框架,协调CAV,停止和去驾驶被淘汰。我们使用一种分散形式的行动者-批评者方法来进行深度强化学习$-$多智能体深度确定性策略梯度。我们通过数值模拟证明了CAV的协调性,并表明通过消除走走停停的驾驶来实现平稳的交通流。模拟结果的视频和图表可在本补充$\href{https://sites.google.com/view/ud-ids-lab/MADRL}{\text{site}}$中找到。
2022-03-14 cs.AI cs.LG cs.SY
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of British Columbia(不列颠哥伦比亚大学)
ARM-FM通过基础模型实现自动化奖励设计,利用自然语言生成奖励机并实现跨任务泛化,提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning
Preferred Networks, Inc.(首选网络公司)
自动定理证明(ATP)中的问题求解可以被解释为证明者逐步构造证明树的搜索问题。本文提出了一种用于直觉命题逻辑中证明搜索的深度强化学习算法。将深度学习应用于ATP的最大挑战是缺乏大型公共定理数据库。然而,我们通过在强化学习的每次迭代中应用新的数据增强过程来克服这个问题。我们还提高了算法的效率,通过一种新的紧凑图表示公式的语法结构。使用大量的扩充数据,我们训练高度精确的图神经网络,其近似公式的语法结构的集合的价值函数。我们的方法在计算时间方面也具有成本效益。我们将展示我们的证明器优于Coq的$\texttt{tauto}$策略,这是一种基于人类工程学的证明器。在指定的时间限制内,我们的证明器解决了基准库中84%的定理,而$\texttt{tauto}$只能解决52%。
2018-11-02 cs.AI cs.LG cs.LO
Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications
Bogazici University(博阿齐奇大学)
针对移动图形用户界面(GUI)应用的自动测试生成已经有了很多研究。这些研究成功地演示了如何检测致命异常,并实现高代码和活动覆盖率与全自动测试生成引擎。然而,目前还不清楚这些引擎能够测试多少GUI功能。此外,这些引擎只实现隐式测试预言机。本文提出了一种基于强化学习驱动规范的Android测试生成器(FARLEAD-Android)。FARLEAD-Android接受GUI级别的形式化规范作为线性时间时态逻辑(LTL)公式。通过动态执行被测应用程序(AUT),它学习如何使用强化学习(RL)生成满足LTL公式的测试。LTL公式不仅指导测试生成,而且还充当指定的测试预言机,使开发人员能够通过更改公式为各种GUI功能定义自动化测试预言机。我们的评估表明,FARLEAD-Android在为指定的GUI功能生成测试方面比三种已知的方法(Random,Monkey和QBEa)更有效,并且性能更高。据我们所知,FARLEAD-Android是第一个使用正式规范的全自动移动GUI测试引擎。
2019-11-27 cs.AI cs.LG cs.SE
Automated Cloud Provisioning on AWS using Deep Reinforcement Learning
Synaptiq, LLC(Synaptiq有限责任公司);BlackSky(BlackSky公司)
随着云计算的使用不断增加,控制成本变得越来越重要。然而,有证据表明,30%-45%的云支出被浪费了。现有的云供应工具通常依赖于训练有素的人类专家来指定要监控的内容、触发动作的阈值和动作。在本文中,我们将探索使用强化学习(RL)来获取平衡性能和支出的策略,允许人们指定他们想要什么,而不是如何去做,从而最大限度地减少对云专业知识的需求。使用CloudSim模拟器进行表格式、深度和决斗式双深度Q学习的实证结果显示了RL的实用性和这些方法的相对优点。我们还演示了有效的策略迁移学习,从一个非常简单的模拟器到CloudSim,下一步是从CloudSim迁移到Amazon Web Services物理环境。
2017-09-19 cs.AI cs.DC cs.LG
Automated Lane Change Strategy using Proximal Policy Optimization-based Deep Reinforcement Learning
Beijing Institute of Technology(北京理工大学);University of California, Berkeley(加州大学伯克利分校);GAC R&D Center Silicon Valley Inc.(广汽研究院硅谷公司)
车道变换机动通常由驾驶员执行以遵循一定的路线规划、超越较慢的车辆、适应前方的合并车道等。然而,不适当的车道变换行为可能是交通流中断甚至撞车的主要原因。虽然已经提出了许多基于规则的方法来解决自动驾驶的车道变换问题,但由于驾驶环境的不确定性和复杂性,它们往往表现出有限的性能。基于机器学习的方法提供了一种替代方法,因为深度强化学习(DRL)在许多应用领域(包括机器人操纵、导航和玩视频游戏)中已经显示出有希望的成功。然而,将DRL应用于自动驾驶仍然面临着学习率缓慢、样本效率低下和安全问题等诸多实际挑战。在本研究中,我们提出了一种使用基于近端策略优化的深度强化学习的自动变道策略,该策略在学习效率方面表现出很大的优势,同时仍然保持稳定的性能。经过训练的智能体能够学习平稳、安全和有效的驾驶策略,以便在具有挑战性的情况下(如密集的交通场景)做出变道决策(即何时以及如何)。通过任务成功率和冲突率指标验证了该策略的有效性。仿真结果表明,车道变换操纵可以有效地学习和执行在一个安全,平稳,高效的方式。
2020-05-20 cs.AI cs.LG cs.RO
A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading
Deakin University(迪肯大学);Deakin Business School(迪肯商学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
针对加密货币自动交易的盈利难题,提出集成贝叶斯与动态贝叶斯网络的CausalReinforceNet框架,增强强化学习智能体决策,实验表明其在多种山寨币上优于买入持有和基线RL模型。
2024-08-19 cs.AI cs.LG
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic(南洋理工学院);Singapore Management University(新加坡管理大学)
该研究提出了一个报价驱动的预测自动做市商(AMM)平台,具有链上托管和结算功能,以及链下预测强化学习功能,以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强,通过利用新的市场均衡定价来减少分歧和滑点损失。此外,所提出的架构涉及预测AMM功能,利用深度混合的长短期记忆(LSTM)和Q学习强化学习框架,通过更好地预测流动性集中范围来提高市场有效性,因此流动性在资产价格变动之前开始向预期集中范围移动,从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义,通过(i)减少流动性提供者的分歧损失,(ii)减少加密资产交易者的滑点,同时(iii)提高AMM协议流动性供给的资本效率。据我们所知,目前还没有已知的协议或文献提出类似的深度学习增强AMM,可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Automated Adversary Emulation for Cyber-Physical Systems via Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室);Michigan State University(密歇根州立大学)
Advertisement仿真是一种攻击性练习,它提供了对系统抵御网络攻击的能力的全面评估。然而,对手模拟通常是一个手动过程,这使得其成本高昂,难以在具有复杂动态,漏洞和操作不确定性的网络物理系统(CPS)中部署。在本文中,我们开发了一个自动化的,域感知的方法来模拟CPS的对手。我们制定了一个马尔可夫决策过程(MDP)模型,以确定一个最佳的攻击序列的混合攻击图与网络(离散)和物理(连续)组件和相关的物理动力学。我们应用基于模型和无模型强化学习(RL)的方法来解决离散连续MDP在一个易于处理的方式。作为基准,我们还开发了一个贪婪攻击算法,并将其与RL程序进行比较。我们总结了我们的研究结果,通过数值研究传感器欺骗攻击在建筑物中比较所提出的算法的性能和解决方案的质量。
2020-11-09 cs.LG cs.SY eess.SY
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而,仍有一些关键挑战需要解决,以提供更可靠的政策。在本文中,我们提出了一个通用的风险意识的DQN方法,以学习高层次的行动,通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息,其允许用于多车道场景。此外,我们提出了一个基于风险的奖励函数,它惩罚有风险的情况,而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络,并学习更可靠的策略,在具有挑战性的情况下更安全。所提出的方法的效率相比,与传统的碰撞为基础的奖励计划,也与基于规则的交叉口导航政策的DQN学习。评估结果表明,所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作,并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
Few-Shot Learning for Dynamic Operations of Automated Electric Taxi Fleets under Evolving Charging Infrastructure: A Meta-Deep Reinforcement Learning Approach
Department of Industrial Engineering, Tsinghua University(清华大学工业工程系);School of Management Science and Engineering, Central University of Finance and Economics(中央财经大学管理科学与工程学院)
本文提出GAT-PEARL框架,通过元强化学习方法解决动态变化的充电基础设施下自动驾驶电动出租车车队的少样本学习问题,实现快速适应和高效运营。
2026-01-29 cs.LG
Alpha-RF: Automated RF-Filter-Circuit Design with Neural Simulator and Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Keysight Technologies, Inc.(Keysight技术公司)
Alpha-RF通过神经模拟器和强化学习实现自动射频滤波器电路设计,显著提升设计效率和精度。
2026-02-18 cs.LG eess.SP
A Comparative Analysis of Deep Reinforcement Learning-enabled Freeway Decision-making for Automated Vehicles
Clinical Research Center and Medical Pathology Center, Chongqing University Three Gorges Hospital, Chongqing University(重庆大学三峡医院临床研究中心及医学病理中心、重庆大学)
本文针对自动驾驶车辆高速公路决策问题,对比了DQL、DDQL等四种深度强化学习方法,通过仿真实验分析了不同方法的控制性能及其学习特性与驾驶效果的关联。
2023-10-08 cs.AI cs.LG
Hierarchical Agent-based Reinforcement Learning Framework for Automated Quality Assessment of Fetal Ultrasound Video
Shenzhen University(深圳大学)
本文提出一种基于两个分层智能体的强化学习框架,仅利用稀疏二值标注即可协同完成胎儿超声视频的帧级与视频级质量评估,并在胎儿大脑数据集上验证了其与主观评估结果的良好相关性。
2023-04-14 cs.CV cs.LG eess.IV
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney(悉尼科技大学);Defence Science and Technology Group(国防科技集团)
渗透测试对计算机系统进行有组织的攻击,以测试现有的防御措施,已被广泛用于评估网络安全。这是一个耗时的过程,需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL,它采用了代数动作分解策略,以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快,更稳定地找到最佳攻击策略,该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
Automated Feature Selection for Inverse Reinforcement Learning
Aalto University(阿尔托大学);Tampere University(坦佩雷大学)
针对逆向强化学习在连续状态空间中缺乏良好特征的问题,提出利用多项式基函数构建候选特征集并结合轨迹概率与特征期望相关性进行自动特征选择的方法,有效恢复专家奖励函数。
2024-03-22 cs.LG cs.RO
Automating Privilege Escalation with Deep Reinforcement Learning
Aalto University(阿尔托大学);F-Secure(F-Secure公司)
基于人工智能的防御解决方案对于保护网络和信息资产免受智能自动化攻击是必要的。收集足够的真实数据来训练基于机器学习的防御是一个重大的实际挑战。一个能够执行真实攻击的智能红队测试代理可以缓解这个问题。然而,几乎没有科学证据证明使用机器学习进行全自动攻击的可行性。在这项工作中,我们使用深度强化学习来训练自动化代理来消除恶意行为者的潜在威胁。我们提出了一个代理,使用最先进的强化学习算法来执行本地权限升级。我们的研究结果表明,自主智能体可以升级特权在Windows 7环境中使用各种不同的技术,这取决于它遇到的环境配置。因此,我们的代理是可用于生成现实的攻击传感器数据的训练和评估入侵检测系统。
2021-10-04 cs.CR cs.LG
ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(NVIDIA研究)
针对机器人长期操纵挑战,ReinforceGen系统结合任务分解、数据生成、模仿学习与运动规划形成初始方案,经强化学习微调,在Robosuite数据集基准测试中成功率达80%,消融研究显示微调使性能平均提升89%,实际评估也有显著改进。
2026-07-13 cs.AI cs.LG cs.RO
RLScheduler: An Automated HPC Batch Job Scheduler Using Reinforcement Learning
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Iowa State University(爱荷华州立大学);Oak Ridge National Laboratory(橡树岭国家实验室)
今天,高性能计算(HPC)平台仍然由批处理作业主导。因此,有效的批作业调度是获得高系统效率的关键。现有的HPC批处理作业调度器通常利用启发式优先级函数来对作业进行优先级排序和调度。但是,一旦由专家配置和部署,这样的优先级函数很难适应作业负载、优化目标或系统设置的变化,当发生变化时,可能导致系统效率降低。为了解决这个根本问题,我们提出了RLSTOM,一个自动化的HPC批处理作业调度建立在强化学习。RLSTOM依赖于最少的人工干预或专家知识,但可以通过自己的连续“试错”学习高质量的调度策略。我们在RL调度器中引入了新的基于内核的神经网络结构和轨迹过滤机制,以改善和稳定学习过程。通过广泛的评估,我们确认RLSTOM可以学习高质量的调度策略,对各种工作负载和各种优化目标,相对较低的计算成本。此外,我们表明,即使应用于看不见的工作负载时,学习的模型也能稳定地执行,使其适用于生产使用。
2020-09-02 cs.AI cs.DC cs.LG
Automated Cyber Defense with Generalizable Graph-based Reinforcement Learning Agents
Cybermonic LLC(Cybermonic公司);The George Washington University(乔治华盛顿大学)
本文将自动化网络防御建模为基于属性图的部分可观测马尔可夫决策问题,利用关系归纳偏置使强化学习智能体具备零样本泛化能力,在复杂多智能体环境中显著超越现有方法。
2025-09-19 cs.CR cs.LG
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mississippi State University(密西西比州立大学)
针对元强化学习在复杂高维任务上的挑战,提出三层架构自动发现任务无关宏动作以引导原始策略学习,提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
Sample-Efficient Automated Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);German Cancer Research Center(德国癌症研究中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
尽管在各个领域的挑战性问题方面取得了重大进展,但由于其对超参数选择的敏感性,应用最先进的深度强化学习(RL)算法仍然具有挑战性。这种敏感性可以部分归因于RL问题的非平稳性,在学习过程的各个阶段可能需要不同的超参数设置。此外,在RL设置中,超参数优化(HPO)需要大量的环境交互,阻碍了RL中的成功转移到现实世界的应用。在这项工作中,我们解决了RL中的样本效率和动态HPO问题。我们提出了一个基于人口的自动强化学习(AutoRL)框架,以元优化任意的非策略强化学习算法。在这个框架中,我们优化超参数和神经结构,同时训练代理。通过在群体中共享收集的经验,我们大大提高了元优化的样本效率。我们在MuJoCo基准测试套件中使用流行的TD3算法的案例研究中展示了我们的样本高效AutoRL方法的能力,与基于人群的训练相比,我们将元优化所需的环境交互数量减少了一个数量级。
2021-03-17 cs.LG stat.ML
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
提出AutoInject,一种基于强化学习的黑盒框架,自动学习对抗性后缀进行提示注入,在AgentDojo上优于模板攻击和多种自适应攻击,并突破专门防御模型。
2026-06-11 cs.AI cs.LG
Automated Augmentation with Reinforcement Learning and GANs for Robust Identification of Traffic Signs using Front Camera Images
Volvo Cars USA(沃尔沃汽车美国公司);U. Washington(华盛顿大学);VolvoCars(沃尔沃汽车);Chalmers University of Technology(查尔姆斯理工大学);Fung Institute, University of California, Berkeley(加州大学伯克利分校冯氏研究所)
利用车辆摄像头图像识别交通标志在自动驾驶和路径规划中起着关键作用。然而,前置摄像头图像可能由于模糊、光照变化和故意破坏而失真,这可能导致检测性能下降。作为一种解决方案,机器学习模型必须使用来自多个领域的数据进行训练,并且在每个新领域中收集和标记更多数据既耗时又昂贵。在这项工作中,我们提出了一个端到端的框架,以增强交通标志训练数据,使用最佳的强化学习策略和各种生成对抗网络(GAN)模型,然后可以用来训练交通标志检测器模块。我们的自动增强器可以使用LISA交通标志和BDD-Nexar数据集从转换的夜间,光线不足和不同程度的遮挡中学习。所提出的方法能够将训练数据从一个域映射到另一个域,从而将夜间图像的交通标志检测精度/召回率从0.70/0.66提高到0.83/0.71。
2019-11-15 cs.AI cs.CV cs.LG
Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections
University of California at Riverside(加州大学河滨分校);Beijing Jiaotong University(北京交通大学)
利用车联网(V2X)通信和自动驾驶技术,互联和自动驾驶汽车正迅速成为许多交通问题的变革性解决方案之一。然而,在信号交叉口的混合交通环境中,考虑到交通系统的复杂性和不确定性,如何提高整体吞吐量和能量效率仍然是一个具有挑战性的任务。在这项研究中,我们提出了一个混合强化学习(HRL)框架,该框架结合了基于规则的策略和深度强化学习(深度RL),以支持在混合交通信号交叉口连接生态驾驶。视觉感知方法与车辆到基础设施(V2 I)通信相结合,以在混合连接的交通中实现更高的移动性和能源效率。HRL框架有三个组成部分:一个基于规则的驾驶管理器,用于操作基于规则的策略和RL策略之间的协作;一个多流神经网络,用于提取视觉和V2 I信息的隐藏特征;以及一个基于RL的深度策略网络,用于生成纵向和横向的生态驾驶行为。为了评估我们的方法,我们开发了一个基于Unity的模拟器,并设计了一个混合交通路口的情况。此外,几个基线实施,以比较我们的新设计,并进行了数值试验,以测试的HRL模式的性能。实验表明,我们的HRL方法可以减少能源消耗的12.70%,节省11.75%的旅行时间相比,最先进的基于模型的生态驾驶方法。
2022-01-28 cs.LG cs.SY eess.SY
A Deep Reinforcement Learning Approach to First-Order Logic Theorem Proving
Northwestern University(西北大学);IBM Research(IBM研究院);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Zurich Lab(IBM苏黎世实验室);The University of Auckland(奥克兰大学)
自动定理证明器传统上依赖于手动调整的算法来指导它们如何执行证明搜索。深度强化学习已经被提出作为一种方法来满足这种推理的需要,然而,它在自动定理证明中的部署仍然是一个挑战。在本文中,我们介绍了TRAIL,这是一个将深度强化学习应用于基于饱和的定理证明的系统。TRAIL利用(a)定理证明器状态的新神经表示和(b)推理选择过程在基于注意力的行动策略方面的新特征。我们通过系统的分析表明,这些机制使TRAIL显着优于以前的基于学习的定理证明器在两个基准数据集的一阶逻辑自动定理证明(证明约15%以上的定理)。
2020-09-16 cs.AI cs.LG cs.LO
ACE-RLHF: Automated Code Evaluation and Socratic Feedback Generation Tool using Large Language Models and Reinforcement Learning with Human Feedback
Department of Computer Science, Cleveland State University(克利夫兰州立大学计算机科学系);School of Computing and Information Sciences, Florida International University(佛罗里达国际大学计算与信息科学学院);Data Science and Learning Division, Argonne National Laboratory(阿贡国家实验室数据科学与学习分部)
本文提出ACE-RLHF工具,通过结合RLHF微调大型语言模型生成苏格拉底式代码反馈,在自动与人工评估中均显著提升了代码修复反馈的准确率。
2025-04-07 cs.LG
Automated Reinforcement Learning (AutoRL): A Survey and Open Problems
University of Oxford(牛津大学);University of Freiburg(弗莱堡大学);Google Research(谷歌研究院);Leibniz University Hannover(汉诺威莱布尼茨大学);Amazon Australia(亚马逊澳大利亚);Meta AI;Bosch Center for Artificial Intelligence(博世人工智能中心)
强化学习(RL)与深度学习的结合带来了一系列令人印象深刻的壮举,许多人认为(深度)RL提供了一条通往通用智能体的道路。然而,RL代理的成功通常对训练过程中的设计选择高度敏感,这可能需要繁琐且容易出错的手动调整。这使得将RL用于新问题具有挑战性,同时也限制了其全部潜力。在机器学习的许多其他领域,AutoML已经表明可以自动化这些设计选择,并且在应用于RL时也产生了有希望的初步结果。然而,自动化强化学习(AutoRL)不仅涉及AutoML的标准应用,还包括RL特有的额外挑战,这些挑战自然会产生一组不同的方法。因此,AutoRL已经成为RL研究的一个重要领域,在从RNA设计到玩围棋等游戏的各种应用中提供了希望。鉴于RL中考虑的方法和环境的多样性,大部分研究都是在不同的子领域进行的,从元学习到进化。在这项调查中,我们试图统一AutoRL领域,我们提供了一个通用的分类法,详细讨论了每个领域,并提出了研究人员感兴趣的开放问题。
2022-06-02 cs.LG
CAFE: Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning
CAFE通过因果引导的多智能体强化学习提升自动化特征工程的鲁棒性和效率。
2026-10-27 cs.AI cs.LG cs.MA
Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning
Graduate School of Engineering and Science, Shibaura Institute of Technology(芝浦工业大学理工学研究科)
本文提出利用深度强化学习的自动化框架,用于优化量子虚时间演进方法的电路设计,通过减少门数和深度提升硬件效率,实现更高效的量子算法设计。
2026-04-09 cs.AI cs.LG quant-ph
Dual-Agent Reinforcement Learning for Automated Feature Generation
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(教育部符号计算与知识工程重点实验室);Department of Computer Science, Portland State University(波特兰州立大学计算机科学系)
针对现有强化学习特征生成方法存在冗余特征筛选不合理、状态表示不足、未区分离散连续特征的问题,提出双智能体强化学习方法,通过生成与筛选双智能体、自注意力和差异化操作提升性能,经多数据集验证有效。
2025-05-19 cs.LG
Assembling the CREW: A Collaborative Multi-agent Reinforcement Learning Framework for Automated Related Work Generation
The Chinese University of Hong Kong(香港中文大学);Hanoi University of Industry(河内工业大学);Hanoi University of Science and Technology(河内理工大学)
针对多智能体LLM相关工作生成中静态协调的局限,提出CREW框架,让智能体通过IPPO策略自主选择操作动态协作,在标准基准上显著提升质量并降低令牌成本。
2026-09-15 cs.LG
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia(弗吉尼亚大学)
自动驾驶汽车(AV)安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理(封闭试验场)或虚拟(模拟预定义场景)环境中控制,也可以在现实世界中的操作过程中自发出现(开放道路测试或模拟随机生成的场景)。在自动驾驶测试中,仿真主要有两个目的:帮助开发强大的自动驾驶汽车,并在发布前测试和验证自动驾驶汽车。由于涉及大量变量(其中大多数是连续的),从上述每个来源可以构建大量的情景变化,这带来了挑战。即使连续变量离散化,可能的组合数量也变得实际上不可行。为了克服这一挑战,我们建议使用强化学习(RL)来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果,但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中,如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
A Deep Reinforcement Learning Approach to Automated Stock Trading, using xLSTM Networks
Faculty of Computer Science and Engineering, Shahid Beheshti University(谢赫·贝赫什提大学计算机科学与工程学院);Faculty of Electrical Engineering, Shahid Beheshti University(谢赫·贝赫什提大学电气工程学院)
本文提出利用xLSTM网络与深度强化学习结合,改进传统LSTM在处理时序数据时的不足,通过PPO算法优化交易策略,实验证明xLSTM在股票交易指标上表现更优。
2026-04-28 cs.CE cs.LG q-fin.TR
Automated Lane Change Decision Making using Deep Reinforcement Learning in Dynamic and Uncertain Highway Environment
ITU Artificial Intelligence and Data Science Research Center and Department of Aeronautical Engineering, Istanbul Technical University(伊斯坦布尔技术大学人工智能与数据科学研究中心和航空工程系);Eatron Technologies;Faculty of Mechatronics Engineering, Istanbul Technical University(伊斯坦布尔技术大学机电一体化工程学院);Department of Computer Engineering, University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校计算机工程系);Faculty of Aeronautics and Astronautics, Aerospace Engineering, Istanbul Technical University(伊斯坦布尔技术大学航空航天学院航空航天工程系);Istanbul Technical University(伊斯坦布尔技术大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Eatron Technologies, Istanbul, Turkey(土耳其伊斯坦布尔Eatron Technologies);ITU Artificial Intelligence and Data Science Research Center(伊斯坦布尔技术大学人工智能与数据科学研究中心);Department of Aeronautical Engineering, Istanbul Technical University(伊斯坦布尔技术大学航空工程系)
自动变道是先进自动驾驶系统的一个关键功能,它涉及到一些挑战,例如其他驾驶员行为的不确定性以及安全性和敏捷性之间的权衡。在这项工作中,我们开发了一种新的模拟环境,模拟这些挑战和训练深度强化学习代理,在各种动态和不确定的交通场景中产生一致的性能。结果表明,所提出的数据驱动的方法在嘈杂的环境中执行显着更好的方法,仅依赖于算法。
2019-09-18 cs.AI cs.LG cs.RO
Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua-Berkeley Shenzhen Institute (TBSI)(清华-伯克利深圳学院);Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies(江苏省现代城市交通技术协同创新中心)
针对CAV安全测试中先验代理模型失配及高维场景适应性不足的问题,提出融合多代理模型、二次规划与密集强化学习的自适应测试环境生成方法,提升高维超车场景评估效率。
2024-02-29 cs.LG cs.SY eess.SY