ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
TU Dortmund University(图卢兹大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);RWTH Aachen University(亚琛工业大学);Leibniz University Hannover(汉诺威莱布尼茨大学);University of Freiburg(弗赖堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);L3S Research Center(L3S研究所以)
ARLBench为强化学习中的超参数优化提供高效灵活的基准测试,通过减少计算资源需求促进更广泛的研究。
2026-03-10 cs.LG
Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning
DFKI GmbH(德国人工智能研究中心);TU Darmstadt(达姆施塔特工业大学);Center for AI and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心)
提出专为 RL 量身定制的自适应 $Q$-网络(AdaQN),通过在线学习多个不同超参数的 $Q$-函数并利用最小近似误差作为共享目标,在无需额外样本的情况下应对非平稳性,显著提升了样本效率、整体性能和训练稳定性。
2025-03-03 cs.AI cs.LG
Sample-Efficient Automated Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);German Cancer Research Center(德国癌症研究中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
尽管在各个领域的挑战性问题方面取得了重大进展,但由于其对超参数选择的敏感性,应用最先进的深度强化学习(RL)算法仍然具有挑战性。这种敏感性可以部分归因于RL问题的非平稳性,在学习过程的各个阶段可能需要不同的超参数设置。此外,在RL设置中,超参数优化(HPO)需要大量的环境交互,阻碍了RL中的成功转移到现实世界的应用。在这项工作中,我们解决了RL中的样本效率和动态HPO问题。我们提出了一个基于人口的自动强化学习(AutoRL)框架,以元优化任意的非策略强化学习算法。在这个框架中,我们优化超参数和神经结构,同时训练代理。通过在群体中共享收集的经验,我们大大提高了元优化的样本效率。我们在MuJoCo基准测试套件中使用流行的TD3算法的案例研究中展示了我们的样本高效AutoRL方法的能力,与基于人群的训练相比,我们将元优化所需的环境交互数量减少了一个数量级。
2021-03-17 cs.LG stat.ML
Optimal Scheduling of Isolated Microgrids Using Automated Reinforcement Learning-based Multi-period Forecasting
Northeast Electric Power University(东北电力大学);State Grid Beijing Electric Power Company(国网北京市电力公司)
为了减少负荷和可再生能源输出的不确定性对微电网运行的负面影响,提出了一种基于自动强化学习的可再生能源发电量和负荷多时段预测的孤立微电网优化调度模型。首先,优先经验重放自动强化学习(PER-AutoRL)旨在以定制的方式简化基于深度强化学习(DRL)的预测模型的部署,首次提出了基于PER-AutoRL的单步多期预测方法,以解决现有多步预测方法所遭受的误差累积问题,然后通过误差分布对所提出的预测方法得到的预测值进行修正,提高预测精度;其次,以微网总运行成本最小为目标,构建了考虑需求响应的调度模型,并将修正后的预测值作为调度依据,最后,利用序列运算理论(SOT)将原调度模型转化为一个易于求解的混合整数线性规划问题,并利用CPLEX求解器对转化后的模型进行求解。仿真结果表明,与传统的无预测调度模型相比,该方法提高了预测精度,显著降低了系统运行成本。
2021-08-15 cs.LG cs.SY eess.SP
Bayesian Generational Population-Based Training
University of Oxford(牛津大学);Amazon(亚马逊)
强化学习(RL)为训练能够在现实世界中自主交互的通用智能体提供了潜力。然而,一个关键的限制是RL算法对核心超参数和网络架构选择的脆弱性。此外,非平稳性,如不断变化的训练数据和增加的代理复杂性意味着不同的超参数和架构可能在不同的训练点是最佳的。这激发了AutoRL,这是一类寻求自动化这些设计选择的方法。AutoRL方法的一个突出类别是基于人口的训练(PBT),它在几个大规模设置中具有令人印象深刻的性能。在本文中,我们介绍了两个新的创新的PBT式的方法。首先,我们采用基于信赖域的贝叶斯优化,使高维混合超参数搜索空间的全覆盖。其次,我们证明了使用分代方法,我们也可以在一次训练中同时学习架构和超参数。利用新的高度并行化的Brax物理引擎,我们证明了这些创新带来了巨大的性能提升,在动态学习整个配置的同时显著优于调整后的基线。代码可在https://github.com/xingchenwan/bgpbt上获得。
2022-07-19 cs.AI cs.LG
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover(汉诺威莱布尼茨大学);Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题,评估多种 HPO 工具并提出分离调优/测试种子等最佳实践,证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University(莱斯大学)
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾,提出 A3C-S 框架,自动协同搜索匹配的智能体与加速器,以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Reinforcement Learning with Automated Auxiliary Loss Search
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);New York University(纽约大学)
良好的状态表示对于解决复杂的强化学习(RL)挑战至关重要。许多最近的作品集中在设计辅助损失学习信息表示。不幸的是,这些手工制作的目标在很大程度上依赖于专家知识,可能是次优的。在本文中,我们提出了一个原则性和通用的方法来学习更好的表示与辅助损失函数,名为自动辅助损失搜索(A2 LS),自动搜索性能最好的辅助损失函数RL。具体而言,基于收集的轨迹数据,我们定义了一个一般的辅助损失空间的大小$7.5 \times 10^{20}$和探索的空间与一个有效的进化搜索策略。实验结果表明,所发现的辅助损失(即A2-winner)显着提高性能的高维(图像)和低维(矢量)看不见的任务,更高的效率,显示出有前途的推广能力,不同的设置,甚至不同的基准领域。我们进行了统计分析,以揭示模式的辅助损失和RL性能之间的关系。
2022-10-12 cs.LG
Generalizing Decision Making for Automated Driving with an Invariant Environment Representation using Deep Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
应用于自动驾驶的数据驱动决策方法需要适当的泛化策略,以确保适用于世界的变化。当前的方法要么不能很好地概括超出训练数据的范围,要么不能考虑可变数量的交通参与者。因此,我们提出了一个不变的环境表示的角度来看,自我车辆。该表示对安全决策所需的所有信息进行编码。为了评估新的环境表示的泛化能力,我们训练我们的代理人在一个小的子集的情况下,并评估整个不同的情况。在这里,我们表明,代理人能够成功地推广到看不见的情况下,由于抽象。此外,我们提出了一个简单的闭塞模型,使我们的代理导航与闭塞的交叉点,而没有显着的性能变化。
2021-05-31 cs.LG
Few-Shot Learning for Dynamic Operations of Automated Electric Taxi Fleets under Evolving Charging Infrastructure: A Meta-Deep Reinforcement Learning Approach
Department of Industrial Engineering, Tsinghua University(清华大学工业工程系);School of Management Science and Engineering, Central University of Finance and Economics(中央财经大学管理科学与工程学院)
本文提出GAT-PEARL框架,通过元强化学习方法解决动态变化的充电基础设施下自动驾驶电动出租车车队的少样本学习问题,实现快速适应和高效运营。
2026-01-29 cs.LG
ACE-RLHF: Automated Code Evaluation and Socratic Feedback Generation Tool using Large Language Models and Reinforcement Learning with Human Feedback
Department of Computer Science, Cleveland State University(克利夫兰州立大学计算机科学系);School of Computing and Information Sciences, Florida International University(佛罗里达国际大学计算与信息科学学院);Data Science and Learning Division, Argonne National Laboratory(阿贡国家实验室数据科学与学习分部)
本文提出ACE-RLHF工具,通过结合RLHF微调大型语言模型生成苏格拉底式代码反馈,在自动与人工评估中均显著提升了代码修复反馈的准确率。
2025-04-07 cs.LG
Dual-Agent Reinforcement Learning for Automated Feature Generation
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(教育部符号计算与知识工程重点实验室);Department of Computer Science, Portland State University(波特兰州立大学计算机科学系)
针对现有强化学习特征生成方法存在冗余特征筛选不合理、状态表示不足、未区分离散连续特征的问题,提出双智能体强化学习方法,通过生成与筛选双智能体、自注意力和差异化操作提升性能,经多数据集验证有效。
2025-05-19 cs.LG
Assembling the CREW: A Collaborative Multi-agent Reinforcement Learning Framework for Automated Related Work Generation
The Chinese University of Hong Kong(香港中文大学);Hanoi University of Industry(河内工业大学);Hanoi University of Science and Technology(河内理工大学)
针对多智能体LLM相关工作生成中静态协调的局限,提出CREW框架,让智能体通过IPPO策略自主选择操作动态协作,在标准基准上显著提升质量并降低令牌成本。
2026-09-15 cs.LG
Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning
Rice University(莱斯大学);Texas A&M University(德州农工大学)
不平衡学习是数据采掘中的一个基本挑战,其中每个类中的训练样本的比例不成比例。过采样是一种通过为少数类生成合成样本来解决不平衡学习的有效技术。虽然已经提出了许多过采样算法,但它们严重依赖于统计学,这可能是次优的,因为我们可能需要不同的采样策略用于不同的数据集和基本分类器,并且它们不能直接优化性能指标。基于此,我们研究开发一种基于学习的过采样算法来优化分类性能,这是一项具有挑战性的任务,因为决策空间巨大且具有层次性。在高层次上,我们需要决定生成多少合成样本。在低级别,我们需要确定合成样本应该位于何处,这取决于高级别决策,因为样本的最佳位置可能因样本数量不同而不同。为了应对这些挑战,我们提出了AutoSMOTE,这是一种自动过采样算法,可以联合优化不同级别的决策。受SMOTE~ \cite{chawla2002smote}及其扩展的成功启发,我们将生成过程表示为马尔可夫决策过程(MDP),该过程由三个级别的策略组成,以在SMOTE搜索空间内生成合成样本。然后,我们利用深层强化学习来优化验证数据的性能指标。在六个真实数据集上的大量实验表明,AutoSMOTE的性能明显优于最先进的恢复算法。代码位于https://github.com/daochenzha/autosmote
2022-08-26 cs.LG
Automated co-design of high-performance thermodynamic cycles via graph-based hierarchical reinforcement learning
Key Laboratory for Thermal Science and Power Engineering of Ministry of Education, Beijing Key Laboratory of CO2 Utilization and Reduction Technology, Department of Energy and Power Engineering, Tsinghua University(教育部热科学与能源工程重点实验室,北京二氧化碳利用与减排技术重点实验室,清华大学能源与动力工程系);Shanxi Research Institute for Clear Energy Tsinghua University(清华大学清能研究院山西分院)
本文提出基于图的分层强化学习方法,用于自动设计热力学循环结构参数,通过图表示、热物性代理和管理者-工人学习,实现高效自动编码、解码和协同优化,发现新型热泵和热机循环并提升性能。
2026-04-14 cs.LG
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University(斯坦福大学);Rigetti Computing(里盖蒂计算公司)
我们开发了一种基于激励的混合量子经典计算系统的编程方法,使用强化学习,并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例,通过强化学习技术训练的智能体能够生成短量子程序,这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题,以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
CleanSurvival: Automated data preprocessing for time-to-event models using reinforcement learning
German University in Cairo(埃及德国亚历山大大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Saarland(萨尔大学);University of Kaiserslautern–Landau (RPTU)(凯撒斯劳滕-兰道大学(RPTU))
提出基于强化学习的CleanSurvival框架,自动优化生存分析的数据预处理流程,提升Cox、随机森林、神经网络等时间事件模型的预测性能。
2026-07-27 cs.LG
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习(RL)使智能体能够从试错经验中学习,以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务,但由于它们不同的计算模式,RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率,我们开发了Guided Dyna-Q(GDQ),使RL agent能够使用动作知识进行推理,以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务,在多房间的办公室环境中进行了评估。与竞争基线相比,GDQ显著减少了探索的努力,同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University(西北大学)
提出一种深度强化学习集成方法,通过多验证期模型选择和混合分布策略,提升日内加密货币交易策略的泛化性能,优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
Ensuring Safety in Automated Mechanical Ventilation through Offline Reinforcement Learning and Digital Twin Verification
School of Engineering, University of Warwick, Coventry, UK(沃里克大学工程学院,英国考文垂);School of Computer Science, Chongqing University, China(重庆大学计算机科学学院,中国);School of Computer Science and Technology, Hainan University, China(海南大学计算机科学与技术学院,中国);Institute for Computational Biomedicine, RWTH Aachen University, Germany(鲁姆哈根工业大学计算生物医学研究所,德国)
本文提出基于Transformer的保守Q学习框架,通过整合时间建模、保守正则化和数字孪生验证,实现安全高效的机械通气自动化。
2026-03-11 cs.LG
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg(弗莱堡大学)
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变,其影响是,我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益,例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理,这是交通中的一个重要瓶颈,使用智能交通信号或完全自动化的车辆。然而,如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中,我们提出了一种新的方法来优化混合交通情况下的交叉口交通流,使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略,让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权,让位给其他车辆,以优化交通流量。我们实现了我们的方法,并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明,我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置,也提供了更好的性能在广泛的交通情况相比,国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
在各种交通文化和驾驶条件下,自动驾驶车辆在野外以适当的道路驾驶技术(安全有效地驾驶,而不打扰或危及其他道路使用者)执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色,并被应用于自动驾驶汽车策略,但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程(MDP)适应问题,并开发了Meta强化学习(MRL)驱动策略,以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟,以验证快速适应能力的MRL驾驶策略,显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning
McGill University(麦吉尔大学)
互联和自动驾驶汽车(CAV)最近引起了越来越多的关注。快速的驱动时间使它们具有提高整个运输系统的效率和安全性的潜力。由于技术挑战,将有一部分车辆可以配备自动化,而其他车辆则没有自动化。我们不是学习自我自动驾驶汽车的可靠行为,而是专注于如何通过让每个自动驾驶汽车学习相互合作并调节人类驾驶的交通流量来改善整个交通系统的结果。最先进的方法之一是使用强化学习来学习智能决策策略。然而,直接强化学习框架不能提高整个系统的性能。在这篇文章中,我们证明,考虑问题的多代理设置共享的政策,可以帮助实现更好的系统性能比非共享的政策,在单代理设置。此外,我们发现,利用注意力机制的互动功能,可以捕捉每个代理之间的相互作用,以促进合作。据我们所知,虽然以前的自动驾驶研究主要集中在提高个人的驾驶性能,这项工作作为一个起点,系统级的多智能体合作性能的研究,使用图形信息共享。我们进行了广泛的实验,在汽车跟随和无信号交叉口设置。结果表明,我们的方法控制的CAV可以达到最佳的性能对几个国家的最先进的基线。
2021-10-22 cs.LG stat.ML
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
提出iTRACE框架,利用预训练视觉-语言模型自动提取语义特征并蒸馏为轻量级模型,训练可解释的基于树的强化学习策略,在Atari等三个领域匹配黑盒策略性能。
2025-10-31 cs.AI cs.LG
Automated Proof of Polynomial Inequalities via Reinforcement Learning
East China Normal University(华东师范大学);Southwest University(西南大学)
本文提出利用强化学习自动选择Krivine基以证明多项式不等式,并实现工具APPIRL,在基准测试及最大稳定集问题上验证了其有效性。
2025-03-09 cs.LG math.OC
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
深度强化学习(RL)算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多,这导致低学习率。针对这一局限性,本文做出了两方面的贡献。首先,我们开发了一种算法,称为经验嫁接(EG),使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹,同时保持质量。其次,在EG的基础上,我们进一步开发了一个AutoEG代理,它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明,与标准深度RL算法(DDPG)相比,AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of British Columbia(不列颠哥伦比亚大学)
ARM-FM通过基础模型实现自动化奖励设计,利用自然语言生成奖励机并实现跨任务泛化,提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Automated Synthesis of Steady-State Continuous Processes using Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Weihenstephan-Triesdorf University of Applied Sciences(魏恩施蒂芬-特里斯多夫应用科学大学)
流程图自动综合是计算机辅助过程工程的一个重要领域。目前的工作演示了如何强化学习可以用于自动化流程图综合没有任何的概念设计的先验知识的知识。该环境由包含所有物理知识的稳态流程图模拟器组成。代理被训练为采取离散的动作,并顺序地建立解决给定过程问题的流程图。提出了一种新的方法SynGameZero,以确保在复杂问题中的良好的勘探计划。其中,流程图合成被建模为两个竞争的玩家的游戏。智能体在训练过程中与自己进行这种游戏,它由一个人工神经网络和一个用于前瞻性规划的树搜索组成。该方法已成功地应用于四元体系的反应精馏过程。
2021-03-15 cs.AI cs.CE cs.LG
A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading
Deakin University(迪肯大学);Deakin Business School(迪肯商学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
针对加密货币自动交易的盈利难题,提出集成贝叶斯与动态贝叶斯网络的CausalReinforceNet框架,增强强化学习智能体决策,实验表明其在多种山寨币上优于买入持有和基线RL模型。
2024-08-19 cs.AI cs.LG
A Comparative Analysis of Deep Reinforcement Learning-enabled Freeway Decision-making for Automated Vehicles
Clinical Research Center and Medical Pathology Center, Chongqing University Three Gorges Hospital, Chongqing University(重庆大学三峡医院临床研究中心及医学病理中心、重庆大学)
本文针对自动驾驶车辆高速公路决策问题,对比了DQL、DDQL等四种深度强化学习方法,通过仿真实验分析了不同方法的控制性能及其学习特性与驾驶效果的关联。
2023-10-08 cs.AI cs.LG
Automated Feature Selection for Inverse Reinforcement Learning
Aalto University(阿尔托大学);Tampere University(坦佩雷大学)
针对逆向强化学习在连续状态空间中缺乏良好特征的问题,提出利用多项式基函数构建候选特征集并结合轨迹概率与特征期望相关性进行自动特征选择的方法,有效恢复专家奖励函数。
2024-03-22 cs.LG cs.RO
Automating Privilege Escalation with Deep Reinforcement Learning
Aalto University(阿尔托大学);F-Secure(F-Secure公司)
基于人工智能的防御解决方案对于保护网络和信息资产免受智能自动化攻击是必要的。收集足够的真实数据来训练基于机器学习的防御是一个重大的实际挑战。一个能够执行真实攻击的智能红队测试代理可以缓解这个问题。然而,几乎没有科学证据证明使用机器学习进行全自动攻击的可行性。在这项工作中,我们使用深度强化学习来训练自动化代理来消除恶意行为者的潜在威胁。我们提出了一个代理,使用最先进的强化学习算法来执行本地权限升级。我们的研究结果表明,自主智能体可以升级特权在Windows 7环境中使用各种不同的技术,这取决于它遇到的环境配置。因此,我们的代理是可用于生成现实的攻击传感器数据的训练和评估入侵检测系统。
2021-10-04 cs.CR cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University(推理主席 雷姆辛大学);Institute for Automotive Engineering RWTH Aachen University(汽车工程研究所 雷姆辛大学)
本文提出SAD-RL框架,通过分层强化学习结合场景化环境训练自动驾驶决策策略,解决了复杂任务泛化性与学习效率问题,实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
Automated Cyber Defense with Generalizable Graph-based Reinforcement Learning Agents
Cybermonic LLC(Cybermonic公司);The George Washington University(乔治华盛顿大学)
本文将自动化网络防御建模为基于属性图的部分可观测马尔可夫决策问题,利用关系归纳偏置使强化学习智能体具备零样本泛化能力,在复杂多智能体环境中显著超越现有方法。
2025-09-19 cs.CR cs.LG
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mississippi State University(密西西比州立大学)
针对元强化学习在复杂高维任务上的挑战,提出三层架构自动发现任务无关宏动作以引导原始策略学习,提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
Stevens Institute of Technology(斯蒂文斯理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);North Carolina State University(北卡罗来纳州立大学);Trine University(特莱恩大学)
针对大规模云计算任务调度的复杂性与实时性需求,本文提出基于深度学习和强化学习的Kubernetes自动调度方案,通过实时监控预测与动态策略调整,实现资源最优利用和任务效率最大化。
2024-02-26 cs.AI cs.DC cs.LG
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
提出AutoInject,一种基于强化学习的黑盒框架,自动学习对抗性后缀进行提示注入,在AgentDojo上优于模板攻击和多种自适应攻击,并突破专门防御模型。
2026-06-11 cs.AI cs.LG
Dampen the Stop-and-Go Traffic with Connected and Automated Vehicles -- A Deep Reinforcement Learning Approach
Department of Philosophy, UMass Lowell(马萨诸塞大学洛厄尔分校哲学系)
走走停停的交通对交通系统提出了许多挑战,但其形成和机理仍处于探索之中,但已经证明通过引入具有精心设计的控制器的互联自动车辆(CAV)可以抑制车队中的走走停停波。该研究采用强化学习控制CAV的行为,而不是使用分析模型,并将单个CAV置于车队的第二位置,目的是抑制车队领导者的速度振荡,并帮助后续人类驾驶员采取更平稳的驾驶行为。仿真结果表明,该控制器可以使CAV的速度振荡减小54%,对跟驰的CAV可以减小8%-28%。还观察到显著的燃料消耗节省。此外,结果表明,CAV可能会作为一个交通稳定器,如果他们选择稍微利他的行为。
2020-05-17 cs.AI cs.LG eess.SP
Automated Speed and Lane Change Decision Making using Deep Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术公司)
介绍了一种基于深度强化学习的通用决策函数自动生成方法。在模拟环境中训练Deep Q-网络代理,以处理卡车-拖车组合的速度和车道变换决策。在高速公路驾驶的情况下,它表明,该方法产生的代理,匹配或超过常用的参考模型的性能。为了证明该方法的通用性,还通过在有迎面而来的车辆的道路上训练它来测试完全相同的算法。此外,还介绍了一种将卷积神经网络应用于表示可互换对象的高级输入的新方法。
2018-11-01 cs.AI cs.LG cs.RO
Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment
Amazon(亚马逊);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
考虑到老化的基础设施和美国高速公路工作区数量的预期增长,研究工作区合并控制非常重要,这对于提高工作区安全性和容量至关重要。本文提出并评价了一种新的高速公路工作区合并控制策略的基础上,由人工智能实现的合作驾驶行为。所提出的方法假设所有车辆都是完全自动化的,连接和合作的。它在开放车道上插入两个计量区,为封闭车道上的合并车辆腾出空间。此外,封闭车道上的每辆车都学习如何最佳地调整其纵向位置,以使用非策略软演员评论(SAC)强化学习(RL)算法在开放车道上找到安全间隙,同时考虑其周围的交通状况。学习结果在卷积神经网络中捕获,并用于在测试阶段控制单个车辆。通过增加计量区并考虑周围车辆的位置、速度和加速度,隐含地考虑了车辆之间的合作。这个基于RL的模型使用微观交通模拟器进行训练和评估。结果表明,这种合作RL为基础的合并控制显着优于流行的战略,如晚合并和早合并的流动性和安全措施。
2020-01-21 cs.LG eess.SP
Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications
Bogazici University(博阿齐奇大学)
针对移动图形用户界面(GUI)应用的自动测试生成已经有了很多研究。这些研究成功地演示了如何检测致命异常,并实现高代码和活动覆盖率与全自动测试生成引擎。然而,目前还不清楚这些引擎能够测试多少GUI功能。此外,这些引擎只实现隐式测试预言机。本文提出了一种基于强化学习驱动规范的Android测试生成器(FARLEAD-Android)。FARLEAD-Android接受GUI级别的形式化规范作为线性时间时态逻辑(LTL)公式。通过动态执行被测应用程序(AUT),它学习如何使用强化学习(RL)生成满足LTL公式的测试。LTL公式不仅指导测试生成,而且还充当指定的测试预言机,使开发人员能够通过更改公式为各种GUI功能定义自动化测试预言机。我们的评估表明,FARLEAD-Android在为指定的GUI功能生成测试方面比三种已知的方法(Random,Monkey和QBEa)更有效,并且性能更高。据我们所知,FARLEAD-Android是第一个使用正式规范的全自动移动GUI测试引擎。
2019-11-27 cs.AI cs.LG cs.SE
Automated Cloud Provisioning on AWS using Deep Reinforcement Learning
Synaptiq, LLC(Synaptiq有限责任公司);BlackSky(BlackSky公司)
随着云计算的使用不断增加,控制成本变得越来越重要。然而,有证据表明,30%-45%的云支出被浪费了。现有的云供应工具通常依赖于训练有素的人类专家来指定要监控的内容、触发动作的阈值和动作。在本文中,我们将探索使用强化学习(RL)来获取平衡性能和支出的策略,允许人们指定他们想要什么,而不是如何去做,从而最大限度地减少对云专业知识的需求。使用CloudSim模拟器进行表格式、深度和决斗式双深度Q学习的实证结果显示了RL的实用性和这些方法的相对优点。我们还演示了有效的策略迁移学习,从一个非常简单的模拟器到CloudSim,下一步是从CloudSim迁移到Amazon Web Services物理环境。
2017-09-19 cs.AI cs.DC cs.LG
Automated Adversary Emulation for Cyber-Physical Systems via Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室);Michigan State University(密歇根州立大学)
Advertisement仿真是一种攻击性练习,它提供了对系统抵御网络攻击的能力的全面评估。然而,对手模拟通常是一个手动过程,这使得其成本高昂,难以在具有复杂动态,漏洞和操作不确定性的网络物理系统(CPS)中部署。在本文中,我们开发了一个自动化的,域感知的方法来模拟CPS的对手。我们制定了一个马尔可夫决策过程(MDP)模型,以确定一个最佳的攻击序列的混合攻击图与网络(离散)和物理(连续)组件和相关的物理动力学。我们应用基于模型和无模型强化学习(RL)的方法来解决离散连续MDP在一个易于处理的方式。作为基准,我们还开发了一个贪婪攻击算法,并将其与RL程序进行比较。我们总结了我们的研究结果,通过数值研究传感器欺骗攻击在建筑物中比较所提出的算法的性能和解决方案的质量。
2020-11-09 cs.LG cs.SY eess.SY
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而,仍有一些关键挑战需要解决,以提供更可靠的政策。在本文中,我们提出了一个通用的风险意识的DQN方法,以学习高层次的行动,通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息,其允许用于多车道场景。此外,我们提出了一个基于风险的奖励函数,它惩罚有风险的情况,而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络,并学习更可靠的策略,在具有挑战性的情况下更安全。所提出的方法的效率相比,与传统的碰撞为基础的奖励计划,也与基于规则的交叉口导航政策的DQN学习。评估结果表明,所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作,并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
LLaPipe: LLM-Guided Reinforcement Learning for Automated Data Preparation Pipeline Construction
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院)
LLaPipe通过将LLM作为策略顾问、经验蒸馏和自适应触发机制提升强化学习在数据预处理流水线构建中的探索效率,在18个数据集上实现质量提升22.4%并加速收敛2.3倍。
2025-07-18 cs.DB cs.LG
Hierarchical Agent-based Reinforcement Learning Framework for Automated Quality Assessment of Fetal Ultrasound Video
Shenzhen University(深圳大学)
本文提出一种基于两个分层智能体的强化学习框架,仅利用稀疏二值标注即可协同完成胎儿超声视频的帧级与视频级质量评估,并在胎儿大脑数据集上验证了其与主观评估结果的良好相关性。
2023-04-14 cs.CV cs.LG eess.IV
A Multi-Agent Deep Reinforcement Learning Coordination Framework for Connected and Automated Vehicles at Merging Roadways
University of Delaware(特拉华大学)
在高速公路上行驶的车辆数量的稳步增加继续加剧拥堵、事故、能源消耗和温室气体排放。新兴的移动系统,例如,互联和自动驾驶汽车(CAV)有可能直接解决这些问题,并提高运输网络的效率和安全性。在本文中,我们考虑了一个高速公路合并的情况下,并提出了一个框架,协调CAV,停止和去驾驶被淘汰。我们使用一种分散形式的行动者-批评者方法来进行深度强化学习$-$多智能体深度确定性策略梯度。我们通过数值模拟证明了CAV的协调性,并表明通过消除走走停停的驾驶来实现平稳的交通流。模拟结果的视频和图表可在本补充$\href{https://sites.google.com/view/ud-ids-lab/MADRL}{\text{site}}$中找到。
2022-03-14 cs.AI cs.LG cs.SY
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney(悉尼科技大学);Defence Science and Technology Group(国防科技集团)
渗透测试对计算机系统进行有组织的攻击,以测试现有的防御措施,已被广泛用于评估网络安全。这是一个耗时的过程,需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL,它采用了代数动作分解策略,以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快,更稳定地找到最佳攻击策略,该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning
Preferred Networks, Inc.(首选网络公司)
自动定理证明(ATP)中的问题求解可以被解释为证明者逐步构造证明树的搜索问题。本文提出了一种用于直觉命题逻辑中证明搜索的深度强化学习算法。将深度学习应用于ATP的最大挑战是缺乏大型公共定理数据库。然而,我们通过在强化学习的每次迭代中应用新的数据增强过程来克服这个问题。我们还提高了算法的效率,通过一种新的紧凑图表示公式的语法结构。使用大量的扩充数据,我们训练高度精确的图神经网络,其近似公式的语法结构的集合的价值函数。我们的方法在计算时间方面也具有成本效益。我们将展示我们的证明器优于Coq的$\texttt{tauto}$策略,这是一种基于人类工程学的证明器。在指定的时间限制内,我们的证明器解决了基准库中84%的定理,而$\texttt{tauto}$只能解决52%。
2018-11-02 cs.AI cs.LG cs.LO
Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University(麦克马斯特大学)
本研究用深度强化学习(DQN)调控信号和车辆行为,发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突,提升交通安全。
2024-05-29 cs.AI cs.LG
ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(NVIDIA研究)
针对机器人长期操纵挑战,ReinforceGen系统结合任务分解、数据生成、模仿学习与运动规划形成初始方案,经强化学习微调,在Robosuite数据集基准测试中成功率达80%,消融研究显示微调使性能平均提升89%,实际评估也有显著改进。
2026-07-13 cs.AI cs.LG cs.RO