Automating Vehicles by Deep Reinforcement Learning using Task Separation with Hill Climbing
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院)
在自动驾驶的背景下,基于基于模型的强化学习算法的神经网络参数化控制器的设计。经典的基于模型的控制方法,包括基于采样和基于格的算法和模型预测控制,受到模型复杂性和计算负担之间的权衡的影响,所述计算负担是在每个短采样时间在线解决昂贵的优化或搜索问题所需的。为了避免这种权衡,一个2步的过程是动机:第一次学习的控制器在离线训练过程中基于任意复杂的数学系统模型,在线快速前馈评估的训练控制器之前。本文的贡献是提出了一种简单的无梯度和基于模型的算法,用于使用爬山任务分离(TSHC)的深度强化学习。特别是,(i)同时训练单独的确定性任务的目的编码许多运动原语的神经网络,和(ii)就业的最大稀疏奖励结合虚拟速度约束(VVC)在设定点附近的主张。
2018-08-02 cs.LG cs.RO
Automating Reinforcement Learning with Example-based Resets
Seoul National University(首尔国立大学);Automation and Systems Research Institute (ASRI)(自动化与系统研究所)
深度强化学习使机器人能够在最少或没有先验知识的情况下从环境交互中学习运动技能。然而,现有的强化学习算法假设情节设置,其中代理在每个情节结束时重置为固定的初始状态分布,以从重复试验中成功地训练代理。这种重置机制虽然对于模拟任务来说微不足道,但对于提供给真实世界的机器人任务来说可能是具有挑战性的。机器人系统中的重置通常需要大量的人工监督和特定于任务的变通方法,这与自主机器人学习的目标相矛盾。在本文中,我们提出了一个扩展到传统的强化学习更大的自主性,通过引入一个额外的代理,学习重置在一个自我监督的方式。重置代理抢先触发重置以防止手动重置,并隐式地为转发代理强加课程。我们应用我们的方法从头开始学习一套模拟和现实世界的连续控制任务,并证明重置代理成功地学习,以减少手动重置,同时也允许向前的政策,以逐步改善随着时间的推移。
2022-04-06 cs.LG cs.RO
Automating Turbulence Modeling by Multi-Agent Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
湍流的建模对于从飞机设计到天气预报和气候预测的科学和工程问题至关重要。在过去的60年里,人们提出了许多湍流模型,主要是基于物理见解和工程直觉。机器学习和数据科学的最新进展激发了新的努力来补充这些方法。到目前为止,所有这些努力都集中在监督学习上,尽管已经证明有希望,但在训练数据分布之外的推广方面遇到了困难。在这项工作中,我们引入多智能体强化学习(MARL)作为湍流模型的自动发现工具。我们证明了这种方法的潜力大涡模拟的均匀和各向同性湍流作为奖励的直接数值模拟的统计特性的恢复。在这里,制定的封闭模型作为一个控制策略制定的合作代理,检测流场中的关键时空模式,以估计未解决的亚网格尺度(SGS)物理。目前的结果是获得国家的最先进的算法的基础上的经验重放和比较有利的动态SGS建模方法。此外,我们表明,目前的湍流模型概括跨网格大小和流动条件所表示的雷诺数。
2020-10-23 cs.LG physics.comp-ph
Automating the Refinement of Reinforcement Learning Specifications
The Pennsylvania State University(宾夕法尼亚州立大学);Singapore Management University(新加坡管理大学)
本文提出AutoSpec框架,通过探索引导策略自动细化逻辑规范,提升强化学习算法学习有效策略的能力。
2026-02-27 cs.AI cs.LG cs.RO
STRIDE: Automating Reward Design, Deep Reinforcement Learning Training and Feedback Optimization in Humanoid Robotics Locomotion
South China University of Technology(华南理工大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
针对人形机器人运动中DRL奖励设计需大量手动工作的瓶颈,提出基于智能体工程的STRIDE框架,结合LLMs自动化奖励设计、训练与反馈优化,在多样环境中优于EUREKA,效率和性能平均提升约250%。
2025-02-12 cs.LG cs.RO
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI(IBM研究人工智能部门(注:IBM Research AI是IBM Research的一部分,通常译为IBM研究人工智能部门或IBM人工智能研究院,但根据机构粒度要求,提取到公司/研究院级别,这里IBM本身是公司,Research AI可视为其研究部门))
建立一个好的预测模型需要一系列的活动,如数据填补,特征转换,估计选择,超参数搜索和集成建设。由于选项的空间大、复杂和异质,现成的优化方法对于现实的响应时间是不可行的。在实践中,大部分预测建模过程是由经验丰富的数据科学家进行的,他们有选择地使用可用的工具。随着时间的推移,他们对操作员的行为有了理解,并在不确定的情况下进行系列决策,通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求,需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统,称为APRL(自主预测建模通过强化学习),它使用过去的经验,通过强化学习优化这种顺序决策,从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反,其他系统首先最大化单个模型的准确性,并创建集成作为断开的后处理步骤。因此,APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
QEDCartographer: Automating Formal Verification Using Reward-Free Reinforcement Learning
QEDCartographer结合监督与强化学习,利用证明分支结构实现无奖励搜索,在CoqGym基准上自动证明21.4%的定理,优于现有工具,证明强化学习可有效提升证明合成搜索机制。
2024-12-17 cs.LG cs.PL cs.SE
Automating Formal Verification with Reinforcement Learning and Recursive Inference
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Massachusetts Institute of Technology(麻省理工学院)
研究通过可验证奖励的强化学习和验证器引导的推理搜索,提升大语言模型生成验证程序和证明的能力,在Dafny和Lean上取得显著进展。
2026-05-29 cs.LG cs.SE
Automating proton PBS treatment planning for head and neck cancers using policy gradient-based deep reinforcement learning
University of California at San Diego(加利福尼亚大学圣地亚哥分校);California Protons Cancer Therapy Center(加州质子癌症治疗中心)
针对头颈部癌症质子PBS治疗计划耗时依赖经验的问题,提出基于PPO算法和剂量分布奖励函数的自动计划模型,可在连续空间调整目标参数,性能达人类水平且可推广至其他部位。
2024-09-17 cs.AI cs.LG q-bio.QM
Automating Experimental Optics with Sample Efficient Machine Learning Methods
Australian National University(澳大利亚国立大学);University of Tokyo(东京大学);Agency for Science, Technology and Research(科技研究局);pi Software(2pi软件)
本文提出利用样本高效强化学习方法,以最少监督实现自由空间高精细度光学谐振腔的自主模式匹配,证明在参数漂移系统中自动化仍可行。
2025-03-18 cs.LG physics.optics
Self-Regulating Cars: Automating Traffic Control in Free Flow Road Networks
Department of Computer Science(计算机科学系);New York University(纽约大学);Indian Institute of Technology Delhi(德里印度理工学院)
本文提出了一种基于强化学习的自调节汽车方法,通过动态调节车辆速度来优化通行能力和防止拥堵,无需新基础设施,结合经典交通流理论和微观模拟,在高保真度的PTV Vissim模拟器上实现了提高通行能力、减少延误和停车次数的改进。
2025-06-13 cs.LG
Optimizing Coverage and Difficulty in Reinforcement Learning for Quiz Composition
CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学)
本文旨在自动化从多项选择题中生成测验,通过强化学习方法优化测验的覆盖范围和难度,通过实验验证不同算法在不同数据分布下的表现。
2026-03-29 cs.LG
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Guelph(圭尔夫大学)
尽管机器学习(ML)已经成功地自动化了各种软件工程需求,但软件测试仍然是一个极具挑战性的话题。在本文中,我们的目标是通过直接增强随机数生成器(RNG)与深度强化学习(RL)代理使用一个有效的,自动提取的状态表示的测试下的软件,以提高软件的生成测试。使用Cosmos SDK作为测试平台,我们证明了所提出的DeepRNG框架对具有超过350,000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University(布朗大学);American University in Cairo(开罗美国大学)
逻辑综合需要对综合优化流程进行广泛的调整,其中结果的质量(QoR)取决于所使用的优化序列。由于可能的优化排列的指数数量,有效的设计空间探索是具有挑战性的。因此,优化过程的自动化是必要的。在这项工作中,我们提出了一种新的强化学习为基础的方法,导航的优化空间,没有人为干预。我们展示了一个优势演员评论家(A2C)代理,旨在尽量减少受时间约束的区域的培训。使用所提出的方法,设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明,该代理优于现有的勘探方法,并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
ReLeQ: A Reinforcement Learning Approach for Deep Quantization of Neural Networks
University of California San Diego(加州大学圣地亚哥分校);Google Brain(谷歌大脑)
深度神经网络(DNN)在用于计算机视觉应用的推理任务中通常需要大量计算资源。量化可以通过减少网络编码的位宽来显着减少DNN的计算和存储。最近的研究证实,仔细选择每层的量化级别可以保持精度,同时将位宽推到8位以下。然而,如果没有艰苦的手动工作,这种深度量化可能会导致显著的准确性损失,使其处于可疑的实用位置。因此,深度量化打开了一个大的超参数空间(层的位宽),对其的探索是一个重大挑战。我们提出了一种系统的方法来解决这个问题,通过端到端的深度强化学习框架(ReLeQ)自动化发现量化级别的过程。我们调整策略优化方法的量化问题,并专注于寻找最佳的设计决策,选择状态和动作空间,网络架构和训练框架,以及各种超参数的调整。我们展示了ReLeQ如何平衡速度和质量,并为各种深度网络(AlexNet,CIFAR-10,LeNet,MobileNet-V1,ResNet-20,SVHN和VGG-11)的量化提供了一种非对称的通用解决方案,几乎保留了准确性(=< 0.3%损失),同时最大限度地减少了计算和存储成本。通过这些DNN,ReLeQ使传统硬件能够在8位执行上实现2.2倍的加速。同样,与8位运行相比,自定义DNN加速器实现了2.0倍的加速和能耗降低。这些令人鼓舞的结果标志着ReLeQ是实现神经网络深度量化自动化的第一步。
2020-04-16 cs.LG stat.ML
A Review of Meta-Reinforcement Learning for Deep Neural Networks Architecture Search
Université de Strasbourg(斯特拉斯堡大学);Segula Technologies(塞古拉科技公司);ENIT(突尼斯国家工程学院)
深度神经网络是高效且灵活的模型,其对于诸如图像、语音识别和自然语言理解之类的各种任务表现良好。特别是,卷积神经网络(CNN)在计算机视觉,更具体地说在分类任务中引起了研究人员的浓厚兴趣。CNN架构和相关的超参数通常与所处理的任务的性质相关,因为网络提取允许最佳收敛的复杂且相关的特征。设计这样的架构需要大量的人类专业知识,大量的计算时间,并不总是导致最佳的网络。模型配置问题在机器学习中得到了广泛的研究,但没有标准的自动化方法。本次调查的重点是审查和讨论自动化CNN架构搜索的当前进展。
2018-12-17 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Drawing Inductor Layout with a Reinforcement Learning Agent: Method and Application for VCO Inductors
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
压控振荡器(VCO)电感器的设计是一项费力且耗时的任务,传统上由人类专家手动完成。在本文中,我们提出了一个自动化的VCO电感器的设计框架,使用强化学习(RL)。我们将问题表述为一个顺序过程,一个接一个地绘制线段,直到创建一个完整的电感器。然后,我们采用RL代理来学习绘制满足某些目标规格的电感器。鉴于需要在整个电路设计周期中调整目标规格,我们还开发了一个变体,其中代理可以学习快速适应,以针对适度不同的目标规格绘制新电感器。我们的实证结果表明,所提出的框架是成功的自动生成VCO电感器,满足或超过目标规格。
2022-02-25 cs.AI cs.LG
A Reinforcement Learning-Based Task Mapping Method to Improve the Reliability of Clustered Manycores
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出一种基于强化学习的任务映射方法,通过DBSCAN聚类与Q-learning优化核心温度分布,以降低老化机制影响并提升众核系统可靠性,实验显示MTTF最多提高27%。
2024-12-26 cs.AI cs.LG
Reinforcement Learning for Molecular Design Guided by Quantum Mechanics
University of Cambridge(剑桥大学)
使用深度强化学习(RL)自动化分子设计有望加速新化合物的发现。现有的方法与分子图一起工作,因此忽略了原子在空间中的位置,这将它们限制在1)生成单个有机分子和2)启发式奖励函数。为了解决这个问题,我们提出了一种新的RL配方在笛卡尔坐标的分子设计,从而扩展了类的分子,可以建立。我们的奖励函数直接基于基本的物理性质,例如能量,我们通过快速量子化学方法近似。为了实现从头分子设计的进展,我们引入了MolGym,这是一个RL环境,包括几个具有挑战性的分子设计任务以及基线。在我们的实验中,我们表明,我们的代理可以有效地学习解决这些任务从头开始,在一个平移和旋转不变的状态动作空间。
2020-06-29 cs.LG stat.ML
Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现实的操作任务要求机器人与环境进行交互,并具有长时间的电机动作序列。虽然深度强化学习方法最近已经成为自动化操作行为的一个有前途的范例,但由于探索负担,它们通常在长时间任务中表现不佳。这项工作介绍了操纵原语增强强化学习(MAPLE),一个学习框架,增强标准的强化学习算法与一个预定义的行为原语库。这些行为基元是专门用于实现操纵目标(如抓取和推动)的健壮功能模块。为了使用这些异构的原语,我们开发了一个层次化的政策,涉及的原语和实例化他们的执行与输入参数。我们证明,MAPLE优于基线方法的一套模拟操作任务的显着保证金。我们还量化了学习行为的组成结构,并强调了我们的方法将策略转移到新任务变体和物理硬件的能力。视频和代码可在https://ut-austin-rpl.github.io/maple上获得
2022-06-30 cs.AI cs.LG cs.RO
Automatic Design Method of Building Pipeline Layout Based on Deep Reinforcement Learning
Tsinghua University(清华大学)
针对建筑管道手动布局耗时费力的问题,提出基于深度强化学习的三维管道自动布局方法,通过构建几何特征环境与多约束奖励函数训练模型,在保证高质量的同时大幅缩短布局时间。
2023-05-18 cs.LG cs.NE
Robotic Surgery With Lean Reinforcement Learning
The Johns Hopkins University(约翰斯·霍普金斯大学)
随着手术机器人变得越来越普遍,自动化减轻一些复杂的直接人工操作的负担变得越来越可行。无模型强化学习(RL)是一个有前途的方向,可推广的自动化手术性能,但由于缺乏有效和现实的学习环境,进展缓慢。在本文中,我们描述了向达芬奇技能模拟器添加强化学习支持,达芬奇技能模拟器是一种在世界各地使用的培训模拟,允许外科医生学习和排练技术技能。我们成功地教基于RL的代理在模拟器环境中执行子任务,使用图像或状态数据。据我们所知,这是第一次在手术机器人环境中从视觉数据中教授基于RL的代理。此外,我们使用一个简单的实现系统来解决RL的样本效率低下问题,我们称之为混合批量学习(HBL),有效地为Q学习过程添加了第二个长期重放缓冲区。此外,这使我们能够使用从状态学习的更简单任务从收集的数据中引导图像学习。我们表明,HBL显着减少我们的学习时间。
2021-05-03 cs.LG cs.RO
Reinforcement Feature Transformation for Polymer Property Performance Prediction
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学)
针对低质量数据集下聚合物性能预测的表示学习难题,提出可追溯分组强化生成视角,通过三个马尔可夫决策过程的级联强化学习实现描述符空间的自动变换与可解释增强,实验验证了框架有效性。
2024-09-23 cs.LG
Deep Reinforcement Learning for Efficient Measurement of Quantum Devices
University of Oxford(牛津大学);University of Basel(巴塞尔大学)
深度强化学习是一种新兴的机器学习方法,它可以教计算机从它们的行为和奖励中学习,类似于人类从经验中学习的方式。它在自动化决策过程以导航大参数空间方面提供了许多优势。本文提出了一种基于深度强化学习的量子器件有效测量的新方法。我们专注于双量子点设备,展示了全自动识别的特定传输功能称为偏置三角形。针对这些特征的测量难以自动化,因为在参数空间的其他无特征区域中发现了偏置三角形。我们的算法在平均不到30分钟的时间内识别出偏置三角形,有时甚至只有1分钟。这种方法基于决斗深度Q网络,可以适应各种设备和目标传输功能。这是深度强化学习在量子设备测量和操作决策中的实用性的重要证明。
2020-09-30 cond-mat.mes-hall cs.LG quant-ph
Inductive-bias-driven Reinforcement Learning For Efficient Schedules in Heterogeneous Clusters
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
将工作负载调度到异构处理器上的问题(例如,CPU、GPU、FPGA)在现代数据中心中具有根本的重要性。当前的系统集成商依赖于应用程序/系统特定的集成商,这些集成商必须根据具体情况进行构建。最近的工作已经证明了通过使用黑盒方法自动化启发式搜索的ML技术,黑盒方法需要大量的训练数据和时间,这使得它们在实践中具有挑战性。本文介绍了交响乐,调度框架,解决了两个方面的挑战:(i)域驱动的贝叶斯强化学习(RL)模型调度,固有的模型从系统架构中识别的资源依赖关系;和(ii)基于采样的技术来计算贝叶斯模型的梯度,而不执行完整的概率推理。总之,这些技术既减少了训练数据的量,又减少了生成调度策略所需的时间,这些策略的性能明显优于黑盒方法,最高可达2.2倍。
2020-06-30 cs.DC cs.LG
Model-based Deep Reinforcement Learning for Dynamic Portfolio Optimization
Neuri PTE LTD(Neuri私人有限公司)
动态投资组合优化是根据投资者的收益-风险状况,在一些连续的交易期内将财富按顺序分配到资产集合中的过程。用机器学习自动化这个过程仍然是一个具有挑战性的问题。在这里,我们设计了一个具有自主交易代理的深度强化学习(RL)架构,以便基于全局目标定期自主地做出投资决策和行动。特别是,在不依赖于一个纯粹的无模型的RL代理,我们训练我们的交易代理使用一种新的RL架构组成的注入预测模块(IPM),生成对抗性数据增强模块(DAM)和行为克隆模块(DAM)。我们的基于模型的方法适用于on-policy或off-policy RL算法。我们进一步设计了回测引擎和执行引擎,它们与RL Agent进行实时的交互。使用历史{ \em real}金融市场数据,我们模拟了实际约束条件下的交易,并证明了我们提出的模型是稳健的,有利可图的和风险敏感的,与基线交易策略和先前工作中的无模型RL代理相比。
2019-01-25 cs.AI cs.LG stat.ML
Discovering Reinforcement Learning Algorithms
DeepMind(深度思维)
强化学习(RL)算法根据几种可能的规则之一更新代理的参数,这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法,或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战,它仍然是一个悬而未决的问题,它是否是可行的发现替代RL的基本概念,如价值函数和时间差学习。本文介绍了一种新的元学习方法,发现一个完整的更新规则,其中包括“预测什么”(例如价值函数)和“如何从它学习”(例如自举)通过与一组环境的交互。该方法的输出是一个RL算法,我们称之为学习策略梯度(LPG)。实证结果表明,我们的方法发现自己的替代概念的价值函数。此外,它还发现了一种自举机制来维护和使用其预测。令人惊讶的是,当仅在玩具环境中训练时,LPG有效地推广到复杂的Atari游戏,并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
DeepLine: AutoML Tool for Pipelines Generation using Deep Reinforcement Learning and Hierarchical Actions Filtering
Ben Gurion University of the Negev(内盖夫本古里安大学)
自动机器学习(AutoML)是一个旨在自动化机器学习(ML)活动的研究领域,目前需要人类专家。该领域最具挑战性的任务之一是自动生成端到端ML管道:将多种类型的ML算法组合到单个架构中,用于对以前看不到的数据进行端到端分析。这项任务有两个方面的挑战:第一是需要探索一个大的搜索空间的算法和流水线架构。第二个挑战是训练和评估多个管道的计算成本。在这项研究中,我们提出了DeepLine,一种基于强化学习的自动流水线生成方法。我们提出的方法利用了一个有效的表示搜索空间,并利用过去的知识,从以前分析的数据集,使问题更容易处理。此外,我们提出了一种新的分层行动算法,作为一个插件,调解环境代理的互动,在深度强化学习问题。该插件大大加快了我们模型的训练过程。对56个数据集的评估表明,DeepLine在准确性和计算成本方面都优于最先进的方法。
2019-10-31 cs.AI cs.LG stat.ML
Reinforcement Learning on Reconfigurable Hardware: Overcoming Material Variability in Laser Material Processing
Swiss Federal Laboratories for Materials Science and Technology (Empa)(瑞士联邦材料科学与技术实验室(Empa));École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出一种基于FPGA的实时强化学习方法,用于克服激光加工中的材料变异性,无需奖励工程或先验信息,在粗糙和混合表面分别实现23%和7%的性能提升。
2025-03-06 cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题,提出即插即用的强化学习框架RLGS,动态调整学习率等关键超参数,在多种变体和数据集上显著提升渲染质量,实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
Reinforcement learning-assisted quantum architecture search for variational quantum algorithms
本文提出基于强化学习的量子架构搜索方法,利用张量编码、搜索约束、提前终止和DDQN自动寻找短而准的变分量子电路,并在无噪声与含噪场景中验证其优势。
2024-10-01 cs.AI cs.LG quant-ph
EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning
Xidian University(西安电子科技大学)
提出EVOM框架,通过双层优化(内环低保真PPO训练权重,外环LLM设计智能体驱动元进化)自动搜索高性能演员-评论家架构,在Ant-v4和HalfCheetah-v4上超越基线方法。
2026-06-26 cs.AI cs.LG
Reward-Conditioned Policies
University of California, Berkeley(加州大学伯克利分校)
强化学习提供了自动获取复杂行为技能的希望。然而,与常用且易于理解的监督学习方法相比,强化学习算法可能很脆弱,难以使用和调整,并且对看似无害的实施决策很敏感。相比之下,模仿学习利用标准的和良好理解的监督学习方法,但需要接近最佳的专家数据。我们能通过监督学习学习有效的策略而不需要演示吗?我们在这项工作中探索的主要思想是,从次优策略中收集的非专家轨迹可以被视为最优监督,不是为了最大化奖励,而是为了匹配给定轨迹的奖励。然后,通过将策略设定在奖励的数值上,我们可以得到一个推广到更大回报的策略。我们将展示如何将这种方法作为策略搜索的原则方法,讨论几种变体,并将该方法与标准基准上的各种当前强化学习方法进行实验比较。
2019-12-31 cs.LG stat.ML
A reinforcement learning strategy for p-adaptation in high order solvers
Universidad Politécnica de Madrid(马德里理工大学)
本研究将基于近端策略优化的演员-评论家强化学习应用于高阶求解器的网格p自适应,设计了含奖励结构与环境交互的策略,在一维无粘Burgers方程实验中实现了降本提效并减少人工干预。
2023-06-14 cs.LG physics.flu-dyn
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University(卡内基梅隆大学);Computational Design Laboratory(计算设计实验室);Robotics Institute(机器人研究所)
针对建筑机器人忽视人因复杂性的问题,本文提出以人为本的“工作伙伴漫游车”,通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Search
DeepReinforce Team(深强化团队)
研究针对近似最近邻搜索算法,提出CRINN新范式,将其优化视为强化学习问题,以执行速度为奖励信号,实验证明该方法在多个基准数据集上有效,且其成功验证了强化学习增强语言模型用于算法优化的有效性。
2026-11-13 cs.AI cs.CL cs.DB
PIPer: On-Device Environment Setup via Online Reinforcement Learning
JetBrains Research(JetBrains研究部);Constructor University(Constructor大学);Delft University of Technology(代尔夫特理工大学)
本文提出PIPer,通过结合监督微调和带可验证奖励的强化学习,微调专用模型以自动化软件环境配置,使Qwen3-8B在EnvBench-Python上达到与更大模型相当的性能。
2025-09-29 cs.AI cs.LG cs.SE
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab(之江实验室);National Research Centre of Parallel Computer Engineering and Technology(国家并行计算机工程技术研究中心)
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习(RL)被认为是一种很有前途的解决方案,可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而,在现实中,需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此,攻击代理在渗透网络时必须考虑多个目标。然而,这一挑战在现有文献中没有得到充分解决。为此,我们制定了多目标强化学习(MORL)框架中的自动渗透测试,并提出了一个切比雪夫分解评论家找到不同的对手的策略,平衡不同的目标在渗透测试。此外,可用动作的数量随着代理不断探测目标网络而增加,这使得训练过程在许多实际情况下变得棘手。因此,我们引入了一种基于覆盖的掩蔽机制,减少了对先前选择的动作的关注,以帮助代理适应未来的探索。一系列场景的实验评估表明,我们所提出的方法相比,适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
Automating Potential-based Reward Shaping with Vision Language Model Guidance
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
提出VLM-PBRS框架,利用轻量级视觉语言模型的偏好学习势能函数,实现自动化奖励塑形,保证最优策略不变,提升样本效率并避免奖励黑客。
2026-06-26 cs.AI cs.LG cs.RO
A New Tensioning Method using Deep Reinforcement Learning for Surgical Pattern Cutting
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);Imperial College London(伦敦帝国理工学院)
外科医生通常需要手术剪刀和组织夹持器来切穿可变形的手术组织。切割精度取决于操作这两种工具的技能。这些技能是基本外科技能培训的一部分,如腹腔镜手术基础。夹持器用于夹持手术单上的点,并将组织拉向特定方向,以在剪刀沿轨迹切割时保持张力。由于手术材料是可变形的,因此需要全面的张紧策略以在切割过程的每个步骤产生适当的张紧方向。针对给定切割轨迹自动执行张紧策略不仅将支持人类外科医生,而且还将支持手术机器人,以提高切割精度和可靠性。提出了一种基于深度强化学习算法的多夹点自动张紧规划器建模方法。仿真实验表明,该方法在性能和鲁棒性方面均优于现有方法。
2019-01-10 cs.AI cs.LG cs.RO
Autonomous Diffractometry Enabled by Visual Reinforcement Learning
Jeremiah Horrocks Institute for Mathematics, Physics and Astronomy, University of Central Lancashire(中央兰开夏大学杰里迈亚·霍罗克斯数学、物理与天文研究所);Department of Physics, Clarendon Laboratory, University of Oxford(牛津大学克拉伦登实验室物理系);State Key Laboratory of Surface Physics and Department of Physics, Fudan University(复旦大学表面物理国家重点实验室和物理系);Department of Physics, The Chinese University of Hong Kong(香港中文大学物理系);State Key Laboratory of Quantum Information Technologies and Materials, The Chinese University of Hong Kong(香港中文大学量子信息与材料国家重点实验室)
本文提出一种无需晶体学知识的自主系统,利用强化学习从劳厄衍射图中自动对齐单晶体,提升材料科学自动化实验流程的能力。
2026-04-13 cond-mat.mtrl-sci cs.CV cs.LG
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo(奥斯陆大学)
渗透测试是一项保安工作,目的是透过模拟对系统的攻击,以评估系统的保安情况。到目前为止,渗透测试主要由受过训练的攻击者进行,成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题,因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中,我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战,我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中,这些捕获的旗帜比赛作为强化学习问题,我们强调,一个具体的挑战,特征渗透测试是发现问题的结构的问题。然后,我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式,我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术,我们证明了可以更好地指导代理并限制其探索问题的空间,从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Compiler-R1: Towards Agentic Compiler Auto-tuning with Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Beijing University of Posts and Telecommunications(北京邮电大学);Hangzhou Institute for Advanced Study at UCAS(UCAS杭州高等研究院)
Compiler-R1提出首个强化学习驱动的编译器自动调优框架,利用高质量推理数据集和两阶段端到端训练,在七个数据集上平均减少8.46%的IR指令数,显著提升LLM优化能力。
2025-05-30 cs.AI cs.LG
A Zero-Shot Reinforcement Learning Strategy for Autonomous Guidewire Navigation
Inria de l’université de Loraine(洛林大学国立计算机与自动化研究院);Icube(Icube研究院)
针对现有深度强化学习导丝导航方法泛化性差的问题,提出基于小样本分支模式训练的零样本强化学习策略,可在未知血管解剖结构中无需重训练实现高效导航,平均成功率达95%。
2024-03-05 cs.LG cs.RO physics.med-ph
Automated Reinforcement Learning: An Overview
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫尔蒙尼乌斯数据科学学院);Shandong University(山东大学)
本文综述了自动化强化学习的发展,包括基于大语言模型的技术,并探讨了其挑战和未来研究方向。
2026-07-21 cs.AI cs.LG
Component Centric Placement Using Deep Reinforcement Learning
Institute of Microelectronics (IME)(微电子研究所)
本文提出基于深度强化学习的组件导向布局方法,通过离散化自由空间和利用电压源位置先验知识,实现PCB组件布局的高精度自动化。
2026-02-26 cs.ET cs.LG
Sample-Efficient Pareto Front Modeling for Energy-Aware Reinforcement Learning Using Bayesian Optimization
Josef Ressel Centre for Intelligent and Secure Industrial Automation, Salzburg University of Applied Sciences(萨尔茨堡应用科学大学智能与安全工业自动化约瑟夫·雷塞尔中心);Department of Artificial Intelligence and Human Interfaces, Paris Lodron University of Salzburg(萨尔茨堡巴黎洛德龙大学人工智能与人类交互系)
解决能源感知强化学习中多目标问题,将权重选择过程转化为多目标贝叶斯优化问题,对比标准均匀网格搜索基线评估样本效率,结果表明该方法性能更优,能高效发现帕累托前沿。
2026-07-07 cs.LG cs.RO
Hierarchical Reinforcement Learning with Runtime Safety Shielding for Power Grid Operation
Department of Electrical Engineering(电气工程系);Delhi Technological University (DTU), India(德里技术大学(DTU),印度)
本文提出一种安全约束的分层控制框架,通过分离长周期决策与实时可行性执行,提升电网运行的安全性和泛化能力。
2026-04-15 cs.AI cs.LG
Policy Gradient RL Algorithms as Directed Acyclic Graphs
Massachusetts Institute of Technology(麻省理工学院)
Meta强化学习(RL)方法专注于自动化RL算法的设计,这些算法可以推广到各种环境。在(Anonymous,2020)中引入的框架通过将不同的RL算法表示为有向无环图(DAG)来解决这个问题,并使用进化Meta学习器来修改这些图并找到良好的代理更新规则。虽然论文中用于生成图的搜索语言用于表示许多现有的RL算法(例如,DQN,DDQN),但在表示策略梯度算法时存在局限性。在这项工作中,我们试图通过扩展原始的搜索语言,并提出五种不同的策略梯度算法:VPG,PPO,DDPG,TD3和SAC的图形来缩小这一差距。
2021-01-16 cs.LG
Transfer learning for process design with reinforcement learning
Delft University of Technology(代尔夫特理工大学)
工艺设计是一项创造性的任务,目前由工程师手动执行。人工智能为促进工艺设计提供了新的潜力。具体而言,强化学习(RL)通过将学习构建过程流程图的数据驱动模型与迭代设计过程中的过程模拟相集成,在自动化过程设计方面取得了一定的成功。然而,学习过程中的一个主要挑战是,RL代理需要在严格的过程模拟器中进行大量的过程模拟,从而需要较长的模拟时间和昂贵的计算能力。因此,通常采用捷径模拟方法来加速学习过程。然而,捷径方法可能导致不准确的结果。因此,我们建议利用迁移学习的过程设计与RL结合严格的模拟方法。迁移学习是一种来自机器学习的成熟方法,它存储在解决一个问题时获得的知识,并在不同的目标域上重用这些信息。我们将迁移学习集成到我们的强化学习过程设计框架中,并将其应用于一个包括平衡反应,共沸分离和精馏的示例性案例研究,我们的方法可以设计经济可行的流程,并与DWSIM稳定的相互作用。我们的研究结果表明,迁移学习使RL能够使用DWSIM经济地设计可行的流程,从而使流程的收入提高8%。学习时间可以减少2倍。
2023-02-07 cs.LG math.OC
Flexible Blood Glucose Control: Offline Reinforcement Learning from Human Feedback
University of Bristol(布里斯托尔大学);University Hospital Southampton(南安普顿大学医院)
本文提出PAINT框架,通过基于草图的奖励学习和安全约束离线RL算法,从患者记录中学习灵活的胰岛素给药策略,在模拟T1D患者中显著降低血糖风险并有效结合患者偏好与专业知识。
2025-01-27 cs.AI cs.LG
Learning to Optimize
University of California, Berkeley(加州大学伯克利分校)
算法设计是一个费力的过程,通常需要多次反复构思和验证。在本文中,我们探讨自动算法设计,并提出了一种方法来学习一个优化算法,我们相信这是第一个方法,可以自动发现一个更好的算法。我们从强化学习的角度来处理这个问题,并将任何特定的优化算法表示为策略。我们学习的优化算法,使用引导策略搜索,并证明所得到的算法优于现有的手工设计的算法在收敛速度和/或最终的目标值。
2016-06-06 cs.AI cs.LG math.OC
PoolFlip: A Multi-Agent Reinforcement Learning Security Environment for Cyber Defense
Dartmouth College(达特茅斯学院);Northeastern University(东北大学)
本文提出PoolFlip多智能体环境与Flip-PSRO方法,利用种群训练提升防御智能体对未知自适应攻击的泛化能力,实验表明其效果为基线2倍。
2025-08-27 cs.AI cs.CR cs.LG