Automating Reinforcement Learning with Example-based Resets
Seoul National University(首尔国立大学);Automation and Systems Research Institute (ASRI)(自动化与系统研究所)
深度强化学习使机器人能够在最少或没有先验知识的情况下从环境交互中学习运动技能。然而,现有的强化学习算法假设情节设置,其中代理在每个情节结束时重置为固定的初始状态分布,以从重复试验中成功地训练代理。这种重置机制虽然对于模拟任务来说微不足道,但对于提供给真实世界的机器人任务来说可能是具有挑战性的。机器人系统中的重置通常需要大量的人工监督和特定于任务的变通方法,这与自主机器人学习的目标相矛盾。在本文中,我们提出了一个扩展到传统的强化学习更大的自主性,通过引入一个额外的代理,学习重置在一个自我监督的方式。重置代理抢先触发重置以防止手动重置,并隐式地为转发代理强加课程。我们应用我们的方法从头开始学习一套模拟和现实世界的连续控制任务,并证明重置代理成功地学习,以减少手动重置,同时也允许向前的政策,以逐步改善随着时间的推移。
2022-04-06 cs.LG cs.RO
Automating the Refinement of Reinforcement Learning Specifications
The Pennsylvania State University(宾夕法尼亚州立大学);Singapore Management University(新加坡管理大学)
本文提出AutoSpec框架,通过探索引导策略自动细化逻辑规范,提升强化学习算法学习有效策略的能力。
2026-02-27 cs.AI cs.LG cs.RO
STRIDE: Automating Reward Design, Deep Reinforcement Learning Training and Feedback Optimization in Humanoid Robotics Locomotion
South China University of Technology(华南理工大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
针对人形机器人运动中DRL奖励设计需大量手动工作的瓶颈,提出基于智能体工程的STRIDE框架,结合LLMs自动化奖励设计、训练与反馈优化,在多样环境中优于EUREKA,效率和性能平均提升约250%。
2025-02-12 cs.LG cs.RO
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI(IBM研究人工智能部门(注:IBM Research AI是IBM Research的一部分,通常译为IBM研究人工智能部门或IBM人工智能研究院,但根据机构粒度要求,提取到公司/研究院级别,这里IBM本身是公司,Research AI可视为其研究部门))
建立一个好的预测模型需要一系列的活动,如数据填补,特征转换,估计选择,超参数搜索和集成建设。由于选项的空间大、复杂和异质,现成的优化方法对于现实的响应时间是不可行的。在实践中,大部分预测建模过程是由经验丰富的数据科学家进行的,他们有选择地使用可用的工具。随着时间的推移,他们对操作员的行为有了理解,并在不确定的情况下进行系列决策,通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求,需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统,称为APRL(自主预测建模通过强化学习),它使用过去的经验,通过强化学习优化这种顺序决策,从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反,其他系统首先最大化单个模型的准确性,并创建集成作为断开的后处理步骤。因此,APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
Automating DBSCAN via Deep Reinforcement Learning
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Macquarie University(麦考瑞大学)
DBSCAN以其简单实用的特点被广泛应用于科学和工程领域。然而,由于它的高敏感性参数,聚类结果的准确性在很大程度上依赖于实际经验。在本文中,我们首先提出了一种新的深度强化学习引导的自动DBSCAN参数搜索框架,即DRL-DBSCAN。该框架将聚类环境视为马尔可夫决策过程,将参数搜索方向的调整过程建模,以在不需要人工辅助的情况下找到最佳聚类参数。DRL-DBSCAN通过与聚类交互,使用弱监督奖励训练策略网络学习不同特征分布的最佳聚类参数搜索策略。此外,我们还提出了一个递归搜索机制驱动的规模的数据,以有效地和可控地处理大参数空间。基于所提出的四种工作模式,在五个人工和真实世界的数据集上进行了广泛的实验。离线和在线任务的结果表明,DRL-DBSCAN不仅持续提高DBSCAN聚类精度分别高达26%和25%,而且可以稳定地找到具有高计算效率的主导参数。该代码可在https://github.com/RingBDStack/DRL-DBSCAN上获得。
2022-08-09 cs.IR cs.LG
QEDCartographer: Automating Formal Verification Using Reward-Free Reinforcement Learning
QEDCartographer结合监督与强化学习,利用证明分支结构实现无奖励搜索,在CoqGym基准上自动证明21.4%的定理,优于现有工具,证明强化学习可有效提升证明合成搜索机制。
2024-12-17 cs.LG cs.PL cs.SE
Automating Formal Verification with Reinforcement Learning and Recursive Inference
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Massachusetts Institute of Technology(麻省理工学院)
研究通过可验证奖励的强化学习和验证器引导的推理搜索,提升大语言模型生成验证程序和证明的能力,在Dafny和Lean上取得显著进展。
2026-05-29 cs.LG cs.SE
Physics-Guided Actor-Critic Reinforcement Learning for Swimming in Turbulence
University of Arizona(亚利桑那大学)
本文提出物理引导的演员-评论家强化学习策略,用解析物理函数替代神经网络评论家,在湍流中维持粒子靠近被动对应物,数值实验证明其优于标准强化学习方法。
2024-11-10 cs.LG cs.SY eess.SY
Automating proton PBS treatment planning for head and neck cancers using policy gradient-based deep reinforcement learning
University of California at San Diego(加利福尼亚大学圣地亚哥分校);California Protons Cancer Therapy Center(加州质子癌症治疗中心)
针对头颈部癌症质子PBS治疗计划耗时依赖经验的问题,提出基于PPO算法和剂量分布奖励函数的自动计划模型,可在连续空间调整目标参数,性能达人类水平且可推广至其他部位。
2024-09-17 cs.AI cs.LG q-bio.QM
Extreme Event Prediction with Multi-agent Reinforcement Learning-based Parametrization of Atmospheric and Oceanic Turbulence
Rice University(莱斯大学);ETH Zurich(苏黎世联邦理工学院);Harvard University(哈佛大学)
本文提出利用科学多智能体强化学习(SMARL)结合湍流物理原理学习大气与海洋湍流闭合参数化,仅用少量高保真样本估计的拟涡能谱训练策略,即可在低分辨率模拟中稳定重现高保真统计特性,为数据稀缺条件下GCM闭合建模提供了新途径。
2023-12-01 cs.CE cs.LG physics.ao-ph
Deep Reinforcement Learning for Turbulence Modeling in Large Eddy Simulations
University of Stuttgart(斯图加特大学);Hewlett Packard Enterprise(慧与公司)
在过去的几年里,监督学习(SL)已经成为数据驱动湍流建模的最新技术。在SL范例中,模型基于数据集进行训练,该数据集通常通过应用相应的过滤函数从高保真解中先验计算,该过滤函数将解析的和未解析的流量尺度分开。对于隐式滤波的大涡模拟(LES),这种方法是不可行的,因为在这里,所采用的离散化本身作为一个隐式滤波函数。因此,精确的滤波器形式通常是未知的,因此,即使完整的解决方案是可用的,也不能计算相应的闭合项。强化学习(RL)范式可以用来避免这种不一致性,不是在先前获得的训练数据集上训练,而是直接与动态LES环境本身交互。这允许通过设计将潜在复杂的隐式LES滤波器合并到训练过程中。在这项工作中,我们应用强化学习框架,找到一个最佳的涡粘性隐式过滤大涡模拟强迫均匀各向同性湍流。为此,我们将湍流建模的任务制定为基于卷积神经网络的策略网络的RL任务,该策略网络仅基于局部流状态在空间和时间上动态地适应LES中的涡流粘度。我们证明了训练的模型可以提供长期稳定的模拟,并且在准确性方面优于已建立的分析模型。此外,该模型推广到其他分辨率和离散化。因此,我们表明,RL可以提供一个框架,一致的,准确的和稳定的湍流建模,特别是隐式过滤LES。
2022-12-20 cs.AI cs.CE cs.LG
Control of Rayleigh-Bénard Convection: Effectiveness of Reinforcement Learning in the Turbulent Regime
Artificial Intelligence, TU Dortmund University, Joseph-von-Fraunhofer-Straße 25, 44227 Dortmund, Germany
本文研究强化学习控制二维瑞利-贝纳德对流传热,采用PPO与奖励塑形,证明其在中等和高湍流条件下均显著优于PD控制器并具备跨条件泛化能力。
2025-08-29 cs.LG physics.flu-dyn
Scientific multi-agent reinforcement learning for wall-models of turbulent flows
Harvard University(哈佛大学);California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
湍流模拟的预测能力对空气动力学设计和天气预报至关重要,取决于湍流模型的选择。大量的实验和模拟数据以及机器学习的出现推动了湍流建模工作。然而,湍流的模拟仍然受到阻碍,无法模拟的近壁动态的物理学和监督学习。我们通过引入科学的多智能体强化学习(SciMARL)来解决这一挑战,以发现大涡模拟(LES)的壁模型。在SciMARL中,离散化点也充当协作代理,学习提供LES闭包模型。智能体使用有限的数据进行自我学习,并推广到极端的雷诺数和以前看不见的几何形状。目前的模拟减少了几个数量级的计算成本超过完全解决的模拟,同时再现关键流量。我们相信SciMARL为模拟湍流创造了前所未有的能力。
2022-02-01 cs.LG physics.comp-ph physics.flu-dyn
Automating Experimental Optics with Sample Efficient Machine Learning Methods
Australian National University(澳大利亚国立大学);University of Tokyo(东京大学);Agency for Science, Technology and Research(科技研究局);pi Software(2pi软件)
本文提出利用样本高效强化学习方法,以最少监督实现自由空间高精细度光学谐振腔的自主模式匹配,证明在参数漂移系统中自动化仍可行。
2025-03-18 cs.LG physics.optics
Self-Regulating Cars: Automating Traffic Control in Free Flow Road Networks
Department of Computer Science(计算机科学系);New York University(纽约大学);Indian Institute of Technology Delhi(德里印度理工学院)
本文提出了一种基于强化学习的自调节汽车方法,通过动态调节车辆速度来优化通行能力和防止拥堵,无需新基础设施,结合经典交通流理论和微观模拟,在高保真度的PTV Vissim模拟器上实现了提高通行能力、减少延误和停车次数的改进。
2025-06-13 cs.LG
Wind-Aware Reinforcement Learning Control of a Small Quadrotor Using Learned Onboard Wind Estimation in Simulated Atmospheric Turbulence
School of Aerospace and Mechanical Engineering(航空航天与机械工程学院)
提出两阶段学习框架:先通过注意力增强门控循环网络从机载运动学与动力学估计局部风,再在强化学习控制器中利用该估计,使轨迹跟踪误差降低48%,并在强风中保持稳定。
2026-07-03 cs.LG cs.SY eess.SY
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Guelph(圭尔夫大学)
尽管机器学习(ML)已经成功地自动化了各种软件工程需求,但软件测试仍然是一个极具挑战性的话题。在本文中,我们的目标是通过直接增强随机数生成器(RNG)与深度强化学习(RL)代理使用一个有效的,自动提取的状态表示的测试下的软件,以提高软件的生成测试。使用Cosmos SDK作为测试平台,我们证明了所提出的DeepRNG框架对具有超过350,000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University(布朗大学);American University in Cairo(开罗美国大学)
逻辑综合需要对综合优化流程进行广泛的调整,其中结果的质量(QoR)取决于所使用的优化序列。由于可能的优化排列的指数数量,有效的设计空间探索是具有挑战性的。因此,优化过程的自动化是必要的。在这项工作中,我们提出了一种新的强化学习为基础的方法,导航的优化空间,没有人为干预。我们展示了一个优势演员评论家(A2C)代理,旨在尽量减少受时间约束的区域的培训。使用所提出的方法,设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明,该代理优于现有的勘探方法,并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
Optimizing Coverage and Difficulty in Reinforcement Learning for Quiz Composition
CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学)
本文旨在自动化从多项选择题中生成测验,通过强化学习方法优化测验的覆盖范围和难度,通过实验验证不同算法在不同数据分布下的表现。
2026-03-29 cs.LG
Turbulence control in plane Couette flow using low-dimensional neural ODE-based models and deep reinforcement learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
湍流的高维性和复杂的动力学仍然是控制策略的发现和实施的障碍。深度强化学习(RL)是克服这些障碍的一种有希望的途径,但需要一个训练阶段,在这个阶段中,RL代理与流环境迭代交互以学习控制策略,当环境涉及缓慢的实验或大规模模拟时,这可能非常昂贵。我们使用一个我们称为“DManD-RL”(数据驱动流形动力学-RL)的框架来克服这一挑战,该框架生成了我们用于RL训练的系统的数据驱动低维模型。用这种方法,我们试图在一个直接的数值模拟(DNS)的湍流最小流单元的平面Couette流在Re=400使用两个狭缝射流在一个墙上的阻力最小化。我们得到,从DNS数据与$\mathcal{O}(10^5)$自由度,一个25维DManD模型的动力学相结合的自动编码器和神经常微分方程。使用这个模型作为环境,我们训练一个RL控制代理,产生了440倍的加速比训练的DNS,具有相同的控制性能。该代理学习的政策,分层84%的看不见的DNS测试轨迹在900个时间单位,显着优于经典的反对派控制(58%),尽管驱动权限受到更多的限制。该药剂通常通过一种违反直觉的策略来实现层化,该策略驱动两个低速条纹的形成,其展向波长太小而不能自我维持。当我们将观察限制在壁剪切速率时,该代理表现出相同的性能。
2023-01-28 cs.LG physics.flu-dyn
ReLeQ: A Reinforcement Learning Approach for Deep Quantization of Neural Networks
University of California San Diego(加州大学圣地亚哥分校);Google Brain(谷歌大脑)
深度神经网络(DNN)在用于计算机视觉应用的推理任务中通常需要大量计算资源。量化可以通过减少网络编码的位宽来显着减少DNN的计算和存储。最近的研究证实,仔细选择每层的量化级别可以保持精度,同时将位宽推到8位以下。然而,如果没有艰苦的手动工作,这种深度量化可能会导致显著的准确性损失,使其处于可疑的实用位置。因此,深度量化打开了一个大的超参数空间(层的位宽),对其的探索是一个重大挑战。我们提出了一种系统的方法来解决这个问题,通过端到端的深度强化学习框架(ReLeQ)自动化发现量化级别的过程。我们调整策略优化方法的量化问题,并专注于寻找最佳的设计决策,选择状态和动作空间,网络架构和训练框架,以及各种超参数的调整。我们展示了ReLeQ如何平衡速度和质量,并为各种深度网络(AlexNet,CIFAR-10,LeNet,MobileNet-V1,ResNet-20,SVHN和VGG-11)的量化提供了一种非对称的通用解决方案,几乎保留了准确性(=< 0.3%损失),同时最大限度地减少了计算和存储成本。通过这些DNN,ReLeQ使传统硬件能够在8位执行上实现2.2倍的加速。同样,与8位运行相比,自定义DNN加速器实现了2.0倍的加速和能耗降低。这些令人鼓舞的结果标志着ReLeQ是实现神经网络深度量化自动化的第一步。
2020-04-16 cs.LG stat.ML
A Review of Meta-Reinforcement Learning for Deep Neural Networks Architecture Search
Université de Strasbourg(斯特拉斯堡大学);Segula Technologies(塞古拉科技公司);ENIT(突尼斯国家工程学院)
深度神经网络是高效且灵活的模型,其对于诸如图像、语音识别和自然语言理解之类的各种任务表现良好。特别是,卷积神经网络(CNN)在计算机视觉,更具体地说在分类任务中引起了研究人员的浓厚兴趣。CNN架构和相关的超参数通常与所处理的任务的性质相关,因为网络提取允许最佳收敛的复杂且相关的特征。设计这样的架构需要大量的人类专业知识,大量的计算时间,并不总是导致最佳的网络。模型配置问题在机器学习中得到了广泛的研究,但没有标准的自动化方法。本次调查的重点是审查和讨论自动化CNN架构搜索的当前进展。
2018-12-17 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Drawing Inductor Layout with a Reinforcement Learning Agent: Method and Application for VCO Inductors
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
压控振荡器(VCO)电感器的设计是一项费力且耗时的任务,传统上由人类专家手动完成。在本文中,我们提出了一个自动化的VCO电感器的设计框架,使用强化学习(RL)。我们将问题表述为一个顺序过程,一个接一个地绘制线段,直到创建一个完整的电感器。然后,我们采用RL代理来学习绘制满足某些目标规格的电感器。鉴于需要在整个电路设计周期中调整目标规格,我们还开发了一个变体,其中代理可以学习快速适应,以针对适度不同的目标规格绘制新电感器。我们的实证结果表明,所提出的框架是成功的自动生成VCO电感器,满足或超过目标规格。
2022-02-25 cs.AI cs.LG
Reinforcement Learning for Molecular Design Guided by Quantum Mechanics
University of Cambridge(剑桥大学)
使用深度强化学习(RL)自动化分子设计有望加速新化合物的发现。现有的方法与分子图一起工作,因此忽略了原子在空间中的位置,这将它们限制在1)生成单个有机分子和2)启发式奖励函数。为了解决这个问题,我们提出了一种新的RL配方在笛卡尔坐标的分子设计,从而扩展了类的分子,可以建立。我们的奖励函数直接基于基本的物理性质,例如能量,我们通过快速量子化学方法近似。为了实现从头分子设计的进展,我们引入了MolGym,这是一个RL环境,包括几个具有挑战性的分子设计任务以及基线。在我们的实验中,我们表明,我们的代理可以有效地学习解决这些任务从头开始,在一个平移和旋转不变的状态动作空间。
2020-06-29 cs.LG stat.ML
Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现实的操作任务要求机器人与环境进行交互,并具有长时间的电机动作序列。虽然深度强化学习方法最近已经成为自动化操作行为的一个有前途的范例,但由于探索负担,它们通常在长时间任务中表现不佳。这项工作介绍了操纵原语增强强化学习(MAPLE),一个学习框架,增强标准的强化学习算法与一个预定义的行为原语库。这些行为基元是专门用于实现操纵目标(如抓取和推动)的健壮功能模块。为了使用这些异构的原语,我们开发了一个层次化的政策,涉及的原语和实例化他们的执行与输入参数。我们证明,MAPLE优于基线方法的一套模拟操作任务的显着保证金。我们还量化了学习行为的组成结构,并强调了我们的方法将策略转移到新任务变体和物理硬件的能力。视频和代码可在https://ut-austin-rpl.github.io/maple上获得
2022-06-30 cs.AI cs.LG cs.RO
Automatic Design Method of Building Pipeline Layout Based on Deep Reinforcement Learning
Tsinghua University(清华大学)
针对建筑管道手动布局耗时费力的问题,提出基于深度强化学习的三维管道自动布局方法,通过构建几何特征环境与多约束奖励函数训练模型,在保证高质量的同时大幅缩短布局时间。
2023-05-18 cs.LG cs.NE
Robotic Surgery With Lean Reinforcement Learning
The Johns Hopkins University(约翰斯·霍普金斯大学)
随着手术机器人变得越来越普遍,自动化减轻一些复杂的直接人工操作的负担变得越来越可行。无模型强化学习(RL)是一个有前途的方向,可推广的自动化手术性能,但由于缺乏有效和现实的学习环境,进展缓慢。在本文中,我们描述了向达芬奇技能模拟器添加强化学习支持,达芬奇技能模拟器是一种在世界各地使用的培训模拟,允许外科医生学习和排练技术技能。我们成功地教基于RL的代理在模拟器环境中执行子任务,使用图像或状态数据。据我们所知,这是第一次在手术机器人环境中从视觉数据中教授基于RL的代理。此外,我们使用一个简单的实现系统来解决RL的样本效率低下问题,我们称之为混合批量学习(HBL),有效地为Q学习过程添加了第二个长期重放缓冲区。此外,这使我们能够使用从状态学习的更简单任务从收集的数据中引导图像学习。我们表明,HBL显着减少我们的学习时间。
2021-05-03 cs.LG cs.RO
Deep Reinforcement Learning for Efficient Measurement of Quantum Devices
University of Oxford(牛津大学);University of Basel(巴塞尔大学)
深度强化学习是一种新兴的机器学习方法,它可以教计算机从它们的行为和奖励中学习,类似于人类从经验中学习的方式。它在自动化决策过程以导航大参数空间方面提供了许多优势。本文提出了一种基于深度强化学习的量子器件有效测量的新方法。我们专注于双量子点设备,展示了全自动识别的特定传输功能称为偏置三角形。针对这些特征的测量难以自动化,因为在参数空间的其他无特征区域中发现了偏置三角形。我们的算法在平均不到30分钟的时间内识别出偏置三角形,有时甚至只有1分钟。这种方法基于决斗深度Q网络,可以适应各种设备和目标传输功能。这是深度强化学习在量子设备测量和操作决策中的实用性的重要证明。
2020-09-30 cond-mat.mes-hall cs.LG quant-ph
Reinforcement Feature Transformation for Polymer Property Performance Prediction
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学)
针对低质量数据集下聚合物性能预测的表示学习难题,提出可追溯分组强化生成视角,通过三个马尔可夫决策过程的级联强化学习实现描述符空间的自动变换与可解释增强,实验验证了框架有效性。
2024-09-23 cs.LG
Reinforcement Learning Closures for Underresolved Partial Differential Equations using Synthetic Data
ETH Zurich/ Harvard University(苏黎世联邦理工学院/哈佛大学);Harvard University(哈佛大学);Argonne National Laboratory(阿贡国家实验室)
本文提出利用合成数据和强化学习为未解析偏微分方程构建闭合模型,通过伯格斯方程和输运方程验证方法有效性,并展示闭合模型可从非均匀方程泛化到均匀方程。
2025-05-16 cs.LG physics.comp-ph
Inductive-bias-driven Reinforcement Learning For Efficient Schedules in Heterogeneous Clusters
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
将工作负载调度到异构处理器上的问题(例如,CPU、GPU、FPGA)在现代数据中心中具有根本的重要性。当前的系统集成商依赖于应用程序/系统特定的集成商,这些集成商必须根据具体情况进行构建。最近的工作已经证明了通过使用黑盒方法自动化启发式搜索的ML技术,黑盒方法需要大量的训练数据和时间,这使得它们在实践中具有挑战性。本文介绍了交响乐,调度框架,解决了两个方面的挑战:(i)域驱动的贝叶斯强化学习(RL)模型调度,固有的模型从系统架构中识别的资源依赖关系;和(ii)基于采样的技术来计算贝叶斯模型的梯度,而不执行完整的概率推理。总之,这些技术既减少了训练数据的量,又减少了生成调度策略所需的时间,这些策略的性能明显优于黑盒方法,最高可达2.2倍。
2020-06-30 cs.DC cs.LG
Model-based Deep Reinforcement Learning for Dynamic Portfolio Optimization
Neuri PTE LTD(Neuri私人有限公司)
动态投资组合优化是根据投资者的收益-风险状况,在一些连续的交易期内将财富按顺序分配到资产集合中的过程。用机器学习自动化这个过程仍然是一个具有挑战性的问题。在这里,我们设计了一个具有自主交易代理的深度强化学习(RL)架构,以便基于全局目标定期自主地做出投资决策和行动。特别是,在不依赖于一个纯粹的无模型的RL代理,我们训练我们的交易代理使用一种新的RL架构组成的注入预测模块(IPM),生成对抗性数据增强模块(DAM)和行为克隆模块(DAM)。我们的基于模型的方法适用于on-policy或off-policy RL算法。我们进一步设计了回测引擎和执行引擎,它们与RL Agent进行实时的交互。使用历史{ \em real}金融市场数据,我们模拟了实际约束条件下的交易,并证明了我们提出的模型是稳健的,有利可图的和风险敏感的,与基线交易策略和先前工作中的无模型RL代理相比。
2019-01-25 cs.AI cs.LG stat.ML
DeepLine: AutoML Tool for Pipelines Generation using Deep Reinforcement Learning and Hierarchical Actions Filtering
Ben Gurion University of the Negev(内盖夫本古里安大学)
自动机器学习(AutoML)是一个旨在自动化机器学习(ML)活动的研究领域,目前需要人类专家。该领域最具挑战性的任务之一是自动生成端到端ML管道:将多种类型的ML算法组合到单个架构中,用于对以前看不到的数据进行端到端分析。这项任务有两个方面的挑战:第一是需要探索一个大的搜索空间的算法和流水线架构。第二个挑战是训练和评估多个管道的计算成本。在这项研究中,我们提出了DeepLine,一种基于强化学习的自动流水线生成方法。我们提出的方法利用了一个有效的表示搜索空间,并利用过去的知识,从以前分析的数据集,使问题更容易处理。此外,我们提出了一种新的分层行动算法,作为一个插件,调解环境代理的互动,在深度强化学习问题。该插件大大加快了我们模型的训练过程。对56个数据集的评估表明,DeepLine在准确性和计算成本方面都优于最先进的方法。
2019-10-31 cs.AI cs.LG stat.ML
Discovering Reinforcement Learning Algorithms
DeepMind(深度思维)
强化学习(RL)算法根据几种可能的规则之一更新代理的参数,这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法,或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战,它仍然是一个悬而未决的问题,它是否是可行的发现替代RL的基本概念,如价值函数和时间差学习。本文介绍了一种新的元学习方法,发现一个完整的更新规则,其中包括“预测什么”(例如价值函数)和“如何从它学习”(例如自举)通过与一组环境的交互。该方法的输出是一个RL算法,我们称之为学习策略梯度(LPG)。实证结果表明,我们的方法发现自己的替代概念的价值函数。此外,它还发现了一种自举机制来维护和使用其预测。令人惊讶的是,当仅在玩具环境中训练时,LPG有效地推广到复杂的Atari游戏,并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题,提出即插即用的强化学习框架RLGS,动态调整学习率等关键超参数,在多种变体和数据集上显著提升渲染质量,实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
Reinforcement learning-assisted quantum architecture search for variational quantum algorithms
本文提出基于强化学习的量子架构搜索方法,利用张量编码、搜索约束、提前终止和DDQN自动寻找短而准的变分量子电路,并在无噪声与含噪场景中验证其优势。
2024-10-01 cs.AI cs.LG quant-ph
EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning
Xidian University(西安电子科技大学)
提出EVOM框架,通过双层优化(内环低保真PPO训练权重,外环LLM设计智能体驱动元进化)自动搜索高性能演员-评论家架构,在Ant-v4和HalfCheetah-v4上超越基线方法。
2026-06-26 cs.AI cs.LG
Reward-Conditioned Policies
University of California, Berkeley(加州大学伯克利分校)
强化学习提供了自动获取复杂行为技能的希望。然而,与常用且易于理解的监督学习方法相比,强化学习算法可能很脆弱,难以使用和调整,并且对看似无害的实施决策很敏感。相比之下,模仿学习利用标准的和良好理解的监督学习方法,但需要接近最佳的专家数据。我们能通过监督学习学习有效的策略而不需要演示吗?我们在这项工作中探索的主要思想是,从次优策略中收集的非专家轨迹可以被视为最优监督,不是为了最大化奖励,而是为了匹配给定轨迹的奖励。然后,通过将策略设定在奖励的数值上,我们可以得到一个推广到更大回报的策略。我们将展示如何将这种方法作为策略搜索的原则方法,讨论几种变体,并将该方法与标准基准上的各种当前强化学习方法进行实验比较。
2019-12-31 cs.LG stat.ML
Reinforcement Learning on Reconfigurable Hardware: Overcoming Material Variability in Laser Material Processing
Swiss Federal Laboratories for Materials Science and Technology (Empa)(瑞士联邦材料科学与技术实验室(Empa));École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出一种基于FPGA的实时强化学习方法,用于克服激光加工中的材料变异性,无需奖励工程或先验信息,在粗糙和混合表面分别实现23%和7%的性能提升。
2025-03-06 cs.LG
A reinforcement learning strategy for p-adaptation in high order solvers
Universidad Politécnica de Madrid(马德里理工大学)
本研究将基于近端策略优化的演员-评论家强化学习应用于高阶求解器的网格p自适应,设计了含奖励结构与环境交互的策略,在一维无粘Burgers方程实验中实现了降本提效并减少人工干预。
2023-06-14 cs.LG physics.flu-dyn
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University(卡内基梅隆大学);Computational Design Laboratory(计算设计实验室);Robotics Institute(机器人研究所)
针对建筑机器人忽视人因复杂性的问题,本文提出以人为本的“工作伙伴漫游车”,通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Search
DeepReinforce Team(深强化团队)
研究针对近似最近邻搜索算法,提出CRINN新范式,将其优化视为强化学习问题,以执行速度为奖励信号,实验证明该方法在多个基准数据集上有效,且其成功验证了强化学习增强语言模型用于算法优化的有效性。
2026-11-13 cs.AI cs.CL cs.DB
Self-optimizing adaptive optics control with Reinforcement Learning for high-contrast imaging
Leiden Observatory, Leiden University(莱顿大学莱顿天文台)
目前和未来的高对比度成像仪器需要极端的自适应光学(XAO)系统,以达到直接成像系外行星所需的对比度。望远镜的振动和由控制回路的延迟引起的时间误差限制了这些系统的性能。减少这些影响的一种方法是使用预测控制。我们描述了无模型强化学习如何用于优化闭环预测控制的递归神经网络控制器。首先,我们验证了我们提出的方法在模拟和实验室设置的倾斜倾斜控制。结果表明,该算法可以有效地学习,以减轻振动和减少的残差幂律输入湍流相比,最佳增益积分器。我们还表明,控制器可以学习,以尽量减少随机振动,而不需要在线更新的控制律。接下来,我们在模拟中表明,我们的算法也可以应用到高阶变形镜的控制。我们证明,我们的控制器可以提供两个数量级的改善对比度在小的分离下,稳定的湍流。此外,我们显示了一个以上的数量级的改善,对比不同的风速和方向,而不需要在线更新的控制律。
2021-08-24 astro-ph.EP astro-ph.IM cs.LG
PIPer: On-Device Environment Setup via Online Reinforcement Learning
JetBrains Research(JetBrains研究部);Constructor University(Constructor大学);Delft University of Technology(代尔夫特理工大学)
本文提出PIPer,通过结合监督微调和带可验证奖励的强化学习,微调专用模型以自动化软件环境配置,使Qwen3-8B在EnvBench-Python上达到与更大模型相当的性能。
2025-09-29 cs.AI cs.LG cs.SE
A New Tensioning Method using Deep Reinforcement Learning for Surgical Pattern Cutting
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);Imperial College London(伦敦帝国理工学院)
外科医生通常需要手术剪刀和组织夹持器来切穿可变形的手术组织。切割精度取决于操作这两种工具的技能。这些技能是基本外科技能培训的一部分,如腹腔镜手术基础。夹持器用于夹持手术单上的点,并将组织拉向特定方向,以在剪刀沿轨迹切割时保持张力。由于手术材料是可变形的,因此需要全面的张紧策略以在切割过程的每个步骤产生适当的张紧方向。针对给定切割轨迹自动执行张紧策略不仅将支持人类外科医生,而且还将支持手术机器人,以提高切割精度和可靠性。提出了一种基于深度强化学习算法的多夹点自动张紧规划器建模方法。仿真实验表明,该方法在性能和鲁棒性方面均优于现有方法。
2019-01-10 cs.AI cs.LG cs.RO
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab(之江实验室);National Research Centre of Parallel Computer Engineering and Technology(国家并行计算机工程技术研究中心)
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习(RL)被认为是一种很有前途的解决方案,可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而,在现实中,需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此,攻击代理在渗透网络时必须考虑多个目标。然而,这一挑战在现有文献中没有得到充分解决。为此,我们制定了多目标强化学习(MORL)框架中的自动渗透测试,并提出了一个切比雪夫分解评论家找到不同的对手的策略,平衡不同的目标在渗透测试。此外,可用动作的数量随着代理不断探测目标网络而增加,这使得训练过程在许多实际情况下变得棘手。因此,我们引入了一种基于覆盖的掩蔽机制,减少了对先前选择的动作的关注,以帮助代理适应未来的探索。一系列场景的实验评估表明,我们所提出的方法相比,适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
Automating Potential-based Reward Shaping with Vision Language Model Guidance
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
提出VLM-PBRS框架,利用轻量级视觉语言模型的偏好学习势能函数,实现自动化奖励塑形,保证最优策略不变,提升样本效率并避免奖励黑客。
2026-06-26 cs.AI cs.LG cs.RO
Autonomous Diffractometry Enabled by Visual Reinforcement Learning
Jeremiah Horrocks Institute for Mathematics, Physics and Astronomy, University of Central Lancashire(中央兰开夏大学杰里迈亚·霍罗克斯数学、物理与天文研究所);Department of Physics, Clarendon Laboratory, University of Oxford(牛津大学克拉伦登实验室物理系);State Key Laboratory of Surface Physics and Department of Physics, Fudan University(复旦大学表面物理国家重点实验室和物理系);Department of Physics, The Chinese University of Hong Kong(香港中文大学物理系);State Key Laboratory of Quantum Information Technologies and Materials, The Chinese University of Hong Kong(香港中文大学量子信息与材料国家重点实验室)
本文提出一种无需晶体学知识的自主系统,利用强化学习从劳厄衍射图中自动对齐单晶体,提升材料科学自动化实验流程的能力。
2026-04-13 cond-mat.mtrl-sci cs.CV cs.LG
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo(奥斯陆大学)
渗透测试是一项保安工作,目的是透过模拟对系统的攻击,以评估系统的保安情况。到目前为止,渗透测试主要由受过训练的攻击者进行,成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题,因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中,我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战,我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中,这些捕获的旗帜比赛作为强化学习问题,我们强调,一个具体的挑战,特征渗透测试是发现问题的结构的问题。然后,我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式,我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术,我们证明了可以更好地指导代理并限制其探索问题的空间,从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
A Zero-Shot Reinforcement Learning Strategy for Autonomous Guidewire Navigation
Inria de l’université de Loraine(洛林大学国立计算机与自动化研究院);Icube(Icube研究院)
针对现有深度强化学习导丝导航方法泛化性差的问题,提出基于小样本分支模式训练的零样本强化学习策略,可在未知血管解剖结构中无需重训练实现高效导航,平均成功率达95%。
2024-03-05 cs.LG cs.RO physics.med-ph
Compiler-R1: Towards Agentic Compiler Auto-tuning with Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Beijing University of Posts and Telecommunications(北京邮电大学);Hangzhou Institute for Advanced Study at UCAS(UCAS杭州高等研究院)
Compiler-R1提出首个强化学习驱动的编译器自动调优框架,利用高质量推理数据集和两阶段端到端训练,在七个数据集上平均减少8.46%的IR指令数,显著提升LLM优化能力。
2025-05-30 cs.AI cs.LG
Learning to Navigate in Turbulent Flows with Aerial Robot Swarms: A Cooperative Deep Reinforcement Learning Approach
University of Pennsylvania(宾夕法尼亚大学);Amazon Robotics(亚马逊机器人公司);Universidad Santo Tomas(圣托马斯大学);Bethune Cookman University(白求恩-库克曼大学);Lehigh University(利哈伊大学)
本文提出基于GCNN的协作式深度强化学习多机器人控制器,通过邻居信息共享学习风流对团队的影响,实现可扩展且可泛化的湍流导航与补偿。
2023-06-07 cs.LG cs.MA cs.RO
Automated Reinforcement Learning: An Overview
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫尔蒙尼乌斯数据科学学院);Shandong University(山东大学)
本文综述了自动化强化学习的发展,包括基于大语言模型的技术,并探讨了其挑战和未来研究方向。
2026-07-21 cs.AI cs.LG