Multifidelity Reinforcement Learning with Control Variates
Argonne National Laboratory(阿贡国家实验室)
在许多计算科学和工程应用中,对应于给定输入的感兴趣系统的输出可以以不同的保真度水平以不同的成本被查询。通常,低保真数据便宜且丰富,而高保真数据昂贵且稀缺。在这项工作中,我们研究了强化学习(RL)的问题,在存在多个环境与不同程度的保真度为一个给定的控制任务。我们专注于提高RL代理的多保真度数据的性能。具体而言,提出了一种利用低和高保真度回报之间的互相关性的多保真度估计器,以减少状态-动作价值函数的估计中的方差。建议的估计,这是基于控制变量的方法,是用来设计一个多保真度蒙特卡罗RL(MFMCRL)算法,提高了学习的代理在高保真环境。利用概率界理论分析了方差缩减对政策评估和政策改进的影响。我们的理论分析和数值实验表明,对于有限预算的高保真数据样本,我们提出的MFMCRL代理获得优越的性能相比,一个标准的RL代理,只使用高保真环境数据学习的最优策略。
2022-06-10 cs.AI cs.LG
Multi-fidelity Reinforcement Learning Control for Complex Dynamical Systems
Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);University of Notre Dame(圣母大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出多保真强化学习框架,利用可微分混合模型与频谱奖励函数控制复杂动力系统,在有限高保真数据下实现与高保真多查询评估匹配的控制效果。
2025-04-08 cs.AI cs.LG
Monitoring Fidelity of Online Reinforcement Learning Algorithms in Clinical Trials
School of Engineering and Applied Sciences(工程与应用科学学院);Harvard University(哈佛大学);Graduate School of Business(商学院);Columbia University(哥伦比亚大学);Institute for Social Research(社会研究所);University of Michigan(密歇根大学);Schools of Dentistry & Engineering(牙科学院与工程学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对高风险医疗场景下在线强化学习算法部署的质量管控难题,提出算法保真度要求及配套的部署前规划与实时监测框架,并通过Oralytics临床试验的实际应用验证了其可行性。
2024-08-12 cs.AI cs.CY cs.LG
Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
在离线强化学习中,加权回归是一种常见的方法,用于确保学习的策略接近行为策略,并防止选择样本外的动作。在这项工作中,我们表明,由于策略模型的分布表达能力有限,以前的方法在训练过程中仍然可能选择看不见的动作,这偏离了它们的初始动机。为了解决这个问题,我们采用了一种生成方法,将学习到的策略解耦为两个部分:一个表达性的生成行为模型和一个动作评估模型。关键的见解是,这种解耦避免了学习具有封闭形式表达式的显式参数化策略模型。直接学习行为策略使我们能够利用生成建模的现有进展,例如基于扩散的方法,来建模不同的行为。至于行动评估,我们结合我们的方法与样本内规划技术,以进一步避免选择样本外的行动,提高计算效率。在D4RL数据集上的实验结果表明,与最先进的离线RL方法相比,我们提出的方法具有竞争力或优越的性能,特别是在AntMaze等复杂任务中。我们还通过经验证明,我们的方法可以成功地从包含多个独特但同样成功的策略的异构数据集中学习,而以前的单峰策略失败了。
2023-02-28 cs.LG
Explainable Fuzzy Neural Network with Multi-Fidelity Reinforcement Learning for Micro-Architecture Design Space Exploration
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
针对微架构设计空间探索中现有算法可解释性差的问题,提出模糊神经网络结合多保真强化学习的方法,在有限样本下超越现有最优,提升可解释性与效率。
2024-12-14 cs.AR cs.LG
Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems
Oklahoma State University(俄克拉荷马州立大学);Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究所)
众多科学应用的计算建模和仿真中的一个核心挑战是,由于潜在的高度非线性多尺度相互作用,实现其粗粒度表示的鲁棒性和准确性封闭。这些封闭模型在许多非线性时空系统中很常见,以考虑由于降阶表示引起的损失,包括流体中的许多输运现象。以前的数据驱动闭包建模工作主要集中在使用高保真仿真数据的监督学习方法上。另一方面,强化学习(RL)是时空扩展系统中一种功能强大但相对未知的方法。在这项研究中,我们提出了一个模块化的动态闭包建模和发现框架,以稳定的Galerkin投影的降阶模型,可能会出现在许多非线性时空动力系统的二次非线性。然而,创建鲁棒RL代理的关键要素是引入可行的奖励函数,该函数可以由RL模型和高保真仿真数据之间的任何差异度量构成。首先,我们引入了一个多模态强化学习(MMRL)发现模式依赖的封闭政策,利用高保真度的数据奖励我们的RL代理。然后,我们制定了一个变分多尺度RL(VMRL)的方法来发现封闭模型,而不需要访问高保真度的数据在设计的奖励函数。具体来说,我们的主要创新是利用变分多尺度形式主义来量化模态之间的差异在伽辽金系统的相互作用。对粘性Burgers方程的模拟结果表明,所提出的VMRL方法可以得到鲁棒且精确的闭包参数化,并有可能用于发现复杂动力系统的尺度感知闭包模型.
2022-07-07 cs.LG math.DS physics.flu-dyn
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of British Columbia(不列颠哥伦比亚大学)
提出MFPG-PPO,用低保真数据构建控制变量,稳定数据稀缺场景下的策略梯度强化学习,在模拟和真实机器人上均优于仅用高保真数据的PPO。
2026-10-05 cs.AI cs.LG cs.RO
Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing
University of California, Berkeley(加州大学伯克利分校);National Institute of Standards and Technology(国家标准与技术研究院)
提出一种利用图强化学习进行校准感知的量子电路路由方法,通过IBM Heron r2校准数据选择SWAP操作,在MQT Bench电路上平均保真度达0.727,优于SABRE-best20的0.440。
2026-07-24 cs.ET cs.LG quant-ph
Robust optimal well control using an adaptive multi-grid reinforcement learning framework
Heriot-Watt University(赫瑞-瓦特大学)
强化学习(Reinforcement learning,RL)是解决模型参数高度不确定且系统部分可观测的鲁棒最优井控问题的有效工具。然而,RL的鲁棒控制策略往往依赖于执行大量的仿真。对于计算密集型模拟的情况,这很容易变得计算上难以处理。为了解决这一瓶颈,自适应多重网格RL框架介绍了几何多重网格方法在迭代数值算法中使用的原则的启发。RL控制策略最初是使用计算效率高的低保真度模拟,使用基本偏微分方程(PDE)的粗网格离散化来学习的。随后,模拟保真度以自适应的方式增加到对应于模型域的最精细离散化的最高保真度模拟。所提出的框架是使用最先进的,无模型的基于策略的RL算法,即邻近策略优化(PPO)算法。结果显示两个案例研究的强大的最优井控制问题的启发SPE-10模型2基准案例研究。使用所提出的框架,节省约60-70%的计算成本,其单一的细网格对应的显着收益的计算效率。
2022-07-13 cs.LG
High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning
LinkedIn Corporation(领英公司);Rutgers, The State University of New Jersey(罗格斯大学)
本文提出基于强化学习的框架,通过隐含用户参与信号和规则奖励,实现统一且可解释的用户文本表示,提升大规模就业平台的个性化效果。
2026-02-07 cs.AI cs.CL cs.IR
Semi-analytical Industrial Cooling System Model for Reinforcement Learning
DeepMind(深度思维);Google(谷歌);COMSOL(COMSOL公司)
我们提出了一种混合工业冷却系统模型,该模型在多物理场仿真中嵌入了分析解决方案。该模型专为强化学习(RL)应用而设计,并在简单性与仿真保真度和可解释性之间取得了平衡。该模型的保真度进行评估,对现实世界的数据,从一个大规模的冷却系统。其次是一个案例研究,说明了该模型可以用于RL研究。为此,我们开发了一个工业任务套件,允许指定不同的问题设置和复杂程度,并使用它来评估不同RL算法的性能。
2022-07-26 cs.AI cs.LG cs.RO
A Reinforcement-Learning-Augmented Liquid-Fueled Reactor Network Model for Predicting Lean Blowout in Gas Turbine Combustors
Louisiana State University(路易斯安那州立大学);Argonne National Laboratory(阿贡国家实验室)
研究提出强化学习框架预测燃气轮机燃烧室贫油熄火,采用多阶段聚类-分类策略,借助初始聚类和演员-评论家RL智能体生成优化反应器区域,验证研究显示该框架预测保真度高、速度快,有潜力作为降阶建模技术辅助高保真模拟。
2026-07-22 cs.LG
Finding Failures in High-Fidelity Simulation using Adaptive Stress Testing and the Backward Algorithm
Stanford University(斯坦福大学);NVIDIA(英伟达)
验证自治系统的安全性通常需要使用高保真模拟器,以充分捕捉真实世界场景的变化。然而,它通常是不可行的,彻底搜索空间的仿真场景的故障。自适应压力测试(AST)是一种使用强化学习来发现系统最可能出现故障的方法。具有深度强化学习求解器的AST已被证明在发现一系列不同系统的故障方面是有效的。这种方法通常涉及运行许多模拟,当使用高保真模拟器时,这可能非常昂贵。为了提高效率,我们提出了一种方法,首先发现故障在低保真度的模拟器。然后,它使用反向算法,该算法使用单个专家演示来训练深度神经网络策略,以使低保真度故障适应高保真度。我们已经创建了一系列自动驾驶汽车验证案例研究,这些案例研究代表了低保真和高保真模拟器的一些不同之处,例如时间离散化。我们在各种案例研究中证明,这种新的AST方法能够找到故障,与直接以高保真度运行AST时所需的高保真度仿真步骤相比,所需的高保真度仿真步骤明显减少。作为概念验证,我们还在NVIDIA的DriveSim模拟器上演示了AST,这是一款业界最先进的高保真模拟器,可用于查找自动驾驶汽车中的故障。
2021-07-27 cs.LG stat.ML
Climate Surrogates for Scalable Multi-Agent Reinforcement Learning: A Case Study with CICERO-SCM
Technical University of Denmark(丹麦技术大学)
本文提出将高保真气候替代模型集成到多智能体强化学习框架中,以加速气候政策学习,实现近模拟器精度和百倍训练加速,且不牺牲政策保真度。
2026-10-06 cs.LG cs.MA
Cut-and-Approximate: 3D Shape Reconstruction from Planar Cross-sections with Deep Reinforcement Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
目前的方法从一组平面截面的三维物体重建仍然难以捕捉详细的拓扑结构或需要相当数量的横截面。在本文中,我们提出,尽我们所知的第一个三维形状重建网络来解决这个任务,另外使用正交投影的形状。我们的方法基于应用强化学习算法来学习如何使用依赖于标量奖励的试错方案来有效地解析形状。该方法在每个步骤中切割3D形状的一部分,然后将其近似为多边形网格。代理的目标是最大化的奖励,这取决于表面重建的近似零件的精度。我们还考虑使用启发式方法生成的演示对网络进行预训练,以实现更快的学习。实验表明,我们的训练算法,受益于模仿学习和自我探索,学习有效的政策更快,这导致代理产生视觉上引人注目的结果。
2022-10-22 cs.CV cs.LG
A Quantum States Preparation Method Based on Difference-Driven Reinforcement Learning
针对双量子比特系统量子态制备收敛慢、保真度低的问题,提出差异驱动RL算法,通过加权差分动态奖励与自适应ε-greedy策略提升收敛速度和保真度。
2023-09-29 cs.AI cs.ET cs.LG
Reinforcement Learning Increases Wind Farm Power Production by Enabling Closed-Loop Collaborative Control
提出首个直接与高保真度大涡模拟集成的强化学习控制器,通过动态闭环协作控制实时响应大气湍流,使风电场功率输出提升4.30%,显著优于静态最优偏航控制。
2025-06-25 cs.LG cs.SY eess.SY
Extreme Event Prediction with Multi-agent Reinforcement Learning-based Parametrization of Atmospheric and Oceanic Turbulence
Rice University(莱斯大学);ETH Zurich(苏黎世联邦理工学院);Harvard University(哈佛大学)
本文提出利用科学多智能体强化学习(SMARL)结合湍流物理原理学习大气与海洋湍流闭合参数化,仅用少量高保真样本估计的拟涡能谱训练策略,即可在低分辨率模拟中稳定重现高保真统计特性,为数据稀缺条件下GCM闭合建模提供了新途径。
2023-12-01 cs.CE cs.LG physics.ao-ph
Efficient Hyperparameter Optimization for LLM Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学);China United Network Communications Group(中国联合网络通信集团)
提出联合保真度超参数优化方法,通过同时调整模型大小和训练预算作为保真度,并集成早停策略和检查点机制,显著提升计算效率(每轮最高14.9倍)且性能提升5.8%-111.6%。
2026-06-02 cs.AI cs.LG
Driver Modeling through Deep Reinforcement Learning and Behavioral Game Theory
Bilkent University(比尔肯特大学)
本文提出了一种深度强化学习和层次博弈论的协同组合,作为高速公路驾驶场景下驾驶员行为预测的建模框架。需要一个可以解决多个人与人和人与自动化交互的建模框架,其中所有代理都可以同时建模为决策者,这是这项工作背后的主要动机。这样的建模框架可以用于自动驾驶车辆的验证和确认:据估计,为了使自动驾驶车辆达到与有驾驶员的汽车相同的安全水平,需要数百万英里的驾驶测试。本文提出的建模框架可用于由多个人类决策者组成的高保真交通模拟器中,以通过允许安全和快速评估自动驾驶算法来减少测试所花费的时间和精力。为了证明所提出的建模框架的保真度,游戏理论的驱动程序模型进行比较,从交通数据中提取的真实人类驾驶员的行为模式。
2020-03-24 cs.LG cs.MA
Learning Transferability: A Two-Stage Reinforcement Learning Approach for Enhancing Quadruped Robots' Performance in U-Shaped Stair Climbing
Western New England University(西新英格兰大学)
本研究提出一种两阶段强化学习方法,通过训练四足机器人在U形台阶上攀爬,提升其在不同台阶地形中的可迁移性和自主攀爬能力。
2026-02-16 cs.AI cs.HC cs.LG
BVR Gym: A Reinforcement Learning Environment for Beyond-Visual-Range Air Combat
SAAB Aeronautics(萨博航空);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
为解决超视距空战战术研究耗时且受装备性能影响的问题,本文开发了基于JSBSim的开源高保真强化学习环境BVR Gym,以促进该领域空战战术的探索与研究。
2024-03-26 cs.LG
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning
The University of Texas at Austin(德克萨斯大学);Army Research Laboratory(陆军研究实验室)
本文提出 D-Shape 方法,利用奖励塑形与目标条件化强化学习解决模仿学习与强化学习在次优演示下的目标冲突,在稀疏奖励网格世界实验中提升了样本效率并稳定收敛到最优策略。
2023-03-12 cs.AI cs.HC cs.LG
ProtoX: Explaining a Reinforcement Learning Agent via Prototyping
University of Iowa(爱荷华大学)
虽然深度强化学习已被证明在解决控制任务方面是成功的,但智能体的“黑箱”性质已受到越来越多的关注。我们提出了一个基于原型的事后策略解释器,Protox,解释了一个黑盒代理的原型代理的行为到场景中,每个代表一个原型状态。在学习原型时,Protox同时考虑视觉相似性和场景相似性。后者是强化学习环境所独有的,因为它解释了为什么在视觉上不同的状态下采取相同的动作。为了教Protox关于视觉相似性,我们通过自监督学习使用对比学习来预训练编码器,以识别状态相似,如果它们在时间上靠近并从黑盒代理接收相同的动作。然后,我们添加一个等距层,以允许Protox适应场景相似性的下游任务。Protox是通过使用行为克隆的模仿学习进行训练的,因此不需要访问环境或代理。除了解释保真度,我们设计了不同的原型塑造的目标函数,以鼓励更好的可解释性。我们进行各种实验来测试Protox。结果表明,Protox实现了对原始黑盒代理的高度保真度,同时提供了有意义和可理解的解释。
2022-11-06 cs.CV cs.LG
Plasma Shape Control via Zero-shot Generative Reinforcement Learning
Zhejiang University(浙江大学);Southwestern Institute of Physics(西南物理研究所);Zhejiang Lab(浙江实验室)
本文融合GAIL与Hilbert空间表示学习,基于历史PID放电离线数据训练可零样本部署的等离子体形状控制基础策略,并在HL-3模拟器中验证其多场景精确稳定跟踪能力。
2025-10-20 cs.LG physics.plasm-ph
Policy-shaped prediction: avoiding distractions in model-based reinforcement learning
Stanford University(斯坦福大学)
针对基于模型的强化学习中模型易被可预测无关干扰占用容量的问题,提出结合预训练分割模型、任务感知重构损失与对抗学习的方法,性能优于现有抗干扰方案,推动鲁棒MBRL发展。
2024-12-08 cs.AI cs.LG
A mechanism-driven reinforcement learning framework for shape optimization of airfoils
University of Macau(澳门大学)
提出机制驱动强化学习框架,通过理论等价奖励设计、高效欧拉求解器与注意力网络,实现数百变量翼型形状优化。
2024-05-27 cs.CE cs.LG cs.NA
A Reinforcement Learning Approach to Synthetic Data Generation
Department of Computer Science, Princeton University(普林斯顿大学计算机科学系);Department of Biomedical Informatics, Vanderbilt University Medical Center(范德比尔特大学医学中心生物医学信息学系);Department of Biostatistics, Vanderbilt University Medical Center(范德比尔特大学医学中心生物统计学系);Department of Computer Science, Vanderbilt University(范德比尔特大学计算机科学系);John F. Hardesty Department of Ophthalmology and Visual Sciences, Washington University(华盛顿大学约翰·F·哈里斯德眼科学与视觉科学系)
本文提出RLSyn,一种基于强化学习的合成数据生成方法,在生物医学数据生成中表现出高效且高保真度的性能。
2026-01-24 cs.LG
Reinforcement Learning for Accelerated Aerodynamic Shape Optimisation
Software Competence Center Hagenberg (SCCH)(软件竞争力中心哈根贝格);Institut für Strömungsmechanik und Wärmeübertragung, TU Wien(流体力学与传热研究所,维也纳技术大学);CERBSim GmbH(CERBSim公司)
提出基于强化学习的自适应优化算法,通过代理模型和演员-评论家策略评估的MCMC方法,冻结部分参数以降低维度,加速气动外形优化,并在简单流体动力学问题上验证了特征重要性解释能力。
2026-06-18 cs.LG
Flow Shape Design for Microfluidic Devices Using Deep Reinforcement Learning
Iowa State University(爱荷华州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
微流体装置用于在各种应用中控制和引导流动行为,特别是在医疗诊断中。一种特别流行的微流体形式--称为惯性微流体流造型--涉及放置一系列柱,以可控地将初始流场变形为所需的流场。惯性流造型可以被正式定义为逆问题,其中识别柱的序列(从柱的有限集合中通过替换选择,其中每个柱产生特定变换),其复合变换导致用户定义的期望变换。对于工程中的大多数此类问题,逆问题通常在计算上非常棘手,大多数传统方法都基于搜索和优化策略。在本文中,我们提出这个逆问题作为一个强化学习(RL)问题。我们训练一个DoubleDQN代理来从这个环境中学习。结果表明,使用DoubleDQN模型进行学习是可能的,在20万次事件中成功率达到90%,并且奖励收敛。虽然大多数的结果是通过固定一个特定的目标流的形状,以简化学习问题,我们稍后演示如何转移学习的代理的基础上,一个目标形状到另一个,即从一个设计到另一个,因此是有用的通用设计的流的形状。
2018-11-29 cs.LG stat.ML
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma(计算机科学学院俄克拉荷马大学)
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题,提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架,提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Auxiliary Task-based Deep Reinforcement Learning for Quantum Control
University of Science and Technology of China(中国科学技术大学);University of New South Wales(新南威尔士大学)
由于强化学习不需要环境的先验知识,它在量子控制问题上具有巨大的潜力。在这项工作中,我们研究了基于深度确定性策略梯度的连续控制策略的有效性。为了解决量子学习控制中奖励信号稀疏的问题,提出了一种辅助的基于任务的深度强化学习(AT-DRL)方法。特别地,我们首先设计了一个基于量子态保真度的引导奖励函数,该函数能够实现保真度的增量改进。然后,我们引入辅助任务的概念,其网络与主网络共享参数以预测环境提供的奖励(称为主任务)。辅助任务与主任务同步学习,允许选择环境中最相关的特征,从而帮助智能体理解如何实现所需的状态。数值模拟结果表明,AT-DRL可以解决量子系统中的稀疏奖励问题,在设计有效制备量子态的控制脉冲方面具有巨大的潜力.
2023-02-28 cs.LG cs.SY eess.SY
Colour versus Shape Goal Misgeneralization in Reinforcement Learning: A Case Study
University of Bath(巴斯大学)
本文通过大规模训练与评估复现 Procgen Maze 中颜色优先于形状的目标误泛化,发现其源于对特定颜色通道的任意依赖,并会随随机种子改变。
2023-12-05 cs.AI cs.LG
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University(成均馆大学)
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储,成本低于购买和维护大型主机。在本文中,我们研究将强化学习(RL)应用于系统域问题是否可行。实验结果表明,RL模型在解决块管理问题上具有可比性,甚至优于其他算法。然而,我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用,但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
How to craft a deep reinforcement learning policy for wind farm flow control
Polytechnic Institute of Paris(巴黎政治学院);TotalEnergies OneTech;Montefiore Institute(蒙特福尔研究所)
针对现有尾流转向控制器局限于准静态风况或小型风电场的问题,提出结合图注意力网络与多头自注意力块的深度强化学习方法,开发出能处理时变风况的鲁棒策略,训练效率提升10倍且能源产量增14%。
2025-08-23 cs.LG
$n$-Musketeers: Reinforcement Learning Shapes Collaboration Among Language Models
University of California, Irvine(加州大学欧文分校);Intel Corporation(英特尔公司);United States Military Academy at West Point(美国西点军校);Northeastern University(东北大学)
本文提出软隐藏状态协作方法,通过可训练的注意力接口整合多个冻结的SLM专家,实验证明其在推理任务中与强基线竞争,并揭示了专家利用的双机制。
2026-02-09 cs.AI cs.LG
OrbitZoo: Real Orbital Systems Challenges for Reinforcement Learning
NOVA LINCS
针对太空拥堵问题,提出基于高保真库的多智能体强化学习环境OrbitZoo,支持碰撞规避等场景,经Starlink验证MAPE仅0.16%,确保仿真可靠性。
2025-10-14 cs.LG cs.MA
Latent Space Reinforcement Learning for Steering Angle Prediction
TUM(慕尼黑工业大学);Artisense;Audi Electronics Venture(奥迪电子风险投资公司)
无模型强化学习最近被证明可以成功地从原始传感器数据中学习导航策略。在这项工作中,我们解决的问题,学习驾驶政策的自主智能体在高保真模拟器。基于最近将深度强化学习应用于导航问题的研究,我们提出了一种模块化的深度强化学习方法来从原始图像中预测汽车的转向角度。第一模块提取图像的低维潜在语义表示。经过强化学习训练的控制模块将该特征向量作为输入来预测正确的转向角。实验结果表明,我们的方法是能够学习操纵汽车没有任何人的控制信号。
2019-02-11 cs.AI cs.CV cs.LG
Continuous Quantum Feedback Control via Kraus-Parameterized Belief Reinforcement Learning
SRM Institute of Science and Technology(SRM科学技术学院);Fractal AI Research(分形AI研究院)
该研究提出Kraus参数化信念强化学习方法,将量子态几何嵌入学习循环,在模拟量子比特上实现稳定反馈控制,提升了控制稳定性,为可靠量子反馈控制提供了实用归纳偏置。
2026-08-18 cs.LG quant-ph
Optimizing Reinforcement Learning Training over Digital Twin Enabled Multi-fidelity Networks
Department of Electrical and Computer Engineering, University of Miami(电子与计算机工程系,迈阿密大学);Ericsson Research(爱立信研究);European AI Office, European Commission(欧洲人工智能办公室,欧盟委员会)
本文提出一种分层强化学习框架,结合鲁棒对抗损失和PPO,用于在数字孪生赋能的多保真网络中优化强化学习训练,以减少数据收集延迟并提升用户数据速率。
2026-03-09 cs.LG cs.NI cs.SY
Boltzmann Reinforcement Learning for Noise resilience in Analog Ising Machines
Geomechanics and Geochemistry Department, Sandia National Laboratories, Albuquerque, NM, USA(地质力学与地球化学部门,Sandia国家实验室,Albuquerque, NM, USA);Center for Integrated Nanotechnologies, Sandia National Laboratories, Albuquerque, NM, USA(集成纳米技术中心,Sandia国家实验室,Albuquerque, NM, USA)
BRAIN通过变分强化学习实现类比Ising机器中的噪声鲁棒性,提升基态保真度并加速求解过程。
2026-02-09 cond-mat.mtrl-sci cs.LG
Predicting Liquidity-Aware Bond Yields using Causal GANs and Deep Reinforcement Learning with LLM Evaluation
School of Computer Science and Engineering, Vellore Institute of Technology, India(印度维杰雷理工学院计算机科学与工程学院);Indian Institute of Science, Bangalore, India(印度班加罗尔印度科学学院)
本文提出利用因果GANs和SAC强化学习生成高保真的合成债券收益率数据,结合LLM评估提升预测性能,通过统计验证和专家评估证明其有效性。
2026-04-24 cs.CE cs.CL cs.LG
Surrogate Fitness Metrics for Interpretable Reinforcement Learning
LMU Munich(慕尼黑大学)
本研究提出用替代适应度指标优化轨迹选择,以增强强化学习策略的可解释性,在离散和连续环境中均显著提升演示保真度。
2025-04-20 cs.AI cs.LG
MolEditRL: Structure-Preserving Molecular Editing via Discrete Diffusion and Reinforcement Learning
Artificial Intelligence Thrust, Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州)人工智能研究方向);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
MolEditRL通过离散图扩散模型与强化学习微调,在保持分子结构的同时优化化学性质,并在最大数据集MolEdit-Instruct上实现编辑成功率提升74%、参数减少98%。
2025-05-26 cs.LG q-bio.QM
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University(南京大学);Chinese University of Hong Kong(香港中文大学)
本研究提出双生成回放框架,结合扩散模型与行为克隆,解决持续离线强化学习中的遗忘与迁移问题,实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
Investigation of reinforcement learning for shape optimization of profile extrusion dies
Institute for Lightweight Design and Structural Biomechanics, TU Wien(维也纳工业大学轻量化设计与结构生物力学研究所);RWTH Aachen University(亚琛工业大学)
本研究探讨了将强化学习应用于型材挤出模具形状优化的方法,通过自由变形技术修改流道几何,并在两个2D测试案例中验证了不同智能体及多环境并行训练对优化效率和进程的影响。
2022-12-23 cs.CE cs.LG math.OC
Deep Reinforcement Learning on a Budget: 3D Control and Reasoning Without a Supercomputer
INRIA Chroma team, CITI Lab. INSA Lyon(法国国家信息与自动化研究所(INRIA)Chroma团队、法国里昂国立应用科学学院(INSA Lyon)CITI实验室)
移动机器人中深度强化学习研究的一个重要目标是训练能够解决复杂任务的智能体,这些任务需要高水平的场景理解和以自我为中心的推理。当从模拟训练时,最佳环境应该满足目前无法获得的高保真摄影观察,大量不同的环境配置和快速模拟速度的组合。在本文中,我们认为,能够进行复杂推理的训练代理的研究可以简化的高保真摄影观察的要求解耦。我们提出了一套任务,需要在连续的,部分可观察的3D环境中进行复杂的推理和探索。目标是提供具有挑战性的场景和强大的基线代理架构,可以在24小时内在中档消费者硬件上进行培训。我们的场景结合了两个关键优势:(i)它们基于一个简单但高效的3D环境(ViZDoom),允许高速模拟(12000 fps);(ii)场景为用户提供了一系列难度设置,以识别当前最先进的算法和网络架构的局限性。我们的目标是通过为具有挑战性的场景提供基线来增加Deep-RL领域的可访问性,在这些场景中,新的想法可以快速迭代。我们认为,社区应该能够解决移动代理推理中具有挑战性的问题,而不需要大型计算基础设施。
2019-04-03 cs.LG stat.ML
A Scalable and Reproducible System-on-Chip Simulation for Reinforcement Learning
EpiSys Science, Inc.(EpiSys Science公司)
深度强化学习(DRL)是在模拟环境中进行的,并对目标进行优化。通过扩展传统的交互方案,本文提出了一个可扩展、可复制的开放式环境gym-ds 3,该环境是为高保真度的特定领域片上系统(Domain-Specific System-on-Chip,DSSoC)应用而设计的。仿真结果验证了将分层作业调度到异构片上系统(SoC)处理器上的可行性,并将系统与强化学习研究相结合。我们系统地分析了代表性的SoC模拟器,并讨论了系统的主要挑战方面:(1)以快速注入速率连续生成不确定的作业,(2)优化复杂的目标,(3)在稳态调度中运行。我们提供了示例性的片段,并通过实验证明了运行时的性能,成功地模仿从标准的DS 3框架和现实世界的嵌入式系统实现的结果在不同的嵌入式系统。
2021-04-27 cs.AI cs.DC cs.LG
Muscle Synergy Priors Enhance Biomechanical Fidelity in Predictive Musculoskeletal Locomotion Simulation
Department of Mechanical Engineering(机械工程系);Carnegie Mellon University(卡内基梅隆大学);Department of Physical Education(体育系);Seoul National University(首尔国立大学);Lampe Joint Department of Biomedical Engineering(生物医学工程联合部门);UNC-Chapel Hill and NC State University(北卡罗来纳大学教堂山分校和北卡罗来纳州立大学)
提出一种生理学启发的强化学习框架,通过肌肉协同约束控制,在有限实验数据下提高了预测性人体运动模拟的生物力学保真度和泛化能力。
2026-05-28 cs.LG cs.NE cs.RO
Learning to See via Epiretinal Implant Stimulation in silico with Model-Based Deep Reinforcement Learning
Department of Electrical Engineering and Computer Engineering, Université de Sherbrooke(电气与计算机工程系, Sherbrooke 大学)
本研究提出使用各向同性和各向异性形状,通过深度强化学习在虚拟患者的视网膜上渲染可理解的图像,以提高人工恢复视觉的清晰度。
2026-06-02 cs.CV cs.LG q-bio.NC
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech(INFLY科技);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Liverpool(利物浦大学)
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题,提出 layoutRL 强化学习框架与 Infinity-Parser,并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Context-Aware Error Mitigation Orchestration for Hybrid Quantum Reinforcement Learning on NISQ Systems
National Institute of Technology Srinagar(斯利那加国立理工学院)
提出APGEM,一种上下文感知的错误缓解编排框架,动态选择ZNE、PEC、CDR或REM策略,在NISQ设备上提升量子强化学习的鲁棒性,在CVRP上达到Oracle策略效用的94%。
2026-10-02 cs.LG quant-ph
Adaptive hybrid coupling with operator inference, the overlapping Schwarz alternating method and reinforcement learning
Worcester Polytechnic Institute(伍斯特理工学院);Sandia National Laboratories(桑迪亚国家实验室)
本文提出基于强化学习的在线自适应混合区域分解方法,通过深度Q网络动态选择FOM或ROM耦合,在移动前沿和弹性波问题中优于静态分配,实现预测性模型保真度自适应。
2026-10-30 cs.AI cs.LG math-ph