NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA(英伟达)
由于复杂的设计规则,在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中,我们介绍了一个自动的标准单元布局生成器称为NVCell,可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习(RL)来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
DAPO: Design Structure-Aware Pass Ordering in High-Level Synthesis with Graph Contrastive and Reinforcement Learning
The Hong Kong University of Science and Technology(香港科学与技术大学);Indian Institute of Technology (Palakkad)(印度理工学院(帕拉卡德));Indian Institute of Technology (Goa)(印度理工学院(果阿));The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
DAPO通过对比学习和强化学习,实现高阶综合中设计结构感知的流程排序,提升优化策略的效率和准确性。
2025-12-12 cs.LG
Developement of Reinforcement Learning based Optimisation Method for Side-Sill Design
RWTH Aachen(亚琛工业大学);Institute of General Mechanics (IAM)(普通力学研究所)
本文提出一种基于机器学习的多参数多目标逆向优化方法,通过将优化器与有限元求解器耦合,实现多单元侧门槛设计优化以提升车辆耐撞性。
2024-11-14 cs.LG
Deep Reinforcement Learning for the Design of Metamaterial Mechanisms with Functional Compliance Control
Seoul National University of Science and Technology(首尔科学技术大学)
本文提出一种基于深度强化学习的柔顺机构设计方法,通过将设计域离散为带铰链连接的单元并结合有限元分析学习最优构型,在门锁和软体夹持器设计中验证了其优于人工设计的效果。
2024-08-08 cs.LG
Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
在这篇文章中,我们研究的问题,训练智能代理使用强化学习的游戏开发的目的。与旨在取代人类玩家并实现超人性能的系统不同,我们的代理旨在与玩家产生有意义的互动,同时展示游戏设计师所期望的行为特征。我们将展示如何结合不同的行为政策,以获得一个有意义的“融合”政策,其中包括所有这些行为。为此,我们提出了四种不同的策略融合方法来组合预训练的策略。我们进一步展示了如何将这些方法与逆强化学习结合使用,以创建具有游戏设计者选择的特定行为风格的智能代理,而无需定义许多可能设计不良的奖励函数。两个不同环境下的实验表明,熵加权策略融合显着优于所有其他。我们提供了几个实际的例子和用例,说明这些方法对视频游戏制作和设计师确实有用。
2021-04-21 cs.LG
Reversible Action Design for Combinatorial Optimization with Reinforcement Learning
University of Virginia(弗吉尼亚大学)
图上的组合优化问题(COP)是优化领域的一个基本问题.强化学习(RL)最近出现了一个新的框架来解决这些问题,并已显示出可喜的成果。然而,大多数RL解决方案采用贪婪的方式来逐步构建解决方案,从而不可避免地对动作序列产生不必要的依赖,并且需要大量的问题特定的设计。我们提出了一个通用的强化学习框架,不仅表现出最先进的经验性能,而且还推广到各种类别的COP。具体来说,我们定义状态作为一个问题实例的解决方案和行动作为这个解决方案的扰动。我们利用图神经网络(GNN)为给定的问题实例提取潜在的表示,用于状态-动作编码,然后应用深度Q学习来获得一个策略,通过翻转或交换顶点标签来逐步细化解决方案。最大$k$切割和旅行商问题进行了实验,并实现了一组基于学习和启发式基线的性能改善。
2022-09-02 cs.LG
De novo design of protein target specific scaffold-based Inhibitors via Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
高效设计和发现靶向驱动的分子是促进药物发现中先导物优化的关键步骤。目前开发靶蛋白分子的方法是直觉驱动的,由于利用3D结构数据的计算挑战而受到缓慢的迭代设计测试周期的阻碍,并最终受到化学家专业知识的限制-导致分子设计的瓶颈。在这篇文章中,我们提出了一个新的框架,称为3D-MolGNN $_{RL}$,将强化学习(RL)耦合到基于3D-Scaffold的深度生成模型,以生成特定于从起始核心支架开始逐原子构建的蛋白质的目标候选者。3D-MolGNN $_{RL}$提供了一种有效的方法,通过使用并行图神经网络模型在蛋白质口袋内的多目标奖励函数来优化关键特征。该代理学习在3D空间中构建分子,同时优化为传染病蛋白质靶标生成的候选物的活性、结合亲和力、效力和合成可及性。我们的方法可以作为一种可解释的人工智能(AI)工具,用于优化活性,效力和生物物理特性的铅优化。
2022-05-21 cs.LG
A Reinforcement Learning Based Universal Sequence Design for Polar Codes
Apple, San Diego, USA(苹果公司,圣地亚哥,美国);Apple, Sunnyvale, USA(苹果公司, Sunnyvale,美国)
本文提出一种基于强化学习的极码通用序列设计方法,通过约束学习和多配置优化,在2048码长下实现优于基线的性能提升。
2026-01-27 cs.LG
RDA: Reward Design Agent for Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度Mind)
提出基于视觉语言模型的奖励设计智能体RDA,通过任务分解、视觉轨迹评估和失败模式总结迭代优化奖励函数,在操作任务中生成更符合指令的策略。
2026-06-01 cs.LG
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素,分析典型评估与设计范式,介绍缩放定律理论基础,通过大规模实验表明相关研究结论有误,为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Task-oriented Design through Deep Reinforcement Learning
Seoul National University(首尔国立大学)
我们提出了一种新的低成本的基于机器学习的方法,帮助设计师在设计过程中减少问题和解决方案之间的差距。我们的工作应用强化学习(RL),通过为每个任务的设计行动的建设,找到最佳的面向任务的设计解决方案。对于这种面向任务的设计,产品设计中的3D设计过程被分配到Deep RL中的一个动作空间,通过根据任务训练每个设计动作来获得所需的3D模型。通过展示这种方法即使在应用于追求多个目标的任务时也能实现令人满意的设计,我们提出了机器学习如何有助于设计过程的方向。此外,我们已经验证了与产品设计师,这种方法可以帮助创造性的一部分,在设计过程中。
2019-03-13 cs.LG stat.ML
Reinforcement Learning for Flexibility Design Problems
Duke University(杜克大学);Fidelity Investments(富达投资);Cornell University(康奈尔大学)
柔性设计问题是出现在跨行业的战略决策中的一类问题,其目标是设计一个($e.g.$,制造)网络,提供灵活性和适应性。潜在的组合性质和随机目标使得柔性设计问题对标准优化方法具有挑战性。在本文中,我们开发了一个强化学习(RL)框架的柔性设计问题。具体来说,我们精心设计了噪声探索和方差减少机制,以确保经验的成功,并显示RL在快速适应方面的独特优势。实证结果表明,基于RL的方法始终找到更好的解决方案相比,经典的启发式。
2021-01-18 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Designing a Prospective COVID-19 Therapeutic with Reinforcement Learning
InstaDeep;BioNTech(拜恩泰科)
SARS-CoV-2大流行引发了一场全球性的治愈竞赛。一种方法集中于设计一种新的人类血管紧张素转换酶2(ACE 2)变体,该变体与SARS-CoV-2刺突蛋白结合更紧密,并将其从人类细胞中转移出来。在这里,我们制定了一个新的蛋白质设计框架作为一个强化学习问题。我们通过快速,生物学基础的奖励函数和顺序动作空间公式的结合,有效地生成新的设计。与标准方法相比,使用策略约束可以将实现一致的高质量设计所需的计算预算减少至少一个数量级。通过分子动力学模拟验证了该方法设计的复合物,证实了其增加的稳定性。这表明,将领先的蛋白质设计方法与现代深度强化学习相结合,是发现新冠肺炎治愈方法的可行途径,并可能加速其他疾病基于肽的治疗方法的设计。
2020-12-03 cs.LG q-bio.BM
Deep reinforcement learning for process design: Review and perspective
Delft University of Technology(代尔夫特理工大学)
本文综述深度强化学习在化工过程设计中的应用,从信息表示、智能体架构、环境与奖励三要素分析现状,并讨论挑战与未来方向。
2026-06-08 cs.LG cs.SY eess.SY
Enhancing Molecular Design through Graph-based Topological Reinforcement Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出GraphTRL方法,将多尺度加权着色图、持续同调与分子指纹结合作为强化学习状态空间,以整合化学与结构信息,从而提升类药分子生成和结合亲和力预测性能,加速药物发现。
2024-11-22 cs.LG q-bio.BM
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida(中佛罗里达大学)
我们正在考虑一个场景,一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标,我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
Performance Comparisons of Reinforcement Learning Algorithms for Sequential Experimental Design
City St George’s, University of London(伦敦城市大学圣乔治校区)
本文比较了多种强化学习算法在序贯实验设计中的性能,发现使用dropout或集成方法的算法能训练出具有更好泛化能力的智能体,从而在统计特性变化时仍能做出高信息量的设计决策。
2025-08-18 cs.LG stat.ML
Optimizing Sequential Experimental Design with Deep Reinforcement Learning
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);CSIRO’s Land and Water(澳大利亚联邦科学与工业研究组织土地与水研究所)
贝叶斯方法解决序贯实验的最优设计是数学上优雅,但计算上具有挑战性。最近,已经提出了使用摊销的技术,通过训练在部署时有效地提出设计的参数化策略,使这些贝叶斯方法变得实用。然而,这些方法可能无法充分探索设计空间,需要访问可微概率模型,并且只能在连续的设计空间上进行优化。在这里,我们解决这些限制,表明优化政策的问题可以减少到解决马尔可夫决策过程(MDP)。我们用现代深度强化学习技术解决了等效的MDP。我们的实验表明,我们的方法在部署时也是计算效率高的,并且在连续和离散设计空间上都表现出最先进的性能,即使概率模型是黑盒。
2022-06-17 cs.LG stat.ML
Wield: Systematic Reinforcement Learning With Progressive Randomization
University of Cambridge(剑桥大学);Helmut-Schmidt-University Hamburg(汉堡赫尔穆特·施密特大学)
强化学习框架已经引入了抽象来大规模地实现和执行算法。他们假设标准化的模拟器接口,但不关心识别合适的任务表示。我们提出了Wield,这是第一个促进实际强化学习任务设计的系统。通过软件原语,Wield使从业者能够从状态和动作设计中解耦系统接口和特定于部署的配置。为了指导实验,Wield进一步引入了一种新的任务设计协议和分类方案,该方案以阶段性随机化为中心,以逐步评估模型的能力。
2019-09-15 cs.LG stat.ML
Deep Reinforcement Learning for Inverse Inorganic Materials Design
Massachusetts Institute of Technology(麻省理工学院)
实现具有所需性质的新型无机材料的主要障碍是不能在材料性质和这些材料的合成两者上进行有效的优化。在这项工作中,我们提出了一种强化学习(RL)的方法来逆无机材料设计,它可以识别有前途的化合物与指定的属性和合成能力的限制。我们的模型学习化学准则,如电荷和电负性中性,同时保持化学多样性和独特性。我们展示了一种多目标RL方法,该方法可以生成具有目标材料特性的新型化合物,包括形成能和体积/剪切模量以及较低的烧结温度合成目标。使用这种方法,该模型可以预测感兴趣的有前途的化合物,同时为无机材料的发现提出了优化的化学设计空间。
2022-10-21 cond-mat.mtrl-sci cs.LG
Hybrid Supervised and Reinforcement Learning for the Design and Optimization of Nanophotonic Structures
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Northrop Grumman Corporation(诺斯罗普·格鲁曼公司);California NanoSystems Institute(加州纳米系统研究所)
从更高的计算效率到能够发现新颖复杂的结构,深度学习已经成为设计和优化纳米光子电路和组件的强大框架。然而,数据驱动和基于探索的机器学习策略对于纳米光子逆设计的有效性都有局限性。受监督的机器学习方法需要大量的训练数据来产生高性能模型,并且由于设计空间的复杂性,难以推广到训练数据之外。另一方面,无监督和基于强化学习的方法可能会有非常长的训练或优化时间。在这里,我们展示了一种混合监督学习和强化学习的方法来逆向设计纳米光子结构,并表明这种方法可以减少训练数据的依赖性,提高模型预测的泛化能力,并缩短探索性训练时间的数量级。因此,所提出的策略解决了许多当代基于深度学习的挑战,同时为新的设计方法打开了大门,这些方法利用多类机器学习算法为光子设计产生更有效和实用的解决方案。
2022-09-08 cs.LG physics.optics
Sequential Bayesian experimental designs via reinforcement learning
Systems Innovation, Faculty of Engineering, The University of Tokyo(东京大学工学部系统创新)
贝叶斯实验设计(Bayesian Experimental Design,BED)是一种基于贝叶斯推理进行有效实验的方法。然而,现有的方法,大多集中在最大化的预期信息增益(EIG),实验成本和样本效率往往没有考虑。为了解决这一问题,提高BED的实用性,本文提出了一种新的基于强化学习的序贯实验设计方法,通过应用强化学习,以序贯的方式构建BED。在这里,强化学习是机器学习的一个分支,其中代理通过与环境交互来学习策略以最大化其奖励。与环境交互的特点类似于序贯实验,强化学习确实是一种擅长序贯决策的方法。通过提出一个新的面向现实世界的实验环境,我们的方法旨在最大化EIG,同时考虑实验成本和样本效率。我们进行了三个不同的例子的数值实验。实验结果表明,该方法在EIG和采样效率等多个指标上均优于现有方法,表明该方法和实验环境能够为BED在现实世界中的应用做出重要贡献.
2022-02-14 cs.LG stat.ME
Design of Induction Machines using Reinforcement Learning
ABB Motors and Generators(ABB电机与发电机公司);Aalto University(阿尔托大学)
针对感应电机设计中受电磁和热约束且依赖人工经验的问题,提出一种基于离线训练神经网络和奖惩函数的强化学习算法,实现了无需人类工程知识即可自动完成定制化电机设计。
2023-06-30 cs.AI cs.LG
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Reinforcement Learning for Improving Agent Design
Google Brain(谷歌大脑)
在许多强化学习任务中,目标是学习一种策略来操纵代理,其设计是固定的,以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中,我们探讨了学习的代理的设计,更适合其任务的版本的可能性,与政策。我们对流行的OpenAI Gym框架进行了修改,在该框架中,我们对环境的各个部分进行了参数化,并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构,它的身体,不仅更适合的任务,但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
A Reinforcement learning method for Optical Thin-Film Design
机器学习,特别是深度学习,正在极大地改变与光学薄膜逆向设计相关的方法。这方面的研究绝大多数集中在光学薄膜的参数优化(层厚和结构尺寸)。出现的一个具有挑战性的问题是自动材料搜索。在这项工作中,我们提出了一个新的端到端的光学薄膜逆向设计算法。该方法结合了无监督学习、强化学习(RL)的能力,并包括遗传算法来设计光学薄膜,而无需任何人为干预。此外,通过几个具体的例子,我们已经展示了如何使用这种技术来优化多层太阳能吸收器设备的光谱。
2021-02-13 cs.LG eess.IV physics.optics
Design Optimization of Nuclear Fusion Reactor through Deep Reinforcement Learning
Princeton University(普林斯顿大学);Chung-Ang University(中央大学)
本研究将深度强化学习(DRL)应用于核聚变反应堆设计优化,开发了适配并行化的设计计算与优化框架,可在满足运行要求的同时降低建造成本,简化多目标设计优化,为未来聚变堆高效可持续设计提供新路径。
2026-11-19 cs.AI cs.LG physics.plasm-ph
Theta-Resonance: A Single-Step Reinforcement Learning Method for Design Space Exploration
Futurewei Technologies(未来华为技术);UIUC(伊利诺伊大学厄巴纳-香槟分校)
给定一个环境(例如,一个模拟器),用于评估指定设计空间中的样本和一组加权评估度量--人们可以使用Theta-Resonance,一个单步的【形】马尔可夫决策过程(MDP),来训练智能代理,以逐步产生更优化的样本。在Theta-Resonance中,神经网络消耗恒定的输入张量并产生策略作为用于对每个设计维度进行采样的条件概率密度函数(PDF)的集合。我们将现有的策略梯度算法专门用于深度强化学习(D-RL),以便使用评估反馈(在成本,惩罚或奖励方面)来更新我们的策略网络,使其具有鲁棒的算法稳定性和最小的设计评估。我们研究了多个神经架构(我们的政策网络)的背景下,一个简单的SoC设计空间,并提出了一种方法,构建合成空间探索问题,比较和改进设计空间探索(DSE)算法。虽然我们只介绍了分类设计空间,但我们也概述了如何使用Theta-Resonance来探索连续和混合连续-离散设计空间。
2022-11-17 cs.AI cs.LG
Alpha-RF: Automated RF-Filter-Circuit Design with Neural Simulator and Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Keysight Technologies, Inc.(Keysight技术公司)
Alpha-RF通过神经模拟器和强化学习实现自动射频滤波器电路设计,显著提升设计效率和精度。
2026-02-18 cs.LG eess.SP
Improving RNA Secondary Structure Design using Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
近年来,开发新药和治疗方法的成本不断上升,导致了对生物分子设计中优化技术的广泛研究。目前,在生物分子设计中应用最广泛的方法是定向进化,这是一种模拟生物进化的贪婪爬山算法。在本文中,我们提出了一个新的基准应用强化学习的RNA序列设计,其中的目标函数被定义为序列的二级结构中的自由能。除了从标准库中试验每个强化学习算法的普通实现外,我们还分析了每个算法的变体,其中我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法所做的消融分析的结果,以及表明该算法在批次中的性能及其搜索RNA序列可能空间的能力的图表。我们发现,我们的DQN算法在此设置中的性能迄今为止最好,与之相比,PPO在所有测试算法中的性能最好。我们的研究结果应该是感兴趣的那些在生物分子设计社区,并应作为一个基线,为未来的实验,涉及机器学习在分子设计。
2021-11-05 cs.AI cs.LG
Reinforcement Learning for Molecular Design Guided by Quantum Mechanics
University of Cambridge(剑桥大学)
使用深度强化学习(RL)自动化分子设计有望加速新化合物的发现。现有的方法与分子图一起工作,因此忽略了原子在空间中的位置,这将它们限制在1)生成单个有机分子和2)启发式奖励函数。为了解决这个问题,我们提出了一种新的RL配方在笛卡尔坐标的分子设计,从而扩展了类的分子,可以建立。我们的奖励函数直接基于基本的物理性质,例如能量,我们通过快速量子化学方法近似。为了实现从头分子设计的进展,我们引入了MolGym,这是一个RL环境,包括几个具有挑战性的分子设计任务以及基线。在我们的实验中,我们表明,我们的代理可以有效地学习解决这些任务从头开始,在一个平移和旋转不变的状态动作空间。
2020-06-29 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Inverse Design in Photonic Integrated Circuits
本文提出多智能体强化学习算法,通过离散化设计空间为网格并分解为数千个智能体,以少量样本优化光子集成电路逆向设计,在二维和三维任务中超越传统梯度方法。
2025-06-23 cs.AI cs.LG
RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出RL-MUL 2.0框架,利用并行深度强化学习、矩阵张量表示和设计空间剪枝优化乘法器及融合乘加设计,在面积、功耗和延迟上全面超越基线。
2024-12-27 cs.AR cs.LG
Statistically Efficient Bayesian Sequential Experiment Design via Reinforcement Learning with Cross-Entropy Estimators
Nourish Ingredients;CSIRO’s Environment(CSIRO环境部);BIMLOGIQ;CSIRO’s Data61(CSIRO Data61)
本文提出基于交叉熵估计器的强化学习方法,用于贝叶斯序列实验设计,克服了传统期望信息增益估计的指数样本复杂度,能更准确地估计高EIG值,并支持连续/离散空间及不可微模型,从而学习更优的设计策略。
2024-02-05 cs.LG stat.ME
Jointly Learning to Construct and Control Agents using Deep Reinforcement Learning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Chicago(芝加哥大学);Washington University in St. Louis(圣路易斯华盛顿大学)
机器人的物理设计和控制其运动的策略是内在耦合的,并且应该根据任务和环境来确定。在越来越多的应用中,数据驱动和基于学习的方法,如深度强化学习,已被证明在设计控制策略方面是有效的。对于大多数任务,评估物理设计与这种控制策略的关系的唯一方法是经验性的,即,由于训练这些策略是耗时的,因此训练用于所有可能设计的单独策略作为识别最佳设计的手段在计算上是不可行的。在这项工作中,我们通过引入一种方法,同时进行联合优化的物理设计和控制网络来解决这个限制。我们的方法在设计上保持一个分布,并使用强化学习来优化控制策略,以最大化设计分布上的预期回报。我们让控制器访问设计参数,使其能够定制其政策,以每个设计的分布。在整个训练过程中,我们将分布转向更高性能的设计,最终收敛到联合最优的设计和控制策略。我们评估了我们的方法的上下文中的腿运动,并证明它发现了新颖的设计和步行步态,在性能和效率方面优于基线。
2018-09-14 cs.LG cs.RO
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley(加州大学伯克利分校)
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据,提出具有可证明保证的算法,并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Utilizing Reinforcement Learning for de novo Drug Design
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学与哥德堡大学);AstraZeneca(阿斯利康)
提出强化学习从头药物设计统一框架,系统比较在策略、离策略算法与回放策略,提升针对 DRD2 的活性分子生成及结构多样性。
2024-01-30 cs.LG q-bio.BM
Reinforcement Fine-Tuning for Materials Design
Beijing National Laboratory for Condensed Matter Physics(北京凝聚态物理国家实验室);School of Physical Sciences, University of Chinese Academy of Sciences, Beijing 100190, China(中国科学院大学物理科学学院);Songshan Lake Materials Laboratory, Dongguan, Guangdong 523808, China(松山湖材料实验室)
本研究通过强化微调提升材料生成模型的性能,实现基于属性的材料设计与检索,发现具有矛盾材料属性的新型晶体。
2026-01-16 cond-mat.mtrl-sci cs.LG physics.comp-ph
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下,元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务:以同样的方式,监督学习最好地推广到与训练点相同分布的测试点,元学习方法最好地推广到与元训练任务相同分布的任务。实际上,Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程,我们就能设计出真正自动化的元学习算法。在这项工作中,我们在这个方向上迈出了一步,提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方,并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题,并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明,无监督Meta强化学习有效地获得加速强化学习过程,而不需要手动任务设计,这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Inverse design of the transmission matrix in a random system using Reinforcement Learning
Amazon(亚马逊)
本研究针对散射系统逆设计问题,提出基于近端策略优化的强化学习方法,可在非凸目标函数空间中实现三类特定传输矩阵,为随机光学系统的传输调控提供新途径。
2025-06-16 cond-mat.dis-nn cs.LG physics.app-ph
Automatic Design Method of Building Pipeline Layout Based on Deep Reinforcement Learning
Tsinghua University(清华大学)
针对建筑管道手动布局耗时费力的问题,提出基于深度强化学习的三维管道自动布局方法,通过构建几何特征环境与多约束奖励函数训练模型,在保证高质量的同时大幅缩短布局时间。
2023-05-18 cs.LG cs.NE
Reinforcement Learning for Optimal Experiment Design in Parameter Identification of Mechatronic Systems
Josef Ressel Centre for Intelligent and Secure Industrial Automation, Salzburg University of Applied Sciences, Salzburg, Austria(约瑟夫·雷斯尔智能与安全工业自动化中心,萨尔茨堡应用技术大学,萨尔茨堡,奥地利);Paris Lodron University of Salzburg, Salzburg, Austria(萨尔茨堡巴黎洛登伦大学,萨尔茨堡,奥地利)
提出一种强化学习智能体,通过奖励塑形自主满足安全约束,为Quanser Aero 2测试平台学习最优激励信号,在三个辨识参数上均达到竞争性估计精度,且安全违规率仅0.75%。
2026-05-19 cs.LG cs.RO
Molecular Design in Synthetically Accessible Chemical Space via Deep Reinforcement Learning
InVivo AI;Mila(米拉);Université de Montréal(蒙特利尔大学)
生成性药物设计的基本目标是提出满足预定义活性、选择性和药代动力学标准的优化分子。尽管最近的进展,我们认为,现有的生成方法是有限的,在优化过程中,他们的能力有利地改变分子特性的分布。相反,我们提出了一种用于分子设计的新型强化学习框架,其中代理学习通过合成可访问的药物样分子空间直接优化。通过将马尔可夫决策过程中的过渡定义为化学反应,这成为可能,并允许我们利用合成路线作为归纳偏差。我们验证了我们的方法,证明它优于现有的最先进的方法在药理学相关的目标的优化,而多目标优化任务的结果表明,现实的药物设计问题的可扩展性增加。
2020-10-16 cs.LG physics.chem-ph stat.ML
PCGRL: Procedural Content Generation via Reinforcement Learning
New York University(纽约大学)
我们研究如何强化学习可以用来训练水平设计代理。这代表了游戏中程序化内容生成的一种新方法,其中关卡设计被框定为游戏,内容生成器本身是学习的。通过将设计问题视为一个顺序任务,我们可以使用强化学习来学习如何采取下一个行动,以便最大限度地提高预期的最终水平质量。当存在很少或不存在用于训练的示例时,可以使用这种方法,并且训练的生成器非常快。我们研究了三种不同的方式将二维水平设计问题转化为马尔可夫决策过程,并将其应用于三个游戏环境。
2020-08-13 cs.AI cs.LG stat.ML
Learning to Locomote: Understanding How Environment Design Matters for Deep Reinforcement Learning
University of British Columbia(英属哥伦比亚大学)
学习笔记是基于物理的动画和深度强化学习(RL)中最常见的任务之一。学习策略是待解决问题的产物,如RL环境和RL算法所体现的。虽然大量的注意力已经投入到RL算法,更少的是知道的RL环境的设计选择的影响。在本文中,我们将展示环境设计的重要性,并记录它如何有助于许多RL结果的脆弱性。具体来说,我们研究的选择有关的状态表示,初始状态分布,奖励结构,控制频率,情节终止程序,课程使用,动作空间,和扭矩限制。我们的目标是激发围绕这些选择的讨论,这些选择在实践中强烈影响RL的成功,当应用于动画感兴趣的连续动作控制问题时,例如学习笔记。
2020-10-09 cs.LG cs.RO
Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California(南加州大学)
在不断扩展的研究和应用领域中,深度神经网络(DNN)为算法性能设定了标准。然而,根据处理能力和执行时间限制等附加约束,或可验证的安全保证等要求,在实践中实际使用此类高性能DNN可能并不可行。近年来,人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型,不仅保持所需的性能水平,而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
A Validation Tool for Designing Reinforcement Learning Environments
Northeastern University(东北大学);Facebook(脸书)
强化学习(RL)在学术界和科技行业中越来越受到关注,推出了各种有影响力的应用程序和产品。虽然在许多方面正在积极进行研究(例如,离线RL、性能等),许多强化学习的实践者面临着一个很大程度上被忽视的挑战:确定设计的马尔可夫决策过程(MDP)是否有效和有意义。本研究提出一种基于经验的特征分析方法来验证MDP是否是良好的制定。我们认为,适合应用RL的MDP应该包含一组状态特征,这些特征既对动作敏感,又能预测奖励。我们在构建的环境中测试了我们的方法,表明我们的方法可以识别某些无效的环境配方。据我们所知,进行有效性分析的RL问题制定是一个新的方向。我们设想我们的工具将作为一个激励性的例子,帮助从业者更容易地将RL应用于现实世界的问题。
2021-12-10 cs.AI cs.LG
Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies
MIT(麻省理工学院);Harvard Medical School(哈佛医学院);Harvard Pilgrim Healthcare Institute(哈佛朝圣者医疗保健研究所)
强化学习(RL)具有显著改善临床决策的潜力。然而,通过RL从观察数据中学习的治疗策略对研究设计中的微妙选择很敏感。我们强调了一种简单的方法,轨迹检查,使临床医生进入一个迭代的设计过程,基于模型的RL研究。我们确定模型在哪里推荐了意想不到的积极治疗或期望从其建议中获得令人惊讶的积极结果。然后,我们检查临床轨迹与学习的模型和政策一起模拟实际的医院课程。将这种方法应用于最近关于RL用于脓毒症管理的工作,我们发现了对出院的模型偏倚,可能与小样本量有关的高血管加压药剂量的偏好,以及在不停用血管加压药的情况下出院的临床不合理预期。我们希望通过迭代检测和解决我们的方法发现的问题,将导致RL政策,激发更多的部署信心。
2020-12-21 cs.AI cs.LG
Reinforcement Learning for Photonic Component Design
The University of British Columbia(不列颠哥伦比亚大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布卢森量子物质研究所)
提出一种制造在环强化学习算法,通过考虑纳米加工缺陷优化纳米光子组件设计,在绝缘体上硅平台的光栅耦合器实验中将插入损耗降至3.24 dB并实现150 nm带宽。
2024-01-09 cs.LG physics.app-ph physics.optics
De novo Drug Design using Reinforcement Learning with Multiple GPT Agents
Tsinghua University(清华大学);Microsoft Research AI4Science(微软研究院AI4Science)
本文提出MolRL-MGPT,一种基于多GPT智能体协作的强化学习算法,用于从头药物分子生成,在GuacaMol基准和SARS-CoV-2抑制剂设计中均取得良好效果。
2023-12-21 cs.CE cs.LG q-bio.BM
Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber Defense
本文提出利用大型语言模型设计奖励,以提升深度强化学习在自主网络防御中的效果。
2025-11-20 cs.AI cs.LG cs.MA
Path Design for Cellular-Connected UAV with Reinforcement Learning
School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
研究了蜂窝连接无人机(UAV)的路径设计问题,目标是在保持与蜂窝网络良好连接的同时,最小化其任务完成时间。针对传统的通过公式化和求解优化问题的路径设计方法面临的实际挑战,提出了一种基于强化学习的无人机路径设计算法,该算法应用\emph{temporal-difference}方法直接学习相应马尔可夫决策过程的\emph{state-value function}。该算法被进一步扩展,通过使用线性函数逼近与瓦片编码,以处理大的状态空间。所提出的算法只需要原始测量或模拟生成的信号强度作为输入,适合在线和离线实现。数值结果表明,即使在复杂的城市环境中,所提出的路径设计也可以成功地避免蜂窝网络的覆盖空洞。
2019-05-09 cs.LG cs.NI eess.SP