Variational Quantum Circuits for Deep Reinforcement Learning
National Taiwan University(台湾大学);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
最先进的机器学习方法是基于经典的冯·诺依曼计算体系结构,并已广泛应用于许多工业和学术领域。随着量子计算的最新发展,研究人员和科技巨头已经尝试了新的量子电路用于机器学习任务。然而,由于深度量子电路的复杂性,现有的量子计算平台很难模拟经典的深度学习模型或问题。因此,有必要设计可行的量子算法用于噪声中间尺度量子(NISQ)设备的量子机器学习。这项工作探索了用于深度强化学习的变分量子电路。具体来说,我们将经典的深度强化学习算法(如经验重放和目标网络)重塑为变分量子电路的表示。此外,我们使用量子信息编码方案,以减少模型参数的数量相比,经典的神经网络。据我们所知,这项工作是变分量子电路的第一个原理证明,以近似决策和策略选择强化学习的深度$Q$价值函数,并具有经验重放和目标网络。此外,我们的变分量子电路可以部署在许多近期NISQ机器。
2020-07-20 cs.AI cs.LG quant-ph
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
量子机器学习(QML)被认为是近期量子器件最有前途的应用之一。然而,量子机器学习模型的优化提出了许多挑战,这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中,我们评估了当代方法在深度强化学习中的潜力,以增强量子变分电路中基于梯度的优化例程。我们发现,强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型:https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Reinforcement Learning with Quantum Variational Circuits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
近年来,量子计算技术的发展取得了很大进展,与深度强化学习技术的进步平行。这项工作探讨了量子计算促进强化学习问题的潜力。由于量子计算能够利用叠加和纠缠的量子现象,因此相对于传统算法,它在时间和空间复杂度方面提供了重要的潜在改进。具体来说,我们研究了量子变分电路的使用,这是量子机器学习的一种形式。我们给出了量子变分电路中经典数据的编码技术,进一步探讨了DQN和Double DQN的纯量子和混合量子算法。我们的研究结果表明,混合和纯量子变分电路都有能力解决具有较小参数空间的强化学习任务。这些比较是在两个OpenAI Gym环境中进行的:CartPole和Blackjack,这项工作的成功表明了量子机器学习和深度强化学习之间的强大未来关系。
2020-08-28 cs.LG quant-ph stat.ML
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Basic protocols in quantum reinforcement learning with superconducting circuits
University of the Basque Country UPV/EHU(巴斯克大学)
超导电路技术最近实现了涉及闭环反馈回路的量子协议。量子人工智能和量子机器学习是量子技术中的新兴领域,可以使量子设备从外部世界获取信息并通过学习过程进行自我改进。在这里,我们提出了量子强化学习中基本协议的实现,超导电路采用反馈回路控制。我们介绍了不同的情况下,与国家的最先进的超导电路技术的原理验证实验,并分析其存在的缺陷的可行性。用超导电路实现的量子人工智能领域为增强的量子控制和量子计算协议铺平了道路。
2017-05-09 cond-mat.mes-hall cond-mat.supr-con cs.AI
CircuitBuilder: From Polynomials to Circuits via Reinforcement Learning
University of Washington(华盛顿大学)
研究通过强化学习发现高效算术电路计算多项式的问题,比较PPO+MCTS和SAC方法,SAC在双变量目标上表现最佳,PPO+MCTS能扩展到三变量并提升更难实例性能。
2026-03-17 cs.AI cs.CC cs.LG
Reinforcement Learning for Quantum Circuit Design: Using Matrix Representations
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对NISQ时代下量子电路自动映射到通用门集的挑战,本文提出通用的MDP建模,并采用Q-learning和DQN算法进行量子电路设计,提供了一种超越传统手工启发式方法的自动化、可扩展方案。
2025-01-27 cs.AI quant-ph
Inverse Reinforcement Learning: A Control Lyapunov Approach
Technical University of Munich(慕尼黑工业大学)
从演示中推断智能代理的意图并随后预测其行为,是许多协作设置中的关键任务。解决这个问题的一种常见方法是逆强化学习(IRL)框架,其中观察到的代理,例如,一个人类演示者,被假定为根据反映其意图并通知其控制动作的内在成本函数来表现。在这项工作中,我们重新制定的IRL推理问题,学习控制李雅普诺夫函数(CLF)的演示,利用逆最优性属性,这表明,每个CLF也是一个有意义的价值函数。此外,推导出的CLF公式直接保证了推断的控制策略的稳定性。我们展示了我们所提出的方法的灵活性,通过在连续环境中学习目标导向的运动演示。
2021-10-04 cs.LG cs.SY eess.SY
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习(IRL)算法推断出一个奖励函数,该函数解释了专家在环境中提供的演示。最大因果熵(MCE)IRL是目前最流行的IRL公式,有许多扩展。在本教程中,我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源,为那些新的领域,并作为一个简明的参考,为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Quantum Circuit Structure Optimization for Quantum Reinforcement Learning
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出 QRL-NAS 算法,将量子神经架构搜索引入量子强化学习,以自动优化参数化量子电路结构,实验证明其相比固定电路 QRL 能获得更高奖励。
2025-07-01 cs.AI cs.LG
Efficient circuit implementation for coined quantum walks on binary trees and application to reinforcement learning
IRT Saint Exupery(圣埃克苏佩里技术研究所);Université Paul Sabatier(保罗·萨巴捷大学);IRIT(图卢兹信息学研究所)
二叉树上的量子行走被用于许多量子算法中,以实现相对于经典算法的重要加速。这种算法作为量子电路的形式呈现出易于读取、在基于电路的量子计算机和模拟器上可执行以及资源利用最优的优点。根据通用门模型量子计算原理,我们提出了一种在二叉树上进行量子行走的量子电路构成策略。我们特别关注NAND公式求值算法,因为它在博弈论和强化学习中有许多应用。因此,我们提出了该算法的应用程序,并展示了它如何可以用来训练量子强化学习代理在两个玩家的游戏环境。
2022-10-14 cs.ET cs.LG quant-ph
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo(富国银行)
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体,在标准环境中以更少参数超越经典基线,并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Inverse Reinforcement Learning for Marketing
NYU Tandon School of Engineering(纽约大学坦顿工程学院)
本文提出利用逆强化学习研究动态消费者需求,通过最大熵方法构建可 tractable 模型,展示观测噪声可能被误认为消费者异质性。
2017-12-13 cs.AI cs.CE cs.LG
GenCircuit-RL: Reinforcement Learning from Hierarchical Verification for Genetic Circuit Design
University of California, Berkeley, CA, USA(加州大学伯克利分校)
本文提出GenCircuit-RL框架,通过分层验证奖励和课程学习提升遗传电路设计的正确性与功能推理能力,实验表明其在功能推理任务中成功率提升14-16个百分点。
2026-05-14 cs.AI cs.LG q-bio.QM
Nonuniqueness and Convergence to Equivalent Solutions in Observer-based Inverse Reinforcement Learning
Oklahoma State University(俄克拉荷马州立大学)
本文针对在线实时确定性逆强化学习中的多解非唯一性问题,提出了一种正则化历史栈观测器,能够收敛到具有不同代价泛函但相同反馈矩阵的近似等价解,并开发了新的数据丰富性条件,通过仿真验证了其有效性。
2024-05-30 cs.LG cs.SY eess.SY
Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning
Graduate School of Engineering and Science, Shibaura Institute of Technology(芝浦工业大学理工学研究科)
本文提出利用深度强化学习的自动化框架,用于优化量子虚时间演进方法的电路设计,通过减少门数和深度提升硬件效率,实现更高效的量子算法设计。
2026-04-09 cs.AI cs.LG quant-ph
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点,提出用基于势函数的奖励塑形降低子问题计算量,作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Reinforcement Learning for Optimizing Large Qubit Array based Quantum Sensor Circuits
Cleveland State University(克利夫兰州立大学)
本文将强化学习与MPS张量网络仿真结合,用于最多60量子比特的量子传感器电路优化,在提升QFI与纠缠熵的同时显著降低门数和电路深度。
2025-08-28 cs.AI quant-ph
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Circuit Partitioning for Multi-Core Quantum Architectures with Deep Reinforcement Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出一种基于深度强化学习的电路划分新方法,以解决多核量子架构中量子算法适配不同核心的挑战,为量子电路映射引入了新解决范式。
2024-07-24 cs.AI quant-ph
InF-ATPG: Intelligent FFR-Driven ATPG with Advanced Circuit Representation Guided Reinforcement Learning
InF-ATPG通过先进电路表示引导强化学习,提升ATPG效率,减少回溯并提高故障覆盖率
2025-11-25 cs.AI cs.AR cs.LG
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University(康奈尔大学);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
逆强化学习(IRL)处理从代理的动作估计代理的效用函数。在本文中,我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL(I-IRL)。决策者应该如何选择其响应,以确保其战略的一个不良重建的对手执行IRL估计代理的战略?本文包括四个结果:第一,我们提出了一个对抗IRL算法,估计代理的策略,同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应,充分掩盖其真实策略。第三,我们给出了一个样本的复杂性结果,我们的主要I-IRL的结果时,代理人有噪声估计的对手指定的效用函数。最后,我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning
NVIDIA(英伟达)
在这项工作中,我们提出了一个基于强化学习(RL)的方法来设计并行前缀电路,如加法器或优先级编码器,是高性能数字设计的基础。与以前的方法不同,我们的方法纯粹通过循环中的综合学习来设计解决方案。我们设计了一个基于网格的状态-动作表示和一个用于构造合法前缀电路的RL环境。在此环境中训练的深度卷积RL代理生成前缀加法器电路,这些电路在32 b和64 b设置中分别以相同延迟的面积减少16.0%和30.2%的Pareto主导现有基线。我们观察到,用开源合成工具和单元库训练的代理可以设计加法器电路,其面积和延迟比工业单元库中的商业工具加法器更低。
2022-05-14 cs.AI cs.AR cs.LG
Repeated Inverse Reinforcement Learning
Google Research(谷歌研究院);University of Michigan(密歇根大学)
我们引入了一个新的重复逆强化学习问题:代理人必须代表一个人在一系列的任务,并希望尽量减少任务的数量,它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时,智能体就会被人类提供所需行为的演示。我们正式这个问题,包括如何选择任务的顺序,在几个不同的方式,并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
AstRL: Analog and Mixed-Signal Circuit Synthesis with Deep Reinforcement Learning
Department of Electrical Engineering and Computer Sciences University of California Berkeley(电子工程与计算机科学系加州大学伯克利分校)
AstRL通过深度强化学习实现模拟和混合信号电路的高效综合,首次在模拟中验证了专家对齐的通用电路生成方法,显著提升了设计效率和准确性。
2026-02-12 cs.AI cs.LG
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College(达特茅斯学院)
针对深度强化学习模型的黑箱问题,本文提出基于对抗逆强化学习的框架,通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Reinforcement learning-based architecture search for quantum machine learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所);University of Stuttgart(斯图加特大学)
本文提出一种基于强化学习的架构搜索方法,通过模型驱动算法生成问题特定的分层编码电路,以提升量子机器学习性能,并兼顾多目标优化。
2024-08-05 cs.LG quant-ph
Hybrid Reward-Driven Reinforcement Learning for Efficient Quantum Circuit Synthesis
本文提出一种混合奖励驱动强化学习方法,用于高效合成量子电路,通过结合静态奖励和动态惩罚,优化电路深度和门数,提升量子电路综合效率。
2026-02-17 cs.AI cs.LG quant-ph
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes
Quantinuum
本文提出利用强化学习自适应组合量子电路优化传递,有效提升优化效果。
2026-11-06 cs.LG quant-ph
A Reinforcement Learning Environment for Directed Quantum Circuit Synthesis
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)
本文提出一个基于Clifford+T门集的量子电路综合强化学习环境,研究电路深度与目标初始化深度及量子比特数的关系,并通过PPO训练的智能体在2量子比特Bell态上验证了最小电路设计能力。
2024-01-13 cs.AI quant-ph
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为决策和控制提供了一个强大而通用的框架,但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要,但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取,但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中,我们提出了adverserial逆强化学习(AIRL),一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数,即使在训练过程中看到的环境发生重大变化的情况下,我们也能够学习策略。我们的实验表明,AIRL大大优于以前的方法,在这些传输设置。
2018-08-13 cs.LG
Fast ML-driven Analog Circuit Layout using Reinforcement Learning and Steiner Trees
University of Trieste(的里雅斯特大学);Infineon Technologies Austria(英飞凌科技奥地利公司);Infineon Technologies AG(英飞凌股份公司)
本文提出一种AI驱动方法,将模拟电路布局建模为马尔可夫决策过程,用强化学习自动生成布局,并引入斯坦纳树进行全局布线,最终将运行时间降至人工的1.5%。
2024-05-27 cs.LG
Placement in Integrated Circuits using Cyclic Reinforcement Learning and Simulated Annealing
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子科技公司)
随着集成电路(IC)技术的复杂性稳步提高,IC的物理设计和生产变得越来越具有挑战性。布局是集成电路物理设计中最关键的步骤之一。通过几十年的研究,基于分区、基于分析和基于退火的砂矿已经丰富了放置解决方案工具箱。然而,包括长运行时间和缺乏泛化能力的开放性挑战继续限制现有布局工具的更广泛应用。我们设计了一个基于学习的布局工具的基础上循环应用的强化学习(RL)和模拟退火(SA),利用RL的进步。结果表明,RL模块能够提供一个更好的初始化SA,从而导致更好的最终布局设计。与其他最近的基于学习的布局器相比,我们的方法主要不同之处在于它结合了RL和SA。它利用RL模型在训练后快速获得良好粗略解决方案的能力和启发式算法在解决方案中实现贪婪改进的能力。
2020-11-15 cs.AI cs.LG
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习,其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法,逆强化学习与神经进化,一个范例,修改神经网络的基础上,他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习,并进化以生成与演示类似的策略。该算法进行了讨论,并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价,神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比,这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据,以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程,其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Practical and efficient quantum circuit synthesis and transpiling with Reinforcement Learning
IBM Quantum(IBM量子计算部门);IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本文提出将强化学习集成到量子电路转译中,实现近最优综合与高效路由,显著提升性能并兼容实际设备约束。
2025-02-26 cs.AI quant-ph
Stochastic Inverse Reinforcement Learning
Nanyang Technological University(南洋理工大学)
逆强化学习(IRL)问题的目标是从专家演示中恢复奖励函数。然而,IRL问题像任何不适定的反问题一样,具有先天的缺陷,即策略可能对许多奖励函数是最优的,并且专家论证可能对许多策略是最优的。在这项工作中,我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习(SIRL),以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化(MCEM)方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的,强大的,可转移的学习任务,并可以生成替代解决方案的IRL问题。通过我们的公式,可以从全局的角度观察IRL问题的内在属性,并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Reinforcement learning for optimization of variational quantum circuit architectures
University of Innsbruck(因斯布鲁克大学);Warsaw University of Technology(华沙理工大学);Leiden University(莱顿大学)
变分量子本征求解器(VQE)的研究近年来一直是人们关注的焦点,因为它们可能会导致近期量子器件的实际应用。然而,它们的性能取决于所使用的变分模拟器的结构,这需要平衡相应电路的深度和表现力。近年来,已经引入了各种VQE结构优化方法,但机器学习的能力,以帮助这个问题还没有得到充分的研究。在这项工作中,我们提出了一种强化学习算法,自主探索可能的ansze空间,识别仍然产生准确的地面能量估计的经济电路。该算法是内在的动机,它逐步提高结果的准确性,同时最大限度地减少电路深度。我们展示了我们的算法估计氢化锂(LiH)的基态能量的问题上的性能。在这个著名的基准问题中,我们实现了化学精度,以及电路深度方面的最新结果。
2021-03-30 cs.AI quant-ph
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
AlphaRouter: Quantum Circuit Routing with Reinforcement Learning and Tree Search
AWS Quantum Technologies(AWS量子技术部门);Amazon Web Services(亚马逊网络服务)
针对量子电路路由这一NP难问题,提出结合蒙特卡洛树搜索与强化学习的AlphaRouter方法,相比现有最优方法最多降低20%路由开销,提升量子计算效率与可行性。
2024-10-07 cs.AI cs.SY eess.SY
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
本文提出了一种逆强化学习(IRL)框架,当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时,该框架可以加速学习。我们的设置是由现实的情况下,一个有用的老师是不可用的,或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略:课程逆强化学习(CIRL)涵盖教师的角度,和自定进度逆强化学习(SPIRL)侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务,从一个人的演示,我们表明,我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(剑桥大学应用数学与理论物理系)
针对现有LLM对齐方法面临的标签噪声和高成本问题,提出基于逆向强化学习的从示范中对齐(AfD)方法,通过散度最小化目标与高效算法,在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Inverse Design in Photonic Integrated Circuits
本文提出多智能体强化学习算法,通过离散化设计空间为网格并分解为数千个智能体,以少量样本优化光子集成电路逆向设计,在二维和三维任务中超越传统梯度方法。
2025-06-23 cs.AI cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);EPFL(洛桑联邦理工学院)
我们陈述了逆强化学习在偏好诱导方面的问题,从而得到了一个原则性的(贝叶斯)统计公式。这概括了以前的工作贝叶斯逆强化学习,并允许我们获得一个后验分布代理的偏好,政策和可选的,获得的奖励序列,从观察。通过分析和实验结果,我们研究了所得方法与其他统计方法的关系。我们表明,偏好可以准确地确定,即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下,显着改善的政策,相对于代理的喜好,获得相比,其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
MechRL: Reinforcement Learning Agents Perform Circuit Discovery for Mechanistic Interpretability
The University of Southern Mississippi(美国密西西比州立大学)
提出将电路发现转化为强化学习问题,使用PPO策略在GPT-2 small的144个注意力头上进行零消融和对比奖励,成功在训练任务和未见任务上恢复标准电路,验证了强化学习在机械可解释性中的有效性。
2026-06-28 cs.LG
Receding Horizon Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)试图推断一个成本函数,解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习(RHIRL),一个新的IRL算法的高维,噪声,连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战:可伸缩性和健壮性。为了处理高维连续系统,RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本,从而避免了“维数灾难”。这与早期的算法形成鲜明对比,早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性,RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明,RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
Equivariant Reinforcement Learning for Clifford Quantum Circuit Synthesis
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Quantinuum(Quantinuum公司);College of Computing and Data Science, Nanyang Technological University, Singapore(新加坡南洋理工大学计算科学与数据科学学院)
本文提出了一种等变神经网络架构,用于在所有到所有量子比特连接设备上合成Clifford量子电路,通过强化学习发现最优门序列,实现高效电路合成。
2026-11-09 cs.LG quant-ph
Inverse Reinforcement Learning With Constraint Recovery
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对CMDP问题提出IRL-CR算法,利用最大熵原理将同时推断奖励函数与约束的问题转化为交替约束优化问题,并用指数梯度下降求解,在网格世界环境中验证了有效性。
2023-05-14 cs.AI cs.LG
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Self-training superconducting neuromorphic circuits using reinforcement learning rules
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Colorado Boulder(科罗拉多大学博尔德分校);Colgate University(科尔盖特大学);Colorado State University(科罗拉多州立大学)
本文提出一组基于强化学习的局部权重更新规则并在超导硬件中实现,利用SPICE仿真构建了学习时间在纳秒量级的小规模神经网络,通过全局强化信号调整权重,免除了显式编程和误差反向传播的需求。
2024-04-29 cond-mat.supr-con cs.AI