Short Quantum Circuits in Reinforcement Learning Policies for the Vehicle Routing Problem
QC Ware Corp.(QC韦尔公司);AISIN CORPORATION(爱信公司);Aisin Technical Center of America(美国爱信技术中心)
量子计算和机器学习具有共生的潜力。然而,除了当前设备的硬件限制之外,在量子线路能够有效地与当前的机器学习任务结合之前,仍然存在必须解决的基本问题。我们报告了一种新的策略,这种整合的背景下,用于强化学习的注意力模型。实现注意力机制的代理已成功地应用于某些情况下的组合路由问题,首先编码节点上的图,然后依次解码节点,直到选择的路线。我们证明了简单的量子线路可以用来代替经典的注意头层,同时保持性能。我们的方法修改了[1]中使用的网络,将每个节点的密钥和查询向量替换为在测量之前纠缠的量子态。由此产生的混合经典量子代理的车辆路径问题的情况下,其性能是有竞争力的,与原来的经典方法进行了测试。我们认为我们的模型是一个可以扩大规模的原型,也是进一步研究量子计算在强化学习中作用的途径。
2021-09-15 cs.LG quant-ph
Efficient circuit implementation for coined quantum walks on binary trees and application to reinforcement learning
IRT Saint Exupery(圣埃克苏佩里技术研究所);Université Paul Sabatier(保罗·萨巴捷大学);IRIT(图卢兹信息学研究所)
二叉树上的量子行走被用于许多量子算法中,以实现相对于经典算法的重要加速。这种算法作为量子电路的形式呈现出易于读取、在基于电路的量子计算机和模拟器上可执行以及资源利用最优的优点。根据通用门模型量子计算原理,我们提出了一种在二叉树上进行量子行走的量子电路构成策略。我们特别关注NAND公式求值算法,因为它在博弈论和强化学习中有许多应用。因此,我们提出了该算法的应用程序,并展示了它如何可以用来训练量子强化学习代理在两个玩家的游戏环境。
2022-10-14 cs.ET cs.LG quant-ph
Differentiable Quantum Architecture Search for Quantum Reinforcement Learning
Ludwig Maximilians University(路德维希-马克西米利安大学);Siemens AG(西门子股份公司)
本文首次将可微分量子架构搜索(DQAS)应用于量子强化学习,在车杆和冰湖环境中验证其能自动高效设计电路并显著优于人工设计电路。
2023-09-20 cs.LG quant-ph
Reinforcement Learning for Variational Quantum Circuits Design
Politecnico di Milano(米兰理工学院)
本研究利用强化学习设计变分量子电路,发现新型ansatz家族,提升优化问题求解效率。
2024-09-09 cs.LG quant-ph
Beyond Reinforcement Learning: Fast and Scalable Quantum Circuit Synthesis
University of Bonn(波恩大学)
本文提出一种基于监督学习和随机束搜索的量子电路合成方法,通过近似最小描述长度实现快速且高效的量子门序列生成,提升了复杂电路的成功率和合成效率。
2026-02-18 cs.LG quant-ph
QCA-MolGAN: Quantum Circuit Associative Molecular GAN with Multi-Agent Reinforcement Learning
Department of Computer Science(计算机科学系);University of Birmingham(伯明翰大学);QunaSys Europe(QunaSys欧洲分公司);Hon Hai Research Institute(鸿海研究机构);Departement of Computer Science(计算机科学系)
针对药物发现中分子设计的挑战,提出基于量子线路玻恩机的QCA-MolGAN生成类药分子,结合多智能体强化学习优化多项成药性指标,提升生成分子的属性对齐度。
2025-09-05 cs.LG quant-ph
Variational Quantum Circuits for Deep Reinforcement Learning
National Taiwan University(台湾大学);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
最先进的机器学习方法是基于经典的冯·诺依曼计算体系结构,并已广泛应用于许多工业和学术领域。随着量子计算的最新发展,研究人员和科技巨头已经尝试了新的量子电路用于机器学习任务。然而,由于深度量子电路的复杂性,现有的量子计算平台很难模拟经典的深度学习模型或问题。因此,有必要设计可行的量子算法用于噪声中间尺度量子(NISQ)设备的量子机器学习。这项工作探索了用于深度强化学习的变分量子电路。具体来说,我们将经典的深度强化学习算法(如经验重放和目标网络)重塑为变分量子电路的表示。此外,我们使用量子信息编码方案,以减少模型参数的数量相比,经典的神经网络。据我们所知,这项工作是变分量子电路的第一个原理证明,以近似决策和策略选择强化学习的深度$Q$价值函数,并具有经验重放和目标网络。此外,我们的变分量子电路可以部署在许多近期NISQ机器。
2020-07-20 cs.AI cs.LG quant-ph
Quantum Compiling with Reinforcement Learning on a Superconducting Processor
Beijing Academy of Quantum Information Sciences(北京量子信息科学研究院)
针对NISQ处理器需短量子电路的需求,提出基于强化学习的超导处理器量子编译器,能生成更短且适配硬件的高保真电路,为量子编译软硬件协同设计提供参考。
2024-06-18 cs.LG quant-ph
Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning
Graduate School of Engineering and Science, Shibaura Institute of Technology(芝浦工业大学理工学研究科)
本文提出利用深度强化学习的自动化框架,用于优化量子虚时间演进方法的电路设计,通过减少门数和深度提升硬件效率,实现更高效的量子算法设计。
2026-04-09 cs.AI cs.LG quant-ph
Optimizing Tensor Network Contraction Using Reinforcement Learning
NVIDIA Research(英伟达研究院)
量子计算(QC)是一种革命性的计算技术,但目前仍受到限制。为了开发和测试量子算法,通常在经典计算机上模拟量子线路。模拟一个复杂的量子线路需要计算一个大型张量网络的收缩。收缩的顺序(路径)可能对计算成本产生巨大影响,但找到一个有效的顺序是一个具有挑战性的组合优化问题。我们提出了一种结合图神经网络(GNN)的强化学习(RL)方法来解决收缩排序问题。该问题是极具挑战性的,由于巨大的搜索空间,重尾奖励分布,并具有挑战性的信用分配。我们展示了如何使用GNN作为基本策略构建的精心实现的RL代理可以解决这些挑战,并在三种电路中获得最先进技术的显着改进,包括当代QC中使用的最大规模网络。
2022-04-18 cs.LG quant-ph
Quantum Multi-Agent Reinforcement Learning via Variational Quantum Circuit Design
Korea University(高丽大学);Hallym University(翰林大学)
近年来,量子计算(QC)得到了工业界和学术界的广泛关注。特别是,在各种QC研究主题中,变分量子线路(VQC)使量子深度强化学习(QRL)成为可能。许多关于QRL的研究表明,QRL在训练参数数量的限制下优于经典的强化学习方法。本文将QRL扩展并证明为量子多智能体RL(QMARL)。然而,QRL到QMARL的扩展并不简单,这是由于经典多智能体RL(MARL)中的噪声中间尺度量子(NISQ)和非平稳特性的挑战。因此,本文提出了集中训练和分散执行(CTDE)QMARL框架,通过设计新的VQC框架,以应对这些问题。为了证实QMARL框架,本文在单跳环境中进行了QMARL演示,其中边缘代理将数据包卸载到云。大量的实验表明,所提出的QMARL框架比经典框架提高了57.7%的总回报。
2022-03-20 cs.ET cs.LG quant-ph
Hybrid Reward-Driven Reinforcement Learning for Efficient Quantum Circuit Synthesis
本文提出一种混合奖励驱动强化学习方法,用于高效合成量子电路,通过结合静态奖励和动态惩罚,优化电路深度和门数,提升量子电路综合效率。
2026-02-17 cs.AI cs.LG quant-ph
Scalable Quantum Reinforcement Learning on NISQ Devices with Dynamic-Circuit Qubit Reuse and Grover Optimization
Graduate School of Science and Technology, Keio University(Keio大学科学技术研究生院);Graduate School of Information Science and Electrical Engineering, Kyushu University(九州大学信息科学与电气工程研究生院);RIKEN Center for Computational Science(理化学研究所计算科学中心)
本文提出一种可扩展且资源高效的量子强化学习框架,通过动态电路执行和Grover优化,将多步量子马尔可夫决策过程的量子比特复杂度从O(T)降至O(1)。
2026-04-22 cs.LG quant-ph
Fast ML-driven Analog Circuit Layout using Reinforcement Learning and Steiner Trees
University of Trieste(的里雅斯特大学);Infineon Technologies Austria(英飞凌科技奥地利公司);Infineon Technologies AG(英飞凌股份公司)
本文提出一种AI驱动方法,将模拟电路布局建模为马尔可夫决策过程,用强化学习自动生成布局,并引入斯坦纳树进行全局布线,最终将运行时间降至人工的1.5%。
2024-05-27 cs.LG
Enhancing Quantum Memory Lifetime with Measurement-Free Local Error Correction and Reinforcement Learning
Harvard University(哈佛大学)
本研究提出无测量局部纠错的强化学习优化框架,在亚阈值门错区域下对二维伊辛模型、四维环面码的量子存储器寿命提升优于传统Toom规则方案,还可减少中段读取并适用于拓扑量子态耗散制备。
2024-12-03 cs.LG physics.comp-ph quant-ph
MechRL: Reinforcement Learning Agents Perform Circuit Discovery for Mechanistic Interpretability
The University of Southern Mississippi(美国密西西比州立大学)
提出将电路发现转化为强化学习问题,使用PPO策略在GPT-2 small的144个注意力头上进行零消融和对比奖励,成功在训练任务和未见任务上恢复标准电路,验证了强化学习在机械可解释性中的有效性。
2026-06-28 cs.LG
Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Washington University in St. Louis(圣路易斯华盛顿大学)
模拟电路的设计自动化是集成电路领域的一个长期挑战。本文提出了一种深度强化学习方法,以加快在预布局阶段的模拟电路的设计,其中的目标是找到设备参数,以满足所需的电路规格。我们的方法受到经验丰富的人类设计师的启发,他们依赖于模拟电路设计的领域知识(例如,电路拓扑和电路规范之间的耦合)来解决问题。与所有现有方法不同,我们的方法最初将这些关键领域的知识与基于图形的策略网络的策略学习,从而最好地建模电路参数和设计目标之间的关系。在典型电路上的实验结果表明,它达到了人类水平的设计精度(~99%),效率是现有最佳性能方法的1.5倍。我们的方法也表现出更好的泛化能力,看不见的规格和电路性能优化的最优性。此外,它适用于设计不同的模拟电路在不同的半导体技术,打破了现有的ad-hoc方法在设计一个特定类型的模拟电路与传统的半导体技术的限制。
2022-02-26 cs.AI cs.AR cs.LG
Policy Gradients using Variational Quantum Circuits
University of Minho(米尼奥大学);INESC TEC(葡萄牙系统与计算机工程研究所(INESC TEC));International Nanotechnology Laboratory (INL)(国际纳米技术实验室(INL))
变分量子线路被用作通用的量子机器学习模型。一些实证结果表明,在监督和生成学习任务的优势。然而,当应用于强化学习时,所知甚少。在这项工作中,我们考虑了一个变分量子线路组成的低深度的硬件有效的模拟器的参数化政策的强化学习代理。我们表明,一个$ε$近似的政策梯度,可以得到使用对数数量的样本关于参数的总数。我们凭经验验证,这种量子模型的行为类似于甚至优于标准基准测试环境和量子控制中使用的典型经典神经网络,仅使用一小部分参数。此外,我们还利用Fisher信息矩阵谱研究了量子政策梯度中的Barren Plateau现象。
2023-01-15 cs.LG quant-ph
Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation
Korea University(高丽大学);Hallym University(翰林大学)
量子计算的出现使研究人员能够将量子电路应用于许多现有的研究。利用量子电路和量子微分编程技术,人们进行了许多研究,如\textit{Quantum Machine Learning}(QML)。特别是量子强化学习是检验量子机器学习可能性的一个很好的领域,大量的研究正在进行中。本研究将介绍使用变分量子电路的量子强化学习的概念,并通过实施和实验确认其可能性。我们将首先介绍量子强化学习的背景知识和工作原理,然后使用PennyLane库指导实现方法。我们还将讨论量子强化学习的力量和可能性,从通过这项工作获得的实验结果。
2021-08-16 cs.LG
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich(慕尼黑大学)
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习,以解决梯度方法在平坦解景观中失效的问题,并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Analog Circuit Design with Dyna-Style Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们提出了一种基于学习的模拟电路设计方法,其目标是在一定的设计约束条件下优化电路性能。使这个问题具有挑战性的优化的方面之一是,用仿真来测量候选配置的性能可能在计算上是昂贵的,特别是在布局后设计中。此外,大量的设计约束和相关量之间的相互作用使得问题复杂。因此,为了更好地促进支持人类设计师,期望获得关于可行解的整个空间的知识。为了应对这些挑战,我们从基于模型的强化学习中获得灵感,并提出了一种具有两个关键属性的方法。首先,它学习奖励模型,即,代理模型的性能由神经网络近似,减少了所需的仿真次数。其次,它使用一个随机策略生成器来探索满足约束的多样解空间。我们将这些结合在Dyna风格的优化框架中,我们称之为DynaOpt,并根据经验评估两级运算放大器的电路基准的性能。结果表明,与使用无模型方法进行20,000次电路仿真来训练策略相比,DynaOpt仅用500次仿真就从头开始学习,从而实现了更好的性能。
2020-11-16 cs.LG
Separating Ansatz Discovery from Deployment on Larger Problems: Reinforcement Learning for Modular Circuit Design
Politecnico di Milano(米兰理工大学)
本文提出了一种用于模块化电路设计的强化学习方法,通过在小规模实例上学习可重用的模块化结构,从而在更大问题上实现更高效的ansatz设计。
2026-03-01 cs.LG quant-ph
Breaking Through Barren Plateaus: Reinforcement Learning Initializations for Deep Variational Quantum Circuits
School of Engineering(工程学院);Stevens Institute of Technology(史蒂文斯理工学院);ECSE Department(电子与计算机工程系);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对变分量子算法(VQAs)的贫瘠高原问题,提出基于强化学习的初始化策略,通过预训练生成优化初始参数,显著提升收敛速度和解质量,为量子算法设计提供新途径。
2025-08-25 cs.LG quant-ph
Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing
University of California, Berkeley(加州大学伯克利分校);National Institute of Standards and Technology(国家标准与技术研究院)
提出一种利用图强化学习进行校准感知的量子电路路由方法,通过IBM Heron r2校准数据选择SWAP操作,在MQT Bench电路上平均保真度达0.727,优于SABRE-best20的0.440。
2026-07-24 cs.ET cs.LG quant-ph
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
CircuitBuilder: From Polynomials to Circuits via Reinforcement Learning
University of Washington(华盛顿大学)
研究通过强化学习发现高效算术电路计算多项式的问题,比较PPO+MCTS和SAC方法,SAC在双变量目标上表现最佳,PPO+MCTS能扩展到三变量并提升更难实例性能。
2026-03-17 cs.AI cs.CC cs.LG
Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning
School of Informatics, The University of Edinburgh(爱丁堡大学信息学院);School of Informatics(信息学院);School of Biological Sciences, The University of Edinburgh(爱丁堡大学生物科学学院)
本文提出一种在不确定环境下优化基因电路的序列框架,结合模拟器模型和强化学习策略,有效处理生物分子反应的内在随机性和实验室条件的变异性。
2026-05-07 cs.LG
Variational Quantum Circuit-Based Reinforcement Learning for Dynamic Portfolio Optimization
Chair of Information Systems Humboldt University Berlin(信息系统教授 Humboldt 大学柏林);Department of Mathematics National University of Singapore(数学系 新加坡国立大学);Bucharest University of Economic Studies(布加勒斯特经济大学)
本文提出基于变分量子电路的量子强化学习方法,用于动态投资组合优化,展示了其在风险调整性能上的竞争力,并探讨了实际部署中的延迟问题。
2026-01-28 cs.LG q-fin.CP q-fin.PM
Reinforcement learning-assisted quantum architecture search for variational quantum algorithms
本文提出基于强化学习的量子架构搜索方法,利用张量编码、搜索约束、提前终止和DDQN自动寻找短而准的变分量子电路,并在无噪声与含噪场景中验证其优势。
2024-10-01 cs.AI cs.LG quant-ph
A Study on Optimization Techniques for Variational Quantum Circuits in Reinforcement Learning
LMU Munich(慕尼黑大学)
本研究针对NISQ时代量子强化学习的局限,在量子近端策略优化的actor-VQC中引入多种优化技术与指数学习率衰减,经Frozen Lake等环境验证,可提升参数效率、学习速度与性能稳定性。
2024-05-20 cs.AI cs.LG quant-ph
RESCUE: Repairing Language Model Errors to Sparse Circuits via Reinforcement Learning
Beijing University of Posts and Telecommunications(北京邮电大学);University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);China Aerospace Science and Industry Corporation(中国航天科工集团)
RESCUE框架通过强化学习优化掩码并精确微调错误相关稀疏电路,修复LLM在数学推理和医学问答中的失败,分别将准确率提升至75.5%和81%。
2026-09-30 cs.LG
Quantum Circuit Structure Optimization for Quantum Reinforcement Learning
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出 QRL-NAS 算法,将量子神经架构搜索引入量子强化学习,以自动优化参数化量子电路结构,实验证明其相比固定电路 QRL 能获得更高奖励。
2025-07-01 cs.AI cs.LG
GenCircuit-RL: Reinforcement Learning from Hierarchical Verification for Genetic Circuit Design
University of California, Berkeley, CA, USA(加州大学伯克利分校)
本文提出GenCircuit-RL框架,通过分层验证奖励和课程学习提升遗传电路设计的正确性与功能推理能力,实验表明其在功能推理任务中成功率提升14-16个百分点。
2026-05-14 cs.AI cs.LG q-bio.QM
Alpha-RF: Automated RF-Filter-Circuit Design with Neural Simulator and Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Keysight Technologies, Inc.(Keysight技术公司)
Alpha-RF通过神经模拟器和强化学习实现自动射频滤波器电路设计,显著提升设计效率和精度。
2026-02-18 cs.LG eess.SP
Quantum Reinforcement Learning by Adaptive Non-local Observables
Brookhaven National Laboratory(布鲁赫斯国家实验室);Seton Hall University(塞顿·胡尔大学);Wells Fargo(摩根大通);AI & ML Department(人工智能与机器学习部门)
针对变分量子电路受限于局部测量的问题,提出联合优化电路参数与多量子比特测量的 ANO-VQC,并在 DQN 和 A3C 中验证其性能优势。
2025-07-25 cs.AI cs.LG quant-ph
CO-MAP: A Reinforcement Learning Approach to the Qubit Allocation Problem
Fujitsu Research of America(富士通美国研究院)
本文提出CO-MAP方法,通过强化学习策略优化量子比特映射,显著减少SWAP门开销,实测数据表明在MQTBench和Queko电路中SWAP开销降低65-85%。
2026-05-13 cs.LG quant-ph
Reinforcement-Learning-Based Variational Quantum Circuits Optimization for Combinatorial Problems
Illinois Institute of Technology(伊利诺伊理工学院);Clemson University(克莱姆森大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Argonne National Laboratory(阿贡国家实验室)
量子计算利用基本的量子现象,如状态叠加和纠缠来执行计算。量子近似优化算法(QAOA)可以说是领先的量子算法之一,可以在短期内超越经典的最先进的方法。QAOA是一种混合量子经典算法,它将参数化量子态演化与经典优化程序相结合,以近似解决组合问题。在量子计算机的固定调用预算内通过QAOA获得的解决方案的质量取决于用于优化变分参数的经典优化例程的性能。在这项工作中,我们提出了一种基于强化学习(RL)的方法来训练一个策略网络,可以用来快速找到高质量的变分参数看不见的组合问题的实例。RL代理在可以在经典计算机上模拟的小问题实例上进行训练,但学习的RL策略是可推广的,可以用于有效地解决更大的实例。使用IBM Qiskit Aer量子电路模拟器进行的大量模拟表明,与其他测试的现成优化器相比,我们经过训练的RL策略可以将最优性差距降低8.61倍。
2019-11-11 cs.LG quant-ph stat.ML
Differentiable Quantum Architecture Search in Asynchronous Quantum Reinforcement Learning
Wells Fargo(富国银行)
本文提出DiffQAS-QRL方法,通过可微量子架构搜索自动设计量子电路参数与结构,并结合异步强化学习实现并行训练,在多环境中达到与手工设计电路相当的性能,降低了对量子专业知识的需求。
2024-07-25 cs.AI cs.DC cs.LG
InF-ATPG: Intelligent FFR-Driven ATPG with Advanced Circuit Representation Guided Reinforcement Learning
InF-ATPG通过先进电路表示引导强化学习,提升ATPG效率,减少回溯并提高故障覆盖率
2025-11-25 cs.AI cs.AR cs.LG
PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning
NVIDIA(英伟达)
在这项工作中,我们提出了一个基于强化学习(RL)的方法来设计并行前缀电路,如加法器或优先级编码器,是高性能数字设计的基础。与以前的方法不同,我们的方法纯粹通过循环中的综合学习来设计解决方案。我们设计了一个基于网格的状态-动作表示和一个用于构造合法前缀电路的RL环境。在此环境中训练的深度卷积RL代理生成前缀加法器电路,这些电路在32 b和64 b设置中分别以相同延迟的面积减少16.0%和30.2%的Pareto主导现有基线。我们观察到,用开源合成工具和单元库训练的代理可以设计加法器电路,其面积和延迟比工业单元库中的商业工具加法器更低。
2022-05-14 cs.AI cs.AR cs.LG
AstRL: Analog and Mixed-Signal Circuit Synthesis with Deep Reinforcement Learning
Department of Electrical Engineering and Computer Sciences University of California Berkeley(电子工程与计算机科学系加州大学伯克利分校)
AstRL通过深度强化学习实现模拟和混合信号电路的高效综合,首次在模拟中验证了专家对齐的通用电路生成方法,显著提升了设计效率和准确性。
2026-02-12 cs.AI cs.LG
Reinforcement learning with learned gadgets to tackle hard quantum problems on real hardware
Department of Physics, University of Helsinki(赫尔辛基大学物理系);Axiomatic AI
本文提出gadget reinforcement learning方法,通过学习合成程序自动构建复合门,提升量子电路设计的准确性、兼容性和可扩展性,应用于Ising模型和量子化学问题。
2026-03-18 cs.AI cs.LG quant-ph
CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文提出电路推理得分(CRS),利用对比消融识别的注意力头作为数据选择信号,在RLVR中低参与度数据反而带来更好训练效果,表明数据选择具有情境依赖性。
2026-09-09 cs.CL cs.LG
Placement in Integrated Circuits using Cyclic Reinforcement Learning and Simulated Annealing
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子科技公司)
随着集成电路(IC)技术的复杂性稳步提高,IC的物理设计和生产变得越来越具有挑战性。布局是集成电路物理设计中最关键的步骤之一。通过几十年的研究,基于分区、基于分析和基于退火的砂矿已经丰富了放置解决方案工具箱。然而,包括长运行时间和缺乏泛化能力的开放性挑战继续限制现有布局工具的更广泛应用。我们设计了一个基于学习的布局工具的基础上循环应用的强化学习(RL)和模拟退火(SA),利用RL的进步。结果表明,RL模块能够提供一个更好的初始化SA,从而导致更好的最终布局设计。与其他最近的基于学习的布局器相比,我们的方法主要不同之处在于它结合了RL和SA。它利用RL模型在训练后快速获得良好粗略解决方案的能力和启发式算法在解决方案中实现贪婪改进的能力。
2020-11-15 cs.AI cs.LG
Quantum Deep Reinforcement Learning for Robot Navigation Tasks
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
该研究将混合量子深度强化学习应用于机器人导航任务,发现参数数量相当时量子电路性能优于经典基线,但经典模型在训练效率、稳定性及复杂动态环境鲁棒性上更具优势。
2024-06-24 cs.LG cs.RO quant-ph
Rethinking Reinforcement Learning based Logic Synthesis
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,强化学习已被用于通过将算子序列优化问题公式化为马尔可夫决策过程来解决逻辑综合。然而,通过大量的实验,我们发现学习的策略做出的决策独立于电路特征(即,状态)并产生在某种程度上就算子而言是置换不变的算子序列。基于这些发现,我们开发了一种新的基于RL的方法,可以自动识别关键运营商和生成常见的运营商序列推广到看不见的电路。我们的算法在EPFL基准测试,私人数据集和工业规模的电路上进行了验证。实验结果表明,该算法在延迟、面积和运行时间之间取得了较好的平衡,具有一定的工业实用价值。
2022-06-27 cs.AR cs.LG
Curriculum reinforcement learning for quantum architecture search under hardware errors
Leiden University(莱顿大学);Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息研究所);Silesian University of Technology(西里西亚工业大学);Warsaw University of Technology(华沙工业大学);Lorentz Institute(洛伦兹研究所);LIACS, Leiden University(莱顿大学高级计算机科学研究所)
针对噪声环境下量子架构搜索的空白,提出基于课程的强化学习算法CRLQAS,通过3D编码、回合停止和SPSA优化器,在量子化学任务中优于现有算法。
2024-02-05 cs.AI cs.LG quant-ph
Multi-Agent Reinforcement Learning for Inverse Design in Photonic Integrated Circuits
本文提出多智能体强化学习算法,通过离散化设计空间为网格并分解为数千个智能体,以少量样本优化光子集成电路逆向设计,在二维和三维任务中超越传统梯度方法。
2025-06-23 cs.AI cs.LG
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering(机械与航空航天工程系)
SymCircuit通过熵正则化强化学习替代贪心算法,实现概率电路结构学习,采用语法约束的自回归Transformer生成有效电路,并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Neural Control
University of Washington(华盛顿大学)
我们提出了一种基于深度强化学习的神经回路控制新方法。我们的方法通过产生现有神经回路的外部连续刺激(神经调制控制)或神经回路结构的调制(连接体控制)来实现目标行为。由于神经活动的非线性和循环复杂性,这两种形式的控制都具有挑战性。为了推断候选控制策略,我们的方法将神经回路和它们的连接体映射到一个网格世界中,并推断实现目标行为所需的动作。这些动作是通过适应深度Q学习方法来推断的,这些方法以其在导航网格世界中的强大性能而闻名。我们将我们的方法应用于\textit{C. elegans}模型,该模型模拟了具有肌肉和身体的完整的躯体神经系统。我们的框架成功地推断神经肽电流和突触结构控制的趋化性。我们的研究结果是一致的,在体内测量,并提供了额外的见解趋化性的神经控制。我们进一步证明了我们的方法的一般性和可扩展性,从零开始推断趋化神经回路。
2020-06-12 cs.AI cs.LG cs.SY
On Representation Complexity of Model-based and Model-free Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
该研究从电路复杂度角度探究基于模型与无模型强化学习的表示复杂度,理论证明存在MDPs中环境模型易表示但最优Q函数复杂度极高,并通过Mujoco实验验证,为两类算法的样本复杂度差异提供了新解释。
2024-03-11 cs.LG
SQARL: A Size-Agnostic Reinforcement Learning approach for Circuit Allocation in Distributed Quantum Architectures
Computer Science Department, Universitat Polit\`ecnica de Catalunya - BarcelonaTech (UPC);High Performance Artificial Intelligence group, Barcelona Supercomputing Center
针对分布式量子计算中的量子比特分配问题,提出一种基于Transformer的灵活强化学习架构,无需重新训练即可处理任意数量的量子比特和核心,在分配成本上比匈牙利量子比特分配算法降低33%。
2026-05-26 cs.LG
Quantum Architecture Search via Continual Reinforcement Learning
Boston University(波士顿大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
量子计算已经承诺在解决困难的计算任务方面比经典计算机有显著的改进。然而,设计实用的量子线路并不是一个简单的目标,需要专家级的知识。为了帮助这一努力,本文提出了一种基于机器学习的方法来构建量子线路架构。以前的工作已经证明,经典的深度强化学习(DRL)算法可以成功地构建量子线路架构,而无需编码的物理知识。然而,这些基于DRL的工作不能推广到具有变化的设备噪声的设置,因此需要大量的训练资源来保持RL模型最新。考虑到这一点,我们结合了持续学习来提高算法的性能。在本文中,我们提出了带有深度Q学习的概率策略重用(PPR-DQL)框架来解决这一电路设计挑战。通过对各种噪声模式进行数值模拟,我们证明了具有PPR的RL代理能够比从头开始训练的代理更快地找到量子门序列来生成两个量子比特的Bell状态。所提出的框架是通用的,可以应用于其他量子门的合成或控制问题-包括量子器件的自动校准。
2021-12-10 cs.AI cs.ET cs.LG
Enhancing variational quantum state diagonalization using reinforcement learning techniques
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所);Silesian University of Technology(西里西亚理工大学);Warsaw University of Technology(华沙理工大学);Leiden University(莱顿大学)
本文利用强化学习设计极浅量子电路,通过新颖状态编码、稠密奖励和ε-greedy策略,实现了比标准变分量子态对角化算法更浅的电路,适用于硬件深度受限场景。
2024-01-11 cs.AI cs.LG quant-ph