Discovery of an exchange-only gate sequence for CNOT with record-low gate time using reinforcement learning
针对交换门量子计算中逻辑门序列过长导致退相干和控制误差的问题，该研究应用强化学习优化CNOT和CZ双量子比特门的交换门序列，实现了总门时间的显著缩短与保真度提升。
2024-02-16 cond-mat.mes-hall quant-ph
Experimental hybrid quantum-classical reinforcement learning by boson sampling: how to train a quantum cloner
我们报告了一个经典控制驱动的机器学习量子门的实验实现。门在强化学习场景中学习最佳相位协变克隆，该场景具有克隆的保真度作为奖励。在我们的实验中，门学习实现几乎最佳的克隆保真度允许这类特殊的状态。这证明了将量子信息处理与经典控制相结合的混合机器学习方法在当今的可行性和实用性。此外，我们的实验可以直接推广到更大的干涉仪，经典计算机的计算成本远远低于玻色子采样的成本。
2019-06-13 quant-ph
Fast quantum gate design with deep reinforcement learning using real-time feedback on readout signals
提出一种基于双智能体深度强化学习的无模型量子门设计算法，利用硬件实时读出信号反馈，在匹配默认门保真度和泄漏率的同时将门速度提升两倍。
2023-05-02 quant-ph
Using Reinforcement Learning to Perform Qubit Routing in Quantum Compilers
“量子位路由”是指修改量子线路以使它们满足目标量子计算机的连通性约束的任务。这涉及到将SWAP门插入电路中，使得逻辑门只发生在相邻的物理量子位之间。我们的目标是尽量减少交换门增加的电路深度。在本文中，我们提出了一种量子比特路由过程，该过程使用了深度Q学习范式的修改版本。该系统能够超越目前可用的两个最先进的量子编译器的量子位路由程序，在随机和现实电路上，跨越近期的架构大小。
2020-07-31 quant-ph
Quantum Compiling by Deep Reinforcement Learning
电路量子计算机的体系结构要求计算层致力于将高级量子算法编译成量子门的低级电路。量子编译的一般问题是将描述量子计算的任何幺正变换近似为从通用量子门的有限基中选择的元素序列。Solovay-Kitaev定理保证了一个量子比特量子门的近似序列的存在性，这意味着显式地建立它的次优算法。由于酉变换可能需要显著不同的门序列，取决于所考虑的基础，这样的问题是非常复杂的，不承认一个有效的近似算法。因此，传统的方法是耗时的任务，不适合在量子计算期间使用。我们利用深度强化学习方法作为一种替代策略，它在搜索时间和利用时间之间具有显著不同的权衡。深度强化学习允许在任意长的训练期之后实时创建单量子比特操作，在此期间建立用于创建序列以近似酉算子的策略。基于深度强化学习的编译方法允许快速计算时间，原则上可以用于实时量子编译。
2021-05-31 quant-ph
Deep reinforcement learning for near-deterministic preparation of cubic- and quartic-phase gates in photonic quantum computing
Department of Physics, University of Virginia（弗吉尼亚大学物理系）；Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学查尔斯·L·布朗电气与计算机工程系）
本文利用深度强化学习训练神经网络，以高成功率制备连续变量量子计算中的立方相态，无需非高斯资源，同时直接生成四次相门。
2025-06-10 cs.LG quant-ph
Hybrid Action Reinforcement Learning for Quantum Architecture Search
School of Computing Technologies, RMIT University（RMIT大学计算技术学院）；Sportsbet；Data61, CSIRO（CSIRO数据六十一）
HyRLQAS通过混合动作强化学习框架，联合学习量子电路门放置与参数初始化，实现高效优化分子基态能量，展现优于现有方法的性能。
2026-01-29 quant-ph
Experimental Deep Reinforcement Learning for Error-Robust Gateset Design on a Superconducting Quantum Computer
量子计算机有望对各种应用产生巨大的影响，并在硬件工程方面取得了巨大的进步，但仍然是出了名的容易出错。低级别控制的精心设计已被证明可以补偿引起硬件错误的过程，利用来自最佳和鲁棒控制的技术。然而，这些技术在很大程度上依赖于高度准确和详细的物理模型的可用性，这些物理模型通常仅针对最简单的操作和一般噪声模式实现足够的代表性保真度。在这项工作中，我们使用深度强化学习在超导量子计算机上设计一组通用的错误鲁棒量子逻辑门，而不需要系统的特定哈密顿模型，其控制或其潜在的错误过程的知识。我们通过实验证明，一个完全自主的深度强化学习代理可以设计单量子位门高达$3\times$比默认的DRAG操作更快，而不会产生额外的泄漏错误，并表现出对校准漂移数周的鲁棒性。然后，我们表明，$ZX(-π/2)$操作使用交叉共振相互作用可以超过硬件默认门超过$2\times$，并等效地表现出卓越的无校准性能优化后25天使用各种指标。我们将深度强化学习衍生门的性能与其他黑盒优化技术进行了基准测试，表明即使在硬件访问有限的情况下，深度强化学习也可以实现相当或略优的性能。
2021-05-03 cond-mat.other quant-ph
Unitary Synthesis of Clifford+T Circuits with Reinforcement Learning
该研究提出基于Gumbel AlphaZero树搜索的深度强化学习方法，解决无参数Clifford+T门集合的酉综合问题，在多量子比特场景下综合效率优于多款现有工具，为后续酉综合算法提供强基线。
2024-09-03 quant-ph
Quantum circuit optimization using deep reinforcement learning: Applications across multiple gate sets
Hanyang University（汉阳大学）；Hanyang Institute for Quantum Science and Quantum Technology, Hanyang University（汉阳大学量子科学与量子技术研究所）；Research Institute for Natural Sciences, Hanyang University（汉阳大学自然科学研究院）
该研究提出将CR算法嵌入强化学习环境的框架，在两类门集上实现更短量子电路，训练于小电路的RL可应用于大电路，为量子系统编译优化提供稳健方法。
2026-08-20 quant-ph
Model-free Quantum Gate Design and Calibration using Deep Reinforcement Learning
高保真量子门设计对于量子计算和量子通信等各种量子技术都具有重要意义。在量子系统的动力学模型下，已经提出了许多用于量子门设计的控制策略。然而，量子系统通常对噪声高度敏感，并且对于许多实际应用而言，获得其精确建模可能是困难的。因此，基于量子系统模型的控制策略对于量子门设计可能是不实用的。此外，量子测量使量子态坍缩，这使得在控制过程中通过测量获得信息具有挑战性。在本文中，我们提出了一种新的训练框架，使用深度强化学习进行无模型量子控制。所提出的框架仅依赖于控制过程结束时的测量，并提供了在学习过程中无需访问量子系统即可找到最优控制策略的能力。数值模拟表明，所提出的技术的有效性无模型量子门设计和量子门校准使用离政策强化学习算法。
2023-02-07 cs.SY eess.SY quant-ph
Universal Quantum Control through Deep Reinforcement Learning
使用深度神经网络的新兴强化学习技术在控制优化方面表现出了巨大的潜力。它们利用噪声控制轨迹的非局部扰动，并促进任务之间的迁移学习。为了利用这些强大的量子控制优化功能，我们提出了一个新的控制框架，以同时优化量子计算的速度和保真度，以防止泄漏和随机控制错误。对于多电子系统的量子模拟中重要的两量子比特幺正门，我们通过在训练环境中添加控制噪声来提高控制鲁棒性，以训练可信区域策略优化的强化学习代理。代理控制解决方案表明，两个数量级的减少平均门误差基线随机梯度下降的解决方案和一个数量级的减少门时间从最佳门合成同行。
2018-04-16 math.OC quant-ph
Hybrid discrete-continuous compilation of trapped-ion quantum circuits with deep reinforcement learning
本文提出一种结合梯度优化与深度强化学习的混合离散-连续方法，用于缩短离子阱量子电路，并引入经典模拟框架，显著减小电路规模，适用于未知酉过程复现。
2025-01-27 quant-ph
TATVA: A Reinforcement Learning Framework for Quantum Circuit Synthesis
K.K. Wagh Institute of Engineering Education and Research（K.K. Wagh工程教育与研究所）
提出TATVA强化学习框架，将量子电路综合视为序列决策问题，结合DQN和PPO并行架构，实现5量子比特、保真度0.999999的紧凑电路合成，并支持泛化。
2026-10-02 quant-ph
Meta-learning assisted robust control of universal quantum gates with uncertainties
针对退相干和脉冲不完美导致的量子门保真度下降问题，提出双层学习框架的元强化学习量子控制算法（metaQctrl），在不确定性下以更少脉冲实现更高保真度的通用量子门。
2025-05-04 quant-ph
Reinforcement learning entangling operations on spin qubits
针对可扩展量子计算需高保真度量子门控制的问题，提出强化学习方法为双量子点半导体单态-三重态量子比特寻找纠缠协议，能在实验约束下生成高性能协议，避免传统方法模型偏差并优化不同任务。
2025-08-20 quant-ph
Designing high-fidelity multi-qubit gates for semiconductor quantum dots through deep reinforcement learning
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
在本文中，我们提出了一个机器学习框架，以设计基于硅中量子点的量子处理器的高保真多量子比特门，量子比特编码在单电子的自旋中。在这种硬件架构中，控制景观是巨大而复杂的，因此我们使用深度强化学习方法来设计最佳控制脉冲，以实现高保真多量子比特门。在我们的学习模型中，模拟器模拟量子点的物理系统并执行系统的时间演化，深度神经网络作为函数逼近器来学习控制策略。我们在系统的全状态空间中演化哈密顿量，并实施现实的约束，以确保实验的可行性。
2020-06-15 cs.LG cs.SY eess.SY
Reinforcement Learning Based Quantum Circuit Optimization via ZX-Calculus
本文提出一种基于ZX演算图论简化规则的强化学习方法，利用PPO和图神经网络训练智能体优化量子电路，在Clifford+T电路及更大规模结构化电路上改进了门数最先进水平，适用于NISQ时代量子算法实现。
2025-05-22 quant-ph
Reinforcement Learning for Digital Quantum Simulation
数字量子模拟是量子计算机的一个很有前途的应用。它们的自由编程能力提供了通过一系列基本量子门（通常使用Trotterization实现）离散时间演化算子来模拟具有有界谱的任何多体哈密顿量的幺正演化的潜力。在这种情况下，一个根本的挑战源于所涉及的量子门的实验缺陷，这严重限制了在合理的精度内可达到的门的数量，因此，可实现的系统大小和模拟时间。在这项工作中，我们引入了一个强化学习算法，系统地建立优化的量子电路的数字量子模拟上施加一个强约束的数量允许的量子门。有了这个，我们一致地获得量子线路，再现物理观测与三个纠缠门长时间和大系统尺寸。作为具体的例子，我们应用我们的形式主义的一个长期的伊辛链和格Schwinger模型。我们的方法使得在现有的实验技术范围内进行更大规模的数字量子模拟成为可能。
2020-06-29 cond-mat.other quant-ph
Quantum Circuit Discovery for Fault-Tolerant Logical State Preparation with Reinforcement Learning
Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）；RWTH Aachen University（亚琛工业大学）
针对基于标记协议的容错量子电路缺乏明确设计方法的问题，提出用强化学习自动发现紧凑且适配硬件的电路，在逻辑态制备任务中门和辅助量子比特更少，还支持探索连通性与迁移学习，为多类容错电路发现提供新路径。
2024-05-17 quant-ph
Topological Quantum Compiling with Reinforcement Learning
Tsinghua University（清华大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Peking University（北京大学）；Shanghai Qi Zhi Institute（上海期智研究院）
量子编译是将量子算法分解为一系列硬件兼容的命令或基本门的过程，对量子计算具有重要意义。我们介绍了一种基于深度强化学习的高效算法，该算法将任意单量子比特门编译为来自有限通用集的基本门序列。它生成具有给定精度的接近最优的门序列，并且通常适用于各种场景，独立于硬件可行的通用集并且不使用辅助量子位。具体地说，我们将该算法应用于Fibonacci任意子的拓扑编译，得到了任意单比特幺正的近似最优编结序列。我们的算法可能会延续到其他具有挑战性的量子离散问题，从而为量子物理学中深度学习的有趣应用开辟了一条新途径。
2020-10-21 cond-mat.dis-nn cs.LG quant-ph
A Reinforcement Learning Environment for Directed Quantum Circuit Synthesis
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
本文提出一个基于Clifford+T门集的量子电路综合强化学习环境，研究电路深度与目标初始化深度及量子比特数的关系，并通过PPO训练的智能体在2量子比特Bell态上验证了最小电路设计能力。
2024-01-13 cs.AI quant-ph
Optimizing Quantum Circuits via ZX Diagrams using Reinforcement Learning and Graph Neural Networks
提出基于ZX calculus、图神经网络和强化学习的量子线路优化框架，通过训练直接作用于ZX图的强化学习策略结合树搜索，有效减少CNOT门数量，展现竞争力与泛化能力。
2025-04-04 cs.LG quant-ph
Quantum Architecture Search via Deep Reinforcement Learning
University of Maryland（马里兰大学）；Joint Quantum Institute（联合量子研究所）；Brookhaven National Laboratory（布鲁克海文国家实验室）
量子计算的最新进展引起了人们对构建和使用量子计算机的实际应用的极大关注。然而，设计合适的量子线路架构需要专业知识。例如，用尽可能少的门来设计用于生成特定量子态的量子门序列是不平凡的。我们提出了一个具有深度强化学习（DRL）功能的量子架构搜索框架来应对这一挑战。在提出的框架中，DRL代理只能访问Pauli- $X$，$Y$，$Z$期望值和一组预定义的量子操作学习的目标量子态，并优化的优势演员-评论家（A2 C）和邻近策略优化（PPO）算法。我们证明了一个成功的生成多量子比特GHZ态的量子门序列，而无需在代理中编码任何量子物理知识。我们的框架的设计是相当普遍的，可以与其他DRL架构或优化方法，研究门综合和编译许多量子态。
2021-04-15 cs.AI cs.LG cs.NE
Reinforcement Learning for Quantum Circuit Design: Using Matrix Representations
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对NISQ时代下量子电路自动映射到通用门集的挑战，本文提出通用的MDP建模，并采用Q-learning和DQN算法进行量子电路设计，提供了一种超越传统手工启发式方法的自动化、可扩展方案。
2025-01-27 cs.AI quant-ph
Equivariant Reinforcement Learning for Clifford Quantum Circuit Synthesis
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Quantinuum（Quantinuum公司）；College of Computing and Data Science, Nanyang Technological University, Singapore（新加坡南洋理工大学计算科学与数据科学学院）
本文提出了一种等变神经网络架构，用于在所有到所有量子比特连接设备上合成Clifford量子电路，通过强化学习发现最优门序列，实现高效电路合成。
2026-11-09 cs.LG quant-ph
Beyond Reinforcement Learning: Fast and Scalable Quantum Circuit Synthesis
University of Bonn（波恩大学）
本文提出一种基于监督学习和随机束搜索的量子电路合成方法，通过近似最小描述长度实现快速且高效的量子门序列生成，提升了复杂电路的成功率和合成效率。
2026-02-18 cs.LG quant-ph
Ultrahigh-fidelity spatial mode quantum gates in high-dimensional space by diffractive deep neural networks
针对光子空间模式在量子计算中潜力未被充分探索的问题，本研究利用衍射深度神经网络（D2NNs）构建高维量子门，实现高达99.6(2)%的保真度，验证了Deutsch算法并提出智能部署协议，为深度学习设计量子门提供了新途径。
2024-11-25 physics.optics quant-ph
Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes
Quantinuum
本文提出利用强化学习自适应组合量子电路优化传递，有效提升优化效果。
2026-11-06 cs.LG quant-ph
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University（斯坦福大学）；Rigetti Computing（里盖蒂计算公司）
我们开发了一种基于激励的混合量子经典计算系统的编程方法，使用强化学习，并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例，通过强化学习技术训练的智能体能够生成短量子程序，这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题，以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Quantum Logic Gate Synthesis as a Markov Decision Process
Rigetti Computing（里盖蒂计算公司）；Quantum Artificial Intelligence Laboratory (QuAIL), NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心量子人工智能实验室）；USRA Research Institute for Advanced Computer Science (RIACS)（美国空间研究协会高级计算机科学研究所）；University of Maryland（马里兰大学）；Ames Laboratory（艾姆斯实验室）；Iowa State University（爱荷华州立大学）；Department of Physics and Astronomy, Iowa State University（爱荷华州立大学物理与天文学系）
本文研究了将量子编程中的状态制备和门编译任务建模为马尔可夫决策过程（MDP）的可行性，通过策略迭代精确求解单量子比特离散MDP的最优策略，找到了实现高保真度的最短门序列，并证明了强化学习在量子编程中的适用性。
2022-07-05 cs.LG quant-ph
Deep Reinforcement Learning Control of Quantum Cartpoles
University of Tokyo（东京大学）；RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所创发物性科学研究中心）
我们将强化学习的标准基准，经典的cartpole平衡问题，通过测量和反馈将粒子稳定在不稳定的势中，从而将其推广到量子领域。我们使用最先进的深度强化学习来稳定量子cartpole，并发现我们的深度学习方法比标准控制理论中的其他策略表现更好。我们的方法也适用于量子振荡器的测量反馈冷却，显示了深度学习对一般连续空间量子控制的适用性。
2020-09-05 cs.LG quant-ph
F2: Offline Reinforcement Learning for Hamiltonian Simulation via Free-Fermionic Subroutine Compilation
University of Pennsylvania（宾夕法尼亚大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
F2通过离线强化学习和自由费米子结构编译，有效提升量子电路合成效率，减少门数和深度，误差控制在10^(-7)以内。
2025-12-10 cond-mat.mtrl-sci quant-ph
Reinforcement Learning for Optimizing Large Qubit Array based Quantum Sensor Circuits
Cleveland State University（克利夫兰州立大学）
本文将强化学习与MPS张量网络仿真结合，用于最多60量子比特的量子传感器电路优化，在提升QFI与纠缠熵的同时显著降低门数和电路深度。
2025-08-28 cs.AI quant-ph
Reinforcement learning with learned gadgets to tackle hard quantum problems on real hardware
Department of Physics, University of Helsinki（赫尔辛基大学物理系）；Axiomatic AI
本文提出gadget reinforcement learning方法，通过学习合成程序自动构建复合门，提升量子电路设计的准确性、兼容性和可扩展性，应用于Ising模型和量子化学问题。
2026-03-18 cs.AI cs.LG quant-ph
Enhancing Quantum Memory Lifetime with Measurement-Free Local Error Correction and Reinforcement Learning
Harvard University（哈佛大学）
本研究提出无测量局部纠错的强化学习优化框架，在亚阈值门错区域下对二维伊辛模型、四维环面码的量子存储器寿命提升优于传统Toom规则方案，还可减少中段读取并适用于拓扑量子态耗散制备。
2024-12-03 cs.LG physics.comp-ph quant-ph
Reinforcement Learning Generation of 4-Qubits Entangled States
1 Departamento de F\' sica Te\'orica, Universidad Complutense, 28040 Madrid, Spain. 2 CCS-Center for Computational Simulation, Campus de Montegancedo UPM, 28660 Boadilla del Monte, Madrid, Spain.
本研究利用Q-learning强化学习算法自动生成四量子比特纠缠态，覆盖所有九个纠缠家族，并通过状态链接图优化量子电路，实现最优构造。
2022-10-27 cs.AI cs.LG quant-ph
Hybrid Reward-Driven Reinforcement Learning for Efficient Quantum Circuit Synthesis
本文提出一种混合奖励驱动强化学习方法，用于高效合成量子电路，通过结合静态奖励和动态惩罚，优化电路深度和门数，提升量子电路综合效率。
2026-02-17 cs.AI cs.LG quant-ph
Quantum Architecture Search via Continual Reinforcement Learning
Boston University（波士顿大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
量子计算已经承诺在解决困难的计算任务方面比经典计算机有显著的改进。然而，设计实用的量子线路并不是一个简单的目标，需要专家级的知识。为了帮助这一努力，本文提出了一种基于机器学习的方法来构建量子线路架构。以前的工作已经证明，经典的深度强化学习（DRL）算法可以成功地构建量子线路架构，而无需编码的物理知识。然而，这些基于DRL的工作不能推广到具有变化的设备噪声的设置，因此需要大量的训练资源来保持RL模型最新。考虑到这一点，我们结合了持续学习来提高算法的性能。在本文中，我们提出了带有深度Q学习的概率策略重用（PPR-DQL）框架来解决这一电路设计挑战。通过对各种噪声模式进行数值模拟，我们证明了具有PPR的RL代理能够比从头开始训练的代理更快地找到量子门序列来生成两个量子比特的Bell状态。所提出的框架是通用的，可以应用于其他量子门的合成或控制问题-包括量子器件的自动校准。
2021-12-10 cs.AI cs.ET cs.LG
