Verifying Neural Networks with Reinforcement Learning
George Mason University（乔治梅森大学）
本文提出RSB，一种基于强化学习的框架，通过训练演员-评论家模型优化分支启发式，在600个实例上多解决11%并减少50%分支探索，提升DNN形式化验证效率。
2026-09-29 cs.LG cs.SE
Action Branching Architectures for Deep Reinforcement Learning
Imperial College London（帝国理工学院）
离散动作算法是深度强化学习最近许多成功的核心。然而，将这些算法应用于高维动作任务需要处理可能动作的数量与动作维度的数量的组合增加。对于需要通过离散化对动作进行精细控制的连续动作任务，该问题进一步恶化。在本文中，我们提出了一种新的神经架构，具有一个共享的决策模块，然后是几个网络分支，每个动作维度一个。这种方法通过允许每个单独动作维度的独立性水平，实现了网络输出的数量与自由度的数量的线性增加。为了说明这种方法，我们提出了一种新的代理，称为分支决斗Q网络（BDQ），作为决斗双深Q网络（决斗DDQN）的分支变体。我们评估我们的代理在一组具有挑战性的连续控制任务的性能。实证结果表明，所提出的代理规模优雅的环境与行动维度的增加，并表明在协调分布式行动分支的共享决策模块的意义。此外，我们表明，所提出的代理执行竞争力对国家的最先进的连续控制算法，深度确定性策略梯度（DDPG）。
2019-01-25 cs.AI cs.LG
SORREL: Suboptimal-Demonstration-Guided Reinforcement Learning for Learning to Branch
Carnegie Mellon University（卡内基梅隆大学）
本文提出SORREL，一种基于价值估计选择性利用次优演示的强化学习方法，用于学习分支策略，在多种MILP上显著提升分支质量和训练效率。
2025-02-25 cs.LG
Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach
Department of Infrastructure Engineering, Faculty of Engineering and Information Technology, The University of Melbourne, VIC 3010, Australia（工程与信息技术学院基础设施工程系，墨尔本大学）
本文提出了一种以人为中心的多智能体动作分支深度强化学习方法，通过分解交通走廊控制并优化旅行者公平性，有效减少受延迟旅行者数量，提升交通信号系统的公平性和可扩展性。
2026-02-03 cs.LG cs.SY eess.SY
Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；McGill Univeristy（麦吉尔大学）；City University of Hong Kong（香港城市大学）
研究基于可执行沙盒的大语言模型智能体强化学习，提出分支策略优化（BPO）算法，利用沙盒特性构建新展开拓扑，通过自适应快照、分叉动作等方式计算优势，实验验证该算法能提升成功率、降低方差并减少策略更新。
2026-07-17 cs.CL cs.LG
EPIG-Tree: Compute-Optimal Branching for Gradient-Efficient Reinforcement Learning
本文提出EPIG-Tree，将树状回放构建视为计算分配问题，通过总方差分解推导分支分配法则，以最小化策略梯度不确定性，实验证明其在连续控制和多轮Wordle中优于GRPO和熵分支。
2026-09-18 cs.AI cs.LG
Reinforcement Learning for Variable Selection in a Branch and Bound Algorithm
EDF R&D（法国电力研发中心）；CNAM Paris（巴黎国立工艺美术学院）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
混合整数线性规划问题通常采用分枝定界算法求解。最成功的商业求解器的效率的一个关键因素是它们的微调算法。在本文中，我们利用现实世界中的模式，从头开始学习一个新的分支策略，针对给定的问题进行优化，并将其与商业求解器进行比较。我们提出了FMSTS，一种新的强化学习方法，专门为这项任务而设计。我们的方法的优势在于局部价值函数和全局度量之间的一致性。此外，我们提供的见解适应已知的RL技术的分支和界限设置，并提出了一个新的神经网络架构的启发，从文献。据我们所知，这是第一次使用强化学习来完全优化分支策略。计算实验表明，我们的方法是适当的，能够很好地推广到新的情况。
2020-05-20 cs.LG stat.ML
AoI-Aware Task Offloading and Transmission Optimization for Industrial IoT Networks: A Branching Deep Reinforcement Learning Approach
Laboratory of Future Networks, University of Science and Technology of China（未来网络实验室，中国科学技术大学）；Deep Space Exploration Laboratory（深空探测实验室）；Department of Computing, The Hong Kong Polytechnic University（computing系，香港理工大学）
针对工业物联网状态更新时效性问题，提出Branching-D3QN联合优化任务卸载，并结合半正定性质进行资源分配，显著提升收敛速度并降低长期平均AoI。
2025-10-18 cs.LG cs.SY eess.SY
Branching Time Active Inference with Bayesian Filtering
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
分支时间主动推理（Champion等人，2021 b，a）是一个框架，建议将规划视为贝叶斯模型扩展的一种形式。其根源可以在Active Inference（Friston et al.，2016; Da Costa等人，2020; Champion等人，2021 c），一种广泛用于大脑建模的神经科学框架，以及蒙特卡罗树搜索（Browne et al.，2012），这是一种广泛应用于强化学习文献中的方法。到目前为止，潜变量的推断是通过利用变分消息传递（Winn和Bishop，2005）提供的灵活性来进行的，这是一个迭代过程，可以理解为沿着因子图的边缘发送消息（Forney，2001）。在本文中，我们利用了一种称为贝叶斯过滤（Fox et al.，2003），它不需要迭代的更新方程，直到收敛的变分自由能。相反，该方案在两个阶段之间交替：整合证据和预测未来状态。这两个阶段都可以有效地执行，这提供了超过现有技术的70倍的速度。
2021-12-14 cs.LG
TreeRL: LLM Reinforcement Learning with On-Policy Tree Search
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对同策略LLM强化学习中树搜索应用不足的问题，提出TreeRL框架，融入同策略树搜索且无需单独奖励模型，搭配高不确定性分支的高效树搜索，在数学与代码推理基准上性能优于传统ChainRL并已开源。
2025-06-13 cs.CL cs.LG
Highway Graph to Accelerate Reinforcement Learning
Yunnan Normal University（云南师范大学）；Adelaide University（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；University of Edinburgh（爱丁堡大学）
本文提出highway graph，将无分支多步状态转移压缩为单条边以加速价值传播，并集成到RL中，在四类环境中实现10至150倍的学习加速且保持更优回报。
2025-01-07 cs.LG
Learning from Algorithm Feedback: One-Shot SAT Solver Guidance with GNNs
RWTH Aachen University（亚琛工业大学）
本文提出RLAF范式，用GNN一次性引导SAT求解器分支启发式，以求解成本为奖励训练，显著提速并超越专家监督方法。
2025-05-21 cs.LG
SeaPearl: A Constraint Programming Solver guided by Reinforcement Learning
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎综合理工大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
设计求解组合优化问题的高效通用算法是一个活跃的研究领域。标准的精确求解方法是基于对解集的巧妙而完整的枚举。使用这种方法的一个关键和重要的设计选择是分支策略，它指导如何执行搜索。在过去的十年中，人们对设计基于机器学习的算法来解决组合优化问题表现出越来越大的兴趣。目标是利用历史数据中的知识来解决问题的类似新实例。单独使用时，这种算法只能有效地提供近似解，但不能证明其解的最优性或边界。最近的工作表明，强化学习可以成功地用于驱动约束规划（CP）求解器的搜索阶段。然而，也已经表明，这种混合是具有挑战性的建设，因为标准的CP框架不包括原生的机器学习机制，导致一些低效率的来源。本文介绍了SeaPearl的概念证明，这是一种在Julia中实现的新CP求解器，它支持机器学习例程，以便使用强化学习来学习分支决策。还提供了对学习组件建模的支持。我们说明了两个问题的建模和解决方案的性能，这个新的求解器。虽然还没有与工业求解器竞争，但SeaPearl旨在提供一个灵活的开源框架，以促进未来约束编程和机器学习混合的研究。
2021-04-20 cs.AI cs.LG
Reinforcement Learning of Implicit and Explicit Control Flow in Instructions
University of Michigan（密歇根大学）；Weinberg Institute for Cognitive Science（温伯格认知科学研究所）
学习在动态环境中灵活地遵循任务指令对强化学习代理提出了有趣的挑战。我们在这里集中在学习控制流的问题，偏离了严格的一步一步执行的指令-也就是说，控制流，可能会跳过部分的指令或返回到以前完成或跳过的步骤。这种灵活的控制需求出现在两个基本的方式：显式控制时，指定的指令本身（如条件分支和循环）和隐式时，随机环境动态要求重新完成的指令，其影响已经受到干扰，或机会主义跳过的指令，其影响已经存在。我们制定了一个基于注意力的架构，通过学习，从任务奖励，灵活地注意和条件的内部编码的指令行为，以满足这些挑战。我们测试的架构的能力，学习显式和隐式控制在两个说明性的领域-一个由我的世界和其他星际争霸的启发-并表明，该架构表现出zero-shot泛化到新的指令的长度大于那些在训练集中，在性能水平无法比拟的两个基线经常性的架构和一个消融架构。
2021-06-29 cs.LG
A Markov Decision Process for Variable Selection in Branch & Bound
EDF R&D（EDF研发部）；CNAM Paris（CNAM巴黎分校）；ENSTA IP Paris（ENSTA IP巴黎分校）；ISAE-SUPAERO
本文提出BBMDP，一个用于分支定界中变量选择的标准马尔可夫决策过程框架，可适配多种强化学习算法，实验证明其在四个标准MILP基准上优于现有最先进RL智能体。
2025-10-22 cs.LG
Reinforcement Learning Enables Autonomous Microrobot Navigation and Intervention in Simulated Blood Capillaries
Institute for Computational Physics, University of Stuttgart（斯图加特大学计算物理研究所）
开发基于物理的毛细血管网络仿真，利用深度强化学习训练微机器人通过趋化性导航，发现多种通用策略并实现靶向血流阻塞与恢复。
2026-06-26 cs.LG cs.RO physics.bio-ph
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University（哥伦比亚大学）
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统，用于中国象棋的自我对弈与自我改进，克服高分支因子和不对称棋子动态等挑战，推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning
Northeastern University, Shenyang, China（东北大学（沈阳））；Shenzhen Campus of Sun Yat-sen University, China（中山大学深圳校区）
针对测试时强化学习中高熵分支导致rollout崩溃和早期伪标签噪声引发过拟合的问题，提出熵-置信度混合组相对策略优化（ECHO），通过自适应分支控制和置信度剪枝缓解崩溃，并采用置信度自适应裁剪和优势塑造增强训练鲁棒性。
2026-05-27 cs.AI cs.LG
Discounted Pseudocosts in MILP
Polytechnique Montréal（蒙特利尔理工学院）；CERC
受强化学习折扣总回报启发，研究者提出MILP中的折扣伪成本概念，将前瞻性视角引入伪成本估计，初步实验显示其可改进分支策略、加快难MILP问题求解。
2024-07-07 cs.AI cs.LG math.OC
G-PCGRL: Procedural Graph Data Generation via Reinforcement Learning
University of Applied Sciences Mannheim（曼海姆应用科学大学）
本文提出 G-PCGRL，将图生成建模为邻接矩阵操纵的马尔可夫决策过程，扩展 PCGRL 以可控、快速可靠地生成游戏经济与技能树等图内容。
2024-07-15 cs.LG
Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
HDL通过事后分歧定位选择分支点，复用根前缀生成延续，减少生成成本并提升RLVR在数学、代码和智能体任务上的性能与效率。
2026-09-30 cs.LG
QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
QwenGyre 是一个端到端弹性强化学习框架，通过动态 GPU 分配和轨迹去重，高效训练超长时域智能体，在 NL2RepoBench 上提升 6.0%，并实现最高 1.85 倍加速。
2026-10-21 cs.DC cs.LG
Learning to branch with Tree MDPs
Delft University of Technology（代尔夫特理工大学）；Polytechnique Montréal（蒙特利尔工程学院）；Mila（米拉人工智能研究所）；Jacobs Technion-Cornell Institute（雅各布斯特克尼恩-康奈尔研究所）；Cornell Tech（康奈尔科技校区）；Technion - IIT（以色列理工学院）
最先进的混合线性规划（MILP）求解器将系统树搜索与大量硬编码的算法（如分支规则）相结合。最近，从数据中学习分支规则的思想受到越来越多的关注，并且通过学习强分支专家的快速近似已经获得了有希望的结果。在这项工作中，我们建议通过强化学习（RL）从头开始学习分支规则。我们重新审视了Etheve等人的工作。（2020）并提出了树马尔可夫决策过程，或树MDP，这是对时间MDP的概括，为学习分支提供了更合适的框架。我们推导出一个树的策略梯度定理，表现出更好的信用分配相比，它的时间对应。我们通过计算实验证明，树MDP提高学习收敛，并提供了一个很有前途的框架，解决学习分支问题的MILP。
2022-10-13 cs.LG math.OC
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
The University of Sydney（悉尼大学）
中国跳棋游戏是一个具有挑战性的完全信息的传统棋盘游戏，它与其他传统游戏的主要区别在于两个方面：第一，与国际象棋不同，所有跳棋都在游戏中无限地保留，因此搜索树的分支因子不会随着游戏的进行而减少;其次，与Go不同，搜索树的深度也没有上限，因为允许重复和向后移动。因此，即使在受限制的游戏实例中，游戏的状态空间仍然可以是无界的，这使得计算机程序具有挑战性。在这项工作中，我们提出了一种方法，有效地结合了使用算法，蒙特卡罗树搜索，和深度强化学习建立一个中国的机器人代理，而不使用任何人类的游戏数据。实验结果表明，我们的代理是胜任不同的情况下，达到有经验的人类球员的水平。
2019-03-08 cs.LG stat.ML
Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?
University of Oxford（牛津大学）；NVIDIA（英伟达）
我们提出了图- $Q$ -SAT，一个分支启发式的布尔SAT求解器训练与基于值的强化学习（RL）使用图神经网络函数逼近。使用Graph- $Q$ -SAT的求解器是完整的SAT求解器，可以提供令人满意的赋值或不可满足性证明，这是许多SAT应用程序所需的。SAT求解器中常用的分支算法在预热期间会做出糟糕的决策，而Graph- $Q$ -SAT则经过训练，可以检查特定问题实例的结构，以便在搜索早期做出更好的决策。训练图- $Q$ -SAT是数据高效的，不需要精心的数据集准备或特征工程。我们训练Graph- $Q$ -SAT使用RL接口与MiniSat求解器，并表明Graph- $Q$ -SAT可以减少2- 3倍的迭代次数来解决SAT问题。此外，它推广到不可满足的SAT实例，以及与5倍以上的变量比它是trainedon. We的问题表明，对于较大的问题，减少迭代次数导致挂钟时间减少，最终目标时，设计算法。我们还显示出积极的zero-shot传输行为时，测试图- $Q$ -SAT的任务家庭不同的训练。虽然需要更多的工作来应用Graph- $Q$ -SAT来减少现代SAT求解设置中的挂钟时间，但这是一个令人信服的概念验证，表明配备图神经网络的RL可以学习SAT搜索的通用分支启发式。
2020-11-25 cs.AI cs.LG
Multi-UAV Speed Control with Collision Avoidance and Handover-aware Cell Association: DRL with Action Branching
York University（约克大学）；École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
针对3D空中高速公路多无人机速度与小区关联优化问题，提出带动作分支的DRL架构及BDQ、Dueling DDQN模型，仿真较基准提升18.32%。
2024-01-22 cs.LG cs.RO cs.SY
Dynamic Multichannel Access via Multi-agent Reinforcement Learning: Throughput and Fairness Guarantees
Hanyang University（汉阳大学）
我们考虑一个多信道随机接入系统，其中每个用户在每个时隙访问一个单一的信道与接入点（AP）进行通信。用户随机到达系统，并在一定的时隙内被激活，然后从系统中消失。在这样的动态网络环境下，我们提出了一个分布式多通道接入协议的基础上，多代理强化学习（RL），以提高吞吐量和活跃用户之间的公平性。与以前的方法调整信道接入概率在每个时隙，建议RL算法确定性地选择一组信道接入策略，为几个连续的时隙。为了有效地降低所提出的RL算法的复杂性，我们采用了分支决斗Q网络架构，并提出了一种有效的训练方法，用于在时变用户集上产生适当的Q值。我们进行了广泛的模拟现实的交通环境，并证明了所提出的在线学习提高了吞吐量和公平性相比，传统的RL方法和集中式调度策略。
2021-05-10 cs.LG eess.SP
The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；Polytechnic University of Bucharest（布加勒斯特理工大学）；Google Deepmind（谷歌DeepMind）
决策人工智能智能体通常面临两个重要的挑战：规划视野的深度，以及由于有许多选择而产生的分支因子。分层强化学习方法旨在通过提供跳过多个时间步长的快捷方式来解决第一个问题。为了应对广度，最好在每一步将代理人的注意力限制在合理数量的可能选择上。启示的概念（Gibson，1977）表明，只有某些行为在某些状态下是可行的。在这项工作中，我们通过一个注意力机制，限制了时间扩展选项的可用选择模型“启示”。我们提出了一个在线的，无模型的算法来学习启示，可用于进一步学习子目标选项。我们研究了硬与软注意力在训练数据收集、长期任务中的抽象值学习以及处理越来越多的选择中的作用。我们确定并实证说明了选择悖论出现的设置，即当有更少但更有意义的选择提高了强化学习代理的学习速度和性能。
2022-01-24 cs.AI cs.LG
Reinforcement Learning for Search Tree Size Minimization in Constraint Programming: New Results on Scheduling Benchmarks
Faculty of Electrical Engineering, Czech Technical University in Prague（电气工程系，布拉格捷克技术大学）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克信息学、机器人学与自动化研究所，布拉格捷克技术大学）
本文将多臂老虎机强化学习算法引入失败导向搜索以最小化搜索树规模，并在JSSP和RCPSP调度基准上取得显著加速和下界改进。
2025-08-27 cs.LG
Spark: Strategic Policy-Aware Exploration via Dynamic Branching for Long-Horizon Agentic Learning
Tsinghua University（清华大学）；Peking University（北京大学）；Zhejiang University（浙江大学）
提出Spark框架，通过关键状态动态分支实现资源高效探索，在长周期任务中以更少样本取得更高成功率和泛化能力。
2026-06-23 cs.CL cs.LG
An Advantage-based Optimization Method for Reinforcement Learning in Large Action Space
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（教育部航空航天信息安全与可信计算重点实验室）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
针对大动作空间强化学习中的偏差问题，提出基于优势的优化方法ABQ，通过基线机制调整各维度动作值，在多个环境中超越BDQ并与连续动作算法竞争。
2024-12-17 cs.AI cs.LG
TreeDQN: Sample-Efficient Off-Policy Reinforcement Learning for Combinatorial Optimization
Sber AI Lab（Sber AI实验室）；Laboratory for Theoretical Foundations of AI Models, HSE University（人工智能模型理论基础实验室，HSE大学）
TreeDQN通过优化几何平均预期回报，提高了离策略强化学习在组合优化任务中的样本效率，并在合成任务和ML4CO竞赛中表现优异。
2026-05-20 cs.LG math.OC
SPROUT: Scaling Agentic Reinforcement Learning for Long-Horizon Software Engineering
RISE-X Lab, School of Computer Science, Shanghai Jiao Tong University（上海交大计算机学院 RISE-X 实验室）；Amazon（亚马逊）
SPROUT是一种基于快照的智能体强化学习框架，通过保存文件系统与智能体上下文实现长周期编码任务的高效规模化，在提升pass@k指标、降低token消耗与训练时间的同时，性能优于GRPO。
2026-10-14 cs.CL cs.LG cs.SE
HEX and Neurodynamic Programming
Indian Institute of Science（印度科学理工学院）
十六进制是一个复杂的游戏，具有高分支因子。这是第一次尝试在不使用博弈树结构和相关修剪方法的情况下解决十六进制问题。我们也放弃任何关于虚拟连接或半虚拟连接的启发式信息，这些信息以前曾在所有已知的计算机版本的游戏中使用过。H-搜索算法是找到这种连接的基础，并已成功地用于以前的十六进制播放代理已被放弃。相反，我们使用的是强化学习，通过自我发挥和近似通过神经网络绕过高分支因子和维护大型表的问题，状态动作评估。我们的代码主要基于NeuroHex。灵感来自AlphaGo Zero最近的成功。
2020-08-11 cs.AI cs.LG
Control-Oriented Scenario Tree Construction through Reinforcement Learning
IDLab Ghent university – imec（IDLab 根特大学 – imec）；Imperial College London（帝国理工学院）
该研究针对多阶段随机MPC的场景树构建，提出基于强化学习的面向控制的方法，在电池套利问题上验证其收益、鲁棒性及尾部风险特性均优于传统方法。
2026-08-11 cs.AI cs.LG cs.SY
A Learning based Branch and Bound for Maximum Common Subgraph Problems
Huazhong university of science and technology（华中科技大学）；Wuhan university of science and technology（武汉科技大学）；University of Picardie Jules Verne（皮卡第儒勒·凡尔纳大学）
分支定界算法（Branch-and-Bound，BnB）是求解组合问题的一种常用算法，其分支启发式是BnB算法性能的关键，本文研究了一类典型的最大公共子图（Maximum Common Subgraph，MCS）问题，并提出了一种启发自强化学习的分支启发式算法，目标是尽可能早地到达树叶，以大大减少搜索树的大小。大量的实验表明，我们的方法是有益的，并且优于MCS的当前最佳BnB算法。
2019-05-22 cs.CV cs.LG stat.ML
Enhancing SAT solvers with glue variable predictions
Amazon Web Services（亚马逊云科技）；University of Pittsburgh（匹兹堡大学）
现代SAT求解器通常在一定规模下运行，这使得为每个分支决策查询神经网络变得不切实际。由Selsam和Bjorner提出的NeuroCore提供了一个概念验证，即神经网络仍然可以通过定期重新聚焦基于分数的分支启发式来加速SAT求解器。然而，这项工作受到了一些限制：他们修改后的求解器需要GPU加速，进一步的消融表明它们并不比SATCOMP 2018基准测试中的随机基线更好，并且他们的非sat核心训练目标需要昂贵的数据管道，只能标记相对容易的无法满足的问题。我们解决了所有这些限制，使用一个更简单的网络架构，允许CPU推理甚至具有数百万个子句的大型工业问题，并训练预测{ \em胶水变量}--一个更容易生成标记数据的目标，也可以制定为强化学习任务。我们通过修改最先进的SAT求解器CaDiCaL，通过监督学习提高其在SATCOMP 2018和SATRACE 2019上的性能，以及通过强化学习提高其在SHA-1原像攻击数据集上的性能，来证明我们方法的有效性。
2020-07-06 cs.AI cs.LG cs.LO
Boolean Satisfiability via Imitation Learning
McMaster University（麦斯特大学）；Xi’an Jiaotong University（西安交通大学）
ImitationSAT通过模仿学习提升CDCL求解器性能，减少传播次数和运行时间，优于现有学习方法。
2026-02-21 cs.AI cs.LG
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University（拉夫堡大学）；UNIST（蔚山科学技术院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
针对强化学习算法提出了一组形式化定义的透明问题，这些问题具有以下特征：（1）可变的可观测度（非Markov观测），（2）远端稀疏奖励，（3）可变的分层奖励结构，（4）多任务生成，（5）可变的问题复杂度.环境提供1D或2D分类观测，并将操作作为输入。CT图的核心结构是一个多分支树图，具有任意的分支因子，深度和观察集，可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态，决策状态和等待状态，旨在创建一个层次的重要性之间的意见，典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集，损害记忆增强代理。可变奖励函数允许轻松创建多个任务，并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长，可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速，透明和数学定义的可配置测试，以比较强化学习算法的性能，特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions
Quant Finance Ltd；College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；University of Paris 6（巴黎第六大学）；VinUniversity
本文提出前瞻性强化学习（ARL），通过生成路径法则和分布价值函数，解决非马尔可夫决策过程与传统强化学习架构在单观测轨迹约束下的衔接问题，提升在高波动连续时间环境中的风险管理和策略稳定性。
2026-04-06 cs.LG q-fin.MF q-fin.PR
A Zero-Shot Reinforcement Learning Strategy for Autonomous Guidewire Navigation
Inria de l’université de Loraine（洛林大学国立计算机与自动化研究院）；Icube（Icube研究院）
针对现有深度强化学习导丝导航方法泛化性差的问题，提出基于小样本分支模式训练的零样本强化学习策略，可在未知血管解剖结构中无需重训练实现高效导航，平均成功率达95%。
2024-03-05 cs.LG cs.RO physics.med-ph
An Improved Reinforcement Learning Algorithm for Learning to Branch
Beihang University（北京航空航天大学）；MIRA Lab, USTC（中国科学技术大学 MIRA 实验室）；Huawei Cloud Co.（华为云计算有限公司）
大多数组合优化问题都可以转化为混合整数线性规划（MILP）问题，其中分支定界法（B\&B）是一种通用且广泛应用的方法。近年来，分支学习已成为机器学习与组合优化交叉领域的研究热点。在本文中，我们提出了一种新的强化学习为基础的B\&B算法。与离线强化学习类似，我们最初在演示数据上进行训练，以大规模加速学习。随着训练效果的提高，Agent逐渐开始使用其学习到的策略与环境进行交互。通过确定演示数据和自生成数据之间的混合比例来提高算法的性能是至关重要的。因此，我们提出了一个优先存储机制来自动控制这个比例。为了提高训练过程的鲁棒性，在双DQN的基础上引入了一个高级网络，它始终充当具有竞争力性能的Q网络。我们评估所提出的算法在三个公共研究基准的性能，并将其与强基线进行比较，包括三个经典的算法和一个最先进的基于模仿学习的分支算法。实验结果表明，该算法在所有算法中性能最优，具有不断提高B &B算法性能的潜力.
2022-01-17 cs.AI cs.LG math.OC
APPO: Agentic Procedural Policy Optimization
University of Science and Technology of China（中国科学技术大学）；AMAP, Alibaba Group（阿里巴巴集团高德地图）；Southern University of Science and Technology（南方科技大学）
提出APPO方法，通过细粒度分支和程序级优势缩放改进智能体强化学习的信用分配，在13个基准上平均提升近4个点。
2026-08-03 cs.AI cs.LG
Branch Ranking for Efficient Mixed-Integer Programming via Offline Ranking-based Policy Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
在分支定界算法中，如何选择变量是提高现代混合整数规划求解器效率的关键。随着MIP分支数据收集在以前的解决方案的过程中，学习分支的方法最近变得优越于算法。由于分支定界是一个连续的决策任务，人们应该学会优化整个MIP求解过程的效用，而不是在每一步都目光短浅。在这项工作中，我们制定了学习分支作为一个离线强化学习（RL）的问题，并提出了一个长远的混合搜索方案来构建离线MIP数据集，它的价值的分支决策的长期效用。在策略训练阶段，我们部署了一个基于排名的奖励分配方案，以区分有前途的样本从长期或短期的观点，和训练的分支模型命名为分支排名通过离线策略学习。在合成MIP基准测试和真实任务上的实验表明，与广泛使用的启发式和最先进的基于学习的分支模型相比，分支Rankink更有效，更健壮，并且可以更好地推广到大规模的MIP实例。
2022-07-26 cs.AI cs.DM cs.LG
Machine Learning Algorithms for Improving Exact Classical Solvers in Mixed Integer Continuous Optimization
Fakultät für Mathematik, Universität Wien（维也纳大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；CEO Olicheza Limited（Olicheza有限公司）
本综述探讨了如何利用机器学习与强化学习增强混合整数非线性规划中的精确分支定界求解器，提出统一框架将学习策略嵌入分支等环节以加速收敛并保持全局最优性。
2025-10-31 cs.LG math.OC
Combining Reinforcement Learning and Constraint Programming for Combinatorial Optimization
Ecole Polytechnique de Montréal（蒙特利尔综合理工学院）；Element AI（Element AI公司）；University of Toronto Scarborough（多伦多大学士嘉堡分校）
组合优化在航空航天、交通规划和经济学等众多领域都有应用。目标是在有限的可能性集合中找到最优解。组合优化面临的著名挑战是状态空间爆炸问题：可能性的数量随着问题的规模呈指数级增长，这使得解决大型问题变得棘手。在过去的几年中，深度强化学习（DRL）已经显示出其设计良好的算法来解决NP难组合优化问题的前景。然而，目前的方法有两个缺点：（1）他们主要集中在标准的旅行商问题，他们不能很容易地扩展到其他问题，（2）他们只提供一个近似的解决方案，没有系统的方法来改善它或证明最优性。在另一个上下文中，约束编程（CP）是解决组合优化问题的通用工具。基于一个完整的搜索过程，如果我们允许足够长的执行时间，它总是会找到最优解。一个关键的设计选择，使CP非平凡的使用在实践中，是分支的决定，指导如何探索搜索空间。在这项工作中，我们提出了一个通用的和混合的方法，DRL和CP的基础上，解决组合优化问题。我们的方法的核心是基于一个动态规划制定，作为两种技术之间的桥梁。我们的实验表明，我们的求解器是有效的，以解决两个具有挑战性的问题：旅行商问题的时间窗口，和4-矩投资组合优化问题。结果表明，引入的框架优于独立的RL和CP解决方案，同时与工业求解器竞争。
2020-06-02 cs.AI cs.LG
DeepScalper: A Risk-Aware Reinforcement Learning Framework to Capture Fleeting Intraday Trading Opportunities
Nanyang Technological University（南洋理工大学）；Huawei Noah Ark Lab（华为诺亚方舟实验室）；Webank（微众银行）；Tsinghua University（清华大学）
强化学习（RL）技术在许多具有挑战性的定量交易任务中取得了巨大成功，例如投资组合管理和算法交易。特别是，由于金融市场的日内行为反映了数十亿快速波动的资金，日内交易是最有利可图和风险最大的任务之一。然而，绝大多数现有的RL方法集中在相对低频的交易场景（例如，日级别），并未能捕捉稍纵即逝的日内投资机会，由于两个主要的挑战：1）如何有效地训练有利可图的RL代理日内投资决策，这涉及高维细粒度的行动空间; 2）如何学习有意义的多模态市场表示，以了解在tick级别的金融市场的日内行为。受专业人类日内交易者的高效工作流程的启发，我们提出了DeepScalper，这是一个用于日内交易的深度强化学习框架，以应对上述挑战。具体来说，DeepScalper包括四个组件：1）具有动作分支的决斗Q网络，用于处理日内交易的大动作空间，以实现高效的RL优化; 2）具有事后奖励的新型奖励函数，以鼓励RL代理在整个交易日的长期视野下做出交易决策; 3）用于学习多模态时间市场嵌入的编码器-解码器架构，其结合了宏观级和微观级市场信息;（4）风险意识辅助任务，在利润最大化和风险最小化之间保持平衡。通过对六种金融期货三年多的真实市场数据进行广泛的实验，我们证明了DeepScalper在四个金融标准方面的表现明显优于许多最先进的基线。
2022-08-21 cs.AI cs.LG q-fin.TR
QEDCartographer: Automating Formal Verification Using Reward-Free Reinforcement Learning
QEDCartographer结合监督与强化学习，利用证明分支结构实现无奖励搜索，在CoqGym基准上自动证明21.4%的定理，优于现有工具，证明强化学习可有效提升证明合成搜索机制。
2024-12-17 cs.LG cs.PL cs.SE
Learning When to Act: Interval-Aware Reinforcement Learning with Predictive Temporal Structure
University College London（伦敦大学学院）
本文提出了一种轻量级自适应时间控制系统，通过学习认知周期间的最优间隔，改进了传统定时器，同时引入了空间时间嵌入方法以提升效率。
2026-03-26 cs.AI cs.LG
A Bayesian Framework of Deep Reinforcement Learning for Joint O-RAN/MEC Orchestration
Centre for Wireless Communications, University of Oulu（奥卢大学无线通信中心）
本文提出一种贝叶斯深度强化学习框架，联合编排O-RAN/MEC以最小化运营成本并最大化性能，采用DDQN与动作分支处理大规模状态和离散动作，并通过汤普森采样加速收敛，仿真显示奖励提升32%。
2023-12-26 cs.LG cs.NI
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
Tencent Inc., China（腾讯公司，中国）
V-STAR通过价值引导的结构采样和树状优势强化框架，提升生成推荐系统的探索效率和RL学习效果。
2026-02-12 cs.AI cs.LG
Efficient Architecture Search by Network Transformation
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
用于自动设计深度神经网络架构的技术，例如基于强化学习的方法，最近已经显示出有希望的结果。然而，它们的成功是基于巨大的计算资源（例如数百个GPU），这使得它们难以被广泛使用。一个值得注意的局限性是，他们仍然在探索架构空间的过程中从头开始设计和训练每个网络，这是非常低效的。在本文中，我们提出了一个新的框架，以有效的架构搜索探索架构空间的基础上，当前的网络和重用其权重。我们采用了一个强化学习代理作为元控制器，其作用是增加网络深度或层宽度与功能保持转换。因此，以前验证过的网络可以被重用，以进一步探索，从而节省了大量的计算成本。我们应用我们的方法来探索普通卷积神经网络的结构空间（没有跳跃连接，分支等）。图像基准数据集（CIFAR-10，SVHN）上，计算资源有限（5个GPU）。我们的方法可以设计出具有高度竞争力的网络，优于现有的网络使用相同的设计方案。在CIFAR-10上，我们的模型没有跳过连接，达到4.23\%的测试出错率，超过了绝大多数现代架构，接近DenseNet。此外，通过应用我们的方法来探索DenseNet架构空间，我们能够用更少的参数实现更精确的网络。
2017-11-21 cs.AI cs.LG
