Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡洛规划和强化学习（RL）是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来，以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态，但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中，我们通过在蒙特卡罗树搜索（MCTS）中考虑凸正则化来克服这些限制，该算法已成功地用于RL以有效地驱动探索。首先，我们介绍了一个统一的理论在MCTS中使用通用凸正则化，得出遗憾分析和指数收敛速度提供保证。其次，我们利用我们的理论框架，引入新的正规化备份运营商的MCTS，基于相对熵的政策更新，和Tsallis熵的政策。最后，我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题，增加维度和分支因子，从一个玩具的问题，几个雅达利游戏，显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
Accelerating Monte-Carlo Tree Search with Optimized Posterior Policies
Center for Communications Research, Institute for Defense Analyses Princeton, NJ 08540, USA（通信研究所在线防御分析研究所）
RMCTS通过优化后验策略加速蒙特卡洛树搜索，显著提升搜索速度，且在训练时间内与MCTS-UCB相当。
2026-01-09 cs.AI cs.LG
MAPLE: Multi-State Aggregated Policy Evaluation for AlphaZero in Imperfect-Information Games
Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系）；Institute of Information Science, Academia Sinica（中科院信息所）
提出MAPLE方法，通过单搜索树聚合多个采样世界状态的策略和价值评估，结合PIMC和IS-MCTS优势，在Phantom Go和Dark Hex上分别提升Elo 291和136。
2026-05-22 cs.AI cs.LG
Variance-Aware Prior-Based Tree Policies for Monte Carlo Tree Search
University of Tübingen（图宾根大学）
本文提出Inverse-RPO方法，系统推导出基于先验的UCT策略，通过引入方差估计提升搜索效率，实验表明其在多个基准上优于PUCT且无额外计算成本。
2026-04-26 cs.AI cs.LG
Policy-Value Alignment and Robustness in Search-based Multi-Agent Learning
Cornell University（康奈尔大学）
结合搜索和学习的大规模人工智能系统在游戏中的表现已经达到了超人的水平，但也被证明以令人惊讶的方式失败。这种模型的脆弱性限制了它们在现实世界部署中的有效性和可信度。在这项工作中，我们系统地研究了一个这样的算法，AlphaZero，并确定了两个与探索性质相关的现象。首先，我们发现了政策价值错位的证据--对于许多州来说，AlphaZero的政策和价值预测相互矛盾，揭示了AlphaZero目标中准确的移动选择和价值估计之间的紧张关系。此外，我们发现AlphaZero的价值函数中存在不一致性，这导致它的泛化能力很差，尽管它的策略是最优策略。从这些见解中，我们得出VISA-VIS：一种新的方法，提高了AlphaZero中的策略-价值对齐和价值鲁棒性。实验表明，我们的方法减少了高达76%的政策值不一致，减少值泛化误差高达50%，并减少平均值误差高达55%。
2023-02-06 cs.AI cs.LG cs.MA
Monte-Carlo Graph Search for AlphaZero
Technical University of Darmstadt（达姆施塔特工业大学）；hessian.ai — The Hessian Center for Artificial Intelligence（黑森人工智能中心）
AlphaZero算法已成功应用于一系列离散领域，尤其是棋盘游戏。它利用神经网络，学习值和策略函数，以指导蒙特卡罗树搜索中的探索。虽然许多搜索改进已经提出了蒙特卡罗树搜索在过去，他们中的大多数是指一个旧的变种的上置信度界限树算法，不使用规划的政策。我们引入了一个新的，改进的搜索算法AlphaZero的搜索树推广到一个有向无环图。这使得信息能够在不同的子树之间流动，并大大减少了内存消耗。随着蒙特卡洛图搜索，我们提出了一些进一步的扩展，如包括ε-贪婪的探索，修订终端求解器和领域知识作为约束的集成。在我们的评估中，我们使用国际象棋和crazyhouse上的CrazyAra引擎作为示例，以表明这些变化为AlphaZero带来了显着的改进。
2020-12-20 cs.AI cs.LG
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent（赛博agent公司）
本文针对非马尔可夫决策过程提出蒙特卡洛树学习（MCTL）方法，并将其与策略梯度（PG）结合，利用双时间尺度随机逼近推导收敛条件，设计出能收敛到合理解的算法，数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
Adaptable Hindsight Experience Replay for Search-Based Learning
Technical University of Darmstadt（德累斯顿技术大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）；National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE）
本文提出 Adaptable HER 框架，将事后经验回放与 AlphaZero 式搜索学习灵活集成，通过可调整的重新标记目标、策略目标和轨迹选择，在稀疏奖励及方程发现等任务中超越纯监督学习和强化学习。
2025-11-05 cs.AI cs.LG
Adaptive Mixing of Policies from Searching and Policies from Learning
Stellenbosch University（斯泰伦博斯大学）
研究针对强化学习中搜索耗时问题，提出Flexer架构自适应混合神经网络与MCTS策略，在三类玩具符号问题实验中性能优于AlphaZero、DQN和ADP。
2026-08-18 cs.AI
Neural Machine Translation with Monte-Carlo Tree Search
University of Toronto（多伦多大学）
机器翻译中的最新算法包括一个值网络，用于在决定在翻译的每个步骤输出哪个单词时帮助策略网络。添加价值网络有助于算法在BLEU评分等评估指标上表现更好。在监督设置中训练策略和价值网络之后，可以通过共同的行动者-批评者方法来联合改进策略和价值网络。我们项目的主要思想是利用蒙特卡罗树搜索（MCTS）来搜索好的输出词，并以类似于AlphaZero的方式从组合策略和价值网络架构中获得指导。该网络既可以作为本地参考，也可以作为全局参考，使用搜索结果来改进自身。使用IWLST 14德语到英语翻译数据集的实验表明，我们的方法优于最近机器翻译论文中使用的演员-评论家方法。
2020-04-27 cs.AI cs.CL cs.LG
Score vs. Winrate in Score-Based Games: which Reward for Reinforcement Learning?
University of Siena（锡耶纳大学）；University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）；ARS Toscana（托斯卡纳农业研究局）；ISTI-CNR Pisa（意大利国家研究委员会比萨信息科学与技术研究所）；University of Parma（帕尔马大学）
在过去的几年里，DeepMind算法AlphaZero已经成为最先进的技术，可以有效地处理具有赢/输结果的完美信息两人零和游戏。然而，当赢/输结果由最终得分差决定时，AlphaZero可能会采取得分次优的举动，因为从赢/输结果的角度来看，所有获胜的最终位置都是等效的。这可能是一个问题，例如当用于教学时，或者当试图理解是否有更好的移动时。此外，还有对完美博弈的理论探索。一种天真的方法是训练一个类似AlphaZero的智能体来预测分数差异，而不是赢/输的结果。由于围棋博弈是确定性的，这也应该产生一个结果最优的游戏。然而，这是一个民间传说，认为“这不起作用”。在本文中，我们首先为这一信念提供了经验证据。然后，我们给出了一个理论解释，这种次优一般完美信息两人零和游戏的复杂性，如围棋是由环境的随机性取代。我们表明，一个结果最优的政策有不同的偏好不确定性时，它是赢还是输。特别是，当处于失败状态时，结果最优代理选择导致更高分数方差的行动。然后，我们解释说，当涉及近似，一个确定性的游戏行为像一个不确定性的游戏，其中的得分方差是如何不确定的位置是建模。我们在类似AlphaZero的软件中与人类专家一起验证了这一假设。
2023-01-09 cs.AI
The Choice Function Framework for Online Policy Improvement
Oregon State University（俄勒冈州立大学）
有一些值得注意的例子表明，在线搜索在顺序决策方面优于手工编码或学习的策略（例如AlphaZero）。然而，不清楚的是，对于其中许多办法，即使有一个完美的评价函数和过渡模式，是否能保证政策的改进。事实上，简单的反例表明，与原始策略相比，看似合理的在线搜索程序可能会损害性能。为了解决这个问题，我们介绍了选择功能的框架，分析在线搜索程序的政策改进。选择函数指定了在搜索树的每个节点上要考虑的操作，而所有其他操作都被修剪。我们的主要贡献是给出了平稳和非平稳选择函数的充分条件，以保证在线搜索所获得的价值不会比原始策略更差。此外，我们描述了一个一般的参数类的选择函数，满足这些条件，并提出了一个说明性的使用情况下，框架的经验效用。
2019-10-07 cs.AI
Minimax Strikes Back
LAMSADE, Université Paris-Dauphine, PSL, CNRS（巴黎第纳尔大学LAMSADE研究所、巴黎大学、PSL、CNRS）
本文提出了一种基于Minimax的搜索算法Descent，通过不同的学习目标和不使用策略的方法，在多个游戏中比AlphaZero的重实现Polygames更高效，且在GPU资源更多时表现更优。
2025-05-05 cs.AI
Iterative Option Discovery for Planning, by Planning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
提出Option Iteration方法，通过迭代学习一组局部强选项策略来指导规划搜索，形成良性循环，在复杂规划环境中显著优于基线算法。
2023-12-22 cs.AI cs.LG
Robust Deep Reinforcement Learning against Adversarial Behavior Manipulation
Institute of Science Tokyo（东京科学研究所）；University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所AIP）
本文提出了一种基于模仿学习的对抗性攻击方法，并通过时间折扣正则化提升强化学习对行为定向攻击的鲁棒性。
2026-02-17 cs.AI cs.LG
Enhancing Chess Reinforcement Learning with Graph Representation
Kyoto University（京都大学）
针对AlphaZero依赖CNN架构泛化性差的问题，提出融入边特征的GAT图表示国际象棋强化学习架构，参数量相近时性能更优、棋力提升更快，且跨棋盘尺寸泛化性好。
2024-10-31 cs.AI cs.LG
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University（国立交通大学）；Pervasive Artificial Intelligence Research (PAIR) Labs（普适人工智能研究（PAIR）实验室）
许多最强大的游戏程序使用蒙特卡罗树搜索（MCTS）和深度神经网络（DNN）的组合，其中DNN用作策略或值评估器。给定有限的预算，例如在线游戏或在AlphaZero（AZ）训练的自我游戏阶段，需要在准确的状态估计和更多的MCTS模拟之间达到平衡，这两者对于强大的游戏代理都是至关重要的。通常，较大的DNN在泛化和准确评估方面更好，而较小的DNN成本更低，因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS（MPV-MCTS）方法，它将不同规模的多策略值神经网络（PV-NN）结合起来，以保留每个网络的优点，其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明，组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN，称为PV-MCTS。此外，MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Policy Mirror Descent with Lookahead
ETH Zürich（苏黎世联邦理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
提出h-PMD算法，将多步贪心策略改进与前瞻深度融入策略镜像下降，实现更快的γ^h线性收敛和更优的样本复杂度，并扩展到线性函数逼近。
2024-11-06 cs.AI cs.LG stat.ML
Execute Order 66: Targeted Data Poisoning for Reinforcement Learning
United States Navy（美国海军）；University of Maryland（马里兰大学）；United States Naval Academy（美国海军学院）
强化学习的数据投毒在历史上一直专注于一般性能下降，并且有针对性的攻击已经通过涉及控制受害者的策略和奖励的扰动而成功。我们为强化学习引入了一种阴险的中毒攻击，这种攻击只会在特定的目标状态下导致代理的不当行为-同时最小限度地修改一小部分训练观察结果，而不需要对策略或奖励进行任何控制。我们通过将最近的技术梯度对齐应用于强化学习来实现这一点。我们测试我们的方法，并证明在不同难度的两个雅达利游戏的成功。
2022-07-28 cs.AI cs.CR cs.LG
Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出贝叶斯自适应蒙特卡洛树搜索算法，用于提升离线模型驱动强化学习的性能，显著优于现有方法。
2026-01-27 cs.AI cs.LG
IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；College of Science, Shantou University（汕头大学理学院）
本文提出IADD-TR框架，通过干预感知动力学解耦与定向正则化解决MBRL中策略诱导的数据偏差问题，经MuJoCo任务实验验证可提升样本效率并取得有竞争力回报。
2026-08-12 cs.LG
More Efficient Off-Policy Evaluation through Regularized Targeted Learning
University of California, Berkeley（加州大学伯克利分校）；Netflix（奈飞）
我们研究了强化学习（RL）中的政策外评估（OPE）问题，其目的是在给定可能由不同政策或政策生成的历史数据的情况下估计新政策的性能。特别是，我们引入了一种新的双重鲁棒估计的RL的OPE问题的基础上，有针对性的最大似然估计原则的统计因果推理文献。我们还介绍了几个方差减少技术，导致令人印象深刻的性能增益在离政策评估。我们的经验表明，我们的估计器在多个RL环境和各种级别的模型错误指定中一致地战胜了现有的非政策评估方法。最后，我们进一步现有的理论分析的RL的政策外估计问题的估计，显示其$O_P(1/\sqrt{n})$的收敛速度和其渐近分布的特点。
2019-12-13 cs.LG stat.ME stat.ML
Discovering Lattice Reduction Strategies via Self-Play
FAIR, Meta Superintelligence Labs（Meta超级智能实验室FAIR）；Sorbonne Université CNRS, LIP6（索邦大学CNRS/LIP6）；EPITA, EPITA Research Lab (LRE)（EPITA研究实验室(LRE)）
利用深度强化学习和AlphaZero风格自我对弈，在LLL原始动作空间中学习更优的格基约简策略，训练于8维格但可零样本泛化至32维。
2026-06-16 cs.AI cs.LG
Navigation of micro-robot swarms for targeted delivery using reinforcement learning
本研究使用强化学习算法PPO和RPO，在流体动力学效应下通过单一控制器导航微型游泳者集群至圆形吸收目标，并利用课程学习成功实现了25个游泳者集群的机动控制。
2023-06-30 cs.AI cs.LG cs.RO
Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；National University of Singapore（新加坡国立大学）；Tencent（腾讯）；Wuhan AI Research（武汉人工智能研究院）
本文提出SRPO框架，通过样本路由整合GRPO和SDPO的优势，解决自蒸馏在长期训练中的稳定性问题，实现快速早期改进与长周期稳定性的结合。
2026-04-02 cs.AI cs.LG
Query-based Targeted Action-Space Adversarial Policies on Deep Reinforcement Learning Agents
Iowa State University（爱荷华州立大学）
计算资源的进步导致网络物理系统（CPS）的复杂性不断增加。随着CPS复杂性的发展，焦点已经从传统的控制方法转移到基于深度强化学习（DRL）的方法来控制这些系统。这是由于传统控制难以获得复杂CPS的精确模型。然而，为了在生产中安全地部署DRL，必须从各个角度检查基于DRL的控制器（策略）对恶意攻击的弱点。在这项工作中，我们调查有针对性的攻击在动作空间域，也通常被称为驱动攻击CPS文献，扰动控制器的输出。我们证明了一个基于查询的黑盒攻击模型，它可以生成相对于对抗目标的最佳扰动，可以用公式表示为另一个强化学习问题。因此，可以使用传统的DRL方法来训练这种对抗策略。实验结果表明，只观察名义策略的输出的对抗策略比观察名义策略的输入和输出的对抗策略产生更强的攻击。进一步的分析表明，名义政策的输出经常在行动空间的边界自然更强大的对抗性政策。最后，我们提出使用对抗训练和迁移学习来将鲁棒行为引入标称策略，从而将成功的目标攻击率降低了50%。
2021-02-20 cs.CR cs.LG
Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control
在本文中，我们的目标是提供分析和见解（通常基于可视化），解释了离线培训之上的在线决策的有益影响。特别是，通过一个统一的抽象的数学框架，我们表明，主要的AlphaZero/TD-Gammon的想法近似值空间和推出非常广泛地适用于确定性和随机最优控制问题，涉及离散和连续的搜索空间。此外，这些想法可以有效地与其他重要的方法，如模型预测控制，适应控制，分散控制，离散和贝叶斯优化，神经网络为基础的价值和政策的近似，和启发式算法的离散最优化。
2023-01-03 cs.AI math.OC
Targeted Attack on Deep RL-based Autonomous Driving with Learned Visual Patterns
Arizona State University（亚利桑那州立大学）；Cornell University（康奈尔大学）
最近的研究表明，通过深度强化学习学习的控制策略在对抗对抗攻击时存在脆弱性，这引发了人们对将此类模型应用于自动驾驶等风险敏感任务的担忧。这些演示的威胁模型仅限于（1）通过实时操纵代理的观察进行有针对性的攻击，以及（2）通过操纵物理环境进行无针对性的攻击。前者假设在任何时候都可以完全访问代理的状态/观察，而后者则无法控制攻击结果。本文研究了有针对性的攻击的可行性，通过视觉学习模式放置在物理对象的环境中，威胁模型，结合了现有的实用性和有效性。通过分析，我们证明了预先训练的策略可以在一个时间窗口内被劫持，例如，当存在敌对对象时，执行非预期的自停车。为了实现攻击，我们采用了一个假设，即环境和代理的动态可以由攻击者学习。最后，我们经验性地展示了所提出的攻击在不同驾驶场景下的有效性，进行了位置鲁棒性测试，并研究了攻击强度与其有效性之间的权衡。代码可在https://github.com/ASU-APG/Targeted-Physical-Adversarial-Attacks-on-AD上获得
2022-03-09 cs.AI cs.LG
CircuitBuilder: From Polynomials to Circuits via Reinforcement Learning
University of Washington（华盛顿大学）
研究通过强化学习发现高效算术电路计算多项式的问题，比较PPO+MCTS和SAC方法，SAC在双变量目标上表现最佳，PPO+MCTS能扩展到三变量并提升更难实例性能。
2026-03-17 cs.AI cs.CC cs.LG
AlphaZero in Sparsely Rewarded Games: Limits and Auxiliary Supervision
California Institute of Technology（加州理工学院）
研究在稀疏奖励游戏中普通AlphaZero的局限性，对比多帧变体及AZAL，发现普通AlphaZero虽表现出色但无法保持最优轨迹，AZAL能显著提高预言一致性，在啃咬和四子棋游戏中均有改进。
2026-07-13 cs.AI cs.GT cs.LG
AlphaZeroES: Direct score maximization outperforms planning loss minimization
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（策略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文提出AlphaZeroES，在保持MCTS和神经网络架构不变的情况下，用进化策略直接最大化单智能体环境的回合得分，实验表明其性能优于AlphaZero的规划损失最小化方法。
2024-06-12 cs.AI
RL for Mitigating Cascading Failures: Targeted Exploration via Sensitivity Factors
Rensselaer Polytechnic Institute（伦斯勒理工学院）；GE Vernova Advanced Research（GE Vernova先进研究院）
本文针对电网弹性与气候变化的相互影响问题，提出物理引导强化学习（PG-RL）框架，通过利用潮流敏感度因子引导探索，确定实时补救线路切换动作，提升电网资源利用率并优化停电缓解策略，增强电网弹性。
2024-11-27 cs.AI cs.LG cs.SY
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa（瑞士联邦材料科学与技术研究所）；EPFL（洛桑联邦理工学院）
提出修改连续actor-critic框架以利用专家简单规则避开次优区域，显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
BCRLSP: An Offline Reinforcement Learning Framework for Sequential Targeted Promotion
University of Miami（迈阿密大学）；New York University（纽约大学）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
我们利用离线强化学习（RL）模型，在现实世界的商业环境中存在预算限制的情况下进行连续的有针对性的促销。在我们的应用程序中，移动应用程序旨在通过向客户发送现金奖励来提高客户保留率，并控制每个时间段内此类现金奖励的成本。为了实现多任务的目标，我们提出了预算约束的强化学习顺序推进（BCRLSP）框架来确定要发送给用户的现金奖励的价值。我们首先找出目标策略和相关的Q值，最大化用户留存率使用RL模型。一个线性规划（LP）模型，然后添加到满足促销成本的约束。我们通过最大化从RL模型中学习到的动作的Q值来解决LP问题。在部署过程中，我们结合了离线RL模型与LP模型，以生成一个强大的政策下的预算约束。使用在线和离线实验，我们证明了我们的方法的有效性，BCRLSP实现了更高的长期客户留存率和较低的成本比各种基线。利用近实时的成本控制方法，所提出的框架可以很容易地适应数据与嘈杂的行为政策和/或满足灵活的预算约束。
2022-07-16 cs.IR cs.LG
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning
National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）
本文提出 MCTS-DPO，利用 MCTS 将奖励分解为步骤级偏好信号，并通过 DPO 迭代优化 LLM，在多个算术与常识推理基准上显著提升准确率。
2024-06-17 cs.AI cs.LG
Improving Targeted Molecule Generation through Language Model Fine-Tuning Via Reinforcement Learning
Department of Physics and Computer Science（物理与计算机科学系）
本研究针对新药研发成本高、耗时长的问题，提出基于PPO强化学习微调语言模型的从头靶向药物设计方法，通过复合奖励函数兼顾药效与分子有效性，显著提升了生成分子的多项关键化学指标与新颖性。
2025-05-18 cs.LG q-bio.BM
Learning Compositional Neural Programs for Continuous Control
InstaDeep；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；DeepMind
我们提出了一种新的解决方案，具有挑战性的稀疏回报，连续控制问题，需要在多个抽象层次的层次规划。我们的解决方案被称为AlphaNPI-X，涉及三个独立的学习阶段。首先，我们使用具有经验重放的非策略强化学习算法来学习一组原子目标条件策略，这些策略可以很容易地重新用于许多任务。其次，我们学习描述原子策略对环境影响的自模型。第三，自我模型被用来学习具有多个抽象层次的递归组合程序。关键的见解是，自我模型使规划的想象力，避免了需要与世界互动时，学习更高层次的组合程序。为了完成第三阶段的学习，我们扩展了AlphaNPI算法，该算法应用AlphaZero来学习递归神经程序解释器。我们的经验表明，AlphaNPI-X可以有效地学习解决具有挑战性的稀疏操作任务，例如堆叠多个块，其中强大的无模型基线失败。
2021-04-13 cs.AI
How to Combine Tree-Search Methods in Reinforcement Learning
Technion, Israel（以色列理工学院）；INRIA, Villers les Nancy, France（法国南希-比莱尔斯法国国家信息与自动化研究所）
在强化学习中大量使用了前向策略，并展示了令人印象深刻的经验成功。通常，前瞻策略是用特定的规划方法来实现的，例如蒙特卡罗树搜索（例如在AlphaZero中）。将规划问题称为树搜索，这些实现中的合理实践是仅在叶子处备份值，而在根处获得的信息除了用于更新策略之外不被利用。在这里，我们质疑这种方法的效力。也就是说，后一个过程一般是非压缩的，并且不能保证其收敛性。我们提出的增强是直接和简单的：使用从最佳树路径返回备份的值在根的后代。这导致$γ^h$收缩过程，其中$γ$是折扣因子，而$h$是树深度。为了建立我们的结果，我们首先引入了一个称为\emph{multiple-step greedy consistency}的概念。然后，我们提供了两个算法实例的收敛速度，在存在噪声注入到树搜索阶段和值估计阶段的上述增强。
2019-02-17 cs.AI cs.LG stat.ML
Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation
Indian Institute of Technology, Delhi（印度理工学院德里分校）；University of Southern California（南加州大学）；Adobe Research（Adobe研究院）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Tsinghua University（清华大学）
知识图谱（KG）已经帮助神经模型提高了各种知识密集型任务的性能，如问答和项目推荐。通过在KG上使用注意力，这种KG增强模型还可以“解释”哪些KG信息与做出给定预测最相关。在本文中，我们质疑这些模型是否真的像我们预期的那样表现。我们表明，通过一个强化学习政策（甚至简单的知识），可以产生欺骗性扰动KG，保持下游的原始KG的性能，同时显着偏离原始KG的语义和结构。我们的研究结果对KG增强模型对KG信息进行推理并给出合理解释的能力提出了质疑。
2021-05-03 cs.AI cs.CL cs.LG
Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning
Tencent Hunyuan（腾讯文汇）；University of Maryland（马里兰大学）；University of North Carolina（北卡罗来纳大学）
提出DUPL方法，通过量化感知不确定性和输出不确定性来引导策略更新，在多个多模态推理基准上显著提升模型准确率，优于现有方法。
2026-06-16 cs.AI cs.CL cs.LG
Beyond Alignment: Expanding Reasoning Capacity via Manifold-Reshaping Policy Optimization
Baidu Inc.（百度公司）；Peking University（北京大学）
本文提出流形重塑策略优化方法，通过几何干预扩展LLM的推理能力，实验证明其在数学任务中优于现有模型。
2026-01-30 cs.AI cs.LG
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University（卡内基梅隆大学）
提出多保真强化学习框架ALPHA，通过策略对齐自适应利用非分层异构低保真模型学习高保真策略，消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）
在有针对性的中毒攻击中，攻击者操纵代理与环境的交互，迫使代理采用感兴趣的策略，称为目标策略。以前的工作主要集中在修改标准MDP原语的攻击，如奖励或转换。在本文中，我们研究了有针对性的中毒攻击在两个代理设置，攻击者隐式毒药的有效环境的代理之一，通过修改其同行的政策。我们开发了一个优化框架，设计最佳的攻击，其中的攻击成本的措施有多少解决方案偏离假设的默认策略的对等代理。我们进一步研究这个优化框架的计算特性。专注于一个表格设置，我们表明，在中毒攻击的基础上MDP原语（转换和（无界）奖励），这总是可行的，这是NP难的，以确定隐式中毒攻击的可行性。我们提供的表征结果，建立攻击问题的可行性的充分条件，以及攻击的最佳成本的上限和下限。我们提出了两种算法方法来找到一个最佳的对抗政策：基于模型的方法与表格政策和无模型的方法与参数/神经政策。我们通过实验展示了所提出的算法的有效性。
2023-02-27 cs.AI cs.CR cs.LG
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
XRPO: Pushing the limits of GRPO with Targeted Exploration and Exploitation
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
提出XRPO框架，通过自适应探索分配器、上下文种子策略和新颖性感知优势机制，在数学和编码基准上实现比GRPO最高4% pass@1和6% cons@32的提升，并加速训练收敛达2.7倍。
2026-05-25 cs.LG
When Search Teaches Style: Causal Internalization of Tactical Priors in AlphaZero
Department of Communication Studies, School of Communication, Hong Kong Baptist University（通讯学院传播研究系，香港 Baptist 大学）；Department of Neurobiology and Department of Rehabilitation Medicine, First Affiliated Hospital, Zhejiang University School of Medicine（神经生物学系和康复医学系，浙江大学医学院第一附属医院）；Personal participation（个人参与）
本文提出AlphaZero-Edu，一种轻量级教育导向的实现，通过模块化架构和高效训练，提升AlphaZero的可访问性和可重复性，实现单GPU训练和并行自对弈加速。
2026-08-05 cs.AI cs.LG
Deceptive Sequential Decision-Making via Regularized Policy Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；United States Military Academy（美国军事学院）
本文提出三种正则化策略，用于在策略优化中主动欺骗对手关于系统奖励的误解，从而在保持高累积奖励的同时误导对手。
2026-01-21 cs.LG math.OC
Reward Delay Attacks on Deep Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
大多数强化学习算法隐含地假设强同步。我们提出了针对Q学习的新型攻击，通过将奖励信号延迟有限的时间段来利用这一假设所带来的漏洞。我们考虑两种类型的攻击目标：有针对性的攻击，其目的是使目标政策被学习，和无针对性的攻击，其目的只是为了诱导一个政策，低奖励。我们通过一系列的实验来评估所提出的攻击的有效性。我们的第一个观察是，当目标只是最小化奖励时，奖励延迟攻击非常有效。事实上，我们发现，即使是天真的基线奖励延迟攻击也非常成功地最小化奖励。另一方面，有针对性的攻击更具挑战性，尽管我们证明了所提出的方法在实现攻击者的目标方面仍然非常有效。此外，我们还引入了第二个威胁模型，该模型可以捕获最小的缓解措施，以确保奖励不会乱序使用。我们发现，这种缓解仍然不足以确保延迟攻击的鲁棒性，但保持奖励的顺序。
2022-09-08 cs.AI cs.CR cs.LG
Deceptive Reinforcement Learning Under Adversarial Manipulations on Cost Signals
New York University（纽约大学）
本文研究了基于代价信号的恶意篡改下的强化学习（RL），并引入了一个量化的攻击模型框架来理解RL的脆弱性。着重于$Q$ -学习，我们证明了$Q$ -学习算法收敛的隐形攻击和有界伪造成本信号。我们的特征之间的关系伪造的成本和$Q$ -因素，以及由学习代理，提供了基本的限制可行的进攻和防守动作的政策。我们提出了一个强大的区域内的对手永远无法实现有针对性的政策的成本。我们提供的伪造成本，可以误导代理人学习对手的青睐政策的条件。一个水库控制的数值案例研究显示了RL在基于学习的控制系统中的潜在危害，并证实了结果。
2019-08-16 cs.AI cs.LG math.OC
Are AlphaZero-like Agents Robust to Adversarial Perturbations?
UCLA（加州大学洛杉矶分校）；CMU（卡内基梅隆大学）；Academia Sinica（中央研究院）；NYCU（阳明交通大学）
AlphaZero（AZ）的成功证明，基于神经网络的围棋人工智能可以大大超过人类的表现。考虑到围棋的状态空间非常大，人类玩家可以从任何合法的状态下进行游戏，我们要问的是，围棋人工智能是否存在可能导致它们做出令人惊讶的错误行为的对抗状态。在本文中，我们首先将对抗性示例的概念扩展到围棋游戏：我们通过向游戏中添加无意义的移动来生成与原始状态“语义上”等效的扰动状态，并且对抗性状态是一种扰动状态，导致即使对于围棋初学者来说也明显的毫无疑问的低劣动作。然而，由于大的、离散的和不可微的搜索空间，搜索对抗状态是具有挑战性的。为了应对这一挑战，我们开发了第一个对Go AI的对抗攻击，它可以通过战略性地减少搜索空间来有效地搜索对抗状态。这种方法也可以扩展到其他棋盘游戏，如NoGo。在实验中，我们表明，政策值神经网络（PV-NN）和蒙特卡罗树搜索（MCTS）所采取的行动可以被误导，通过添加一个或两个无意义的石头;例如，在58%的AlphaGo Zero自玩游戏，我们的方法可以使广泛使用的KataGo代理与50模拟MCTS发挥一个失败的行动，通过添加两个无意义的石头。我们还评估了我们的算法与业余人类围棋选手的对抗性例子，90%的例子确实导致围棋智能体做出明显低劣的动作。我们的代码可在\url{https://PaperCode.cc/GoAttack}上获得。
2022-11-07 cs.AI cs.LG cs.RO
Online Evaluation of Audiences for Targeted Advertising via Bandit Experiments
Stanford University（斯坦福大学）
实施数字广告活动的公司在确定广告创意与目标受众之间的正确匹配方面面临着一个复杂的问题。解决这个问题的典型方法是利用非实验性的方法，或者使用“分裂测试”策略，这些策略没有明确解决目标受众可能相互重叠所引起的复杂性。本文提出了一种自适应算法，通过在线实验来解决这个问题。该算法被设置为一个上下文强盗和解决重叠的问题，通过划分的目标受众到不相交的，不重叠的子群体。它在不相交空间中学习最佳创意展示策略，同时并行评估哪个创意在可能重叠的目标受众空间中具有最佳匹配。实验结果表明，该方法是更有效的相比，天真的“分裂测试”或非自适应的“A/B/n”测试的方法。我们还描述了一个测试产品，我们建立了使用该算法。该产品目前部署在JD.com的广告平台上，这是一家电子商务公司，也是中国的数字广告发布商。
2019-09-04 cs.LG stat.ML
Parameter Stress Analysis in Reinforcement Learning: Applying Synaptic Filtering to Policy Networks
Virginia Tech（弗吉尼亚理工大学）
本文提出通过突触过滤方法分析强化学习策略的参数鲁棒性，揭示抗脆弱参数对策略性能的提升作用。
2026-03-05 cs.LG cs.SY eess.SY
The Containment Gap: How Deployed Agentic AI Frameworks Fail Public-Facing Safety Requirements
New Jersey Institute of Technology（新泽西理工学院）
研究发现主流自主AI框架缺乏架构级安全保证，内存完整性漏洞可导致定向腐败，提出轻量级遏制机制消除攻击向量。
2026-06-12 cs.AI
