An Analysis of Constraint-Based Multi-Agent Pathfinding Algorithms
Parasol Lab, School of Computer Science, University of Illinois at Urbana Champaign（帕索尔实验室，计算机科学学院，伊利诺伊大学厄巴纳-香槟分校）；Department of Computer Science at Instituto Tecnológico Autónomo de México (ITAM)（墨西哥自治理工学院（ITAM）计算机科学系）
本文分析了基于约束的多智能体路径寻找算法，探讨了保守型与激进型约束在不同场景下的性能差异，并提供了决策流程图以指导约束选择，同时强调了拓扑特征在多机器人运动规划中的重要性。
2025-11-23 cs.AI cs.MA cs.RO
Optimal and Bounded Suboptimal Any-Angle Multi-agent Pathfinding
FRC CSC RAS（俄罗斯科学院计算机科学与控制研究所联邦研究中心）；AIRI（人工智能研究所）；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出首个最优任意角度多智能体路径规划算法，通过将不相交分裂和多约束技术引入CCBS与TO-AA-SIPP组合以缓解高分支因子问题，并进一步给出有界次优变体以可控地权衡运行时间与解代价。
2024-08-30 cs.AI cs.MA cs.RO
Stochastic Reset Pathfinding: Path-Level Regret for Cascading Bandits over Graph Paths
Texas A&M University（德克萨斯A&M大学）
研究随机重置路径寻找（SRP）问题，它在已知有向图上，边成功概率未知。提出 Log - Dijkstra 元算法及 PathUCB、PathTS 实例，给出 PathUCB 路径级遗憾界，实验表明 PathTS 性能佳但有对抗实例，推荐其为实用默认算法。
2026-07-20 cs.LG
UPath: Universal Planner Across Topological Heterogeneity For Grid-Based Pathfinding
Saint-Petersburg University（圣彼得堡大学）
UPath提出一种通用启发式预测器，能高效处理各类路径寻找问题，将A*计算效率提升2.2倍，同时保持接近最优解的质量。
2026-02-27 cs.AI cs.LG
Multi-Agent Pathfinding: Definitions, Variants, and Benchmarks
Ben Gurion University of the Negev（内盖夫本-古里安大学）；University of Alberta（阿尔伯塔大学）；USC（南加州大学）；University of Denver（丹佛大学）；Charles University（查理大学）
MAPF问题是为多个代理规划路径的基本问题，其中的关键约束是代理将能够同时遵循这些路径而不会相互冲突。MAPF的应用包括自动化仓库和自动驾驶汽车。近几年来，MAPF的研究得到了蓬勃发展。不同的MAPF研究论文做出了不同的假设，例如，智能体是否可以在同一时间穿越同一条道路，并具有不同的目标函数，例如，最小化完工时间或代理人的行动成本之和。这些假设和目标有时是隐含的假设或非正式的描述。这使得难以在研究论文中建立适当的比较基线，也使得从业人员难以找到与其具体应用相关的论文。本文旨在填补这一空白，并支持研究人员和从业人员提供一个统一的术语来描述常见的MAPF假设和目标。此外，我们还提供了两个MAPF基准的指针。特别是，我们引入了一个新的基于网格的基准MAPF，并通过实验证明，它构成了当代MAPF算法的挑战。
2019-06-19 cs.AI cs.MA cs.RO
TransPath: Learning Heuristics For Grid-Based Pathfinding via Transformers
Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；AIRI
启发式搜索算法，例如A*，是用于在网格上寻路的常用工具，即，被广泛用于表示机器人、视频游戏等中的环境的规则结构的图。用于网格图的实例独立的启发式搜索，例如，曼哈顿距离，不考虑障碍物，因此，由这种启发式搜索引导的搜索在障碍物丰富的环境中表现不佳。为此，我们建议学习依赖于实例的启发式代理，应该显着提高搜索的效率。我们建议学习的第一个启发式代理是校正因子，即独立于实例的成本估计与完美估计（在训练阶段离线计算）之间的比率。与学习之前已知的成本去启发式函数的绝对值不同，当学习校正因子时，利用实例独立启发式的知识。第二个启发式代理是路径概率，它表示网格单元位于最短路径上的可能性。这个启发式可以在焦点搜索框架中作为第二个启发式，允许我们保留对解决方案的有界次优性的保证。我们用最先进的神经网络（包含注意力块（Transformers））以监督的方式学习这两种建议的算法。我们对一个综合的规划任务数据集进行了全面的实证评估，表明所建议的技术i）在产生解的同时将A* 的计算工作量减少到$4$ x的一个因子，其成本平均超过最优解的成本不到$0.3$ %; ii）优于竞争者，包括来自启发式搜索的传统技术，即加权A*，以及最先进的可学习规划器。
2022-12-22 cs.AI cs.LG
Where Paths Collide: A Comprehensive Survey of Classic and Learning-Based Multi-Agent Pathfinding
East China Normal University（华东师范大学）；University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）
该综述弥合多智能体路径规划（MAPF）领域经典算法与学习方法的鸿沟，构建统一分类框架，分析200余篇论文的评估差异，提出标准化基准需求并展望未来方向。
2025-07-31 cs.AI cs.LG cs.MA
Symbolic Planning and Multi-Agent Path Finding in Extremely Dense Environments with Unassigned Agents
本文提出五种基于搜索的算法，用于解决在极度密集环境中无分配代理的多智能体路径寻找问题，通过图搜索方法高效生成重新排列计划。
2026-01-08 cs.AI cs.MA cs.RO
Pathfinding Neural Cellular Automata
NYU Tandon（纽约大学坦登工程学院）
寻路是人工智能中各种复杂任务的重要子组件，例如机器人路径规划，运输路线和游戏。虽然经典算法可以有效地计算最短路径，但神经网络可能更适合于使这些子例程适应更复杂和棘手的任务。作为开发此类网络的一步，我们使用神经元胞自动机的统一架构框架手工编码和学习广度优先搜索（BFS）模型，即最短路径查找，这是具有相等大小输入和输出的迭代神经网络。同样，我们提出了深度优先搜索（DFS）的神经实现，并概述了如何将其与神经BFS相结合，以产生用于计算图的直径的NCA。我们实验了受这些手工编码的NCA启发的架构修改，从头开始训练网络以解决网格迷宫上的直径问题，同时表现出强大的泛化能力。最后，我们介绍了一种方案，其中数据点在训练过程中发生逆向突变。我们发现，逆向发展的迷宫导致增加泛化的分布外的例子，而在同一时间生成的数据集与推理任务的显着更复杂的解决方案。
2023-01-17 cs.AI cs.LG
Working Memory Graphs
Microsoft Research AI（微软研究院人工智能）
Transformers在涉及文本序列的监督任务上获得新的最先进的结果方面越来越优于门控RNN。受这一趋势的启发，我们研究了基于transformer的模型如何提高顺序决策代理的性能。我们提出了工作记忆图（WMG），代理，采用多头自我注意力的原因，在一组动态的向量代表观察到的和经常性的状态。我们在三个具有因子化观察空间的环境中评估WMG：需要对过去的观察进行复杂推理的寻路环境，涉及可变目标的BabyAI网格世界级别，以及强调未来规划的Sokoban。我们发现，与所有任务的基线架构相比，WMG的基于transformer的架构与因子化观察空间的结合导致学习效率的显著提高。WMG演示了基于transformer的模型如何在RL环境中显着提高样本效率，其中可以分解观察结果。
2020-08-18 cs.AI cs.CL cs.LG
A Self-Supervised Auxiliary Loss for Deep RL in Partially Observable Settings
African Masters of Machine Intelligence（非洲机器智能硕士项目）；African Institute for Mathematical Sciences, AIMS（非洲数学科学研究所）；University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）
在这项工作中，我们探讨了一个辅助损失有用的强化学习的环境中，强大的执行代理需要能够导航的空间环境。提出的辅助损失是为了最小化神经网络分类器的分类误差，该分类器预测从代理当前发作轨迹采样的一对状态是否是有序的。分类器将一对状态以及代理的记忆作为输入。这种辅助损失的动机是，有一个很强的相关性，一对状态中的哪一个是最近的代理情节轨迹，这两个状态是空间上更接近代理。我们的假设是，学习功能，以回答这个问题，鼓励代理学习和内化的记忆表示的国家，促进空间推理。我们在网格世界中的导航任务上测试了这种辅助损失，与强基线方法相比，累积事件奖励增加了9.6%。
2021-04-17 cs.AI cs.LG
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中，离群点检测方案进行样本的样本决策和在线检测方案，需要完美的攻击模型已经提出。在本文中，我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程（POMDP）的问题，并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习（RL）的POMDP。数值实验结果表明，该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
Large-Scale Multirobot Coverage Path Planning on Grids With Path Deconfliction
School of Computing Science, Simon Fraser University（计算科学学院，西蒙弗雷泽大学）
研究4邻接2D网格上的多机器人覆盖路径规划问题，提出LS-MCPP框架结合ESTC范式与局部搜索直接在原网格上优化路径，并首次引入MAPF后处理技术解决冲突，实现高效高质量的现实应用求解。
2025-06-26 cs.AI cs.RO
Partially Observable Learning for Multi-Platform Dispatch Optimization
University of Exeter（埃克塞特大学）
本文针对多平台即时配送调度的部分可观测问题，提出POLO框架，通过建模平台-网格智能体、注意力策略表示与反事实奖励塑形，在多场景下实现优于基线的调度性能
2026-08-12 cs.LG
Robust optimal well control using an adaptive multi-grid reinforcement learning framework
Heriot-Watt University（赫瑞-瓦特大学）
强化学习（Reinforcement learning，RL）是解决模型参数高度不确定且系统部分可观测的鲁棒最优井控问题的有效工具。然而，RL的鲁棒控制策略往往依赖于执行大量的仿真。对于计算密集型模拟的情况，这很容易变得计算上难以处理。为了解决这一瓶颈，自适应多重网格RL框架介绍了几何多重网格方法在迭代数值算法中使用的原则的启发。RL控制策略最初是使用计算效率高的低保真度模拟，使用基本偏微分方程（PDE）的粗网格离散化来学习的。随后，模拟保真度以自适应的方式增加到对应于模型域的最精细离散化的最高保真度模拟。所提出的框架是使用最先进的，无模型的基于策略的RL算法，即邻近策略优化（PPO）算法。结果显示两个案例研究的强大的最优井控制问题的启发SPE-10模型2基准案例研究。使用所提出的框架，节省约60-70%的计算成本，其单一的细网格对应的显着收益的计算效率。
2022-07-13 cs.LG
FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems
National University of Singapore（新加坡国立大学）
部分可观测多智能体系统中的分散合作需要智能体之间的有效通信。为了支持这一努力，这项工作的重点是一类问题，全球通信是可用的，但可能是不可靠的，从而排除了不同的通信学习方法。我们介绍了FCMNet，一种基于强化学习的方法，允许代理同时学习a）有效的多跳通信协议和b）一个共同的，分散的政策，使团队级的决策。具体来说，我们提出的方法利用多个方向递归神经网络的隐藏状态作为代理之间的通信消息。使用一个简单的多跳拓扑结构，我们赋予每个代理的能力，接收信息顺序编码的每一个其他代理在每个时间步，从而提高全球合作。我们展示了FCMNet在一组具有挑战性的星际争霸II微观管理任务与共享奖励，以及一个合作的多智能体寻路任务与个人奖励。在那里，我们的比较结果表明，FCMNet在所有星际争霸II微观管理任务中优于最先进的基于通信的强化学习方法，在某些任务中优于价值分解方法。我们进一步研究了FCMNet在现实通信干扰下的鲁棒性，例如随机消息丢失或二进制化消息（即，不可区分的通信信道），以展示FMCNet在各种现实条件下对机器人任务的潜在适用性。
2022-01-31 cs.AI cs.LG cs.MA
On Learning Optimal Corners in Orthogonal Partially Observable Cooperative Guard Art Galleries
Université Paris-Saclay（巴黎萨克雷大学）；Centralesupélec（巴黎中央理工-高等电力学院）
针对CADENCE算法未指定智能体部署角落的问题，提出CNN和GATv2两种学习型启发式方法，在正交环境中提升覆盖速度和智能体利用率，且保持形式保证。
2026-10-06 cs.LG cs.MA cs.RO
Ramp Metering Control via Hybrid State Deep Reinforcement Learning in Partially Observable Connected Vehicle Environments
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；ESTIN（ESTIN 高等技术学院）
针对部分网联车辆环境下匝道信号控制问题，提出结合宏观与微观观测的混合表示及决斗双深度Q网络方法，在SUMO中相比ALINEA显著降低出行时间和溢流持续时间。
2026-10-06 cs.AI cs.LG math.OC
ARMS: Automatic Reward Shaping for Sparse-Reward Multi-Agent Reinforcement Learning
Department of Marine Technologies（海洋技术系）
提出ARMS框架，通过自监督轨迹排序学习稠密塑形信号，并基于条件最优反应推理证明其保持纳什均衡，从而解决多智能体强化学习中的稀疏奖励问题。
2026-05-22 cs.AI cs.MA
Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments
School of Mechanical Engineering, Yonsei University, Seoul, South Korea（延世大学机械工程学院，首尔，韩国）；Department of Artificial Intelligence, Yonsei University, Seoul, South Korea（延世大学人工智能系，首尔，韩国）；Department of Mechanical Engineering, University of California, Berkeley, United States（加州大学伯克利分校机械工程系，美国）
本文提出部分等价强化学习框架，通过选择性应用群不变或标准贝尔曼备份，提升样本效率和泛化能力，适用于对称破坏环境的离散和连续控制任务。
2026-03-11 cs.LG cs.RO
Learning to run a power network challenge for training topology controllers
Réseau de Transport d’Électricité（法国输电网络公司）；INSERM（法国国家健康与医学研究院）；CentraleSupélec（巴黎中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；Universié Paris-Saclay（巴黎萨克雷大学）
对于电网运行，大量的研究集中在使用发电再调度，负荷削减或需求侧管理的灵活性。然而，一个成本更低、可能更灵活的选择是电网拓扑结构的重新配置，正如Coreso（欧洲RSC）和RTE（法国TSO）运营部门已经部分利用的那样。除了以前的分支开关工作，总线重新配置是一个更广泛的行动类别，可以提供一些实质性的好处，路由电力和优化电网容量，以保持在安全裕度。由于其非线性和组合的性质，没有现有的最优潮流求解器可以解决这个问题。我们在这里提出了一个新的框架，通过模仿和强化学习来学习拓扑控制器。我们提出的设计和结果的第一个“学习运行一个电力网络”的挑战发布了这个框架。最后，我们开发了一种方法，提供性能上限（Oracle），突出了剩余的未解决的挑战，并提出了未来的改进方向。
2019-12-05 cs.LG eess.SP stat.ML
Real-Time Risky Fault-Chain Search using Time-Varying Graph RNNs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对气候变化下电网连锁故障链实时搜索难题，提出将其建模为 POMDP 并用时变 GRNN 捕捉拓扑动态与时空依赖，实现可扩展的风险故障链识别。
2025-03-12 cs.LG cs.SY eess.SP
Learning Space-Time Continuous Neural PDEs from Partially Observed States
Aalto University（阿尔托大学）
本文提出一种时空连续潜在神经PDE模型，结合配点法、线方法、摊销变分推断和多重打靶技术，从部分观测状态中实现网格无关的PDE学习，并在多个数据集上取得最优性能。
2023-10-26 cs.LG
Robustness of Spatio-temporal Graph Neural Networks for Fault Location in Partially Observable Distribution Grids
Ghent University -- imec（根特大学--imec）
本文提出STGNN模型，通过对比不同图构建策略，提升配电网络故障定位的鲁棒性和效率，实验显示STGNN在F1得分和稳定性上优于RNN基线。
2026-05-08 cs.LG
AlignBeat: A Latent Variable Model for Multi-Class Beat Tracking from Partially Labeled Data
本文将节拍跟踪重构为目标检测，将节拍和强拍视为时间对象，通过适配FCOS检测器并利用WaveBeat特征提取器和特征金字塔网络，在标准数据集上取得有竞争力的结果。
2026-09-29 cs.AI cs.LG cs.SD
Temporal Knowledge-Graph Memory in a Partially Observable Environment
HumemAI；Vrije Universiteit Amsterdam（范·艾克大学阿姆斯特丹）；ELLIS Institute Finland & Abo Akademi University（芬兰ELLIS研究所及阿博阿卡迪米大学）
该研究提出了一种基于时序知识图谱的记忆机制，通过在部分可观测环境中测试，展示了符号智能体在QA任务中比神经基线高出四倍的准确率。
2026-02-25 cs.AI cs.LG
ImageNet-trained deep neural network exhibits illusion-like response to the Scintillating Grid
Harvard University（哈佛大学）；Weizmann Institute of Science（魏茨曼科学研究所）
用于计算机视觉的深度神经网络（DNN）模型现在能够进行人类级别的对象识别。因此，DNN和人类视觉的性能和脆弱性的相似性非常有趣。在这里，我们描述了VGG-19 DNN对闪烁网格视错觉图像的响应，其中白点被感知为部分黑色。我们观察到闪烁网格中VGG-19代表性相异性和点白度之间的预期单调关系存在显著偏差。也就是说，点白度的线性增加导致非线性增加，然后显着地减少（非单调性）代表性相异性。在控制图像中，主要是单调的代表性相异性和点白度之间的关系进行观察。此外，对应于最大代表性相异性（即非单调相异性的开始）的点白度水平与对应于人类观察者的错觉感知的开始的点白度水平紧密匹配。因此，DNN中的非单调响应是人类错觉感知的潜在模型相关性。
2019-08-05 cs.CV cs.LG eess.IV
Physics-Informed Deep Neural Network Method for Limited Observability State Estimation
Columbia University（哥伦比亚大学）；Tel Aviv University（特拉维夫大学）；National Renewable Energy Laboratory（国家可再生能源实验室）
为了确保最佳和可靠的电网运行，关于电网状态的精确知识是重要的。具体而言，了解配电网的状态变得越来越重要，因为更多的可再生能源直接连接到配电网中，增加了注入功率的波动。在本文中，我们考虑的情况下，配电网成为部分可观测的，和状态估计问题是欠定的。我们提出了一种新的方法，利用深度神经网络（DNN）来估计网格状态。标准DNN训练方法被修改为显式地包含电网拓扑和线路/并联导纳的物理信息。我们表明，我们的方法导致一个优越的精度的估计相比，没有物理信息时提供的情况下。最后，我们比较了我们的方法的性能标准的状态估计的方法，这是基于加权最小二乘与伪测量，并表明我们的方法执行显着更好的估计精度。
2020-02-16 cs.LG cs.SY eess.SP
Towards Fully Parameter-Free Stochastic Optimization: Grid Search with Self-Bounding Analysis
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家级重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；Tel Aviv University（特拉维夫大学）
本文提出Grasp框架，通过自界分析实现完全无参数的随机优化，在非凸和凸情况下均取得优异收敛率和性能。
2026-04-18 cs.LG math.OC
Partially Observed Trajectory Inference using Optimal Transport and a Dynamics Prior
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
本文针对部分观测轨迹推断问题，将框架扩展到潜在状态空间模型，提出PO-MFL算法并给出理论保证，实验验证其鲁棒性、指数收敛及优于无潜在基线。
2025-02-26 cs.LG stat.ML
