SocialJax: An Evaluation Suite for Multi-agent Reinforcement Learning in Sequential Social Dilemmas
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；The Alan Turing Institute（艾伦·图灵研究所）；Google DeepMind（谷歌DeepMind）
本文提出SocialJax，一个用于多智能体强化学习中序列社会困境的评估套件，通过JAX实现高效环境与算法，实验显示其在实时性能上比Melting Pot RLlib快50倍，并验证了基线算法的有效性及环境的社会困境特性。
2026-03-17 cs.AI cs.LG
Agentick: A Unified Benchmark for General Sequential Decision-Making Agents
Mila Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
Agentick是一个统一的连续决策制定代理基准测试，评估RL、LLM、VLM等代理在共同基础上的表现，揭示各方法的不足，为通用自主代理研究提供实验基础。
2026-09-28 cs.AI
Understanding Goal Generalisation in Sequential Reinforcement Learning
University of Cambridge（剑桥大学）；Geodesic Research（Geodesic研究）
通过引入潜在策略梯度方法，研究序贯训练下强化学习代理在分布外环境中的目标泛化行为，发现显著特征驱动泛化且早期目标影响后期目标。
2026-05-22 cs.AI cs.LG
Exploring the Impact of Tunable Agents in Sequential Social Dilemmas
National University of Ireland Galway（爱尔兰国立高威大学）
在开发强化学习代理时，标准方法是训练代理以收敛到对于单个固定奖励函数尽可能接近最优的固定策略。如果将来需要不同的代理行为，以这种方式训练的代理通常必须完全或部分地重新训练，浪费宝贵的时间和资源。在这项研究中，我们利用多目标强化学习来创建可调代理，即代理可以根据设计师的偏好采取一系列不同的行为，而不需要重新训练。我们将这种技术应用于连续的社会困境，个人和集体理性之间存在内在紧张关系的环境。在这种情况下，如果对手的策略在学习完成后发生变化，那么学习一个单一的固定策略会使一个人处于明显的劣势。在我们的工作中，我们经验证明，可调代理框架允许在连续的社会困境中的合作和竞争行为之间轻松适应，而不需要重新训练，允许调整单个经过训练的代理模型，以适应广泛的行为和对手的策略。
2021-01-28 cs.AI cs.MA
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
DeepMind
像囚徒困境这样的矩阵游戏已经指导了几十年的社会困境研究。然而，他们必须把合作或背叛的选择视为原子行动。在现实世界的社会困境中，这些选择在时间上被延长了。合作性是一种适用于政策的属性，而不是基本行动。我们介绍了顺序的社会困境，共享矩阵博弈社会困境的混合激励结构，但也需要代理学习政策，实现他们的战略意图。我们分析了多个自利的独立学习代理学习的策略的动态，每个学习代理都使用自己的深度Q网络，在这里介绍的两个马尔可夫博弈中：1。一个水果收集游戏和2.狼群狩猎游戏我们描述了每个领域的学习行为如何随着环境因素（包括资源丰度）的变化而变化。我们的实验展示了冲突如何从对共享资源的竞争中产生，并揭示了现实世界社会困境的连续性如何影响合作。
2017-02-10 cs.AI cs.GT cs.LG
MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents
University of the Witwatersrand（威特沃特斯兰大学）
本文提出MoralityGym基准，通过将道德规范表示为有序的规范约束，评估序列决策代理中分层道德对齐的挑战，展示了98个伦理困境问题，并通过心理学和哲学的见解改进了伦理决策方法。
2026-05-21 cs.AI cs.LG
On Blame Attribution for Accountable Multi-Agent Sequential Decision Making
MPI-SWS（马克斯·普朗克软件系统研究所）
责任归因是负责任决策的关键方面之一，因为它提供了量化代理人对决策结果的责任的方法。在本文中，我们研究的背景下，合作的多智能体顺序决策的责任归因。作为一个特殊的兴趣背景，我们重点关注由多智能体马尔可夫决策过程（MMDPs）形式化的合作决策，并分析了源自合作博弈论中现有概念或受其启发的不同责任归因方法。我们形式化的理想属性的归咎于设置的利益，我们分析了这些属性之间的关系和研究的归咎于方法。有趣的是，我们发现，一些著名的责任归因方法，如Shapley值，不绩效激励，而其他人，如Banzhaf指数，可能会过度责怪代理。为了缓解这些价值错位和公平性问题，我们引入了一种新的归咎归因方法，独特的属性集，它满足，权衡解释力（通过低估指责代理）上述属性。我们进一步展示了如何考虑代理决策政策的不确定性，我们通过实验：a）验证所研究的责任归因方法的定性属性，b）分析其对不确定性的鲁棒性。
2022-01-25 cs.AI
Recent Advances in Leveraging Human Guidance for Sequential Decision-Making Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；U.S. Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
人工智能的一个长期目标是创建能够学习执行需要顺序决策的任务的人工代理。重要的是，虽然是人工智能体学习和行动，但仍然由人类来指定要执行的特定任务。经典的任务规范方法通常涉及人类提供固定的奖励函数或明确的演示所需的任务。然而，最近有大量的研究精力投入到探索人类可以引导学习代理的替代方式上，例如，更适合某些任务或需要更少的人力。本调查提供了五个最新的机器学习框架的高级概述，这些框架除了预先指定的奖励功能或传统的分步动作演示外，主要依赖于人类指导。我们回顾了每个框架的动机，假设和实施，并讨论了未来可能的研究方向。
2021-07-13 cs.AI cs.LG
Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory
本研究针对LLM智能体序列决策性能不足的问题，提出带经验记忆的智能体框架，通过对局后反思与规则提取，在不修改模型权重的情况下提升了井字棋任务的表现。
2026-08-05 cs.AI
Reinforced Language Models for Sequential Decision Making
本文提出MS-GRPO算法，通过多步信用分配与绝对优势加权采样策略对小型LLM进行后训练，使其在序贯决策任务上以3B参数超越72B基线50%。
2025-08-14 cs.AI cs.CL cs.LG
E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing
Genentech（基因泰克）；MIT（麻省理工学院）；Johns Hopkins（约翰霍普金斯大学）；Stanford（斯坦福大学）
提出E-valuator方法，将任意黑盒验证器分数转化为具有可控虚警率的决策规则，通过序贯假设检验实现对智能体轨迹的在线监控，提升统计功效并节省令牌。
2026-05-28 cs.AI cs.LG stat.AP
Minimizing Maximum Regret in Commitment Constrained Sequential Decision Making
University of Michigan（密歇根大学）
在多智能体合作规划中，一个智能体向其他智能体做出关于其行为方面的承诺通常是有益的，允许他们反过来规划自己的行为，而不考虑智能体的详细行为。扩展以前的工作中的贝叶斯设置，我们认为，而不是一个最坏的情况下的设置，代理有一组可能的环境（MDP），它可能是，并开发一个承诺语义，允许概率保证代理的行为在任何环境中，它可能最终面临。至关重要的是，代理接收（奖励和状态转换）的观察，使其能够潜在地消除可能的环境，从而通过使其策略适应观察的历史来获得更高的效用。我们开发的算法，并提供理论和一些初步的实证结果表明，他们确保代理满足其承诺与历史相关的政策，同时尽量减少最大的遗憾可能的环境。
2017-03-14 cs.AI
Causal Explanations for Sequential Decision-Making in Multi-Agent Systems
University of Edinburgh（爱丁堡大学）
本文提出 CEMA 框架，利用概率模型模拟反事实世界，为动态多智能体系统中的序贯决策生成因果自然语言解释，以提升自主智能体的可信赖度，并在自动驾驶场景中验证了其有效性和对用户信任的积极影响。
2024-02-14 cs.AI cs.RO
Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning
Human Machine Interaction Laboratory（人机交互实验室）
针对合作多智能体强化学习中顺序更新导致优势函数方差指数级增长的问题，提出裁剪目标控制优势波动上限，实现亚线性收敛到ε-纳什均衡，并在三个基准测试中优于基线方法。
2026-06-25 cs.LG cs.MA
Automated Hypothesis Validation with Agentic Sequential Falsifications
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
针对LLM生成假设难以人工验证的问题，提出基于波普尔证伪原则的智能体框架Popper，通过LLM智能体设计执行序贯证伪实验并严格控制I类错误，在多领域实现稳健性能，验证生物假设时耗时仅为人类的1/10。
2025-02-14 cs.AI cs.CL cs.LG
Learning to Trust: Bayesian Adaptation to Varying Suggester Reliability in Sequential Decision Making
Stanford Intelligent Systems Laboratory（斯坦福智能系统实验室）；Stanford University（斯坦福大学）
提出一种贝叶斯框架，通过将建议者质量融入信念表示并引入显式“询问”动作，使智能体在部分可观测环境中动态学习和适应变化的建议者可靠性，平衡信息获取与成本。
2026-05-24 cs.AI
Utility Theory for Sequential Decision Making
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）
冯·诺伊曼-摩根斯坦（VNM）效用定理表明，在某些理性公理下，决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置，并确定相应的效用函数的结构。特别是，我们表明，无记忆的偏好导致效用的形式，每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程（MDP）的推广与代理的回报，我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束，以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数，其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理，揭开了强化学习中理性代理设计的奖励假设的神秘面纱，并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Safe Sequential Optimization for Switching Environments
Indian Institute of Space Science and Technology（印度空间科学与技术学院）
针对切换环境下带安全约束的未知时变函数最大化问题，提出融合贝叶斯优化与变点检测的Adaptive-SafeOpt策略，解决变点后安全决策识别与局部最优问题。
2023-11-03 cs.AI math.OC
A Reduction-based Framework for Sequential Decision Making with Delayed Feedback
Center for Data Science, Peking University（北京大学数据科学中心）；Zhejiang Lab（之江实验室）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
针对多智能体序列决策中的随机延迟反馈问题，提出基于归约的框架，可将即时反馈多批次算法转化为适配随机延迟的样本高效算法，覆盖多类场景并填补了函数近似场景下的延迟研究空白。
2024-03-06 cs.LG
Inducing Stackelberg Equilibrium through Spatio-Temporal Sequential Decision-Making in Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对多智能体同时行动难以形成均衡的问题，本文构建时空序贯决策结构，并用共享条件超网络实现 N 级 Stackelberg 策略学习，在矩阵博弈、合作与混合任务中验证了有效性。
2023-12-11 cs.AI cs.MA
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
Computer Science New York University New York, USA（计算机科学 新 York 大学 新 York 美国）；Cybersecurity University of Maryland, College Park MD, USA（网络安全 美国马里兰大学College Park分校 MD 美国）；Carnegie Mellon University Pittsburgh, USA（卡内基梅隆大学 彭博 美国）
针对基于MCP的人工智能代理系统中现有防御无法可靠检测多步攻击的问题，提出ChainWatch框架，用六阶段杀伤链建模攻击进展，结合隐马尔可夫模型分类工具调用序列，能检测逃避传统机制的攻击链。
2026-07-23 cs.AI cs.CR
Response-Conditioned Parallel-to-Sequential Orchestration for Multi-Agent Systems
MBZUAI（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）；Michigan State University（密歇根州立大学）
本文提出Nexa框架，通过响应条件化的策略结合并行与顺序执行，减少通信和延迟同时提高最终响应准确性，展示了其通用性。
2026-05-15 cs.CL cs.LG cs.MA
Fairness over Equality: Correcting Social Incentives in Asymmetric Sequential Social Dilemmas
Izmir University of Economics \& University of Edinburgh（伊兹密大学经济学院及爱丁堡大学）；Middle East Technical University \& Utrecht University（中东部技术大学及乌得勒支大学）；University of Edinburgh（爱丁堡大学）；DeepFlow
本文提出改进方法，通过重新定义公平性、引入基于代理的加权机制和本地化反馈，以解决不对称序列社会困境中的合作问题。
2026-02-17 cs.LG
Sequential Attacks on Agents for Long-Term Adversarial Goals
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）
强化学习（RL）在过去几年中随着在策略网络上使用有效的深度神经网络（DNN）而取得了很大的进步。随着DNN的巨大有效性出现了严重的脆弱性问题，即输入上的小对抗性扰动可能会改变网络的输出。一些研究已经指出，具有DNN策略网络的学习代理可以通过对输入状态的一系列小扰动来操纵，以实现原始任务。在本文中，我们进一步证明了通过一系列攻击对受害者策略网络施加任意对抗性奖励也是可能的。我们的方法涉及最新的对抗攻击技术，对抗性Transformer网络（ATN），它学习生成攻击，并且很容易集成到策略网络中。由于我们的攻击，受害者代理被误导，随着时间的推移优化对抗性奖励。我们的结果暴露了无人机、医学分析和自动驾驶汽车等安全关键系统中RL应用的严重安全威胁。
2018-07-05 cs.AI cs.CR cs.CV
Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning
Politecnico di Milano（米兰理工大学）
许多现实世界的应用程序涉及代理团队，他们必须协调行动，以达到共同的目标，对抗潜在的对手。本文主要研究一组玩家面对一个对手的零和博弈，例如桥牌、扑克牌中的共谋和投标中的共谋。团队成员在玩游戏之前进行沟通的可能性-也就是说，事先协调他们的策略-使得行为策略的使用不能令人满意。我们引入软团队演员批评（STAC）作为一个解决方案，团队的协调问题，不需要任何先验领域的知识。STAC允许团队成员通过团队之间共享的外源信号有效地利用事前沟通。STAC在完全可观察和部分可观察的游戏中都达到了接近最优的协调策略，而之前的深度RL算法无法达到最优的协调行为。
2019-12-16 cs.AI cs.NE
IQ-Flow: Mechanism Design for Inducing Cooperative Behavior to Self-Interested Agents in Sequential Social Dilemmas
Istanbul Technical University（伊斯坦布尔理工大学）
实现和维护Agent之间的合作以实现共同目标是多智能体强化学习（MARL）的核心目标之一。然而，在许多现实世界的场景中，单独训练和专门的代理被部署到一个共享的环境中，或者该环境需要由不同的共存方实现多个目标。这些专业和目标之间的差异很可能导致动机混杂，最终导致各方都不知所措的社会困境。为了解决这个问题，我们提出了激励Q-Flow（IQ-Flow）算法，它修改了系统的奖励设置与激励调节代理，使合作政策也对应于代理的自利政策。与现有的方法，学习激励自利代理，IQ-Flow不做任何假设代理的政策或学习算法，这使得开发的框架推广到更广泛的应用。IQ-Flow使用其他代理提供的数据对学习到的策略的最优性进行离线评估，以确定合作和自利策略。接下来，IQ-Flow使用元梯度学习来估计策略评估如何根据给定的激励而变化，并修改激励，使得合作目标和自利目标的贪婪策略产生相同的动作。给出了迭代矩阵对策中IQ流的运算特性。我们证明了IQ-Flow在Escape Room和2-Player环境中优于最先进的激励设计算法。我们进一步证明，预训练的IQ流机制显着优于2-Player环境中的共享奖励设置的性能。
2023-03-04 cs.AI cs.GT cs.LG
Multi Agent Reinforcement Learning for Sequential Satellite Assignment Problems
University of Washington（华盛顿大学）
针对序列卫星分配等时序展开的组合优化问题，提出基于多项式时间贪心求解器自举的多智能体强化学习算法，结合分布式最优分配机制选择分配，在数百智能体规模下显著优于现有方法。
2024-12-20 cs.LG cs.MA
Balancing Specialization and Centralization: A Multi-Agent Reinforcement Learning Benchmark for Sequential Industrial Control
Ruhr-University Bochum（波鸿鲁尔大学）
本研究提出一个结合分拣与压制操作的工业顺序控制基准，比较模块化与单体强化学习架构，发现动作掩蔽对性能起决定性作用，且专业化优势随动作复杂性降低而减弱。
2025-10-23 cs.AI cs.LG cs.MA
Counterfactual Effect Decomposition in Multi-Agent Sequential Decision Making
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对多智能体马尔可夫决策过程，提出因果公式将行动的反事实效应分解并归因于智能体与状态变量，并在 Gridworld 和脓毒症管理场景验证可解释性。
2025-10-21 cs.AI cs.MA
Sequential Multi-Agent Dynamic Algorithm Configuration
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；Advanced Computing and Storage Lab, Huawei Technologies Co., Ltd. Shenzhen, China（先进计算与存储实验室，华为技术有限公司，深圳，中国）
针对多参数间固有依赖关系导致配置次优的问题，提出顺序多智能体动态算法配置框架Seq-MADAC，利用顺序优势分解网络，在合成函数和多目标优化算法配置上超越现有MARL方法。
2025-10-27 cs.LG cs.NE
Towards a Formal Definition of Agent Memory: Basis, Span, Optimality, and the Sequential Memory Problem
Tianjin University（天津大学）
本文提出智能体记忆的形式化定义，定义最优记忆为容量受限的期望覆盖最大化器，实例化于《奥德赛》并将现有系统纳入框架，使记忆质量可度量。
2026-08-13 cs.LG
Servant of Many Masters: Shifting priorities in Pareto-optimal sequential decision-making
University of California, Berkeley（加州大学伯克利分校）
通常认为，代理人代表具有不同效用函数的两个或多个委托人做出决策应该采用{ \em帕累托最优}策略，即，一项政策，如果不为另一个代理人做出牺牲，就不可能为一个代理人改进。海萨尼的一个著名定理表明，当委托人对所有策略的结果分布有一个共同的先验时，代理人的帕累托最优策略是最大化委托人效用的固定加权线性组合的策略。在本文中，我们表明，海萨尼的定理不成立的校长与不同的先验，并得出一个更精确的推广，这并举行，这构成了我们的主要结果。在这种更一般的情况下，赋予每个委托人效用的相对权重应该随着时间的推移而变化，这取决于代理人的观察结果与委托人的先验知识的一致程度。这一结果对合同、条约、合资企业和机器人的设计都有影响。
2017-10-31 cs.AI
Performance Comparisons of Reinforcement Learning Algorithms for Sequential Experimental Design
City St George’s, University of London（伦敦城市大学圣乔治校区）
本文比较了多种强化学习算法在序贯实验设计中的性能，发现使用dropout或集成方法的算法能训练出具有更好泛化能力的智能体，从而在统计特性变化时仍能做出高信息量的设计决策。
2025-08-18 cs.LG stat.ML
Sequential Bayesian Optimization for Adaptive Informative Path Planning with Multimodal Sensing
Stanford University（斯坦福大学）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
自适应信息路径规划与多模态传感器（AIPPMS）考虑的问题，配备多个传感器，每个传感器具有不同的传感精度和能源成本的代理。智能体的目标是在未知的、部分可观测的环境中探索环境并收集受其资源约束的信息。以前的工作集中在不太一般的自适应信息路径规划（AIPP）的问题，它只考虑代理的运动对收到的意见的影响。AIPPMS问题增加了额外的复杂性，要求代理的原因，共同的影响，传感和运动，同时平衡资源约束与信息目标。我们制定的AIPPMS问题作为一个信念马尔可夫决策过程与高斯过程的信念，并解决它使用一个连续的贝叶斯优化方法与在线规划。我们的方法始终优于以前的AIPPMS解决方案，几乎在每个实验中获得的平均奖励增加了一倍以上，同时还将环境信念的均方根误差降低了50%。我们完全开源我们的实现，以帮助进一步的开发和比较。
2022-09-16 cs.AI cs.RO
Coevolving with the Other You: Fine-Tuning LLM with Sequential Cooperative Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Alibaba (China) Co., Ltd.（阿里巴巴（中国）有限公司）；Macau University of Science and Technology（澳门科技大学）
针对现有RL微调LLM依赖PPO易出现次优表现和分布崩溃的问题，提出序列协作多智能体框架CORY，通过双智能体角色互换协同进化，实验验证其在策略最优性等方面优于PPO。
2025-02-22 cs.AI cs.MA
DLM: Unified Decision Language Models for Offline Multi-Agent Sequential Decision Making
Department of Control Science and Engineering, Tongji University, Shanghai 201804, China（同济大学控制科学与工程学院）；Shanghai Institute of Intelligent Science and Technology（上海智能科学研究院）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；State Key Laboratory of Autonomous Intelligent Unmanned Systems, Shanghai 200120, China（自主智能无人系统国家重点实验室）
本文提出DLM，通过统一决策语言模型解决离线多智能体强化学习中的决策问题，采用集中训练分散执行框架，提升泛化能力。
2026-04-26 cs.AI cs.MA
Sequential Anomaly Detection using Inverse Reinforcement Learning
Columbia University（哥伦比亚大学）
异常检测中最有趣的应用场景之一是针对连续数据的情况。例如，在安全关键环境中，至关重要的是要有一个自动检测系统来筛选监控传感器收集的流数据，并在实时检测到异常观察结果时报告。通常情况下，当这些潜在的异常是故意的或目标导向的时，风险要高得多。我们提出了一个端到端的框架顺序异常检测使用逆强化学习（IRL），其目标是确定决策代理的底层功能，触发他/她的行为。所提出的方法需要的目标代理（和可能的其他Meta信息）的动作序列作为输入。代理的正常行为，然后理解的奖励功能，这是通过IRL推断。我们使用一个神经网络来表示一个奖励函数。使用学习的奖励函数，我们评估来自目标代理的新观察是否遵循正常模式。为了构建一个可靠的异常检测方法，并考虑到预测的异常得分的置信度，我们采用贝叶斯方法IRL。公开的真实世界数据的实证研究表明，我们提出的方法是有效的，在识别异常。
2020-04-22 cs.LG stat.ML
Concurrent Meta Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
最先进的Meta强化学习算法通常假设单个代理以顺序方式与其环境交互的设置。这种顺序执行范式的一个负面副作用是，随着环境变得越来越具有挑战性，因此需要元学习者进行更多的交互事件，它需要代理在越来越长的时间尺度上进行推理。为了克服长时间尺度的信用分配的困难，我们提出了另一种并行框架，我们命名为“并发Meta-强化学习“（CMRL），将时间信用分配问题转化为多智能体强化学习。在这种多代理设置中，一组并行代理在相同的环境中执行，并且这些“推出”代理中的每一个都被赋予相互通信的手段。通信的目标是以协作的方式协调对代理当前分配的共享任务的最有效的探索。因此，这种协调代表了框架的元学习方面，因为每个代理都可以被分配或为自己分配当前任务状态空间的特定部分。这个框架与标准RL方法相反，标准RL方法假设每个并行卷展独立发生，如果许多卷展最终对状态空间的同一部分进行采样，则可能会浪费计算。此外，并行设置使我们能够定义几个奖励共享功能和辅助损失，这些功能和损失在顺序设置中应用是非常重要的。我们证明了我们提出的CMRL在各种具有挑战性的任务中改进顺序方法的有效性。
2019-03-07 cs.AI
Autonomous Capability Assessment of Sequential Decision-Making Systems in Stochastic Settings (Extended Version)
Arizona State University（亚利桑那州立大学）
本文针对黑盒序贯决策系统能力评估问题，提出一种主动学习方法，通过与系统交互学习可解释概率能力模型，并在理论和实验上证明其收敛性、少样本泛化性与样本高效性。
2023-10-28 cs.AI
Reinforcement Learning for Sequential Solar PV Policy Design under Uncertainty: An Agent-Based Approach
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
本研究将光伏政策设计建模为序列决策问题，结合强化学习与基于智能体模型，通过PPO等算法学习不同权衡的政策，其生成的政策权衡结构清晰且优于静态基准，可用于不确定性下的自适应政策设计。
2026-09-07 cs.AI
Meta-Prompt Optimization for LLM-Based Sequential Decision Making
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；Guangdong Lab of AI and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
针对基于大语言模型的序列决策中因奖励非平稳导致的元提示优化难题，提出EXPO及扩展的EXPO-ES算法，可显著提升相关任务性能。
2026-08-31 cs.LG
Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）；School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院）；Vector Institute（向量研究所）
针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
2026-05-28 cs.LG cs.MA
Can Induced Emotion Bias LLM Behaviors in Sequential Decision Making?
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Texas A&M University（德州农工大学）；National University of Singapore（新加坡国立大学）；UCLA（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Mass General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
研究探讨诱导情绪对大语言模型在序列决策中行为的影响，采用爱荷华赌博任务结合情绪诱导程序，发现诱导情绪平均不显著影响其决策动态，但愤怒有条件地影响决策，揭示了与人类行为的差异，为相关研究提供工具。
2026-07-15 cs.AI cs.CL
A Sequential Decision-Making Model for Perimeter Identification
Ben-Gurion University Of The Negev（内盖夫本-古里安大学）
针对边界识别依赖专用设备与精细数据的问题，本文提出仅需公开信息、可实时运行的序贯决策博弈框架，并通过真实场景验证其最优边界识别效果。
2024-09-05 cs.AI
Finding the bandit in a graph: Sequential search-and-stop
INRIA Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）；Criteo Research（Criteo研究院）
我们考虑的问题，代理人要找到一个隐藏的对象，是随机位于一些顶点的有向无环图（DAG）根据一个固定的，但可能是未知的分布。智能体只能检查已经检查过内邻居的顶点。在本文中，我们解决了一个学习设置，我们允许代理停止之前发现的对象，并重新开始搜索同一问题的一个新的独立的实例。我们的目标是在给定时间预算的情况下最大化找到的隐藏对象的总数。因此，智能体可以跳过一个实例后，意识到它会花太多的时间在它身上。我们的贡献是搜索理论和多武装土匪。如果分布是已知的，我们提供了一个准最优和有效的平稳策略。如果分布是未知的，我们还展示了如何顺序地近似它，并在同一时间，采取接近最佳的行动，以收集尽可能多的隐藏对象。
2019-04-22 cs.LG math.OC stat.ML
Sequential Estimation under Multiple Resources: a Bandit Point of View
Sharif University of Technology（谢里夫理工大学）
在联邦环境下定义了多资源序贯估计问题。SEMR可以看作是统计估计和强盗理论的交叉点。在这个问题中，一个智能体面对k个资源来估计一个参数$θ$。智能体应该通过明智地选择资源来不断学习资源的质量，最后根据收集的数据提出一个估计器。在本文中，我们假设资源的分布是高斯分布。最终估计量的质量由其均方误差来评估。此外，我们限制我们的类估计无偏估计，以定义一个有意义的概念遗憾。后悔通过最终估计量的方差与最优方差的比较来衡量代理的性能。我们提出了一个下限，以确定的基本限制的设置，即使在这种情况下，分布不是高斯。此外，我们提供了一个顺序优化算法来实现这个下限。
2021-09-29 cs.AI cs.DC cs.LG
Optimally Solving Simultaneous-Move Dec-POMDPs: The Sequential Central Planning Approach
Univ Lyon, INSA Lyon, Inria（里昂大学、里昂国立应用科学学院、法国国家信息与自动化研究所）；University of Groningen（格罗宁根大学）
针对同时行动Dec-POMDP求解可扩展性差的问题，提出序贯行动集中训练分散执行范式，将备份算子复杂度从双指数降至多项式级，适配单智能体方法且保留收敛保证，实验验证其优于现有ε-最优同时行动求解器。
2025-01-13 cs.LG cs.MA
Bayesian Orchestration of Multi-LLM Agents for Cost-Aware Sequential Decision-Making
Independent Researcher（独立研究者）
该研究提出了一种多LLM协调框架，通过贝叶斯方法和成本感知策略，降低招聘决策中的总成本并提升公平性。
2026-01-04 cs.AI cs.CL cs.ET
CB-Agent: Concept-Based In-Context Learning for Sequential Action Selection
本研究提出CB-Agent，将基于概念的上下文学习扩展至序列动作选择，在TextWorld等三个基准测试中，其在各模型规模下均取得最优跨基准平均性能，且与Reflexion结合可进一步提升表现。
2026-10-14 cs.AI cs.LG
Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems
Department of Computer Science, Rensselaer Polytechnic Institute, Troy New York（计算机科学系，雷士拉尔理工大学，特洛伊新 York）
本研究提出了一种信息论视角下的隐私控制框架，用于解决序列多智能体LLM系统中因信息流而产生的隐私泄露问题，通过约束信息流实现隐私与效用的平衡。
2026-02-13 cs.CR cs.LG cs.MA
Zero-Shot Assistance in Sequential Decision Problems
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们考虑的问题，创造助理，可以帮助代理解决新的顺序决策问题，假设代理是不能明确指定的奖励功能的助理。而不是在代理的地方，在目前的自动化为基础的方法，我们给助理咨询的作用，并保持代理在循环中的主要决策者。困难在于，我们必须考虑到代理人的潜在偏见，这些偏见可能导致它看似不理性地拒绝建议。要做到这一点，我们引入了一种新的形式化的援助，模型这些偏见，允许助理推断和适应他们。然后，我们介绍了一种新的方法来规划助理的行动，可以扩展到大型决策问题。我们的实验表明，我们的方法适应这些代理的偏见，并导致更高的累积奖励的代理比基于自动化的替代品。最后，我们表明，建议和自动化相结合的方法优于单独的建议，失去了一些安全保证的成本。
2022-11-30 cs.AI cs.LG cs.MA
Order Matters: Agent-by-agent Policy Optimization
Shanghai Jiao Tong University（上海交通大学）；Digital Brain Lab（数字大脑实验室）；ShanghaiTech University（上海科技大学）；University College London（伦敦大学学院）
虽然多智能体信赖域算法在解决协调任务方面取得了巨大的成功，但大多数算法都存在非平稳性问题，因为智能体会同时更新策略。相比之下，按代理更新策略的顺序方案提供了另一种视角，并显示出强大的性能。然而，样本效率低下和缺乏单调改善保证每个代理仍然是两个显着的挑战，顺序计划。在本文中，我们提出了\textbf{A} gent-by- \textbf{a} gent \textbf{P} policy \textbf{O} optimization（A2 PO）算法，以提高样本效率，并保留每个代理在训练过程中单调改进的保证。与其他信赖域算法相比，我们证明了单调改进界的紧密性。从顺序更新代理的角度出发，进一步考虑了代理更新顺序的影响，并将非平稳性理论推广到顺序更新方案中。为了评估A2 PO，我们对四个基准进行了全面的实证研究：StarCraftII，Multi-agent MuJoCo，Multi-agent Particle Environment和Google Research Football完整游戏场景。A2 PO的表现始终优于强基线。
2023-02-26 cs.AI cs.GT cs.LG
Sequential Cooperative Bayesian Inference
Rutgers University（罗格斯大学）
在向其他代理人学习时，合作往往是隐含的假设。合作意味着选择数据的主体和从数据中学习的主体具有相同的目标，即学习者推断预期的假设。人类和机器学习的最新模型已经证明了合作的可能性。我们通过序列数据寻求贝叶斯代理合作推理的基础理论结果。我们开发了新的方法分析的一致性，收敛速度和稳定性的顺序合作贝叶斯推理（SCBI）。我们的有效性，样本效率和鲁棒性的分析表明，合作不仅是可能的，在特定的情况下，但在理论上是有根据的一般。我们讨论了人与人和人机合作的影响。
2020-07-01 cs.LG cs.MA stat.ML
Beyond Task Performance: A Metric-Based Analysis of Sequential Cooperation in Heterogeneous Multi-Agent Destructive Foraging
Department of Electronic Engineering, University of Sevilla（电子工程系，塞维利亚大学）
本文提出一套通用合作度量标准，用于分析异构多智能体在破坏性觅食中的序列合作，涵盖效率、协调、依赖、公平性及敏感性，通过现实场景验证其有效性。
2026-02-11 cs.LG cs.MA
