Deliberation Scheduling for Time-Critical Sequential Decision Making
Brown University（布朗大学）
我们描述了一种方法，涉及顺序任务和随机过程的时间关键的决策。该方法采用了几个迭代细化例程来解决决策问题的不同方面。本文集中在审议调度的元级控制问题，分配计算资源，这些例程。我们提供了不同的模型对应的优化问题，捕捉不同的情况和计算策略下的时间限制的决策。我们考虑的先驱模型，其中所有的决策执行之前，执行和经常性的模型，其中决策执行并行，占在执行过程中观察到的状态，并预测未来的状态。我们描述了算法的前兆和经常性的模型，并提供我们的实证调查的结果。
2013-03-06 cs.AI
A Survey of Knowledge-based Sequential Decision Making under Uncertainty
State University of New York (SUNY) at Binghamton（纽约州立大学宾汉姆顿分校）；University of Birmingham（伯明翰大学）
陈述性知识推理（RDK）和顺序决策（SDM）是人工智能的两个重要研究领域。RDK方法的原因与声明性的领域知识，包括常识知识，这是提供了先验的或随着时间的推移获得，而SDM方法（概率规划和强化学习）寻求计算的行动政策，最大限度地提高预期的累积效用在一个时间范围内，这两类方法的原因存在的不确定性。尽管在这两个领域有丰富的文献，但研究人员还没有充分探索它们的互补优势。在本文中，我们调查的算法，利用RDK方法，同时在不确定性的顺序决策。我们讨论了重大的发展，开放的问题，以及未来的工作方向。
2022-06-30 cs.AI
Constraint-based Sequential Pattern Mining with Decision Diagrams
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto Scarborough（多伦多大学士嘉堡校区）
约束序列模式挖掘的目的是在观察定义在项目属性上的约束的同时，识别项目序列数据库上的频繁模式。我们引入新的技术，基于约束的序列模式挖掘，依赖于多值决策图表示的数据库。具体来说，我们的表示可以容纳多个项目属性和各种约束类型，包括一些非单调约束。为了评估我们的方法的适用性，我们开发了一个基于MDD的前缀投影算法，并比较其性能对一个典型的生成和检查的变体，以及一个国家的最先进的基于约束的序列模式挖掘算法。结果表明，我们的方法是有竞争力的，或优于这些其他方法的可扩展性和效率。
2018-11-14 cs.AI cs.LG
Achieving Long-Term Fairness in Sequential Decision Making
University of Arkansas（阿肯色大学）
在本文中，我们提出了一个框架，实现长期公平的顺序决策。通过进行硬干预和软干预，我们建议将时滞因果图上的路径特定效应作为衡量长期公平性的定量工具。然后将公平序贯决策问题转化为一个以效用为目标，以长期公平性和短期公平性为约束的约束优化问题。我们表明，这样的优化问题可以转换为表演风险优化。最后，采用重复风险最小化（RRM）进行模型训练，并从理论上分析了RRM的收敛性。实验结果表明，该算法在合成和半合成时态数据集上是有效的。
2022-04-04 cs.AI cs.LG
Translating the Rashomon Effect to Sequential Decision-Making Tasks
本文将拉什omon效应应用于序列决策任务，定义多个行为一致但结构不同的策略，并通过形式验证方法展示其在鲁棒性和计算效率上的优势。
2025-12-19 cs.AI cs.LG
TPvG: A Moral Decision Framework for Large Language Models from One-Shot to Sequential Feedback
Beijing Language and Culture University（北京语言大学）；Peking University（北京大学）
本研究提出TPvG道德决策框架，通过含结果反馈的任务评估发现，LLM道德决策受决策形式和接收者反馈影响，且与人类决策模式存在差异，需评估其高风险交互下的道德稳定性。
2026-09-01 cs.AI
Sequential Processing of Observations in Human Decision-Making Systems
Syracuse University（雪城大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
在这项工作中，我们考虑一个二元假设检验问题，涉及一组人类决策者。由于人类行为的本质，每个人类决策者在随机的时间长度内顺序地观察感兴趣的现象。人类使用信念模型来累积对数似然比，直到他们停止观察这种现象。信念模型用于表征人类决策者对不同时刻的观察的感知，即，一些决策者可能会更重视较早而不是较晚观察到的观察结果，反之亦然。全局决策器是一台机器，它使用Chair-Varshney规则融合人类决策，并为人类决策提供不同的权重，其中权重由人类用于得出其各自决策的观察值的数量确定。
2023-01-25 cs.AI cs.HC eess.SP
Verifying Memoryless Sequential Decision-making of Large Language Models
Simula Research Laboratory（Simula研究实验室）
本文提出一种自动化验证工具，通过增量构建MDP可达状态并利用Storm检查PCTL安全属性，验证LLM策略在无记忆序贯决策中的安全性，实验表明开源LLM可验证但逊于强化学习基线。
2025-10-08 cs.AI
Causal Explanations for Sequential Decision Making Under Uncertainty
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；General Motors Research（通用汽车研究院）
我们引入了一个新的框架因果解释的随机，顺序的决策系统建立在良好的研究结构因果模型范式的因果推理。这个单一的框架可以识别多个，语义上不同的解释代理动作-以前不可能的东西。在本文中，我们建立精确的方法和几个近似技术的因果推理马尔可夫决策过程使用这个框架，随后的结果的适用性的精确方法和一些运行时间界。我们讨论了几个方案，说明框架的灵活性和实验结果与人类受试者，确认这种方法的好处。
2023-01-10 cs.AI cs.MA
Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随着自动决策和决策辅助系统在日常生活中变得越来越普遍，关于预防或减轻这些系统所做决策产生的潜在危害的研究也越来越多。然而，不同的研究团体已经独立地对这些危害进行了概念化，设想了潜在的应用，并提出了干预措施。其结果是一个有点破碎的文学景观一般集中在确保决策算法“做正确的事情”。在本文中，我们比较和讨论的工作在两个主要子集的文献：算法公平性，主要集中在预测系统，道德决策，主要集中在顺序决策和规划。我们探讨这些设置如何表达其规范性的问题，这些不同的设置不同的技术的可行性，以及如何从每个设置的想法可能有其他的效用。
2023-01-13 cs.AI cs.CY cs.LG
Learning to Generalize for Sequential Decision Making
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们考虑的问题，使序列的决定，以完成任务，通过语言的媒介进行交互。这些问题通常用强化学习方法来解决。我们发现，这些模型不适用于新的任务域时，以及推广。然而，在强化学习范例下，充分训练和探索顺序决策制定的搜索空间所需的大量计算排除了包含大的上下文化语言模型，否则这可能实现期望的泛化能力。我们介绍了一个师生模仿学习的方法和手段转换的强化学习模型到自然语言理解模型。总之，这些方法使上下文语言模型的顺序决策问题空间的介绍。我们表明，模型可以更快地学习和推广更多，同时利用模仿学习和重构。我们的模型超过教师的表现在各种举行了决策问题，高达7%的领域内的问题和24%的领域外的问题。
2020-10-05 cs.AI cs.CL
Sequential Decision Problems with Weak Feedback
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本论文考虑序贯决策问题，其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题，其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪，其中选择一个动作所产生的损失可以在一定条件下观察。最后，我们研究了通信网络中的信道选择问题，其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用，例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题，利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法，并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2022-12-22 cs.AI cs.LG
Identifying Intelligent Processes via Online Sequential Testing
Truth Audit Labs（真相审计实验室）
本文提出将识别未知大语言模型的问题形式化为外部探针设计与内部序贯识别两层，外部问题等价于加权集合覆盖，内部问题给出评估次数上界。
2026-09-23 cs.AI cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
A Review of Symbolic, Subsymbolic and Hybrid Methods for Sequential Decision Making
University of Granada（格拉纳达大学）
本文综述了序贯决策中自动规划、强化学习及混合方法的知识表示，并指出神经符号AI因结合二者优势而成为有前景的研究方向。
2024-07-05 cs.AI
On the Modeling Capabilities of Large Language Models for Sequential Decision Making
Mila, McGill University（米拉研究所，麦吉尔大学）；Apple（苹果公司）
本研究探究大语言模型在多领域强化学习中的序列决策能力，发现其无需微调即可胜任奖励建模，AI反馈设计奖励适用性最广，合成数据微调还可提升陌生环境下的奖励建模能力并缓解灾难性遗忘。
2024-10-08 cs.AI
Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Inscrutable Representations
Arizona State University（亚利桑那州立大学）
随着越来越复杂的人工智能系统被引入我们的日常生活，这些系统能够解释其决策的理由并允许用户对这些决策提出异议变得非常重要。允许这种解释性对话的一个重要障碍可能是用户和AI系统之间的词汇不匹配。本文介绍的方法提供对比解释用户指定的概念顺序决策设置的系统的任务模型可能是最好的代表作为一个不可理解的模型。我们这样做，通过建立局部近似的任务，可以利用回答用户查询的部分符号模型。我们测试这些方法上流行的雅达利游戏（蒙特祖玛的复仇）和变体推箱子（一个著名的规划基准），并报告用户研究的结果，以评估人们是否发现这种形式产生的解释有用。
2022-03-19 cs.AI
Utility Theory for Sequential Decision Making
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）
冯·诺伊曼-摩根斯坦（VNM）效用定理表明，在某些理性公理下，决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置，并确定相应的效用函数的结构。特别是，我们表明，无记忆的偏好导致效用的形式，每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程（MDP）的推广与代理的回报，我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束，以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数，其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理，揭开了强化学习中理性代理设计的奖励假设的神秘面纱，并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Explaining Hitori Puzzles: Neurosymbolic Proof Staging for Sequential Decisions
针对Hitori谜题决策序列解释问题，提出结合决策过程与大语言模型的神经符号方法，利用SAT求解器解释局部约束、LLMs辅助视觉解释连通性约束，实现辅助工具并验证其有效性。
2025-08-19 cs.AI
Sequential three-way group decision-making for double hierarchy hesitant fuzzy linguistic term set
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对群决策中信息融合慢与部分决策解释难的问题，提出基于粒计算的序贯三支群决策方法S3W-GDM，在DHHFLTS环境下融合多级信息并优化条件概率与损失函数计算，提升决策效率与合理性。
2024-06-27 cs.AI
Dynamic Teaching in Sequential Decision Making Environments
Center for Educational Testing and Evaluation（教育测试与评估中心）；Department of Computer Science（计算机科学系）；University of Kansas（堪萨斯大学）；Rutgers University（罗格斯大学）
我们描述的理论界限和一个实用的算法，教学模型的演示顺序决策环境。与以往的努力，优化学习者观看教师演示静态政策，我们专注于教师作为决策者谁可以动态地选择不同的政策，教环境的不同部分。我们开发了几个教学框架的基础上，以前定义的监督协议，如教学维度，扩展它们来处理噪声和序列中遇到的输入MDP。我们提供了在这种设置中的几个重要的模型类的可学习性的理论界限，并提出了一个实用的算法动态教学。
2012-10-16 cs.AI cs.LG stat.ML
Knowledge-Based Sequential Decision-Making Under Uncertainty
Auburn University（奥本大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法在序列决策问题上取得了巨大的成功，但由于缺乏数据效率和可解释性而受到批评。特别是，子任务的可解释性在分层决策中至关重要，因为它增强了黑盒式DRL方法的透明度，并帮助RL从业者更好地理解系统的高层行为。为了提高DRL的数据效率和可解释性，在这项工作中，声明性知识的引入，并提出了一种新的算法，结合DRL和符号规划。在公开的基准测试上的实验分析验证了子任务的可解释性，并表明我们的方法在数据效率方面优于最先进的方法。
2020-05-16 cs.AI cs.LO
A Survey of Multi-Objective Sequential Decision-Making
University of Amsterdam（阿姆斯特丹大学）；University of Ballarat（巴拉瑞特大学）
具有多个目标的顺序决策问题在实践中自然出现，并对决策理论规划和学习的研究提出了独特的挑战，这些问题主要集中在单目标设置上。本文综述了为多目标序列决策问题设计的算法。虽然关于这个问题的文献越来越多，但很少有文献明确说明在什么情况下需要特殊的方法来解决多目标问题。因此，我们确定了三种不同的情况下，转换这样一个问题到一个单一的目标是不可能的，不可行的，或不可取的。此外，我们提出了一个分类法，根据适用的情况下，标量化函数的性质（项目多目标值标量），并考虑的政策类型的多目标方法进行分类。我们展示了这些因素如何决定最优解的性质，它可以是一个单一的政策，一个凸包，或帕累托前。使用这种分类法，我们调查的文献多目标规划和学习的方法。最后，我们讨论了这些方法的关键应用，并概述了未来工作的机会。
2014-02-04 cs.AI
Responsibility Gap and Diffusion in Sequential Decision-Making Mechanisms
Institute of Logic and Intelligence, Southwest University, Chongqing, China（逻辑与智能研究所，西南大学，重庆，中国）；University of Southampton, Southampton, the United Kingdom（南安普顿大学，南安普顿，英国）
本文研究集体决策机制中责任扩散与责任缺口的计算复杂性，证明无扩散机制集为 $Π_2$-完备、无缺口机制集为 $Π_3$-完备，且两者交集为 $Π_2$-完备。
2025-07-03 cs.AI
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier（IRIT - 保罗·萨巴捷大学）
在这篇文章中，我们提出了一个定性（有序）部分可观察马尔可夫决策过程模型（POMDP），其中的不确定性，以及代理的偏好，建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍，即使在有限的状态空间中，所获得的POMDP的信念状态空间是无限的。相反，在可能性框架中，即使指数地大于状态空间，信念状态空间仍然是有限的。
2013-01-23 cs.AI
Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning
Harvard University（哈佛大学）
本文研究了大型语言模型在序列决策任务中的上下文学习能力，通过监督微调提升其在马尔可夫决策过程等场景中的决策性能，实验表明微调后的模型在复杂环境中表现更优。
2026-05-09 cs.AI cs.LG
A Sequential Decision-Making Model for Perimeter Identification
Ben-Gurion University Of The Negev（内盖夫本-古里安大学）
针对边界识别依赖专用设备与精细数据的问题，本文提出仅需公开信息、可实时运行的序贯决策博弈框架，并通过真实场景验证其最优边界识别效果。
2024-09-05 cs.AI
Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory
本研究针对LLM智能体序列决策性能不足的问题，提出带经验记忆的智能体框架，通过对局后反思与规则提取，在不修改模型权重的情况下提升了井字棋任务的表现。
2026-08-05 cs.AI
On Blame Attribution for Accountable Multi-Agent Sequential Decision Making
MPI-SWS（马克斯·普朗克软件系统研究所）
责任归因是负责任决策的关键方面之一，因为它提供了量化代理人对决策结果的责任的方法。在本文中，我们研究的背景下，合作的多智能体顺序决策的责任归因。作为一个特殊的兴趣背景，我们重点关注由多智能体马尔可夫决策过程（MMDPs）形式化的合作决策，并分析了源自合作博弈论中现有概念或受其启发的不同责任归因方法。我们形式化的理想属性的归咎于设置的利益，我们分析了这些属性之间的关系和研究的归咎于方法。有趣的是，我们发现，一些著名的责任归因方法，如Shapley值，不绩效激励，而其他人，如Banzhaf指数，可能会过度责怪代理。为了缓解这些价值错位和公平性问题，我们引入了一种新的归咎归因方法，独特的属性集，它满足，权衡解释力（通过低估指责代理）上述属性。我们进一步展示了如何考虑代理决策政策的不确定性，我们通过实验：a）验证所研究的责任归因方法的定性属性，b）分析其对不确定性的鲁棒性。
2022-01-25 cs.AI
Learning and Reasoning for Robot Sequential Decision Making under Uncertainty
SUNY Binghamton（纽约州立大学宾汉姆顿分校）；University of Indianapolis（印第安纳波利斯大学）
机器人经常面临需要多个动作的复杂任务，其中顺序决策（SDM）功能变得必要。这项工作的关键贡献是一个机器人SDM框架，称为LCORPP，支持同时的能力，监督学习被动状态估计，自动推理与人类知识的陈述，并规划下实现长期目标的不确定性。特别是，我们使用一个混合推理范式来完善的状态估计，并提供信息先验的概率规划。在实验中，移动机器人的任务是估计人类的意图，使用他们的运动轨迹，声明性的上下文知识，和人机交互（基于对话和基于运动）。结果表明，在效率和准确性，我们的框架表现优于其无学习和无推理的办公环境。
2019-12-10 cs.AI
From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions
Princeton University（普林斯顿大学）
有超过15个不同的社区在顺序决策和信息的一般领域工作，通常被称为不确定性或随机优化下的决策。我们专注于两个最重要的领域：随机最优控制，其根源在确定性最优控制，和强化学习，其根源在马尔可夫决策过程。在先前工作的基础上，我们描述了一个统一的框架，涵盖了所有15个不同的社区，并注意到与随机最优控制的建模框架有很强的相似之处。相比之下，我们的情况下，强化学习的建模框架，继承离散马尔可夫决策过程，是相当有限的。我们的框架（和随机控制）是基于优化政策的核心问题。我们描述了四类政策，我们声称是普遍的，并表明，这两个领域中的每一个，以自己的方式，发展到包括这四个类的例子。
2019-12-18 cs.AI cs.LG cs.SY
A Scheme for Dynamic Risk-Sensitive Sequential Decision Making
Concordia Institute of Information System Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）；John Molson School of Business（约翰莫尔森商学院）
我们提出了一个计划的顺序决策与风险敏感的目标和约束条件在动态环境中。一个神经网络被训练成一个从参数空间到风险空间和具有风险敏感约束的策略空间的映射的近似器。对于一个给定的风险敏感问题，其中的目标和约束是，或可以估计，收益的均值和方差的函数，我们生成一个合成的数据集作为训练数据。定义目标过程的参数可以是动态的，即，它们可能会随时间而变化，因此我们在指定的时间间隔内对其进行采样，以处理这些动态。我们证明：i）。大多数风险度量可以使用收益方差进行估计; ii）.借助于状态增强变换，可以在风险敏感的情况下解决由具有随机报酬的马尔可夫决策过程建模的实际问题;以及iii）。数值实验验证了该方法的有效性。
2019-07-09 cs.AI
Learning Structural Weight Uncertainty for Sequential Decision-Making
Duke University（杜克大学）；University at Buffalo（布法罗大学）
学习神经网络（NN）的权重的概率分布最近已被证明在许多应用中是有益的。贝叶斯方法，如Stein变分梯度下降（SVGD），提供了一个优雅的框架来推理NN模型的不确定性。然而，通过为各个NN权重假设独立的高斯先验（如经常应用的），SVGD不会强加权重之间通常存在结构信息（依赖性）的先验知识。我们提出了有效的结构权重不确定性的后验学习，在SVGD框架内，采用矩阵变量高斯先验神经网络参数。我们进一步研究了顺序决策问题中的学习结构不确定性，包括上下文强盗和强化学习。几个合成和真实数据集上的实验表明，我们的模型的优越性，与最先进的方法相比。
2018-04-02 cs.AI cs.LG stat.ML
Generalized Thompson Sampling for Sequential Decision-Making and Causal Inference
最近，它已被证明如何从预测分布的最佳行动，有时被称为汤普森采样的采样行动，可以应用于解决顺序自适应控制问题，当最佳策略是已知的每个可能的环境。然后，预测分布可以通过最优策略的贝叶斯叠加来构建，所述最优策略由其后验概率加权，所述后验概率通过贝叶斯推断和因果演算来更新。在这里，我们讨论这种方法的三个重要特征。首先，我们讨论在多大程度上可以被视为政策不确定性的贝叶斯建模的自然结果，这样的汤普森采样。其次，我们展示了如何汤普森采样可以用来研究多个自适应代理之间的相互作用，从而开辟了一条途径的博弈论分析。第三，我们展示了如何汤普森抽样可以应用于推断因果关系时，与环境中的顺序方式进行交互。总之，我们的研究结果表明，汤普森抽样可能不仅是一个有用的启发式，但一个原则性的方法来解决问题的自适应顺序决策和因果推理。
2013-03-18 cs.AI stat.ML
A Comparison of Decision Analysis and Expert Rules for Sequential Diagnosis
Carnegie Mellon University（卡内基梅隆大学）
长期以来，关于不确定性推理的决策理论方法和基于规则的启发式方法的相对优点一直存在争议。我们报告的两种方法的故障排除，特别是测试选择故障诊断的性能的实验比较。我们使用的实验测试台的问题诊断摩托车发动机。第一种方法采用从专家力学中获得的启发式测试选择规则。我们比较它与最优决策分析算法的测试选择，采用估计的组件故障概率和测试成本。决策分析算法被发现，以减少预期的成本（即时间），以达到平均14%的诊断相对于专家规则。敏感性分析表明，结果是相当强大的概率和成本估计的不准确性。这种差异暗示了知识获取的一些有趣的含义。
2013-03-27 cs.AI
Revisiting Game Representations: The Hidden Costs of Efficiency in Sequential Decision-making Algorithms
Czech Technical University in Prague（捷克技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文比较扩展式博弈与序贯贝叶斯博弈表示，指出信息状态树虽高效却限制可表示博弈，并揭示现有基准结果可能因测试类别受限而产生偏差。
2023-12-05 cs.AI cs.GT
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind（深度思维）；Princeton University（普林斯顿大学）；Google Research India（谷歌印度研究院）；University of Alberta（阿尔伯塔大学）
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计，这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习（RL）问题（如表MDP，因子MDP，低见证秩问题，表弱揭示/可观察POMDP和多步可解码POMDP），而且还包括许多新的具有挑战性的RL问题，特别是在部分可观察的设置中，以前不知道是易处理的。值得注意的是，本文所解决的新问题包括：（1）具有连续观测和函数逼近的可观测POMDPs，其中我们获得了与观测空间大小完全无关的第一样本复杂度;（2）良态低秩序贯决策问题（也称为预测状态表示（PSR）），其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;（3）SAIL条件下的一般序贯决策问题，统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件，它可以看作是Bellman/witness秩的自然推广，以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法，它学习近似的动态模型，使计算接近最优的政策，同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
Deep Learning for Sequential Decision Making under Uncertainty: Foundations, Frameworks, and Frontiers
Grado Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）
本文探讨在不确定环境下序列决策制定的深度学习方法，结合运筹学与管理科学的视角，分析深度学习与优化的互补性，并讨论其在供应链、医疗等领域的应用。
2026-09-17 cs.AI cs.LG cs.SY
Generalization to New Sequential Decision Making Tasks with In-Context Learning
FAIR at Meta（Meta人工智能研究院）；UCL（伦敦大学学院）
本文研究transformers在序列决策中的上下文学习泛化，揭示朴素训练失效，并通过具有分布特性的大规模多样化离线轨迹训练，使模型无需权重更新即可从少量演示学会新MiniHack与Procgen任务。
2023-12-06 cs.AI cs.LG
Can Induced Emotion Bias LLM Behaviors in Sequential Decision Making?
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Texas A&M University（德州农工大学）；National University of Singapore（新加坡国立大学）；UCLA（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Mass General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
研究探讨诱导情绪对大语言模型在序列决策中行为的影响，采用爱荷华赌博任务结合情绪诱导程序，发现诱导情绪平均不显著影响其决策动态，但愤怒有条件地影响决策，揭示了与人类行为的差异，为相关研究提供工具。
2026-07-15 cs.AI cs.CL
Assessing AI Utility: The Random Guesser Test for Sequential Decision-Making Systems
Harrison High School（哈里森高中）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本研究提出用于评估AI系统决策偏差风险的随机猜测器测试，发现复杂AI方法在序列决策场景中常表现不及随机猜测，该测试可用于评估AI动作效用，并提示增加探索度可优化相关系统。
2024-08-11 cs.AI cs.CY
Information Avoidance and Overvaluation in Sequential Decision Making under Epistemic Constraints
Carnegie Mellon University（卡内基梅隆大学）
参与管理民用资产和系统的决策者通常在社会法规的约束下采取行动。其中一些约束与认识量有关，如故障事件的概率和相应的风险。传感器和检查员可以提供有用的信息，支持控制过程（例如资产的维护过程），关于收集这些信息的决定应依赖于对其成本和价值的分析。当社会法规编码的经济观点与决策者的观点不一致时，信息价值（VoI）可能是负面的（即，信息有时是有害的），并且几乎不相关的信息甚至可以具有重要的价值（积极或消极的），对于在这些认知约束下行动的代理。我们将这些现象称为信息规避（IA）和信息高估（IOV）。在本文中，我们说明了如何评估VoI在顺序决策下的认知约束（如社会法规所施加的），通过建模部分可观察马尔可夫决策过程（POMDP）和评估非最优政策，通过有限状态控制器（FSC）。我们专注于在当前时间收集信息的价值，并在收集顺序信息，我们说明了这些值是如何相关的，我们讨论了IA和IOV可以发生在这些设置。
2021-06-09 cs.AI cs.IT cs.MA
Optimal Sequential Decision-Making in Geosteering: A Reinforcement Learning Approach
University of Stavanger（斯塔万格大学）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
本文提出用无模型的深度Q网络强化学习方法优化地质导向中的序贯决策，离线训练后实时评估快，在合成场景中达到与近似动态规划相当的高质量结果，且可扩展至更复杂环境。
2025-01-22 cs.AI cs.LG physics.geo-ph
Unifying and Optimizing Data Values for Selection via Sequential Decision-Making
Rensselaer Polytechnic Institute（伦塞拉尔理工学院）
将数据选择重构为序列决策问题，通过动态规划得到最优选择序列，并统一解释Data Shapley等现有方法为近视线性近似，提出基于二分图的高效替代方法，在经典ML和大规模LLM微调数据选择中显著优于现有方法。
2026-05-29 cs.AI
A 3D Characterization Framework for Intelligent Sequential Decision Making
Jožef Stefan Institute（若热夫· Stefan 研究所）
该研究提出三维表征框架，以汉诺塔谜题为基准，对比Neurosolver、FBRL、AutoToS等不同范式的序贯决策方法，发现LLM方法因动作空间约束弱导致成本更高。
2026-10-09 cs.AI
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Synthetically Generating Human-like Data for Sequential Decision Making Tasks via Reward-Shaped Imitation Learning
Naval Research Laboratory（海军研究实验室）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）
本文提出一种结合奖励塑形与模仿学习的算法，仅用少量人类决策数据即可合成类人决策数据，并在三个序列决策任务中验证其可几乎无差别替代人类数据。
2023-04-14 cs.AI cs.LG
SkillGen: Learning Domain Skills for In-Context Sequential Decision Making
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories America（NEC美洲实验室）；Tianjin University（天津大学）；Baylor University（贝勒大学）
针对现有ICL序列决策方法无法同时满足提示三项设计原则的问题，提出基于技能的SkillGen框架，通过构建动作领域图、识别高效用动作生成优质提示，在多基准上实现了稳定性能提升。
2025-11-18 cs.AI
Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks
本文提出混合LLM增强RL智能体，融合LLM规划与RL动作优化，经实验验证其在序列决策任务上优于仅RL、仅LLM的基线方法，为构建更强自主系统提供了新方向。
2026-08-20 cs.AI cs.LG cs.MA
Zero-Shot Assistance in Sequential Decision Problems
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们考虑的问题，创造助理，可以帮助代理解决新的顺序决策问题，假设代理是不能明确指定的奖励功能的助理。而不是在代理的地方，在目前的自动化为基础的方法，我们给助理咨询的作用，并保持代理在循环中的主要决策者。困难在于，我们必须考虑到代理人的潜在偏见，这些偏见可能导致它看似不理性地拒绝建议。要做到这一点，我们引入了一种新的形式化的援助，模型这些偏见，允许助理推断和适应他们。然后，我们介绍了一种新的方法来规划助理的行动，可以扩展到大型决策问题。我们的实验表明，我们的方法适应这些代理的偏见，并导致更高的累积奖励的代理比基于自动化的替代品。最后，我们表明，建议和自动化相结合的方法优于单独的建议，失去了一些安全保证的成本。
2022-11-30 cs.AI cs.LG cs.MA
Communication and Control Co-Design in 6G: Sequential Decision-Making with LLMs
针对6G中通信与控制子系统交互复杂、性能优化难的问题，将二者序贯协同决策建模为马尔可夫决策过程，提出融合大语言模型的强化学习离线框架，通过案例验证潜力并指出未来研究方向。
2024-09-09 cs.AI cs.SY eess.SY
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
Yale University（耶鲁大学）
本文提出一种显式表示信息结构的强化学习模型，通过图论量刻画一般序贯决策问题的统计难度，给出样本复杂度上界及达到该上界的算法，为识别可处理问题类别提供系统方法。
2024-05-27 cs.AI cs.LG stat.ML
"Guess what I'm doing": Extending legibility to sequential decision tasks
INESC-ID；Instituto Superior Técnico（高等技术学院）
本文提出PoL-MDP方法，在保持计算可行性的同时处理不确定性，将可读性扩展到序贯决策任务，并通过模拟、逆强化学习及用户研究验证其优势。
2023-12-27 cs.AI cs.RO
Personalized next-best action recommendation with multi-party interaction learning for automated decision-making
University of Technology Sydney（悉尼科技大学）
在自然、社会和商业决策中，人们广泛需要在连续、动态和交互的环境中为每个客户自动推荐下一个最佳行动。个性化的次佳行动建议必须涉及过去，当前和未来的客户人口统计数据和环境（状态）和行为，客户和决策者之间的长期顺序交互，状态，行为和行动之间的多序列交互，以及他们对对方行动的反应。没有现有的建模理论和工具，包括马尔可夫决策过程，用户和行为建模，深度顺序建模，个性化顺序推荐，可以量化这样的复杂的决策在个人层面上。我们采取数据驱动的方法来学习下一个最好的行动，个性化的决策，通过加强耦合递归神经网络（CRN）。CRN表示客户的历史和当前状态的多个耦合动态序列，对决策者行为的响应，对行为的决策奖励，并学习各方（客户和决策者）之间的长期多序列交互。然后在某个时间点对每个客户推荐下一个最佳行动，以改变他们的状态，实现最佳决策目标。我们的研究展示了多序列交互的个性化深度学习和复杂系统中个性化决策的自动动态干预的潜力。
2021-08-19 cs.AI cs.LG cs.NE
