Achieving Long-Term Fairness in Sequential Decision Making
University of Arkansas（阿肯色大学）
在本文中，我们提出了一个框架，实现长期公平的顺序决策。通过进行硬干预和软干预，我们建议将时滞因果图上的路径特定效应作为衡量长期公平性的定量工具。然后将公平序贯决策问题转化为一个以效用为目标，以长期公平性和短期公平性为约束的约束优化问题。我们表明，这样的优化问题可以转换为表演风险优化。最后，采用重复风险最小化（RRM）进行模型训练，并从理论上分析了RRM的收敛性。实验结果表明，该算法在合成和半合成时态数据集上是有效的。
2022-04-04 cs.AI cs.LG
Algorithms for Fairness in Sequential Decision Making
University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的研究表明，如果忽视决策的反馈效应，那么强加公平约束，如人口均等或机会均等，实际上会加剧不公平。我们建议通过将反馈效应建模为马尔可夫决策过程（MDP）来解决这一挑战。首先，我们提出类似的公平性的MDP设置。其次，我们提出了学习公平的决策政策MDP的算法。最后，我们证明了需要考虑到使用模拟贷款申请人MDP的动态效果。
2021-10-11 cs.LG stat.ML
Translating the Rashomon Effect to Sequential Decision-Making Tasks
本文将拉什omon效应应用于序列决策任务，定义多个行为一致但结构不同的策略，并通过形式验证方法展示其在鲁棒性和计算效率上的优势。
2025-12-19 cs.AI cs.LG
Meta-Learning Hypothesis Spaces for Sequential Decision-making
ETH Zurich（苏黎世联邦理工学院）
为预测函数（假设）获得可靠的自适应置信度集是顺序决策任务（如bandits和基于模型的强化学习）的核心挑战。这些置信度集通常依赖于假设空间上的先验假设，例如，再生核希尔伯特空间（RKHS）的核。手工设计这样的内核是容易出错的，错误的指定可能会导致性能差或不安全。在这项工作中，我们建议从离线数据中元学习内核（Meta-KeL）。对于未知内核是已知的基本内核的组合的情况下，我们开发了一个基于结构稀疏性的估计。在温和的条件下，我们保证我们估计的RKHS产生有效的置信度集，随着离线数据量的增加，变得与给定真实未知内核的置信度集一样紧密。我们展示了我们的方法对核化强盗问题（a.k.a.~贝叶斯优化），其中我们建立的遗憾界与那些真正的内核竞争。我们还经验性地评估了我们的方法对贝叶斯优化任务的有效性。
2022-06-17 cs.AI cs.LG stat.ML
Fairness in Learning-Based Sequential Decision Algorithms: A Survey
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
决策制定中的算法公平性已经在静态设置中被广泛研究，其中对诸如分类之类的任务进行一次性决策。然而，在实践中，大多数决策过程是连续性的，过去作出的决定可能对未来的数据产生影响。当决策影响生成用于未来决策的数据的个人或用户时，情况尤其如此。在这项调查中，我们回顾了现有的文献数据驱动的顺序决策的公平性。我们将关注两种类型的顺序决策：（1）过去的决策对底层用户群体没有影响，因此对未来数据没有影响;（2）过去的决策对底层用户群体有影响，因此对未来数据有影响，然后影响未来的决策。在每种情况下，各种公平干预措施对基本人口的影响进行了研究。
2020-01-14 cs.AI
Sequential Decision Problems with Weak Feedback
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本论文考虑序贯决策问题，其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题，其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪，其中选择一个动作所产生的损失可以在一定条件下观察。最后，我们研究了通信网络中的信道选择问题，其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用，例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题，利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法，并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2022-12-22 cs.AI cs.LG
Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow
对于营销，我们有时需要按顺序推荐多个页面的内容。与一般的顺序决策过程不同，用例具有更简单的流程，其中客户每次看到每个页面上的推荐内容时只能返回反馈，因为在过程中向前移动或从过程中删除，直到终止状态。我们把这种类型的问题称为线性流中的顺序决策。我们建议制定的问题作为一个MDP与土匪的土匪采用模型的转移概率矩阵。在推荐阶段，我们使用汤普森抽样（TS）对转移概率进行抽样，并通过精确动态规划分配具有解析解的最佳动作序列。我们制定的问题的方式，使我们能够利用TS的效率，在平衡勘探和开发和Bandit的方便建模行动的不兼容性。在仿真研究中，我们观察到所提出的MDP与Bandits算法优于Q学习与$ε$ -贪婪和减少$ε$，独立Bandits，和互动Bandits。我们还发现，该算法的性能是最强大的跨页相互依赖强度的变化。
2022-03-16 cs.LG stat.ML
Data Generation as Sequential Decision Making
McGill University（麦吉尔大学）
我们通过对顺序决策的共同依赖，将广泛的生成模型连接起来。出于这种观点，我们开发扩展到现有的模型，然后进一步探索的想法，在数据估算的背景下-也许是最简单的设置，其中调查无条件和条件生成建模之间的关系。我们制定数据填补作为一个MDP和开发的模型能够代表有效的政策，我们使用神经网络构建的模型和训练他们使用一种形式的指导政策搜索。我们的模型通过反馈和改进的迭代过程生成预测。我们表明，这种方法可以学习不同难度和跨多个数据集的插补问题的有效政策。
2015-11-03 cs.LG stat.ML
Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning
Harvard University（哈佛大学）
本文研究了大型语言模型在序列决策任务中的上下文学习能力，通过监督微调提升其在马尔可夫决策过程等场景中的决策性能，实验表明微调后的模型在复杂环境中表现更优。
2026-05-09 cs.AI cs.LG
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Google Deepmind（谷歌DeepMind）
本文提出基于鞅后验的预测优先神经网络算法，通过卡尔曼滤波式递推在线更新后验预测，实现快速贝叶斯序贯决策，在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随着自动决策和决策辅助系统在日常生活中变得越来越普遍，关于预防或减轻这些系统所做决策产生的潜在危害的研究也越来越多。然而，不同的研究团体已经独立地对这些危害进行了概念化，设想了潜在的应用，并提出了干预措施。其结果是一个有点破碎的文学景观一般集中在确保决策算法“做正确的事情”。在本文中，我们比较和讨论的工作在两个主要子集的文献：算法公平性，主要集中在预测系统，道德决策，主要集中在顺序决策和规划。我们探讨这些设置如何表达其规范性的问题，这些不同的设置不同的技术的可行性，以及如何从每个设置的想法可能有其他的效用。
2023-01-13 cs.AI cs.CY cs.LG
From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions
Princeton University（普林斯顿大学）
有超过15个不同的社区在顺序决策和信息的一般领域工作，通常被称为不确定性或随机优化下的决策。我们专注于两个最重要的领域：随机最优控制，其根源在确定性最优控制，和强化学习，其根源在马尔可夫决策过程。在先前工作的基础上，我们描述了一个统一的框架，涵盖了所有15个不同的社区，并注意到与随机最优控制的建模框架有很强的相似之处。相比之下，我们的情况下，强化学习的建模框架，继承离散马尔可夫决策过程，是相当有限的。我们的框架（和随机控制）是基于优化政策的核心问题。我们描述了四类政策，我们声称是普遍的，并表明，这两个领域中的每一个，以自己的方式，发展到包括这四个类的例子。
2019-12-18 cs.AI cs.LG cs.SY
Counterfactual Explanations in Sequential Decision Making Under Uncertainty
IIT Bombay（印度理工学院孟买分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
寻找反事实解释的方法主要集中在一步决策过程。在这项工作中，我们开始开发的方法，以找到反事实的解释决策过程中，多个，依赖的行动，随着时间的推移顺序。我们开始正式使用有限时域马尔可夫决策过程和Gumbel-Max结构因果模型的动作和状态序列的特征。在此基础上，我们正式声明的问题，找到反事实的解释顺序决策过程。在我们的问题表述中，反事实解释指定了一个替代的行动序列，与观察到的序列最多有k个不同的行动，这些行动可能会导致观察到的过程实现更好的结果。然后，我们引入了一个基于动态规划的多项式时间算法来构建一个反事实策略，该策略保证总是对反事实环境动态的每一个可能的实现提供最优的反事实解释。我们使用来自认知行为治疗的合成数据和真实数据来验证我们的算法，并表明我们的算法发现的反事实解释可以提供有价值的见解，以增强不确定性下的顺序决策。
2021-10-27 cs.CY cs.LG stat.ML
From Preference-Based to Multiobjective Sequential Decision-Making
在本文中，我们提出了基于偏好和多目标序列决策之间的联系。虽然将多目标问题转换为基于偏好的问题是很自然的，但另一个方向就不那么明显了。我们提出了如何转换（从偏好为基础的多目标）可以在经典的条件下，偏好的历史可以表示为加法可分解的效用和决策标准，以评估政策在一个国家是基于期望。这种联系产生了多目标顺序决策问题的新来源（即，当奖励值未知时），并证明在一种环境中开发的解决方法在另一种环境中的使用是合理的。
2017-01-03 cs.AI
A Reduction-based Framework for Sequential Decision Making with Delayed Feedback
Center for Data Science, Peking University（北京大学数据科学中心）；Zhejiang Lab（之江实验室）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
针对多智能体序列决策中的随机延迟反馈问题，提出基于归约的框架，可将即时反馈多批次算法转化为适配随机延迟的样本高效算法，覆盖多类场景并填补了函数近似场景下的延迟研究空白。
2024-03-06 cs.LG
Generalized Thompson Sampling for Sequential Decision-Making and Causal Inference
最近，它已被证明如何从预测分布的最佳行动，有时被称为汤普森采样的采样行动，可以应用于解决顺序自适应控制问题，当最佳策略是已知的每个可能的环境。然后，预测分布可以通过最优策略的贝叶斯叠加来构建，所述最优策略由其后验概率加权，所述后验概率通过贝叶斯推断和因果演算来更新。在这里，我们讨论这种方法的三个重要特征。首先，我们讨论在多大程度上可以被视为政策不确定性的贝叶斯建模的自然结果，这样的汤普森采样。其次，我们展示了如何汤普森采样可以用来研究多个自适应代理之间的相互作用，从而开辟了一条途径的博弈论分析。第三，我们展示了如何汤普森抽样可以应用于推断因果关系时，与环境中的顺序方式进行交互。总之，我们的研究结果表明，汤普森抽样可能不仅是一个有用的启发式，但一个原则性的方法来解决问题的自适应顺序决策和因果推理。
2013-03-18 cs.AI stat.ML
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Generalization to New Sequential Decision Making Tasks with In-Context Learning
FAIR at Meta（Meta人工智能研究院）；UCL（伦敦大学学院）
本文研究transformers在序列决策中的上下文学习泛化，揭示朴素训练失效，并通过具有分布特性的大规模多样化离线轨迹训练，使模型无需权重更新即可从少量演示学会新MiniHack与Procgen任务。
2023-12-06 cs.AI cs.LG
Learning-to-defer for sequential medical decision-making under uncertainty
Harvard University（哈佛大学）；Imperial College London（伦敦帝国理工学院）
学习推迟是一个框架，当基于ML的决策被认为不可靠时，自动将决策推迟给人类专家。现有的学习延迟框架不是为顺序设置而设计的。也就是说，他们在每一个实例中独立地推迟，基于即时预测，而忽略了这些干预措施的潜在长期影响。因此，现有的框架是短视的。此外，它们不会自适应地推迟，这在人类干预成本高昂时至关重要。在这项工作中，我们提出了顺序学习推迟（SLTD），学习推迟领域专家在顺序决策设置的框架。与现有文献相反，我们提出了学习延迟的问题，作为基于基于模型的强化学习（RL），以i）使用RL解释基于ML的动作的长期后果，ii）基于动态（基于模型）的自适应延迟。我们提出的框架确定是否推迟（在每个时间步），通过量化现在推迟是否会提高价值相比，推迟到下一个时间步。为了量化改善，我们考虑了潜在的未来延期。因此，我们学习了一个先发制人的推迟政策（即，如果使用基于ML的政策可能会恶化长期结果，则提前推迟的政策）。我们的延迟政策是适应的非平稳的动态。我们证明，通过SLTD的自适应延迟提供了一个改进的权衡长期的结果和延迟频率的合成，半合成，和现实世界的数据与非平稳动态。最后，我们通过分解围绕结果传播的（长期）不确定性来解释推迟决策，以证明推迟决策的合理性。
2022-12-05 cs.LG stat.ML
Utility Theory for Sequential Decision Making
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）
冯·诺伊曼-摩根斯坦（VNM）效用定理表明，在某些理性公理下，决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置，并确定相应的效用函数的结构。特别是，我们表明，无记忆的偏好导致效用的形式，每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程（MDP）的推广与代理的回报，我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束，以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数，其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理，揭开了强化学习中理性代理设计的奖励假设的神秘面纱，并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Synthetically Generating Human-like Data for Sequential Decision Making Tasks via Reward-Shaped Imitation Learning
Naval Research Laboratory（海军研究实验室）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）
本文提出一种结合奖励塑形与模仿学习的算法，仅用少量人类决策数据即可合成类人决策数据，并在三个序列决策任务中验证其可几乎无差别替代人类数据。
2023-04-14 cs.AI cs.LG
Deep Learning for Sequential Decision Making under Uncertainty: Foundations, Frameworks, and Frontiers
Grado Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）
本文探讨在不确定环境下序列决策制定的深度学习方法，结合运筹学与管理科学的视角，分析深度学习与优化的互补性，并讨论其在供应链、医疗等领域的应用。
2026-09-17 cs.AI cs.LG cs.SY
Deliberation Scheduling for Time-Critical Sequential Decision Making
Brown University（布朗大学）
我们描述了一种方法，涉及顺序任务和随机过程的时间关键的决策。该方法采用了几个迭代细化例程来解决决策问题的不同方面。本文集中在审议调度的元级控制问题，分配计算资源，这些例程。我们提供了不同的模型对应的优化问题，捕捉不同的情况和计算策略下的时间限制的决策。我们考虑的先驱模型，其中所有的决策执行之前，执行和经常性的模型，其中决策执行并行，占在执行过程中观察到的状态，并预测未来的状态。我们描述了算法的前兆和经常性的模型，并提供我们的实证调查的结果。
2013-03-06 cs.AI
A Survey of Knowledge-based Sequential Decision Making under Uncertainty
State University of New York (SUNY) at Binghamton（纽约州立大学宾汉姆顿分校）；University of Birmingham（伯明翰大学）
陈述性知识推理（RDK）和顺序决策（SDM）是人工智能的两个重要研究领域。RDK方法的原因与声明性的领域知识，包括常识知识，这是提供了先验的或随着时间的推移获得，而SDM方法（概率规划和强化学习）寻求计算的行动政策，最大限度地提高预期的累积效用在一个时间范围内，这两类方法的原因存在的不确定性。尽管在这两个领域有丰富的文献，但研究人员还没有充分探索它们的互补优势。在本文中，我们调查的算法，利用RDK方法，同时在不确定性的顺序决策。我们讨论了重大的发展，开放的问题，以及未来的工作方向。
2022-06-30 cs.AI
Verifying Memoryless Sequential Decision-making of Large Language Models
Simula Research Laboratory（Simula研究实验室）
本文提出一种自动化验证工具，通过增量构建MDP可达状态并利用Storm检查PCTL安全属性，验证LLM策略在无记忆序贯决策中的安全性，实验表明开源LLM可验证但逊于强化学习基线。
2025-10-08 cs.AI
Costly Features Classification using Monte Carlo Tree Search
Stony Brook University（石溪大学）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
我们考虑的问题，昂贵的特征分类，我们顺序选择的子集的功能，使分类误差和功能成本之间的平衡。本文首先将任务转化为MDP问题，采用AdvantageActor Critic算法求解，为了进一步提高Agent的性能，使策略具有可解释性，采用蒙特卡罗树搜索迭代更新策略。在这个过程中，我们还考虑了它在不平衡数据集上的性能以及它对缺失值的敏感性。我们在多个数据集上评估了我们的模型，发现它优于其他方法。
2021-02-14 cs.LG
Decision Transformer vs. Decision Mamba: Analysing the Complexity of Sequential Decision Making in Atari Games
The University of Edinburgh（爱丁堡大学）
本文通过扩展至12款Atari游戏并结合视觉复杂性、随机森林回归、相关性及动作空间简化分析，揭示DT与DM性能差异主要由动作空间和视觉复杂性决定。
2024-12-01 cs.AI cs.LG
Recent Advances in Leveraging Human Guidance for Sequential Decision-Making Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；U.S. Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
人工智能的一个长期目标是创建能够学习执行需要顺序决策的任务的人工代理。重要的是，虽然是人工智能体学习和行动，但仍然由人类来指定要执行的特定任务。经典的任务规范方法通常涉及人类提供固定的奖励函数或明确的演示所需的任务。然而，最近有大量的研究精力投入到探索人类可以引导学习代理的替代方式上，例如，更适合某些任务或需要更少的人力。本调查提供了五个最新的机器学习框架的高级概述，这些框架除了预先指定的奖励功能或传统的分步动作演示外，主要依赖于人类指导。我们回顾了每个框架的动机，假设和实施，并讨论了未来可能的研究方向。
2021-07-13 cs.AI cs.LG
Online Sequential Decision-Making with Unknown Delays
Beijing Institute of Technology（北京理工大学）
本文针对在线凸优化中反馈具有未知延迟的问题，提出三族适用于通用范数的延迟算法，并在一般凸性与相对强凸性下给出遗憾界，验证了其与现有最优界的一致性。
2024-02-23 cs.AI cs.LG
Optimal Sequential Decision-Making in Geosteering: A Reinforcement Learning Approach
University of Stavanger（斯塔万格大学）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
本文提出用无模型的深度Q网络强化学习方法优化地质导向中的序贯决策，离线训练后实时评估快，在合成场景中达到与近似动态规划相当的高质量结果，且可扩展至更复杂环境。
2025-01-22 cs.AI cs.LG physics.geo-ph
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Online Learning with Costly Features in Non-stationary Environments
Tübingen University（图宾根大学）；Fraunhofer Heinrich Herz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对非平稳环境下特征获取需成本的序贯决策问题，拓展上下文老虎机设置，提出一种保证次线性遗憾值的算法，在真实场景中实现更优的长期平均收益。
2023-07-18 cs.LG
Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks
本文提出混合LLM增强RL智能体，融合LLM规划与RL动作优化，经实验验证其在序列决策任务上优于仅RL、仅LLM的基线方法，为构建更强自主系统提供了新方向。
2026-08-20 cs.AI cs.LG cs.MA
Synopsis: Sequential Decision Problems with Weak Feedback
本论文考虑序贯决策问题，其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题，其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪，其中选择一个动作所产生的损失可以在一定条件下观察。最后，我们研究了通信网络中的信道选择问题，其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用，例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题，利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法，并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2023-01-27 cs.LG
Towards Flexible Inference in Sequential Decision Problems via Bidirectional Transformers
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随机掩蔽和预测单词标记已经成为用于各种下游任务的预训练语言模型的成功方法。在这项工作中，我们观察到，同样的想法也自然适用于顺序决策，其中许多经过充分研究的任务，如行为克隆，离线RL，逆动力学和路点条件对应于不同的序列掩码的状态，动作和回报的序列。我们介绍了ESTBIT框架，它提供了一种统一的方式来指定模型，这些模型可以在许多不同的顺序决策任务上进行训练。我们表明，一个单一的BITBIT模型是同时能够执行许多任务的性能类似于或优于专门的模型。此外，我们表明，性能可以进一步提高我们的一般模型上的特定任务的兴趣进行微调。
2022-12-09 cs.LG
Causal Explanations for Sequential Decision Making Under Uncertainty
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；General Motors Research（通用汽车研究院）
我们引入了一个新的框架因果解释的随机，顺序的决策系统建立在良好的研究结构因果模型范式的因果推理。这个单一的框架可以识别多个，语义上不同的解释代理动作-以前不可能的东西。在本文中，我们建立精确的方法和几个近似技术的因果推理马尔可夫决策过程使用这个框架，随后的结果的适用性的精确方法和一些运行时间界。我们讨论了几个方案，说明框架的灵活性和实验结果与人类受试者，确认这种方法的好处。
2023-01-10 cs.AI cs.MA
Reinforced Language Models for Sequential Decision Making
本文提出MS-GRPO算法，通过多步信用分配与绝对优势加权采样策略对小型LLM进行后训练，使其在序贯决策任务上以3B参数超越72B基线50%。
2025-08-14 cs.AI cs.CL cs.LG
Learning to Generalize for Sequential Decision Making
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们考虑的问题，使序列的决定，以完成任务，通过语言的媒介进行交互。这些问题通常用强化学习方法来解决。我们发现，这些模型不适用于新的任务域时，以及推广。然而，在强化学习范例下，充分训练和探索顺序决策制定的搜索空间所需的大量计算排除了包含大的上下文化语言模型，否则这可能实现期望的泛化能力。我们介绍了一个师生模仿学习的方法和手段转换的强化学习模型到自然语言理解模型。总之，这些方法使上下文语言模型的顺序决策问题空间的介绍。我们表明，模型可以更快地学习和推广更多，同时利用模仿学习和重构。我们的模型超过教师的表现在各种举行了决策问题，高达7%的领域内的问题和24%的领域外的问题。
2020-10-05 cs.AI cs.CL
Large Sequence Models for Sequential Decision-Making: A Survey
Shanghai Jiao Tong University（上海交通大学）；Digital Brain Lab（数字大脑实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；the University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本综述全面探讨了Transformer等大型序列模型在解决序列决策与强化学习任务中的应用，依据模型利用方式对现有方法进行分类，并指出了涵盖理论、架构与算法等层面的未来研究方向。
2023-06-24 cs.AI cs.LG cs.MA
Learning Computational Efficient Bots with Costly Features
Ubisoft La Forge（育碧La Forge实验室）；Ubisoft Bordeaux（育碧波尔多）；Ubisoft Montréal（育碧蒙特利尔）
针对实时决策中推理成本与性能的权衡，提出纳入特征成本约束的 Budgeted Decision Transformer，可逐时步动态选择输入，并在 D4RL 和复杂 3D 环境中以更少算力取得相近性能。
2023-08-18 cs.LG
A Review of Symbolic, Subsymbolic and Hybrid Methods for Sequential Decision Making
University of Granada（格拉纳达大学）
本文综述了序贯决策中自动规划、强化学习及混合方法的知识表示，并指出神经符号AI因结合二者优势而成为有前景的研究方向。
2024-07-05 cs.AI
On the Modeling Capabilities of Large Language Models for Sequential Decision Making
Mila, McGill University（米拉研究所，麦吉尔大学）；Apple（苹果公司）
本研究探究大语言模型在多领域强化学习中的序列决策能力，发现其无需微调即可胜任奖励建模，AI反馈设计奖励适用性最广，合成数据微调还可提升陌生环境下的奖励建模能力并缓解灾难性遗忘。
2024-10-08 cs.AI
Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Inscrutable Representations
Arizona State University（亚利桑那州立大学）
随着越来越复杂的人工智能系统被引入我们的日常生活，这些系统能够解释其决策的理由并允许用户对这些决策提出异议变得非常重要。允许这种解释性对话的一个重要障碍可能是用户和AI系统之间的词汇不匹配。本文介绍的方法提供对比解释用户指定的概念顺序决策设置的系统的任务模型可能是最好的代表作为一个不可理解的模型。我们这样做，通过建立局部近似的任务，可以利用回答用户查询的部分符号模型。我们测试这些方法上流行的雅达利游戏（蒙特祖玛的复仇）和变体推箱子（一个著名的规划基准），并报告用户研究的结果，以评估人们是否发现这种形式产生的解释有用。
2022-03-19 cs.AI
UniMASK: Unified Inference in Sequential Decision Problems
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；CMU（卡内基梅隆大学）
随机掩蔽和预测单词标记已经成为用于各种下游任务的预训练语言模型的成功方法。在这项工作中，我们观察到同样的想法也自然适用于顺序决策，其中许多经过充分研究的任务，如行为克隆，离线强化学习，逆动力学和路点调节，对应于一系列状态，动作和返回的不同序列掩码。我们介绍了UniMASK框架，它提供了一种统一的方式来指定模型，这些模型可以在许多不同的顺序决策任务上进行训练。我们发现，一个单一的UniMASK模型往往能够执行许多任务的性能类似或优于单任务模型。此外，经过微调，我们的UniMASK模型始终优于可比的单任务模型。我们的代码可在https://github.com/micahcarroll/uniMASK上公开获取。
2022-11-20 cs.LG
Decision-Driven Geosteering Under Uncertainty: A Unified Framework for Sequential Decision Optimization
NORCE Research Centre（NORCE研究机构）；University of Stavanger（斯塔夫anger大学）；Stanford University（斯坦福大学）
提出一个将粒子滤波与强化学习结合的地质导向框架，通过显式建模地质不确定性并评估三种决策策略，实现稳定且高效的井轨迹实时优化。
2026-06-17 cs.LG
A Survey of Multi-Objective Sequential Decision-Making
University of Amsterdam（阿姆斯特丹大学）；University of Ballarat（巴拉瑞特大学）
具有多个目标的顺序决策问题在实践中自然出现，并对决策理论规划和学习的研究提出了独特的挑战，这些问题主要集中在单目标设置上。本文综述了为多目标序列决策问题设计的算法。虽然关于这个问题的文献越来越多，但很少有文献明确说明在什么情况下需要特殊的方法来解决多目标问题。因此，我们确定了三种不同的情况下，转换这样一个问题到一个单一的目标是不可能的，不可行的，或不可取的。此外，我们提出了一个分类法，根据适用的情况下，标量化函数的性质（项目多目标值标量），并考虑的政策类型的多目标方法进行分类。我们展示了这些因素如何决定最优解的性质，它可以是一个单一的政策，一个凸包，或帕累托前。使用这种分类法，我们调查的文献多目标规划和学习的方法。最后，我们讨论了这些方法的关键应用，并概述了未来工作的机会。
2014-02-04 cs.AI
Responsibility Gap and Diffusion in Sequential Decision-Making Mechanisms
Institute of Logic and Intelligence, Southwest University, Chongqing, China（逻辑与智能研究所，西南大学，重庆，中国）；University of Southampton, Southampton, the United Kingdom（南安普顿大学，南安普顿，英国）
本文研究集体决策机制中责任扩散与责任缺口的计算复杂性，证明无扩散机制集为 $Π_2$-完备、无缺口机制集为 $Π_3$-完备，且两者交集为 $Π_2$-完备。
2025-07-03 cs.AI
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier（IRIT - 保罗·萨巴捷大学）
在这篇文章中，我们提出了一个定性（有序）部分可观察马尔可夫决策过程模型（POMDP），其中的不确定性，以及代理的偏好，建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍，即使在有限的状态空间中，所获得的POMDP的信念状态空间是无限的。相反，在可能性框架中，即使指数地大于状态空间，信念状态空间仍然是有限的。
2013-01-23 cs.AI
FAIRO: Fairness-aware Adaptation in Sequential-Decision Making for Human-in-the-Loop Systems
University of California, Irvine（加州大学尔湾分校）
针对人在回路序贯决策系统中人类偏好动态变化引发的公平性偏差问题，提出基于Options强化学习的FAIRO算法，支持公平性-效用权衡，在三类场景中平均提升公平性35.36%。
2023-11-06 cs.AI cs.CY cs.LG
A Sequential Decision-Making Model for Perimeter Identification
Ben-Gurion University Of The Negev（内盖夫本-古里安大学）
针对边界识别依赖专用设备与精细数据的问题，本文提出仅需公开信息、可实时运行的序贯决策博弈框架，并通过真实场景验证其最优边界识别效果。
2024-09-05 cs.AI
Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory
本研究针对LLM智能体序列决策性能不足的问题，提出带经验记忆的智能体框架，通过对局后反思与规则提取，在不修改模型权重的情况下提升了井字棋任务的表现。
2026-08-05 cs.AI
On Blame Attribution for Accountable Multi-Agent Sequential Decision Making
MPI-SWS（马克斯·普朗克软件系统研究所）
责任归因是负责任决策的关键方面之一，因为它提供了量化代理人对决策结果的责任的方法。在本文中，我们研究的背景下，合作的多智能体顺序决策的责任归因。作为一个特殊的兴趣背景，我们重点关注由多智能体马尔可夫决策过程（MMDPs）形式化的合作决策，并分析了源自合作博弈论中现有概念或受其启发的不同责任归因方法。我们形式化的理想属性的归咎于设置的利益，我们分析了这些属性之间的关系和研究的归咎于方法。有趣的是，我们发现，一些著名的责任归因方法，如Shapley值，不绩效激励，而其他人，如Banzhaf指数，可能会过度责怪代理。为了缓解这些价值错位和公平性问题，我们引入了一种新的归咎归因方法，独特的属性集，它满足，权衡解释力（通过低估指责代理）上述属性。我们进一步展示了如何考虑代理决策政策的不确定性，我们通过实验：a）验证所研究的责任归因方法的定性属性，b）分析其对不确定性的鲁棒性。
2022-01-25 cs.AI
Meta-Prompt Optimization for LLM-Based Sequential Decision Making
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；Guangdong Lab of AI and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
针对基于大语言模型的序列决策中因奖励非平稳导致的元提示优化难题，提出EXPO及扩展的EXPO-ES算法，可显著提升相关任务性能。
2026-08-31 cs.LG
Knowledge-Based Sequential Decision-Making Under Uncertainty
Auburn University（奥本大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法在序列决策问题上取得了巨大的成功，但由于缺乏数据效率和可解释性而受到批评。特别是，子任务的可解释性在分层决策中至关重要，因为它增强了黑盒式DRL方法的透明度，并帮助RL从业者更好地理解系统的高层行为。为了提高DRL的数据效率和可解释性，在这项工作中，声明性知识的引入，并提出了一种新的算法，结合DRL和符号规划。在公开的基准测试上的实验分析验证了子任务的可解释性，并表明我们的方法在数据效率方面优于最先进的方法。
2020-05-16 cs.AI cs.LO
