Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions
Khalifa University（哈利法大学）
针对局部转移下即使视界为2仍NP难的约束MDP及CC-MDP/SSP变体，提出可计算近优确定性策略的完全多项式时间近似方案。
2023-04-18 cs.AI
Lower Bounds for Policy Iteration on Multi-action MDPs
Indian Institute of Technology Bombay（印度理工学院孟买分校）
策略迭代（PI）是一个经典的算法家族，用于计算任何给定马尔可夫决策问题（MDP）的最优策略。PI的基本思想是从某个初始策略开始，并从一个改进集合中重复更新策略，直到达到最优策略。PI的不同变体来自用于改进的（切换）规则。一个重要的理论问题是，作为输入MDP中的状态数$n$和动作数$k$的函数，指定的PI变体将进行多少次迭代来终止。虽然在这个数字的上限方面取得了相当大的进展，但在下限方面的结果较少。特别是，现有的下限主要集中在特殊情况下的$k = 2$行动。我们设计了$k \geq 3$的下界。我们的主要结果是，PI的一个特定的变体可以采取$Ω(k^{n/2})$迭代终止。我们还概括了现有的结构$2$ -行动MDP规模下限的$k$的一些常见的确定性的PI的变体的一个因素，并通过$\log(k)$相应的随机变量。
2020-09-16 cs.LG math.OC stat.ML
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对聚合赌博机反馈的片段式MDP，提出首个两全其美算法，在随机和对抗环境下分别达到对数与平方根遗憾，并证明最优性。
2025-10-27 cs.LG stat.ML
Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs
Imperial College London（伦敦帝国学院）；University of Bayreuth（拜罗伊特大学）
针对动态未知的有限状态MDPs，本文提出分离认知与偶然不确定性并利用闭式表达式和随机梯度优化贝叶斯后验期望值的方法，在网格世界与AI Clinician任务中验证了其有效性与可扩展性。
2024-06-04 cs.LG
Model approximation in MDPs with unbounded per-step cost
McGill University（麦吉尔大学）；University of Southern California（南加州大学）；Preferred Networks America
针对无界单步成本的无限视界折扣 MDP，本文通过界定值函数差值的加权范数并结合单步成本仿射变换，为近似模型最优策略在原始模型中的性能提供了误差上界。
2024-02-13 cs.LG cs.SY eess.SY
Quantifying stability of non-power-seeking in artificial agents
ML Alignment & Theory Scholars (MATS)（机器学习对齐与理论研究学者计划（MATS））；University of Toronto（多伦多大学）；Google DeepMind（谷歌DeepMind）
本研究探讨了AI代理在相似环境间部署时安全性的稳定性，基于权力寻求理论，证明不抵抗关闭在近最优策略下稳定，但在自然情况下可能因小扰动失稳。
2024-01-07 cs.AI
A Study of Global and Episodic Bonuses for Exploration in Contextual MDPs
Meta AI Research（元人工智能研究院）；University College, London（伦敦大学学院）
本文研究上下文 MDP 中全局与回合新颖性奖励的探索效果，提出基于价值函数跨上下文方差的解释框架，并通过二者结合在 MiniHack 等基准上取得新最优结果。
2023-06-05 cs.AI
Provably Efficient RL for Linear MDPs under Instantaneous Safety Constraints in Non-Convex Feature Spaces
The Ohio State University（俄亥俄州立大学）；New Jersey Institute of Technology（新泽西理工学院）；University at Buffalo（布法罗大学）
本文针对非凸特征空间中线性MDP的瞬时安全约束问题，提出可证明高效的强化学习算法，在星凸与非星凸情形下均达到次线性遗憾界且零约束违反，并通过自动驾驶仿真验证有效性。
2025-02-25 cs.LG
Attribution-based Explanations for Markov Decision Processes
University of Oslo（奥斯陆大学）；Imperial College London（伦敦帝国理工学院）；RWTH Aachen University（亚琛工业大学）
本文提出基于归因的马尔可夫决策过程解释方法，通过策略合成技术计算状态和执行路径的重要性分数，提升序列决策代理的可解释性。
2026-05-12 cs.AI
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
A Translation of Probabilistic Event Calculus into Markov Decision Processes
University College London（伦敦大学学院）；Università del Salento（萨勒诺大学）
本文提出将概率事件演算（PEC）形式化转换为马尔可夫决策过程（MDP）的方法，通过引入动作执行情境保留PEC的灵活语义，使MDP的算法工具可应用于PEC叙事领域，并支持将学习策略映射回可解释的PEC表示。
2025-07-17 cs.AI cs.LO
Settling the Sample Complexity of Model-Based Offline Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对离线强化学习现有方法样本复杂度次优或启动成本高的问题，证明基于模型的悲观价值迭代方法在表格型MDP下可实现无启动成本的极小极大最优样本复杂度，并给出了对应理论分析框架。
2024-03-08 cs.IT cs.LG cs.SY
Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression
University College London（伦敦大学学院）
本文提出一种将神经网络强化学习策略蒸馏为GBMs、EBMs和符号回归等可解释模型的方法，结合DAgger算法解决分布偏移，在多种机器人步态上以极低交互成本实现高可解释性。
2024-03-21 cs.AI cs.LG cs.RO
Efficient Risk-sensitive Planning via Entropic Risk Measures
ENS de Lyon（里昂高等师范学院）；University of Tübingen（图宾根大学）
针对风险敏感规划中尾部指标优化代价高的问题，提出通过计算熵风险度量参数范围内的完整最优策略集，利用结构分析与平滑性实现高效近似，并在多种决策场景中验证了强性能。
2025-07-08 cs.AI cs.LG math.OC
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Formally Verifying and Explaining Sepsis Treatment Policies with COOL-MC
Dennis Gross
COOL-MC通过形式验证和可解释性分析，揭示脓毒症治疗策略中依赖于给药历史而非患者状况的决策驱动因素。
2026-02-16 cs.AI cs.LG
On Sample Complexity of Projection-Free Primal-Dual Methods for Learning Mixture Policies in Markov Decision Processes
Stanford University（斯坦福大学）
研究了一类具有大量状态的无限时域、折扣费用马尔可夫决策过程的学习策略问题。我们计算的政策，几乎一样好的政策选择一个合适的预言机从一个给定的混合政策类的特点是由一组已知的基本政策的凸包的行动。为了学习混合模型的系数，我们将问题重新定义为MDP的近似线性规划（ALP）公式，其中特征向量对应于在状态-动作空间上定义的基本策略的占用度量。然后，我们提出了一个无投影的随机原始-对偶方法与Bregman分歧解决的特征ALP。此外，我们分析了所提出的随机算法的可能近似正确（PAC）样本的复杂性，即达到接近最优的目标值所需的查询数量。我们还提出了一个修改我们所提出的算法与多面体约束采样的平滑ALP，其中的限制下边界近似放松。此外，我们提出的算法应用到排队问题，并比较其性能与罚函数算法。数值结果表明，原始-对偶实现了更好的效率和低方差在不同的试验相比，罚函数方法。
2019-08-30 cs.LG stat.ML
Categorical semantics of compositional reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院、巴黎电信、巴黎理工学院）；The University of Iowa（爱荷华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于范畴论的组合强化学习框架，通过MDP范畴的推出操作实现任务组合，并统一安全与对称性概念。
2025-09-07 cs.AI cs.LO cs.SY
Optimality Guarantees for Particle Belief Approximation of POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Stanford University（斯坦福大学）
本文界定了POMDP与其有限样本粒子信念MDP（PB-MDP）近似之间的误差，借此将基于采样的MDP算法适配至POMDP，提供了收敛性保证，并通过Sparse-PFT算法验证了其性能。
2023-10-19 cs.AI cs.RO cs.SY
Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness
Johns Hopkins University（约翰·霍普金斯大学）
研究如何评估机器学习辅助决策对下游结果的因果影响，提出利用先前RCT数据构建新模型因果效应界限的部分识别方法，通过两个单调性假设，经模拟研究表明该方法能产生更具信息量的界限。
2026-07-27 cs.LG
Born-Again Tree Ensembles
Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；Technical University of Munich（慕尼黑工业大学）
机器学习算法在金融、医学和刑事司法中的应用可以深刻影响人类生活。因此，对可解释的机器学习的研究迅速发展，试图更好地控制和修复错误和偏见的可能来源。树集成在各个领域提供了良好的预测质量，但同时使用多棵树降低了集成的可解释性。在此背景下，我们研究了一次又一次的树集合，即，构造最小尺寸的单个决策树的过程，该决策树在其整个特征空间中再现与给定树集合完全相同的行为。为了找到这样一棵树，我们开发了一个基于动态编程的算法，利用复杂的修剪和边界规则，以减少递归调用的数量。该算法为许多实际感兴趣的数据集生成最佳的重复树，从而产生通常更简单，更可解释的分类器，而无需任何其他形式的妥协。
2020-08-27 cs.LG stat.ML
