A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Intelligent Agricultural Management Considering N$_2$O Emission and Climate Variability with Uncertainties
University of Iowa（爱荷华大学）；Pleasant Valley High School（普莱森特谷高中）
本研究利用POMDP和深度Q学习构建AI智能体，结合机器学习预测N$_2$O排放和随机天气模型，优化农业管理以提升产量并减少温室气体排放，有效增强了农业在气候变化下的可持续性与适应性。
2024-02-13 cs.AI cs.CY cs.LG
COOL-MC: Verifying and Explaining RL Policies for Platelet Inventory Management
COOL-MC通过结合RL与概率模型检验，验证并解释了血小板库存管理中强化学习策略的可靠性与安全性。
2026-03-02 cs.AI cs.LG
Minimizing the Negative Side Effects of Planning with Reduced Models
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
大型马尔可夫决策过程的简化模型通过考虑每个状态-动作对的结果子集来加速规划。当代理在计划执行期间遇到没有预先计算的操作的状态时，可达状态的这种减少导致重新计划。然而，并非所有国家都适合重新规划。在最坏的情况下，智能体可能无法从新遇到的状态到达目标。代理人应该更好地准备处理这种风险情况，避免在风险状态下重新规划。因此，我们认为在不安全的州重新规划是减少模型规划的负面影响。虽然可以通过始终使用完整模型来最小化负面影响，但这违背了使用简化模型的目的。挑战在于使用简化的模型进行计划，但不知何故考虑到遇到风险情况的可能性。因此，代理应该仅在用户已批准为安全的状态中进行重新规划。为此，我们建议规划使用组合的简化模型，规划范式，最大限度地减少规划使用简化模型的负面影响，通过交替不同的结果选择方法。我们实证证明了我们的方法在三个领域的有效性：电动汽车充电领域使用来自大学校园的真实数据和两个基准规划问题。
2019-05-22 cs.AI
MoFlow: Multi-Objective Agentic Workflow Generation
University of Notre Dame（圣母大学）；IBM
MoFlow将智能体工作流生成建模为多目标马尔可夫决策过程，利用凸包蒙特卡洛树搜索覆盖帕累托前沿，实现任意偏好下无需重训的工作流生成，并在六个基准上取得最高平均超体积。
2026-10-01 cs.AI
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions
Khalifa University（哈利法大学）
针对局部转移下即使视界为2仍NP难的约束MDP及CC-MDP/SSP变体，提出可计算近优确定性策略的完全多项式时间近似方案。
2023-04-18 cs.AI
Sharpe Ratio Optimization in Markov Decision Processes
School of Business, Sun Yat-sen University, Guangzhou, China（中山大学商学院）；College of Business, City University of Hong Kong, Hong Kong, China（香港城市大学商学院）
针对马尔可夫决策过程中夏普比率优化的动态规划应用难题，提出结合Dinkelbach变换与迭代策略迭代的动态规划类算法，可求解平均和折扣设置下的最优解，为分式目标MDP求解提供新思路。
2025-08-31 cs.AI
Weathering Ongoing Uncertainty: Learning and Planning in a Time-Varying Partially Observable Environment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Cyprus（塞浦路斯大学）；University of California, Berkeley（加州大学伯克利分校）
针对时变不确定环境下自主系统的最优决策难题，提出TV-POMDP模型及结合MPSE与集成规划的双路径方法，经仿真与硬件验证性能优于标准方法。
2024-03-07 cs.AI cs.RO cs.SY
Intelligent prospector v2.0: exploration drill planning under epistemic model uncertainty
Kobold Metals（Kobold Metals公司）；Stanford University（斯坦福大学）；Terra Ai（Terra Ai公司）
本文提出基于部分可观测马尔可夫决策过程的智能体，在多个地质假设下最优规划勘探钻探并及早检测错误先验，有效降低数据获取成本，已成功应用于赞比亚超高品位矿床表征。
2024-10-14 cs.AI
Mesh Based Analysis of Low Fractal Dimension Reinforcement Learning Policies
University of California, Santa Barbara（加州大学圣巴巴拉分校）
在以前的工作中，使用一个过程，我们称之为网格，可达状态空间的各种连续和混合动力系统近似为一个离散的状态集，然后可以合成到一个马尔可夫链。这种方法的应用之一是分析通过强化学习获得的运动策略，这是对所得系统的稳定性进行经验保证的一步。在另一条研究路线中，我们为基于策略的强化学习算法引入了一个修改后的奖励函数，该算法利用了滚动轨迹的“分形维数”。这种奖励被证明是鼓励政策，诱导个人的轨迹，可以更复杂地表示为离散网格。在这项工作中，我们结合这两个线程的研究，建立网格的可达状态空间的系统受到干扰和控制的政策与修改后的奖励。我们的分析表明，修改后的政策产生更小的可达网格。这表明，用分形维数奖励训练的代理将其具有更紧凑状态空间的理想质量转移到具有外部干扰的设置中。结果还表明，以前的工作使用基于网格的工具来分析RL策略可以扩展到更高维的系统或更高分辨率的网格，否则是可能的。
2021-09-29 cs.RO
RAKOMO: Reachability-Aware K-Order Markov Path Optimization for Quadrupedal Loco-Manipulation
Dynamic Legged Systems Lab, Istituto Italiano di Tecnologia (IIT)（动态腿系统实验室，意大利技术研究院）；Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所）
本文提出 RAKOMO，将神经网络预测的可达性裕度纳入 KOMO，使梯度规划适配四足移动操作，并在 HyQReal 拾取放置仿真中验证其性能。
2025-07-25 cs.RO cs.SY eess.SY
Resilient Motion Planning for Free-Flying Space Robots under Actuator Failures
ETH Zürich（苏黎世联邦理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Digital Futures
针对自由飞行空间机器人推进器故障，提出基于马尔可夫链和可达集的概率运动规划框架，最大化目标到达概率，并在物理平台上验证了其弹性。
2026-09-18 cs.RO
Safe and Scalable Real-Time Trajectory Planning Framework for Urban Air Mobility
George Washington University（乔治华盛顿大学）
本文提出一个用于城市空中交通的实时轨迹规划框架，采用分散式自由飞行概念，结合数据驱动可达性分析与基于MDP的决策器，并通过奖励塑形和动作屏蔽增强安全性，仿真验证了其安全性和可扩展性。
2023-06-20 cs.RO cs.SY eess.SY
Dual-arm Cooperation for Tabletop Wiping with Temporal Object Removal
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Delta Intelligence（Delta智能）；State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）
该研究提出一种双臂协作规划框架，通过分配一只手臂移动物体、另一只手臂擦拭，结合Geo-MILP与KOMO算法，提升桌面擦拭的覆盖范围与时间效率，优于TAMP基线。
2026-10-15 cs.RO
