A Note on the Bias and Kemeny's Constant in Markov Reward Processes with an Application to Markov Chain Perturbation
本文利用平均首次通过时间给出单链马尔可夫奖励过程偏差的显式表达，将平稳分布扰动界推广到不可约性缺失情形并改进1-范数界，同时为Kemeny常数的常数性质提供直观解释。
2024-08-08 math.OC math.PR
Approximating Performance Measures for Slowly Changing Non-stationary Markov Chains
本文主要研究与具有非平稳转移概率的马尔可夫链和过程相关的各种期望的严格近似。这种非平稳模型自然出现在需要纳入时间效应或季节性效应的背景下。在转移概率随时间缓慢变化的情况下，我们的近似是渐近有效的。具体来说，我们开发的预期无限地平线折扣奖励，预期奖励的首中时的一组，预期奖励与链所占据的状态在时间$n$，并在一个间隔$[0,n]$的预期累积奖励的近似。在每种情况下，近似都涉及一个线性方程组，其形式与计算具有平稳转移概率的马尔可夫模型的相应量所需求解的方程组相同。在这个意义上，该理论提供了一个近似值，计算起来并不比传统的静态环境更困难。虽然大部分的理论是有限状态马尔可夫链，我们也提供了推广到连续状态马尔可夫链，和有限状态马尔可夫跳过程在连续时间。在后一种情况下，我们的一个近似与Massey和Whitt（1998）的匀加速渐近一致。
2018-05-04 math.PR
Matrix calculations for inhomogeneous Markov reward processes, with applications to life insurance and point processes
一个多状态人寿保险模型自然地被描述为一个潜在的（时间非齐次）马尔可夫过程的强度矩阵，它描述了一个被保险人的状态的动态。在过渡期间和过渡时，支付养恤金和保险费，确定支付过程，技术准备金被定义为合同所有未来付款的现值。寻找储备和高阶矩的经典方法涉及某些微分方程的解（分别为Thiele和Hattendorf）。在本文中，我们提出了另一种矩阵-面向方法的基础上一般报酬的考虑马尔可夫跳过程。矩阵方法提供了一个一般的框架，毫不费力地建立一般的，甚至复杂的多状态模型，在那里的所有订单的时刻，然后明确表示在所谓的产品积分（矩阵指数）的某些矩阵。由于Thiele和Hattendorf类型的定理可以立即从矩阵公式中检索出来，这种方法也为证明这些经典结果提供了一种快速而透明的方法。从理论和实践的角度（通过拉普拉斯变换和涉及正交多项式的方法）提出了用于获得未来支付的分布和相关的利益特性（例如分位数或生存函数）的方法。
2019-05-11 math.PR
The Law of Large Numbers and CLT for Non-stationary Markov Jump Processes Exhibiting Time-of-Day Effects
本文为非平稳马尔可夫跳跃过程的累积奖励建立了大数定律和中心极限定理，涵盖连续及一次性奖励，并针对周期性和重置情形给出新结果，模拟验证了近似质量。
2025-10-14 math.PR
Optimal Stopping for Strong Markov Processes: Explicit solutions and verification theorems for diffusions, multidimensional diffusions, and jump-processes
我们考虑的最优停止问题包括，给定一个强马尔可夫过程，一个报酬函数和一个折扣率，找到停时，使得在停时的期望回报是最大的。我们遵循的方法，有两个主要组成部分：Dynkin的表征的价值函数作为最小的过度功能占主导地位的奖励;和Riesz表示的过分函数的绿色内核，主要参考是Salminen 85。在一维扩散的背景下，我们给出了一个完整的刻画下的报酬函数的一些假设的解决方案。如果最优停止问题是一条射线，我们提供了一个简单的方程来寻找边界，并讨论了光滑拟合原理的有效性。我们包括一些新的例子，如斜布朗运动和粘性布朗运动的最优停止。特别是，我们考虑的情况下，顺利配合原则失败。在一般情况下，我们提出了一个算法，找到最佳停止区域时，它是一个不相交的区间联合。我们还给出了价值函数的一个简单公式。使用该算法我们解决了一些例子，包括多项式奖励。对于具有连续样本路径的一般马尔可夫过程（例如多维扩散），我们提供了一个验证定理，并使用它来解决一个特定的问题。最后，我们考虑一维强马氏过程只有正（或只有负）跳，并提供另一个验证定理的右侧（左侧）的问题。作为结果的应用，我们解决了Lévy市场中美式看跌期权的定价问题，并解决了Lévy驱动的Ornstein-Uhlenbeck过程的最优停止问题.
2014-05-29 math.PR
Robust Model Checking with Imprecise Markov Reward Models
近年来，由于随机性质的计算系统的扩散，概率模型检验已成为一个重要的研究领域。尽管它取得了巨大的成功，标准的概率模型检验遭受的限制，需要一个尖锐的规范的概率管理模型的行为。不精确概率理论提供了一种自然的方法，通过对这些参数的值进行敏感性分析来克服这种限制。然而，到目前为止，只有基于离散时间不精确马尔可夫链的扩展被认为是这样一个强大的模型检验方法。我们提出了一个进一步的扩展不精确的马尔可夫奖励模型的基础上。特别是，我们推导出有效的算法来计算上下界的预期累积奖励和概率有界奖励的基础上现有的结果不精确马尔可夫链。这些想法进行测试的一个真正的案例研究，涉及花费了老年医学部门的成本。
2021-05-18 cs.LO math.LO math.PR
The time-dependent expected reward and deviation matrix of a finite QBD process
推导与连续时间马尔可夫链相关的不定常期望报酬函数涉及到其瞬态偏差矩阵的计算。在本文中，我们专注于一个有限的拟生灭（QBD）过程的特殊情况下，出于希望计算的期望收益损失的MAP/PH/1/C队列。我们在这方面使用两种不同的方法。第一个是基于矩阵差分方程的有限系统的解决方案，它提供了一个表达式的块的预期回报向量，偏差矩阵，和平均首次通过时间矩阵。第二种方法基于马尔可夫链的扰动理论中的一些结果，给出了计算有限QBD过程的全偏差矩阵的递归方法。我们比较了这两种方法使用一些数值例子。
2017-02-09 math.PR
Long run control of nonhomogeneous Markov processes
本文研究非齐次马尔可夫过程的长期控制，提出平均奖励与风险敏感泛函，证明贝尔曼方程解的存在性、值函数连续性及控制收敛下的稳定性。
2025-06-18 math.OC math.PR
A convex programming approach for discrete-time Markov decision processes under the expected total reward criterion
在这项工作中，我们研究了离散时间马尔可夫决策过程（MDPs）的约束下与Borel状态和行动空间，所有的性能函数具有相同形式的期望总回报（ETR）标准在无限的时间范围内。我们的目标之一是提出一个凸规划制定这种类型的MDPs。它将表明，约束控制问题和相关的凸规划的值相吻合，如果存在一个最优解的凸规划，那么存在一个固定的随机化的政策，这是最佳的MDP。它还将表明，在约束控制问题的框架中，在一组随机化的政策的预期总回报的上确界是等于在一组固定的随机化的政策的预期总回报的上确界。我们考虑标准的假设，如所谓的连续紧性条件和斯莱特型条件。我们的假设是相当薄弱的情况下，尚未在文献中得到解决。一个例子来说明我们的结果相对于那些文献。
2019-05-09 math.OC math.PR
Linear Algebraic Truncation Algorithm with A Posteriori Error Bounds for Computing Markov Chain Equilibrium Gradients
针对大/无限状态空间马尔可夫链均衡回报梯度计算需截断状态空间的问题，提出带首个可计算后验误差界的线性代数截断法，用再生和Lyapunov函数界定截断误差，中等规模截断集即可获高精度界，还可拓展至马尔可夫跳过程。
2025-01-09 math.OC math.PR
Online Learning for Combinatorial Network Optimization with Restless Markovian Rewards
University of Southern California（南加州大学）；University of Michigan（密歇根大学）
考虑边权重计算最优结构的组合网络优化算法形成了许多网络协议的基础。例子包括最短路径路由，最小生成树计算，最大加权匹配的二分图等，我们提出CLRMR，第一个在线学习算法，有效地解决了这些问题的随机版本的基础边权重变化为独立的马尔可夫链与未知的动态。一个在线学习算法的性能的特点是在遗憾，定义为一个适当定义的精灵之间的奖励，并通过给定的算法获得的累积差异。我们证明，相比一个精灵，知道马尔可夫转移矩阵，并在任何时候都使用单一的最佳结构，CLRMR产量遗憾，是多项式的边缘数和近对数的时间。
2011-09-08 cs.LG cs.NI math.OC
An Online Multiobjective Policy Gradient for Long-run Average-reward Markov Decision Process
针对多目标决策的长期平均奖励马尔可夫决策过程，提出基于Blackwell可达性定理的动态标量化在线多目标策略梯度框架，保证奖励向量收敛到目标集并通过理论与数值验证。
2025-11-17 cs.SY eess.SY math.OC
Reward Processes and Performance Simulation in Supermarket Models with Different Servers
具有不同服务器的超市模型成为随机网络资源管理建模的关键，如计算机网络、制造系统和运输网络。虽然这些不同的服务器总是使分析这样一个超市模型更有趣，更困难和更具挑战性。本文通过多维连续时间马尔可夫报酬过程为分析具有不同服务员的超市模型提供了一种新的方法。首先，构造效用函数来表示依赖于队列长度、服务率和个人偏好的某些概率的例程选择机制。然后，应用连续时间马尔可夫报酬过程，通过事件驱动技术建立了随机报酬函数的分段随机积分。在此基础上，利用马尔可夫报酬过程的状态跳变点，有效地计算了有限时间段内随机报酬函数的均值，并通过同样的事件驱动技术计算了无限时间段内折现随机报酬函数的均值.最后，通过仿真实验说明了超市模型中各服务员的期望队长与模型中主要参数的关系。
2016-04-05 cs.PF math.PR
Exact sensitivity analysis of Markov reward processes via algebraic geometry
本研究提出将马尔可夫奖励过程灵敏度分析重构为多项式系统，利用代数几何中的柱形代数分解开发专用算法与开源工具，实现了卫生经济学领域的精确多因素灵敏度分析，经案例验证优于标准技术。
2024-10-07 cs.MS math.AG math.OC
Nonstationary nonzero-sum Markov games under a probability criterion
针对非平稳 N 人非零和 Markov 博弈，本文以首次到达目标集前累积报酬达标概率为准则，证明历史依赖策略下 Nash 均衡存在，并提出 epsilon-Nash 均衡算法。
2025-05-15 math.OC math.PR
Markov control of continuous time Markov processes with long run functionals by time discretization
本文通过离散时间受控 Markov 过程研究连续时间受控 Markov 过程，考虑单位时间平均回报和长期风险敏感泛函，并分析了连续时间泛函在 Markov 控制逐点收敛下的稳定性。
2025-08-10 math.OC math.PR
On the Combinatorial Multi-Armed Bandit Problem with Markovian Rewards
Ming Hsieh Department of Electrical Engineering University of Southern California（明斯海德电气工程系 美国南加州大学）
针对用户-资源匹配中状态演化为马尔可夫链的组合多臂老虎机问题，提出一种多项式存储和每步多项式复杂度的学习算法，实现接近对数时间的遗憾界。
2011-03-20 cs.LG cs.NI cs.SY
Accurately Computing Expected Visiting Times and Stationary Distributions in Markov Chains
本文研究离散和连续时间马尔可夫链中期望访问次数的精确高效计算，通过提升区间迭代和拓扑方法提供可靠精度保证，并在Storm中实现，以数个数量级优势优于现有方法计算平稳分布。
2024-02-20 cs.LO math.PR
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
A sojourn-based approach to semi-Markov Reinforcement Learning
本文基于逗留时间过程，给出了离散半马尔可夫决策过程的一种新方法。利用离散时间半马尔可夫过程的不同特征，并利用它们构造决策过程。通过这种新的方法，代理被允许考虑不同的行动，这也取决于进程在当前状态下的逗留时间。研究了基于$Q$学习算法的有限时域强化学习和随机递归关系的数值方法。最后，我们考虑两个玩具的例子：一个是奖励取决于逗留时间，根据赌徒的谬论;另一个是环境是半马尔可夫的，即使报酬函数不依赖于逗留时间。这些都是用来进行一些数值评估先前提出的$Q$学习算法和不同的朴素的方法基于深度强化学习。
2022-04-20 cs.NA math.NA math.PR
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
