Hitting probabilities in a Markov additive process with linear movements and upward jumps: applications to risk and queueing processes
受正、负保险费率风险过程的启发，考虑了具有多个背景状态的实值马尔可夫可加过程。该加法过程在背景状态不变时线性增加或减少，并且在背景状态的过渡时刻可能具有向上跳跃。已知该可加过程在较低水平的命中概率具有矩阵指数形式。本文研究了一般情况下不具有矩阵指数形式的高层命中概率。这些概率用风险过程的术语给出了破产概率。我们的主要兴趣是在轻尾条件下的跳跃大小的解析表达式和他们的渐近行为时，击中水平走向无穷大。为了得到这些结果，我们对命中概率使用了一定的对偶性，这可能具有独立的兴趣，因为它不需要任何马尔可夫假设。
2004-06-09 math.PR
Finite-Time Ruin for the Compound Markov Binomial Risk Model
本文研究由有限状态遍历马尔可夫链调制的复合二项风险模型的有限时间破产概率，通过推广 Ballot 定理处理零初始盈余情形，并利用多元 Lagrangian 反演给出任意初始盈余下的 Seal 型破产公式。
2025-07-22 math.PR
Optimal control of infinite-dimensional piecewise deterministic Markov processes and application to the control of neuronal dynamics via Optogenetics
本文定义了一个无限维受控分段确定马尔可夫过程，研究了有限时间范围和无界费用的最优控制问题。这个过程是一个连续时间马尔可夫链与一组半线性抛物型偏微分方程之间的耦合，两个过程都依赖于控制。将动态规划应用于嵌入式马尔可夫决策过程，得到了最优松弛控制的存在性，并给出了最优普通控制存在的充分条件.这项研究构成了受控PDMP到无限维的扩展，其动机是在神经元模型（如Hodgkin-Huxley模型）上提供光遗传学的控制。我们将无限维受控Hodgkin-Huxley模型定义为一个无限维受控分段确定马尔可夫过程，并应用前面的结果证明了跟踪问题的最优普通控制的存在性.
2016-07-19 math.PR
Partially Observable Risk-Sensitive Markov Decision Processes
本文研究了由部分可观测马尔可夫决策过程（POMDP）在有限和无限时间范围内最小化总成本或折扣成本的确定性等价问题。确定性等效由$U^{-1}(EU(Y))$定义，其中$U$是增函数。与风险中性的决策者相比，这种优化标准考虑了成本的可变性。它包含作为一个特殊的情况下，经典的风险敏感的优化准则与指数效用。我们表明，这个最优化问题可以解决嵌入到一个完全可观察的马尔可夫决策过程与扩展的状态空间的问题，并给出条件下，最优策略存在。状态空间必须由当前未观测状态和累积代价的联合条件分布来扩展。在指数效用的情况下，问题大大简化，我们重新发现在以前的文献中被命名为信息状态。然而，由于我们在这里没有使用任何度量变化技术，我们的方法更简单。一个小的数值例子，即经典的重复赌场游戏与未知的成功概率被认为是说明的确定性当量及其参数的影响。
2016-11-29 math.PR
Bivariate Semi-Markov Process for Counterparty Credit Risk
本文研究了信用评级迁移问题中的交易对手信用风险的多元模型构造问题。针对这一金融问题，提出了不同的多元马尔可夫链模型。然而，马尔可夫假设可能是不适当的研究动态的信用评级，通常表现出非马尔可夫行为。本文通过定义一个新的多变量半马尔可夫链模型，发展了一种研究交易对手信用风险的半马尔可夫方法。给出了计算风险信用违约互换的转移概率、可靠性函数和价格的方法。
2012-10-05 math.PR q-fin.CP q-fin.RM
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离，通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法，进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Ergodic Risk-Sensitive Control of Markov Processes on Countable State Space Revisited
本文考虑了一类离散和连续时间控制的马氏过程，研究了遍历风险敏感极小化问题。在一个全面的稳定性假设下，我们提供了一个完整的分析。特别地，我们建立了最优平稳马尔可夫控制的值函数的唯一性和验证结果，除了存在性结果。我们也重新审视这个问题的近似单调性条件下，但没有任何稳定性假设。我们的研究结果还包括离散和连续时间框架中的政策改进算法。
2021-11-01 math.OC math.PR
Markov risk mappings and risk-sensitive optimal prediction
在动态风险框架下，以最小的假设，我们制定了离散时间的概率马尔可夫性。这对于动态优化问题的风险敏感版本的递归解决方案很有用，例如最优预测，其中每个阶段的递归都取决于整个未来。该属性适用于实践中使用的标准风险度量，并以几个等效版本制定，包括通过接受集的表示，强版本和双重表示。
2022-09-02 math.OC math.PR q-fin.MF
Time-inconsistent Risk-sensitive Equilibrium for Countable-stated Markov Decision Processes
研究了可数状态马尔可夫决策过程（MDP）的含参数$\e$及其极限情形（$\e\rightarrow0^+$）的时间不一致风险敏感控制问题.由于成本泛函是时间不一致的，因此不可能为这两种情况找到全局最优策略。相反，对于每一种情况，我们将证明存在的时间不恒定的平衡策略，验证所谓的步骤最优。证明了$\e$ -平衡点及相应的值函数$\e\rightarrow0^+$的收敛性.
2020-10-21 math.OC math.PR
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程，研究两人零和随机博弈，在转移率与费用/报酬率上下无界的温和条件下，证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Controlled Martingale Problems And Their Markov Mimics
本文证明波兰空间上松弛受控鞅问题解的边际可由马尔可夫解模拟，并通过相对熵最小化构造，给出多个应用实例。
2023-09-01 cs.IT math.IT math.OC
Markov approximation for controlled Hawkes Jump-Diffusions with general kernels
本文提出了一种针对具有一般核的Hawkes跳扩散的Markov逼近方法，通过用指数函数线性组合逼近核，证明其可由Markov跳扩散逼近，并应用于随机控制问题验证了实用性。
2025-07-15 math.OC math.PR
Time-Inconsistent Problems for Controlled Markov Chains with Distribution-Dependent Costs: Equilibrium Solutions
研究了一类具有时间不一致和分布依赖代价泛函（在某种适当的意义下）的连续时间受控马尔可夫链。给出了闭环意义下时间不一致分布相关平衡点的一个新定义，并证明了其存在唯一性。由于时间不一致性，证明了平衡点在适当的意义下是局部最优的。此外，它已被证明，我们的问题基本上是等价的一个无限的球员平均场游戏的时间不一致的成本。
2019-09-25 math.OC math.PR
On the asymptotic of exit problems for controlled Markov diffusion processes with random jumps and vanishing diffusion terms
本文研究了具有随机跳和消失扩散项的受控Markov扩散过程出口问题的渐近性，其中引入随机跳是为了通过从一种动力学模式切换到另一种动力学模式来改变受控扩散过程的演化.也就是说，取决于状态位置和状态转换信息，受控扩散的动力学在不同的漂移和扩散项之间随机切换。在这里，我们分两步具体研究关于此类受控马尔可夫扩散过程的渐近退出问题：（i）首先，对于每个受控扩散模型，我们寻找一个允许的马尔可夫控制过程，它使相应的无穷小生成元的主特征值最小，且Dirichlet边界条件为零--其中这种容许控制过程还迫使受控扩散过程在给定的有界开放域中保持更长的持续时间。(ii)然后，利用大偏差理论，我们确定了具有随机跳和扩散项消失的受控马氏扩散过程的出口位置和出口时刻的分布类型。此外，在出口时间的渐近结果也使我们能够确定相应的椭圆型偏微分方程系统的狄利克雷问题的极限行为包含一个小的消失参数。
2018-02-06 math.DS math.PR
Controlled Markov Chains with AVaR Criteria for Unbounded Costs
本文研究了马尔可夫决策过程（MDP）中具有无穷水平上可能无界的$L^{1}$ -费用的平均风险价值（AVaR）准则的控制问题.通过选择一个合适的状态聚合和先验的全局变量$s$，我们证明了存在最优策略的无限地平线问题。据我们所知，这是第一个工作推导的动态规划方程与$L^1$ -无界费用通过AVaR-算子。
2015-11-17 math.OC math.PR
Risk Filtering and Risk-Averse Control of Markovian Systems Subject to Model Uncertainty
我们考虑一个马尔可夫决策过程服从贝叶斯框架中的模型不确定性，在这里我们假设状态过程被观察到，但其法律是未知的观察员。另外，虽然在时间$t$观察到状态过程和控制，但是可能取决于未知参数的实际成本在时间$t$是未知的。控制器优化总成本，通过使用一个家庭的特殊风险措施，我们称之为风险过滤器，并适当地定义，考虑到模型的不确定性的控制系统。这些关键特征导致非标准和非平凡的风险厌恶控制问题，我们推导出贝尔曼最优性原理。我们说明了两个实际的例子：最优投资和临床试验的一般理论。
2022-06-18 math.OC math.PR q-fin.PM
Viability, Invariance and Reachability for Controlled Piecewise Deterministic Markov Processes Associated to Gene Networks
我们的目的是描述受控分段确定性马尔可夫过程（PDMP）的生存能力，不变性和一些可达性的性质。利用黏性解理论的分析方法，我们建立了关于一阶法锥的生存性和不变性的判据。我们还研究了任意开集的可达性。该方法是基于粘性技术和对偶一些相关的线性化问题。理论结果被应用到一般的开/关系统，库克的模型为haploinssufficiency，和噬菌体λ的随机模型。
2010-02-10 math.OC math.PR
Markov control of continuous time Markov processes with long run functionals by time discretization
本文通过离散时间受控 Markov 过程研究连续时间受控 Markov 过程，考虑单位时间平均回报和长期风险敏感泛函，并分析了连续时间泛函在 Markov 控制逐点收敛下的稳定性。
2025-08-10 math.OC math.PR
High frequency trading and asymptotics for small risk aversion in a Markov renewal model
我们研究了一个市场微观结构模型中的最优高频交易问题，该模型被设计成在准确性和易处理性之间取得很好的折衷。股票价格由马尔可夫更新过程（MRP）驱动，而市价订单通过与股票价格本身相关的点过程到达限价订单簿。在这个框架中，我们可以重现逆向选择风险，出现在两种不同的形式：通常的一个由于大的市价订单影响股票价格和惩罚代理人，和弱的一个由于小的市价订单和减少一个有利可图的执行的概率。在这个半马尔可夫模型中，我们利用随机控制技术来解决做市商问题。在无风险规避的情形下，我们给出了最优控制的显式表达式，并将价值函数刻画为一个简单的线性偏微分方程。在一般情况下，我们根据前面的结果推导出最优控制和价值函数，并说明风险厌恶如何影响交易者的策略和预期收益。最后，通过使用摄动方法，近似最优控制的小风险厌恶显式计算两个简单的偏微分方程，大大减少了计算成本和启发的金融解释的结果。
2015-01-04 math.PR q-fin.TR
Partially observed controlled Markov chains and optimal control of the Wonham filter
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
本文研究了部分观测的受控马尔可夫链的最优控制问题，通过分离方法将问题转化为Wonham滤波方程，并证明了其与原问题的等价性。
2026-02-18 math.OC math.PR
Long run control of nonhomogeneous Markov processes
本文研究非齐次马尔可夫过程的长期控制，提出平均奖励与风险敏感泛函，证明贝尔曼方程解的存在性、值函数连续性及控制收敛下的稳定性。
2025-06-18 math.OC math.PR
Jacobi-like relative value iteration algorithms for ergodic risk-sensitive control of Markov chains
Rice University（莱斯大学）
针对有限状态空间上受控离散时间马尔可夫链的遍历风险敏感控制问题，提出类雅可比相对值迭代算法，通过建立局部收缩和双利普希茨连续性性质证明迭代几何收敛，并在两个实例上实现该算法。
2026-07-09 math.OC math.PR
A variational characterization of the risk-sensitive average reward for controlled diffusions on $\mathbb{R}^d$
我们解决变分形式的风险敏感的回报问题的非退化扩散$\mathbb{R}^d$通过漂移控制。我们建立了全空间上的变分公式，并证明了风险敏感值等于半线性算子的广义主特征值。这可以看作是大偏差下扩散算子主特征值的变分公式的一个受控形式。我们还重新审视了平均风险敏感的最小化问题，并通过采用本文中开发的梯度估计，我们扩展到无界漂移和运行成本的早期结果。
2020-09-04 math.AP math.OC math.PR
Voting by mail: a Markov chain model for managing the security risks of election systems
Morgan State University（摩根州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一个动态数学模型框架，用于评估邮寄投票过程的风险，通过马尔可夫链分析选举性能和风险，结合多层次网络方法考虑恶意与非恶意威胁及安全措施的相互作用。
2026-04-03 cs.CR math.PR
Asymptotic risks of Viterbi segmentation
我们考虑隐马尔可夫模型（HMM）的最大似然（Viterbi）对齐。在隐马尔可夫模型中，底层的马尔可夫链通常是隐藏的，维特比比对通常被用作对它的估计，这种方法将被称为维特比分割。维特比分割的优良性可以通过几个风险来衡量。本文证明了渐近风险的存在性。由于与数据无关，渐近风险可以被认为是模型的特征，说明了维特比分割的长期行为。
2010-12-13 math.PR stat.ML
Quantitative model-checking of controlled discrete-time Markov processes
Delft Center for Systems & Control, Delft University of Technology（代尔夫特系统与控制中心，代尔夫特理工大学）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Software Modeling and Verification Group, RWTH Aachen University（亚琛工业大学软件建模与验证小组）
本文研究了受控离散时间马尔可夫过程感兴趣事件概率的优化问题，证明了优化ω-正则属性可归结为可达性和重复可达性两个基本问题的求解。
2014-07-21 cs.FL cs.SY eess.SY
On the relative value iteration with a risk-sensitive criterion
研究了离散时间受控马尔可夫链的风险敏感控制问题的动态规划方程的乘性相对值迭代算法，其状态空间为紧的波兰状态空间，扩散过程在整个欧几里得空间中.主要的结果是证明在每种情况下收敛到所需的限制。
2019-12-18 math.OC math.PR
Quantitative Convergence of Markov Equilibria for Time-Inconsistent Controlled Diffusions
Johannes Kepler University Linz（林茨约翰·开普勒大学）
针对时间不一致受控扩散过程，该研究在Björk-Khapko-Murgoci马尔可夫框架下建立定量收敛定理，构造离散马尔可夫子博弈完美均衡并证明其一阶收敛性，提出结构化多项式增长类的条件转移原理。
2026-10-20 math.OC math.PR
Comparisons for backward stochastic differential equations on Markov chains and related no-arbitrage conditions
以往对倒向随机微分方程的研究，以及与之相关的非线性期望和动态风险测度理论，都是在连续时间扩散或跳跃扩散的框架下进行的。利用有限状态连续时间马氏链空间上的倒向随机微分方程的解，在[Dynamically consistent nonlinear evaluations and expectations（2005）Shandong Univ.]的基础上，建立了一个非线性期望理论.我们证明了这些期望的基本性质，并展示了它们在动态风险度量中的应用。特别是，我们证明了比较定理的标量和向量值的解决方案，BSDES，并讨论了套利和风险措施的标量情况下。
2010-01-14 math.PR q-fin.CP
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的，则称马尔可夫判定问题是可逆的。一个自然的应用，其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明，政策迭代算法找到一个最佳的政策，可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
Central Limit Theorems for Transition Probabilities of Controlled Markov Chains
Northwestern University（西北大学）
本文研究了受控马尔可夫链转移矩阵非参数估计的中心极限定理，揭示了日志策略下渐近正态性条件及CLT不存在的场景，推导了价值函数、Q函数和优势函数的CLT，并提出 goodness-of-fit检验用于检验日志数据的随机性。
2026-03-25 math.PR math.ST stat.ML
