A functional limit theorem for coin tossing Markov chains
证明了马尔可夫链的一个泛函极限定理,该链在每一步中分别以概率$1/2$向上或向下移动一个可能的状态依赖常数.该定理的结果是:自然尺度下的一维正则连续强马尔可夫过程的律可以用这样的马尔可夫链任意好地逼近。泛函极限定理特别适用于不能表征为随机微分方程解的马尔可夫过程。我们的结果允许实际上近似这样的过程与不规则的行为,我们说明了这与马尔可夫过程表现出粘性功能,例如,粘性布朗运动和布朗运动在康托尔集上慢化。
2020-05-11 math.PR
On the Imbedding Problem for Three-state Time Homogeneous Markov Chains with Coinciding Negative Eigenvalues
对于不可分解的$3\times 3$随机阵(即,1-阶转移概率矩阵),通过转移率矩阵的交替参数化,给出了时齐马尔可夫链嵌入问题的一个新的充要条件(即,强度矩阵、无穷小生成器),这避免了计算矩阵对数或矩阵平方根。此外,Johansen [J. Lond.数学会,8,345-351.(1974))。
2010-09-11 math.PR
Mean Field Games and Nonlinear Markov Processes
在本文中,我们研究了平均场博弈与$K$类的代理人谁是弱耦合通过经验措施。代表性的代理的基本动力学被假定为一个受控的非线性马尔可夫过程与相当一般的Lévy-Khintchine型(具有可变系数)的积分微分发生器。我们证明了描述具有大量N个代理的系统的动力学大数定律极限的非线性测度值动力学方程是可解的,并且它们的解表示N个代理的近似系统的1/N-Nash平衡。
2012-04-06 math.PR
Multistep Bayesian strategy in coin-tossing games and its application to asset trading games in continuous time
我们在Shafer和Vovk(2001)的博弈论概率框架下研究了掷硬币博弈中的多步贝叶斯博弈策略。我们表明,通过这些策略的可数混合,赌徒或投资者可以利用自然的动作从独立的伯努利试验的偏差的任意模式。然后,我们应用我们的计划在连续时间的资产交易游戏,并得出投资者的资本的指数增长率时,资产价格路径的变化指数偏离2。
2008-03-02 math.PR q-fin.TR
How strong can the Parrondo effect be? II
Parrondo的掷硬币游戏包括两个游戏,$A$和$B$。游戏的结果$A$是由一个公平的硬币投掷决定。如果资本是$r$的倍数,则游戏$B$的结果由投掷$p_0$硬币决定,否则由投掷$p_1$硬币决定。在任何一场比赛中,玩家都赢得一个正面单位,失去一个反面单位。如果$(1-p_0)(1-p_1)^{r-1}=p_0\,p_1^{r-1}$,则游戏$B$是公平的。在以前的论文中,我们证明了,如果游戏$B$的参数,即$r$,$p_0$和$p_1$,被允许是任意的,服从公平约束,并且如果两个(公平)游戏$A$和$B$以任意的周期序列进行,那么利润率不仅可以是正的(所谓的Parrondo效应),但也可以任意接近1(即,100%)。在这里,我们证明了相同的结论,随机序列的两个游戏,而不是一个周期性的,即在每一轮游戏$A$是发挥概率$γ$和游戏$B$是发挥否则,其中$γ\in(0,1)$是任意的。
2020-01-02 math.PR
Dynkin games for Markov processes associated with semi-Dirichlet forms
针对与半 Dirichlet 型相关的 Markov 过程上的 Dynkin 最优停止博弈,本文证明双障碍变分不等式的解给出均衡价格,并构造得到博弈鞍点。
2023-04-24 math.OC math.PR
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Mean Field Games with Ergodic cost for Discrete Time Markov Processes
在一般离散时间控制的马尔可夫过程框架下,研究了具有遍历代价的平均场对策。过程的状态空间由一般的$σ$ -紧波兰空间给出。在一定条件下,我们证明了平均场博弈均衡的存在性。我们还研究了$N$ -人的游戏中,球员相互作用,通过他们的经验措施。我们证明了$N$ -人博弈具有纳什均衡,并且当$N$趋于无穷大时,均衡收敛到平均场博弈解。
2015-10-30 math.OC math.PR
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离,通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法,进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Deterministic limit of mean field games associated with nonlinear Markov processes
研究了具有非局部耦合的平均场对策的确定性极限。假设平均场博弈的动力学是由非线性马尔可夫过程给出的。这类博弈包括随机平均场博弈和有限状态空间的平均场博弈。在极大极小方法的框架下,我们考虑了有限确定性平均场对策。极小化极大解的概念接近于概率公式。在这种情况下,汉密尔顿-雅可比方程被认为是在极小极大/粘性意义下,而概率流是由概率的解决方案的集合上的微分包含与汉密尔顿-雅可比方程,使这些解决方案是可行的,在图中的极小化极大解。本文的主要结果是在基本动态收敛于确定性演化的情况下,平均场对策的解收敛于确定性平均场对策的极小化极大解.
2018-01-04 math.OC math.PR
Zero-sum continuous-time Markov games with one-side stopping
本文研究了连续时间有限状态马尔可夫控制和停止博弈的一种变体,其中两个博弈者都可以影响转移率,而只有一个博弈者可以选择一个停时。我们使用动态规划原则,并减少了这个问题的一个系统的常微分方程的单边约束。这个系统起着贝尔曼方程的作用。我们表明,它的解决方案提供了最优策略的球员。此外,我们证明了所推导的单边约束常微分方程组的存在唯一性定理。
2022-08-07 math.OC math.PR
Markov models for the tipsy cop and robber game on graphs
在本文中,我们分析并建模了Harris,Insko,Prieto-Langarica,Stoisavljevic和Sullivan在2020年提出的三个关于图上醉酒警察和强盗博弈的开放问题。我们模拟的三种不同的情景解释了不同的生物情景。第一种情况是警察和强盗在游戏持续时间内保持一致的醉意水平;第二种情况是警察和强盗清醒的时间;第三种情况是警察和强盗清醒的时间是他们之间距离的函数。使用马尔可夫链模型的每一个场景,我们计算的概率,一个游戏持续通过$\mathbf{M}$轮的游戏和预期的游戏长度给定不同的开始位置和tipsiness水平的警察和强盗。
2021-02-26 math.CO math.PR
Implications of contrarian and one-sided strategies for the fair-coin game
在Shafer和Vovk \cite{sv}的博弈论概率框架下,我们得到了Skeptic关于公平硬币博弈的逆向和单边策略的一些结果.特别是,关于强大数律(SLLN)收敛速率,我们证明了怀疑论者可以强制收敛必须慢于或等于$O(n^{-1/2})$。这是通过一个非常简单的反向战略的怀疑。这种类型的结果,从下面限制收敛的收敛速率,与通过使用动量策略从上面限制SLLN的速度的更标准的结果形成对比。我们还得到了相应的单边结果。
2007-03-26 math.PR q-fin.PM
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程,研究两人零和随机博弈,在转移率与费用/报酬率上下无界的温和条件下,证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Discounted semi-Markov games with incomplete information on one side
本文研究了两人零和半马尔可夫博弈问题,其中一方信息不完全,观测完全。在开始时,系统根据给定的概率分布选择游戏类型,并仅通知玩家1。在每个阶段之后,双方玩家在进入下一阶段之前都要观察所选择的动作。首先,我们证明了在期望折扣准则和最优性方程下价值函数的存在性。其次,通过价值函数的最优性方程,给出了参与人1的最优策略的存在性和迭代算法。此外,对于不知情的参与人2的最优策略,我们定义了辅助对偶对策,并构造了对偶对策中价值函数的一个新的最优性方程,这意味着参与人2在对偶对策中最优策略的存在性。最后,利用对偶对策的结果给出了原对策中参与人2的最优策略的存在性和迭代算法。
2021-07-15 math.OC math.PR
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离,通过不动点论证,证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性,并利用马尔可夫链后向近似方法,分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
Markov-Nash equilibria in mean-field games under model uncertainty
本文提出并分析了模型不确定性下的平均场马尔可夫博弈框架,证明了最坏情况期望奖励下平均场均衡的存在性,并证明当智能体数量足够大时该最优策略可构成近似马尔可夫-纳什均衡。
2026-11-17 math.OC math.PR
A Greedy Chip-firing Game
论文提出确定性的 hunger game,以转子路由式机制模拟有限常返和吸收马尔可夫链,并证明其分布、击中测度与期望击中时间的偏差以 N^{-1} 收敛。
2022-07-09 math.CO math.PR
Capital process and optimality properties of a Bayesian Skeptic in coin-tossing games
我们在Shafer和Vovk(2001)的博弈论概率框架下研究了公平硬币博弈和有偏硬币博弈中的资本过程行为。我们表明,如果怀疑论者使用贝叶斯策略与贝塔先验,资本过程是清晰地表示在过去的平均现实的动作。由此证明,怀疑论者的贝叶斯策略弱力强强大数律(SLLN)的收敛速度为O(\sqrt{\log n/n})$,如果现实违反SLLN,那么资本过程的指数增长性率是非常准确地描述在现实的动作之间的Kullback分歧的平均值时,她违反SLLN和平均值时,她观察SLLN。我们还研究了贝叶斯策略的最优性。
2008-09-26 math.PR math.ST q-fin.TR
Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
École Normale Supérieure de Paris-Saclay(巴黎萨克雷高等师范学院)
本文提出通过降低学习率和提高更新频率重标度学习过程,将智能体参数视为慢变量,证明了多智能体在有限状态马尔可夫博弈中的学习动力学收敛于常微分方程,提供了确定性的近似方法。
2025-06-26 cs.LG math.PR stat.ML
A 1/n Nash equilibrium for non-linear Markov games of mean-field-type on finite state space
我们调查平均场游戏的球员,谁是弱耦合通过他们的经验措施。为此,我们调查的时间依赖的纯跳跃型传播在有限空间的非线性马尔可夫过程的框架。我们表明,个人的最优策略的结果,从一个一致的耦合的最优控制问题与一个向前的非自治动态,导致著名的Mckean-Vlasov动态的限制,作为玩家的数量N趋于无穷大。其中一个玩家的个人偏好与其他玩家的偏好不同的情况也包括在内。极限系统代表N个参与者的近似系统的1/N-Nash均衡。
2015-03-24 math.DS math.OC math.PR