Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain（天主教鲁汶大学）；Lund University（隆德大学）
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景，提出的度量定义良好且可在有限时域下高效近似，数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
A Notation for Markov Decision Processes
Carnegie Mellon University（卡内基梅隆大学）；Albert-Ludwigs-Universität Freiburg（弗莱堡大学）
本文给出了马尔可夫决策过程的一种表示法。
2016-09-08 cs.AI
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind（深度思维）
在这个简短的说明中，我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
规划问题中的行动的影响是不确定的，可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术，利用目标导向加速值迭代，解决马尔可夫决策过程的标准算法。实证研究表明，这些技术可以显着提高速度。
2013-02-06 cs.AI
Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making
London School of Economics and Political Science（伦敦政治经济学院）；North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司（Amazon））
马尔可夫假设（MA）是强化学习经验有效性的基础。在本文中，我们提出了一种新的前向-后向学习过程来测试MA在顺序决策中的作用。该检验方法不需要假设观测数据的联合分布具有任何参数形式，对于高阶马尔可夫决策过程和部分可观测MDP中的最优策略识别具有重要作用.我们将我们的测试应用于合成数据集和移动健康研究的真实数据示例，以说明其实用性。
2020-02-05 cs.LG stat.ML
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Constructing Non-Markovian Decision Process via History Aggregator
AILab, School of Computer Science, Peking University（AILab，计算机科学学院，北京大学）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家级实验室，计算机科学学院，北京大学）
针对决策算法处理非马尔可夫动态缺乏全面基准的问题，基于范畴论提出等价MDP与NMDP的方法，并引入状态历史聚合器（HAS）精确控制状态依赖结构，实现了对决策算法更严格灵活的评估。
2025-06-30 cs.AI
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Optimizing Quantiles in Preference-based Markov Decision Processes
在马尔可夫决策过程模型中，通常通过期望累积回报来评估策略。由于这种决策准则并不总是合适的，本文提出了一种算法计算的分位数标准的政策最优。有限和无限的地平线被认为是。最后，我们实验评估我们的方法随机MDP和数据中心控制问题。
2016-12-01 cs.AI
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）
时间差分（TD）学习是强化学习中用于策略评估的流行算法，但是普通TD实质上会受到固有优化方差的影响。Korda和La（2015）提出了一种方差缩减TD（VRTD）算法，该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中，我们首先指出了Korda和La（2015）在VRTD分析中的技术错误，然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外，方差误差（对于i.i.d.\和马尔可夫抽样）和偏差误差（马尔可夫抽样）的VRTD显着降低了批量的方差减少相比，香草TD。结果表明，VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD，优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
Approximating Euclidean by Imprecise Markov Decision Processes
Aalborg University（奥尔堡大学）
欧几里德马尔可夫决策过程是一个强大的工具，建模控制问题的不确定性下连续域。有限状态不精确，马尔可夫决策过程可以用来近似这些无限模型的行为。在本文中，我们解决两个问题：第一，我们调查什么样的近似保证时，欧几里德过程近似的有限状态近似引起的连续状态空间越来越精细的分区。我们表明，在有限的时间范围内的成本函数的近似变得任意精确。其次，我们使用不精确的马尔可夫决策过程近似作为工具来分析和验证成本函数和策略得到的强化学习。我们发现，一方面，我们的新的理论结果验证了以前提出的强化学习方法的基本设计选择。另一方面，不精确的马尔可夫决策过程近似揭示了学习成本函数中的一些不准确性。
2020-06-26 cs.AI
Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method
Hong Kong University of Science & Technology（香港科技大学）
人们对使用部分可观察马尔可夫决策过程（POMDP）作为随机域规划的正式模型非常感兴趣。本文主要研究POMDPs的最优策略。我们提出了几个改进的增量修剪，目前最有效的精确算法求解POMDPs。
2013-01-30 cs.AI
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
我们提出了一种加速部分可观察马尔可夫决策过程（POMDP）值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程（MDP）的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验，一个POMDP值迭代算法称为增量修剪。我们发现，该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
Learning Factored Markov Decision Processes with Unawareness
University of Edinburgh（爱丁堡大学）
序贯决策问题中的学习和规划方法通常假设学习者事先知道所有可能的状态和动作。这种假设有时是站不住脚的。在本文中，我们给出了一种方法来学习分解马尔可夫决策问题，从域探索和专家协助，这保证收敛到接近最优的行为，即使当代理开始不知道成功的关键因素。我们的实验表明，我们的代理学习小问题和大问题的最佳行为，并且在发现新的可能性时保存信息会导致更快的收敛。
2019-02-27 cs.AI
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University（麦吉尔大学）
我们提出了度量马尔可夫决策过程（MDP）的状态相似性无限多个状态，包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟，并适合于使用MDP近似。我们表明，最佳的价值函数与折扣无限地平线规划任务不断变化，我们的度量距离。
2012-07-04 cs.AI
Quantile Markov Decision Process
Stanford University（斯坦福大学）
本文提出分位数马尔可夫决策过程（QMDP），用于优化累积奖励的分位数而非期望值，给出解析结果和动态规划算法，并扩展到CVaR目标，在HIV治疗启动问题上验证了其实际价值。
2025-10-15 cs.AI
Elaboration Tolerant Representation of Markov Decision Process via Decision-Theoretic Extension of Probabilistic Action Language pBC+
Arizona State University（亚利桑那州立大学）
我们扩展概率动作语言pBC+与决策理论中的效用概念。扩展的pBC+的语义可以被定义为概率答案集程序设计语言LPMLN的决策理论扩展的速记符号。或者，pBC+的语义也可以根据马尔可夫决策过程（MDP）来定义，这反过来允许以简洁和精细容忍的方式表示MDP，以及利用MDP求解器来计算pBC+。这个想法导致了系统pbcplus2mdp的设计，它可以使用MDP求解器找到pBC+动作描述的最佳策略。这篇论文是在逻辑程序设计理论与实践（TPLP）中考虑的。
2020-10-01 cs.AI
Minimizing the Outage Probability in a Markov Decision Process
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
标准马尔可夫决策过程（MDP）和强化学习算法相对于期望增益来优化策略。我们提出了一种算法，使优化的替代目标：增益大于给定值的概率。该算法可以看作是数值迭代算法的一种推广。我们还展示了如何将所提出的算法推广到使用神经网络，类似于Q学习的深度Q学习扩展。
2023-03-03 cs.LG
Metrics for Finite Markov Decision Processes
我们提出了度量的相似性状态在有限马尔可夫决策过程（MDP）。我们的指标的制定是基于MDP互模拟的概念，目的是解决折扣无限时域强化学习任务。这样的度量可以用于聚集状态，以及更好地构造其他价值函数近似器（例如，基于存储器或最近邻逼近器）。我们提供的界限，我们的度量距离在给定的MDP的状态的最佳值。
2012-07-11 cs.AI
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Incremental Pruning: A Simple, Fast, Exact Method for Partially Observable Markov Decision Processes
Brown University（布朗大学）；Duke University（杜克大学）
一般部分可观测马尔可夫决策过程（POMDPs）的最精确算法使用动态规划的形式，其中一个价值函数的分段线性和凸表示被转换成另一个。我们研究的“增量修剪”的方法来解决这个问题的变化，并从理论和实证的角度将它们与早期的算法进行比较。我们发现，增量修剪是目前最有效的精确方法解决POMDPs。
2013-02-06 cs.AI
Nonapproximability Results for Partially Observable Markov Decision Processes
University of Kentucky（肯塔基大学）
我们表明，部分可观察的马尔可夫决策过程的几个变化，多项式时间算法找到控制策略不太可能或根本没有保证找到一个恒定的因素或一个恒定的最优和的政策。这里“不太可能”的意思是“除非某些复杂性类崩溃”，其中考虑的崩溃是P=NP，P=PSPACE或P=EXP。除非这些崩溃被证明是有效的，否则任何控制策略设计者都必须在这样的性能保证和有效计算之间做出选择。
2011-06-01 cs.AI
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
Greedy-GQ是一种基于值的强化学习（RL）算法，用于最优控制。最近，有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样，该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ（VR-Greedy-GQ）算法。特别地，该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下，研究了VR-Greedy-GQ的有限时间收敛性，并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是，我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能，以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Refined Analysis of FPL for Adversarial Markov Decision Processes
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑对抗马尔可夫决策过程（MDP）问题，其中MDP的奖励可以被对抗地选择，并且转移函数可以是已知的或未知的。在这两种情况下，在以前的文献中已经提出了基于跟随扰动领导者（FPL）的算法。然而，基于FPL的算法建立的遗憾界比基于镜像下降的算法差。我们改进了FPL算法的分析，在这两种设置，匹配当前最好的遗憾界限，使用更快，更简单的算法。
2020-08-21 cs.LG stat.ML
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
A Sliding-Window Algorithm for Markov Decision Processes with Arbitrarily Changing Rewards and Transitions
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑在改变马尔可夫决策过程中的强化学习，其中状态转移概率和奖励函数都可能随时间而变化。对于这个问题的设置，我们提出了一个算法，使用滑动窗口的方法，并提供性能保证的最佳非平稳政策评估的遗憾。我们还描述了适合我们的算法的最佳窗口大小。这些结果的补充样本的复杂性约束的次优的步骤所采取的算法。最后，我们提出了一些实验结果来支持我们的理论分析。
2018-05-25 cs.LG stat.ML
Scalable Verification of Markov Decision Processes
Inria Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩－布列塔尼大西洋中心）
马尔可夫决策过程（MDP）是有用的模型并发过程优化问题，但验证它们的数值方法往往是棘手的。现有的近似方法不能很好地扩展，并且仅限于无记忆存储器。在这里，我们提出了MDPS的可扩展性验证的基础上，使用一个O（1）的历史相关的存储器表示。因此，我们促进可扩展的学习技术和大规模并行验证的使用。
2014-09-17 cs.DC cs.DS cs.LG
An Approximate Solution Method for Large Risk-Averse Markov Decision Processes
IBM Research（IBM研究院）
随机域通常涉及风险厌恶的决策者。虽然最近的工作集中在如何使用风险度量在马尔可夫决策过程中建模风险，但它没有解决解决大型风险规避公式的问题。在本文中，我们提出并分析了一种新的方法来解决大型风险厌恶MDP与混合连续离散状态空间和连续行动空间。所提出的方法使用MDP的线性结构迭代地改进值函数的界。我们证明了效用和性能的方法上的投资组合优化问题。
2012-10-16 cs.AI cs.GT q-fin.PM
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Iterated risk measures for risk-sensitive Markov decision processes with discounted cost
IBM Research - Tokyo（IBM东京研究院）
我们证明了贴现预期效用的限制，代表未来成本贴现时的风险偏好的标准方法。具体来说，我们提供了一个例子，决策者的偏好，似乎是理性的，但不能用任何折扣的预期效用表示。一个简单的修改贴现预期效用导致不一致的决策随着时间的推移。我们将证明，一个迭代的风险度量可以代表的偏好，不能代表任何折扣的期望效用和决策的基础上迭代的风险度量是一致的，随着时间的推移。
2012-02-14 cs.AI cs.GT q-fin.RM
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd（Giga设计自动化有限公司）；Shenzhen 518055, China（中国深圳518055）
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决，特别是Q学习技术。针对稀疏求解器的主要模块：最小度排序、任务调度和自适应旋转，提出了一些Q学习算法。最后，我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能，这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Understanding Domain-Size Generalization in Markov Logic Networks
TU Wien（维也纳技术大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文研究了 Markov Logic Networks 在不同 domain 规模间泛化能力差的问题，通过量化参数方差对内部不一致性和 KL 散度的界限，证明最小化参数方差可提升泛化能力，并在四个数据集上得到验证。
2024-06-03 cs.AI cs.LG
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中，我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发：我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中，一个特殊的家庭隐马尔可夫模型，输入和输出，被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法，并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
JUMP-Means: Small-Variance Asymptotics for Markov Jump Processes
MIT（麻省理工学院）
马尔可夫跳跃过程（MJPs）用于模拟从疾病进展到RNA路径折叠的各种现象。然而，参数模型的极大似然估计会导致轨迹退化，并且在非参数模型中推理性能较差。我们采取小方差渐近（SVA）的方法来克服这些限制。我们推导出小方差渐近参数和非参数MJP直接观察和隐藏的状态模型。在参数的情况下，我们得到一个新的目标函数，导致非退化的轨迹。为了得到非参数的版本，我们引入了伽马-伽马过程，一个新的扩展的伽马-指数过程。我们提出了这些配方，我们称之为\emph{JUMP-means}的算法。我们的实验表明，JUMP-means在速度和重建精度方面与广泛使用的MJP推理方法具有竞争力或优于MJP推理方法。
2015-06-05 cs.LG stat.ML
Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients
Sogang University（西江大学）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
利用随机梯度下降（SGD）最小化包含的Kullback-Leibler（KL）发散是具有挑战性的，因为其梯度被定义为后验上的积分。最近，已经提出了多种方法来运行SGD从马尔可夫链获得的有偏梯度估计。本文通过建立它们的混合率和梯度方差，首次给出了这些方法的非渐近收敛性分析。要做到这一点，我们证明，这些方法，我们统称为马尔可夫链得分上升（MCSA）的方法，可以铸造的马尔可夫链梯度下降框架的特殊情况。此外，通过利用这种新的理解，我们开发了一种新的MCSA方案，并行MCSA（pMCSA），实现了更严格的约束的梯度方差。我们证明，这种改进的理论结果转化为优越的经验性能。
2022-10-13 cs.AI cs.LG stat.ML
Self-Repellent Random Walks on General Graphs -- Achieving Minimal Sampling Variance via Nonlinear Markov Chains
IQVIA Inc.（艾昆纬公司）；North Carolina State University（北卡罗来纳州立大学）
该研究提出一般图上的自排斥随机游走（SRRW），证明其经验分布收敛于目标平稳分布，且排斥性越强渐近采样方差越小，还通过数值模拟验证了时变α版本的综合优势。
2024-01-28 cs.LG math.PR
