A method for the online construction of the set of states of a Markov Decision Process using Answer Set Programming
Universidade Metodista de São Paulo（圣保罗卫理公会大学）；Centro Universitário FEI（FEI大学中心）；IIIA-CSIC（西班牙国家研究委员会人工智能研究所）
非平稳域，以不可预测的方式变化，是一个挑战，为代理搜索最优策略的顺序决策问题。本文提出了一种结合马尔可夫决策过程（MDP）和回答集编程（ASP）的方法，称为{ \em Online ASP for MDP}（oASP（MDP）），它是一种能够在Agent与变化的环境交互时构造域状态集的方法。oASP（MDP）使用代表代理观察到的域变化的规则，更新通过强化学习（RL）学习的先前获得的策略。这些规则表示一组域约束，这些域约束作为减少搜索空间的ASP程序来处理。结果表明，oASP（MDP）是能够找到解决方案的问题，在非平稳域，而不干扰的行动-价值函数逼近过程。
2017-06-05 cs.AI
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
DiPRL: Learning Discrete Programmatic Policies via Architecture Entropy Regularization
Eindhoven University of Technology（埃因霍温理工大学）；Centrum Wiskunde & Informatica（数学与信息学研究中心）
本文提出DiPRL，一种通过架构熵正则化学习可解释程序性策略的方法，以避免事后细化阶段，提高策略表达性和任务性能。
2026-05-18 cs.AI cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Analysis of approximate linear programming solution to Markov decision problem with log barrier function
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
本文提出利用对数障碍函数将马尔可夫决策问题的线性规划转换为无约束优化问题，以提高求解效率并填补理论空白。
2026-02-23 cs.AI
A general Markov decision process formalism for action-state entropy-regularized reward maximization
Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作分别讨论了不同形式的行动，状态和行动状态熵正则化，纯探索和空间占领。这些问题对于规则化、泛化、加速学习和以前所未有的水平提供强大的解决方案都变得非常重要。然而，这些问题的解决方案是繁忙的，从凸和非凸优化，无约束优化，约束优化。在这里，我们提供了一个一般的对偶函数形式主义，将约束优化问题转化为一个无约束的凸的任何混合行动和状态熵。纯作用熵和纯状态熵的情况被理解为混合的极限。
2023-02-02 cs.AI cs.LG
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Heuristics, Answer Set Programming and Markov Decision Process for Solving a Set of Spatial Puzzles
Centro Universitário FEI（FEI大学中心）；University of Corunna（科鲁尼亚大学）
由刚性物体、柔性弦和孔洞组成的空间谜题为人们对日常生活中常见的空间实体进行推理提供了有趣的领域。这项工作的目标是调查这类问题的自动化解决方案，采用一种算法，结合答案集编程（ASP）与马尔可夫决策过程（MDP），算法oASP（MDP），使用启发式算法加速学习过程。ASP被用来表示域作为一个MDP，而强化学习算法（Q学习）被用来找到最优策略。在这项工作中，数学是从放松版本的难题的解决方案。实验进行了确定性，非确定性和非平稳版本的难题。结果表明，所提出的方法可以加速学习过程中，呈现出优势相比，非启发式版本的oASP（MDP）和Q-Learning。
2019-02-16 cs.AI cs.LG
On Dynamic Programming Decompositions of Static Risk Measures in Markov Decision Processes
University of New Hampshire（新罕布什尔大学）；HEC Montréal（蒙特利尔高等商学院）；Amazon（亚马逊公司）；Google Research（谷歌研究院）
本文证明强化学习中用于CVaR和EVaR的离散风险水平动态规划分解本质上始终次优，而VaR的分解成立，揭示了这些风险度量在鞍点性质上的关键差异。
2024-04-23 cs.AI math.OC
Continuous-Time Distributed Dynamic Programming for Networked Multi-Agent Markov Decision Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hanbat National University（韩bat国立大学）
针对网络化多智能体马尔可夫决策过程，提出两种连续时间分布式动态规划算法，并从系统与控制角度证明其收敛性，为分布式时序差分学习奠定基础。
2024-06-13 cs.AI cs.SY eess.SY
Verification of Markov Decision Processes with Risk-Sensitive Measures
University of Texas（得克萨斯大学）
我们开发了一种方法，用于在马尔可夫决策过程中的风险敏感措施的时间逻辑约束的计算政策。具体来说，我们使用了累积前景理论中的一种特定的风险敏感度测量方法，这种方法以前曾在心理学和经济学中被采用。概率和效用函数的非线性变换产生非线性规划问题，这使得最优策略的计算通常具有挑战性。我们表明，这种非线性加权函数可以准确地近似由两个凸函数的差异。这一观察使得使用凹凸规划的有效策略计算成为可能。我们证明了几种情况下的方法的有效性。
2020-04-19 cs.AI cs.LO
Dynamic programming with incomplete information to overcome navigational uncertainty in a nautical environment
University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）；University of Waterloo（滑铁卢大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
使用一个新的玩具航海导航环境中，我们表明，动态规划可以使用时，只有不完整的信息，部分观察到的马尔可夫决策过程（POMDP）是已知的。通过将不确定性纳入我们的模型，我们表明，导航策略可以构建，保持安全，优于传统的动态规划的马尔可夫决策过程（MDP）的基线性能。加入受控传感方法，我们表明，这些政策也可以降低测量成本在同一时间。
2022-07-19 cs.AI math.OC
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑在线学习在情节无环马尔可夫决策过程（MDP），其中的损失函数可以任意改变情节之间，和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界，其中$T$是情节的数量，$X$是状态空间，$A$是动作空间，$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的，它允许扩展原始的对抗MDP模型来处理凸性能标准（不同的方式来聚合单个事件的损失），以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Play to Grade: Testing Coding Games as Classifying Markov Decision Process
Stanford University（斯坦福大学）
当代的编程教育经常给学生提出开发具有用户交互和复杂动态系统的程序的任务，例如基于鼠标的游戏。虽然在教学上很有吸引力，但目前还没有提供反馈的自主方法。值得注意的是，交互式程序不可能通过传统的单元测试来评分。在本文中，我们正式提出的挑战，提供反馈的交互式程序作为一项任务的分类马尔可夫决策过程（MDP）。每个学生的程序完全指定了一个MDP，其中代理需要在合理的泛化下操作和决定，如果输入MDP的动态和奖励模型应该被分类为正确或损坏。我们证明，通过设计代理和自回归模型之间的合作目标，我们可以使用代理从输入MDP，允许分类器来确定成员的差分轨迹采样：发挥等级。我们的方法使一个自动反馈系统的交互式代码分配。我们发布了一个包含711，274名匿名学生提交的数据集，这些学生提交了一个带有手工编码错误标签的作业，以支持未来的研究。
2021-12-14 cs.AI cs.CY cs.LG
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Constrained Risk-Averse Markov Decision Processes
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
研究了具有动态一致风险目标和约束条件的马尔可夫决策过程的策略设计问题。我们首先在拉格朗日框架中阐述这个问题。在假设风险目标和约束可以用马尔可夫风险转移映射表示的前提下，提出了一种基于优化的方法来合成马尔可夫策略，使约束风险规避问题下界化.我们表明，制定的优化问题是在差分凸规划（DCP）的形式，并可以解决纪律凹凸规划（DCCP）框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。最后，我们说明了所提出的方法的有效性与数值实验的漫游车导航问题，涉及条件风险价值（CVaR）和熵风险价值（EVaR）的一致风险措施。
2021-03-28 cs.AI cs.RO cs.SY
Linear Programming for Large-Scale Markov Decision Problems
Queensland University of Technology（昆士兰科技大学）；UC Berkeley（加州大学伯克利分校）；QUT（昆士兰科技大学）
本文提出通过低维策略集与线性规划对大规模马尔可夫决策过程进行优化，通过随机凸优化和约束采样技术实现性能逼近，不依赖状态空间大小。
2014-02-27 cs.AI cs.NA math.NA
Multilinear and Linear Programs for Partially Identifiable Queries in Quasi-Markovian Structural Causal Models
Universidade de São Paulo（圣保罗大学）；IBM Research（IBM研究院）；Centaur Institute（Centaur研究院）；Instituto de Ciência e Tecnologia Itaú São Paulo（Itaú圣保罗科学技术研究所）
针对准马尔可夫无环结构因果模型中的部分可识别查询，提出利用内生变量概率简化多线性/线性规划构建的新算法，单次干预场景下用列生成法结合辅助线性整数规划算概率界，且实验验证其优于现有方法。
2025-09-02 cs.AI
Enumerating Markov Equivalence Classes of Acyclic Digraph Models
University of Washington（华盛顿大学）
由无环有向图（ADG）（也称为有向无环图（DAG））确定的图形马尔可夫模型在统计学、计算机科学（如贝叶斯网络）、运筹学（如影响图）和许多相关领域中被广泛研究。由于不同的ADG可以确定相同的马尔可夫等价类，它长期以来一直感兴趣的是，通过直接与ADG的马尔可夫等价类，而不是与ADG本身工作，以确定在模型规范和搜索中获得的效率。编写了一个计算机程序来枚举Pearl & Verma等效准则所指定的ADG模型的等效类。该程序计算了模型的等价类，最多包括10个顶点。类别数与平均日增重之比似乎接近约0.267的渐近线。根据边缘数和类大小分析类。通过边缘，类的数量的分布接近高斯形状。按班级规模计算，规模为1的班级最常见，规模较大的班级的比例最初会下降，但随后会出现更不规则的模式。任何无向图生成的类的最大数量被发现增加约factorially。该计划还包括一个新的变化有序算法生成无向图。
2013-01-10 cs.AI
Distributionally Robust Regularization of Sparse Integer Programming Trained Learning Models
IBM Research（IBM研究院）
针对规则集稀疏性与预测精度的权衡，本文提出基于分布鲁棒优化和列生成的稀疏规则集合集成学习方法，并通过理论与实验证明其在泛化、计算成本和可解释性上的优势。
2026-10-16 cs.AI cs.LG math.OC
MEC-IP: Efficient Discovery of Markov Equivalent Classes via Integer Programming
Arizona State University（亚利桑那州立大学）；University of Pittsburgh（匹兹堡大学）
提出MEC-IP整数规划方法，结合团聚焦策略与EMSG从观测数据中发现贝叶斯网络的马尔可夫等价类，在降低计算时间的同时提升多数据集上的因果发现准确率。
2024-10-22 cs.AI cs.LG stat.ML
Markov Chain methods for the bipartite Boolean quadratic programming problem
University of Essex（埃塞克斯大学）；University of Nottingham（诺丁汉大学）；Simon Fraser University（西蒙菲莎大学）
本文研究了二部布尔二次规划问题（BBQP），它是著名的布尔二次规划问题（BQP）的推广。BBQP的应用包括从二进制数据中挖掘离散模式，用秩一的二进制矩阵近似矩阵，计算矩阵的割范数，以及解决最大权biclique，bipartite最大权割，bipartite图的最大权导出子图等优化问题。对于BBQP，我们首先提出了几个算法组件，特别是爬山和突变，然后展示如何将它们结合在一个高性能的元启发式算法中。我们没有手动调整标准的元启发式算法来测试组件混合的效率，而是选择使用自动生成的多组件元启发式算法来节省人工时间，并提高组件分析和比较的客观性。为此，我们设计了一个新的元启发式模式，我们称之为条件马尔可夫链搜索（CMCS）。我们表明，CMCS是灵活的，足以模拟几个标准的元分析，这种灵活性是由多个数值参数控制，因此便于自动生成。我们研究了我们的方法所揭示的配置，并表明其中最好的优于以前的国家的最先进的BBQP算法的几个数量级。在我们的实验中，我们使用的基准实例介绍了本文的初步版本，并在这里描述，这已经成为事实标准的BBQP文献。
2016-10-24 cs.AI cs.DS
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University（斯坦福大学）
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试，但尚未开发出可靠的理论分析。在本文中，我们开发了一个新的统一框架，通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题，其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此，ReLU网络可以被解释为高维特征选择方法。更重要的是，我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时，网络的宽度是固定的。最后，我们通过涉及合成和真实数据集的实验，数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
Formal Verification of Markov Processes with Learned Parameters
University of Toronto（多伦多大学）
研究面向参数由机器学习模型给出的马尔可夫过程形式化验证，将多类模型下的性质验证转化为双线性规划，并用分解与界传播实现最高百倍加速。
2025-05-11 cs.AI cs.LG math.OC
A review of Gaussian Markov models for conditional independence
Universidad Politécnica de Madrid（马德里理工大学）
马尔可夫模型位于概率分布中的统计独立性和图分离属性之间的界面。我们回顾了高斯参数化的有向和无向马尔可夫模型的模型选择和估计，强调了主要的相似性和差异。这两个模型类相似但不等同，尽管它们共享一个公共交集。我们从历史的角度提出了现有的结果，考虑到现有的文献量从人工智能和统计研究社区，这些模型的起源。我们涵盖了经典的主题，如极大似然估计和模型选择通过假设检验，但也更现代的方法，如正则化和贝叶斯方法。我们还讨论了如何马尔可夫模型审查适合在丰富的层次结构的其他，更高层次的马尔可夫模型类。最后，我们关闭的文件概述放宽高斯假设，并指出这些马尔可夫模型现在使用的主要应用领域。
2019-10-02 cs.AI stat.ME stat.ML
