最大熵判别马尔可夫网络

在熵正则化马尔可夫决策过程和博弈中的规划

Planning in entropy-regularized Markov decision processes and games

本文提出SmoothCruiser算法，通过环境生成模型估计熵正则化马尔可夫决策过程和双人博弈的价值函数，实现问题无关的样本复杂度O~(1/epsilon^4)。

熵正则化马氏决策过程的统一观点

A unified view of entropy-regularized Markov decision processes

提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。

Shannon Entropy Rate of Hidden Markov Processes

Hidden Markov chains are widely applied statistical models of stochastic processes, from fundamental physics and chemistry to finance, health, and artificial intelligence. The hidden Markov processes they generate are notoriously complicated, however, even if the chain is finite state: no finite expression for their Shannon entropy rate exists, as the set of their predictive features is generically infinite. As such, to date one cannot make general statements about how random they are nor how structured. Here, we address the first part of this challenge by showing how to efficiently and accura…

通过熵流计算推导马尔可夫算法的泛化界限

Generalization Bounds for Markov Algorithms through Entropy Flow Computations

本文通过熵流方法推导出马尔可夫算法的泛化界限，扩展了其适用范围至所有由时间齐次马尔可夫过程支配的算法。

大状态空间马氏链的熵率估计

Entropy Rate Estimation for Markov Chains with Large State Space

基于数据的熵估计是分布性质检验和估计中的典型问题之一。为了估计具有独立样本的$S$元素上的分布的香农熵，[Paninski 2004]表明$S$中的样本复杂性是次线性的，[Valiant-Valiant 2011]表明当且仅当样本大小$n$远远超过$\frac{S}{\log S}$时，香农熵的一致估计是可能的。本文考虑了由$n$观测的样本路径估计具有$S$状态的平稳可逆马氏链的熵率的问题。我们证明：（1）只要马尔可夫链混合速度不太慢，即，弛豫时间至多为$O(\frac{S}{\ln^3 S})$，当$n \gg \frac{S^2}{\log S}$时可实现一致估计。(2)只要马尔可夫链有一些轻微的依赖性，即，弛豫时间至少为$1+Ω(\frac{\ln^2 S}{\sqrt{S}})$，当$n \lesssim \frac{S^2}{\log S}$时不可能进行一致的估计。在这两种假设下，最佳的估计精度是$Θ(\frac{S^2}{n \log S})$。相比之下，经验熵率要求至少$Ω(S^2)$样本是一致的，即使当马尔可夫链是无记忆的。除了合成实验之外，我们还应用实现最佳样本复杂度的估计器来估计Penn Treebank和Google One Billion Words语料库中英语语言的熵率，这为语言建模提供了一个自然的基准，并将其直接与广泛使用的困惑度度量相关联。

双亲混合最大熵马尔可夫模型

Mixture-of-Parents Maximum Entropy Markov Models

我们提出了混合的父母最大熵马尔可夫模型（MoP-MEMM），一类有向图模型扩展MEMM。MoP-MEMM允许通过将每个节点的条件分布限制为给定父节点的分布的混合物来容易地并入节点之间的长程依赖关系。我们展示了如何有效地计算精确的边缘后验节点分布，而不管依赖关系的范围。这使我们能够对文本文档内以及互连文档（如超链接网页）之间的非顺序相关性进行建模。我们将MoP-MEMM应用于命名实体识别任务和网页分类任务。在每一个，我们的模型表现出显着的改善，基本的MEMM，是竞争力与其他长距离序列模型，使用近似推理。

基于因果稀疏Tsallis熵正则化的稀疏Markov决策过程强化学习

Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning

本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。