最小描述长度原理的教程介绍

马尔可夫随机场的最小条件描述长度估计

Minimum Conditional Description Length Estimation for Markov Random Fields

在本文中，我们讨论了一种方法，我们称之为最小条件描述长度（MCDL），用于估计马尔可夫随机场内的一个子集的网站的参数。我们假设整个图$G=(V,E)$的边是已知的。然后，对于一个子集$U\subset V$，我们估计参数的节点和边缘在$U$以及边缘事件的节点在$U$，通过找到该子集的指数参数，产生最佳的压缩条件的边界上的值$\partial U$。我们的估计是从集合$U$上的一个时间平稳的观测序列导出的。我们讨论如何也可以应用这种方法来估计一个空间不变的参数从一个单一的配置，并在这样做，得出最大伪李克图（MPL）估计。

Causal Discovery in Hawkes Processes by Minimum Description Length

Hawkes processes are a special class of temporal point processes which exhibit a natural notion of causality, as occurrence of events in the past may increase the probability of events in the future. Discovery of the underlying influence network among the dimensions of multi-dimensional temporal processes is of high importance in disciplines where a high-frequency data is to model, e.g. in financial data or in seismological data. This paper approaches the problem of learning Granger-causal network in multi-dimensional Hawkes processes. We formulate this problem as a model selection task in whi…

重访过参数化模型中的最小描述长度复杂度

Revisiting minimum description length complexity in overparameterized models

本文提出一种新的基于最小描述长度原则的复杂度度量MDL-COMP，适用于过参数化模型，理论分析表明其与参数数量、奇异值和信噪比相关，并可用于指导岭回归的超参数调整，优于交叉验证且节省计算成本。