arXiv 1801.037052018-01-11math.STstat.TH

用傅里叶分析精确计算归一化最大似然码长

Exact Calculation of Normalized Maximum Likelihood Code Length Using Fourier Analysis

Atsushi Suzuki, Kenji Yamanishi

摘要：

规范化最大似然码长在模型选择中得到了广泛的应用，其良好的性质，如其一致性和其统计风险的上界已经得到了论证。提出了一种基于傅里叶分析的归一化最大似然码长计算方法。我们的方法提供了一个有效的指数族模型的非渐近计算公式和一般参数模型的渐近计算公式，与以前的工作相比，具有较弱的假设。

英文摘要：

The normalized maximum likelihood code length has been widely used in model selection, and its favorable properties, such as its consistency and the upper bound of its statistical risk, have been demonstrated. This paper proposes a novel methodology for calculating the normalized maximum likelihood code length on the basis of Fourier analysis. Our methodology provides an efficient non-asymptotic calculation formula for exponential family models and an asymptotic calculation formula for general parametric models with a weaker assumption compared to that in previous work.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

标准化似然准则在随机块模型中的模型选择

Normalized Likelihood Criteria for Model Selection in the Stochastic Block Model

Departament of Statistics, Federal University of São Carlos（圣卡洛斯联邦大学统计系）

本文研究了基于标准化似然准则的惩罚估计器，提出DNML方法在稀疏网络中具有强一致性，且在不平衡网络中表现优异。

2026-04-11math.STstat.TH

部分可观测马尔可夫链的渐近归一化对数似然极大集

The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains

本文研究一类参数化的部分可观测二元马尔可夫链。我们建立了，在非常温和的假设下，当参数属于真实参数的等价类时，归一化对数似然函数的极限最大化，这是在指定的模型中获得最大似然估计（MLE）的一致性的一个关键特征。这个结果是在部分支配模型的一般框架下得到的。我们研究两个具体的情况下，即隐马尔可夫模型（HHALF）和观测驱动的时间序列模型。与以前的方法相比，可识别性是通过依赖于与完整数据相关联的马尔可夫链的不变分布的唯一性来解决的，而不管其收敛到平衡的收敛速率如何。

2015-09-30math.STstat.TH

条件归一化极大似然分布与潜信息先验的关系

Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors

我们揭示了条件归一化最大似然（CNML）分布和贝叶斯预测密度的基础上的潜在信息先验（LIPs）之间的关系。特别地，CNML 3，这是一种类型的CNML分布，进行了研究。预测密度的贝叶斯投影，这是一个信息投影的预测密度的贝叶斯预测密度的集合，被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影（BPCNML 3）与基于LIP的贝叶斯预测密度渐近相同。此外，在一些更强的假设下，我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。

2014-12-25math.STstat.TH

多元正态分布具有幸运性的归一化极大似然估计

Normalized Maximum Likelihood with Luckiness for Multivariate Normal Distributions

归一化最大似然分布是编码理论和统计学中最重要的分布之一。NML是逐点极小极大后悔问题的唯一解（如果存在）。然而，NML甚至没有定义为简单的分布族，如正态分布。由于不存在有意义的极小极大遗憾分布，本文指出，具有幸运的NML（LNML）可以作为NML的替代。在本文中，我们推导了多元正态分布的LNML的封闭形式。

2017-09-01cs.ITmath.ITmath.ST

关于自归一化大偏差的似然比的渐近性

On the asymptotic of likelihood ratios for self-normalized large deviations

受多重统计假设检验的启发，我们得到了自归一化随机变量的大偏差的似然比的极限，具体地说，是$P(\sqrt{n}(\bar X +d/n) \ge x_n V)$与$P(\sqrt{n}\bar X \ge x_n V)$的比值，即$n\toi$，其中$\bar X$和$V$分别是iid $X_1, ..., X_n$的样本均值和标准差，$d>0$是常数，$x_n \toi$。我们证明了极限可以有一个简单的形式$e^{d/z_0}$，其中$z_0$是$z f(x)$的唯一极大化，$f$是$X_i$的密度。当真实信号与噪声信号仅相差一个小的偏移时，将结果应用于推导每次测试的最小样本量，以将多次测试的错误率控制在目标水平。

2008-01-30math.PRmath.STstat.TH

具有可变跳长的Poissonian变点模型

On a Poissonian Change-Point Model with Variable Jump Size

本文考虑了强度函数中存在跳变（变点）的泊松观测模型。两个案例进行了研究。第一个对应于跳跃大小收敛到非零极限的情况，而在第二个中，极限为零。这两种情况下的极限似然比是完全不同的。在第一种情况下，与固定跳跃大小的情况类似，归一化似然比收敛于对数泊松过程。在第二种情况下，归一化似然比收敛到对数Wiener过程，因此，参数估计和假设检验的统计问题在这种情况下渐近等价于公知的高斯白噪声中的信号模型的变点估计和检验问题。从归一化似然比的收敛性出发，导出了极大似然估计和贝叶斯估计的性质，以及广义似然比、Wald检验和贝叶斯检验的性质。还建立了估计量的矩的收敛性。通过数值模拟说明了所得到的理论结果。

2015-02-24math.STstat.TH

更多相关论文收起更多论文

连续概率模型的归一化最大似然计算基础

Foundation of Calculating Normalized Maximum Likelihood for Continuous Probability Models

该研究解决了连续概率模型下基于最大似然估计量分布积分计算归一化最大似然码长的方法正确性证明问题，借助几何测度论余面积公式提出新分解方法完成证明，完善了NML模型选择准则的理论基础。

2024-09-12cs.ITmath.ITmath.ST

具有可加分数阶布朗运动的随机抛物型方程最大似然估计的渐近性质

Asymptotic Properties of the Maximum Likelihood Estimator for Stochastic Parabolic Equations with Additive Fractional Brownian Motion

考虑了一类可对角化的随机发展方程的参数估计问题，利用解的有限个傅里叶系数估计方程的参数。该方程由空间上为白色、时间上为分数的加性噪声驱动，Hurst参数为$H\geq 1/2$。目的是研究极大似然估计随傅里叶系数增加的渐近性质。利用方程中算子的本征值给出了相容性和渐近正态性的一个充要条件。

2008-04-02math.PRmath.STstat.TH

时间非齐次扩散过程极大似然估计的渐近性态

Asymptotic behavior of maximum likelihood estimator for time inhomogeneous diffusion processes

本文研究了一类时间非齐次扩散过程的极大似然估计的渐近性态，其中$dX_t=αb(t)X_t dt + σ(t) dB_t$，$t\in[0,T)$，带参数$α\in R$，其中$T\in(0,\infty]$和$(B_t)_{t\in[0,T)}$是标准Wiener过程.给出了$α$的极大似然估计收敛于Dickey-Fuller统计量极限分布的充分条件.接下来，我们研究了一个具有扰动漂移的随机$dY_t=αb(t)a(Y_t) dt + σ(t) dB_t$，$t\in[0,T)$，它满足$a(x)=x+O(1+|x|^γ)$和一些$γ\in[0,1)$。再次给出了$α$的极大似然估计收敛于Dickey-Fuller统计量的极限分布的充分条件.

2008-10-15math.PRmath.STstat.TH

正则非光滑模型的归一化最大似然：测度理论基础与几何采样

The Normalized Maximum Likelihood for Regular Non-Smooth Models: Measure-Theoretic Foundations and Geometric Sampling

Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）

针对现代机器学习中非光滑估计器（如Lasso、稀疏SVM）的归一化最大似然（NML）编码长度计算问题，本文利用几何测度论和保守雅可比矩阵建立严格框架，并提出一种几何MCMC采样器（PDL-PPMH）以精确计算非光滑模型的随机复杂度。

2026-10-01cs.ITcs.LGmath.IT

最大似然估计的次高斯集中与熵正态性

Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator

Carnegie Mellon University（卡内基梅隆大学）；Qualcomm Flarion Technology, Inc.（高通弗拉里昂技术有限公司）

本文在标准正则条件下，通过建立归一化最大似然估计的次高斯尾界、所有矩收敛以及熵中心极限定理，强化了经典渐近正态性结果。

2026-09-01cs.ITmath.ITmath.ST

在傅立叶域中定义的空间统计的统计推断

Statistical inference for spatial statistics defined in the Fourier domain

介绍了一类基于Fourier的不规则空间数据的统计量，包括Whittle似然估计、基于$L_{2}$ -对比度函数的协方差函数的参数估计和非负空间自协方差函数的简单非参数估计.基于傅立叶的统计是空间数据的离散傅立叶型变换的二次型。统计量的评价在计算上是易处理的，需要$O(nb^{})$操作，其中$b$是统计量定义中使用的傅立叶频率数，$n$是样本量。使用增加域和固定域空间渐近性的统计量的渐近抽样性质。这些结果被用来构建一个统计量，这是渐近关键。

2016-11-01math.STstat.TH

平稳行列式点过程似然的渐近逼近

Asymptotic approximation of the likelihood of stationary determinantal point processes

连续行列式点过程是$\mathbb{R}^d$上的一类排斥点过程，具有许多统计应用。虽然它们的密度的显式表达式是已知的，但它太复杂，不能直接用于极大似然估计。在平稳的情况下，使用傅里叶级数的近似已被建议，但它仅限于矩形的观察窗口，并没有理论结果支持it.In这篇文章中，我们调查了一种不同的方式来近似的可能性，通过观察其渐近行为时，观察窗口的增长对$\mathbb{R}^d$。这种新的近似不限于矩形窗口，比以前的计算速度更快，不需要任何调整参数，并提供了一些理论依据。此外，它提供了一个明确的公式，估计相关的估计量的渐近方差。性能评估标准参数模型的模拟研究$\mathbb{R}^d$和比较有利的连续DPP的常见替代估计方法。

2022-01-21math.STstat.TH

正态均值的广义极大似然经验Bayes估计

General maximum likelihood empirical Bayes estimation of normal means

本文提出了一种基于独立同分布观测值的均值向量估计的广义极大似然经验贝叶斯（GMLEB）方法。正常错误。我们证明了在温和的矩条件下的未知手段，平均均方误差（MSE）的GMLEB是在一个无穷小的分数的最小平均MSE之间的所有可分离的估计，使用一个单一的确定性估计函数对个人的意见，提供的风险是更大的顺序比$(\log n)^5/n$。我们还证明了当未知均值的长度归一化范数的阶介于$(\log n)^{κ_1}/n^{1/(p\wedge2)}$和$n/(\log n)^{κ_2}$之间时，GMLEB在正则和弱$\ell_p$球中是一致近似极小极大的。仿真实验表明，GMLEB在广泛的设置下优于James-Stein和几种最先进的阈值估计器，并且没有太大的缺点。

2009-08-12math.STstat.TH

离散采样随机偏微分方程的漂移估计

Drift Estimation for Discretely Sampled SPDEs

研究了加性时空噪声驱动下分数阶随机热方程漂移系数的极大似然估计的渐近性质。考虑了谱域测量时随机偏微分方程的传统统计实验，与现有文献相比，研究了Fourier模数和时间均趋于无穷大时的极大似然（型）估计的渐近性质.在本文的第一部分中，我们考虑了通常的设置连续时间观测的傅里叶系数的解决方案，并证明了最大似然估计是一致的，渐近正常的和最佳的均方意义。在本文的第二部分中，我们研究的自然时间离散化的MLE，通过假设的第一个N傅立叶模式测量M时间网格点，均匀分布在时间间隔[0，T]。当N趋于无穷大和/或T，M趋于无穷大时，我们对所提出的估计量进行了严格的渐近分析.我们建立了N，M和T的增长率的充分条件，保证了这些估计的相合性和渐近正态性。

2019-04-24math.PRmath.STstat.TH