The Method of Normalized Correlations - A Fast Alternative to Maximum Likelihood Estimation for Random Processes and Isotropic Random Fields with Short-Range Dependence
Milan Zukovic, Dionissios T. Hristopulos
由于所提交期刊的版权政策，本文已被作者撤回。
This paper has been withdrawn by the authors, due the copyright policy of the journal it has been submited to.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains
本文研究一类参数化的部分可观测二元马尔可夫链。我们建立了，在非常温和的假设下，当参数属于真实参数的等价类时，归一化对数似然函数的极限最大化，这是在指定的模型中获得最大似然估计（MLE）的一致性的一个关键特征。这个结果是在部分支配模型的一般框架下得到的。我们研究两个具体的情况下，即隐马尔可夫模型（HHALF）和观测驱动的时间序列模型。与以前的方法相比，可识别性是通过依赖于与完整数据相关联的马尔可夫链的不变分布的唯一性来解决的，而不管其收敛到平衡的收敛速率如何。
Maximum-likelihood estimation of the Matérn covariance structure of isotropic spatial random fields on finite, sampled grids
本文提出了一种高效的方法，用于在有限采样网格上通过最大似然估计各向同性空间随机场的Matérn协方差结构，并提供了模型检验和实际应用示例。
On the asymptotic of likelihood ratios for self-normalized large deviations
受多重统计假设检验的启发，我们得到了自归一化随机变量的大偏差的似然比的极限，具体地说，是$P(\sqrt{n}(\bar X +d/n) \ge x_n V)$与$P(\sqrt{n}\bar X \ge x_n V)$的比值，即$n\toi$，其中$\bar X$和$V$分别是iid $X_1, ..., X_n$的样本均值和标准差，$d>0$是常数，$x_n \toi$。我们证明了极限可以有一个简单的形式$e^{d/z_0}$，其中$z_0$是$z f(x)$的唯一极大化，$f$是$X_i$的密度。当真实信号与噪声信号仅相差一个小的偏移时，将结果应用于推导每次测试的最小样本量，以将多次测试的错误率控制在目标水平。
Foundation of Calculating Normalized Maximum Likelihood for Continuous Probability Models
该研究解决了连续概率模型下基于最大似然估计量分布积分计算归一化最大似然码长的方法正确性证明问题，借助几何测度论余面积公式提出新分解方法完成证明，完善了NML模型选择准则的理论基础。
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
在本文中，我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图（SG）。从概率论的角度出发，在假设词之间存在真实的上下文分布的前提下，SG被认为是一种隐含的概率分布估计。因此，我们应用信息准则，目的是选择最佳的维数，使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题：赤池信息标准，贝叶斯信息标准，序列归一化最大似然（SNML）标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型，以阐明使用信息准则的思想。此外，由于原始SNML存在计算上的缺点，我们引入了新的算法来提高计算效率。此外，我们的经验表明，SNML优于BIC和AIC。与其他词嵌入评价方法相比，SNML选择的维度更接近于词类比或词相似性任务的最优维度。
The Normalized Maximum Likelihood for Regular Non-Smooth Models: Measure-Theoretic Foundations and Geometric Sampling
针对现代机器学习中非光滑估计器（如Lasso、稀疏SVM）的归一化最大似然（NML）编码长度计算问题，本文利用几何测度论和保守雅可比矩阵建立严格框架，并提出一种几何MCMC采样器（PDL-PPMH）以精确计算非光滑模型的随机复杂度。
Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator
本文在标准正则条件下，通过建立归一化最大似然估计的次高斯尾界、所有矩收敛以及熵中心极限定理，强化了经典渐近正态性结果。
An Approximate Restricted Likelihood Ratio Test for Variance Components in Generalized Linear Mixed Models
广义线性混合模型（GLSII）用于对具有固定效应和随机效应组合的指数家族的响应进行建模。对于广义似然估计中的方差分量，我们提出了一种近似的限制性似然比检验，对惩罚拟似然估计中的工作响应进行检验.这提供了标准化响应方面的假设检验，允许将现有检验方法应用于线性混合模型。我们的测试是灵活的，计算效率高，并优于几个竞争对手。我们说明了所提出的方法与广泛的模拟研究和两个数据应用程序的实用性。提供了一个R包。
Sequential Probability Assignment with Contexts: Minimax Regret, Contextual Shtarkov Sums, and Contextual Normalized Maximum Likelihood
该研究针对任意假设类的序列概率赋值问题，提出上下文Shtarkov和这一新复杂度度量，证明其与极小极大遗憾等价，推导了极小极大最优的cNML策略，并统一改进了现有基于序列ℓ∞熵的遗憾上界。
Asymptotic behavior of maximum likelihood estimator for time inhomogeneous diffusion processes
本文研究了一类时间非齐次扩散过程的极大似然估计的渐近性态，其中$dX_t=αb(t)X_t dt + σ(t) dB_t$，$t\in[0,T)$，带参数$α\in R$，其中$T\in(0,\infty]$和$(B_t)_{t\in[0,T)}$是标准Wiener过程.给出了$α$的极大似然估计收敛于Dickey-Fuller统计量极限分布的充分条件.接下来，我们研究了一个具有扰动漂移的随机$dY_t=αb(t)a(Y_t) dt + σ(t) dB_t$，$t\in[0,T)$，它满足$a(x)=x+O(1+|x|^γ)$和一些$γ\in[0,1)$。再次给出了$α$的极大似然估计收敛于Dickey-Fuller统计量的极限分布的充分条件.
Information criteria for non-normalized models
许多统计模型是以非归一化密度的形式给出的，并且具有难以处理的归一化常数。由于这些模型的极大似然估计是计算密集型的，因此已经开发了几种不需要显式计算归一化常数的估计方法，例如噪声对比估计（NCE）和得分匹配。然而，一般的非规范化模型的模型选择方法还没有被提出。在这项研究中，我们开发的非归一化模型估计NCE或得分匹配的信息标准。它们是非正态化模型的偏差测度的近似无偏估计。仿真结果和实际数据的应用表明，所提出的标准，使选择适当的非归一化模型的数据驱动的方式。
Nonparametric Estimation of Isotropic Covariance Function
本文基于伯恩斯坦多项式序列构建非参数模型，用于近似任意各向同性协方差函数，并开发了高效筛分ML估计法，通过数值实验展示其在减少模型误设偏差及降低L∞和L2范数方面优于传统方法。
Asymptotic analysis of maximum likelihood estimation of covariance parameters for Gaussian processes: an introduction with proofs
本文介绍了高斯过程协方差参数估计的渐近分析。考虑了极大似然估计。这一介绍的目的是要获得广大观众，并提出一些现有的结果和证明技术的文献。增加域和固定域的渐近设置。在增域渐近性下，证明了协方差参数的所有分量一般都能一致地用极大似然估计，且渐近正态性成立。相比之下，在固定域渐近下，只有构成微遍历参数的协方差参数的某些分量可以一致地估计。在固定域渐近下，考虑了各向同性Matérn协方差函数族的特殊情况.结果表明，只有方差和空间尺度参数的组合是微遍历的。给出了极大似然估计的相合性和渐近正态性证明。
Estimating a difference between Kullback-Leibler risks by a normalized difference of AIC
AIC通常用于模型选择，但AIC的精确值没有直接的解释。我们感兴趣的是量化两种模型之间的风险差异。这对于解释性观点或预测都可能是有用的，其中如果简单的模型与更复杂的模型几乎一样好，则可以优选更简单的模型。风险的差异可以通过将风险与概率计算中的相对误差联系起来并查看简单模型获得的值来解释。提出了一个从可忽略不计到大的价值尺度。我们提出了一个标准化的差异Akaike标准估计的差异预期Kullback-Leibler风险之间的极大似然估计的分布在两个不同的模型。可以估计该统计量的可变性。因此，可以构建一个区间，该区间包含具有预定概率的预期Kullback-Leibler风险的真实差异。仿真研究表明，该方法的作品，它是说明了两个例子。第一个是关于老年人体重指数和抑郁症之间关系的研究。第二个是HIV动力学模型之间的选择，其中一个模型区分活化的CD 4 + T淋巴细胞，另一个没有。
Finite Mixture Modeling with Riemannian Gaussian Distributions on Hyperbolic Space
本文提出在双曲空间上使用各向同性黎曼高斯分布进行有限混合建模，推导密度、径向归一化常数及涉及互补误差函数的有限和表示，并提出加权最大似然估计方法，推导了EM和广义EM算法，通过模拟和实际网络数据展示其有效性。
Learning from Complex Systems: On the Roles of Entropy and Fisher Information in Pairwise Isotropic Gaussian Markov Random Fields
马尔可夫随机场模型是研究复杂系统的有力工具。然而，人们对这些系统的元素之间的相互作用是如何编码的知之甚少，特别是从信息论的角度来看。本文的目标是揭示Fisher信息、Shannon熵、信息几何与各向同性成对高斯马尔可夫随机场模型的复杂系统行为之间的联系。我们提出了使用Besag的伪似然函数来计算这些度量的局部和全局版本的解析表达式，通过其\emph{Fisher curve}（跨信息空间的参数轨迹，为复杂系统的研究提供几何表示）来表征系统的行为。计算实验表明，所提出的工具可以是有用的提取相关信息，从复杂的模式。得到的结果量化和支持我们的主要结论，这是：在信息方面，向高熵状态（A --> B）移动是不同的向低熵状态（B --> A）移动，因为\emph{Fisher curves}是不相同的给定的自然方向（时间的方向）。
Extension of Likelihood Ratio Analysis Method to Skorokhod $M_1$ Topology (with Application to Poissonian Smooth Change-Point Model)
将似然比分析方法推广至Skorokhod $M_1$拓扑，处理极限似然比过程不连续的模型，并应用于快速机制下的泊松平滑变点模型，证明极大似然估计量具有与纯变点模型相同的渐近行为。
Wilks' theorems in the $β$-model
似然比检验和威尔克斯定理在统计学中一直很重要，但在维数不断增加的网络模型中却很少被探索。我们在这里关注的是无向图的$β$模型中的似然比检验。对于包含$i=1,\ldots, r$的指定零$H_0: β_i=β_i^0$和齐次零$H_0: β_1=\cdots=β_r$的两个增长维零假设，我们揭示了高维Wilks现象，即当$r$趋于无穷大时，归一化对数似然比统计量$[2\{\ell(\widehat{\boldsymbolβ}) - \ell(\widehat{\boldsymbolβ}^0)\} - r]/(2r)^{1/2}$在分布上收敛于标准正态分布.这里，$\ell( \boldsymbolβ)$是向量参数$\boldsymbolβ=(β_1, \ldots, β_n)^\top$上的对数似然函数，$\widehat{\boldsymbolβ}$是其在全参数空间下的最大似然估计（MLE），而$\widehat{\boldsymbolβ}^0$是零参数空间下的受限MLE.对于相应的固定维零$H_0: β_i=β_i^0$的$i=1,\ldots, r$和齐次零$H_0: β_1=\cdots=β_r$与一个固定的$r$，我们建立Wilks型的结果，$2\{\ell(\widehat{\boldsymbolβ}) - \ell(\widehat{\boldsymbolβ}^0)\…
Testing degree heterogeneity in directed networks
本文提出在有向网络中检验度异质性的方法，通过建立Wilks型结果，扩展了现有工作，利用高阶渐近展开和新近似逆矩阵进行理论分析。
High-Frequency Tail Index Estimation by Nearly Tight Frames
本文研究了高斯和各向同性球面随机场谱参数的近似极大似然估计在高频极限下的渐近性质（弱一致性和高斯性）。我们使用的程序利用了Geller和Mayeli在[Geller，Mayeli（2009）]中的所谓的墨西哥针构造。此外，我们提出了一个插件程序来优化精度的估计渐近方差。
Needlet-Whittle Estimates on the Unit Sphere
本文研究了高斯和各向同性球面随机场谱参数的Needlets近似极大似然估计的渐近性质。我们证明了在高频极限下的一致性和渐近高斯性，从而推广了Durastanti等人（2011）基于球面上标准傅里叶分析的早期结果。渐近结果，然后说明了广泛的Monte Carlo研究。
Normalized least-squares estimation in time-varying ARCH models
研究了时变扰动过程。结果表明，该模型可以描述金融时间序列中常见的收益率平方样本自相关的慢衰减现象，这为进一步研究该模型的参数估计方法提供了依据。由于参数随时间变化，因此成功的估计器需要在小样本情况下表现良好。我们提出了一个核归一化最小二乘（Kernel-NLS）估计，它具有一个封闭的形式，从而优于以前提出的核准最大似然（Kernel-QML）估计小样本。核-NLS估计器简单，在温和的矩假设下工作，并且避免了核-QML估计器施加的一些参数空间限制。理论证据表明，核NLS估计具有相同的收敛速率的核QML估计。由于核-NLS估计的计算容易，可以使用计算密集的程序。提出了一种基于预测的交叉验证方法来选择核NLS估计器的带宽。此外，我们使用基于残差的自举方案来引导tvcash过程。Bootstrap样本用于获得核-NLS估计量的逐点置信区间。它表明，使用自助和“真”的tvestimator估计的分布渐近重合。我们说明了我们的估计方法对各种货币汇率和股票指数的数据，我们得到了良好的拟合数据和准确的预测。
EM Estimation of the B-Spline Copula with Penalized Pseudo-Likelihood Functions
本研究针对B样条copula函数，提出带SCAD惩罚的改进EM算法以最大化惩罚伪似然，模拟验证了稀疏场景下估计的均方误差更小，还通过237国出生率死亡率数据完成了模型参数估计。
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题，因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗（MCMC）方法，产生贝叶斯推断的ERGM，如交换算法，是渐近精确的，但计算密集，因为网络必须从每一步的可能性，例如，使用“领带不领带”采样器。在这篇文章中，我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍，我们提出了随机梯度上升，使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络，并通过MCMC和拉普拉斯近似得到的结果比较其精度。
Simulation-based Inference with the Generalized Kullback-Leibler Divergence
针对基于模拟的推断中传统神经后验估计难以拟合未归一化代理的问题，提出优化广义Kullback-Leibler散度的方法，统一神经后验与比率估计，并验证了兼具二者优势的混合模型的效果。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。