Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo（东京大学）
在本文中，我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图（SG）。从概率论的角度出发，在假设词之间存在真实的上下文分布的前提下，SG被认为是一种隐含的概率分布估计。因此，我们应用信息准则，目的是选择最佳的维数，使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题：赤池信息标准，贝叶斯信息标准，序列归一化最大似然（SNML）标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型，以阐明使用信息准则的思想。此外，由于原始SNML存在计算上的缺点，我们引入了新的算法来提高计算效率。此外，我们的经验表明，SNML优于BIC和AIC。与其他词嵌入评价方法相比，SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Asymptotic behavior of maximum likelihood estimator for time inhomogeneous diffusion processes
本文研究了一类时间非齐次扩散过程的极大似然估计的渐近性态，其中$dX_t=αb(t)X_t dt + σ(t) dB_t$，$t\in[0,T)$，带参数$α\in R$，其中$T\in(0,\infty]$和$(B_t)_{t\in[0,T)}$是标准Wiener过程.给出了$α$的极大似然估计收敛于Dickey-Fuller统计量极限分布的充分条件.接下来，我们研究了一个具有扰动漂移的随机$dY_t=αb(t)a(Y_t) dt + σ(t) dB_t$，$t\in[0,T)$，它满足$a(x)=x+O(1+|x|^γ)$和一些$γ\in[0,1)$。再次给出了$α$的极大似然估计收敛于Dickey-Fuller统计量的极限分布的充分条件.
2008-10-15 math.PR math.ST stat.TH
Information criteria for non-normalized models
RIKEN Center for Brain Science（理化学研究所脑科学中心）；Cornell University（康奈尔大学）；University of Helsinki（赫尔辛基大学）
许多统计模型是以非归一化密度的形式给出的，并且具有难以处理的归一化常数。由于这些模型的极大似然估计是计算密集型的，因此已经开发了几种不需要显式计算归一化常数的估计方法，例如噪声对比估计（NCE）和得分匹配。然而，一般的非规范化模型的模型选择方法还没有被提出。在这项研究中，我们开发的非归一化模型估计NCE或得分匹配的信息标准。它们是非正态化模型的偏差测度的近似无偏估计。仿真结果和实际数据的应用表明，所提出的标准，使选择适当的非归一化模型的数据驱动的方式。
2021-07-27 cs.LG math.ST stat.ML
Sequential Probability Assignment with Contexts: Minimax Regret, Contextual Shtarkov Sums, and Contextual Normalized Maximum Likelihood
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Ben-Gurion University（本-古里安大学）
该研究针对任意假设类的序列概率赋值问题，提出上下文Shtarkov和这一新复杂度度量，证明其与极小极大遗憾等价，推导了极小极大最优的cNML策略，并统一改进了现有基于序列ℓ∞熵的遗憾上界。
2024-10-04 cs.LG stat.ML
Quasi Maximum-Likelihood Estimation of Dynamic Panel Data Models
建立了动态面板数据模型水平估计和差分拟极大似然估计的几乎必然收敛和渐近正态性。的QML估计是强大的初始条件，条件和时间序列异方差，以及误指定的对数似然。本文还提供了一个ECME算法计算水平QML估计。最后，利用蒙特卡罗实验比较了水平和差分QML估计、差分GMM估计和系统GMM估计的有限样本性能。在这些实验中，QML估计通常有较小的-通常是小得多-偏差和均方根误差比面板数据GMM估计。
2017-02-02 math.ST stat.TH
LikelihoodGeometry: Macaulay2 Package
本文介绍了用于 Macaulay2 的 LikelihoodGeometry 软件包，它提供构建离散代数统计模型似然对应关系、组合模型及计算 ML-degree 的工具，将数据与极大似然估计联系起来。
2024-11-17 math.AC stat.CO
Normalized Maximum Likelihood with Luckiness for Multivariate Normal Distributions
归一化最大似然分布是编码理论和统计学中最重要的分布之一。NML是逐点极小极大后悔问题的唯一解（如果存在）。然而，NML甚至没有定义为简单的分布族，如正态分布。由于不存在有意义的极小极大遗憾分布，本文指出，具有幸运的NML（LNML）可以作为NML的替代。在本文中，我们推导了多元正态分布的LNML的封闭形式。
2017-09-01 cs.IT math.IT math.ST
Maximum likelihood estimation in Gaussian models under total positivity
研究了多元二阶全正高斯分布的极大似然估计问题。通过利用连接到遗传学和单连锁聚类，我们给出了一个简单的证明，这种分布的极大似然估计（MLE）存在的基础上，至少有2个观察，无论潜在的尺寸。Slawski和Hein首先证明了这一结果，他们还提供了经验证据，表明MTP 2约束作为一个隐式正则化子，并导致估计的逆协方差阵的稀疏性，决定了我们将ML图命名为什么。我们表明，我们可以找到一个上限的ML图添加边缘对应的相关性超过那些解释的相关矩阵的最大权重生成森林。此外，我们提供了全局收敛的坐标下降算法计算的MLE下的MTP2约束，其结构类似于迭代比例缩放。最后，我们讨论了有符号的MTP2分布。
2018-05-26 math.ST stat.ME stat.TH
Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests
Texas Tech University（德克萨斯理工大学）；University of Nebraska - Lincoln（内布拉斯加大学林肯分校）
针对保形预测难以给出样本自适应异方差区间的问题，本文用深度回归森林方差逐样本量化不确定性，提升了药物响应预测中归一化归纳保形预测的效率与覆盖率。
2024-02-21 cs.AI cs.LG stat.ML
An Approximate Restricted Likelihood Ratio Test for Variance Components in Generalized Linear Mixed Models
广义线性混合模型（GLSII）用于对具有固定效应和随机效应组合的指数家族的响应进行建模。对于广义似然估计中的方差分量，我们提出了一种近似的限制性似然比检验，对惩罚拟似然估计中的工作响应进行检验.这提供了标准化响应方面的假设检验，允许将现有检验方法应用于线性混合模型。我们的测试是灵活的，计算效率高，并优于几个竞争对手。我们说明了所提出的方法与广泛的模拟研究和两个数据应用程序的实用性。提供了一个R包。
2019-06-07 stat.ME
Exact Calculation of Normalized Maximum Likelihood Code Length Using Fourier Analysis
规范化最大似然码长在模型选择中得到了广泛的应用，其良好的性质，如其一致性和其统计风险的上界已经得到了论证。提出了一种基于傅里叶分析的归一化最大似然码长计算方法。我们的方法提供了一个有效的指数族模型的非渐近计算公式和一般参数模型的渐近计算公式，与以前的工作相比，具有较弱的假设。
2018-01-11 math.ST stat.TH
Normalized Likelihood Criteria for Model Selection in the Stochastic Block Model
Departament of Statistics, Federal University of São Carlos（圣卡洛斯联邦大学统计系）
本文研究了基于标准化似然准则的惩罚估计器，提出DNML方法在稀疏网络中具有强一致性，且在不平衡网络中表现优异。
2026-04-11 math.ST stat.TH
Maximum likelihood estimation of the Fisher-Bingham distribution via efficient calculation of its normalizing constant
本文提出了一个计算Fisher-Bingham分布归一化常数的有效数值积分公式。该公式使用数值积分公式，连续欧拉变换为归一化常数的傅立叶型积分表示。由于该方法快速、准确，可用于高维Fisher-Bingham分布归一化常数的计算。更准确地说，误差随着积分点的增加呈指数衰减，并且计算成本随着维度线性增加。此外，该公式还可用于计算归一化常数的梯度和Hessian矩阵。因此，我们应用这个公式来有效地计算高维数据的极大似然估计（MLE）。最后，我们将MLE应用于超球面变分自动编码器（S-VAE），这是一种基于深度学习的生成模型，将潜在空间限制在单位超球面上。我们使用手写数字图像训练的S-VAE来估计每个标签的分布。此应用程序对于向模型添加新标签非常有用。
2020-04-30 stat.CO stat.ML
Holonomic Gradient Descent for the Fisher-Bingham Distribution on the $d$-dimensional Sphere
我们提出了一个加速版本的完整梯度下降，并将其应用于计算的最大似然估计（MLE）的Fisher-Bingham分布的$d$维球。我们推导出一个Pfweian系统（可积连接）和一个与归一化常数相关的级数展开式，并给出了误差估计。这些使我们能够解决一些MLE问题的尺寸$d=7$与指定的精度。
2013-06-22 math.ST stat.TH
Testing degree heterogeneity in directed networks
Shangqiu Normal University（商丘师范学院）；Zhaoqing University（肇庆大学）；Central China Normal University（华中师范大学）
本文提出在有向网络中检验度异质性的方法，通过建立Wilks型结果，扩展了现有工作，利用高阶渐近展开和新近似逆矩阵进行理论分析。
2025-12-24 math.ST stat.TH
Maximum likelihood estimation for social network dynamics
本文讨论了一种网络面板数据模型，该模型假设观测数据是给定节点集上所有有向图空间上连续时间马尔可夫过程的离散观测，其中变量的变化与当前图无关。领带变化的模型是参数化的，设计用于社交网络分析的应用，其中网络动态可以被解释为由图的节点所表示的社会参与者所做的选择所生成。基于数据增广和随机逼近，提出了一种计算极大似然估计的算法。一个不断发展的友谊网络的应用程序，并提出了一个小的模拟研究表明，对于小数据集的极大似然估计是更有效的比早先提出的矩估计方法。
2010-11-08 stat.AP
Extension of Likelihood Ratio Analysis Method to Skorokhod $M_1$ Topology (with Application to Poissonian Smooth Change-Point Model)
Univ. Lille（里尔大学）；CNRS, UMR 8524 — Laboratoire Paul Painlevé（法国国家科学研究中心，联合研究实验室8524——保罗·潘勒韦实验室）；Seenovate
将似然比分析方法推广至Skorokhod $M_1$拓扑，处理极限似然比过程不连续的模型，并应用于快速机制下的泊松平滑变点模型，证明极大似然估计量具有与纯变点模型相同的渐近行为。
2026-09-15 math.PR math.ST stat.TH
Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors
我们揭示了条件归一化最大似然（CNML）分布和贝叶斯预测密度的基础上的潜在信息先验（LIPs）之间的关系。特别地，CNML 3，这是一种类型的CNML分布，进行了研究。预测密度的贝叶斯投影，这是一个信息投影的预测密度的贝叶斯预测密度的集合，被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影（BPCNML 3）与基于LIP的贝叶斯预测密度渐近相同。此外，在一些更强的假设下，我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。
2014-12-25 math.ST stat.TH
Normalized least-squares estimation in time-varying ARCH models
研究了时变扰动过程。结果表明，该模型可以描述金融时间序列中常见的收益率平方样本自相关的慢衰减现象，这为进一步研究该模型的参数估计方法提供了依据。由于参数随时间变化，因此成功的估计器需要在小样本情况下表现良好。我们提出了一个核归一化最小二乘（Kernel-NLS）估计，它具有一个封闭的形式，从而优于以前提出的核准最大似然（Kernel-QML）估计小样本。核-NLS估计器简单，在温和的矩假设下工作，并且避免了核-QML估计器施加的一些参数空间限制。理论证据表明，核NLS估计具有相同的收敛速率的核QML估计。由于核-NLS估计的计算容易，可以使用计算密集的程序。提出了一种基于预测的交叉验证方法来选择核NLS估计器的带宽。此外，我们使用基于残差的自举方案来引导tvcash过程。Bootstrap样本用于获得核-NLS估计量的逐点置信区间。它表明，使用自助和“真”的tvestimator估计的分布渐近重合。我们说明了我们的估计方法对各种货币汇率和股票指数的数据，我们得到了良好的拟合数据和准确的预测。
2008-04-04 math.ST stat.TH
Fisher Efficient Inference of Intractable Models
University of Bristol（布里斯托大学）；The Alan Turing Institute（艾伦·图灵研究所）；Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）
极大似然估计具有许多优良的性质。例如，极大似然估计解的渐近方差满足渐近Cram{é}r-Rao下界（效率界），这是一个无偏估计量的最小可能方差。然而，获得这样的MLE解需要计算似然函数，由于密度模型的归一化项，该似然函数可能不容易处理。本文从库尔贝克-莱布勒散度最小化准则出发，通过密度比估计和Stein算子，导出了判别似然估计（DLE）.研究了利用DLE进行模型推理的问题。我们证明了它的一致性，并证明了在较弱的正则条件下，它的解的渐近方差可以达到与有效界相等的效果。我们还提出了一个双重制定的DLE，可以很容易地优化。数值研究验证了我们的渐近定理，我们给出了一个例子，其中DLE成功地估计了使用预训练的深度神经网络构建的棘手模型。
2019-11-01 cs.LG stat.ML
Estimating a difference between Kullback-Leibler risks by a normalized difference of AIC
AIC通常用于模型选择，但AIC的精确值没有直接的解释。我们感兴趣的是量化两种模型之间的风险差异。这对于解释性观点或预测都可能是有用的，其中如果简单的模型与更复杂的模型几乎一样好，则可以优选更简单的模型。风险的差异可以通过将风险与概率计算中的相对误差联系起来并查看简单模型获得的值来解释。提出了一个从可忽略不计到大的价值尺度。我们提出了一个标准化的差异Akaike标准估计的差异预期Kullback-Leibler风险之间的极大似然估计的分布在两个不同的模型。可以估计该统计量的可变性。因此，可以构建一个区间，该区间包含具有预定概率的预期Kullback-Leibler风险的真实差异。仿真研究表明，该方法的作品，它是说明了两个例子。第一个是关于老年人体重指数和抑郁症之间关系的研究。第二个是HIV动力学模型之间的选择，其中一个模型区分活化的CD 4 + T淋巴细胞，另一个没有。
2008-07-25 stat.ME
Exact and approximate limit behaviour of the Yule tree's cophenetic index
在这项工作中，我们研究了限制分布的条件下，$n$当代提示的纯出生树的一个适当的规范化同伦指数。我们表明，这个归一化的系统发育平衡指数是一个下鞅，几乎肯定收敛，并在L2。我们将我们的工作与树的研究没有分支长度，并表明，在这种情况下，极限分布是一个收缩型分布，类似于快速排序极限分布。在连续分支的情况下，我们建议近似的极限分布。我们提出了启发式的方法，模拟从这些分布，可以观察到，这些算法的结果在合理的尾巴。因此，我们提出了一种基于分位数的假设检验方法，以检验所观察到的系统发育树是否与纯生过程一致。通过所提出的算法模拟样本是快速的，而精确的模拟（模拟树，然后计算索引）是一个耗时的过程。我们进行了一项权力研究，探讨如何以及同胚指数检测偏离圣诞树和应用的方法，以经验的magnogenies。
2018-04-30 math.PR q-bio.PE stat.AP
On a Poissonian Change-Point Model with Variable Jump Size
本文考虑了强度函数中存在跳变（变点）的泊松观测模型。两个案例进行了研究。第一个对应于跳跃大小收敛到非零极限的情况，而在第二个中，极限为零。这两种情况下的极限似然比是完全不同的。在第一种情况下，与固定跳跃大小的情况类似，归一化似然比收敛于对数泊松过程。在第二种情况下，归一化似然比收敛到对数Wiener过程，因此，参数估计和假设检验的统计问题在这种情况下渐近等价于公知的高斯白噪声中的信号模型的变点估计和检验问题。从归一化似然比的收敛性出发，导出了极大似然估计和贝叶斯估计的性质，以及广义似然比、Wald检验和贝叶斯检验的性质。还建立了估计量的矩的收敛性。通过数值模拟说明了所得到的理论结果。
2015-02-24 math.ST stat.TH
General maximum likelihood empirical Bayes estimation of normal means
本文提出了一种基于独立同分布观测值的均值向量估计的广义极大似然经验贝叶斯（GMLEB）方法。正常错误。我们证明了在温和的矩条件下的未知手段，平均均方误差（MSE）的GMLEB是在一个无穷小的分数的最小平均MSE之间的所有可分离的估计，使用一个单一的确定性估计函数对个人的意见，提供的风险是更大的顺序比$(\log n)^5/n$。我们还证明了当未知均值的长度归一化范数的阶介于$(\log n)^{κ_1}/n^{1/(p\wedge2)}$和$n/(\log n)^{κ_2}$之间时，GMLEB在正则和弱$\ell_p$球中是一致近似极小极大的。仿真实验表明，GMLEB在广泛的设置下优于James-Stein和几种最先进的阈值估计器，并且没有太大的缺点。
2009-08-12 math.ST stat.TH
Relative Performance of Expected and Observed Fisher Information in Covariance Estimation for Maximum Likelihood Estimates
极大似然估计是统计推断中的一种常用方法。作为评价最大似然估计（MLE）精度的一种方法，MLE的协方差阵的计算在实际中有着重要的意义。标准统计理论表明，归一化的MLE是渐近正态分布的，协方差阵是未知参数处Fisher信息矩阵的倒数。最大似然估计的协方差的两个常用估计是观测到的协方差的倒数（与负对数似然的逆Hessian相同）和期望协方差的倒数（与逆Hessian相同）。观察到的和预期的两个参数都在MLE处从样本数据中进行评估。在这篇论文中，我们证明了，在合理的条件下，类似于标准的MLE条件下，逆期望的预测优于逆观测的预测下的均方误差准则。具体地说，在渐近意义上，逆期望误差（在MLE处评估）相对于真实协方差阵的均方误差并不比逆观测误差（在MLE处评估）更大。这一结果与普遍接受的结果不同，这些结果显示出对观察到的α的偏好。在本文中，我们提出了理论推导，导致上述结论。我们还提出了三个不同的问题，以支持理论结果的数值研究。本论文还包括两个附录的主题相关的随机系统。第一个附录讨论了同时扰动随机逼近（SPSA）算法的最优扰动分布。第二个附录考虑了当封闭形式无法达到时计算FIM的蒙特卡罗方法。
2013-05-05 math.ST stat.TH
Iterative Maximum Likelihood on Networks
我们考虑n个代理商位于一个连通图的顶点上。每个代理v接收信号X_v（0）~N（s，1），其中s是未知量。估计s的自然迭代方法是执行以下过程。在迭代t + 1，设X_v（t + 1）是X_v（t）和X_w（t）在v的所有邻居w中的平均值。本文考虑了简单迭代平均的一种变体，它模拟了智能体的“贪婪”行为。在迭代t，每个代理v向其所有邻居声明其估计量X_v（t）的值。然后，它通过取s的最大似然（或最小方差）估计来更新X_v（t + 1），给定V的所有邻居w的X_v（t）和X_w（t），以及图的结构。我们给出了计算X_v（t）的一个显式有效方法，研究了当t趋于无穷大时该方法的收敛性，并证明了如果极限存在，则它对所有v和w都是相同的。对于在传递群作用下对称的图，我们证明了这个过程是有效的。最后，我们表明，贪婪的过程是在某些情况下比简单的平均更有效，而在其他情况下，反之亦然，所以，在这个模型中，“贪婪”的个人代理可能会或可能不会产生不利影响的结果。这里讨论的模型可以被视为贝叶斯经济学中研究的模型的最大似然版本。ML变体更容易获得，并且特别允许显示使用代理网络的估计器的效率中的对称性的重要性。
2009-05-04 math.ST stat.TH
