Deriving Lehmer and Hölder means as maximum weighted likelihood estimates for the multivariate exponential family
Université de Sherbrooke（谢布鲁克大学）
本文将 Lehmer 和 Hölder 均值族与加权最大似然估计的联系从一元指数族推广到多元指数族，为这些均值族提供概率解释并拓展其应用。
2024-05-02 cs.LG math.ST stat.TH
An inverse Sanov theorem for exponential families
我们证明了大偏差原则（LDP）的后验分布所产生的子族的全指数家庭，允许错误指定的模型。此外，由所谓的逆Sanov定理（见例如Ganesh和O 'Connell 1999和2000）的动机，我们证明了相应的最大似然估计的LDP，我们研究率函数之间的关系。在我们的设置中，即使在非错误指定的情况下，一般来说，后验分布和最大似然估计的率函数是交换参数的Kullback-Leibler发散也是不正确的。
2022-06-16 math.PR math.ST stat.TH
On the maximum likelihood estimator for the Generalized Extreme-Value distribution
单变量极值理论中的vanilla方法包括将三参数广义极值（GEV）分布拟合到块极大值的样本。尽管有相反的说法，但最大似然估计量的渐近正态性从未被建立。本文利用一个一般结果给出了支持度依赖于参数的二次均值可微的参数族的极大似然估计的一个形式证明。一个有趣的副作用是关于GEV族的二次均值的可微性（缺乏）。
2017-03-15 math.ST stat.TH
Shrinkage Estimation for the Diagonal Multivariate Exponential Families
研究了一类协协方差阵的对角元是均值参数的某个二次函数的多元分布均值参数的收缩估计。这类分布包括对角多元自然指数族。我们提出了两类半参数收缩估计的均值和相应的风险构造无偏估计。我们建立了这些收缩估计的渐近一致性和收敛速度下的平方误差损失的$n$，样本量，和$p$，尺寸，趋于无穷大。接下来，我们将这些结果专门用于对角多元自然指数族，这些自然指数族已被分类为由正态分布、泊松分布、伽玛分布、多项式分布、负多项式分布和混合分布组成。我们建立了我们的估计的一致性，在正常的，伽玛，负多项式的情况下，条件是$p n^{-1/3} (\log{n})^{4/3} \to 0$，并在泊松和多项式的情况下，如果$p n^{-1/2} \to 0$，作为$n,p \to \infty$。模拟研究提供了我们的估计的性能进行评估，我们说明，在伽马和泊松的情况下，我们的估计实现比最大似然估计的风险更低，从而证明了我们的估计的优越性，在最大似然估计。
2022-07-01 math.ST stat.TH
Asymptotic properties of the maximum likelihood estimator for multivariate extreme value distributions
最大稳定分布和过程是极端事件和尾部风险评估的重要模型。参数最大稳定分布的完整多元似然性很复杂，只有最近的进展才能使用它。最大似然估计在多变量极值中的渐近性质大多是未知的。本文给出了保证估计量渐近正态性的最大稳定分布的指数函数和角测度的自然条件。我们证明了这一结果的有效性，将其应用到流行的参数模型在多元极值统计和最常用的家庭的空间最大稳定的过程。
2017-08-07 math.ST stat.TH
Maximum likelihood estimation in log-linear models
研究了条件Poisson抽样方案下对数线性模型的极大似然估计.本文给出了模型参数极大似然估计存在的充要条件，并在不存在极大似然估计的情况下，研究了自然参数和均值参数的可估性。我们的条件集中在观察表中的采样零点的作用。我们扩展的指数族的框架内，我们利用的几何性质的对数-线性模型。我们提出了算法的扩展极大似然估计，改进和纠正现有的算法的对数线性模型分析。
2012-07-23 math.ST stat.TH
Level sets and maximum likelihood estimation for the Ising model
Faculty of Pure and Applied Mathematics, Wrocław University of Science and Technology（纯粹与应用数学学院，弗罗茨瓦夫理工大学）
本文研究了伊辛模型中最大似然估计量的存在性，通过唯一性集合的概念提出完整刻画，并建立了Rademacher函数乘积的最小唯一性集合大小的新界限。
2026-10-05 math.ST stat.TH
Minimum divergence estimators, maximum likelihood and exponential families
本文证明了参数模型中两个分布之间散度的对偶表示公式。由此产生的参数的发散估计。这些估计量不使用任何分组或平滑。证明了在任意正则指数族上，所有的可微发散都导出了参数的相同估计，这就是极大似然估计。
2011-08-20 stat.ME
Rational Maximum Likelihood Estimators of Kronecker Covariance Matrices
本文针对具有 Kronecker 协方差结构的多元正态模型，发现在样本量与因子维度互质的特殊设定下，似然方程代数次数为 1，从而得出极大似然估计量的显式有理公式，并证明了该特殊设定外的部分逆命题。
2024-06-02 math.ST stat.TH
Locally associated graphical models and mixed convex exponential families
多元总正性的概念已被证明在金融和心理学中是有用的，但在其他应用中可能过于局限。在本文中，我们提出了一个概念的局部关联，其中高度连接的组件在一个图形模型是积极的关联，并研究其性质。我们的主要动机来自基因表达数据，其中图形模型已成为一种流行的探索工具。该模型的实例，我们称之为混合凸指数家庭，我们表明，混合双似然估计具有简单的确切性质，这样的家庭以及渐近性质类似的极大似然估计。我们进一步放宽了积极性假设，惩罚负的偏相关性，我们称之为积极的图形套索。最后，我们开发了一个基于块坐标下降的GOLAZO算法，该算法适用于图形模型中出现的一些优化过程，包括上述估计问题。我们得到的结果存在的最佳这类问题。
2022-02-09 math.ST stat.ME stat.TH
G-Exponential Families through Probability Coordinates
该研究提出基于概率坐标图构造G-指数族的概率几何方法，其充分统计量有界、估计器鲁棒，通过柯西坐标图示例和蒙特卡洛研究验证了其估计性能。
2026-09-04 math.ST stat.TH
Inference on a class of exponential families on permutations
本文研究排列上包含Mallows模型的指数族，证明了自然参数伪似然估计量的渐近正态性并构建置信区间，同时证明MLE的一致性，且在原点处两者渐近方差相同。
2023-04-08 math.PR math.ST stat.TH
Infinitely imbalanced binomial regression and deformed exponential families
如果二进制响应趋于无穷不平衡，则已知逻辑斯谛回归模型收敛到泊松点过程模型。在本文中，这一现象是普遍的，在一个广泛的一类链接函数的二项式回归。证明依赖于极值理论。对于logit、probit和互补log-log连接函数，点过程的强度测度成为指数族。对于其他一些链接函数，变形指数族出现。提出了Poisson点过程模型的惩罚极大似然估计。
2013-04-21 math.ST stat.ML stat.TH
Asymptotic normality, concentration, and coverage of generalized posteriors
广义似然通常用于获得具有吸引力的计算和鲁棒性的一致估计。形式上，任何广义似然都可以用来定义广义后验分布，但不能期望任意定义的“后验”在任何有意义的意义上适当地量化不确定性。在这篇文章中，我们提供了充分条件下，广义后验显示浓度，渐近正态性（Bernstein-von Mises），一个渐近正确的拉普拉斯近似，渐近正确的频率覆盖。我们将我们的研究结果详细的广义后验广泛的广义似然，包括pseudolikelihoods一般，高斯马尔可夫随机场pseudolikelihoods，充分观察到的玻尔兹曼机pseudolikelihoods，伊辛模型pseudolikelihoods，Cox比例风险偏似然，和一个基于中位数的可能性鲁棒性推断的位置。此外，我们展示了如何使用我们的结果来容易地建立指数族和广义线性模型的标准后验的渐近性。我们没有假设模型的正确性，使我们的结果适用或不适用错误。
2021-05-03 math.ST stat.TH
Discrete mixture representations of parametric distribution families: geometry and statistics
我们调查的存在性和性质的离散混合表示$P_θ=\sum_{i\in E} w_θ(i) \, Q_i$为一个给定的家庭$P_θ$，$θ\inΘ$，概率测度。非中心卡方分布提供了一个经典的例子。我们得到了问题的存在性结果以及几何和统计方面的结果，后者包括Fisher信息损失、Rao-Blackwellization、渐近有效性和混合概率的非参数极大似然估计.
2022-06-22 math.PR math.ST stat.TH
Likelihood Ratio Exponential Families
USC Information Sciences Institute（南加州大学信息科学研究所）；Sony CSL（索尼计算机科学实验室）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
指数族在机器学习和统计物理学中是众所周知的，因为最大熵分布受到一组观察到的约束，而几何混合路径在MCMC方法中很常见，例如退火重要性采样。结合这两个想法，最近的工作已经解释了几何混合路径作为一个指数族的分布来分析热力学变分目标（TVO）。我们扩展这些似然比指数的家庭，包括率失真（RD）优化，信息瓶颈（IB）的方法，并结合RD和IB最近的率失真分类方法的解决方案。这为通过指数族的共轭对偶和假设检验来理解这些方法提供了一个通用的数学框架。此外，我们收集现有的结果，以提供一个变分表示中间RD或TVO分布作为一个最小化的期望KL分歧。该解决方案也对应于使用似然比检验和奈曼皮尔逊引理的大小功率权衡。在热力学积分界限，如TVO，我们确定的中间分布，其预期的充分的统计匹配的日志分配函数。
2021-01-15 cs.IT cs.LG math.IT
Invariant theory and scaling algorithms for maximum likelihood estimation
揭示了统计学中的极大似然估计与不变理论中群轨道上的范数极小化之间的联系。我们重点研究高斯变换族，包括由传递有向无圈图给出的矩阵正规模型和高斯图模型。我们利用群作用下的稳定性来刻画似然估计的有界性和最大似然估计的存在唯一性。我们的方法揭示了不变量理论和统计之间的相互作用的有前途的后果。特别是，现有的缩放算法，从统计学可以在不变理论中使用，反之亦然。
2021-08-23 math.AG math.ST stat.TH
Asymptotic analysis of ML-covariance parameter estimators based on covariance approximations
针对高斯随机场的协方差参数估计，提出截断似然函数近似方法，证明在紧支撑情形下估计量的一致性和渐近正态性，并推广至锥化情形，实现渐近最小化KL散度。
2023-11-15 math.ST stat.TH
Confidence distributions from likelihoods by median bias correction
利用改进的有向似然法，从似然中得到标量参数的高阶精度置信限。它们可以方便地用置信度分布来描述，置信度分布是参数空间上的样本相关分布函数。在本文中，我们探索了一种不同的路线，准确的置信限，通过尾部对称的置信曲线，即曲线，描述在任何水平的等尾区间。而不是修改的直接似然，我们考虑反转的对数似然比时，在中位数的最大似然估计。这表明，提供相等的尾区间，从而一个确切的置信度分布，在定期一维模型的近似三阶。中位数偏差校正也提供了一个替代近似的修改后的有向似然指数家庭举行了二阶。
2016-07-18 math.PR math.ST stat.TH
Maximum likelihood characterization of distributions
CF提出的著名特征定理高斯指出，当且仅当位置族是高斯族时，位置族中参数的最大似然估计（MLE）是所有样本量的所有样本的样本均值。这个结果在不同的方向上有许多扩展，其中大多数集中在位置和规模家庭。在本文中，我们提出了一个统一的治疗这一文献提供一般的MLE特征定理的单参数组家庭（特别注意的位置和尺度参数）。在这样做时，我们提供的工具，用于确定是否一个给定的这样的家庭是MLE特征，并在这种情况下，我们定义的基本概念，最小必要的样本量，在给定的表征举行。许多关于这一主题的基石参考检索和讨论，根据我们的研究结果，并提供了几个新的特征定理。特别感兴趣的是，我们的工作的一部分，即引进所谓的等价类MLE特征，是一个现代化的版本丹尼尔伯努利的观点极大似然估计。
2014-03-12 math.PR math.ST stat.TH
A Least-Squares Approach to Sample-Based Prior Elicitation
University of California, Berkeley（加州大学伯克利分校）
该研究提出基于最小二乘的M估计量，从提供示例点及近似似然的专家处引出贝叶斯先验，建立其渐近性质，放宽假设并通过模拟和真实数据集验证其优于仅样本的最大似然基线。
2026-09-22 math.ST stat.ME stat.TH
Likelihood inference for Archimedean copulas
著名的单参数阿基米德copula的生成导数的显式函数形式的推导。这些导数对于似然推断是必不可少的，因为它们出现在copula密度、条件分布函数或肯德尔分布函数中。他们也需要几个不对称的扩展阿基米德copula，如Khoudraji变换阿基米德copula。访问的生成器衍生物使得极大似然估计阿基米德copula可行的精度和运行时间，即使在大尺寸。仿真结果表明，均方根误差随维数的增加而减小。这种减少与样本量减少的数量级相同。此外，推导出参数向量的置信区间。此外，多参数阿基米德族的扩展。所有提出的方法都在开源R包nacopula中实现，因此可以轻松访问和研究。
2011-08-30 math.ST stat.TH
Consistency of maximum likelihood estimation for some dynamical systems
研究了带噪声观测的动力系统极大似然参数估计的渐近相合性。在动力系统和观测值的适当条件下，我们证明了极大似然参数估计是相容的。我们的证明涉及到信息论和动力系统的思想。此外，我们还展示了动力系统的一些深入研究的性质如何隐含着与极大似然估计相关的一般统计性质。最后，我们展示了经典的家庭的动力系统的极大似然估计是一致的。例子包括具有Gibbs测度的有限型移位和具有SRB测度的公理A吸引子。
2014-11-27 math.DS math.ST stat.TH
Wasserstein distance error bounds for the multivariate normal approximation of the maximum likelihood estimator
我们得到了多参数极大似然估计的分布与多元正态分布之间的$p$距离误差界。我们的一般界限可能是高维的，独立和同分布的随机向量。我们的一般界是最佳的$\mathcal{O}(n^{-1/2})$顺序。当$p\in(1,2]$时，给出显式数值常数，而在$p>2$的情况下，边界是显式的，直到仅取决于$p$的常数因子。我们应用我们的一般界限，以获得Wasserstein距离误差界的多元正态近似的MLE在几个设置，这些是单参数指数家庭，规范参数化下的正态分布，和非规范参数化下的多元正态分布。此外，我们提供了上界相对于有界Wasserstein距离时，MLE是隐式定义的。
2021-09-24 math.ST stat.TH
On the Power of Likelihood Ratio Tests in Dimension-Restricted Submodels
似然比检验广泛用于检验关于概率分布的参数族的统计假设。如果兴趣仅限于分布的一个子族，那么自然会询问受限LRT是否优于非受限LRT。马登的一般LRT猜想假定，对备择假设的任何限制都会增加功效。唯一公布的反例，这一猜想是相当技术性的，并涉及一个限制，保持尺寸的替代。我们制定的维数限制的LRT猜想，假设任何限制，取代一个参数的家庭与一个子家庭的低维将增加功率。在标准的正则性条件下，我们证明了限制LRT是渐近更强大的本地替代品比无限制LRT。然而，值得注意的是，即使是维数限制的LRT猜想在有限样本的情况下也失败了。我们的反例涉及多项分布的子族。特别是，我们对三项分布的Hardy-Weinberg子族的研究提供了一个简单而优雅的证明，即限制可能不会增加功率。
2016-07-29 math.ST stat.TH
Non-Steepness and Maximum Likelihood Estimation Properties of the Truncated Multivariate Normal Distributions
本文研究了单侧截断多元正态分布的指数族，将其扩展为满族并证明其非正则且非陡峭，同时证明了在样本量足够大时极大似然估计的唯一性及其与矩方法方程的等价性。
2025-06-30 math.ST stat.TH
Targeted Maximum Likelihood Estimation using Exponential Families
目标极大似然估计（TMLE）是半参数和非参数模型参数估计的一种常用方法。TMLE的每次迭代涉及拟合以感兴趣的参数为目标的参数子模型。我们研究使用指数族来定义参数子模型。TMLE的这种实现给出了一种估计非参数模型中任何光滑参数的一般方法。该方法的计算优点在于TMLE的每次迭代涉及指数族中的参数的估计，这是凸优化问题，对于该凸优化问题存在实现可靠且计算高效的方法的软件。我们说明了三个估计问题的方法，涉及的结果随机缺失的平均值，中位数回归模型的参数，和连续曝光的因果关系，分别。我们进行了一个模拟研究，比较不同的选择参数子模型，集中在这些问题的第一个。据我们所知，这是第一次研究调查的鲁棒性TMLE不同规格的参数子模型。我们发现，子模型的选择可以有一个重要的影响有限样本中的估计的行为。
2014-06-02 stat.ME
Applications of the Likelihood Theory in Finance: Modelling and Pricing
本文讨论了数理金融学和统计模型之间的联系，这不仅仅是一种形式上的数学对应关系。我们想弄清楚统计学中的常见结果和概念及其含义如何被翻译到数学金融世界，反之亦然。很多相似之处可以表示在条款LeCam的理论统计实验这是理论的行为的似然过程。对于正价格，无套利的金融资产适合过滤实验。结果表明，它们是由过滤似然比过程给出的。从统计的观点出发，重新讨论了鞅测度、完备性和定价公式。各种期权的定价公式与检验的幂函数相联系。例如，欧洲期权的布莱克-斯科尔斯价格可以解释为内曼皮尔逊检验的贝叶斯风险。在相邻条件下，得到了金融实验和期权价格的收敛性。特别地，研究了Ito型价格过程的离散模型逼近及其期权价格的收敛性.结果依赖于统计实验的中心极限定理，这在与局部渐近正态（LAN）族有关的统计学中是众所周知的。作为应用，某些连续时间期权的价格可以近似为相关的离散时间定价公式。
2012-04-20 math.ST stat.TH
Bounds for the normal approximation of the maximum likelihood estimator
在正则性条件下极大似然估计的渐近正态性早已被证明，本文给出了极大似然估计的分布与正态分布之间的有界Wasserstein距离的显式界.对于这个任务，我们采用Stein的方法。我们专注于独立和同分布的随机变量，涵盖离散和连续分布以及指数和非指数家庭。特别地，不需要MLE的闭合形式表达式。我们还使用了扰动法来处理的情况下，极大似然估计有正概率的边界上的参数空间。
2016-09-28 math.PR math.ST stat.TH
A composite likelihood ratio approach to the analysis of correlated binary data in genetic association studies
似然函数表示数据和概率模型背景下的统计证据。相当多的理论表明，不同参数值的证据强度可以从似然曲线上不同点的似然比来解释。然而，似然函数可能是未知的或难以计算;例如，对于多代大家庭中具有二元结果的遗传关联研究。复合似然是一个方便的替代使用真正的可能性，在这里，我们表明复合似然有有效的证据解释。我们表明，复合似然，具有强大的调整，有两个大样本的性能属性，使可靠的评估相对证据的不同值的似然曲线：（1）复合似然函数将支持真值的假值由任意大的因素;（2）有利于假值的概率比真值的概率高，是小而有界的。使用广泛的模拟研究，并在大型复杂谱系中阅读障碍的遗传关联分析中，我们表明复合方法产生了有效的统计推断。结果进行比较，使用广义估计方程的分析，并显示类似的推断得到，虽然复合方法的结果在一个完整的可能性解决方案，提供额外的补充信息。
2016-11-16 math.ST stat.AP stat.TH
Families of discrete circular distributions with some novel applications
受一些前沿圆形数据（如来自智能家居技术和来自在线和赌场的轮盘赌旋转）的启发，我们在圆形上构建了一些新的丰富的离散分布类。我们给出了四种新的一般构造方法，即（i）最大熵，（ii）中心包裹，（iii）边缘化和（iv）条件化方法。我们激励这些方法上线，然后在圆形的情况下工作，并提供一些属性，以深入了解这些结构。我们主要集中在最后两个方法（iii）和（iv）的背景下，循环位置的家庭，因为他们是服从一般的方法。我们发现，边缘化和条件化离散循环位置的家庭继承了重要的属性，从他们的父母连续的家庭。特别地，对于von Mises分布和Cauchy分布，我们研究了它们的性质，包括极大似然估计，一致性假设检验和序列独立性检验。使用我们的离散圆形分布，我们演示了如何确定变点时，数据出现在一个序列，以及如何适应这种分布的混合物。说明性的例子，引发的工作。例如，对于轮盘数据，我们测试均匀性（无偏性），测试序列相关性，检测流式轮盘旋转数据中的变点，并拟合混合物。我们使用我们的混合物分析智能家居数据。我们研究的影响，忽略离散的基本人口，并讨论边缘化与条件化的方法。我们给出了具有偏度和峰度的流形族到支撑在不规则格上的流形族的各种扩张，并通过给出环面上的一个构造讨论了流形族到一般流形的潜在扩张
2022-04-29 math.ST stat.TH
Nonparametric iterated-logarithm extensions of the sequential generalized likelihood ratio test
本文对一元分布均值的序贯广义似然比（GLR）检验和相应的时间一致置信序列进行了非参数推广。通过利用几何解释的GLR统计量，我们推导出一个简单的分析上界的概率，它超过任何预先指定的边界，这些是难以近似通过模拟由于无限地平线的测试和复合非参数零值考虑。使用时间一致的边界穿越不等式，我们进行了一个统一的非渐近分析的预期样本量的单侧和开放式测试的非参数类的分布（包括次高斯，次指数，次伽玛，指数家庭）。最后，我们提出了一个灵活而实用的方法来构建时间均匀的置信序列，很容易调整到均匀接近逐点的Bubloff界在任何目标时间间隔。
2021-05-14 math.ST stat.ME stat.TH
Generalized Maximum Likelihood Estimators and their applications to stratified sampling and post-stratification with many unobserved strata
考虑估计$n$层均值的加权平均值的问题，该问题基于具有来自层$i, \; i=1,...,n$的已实现$K_i$观测的随机样本。在相当大一部分分层对应的$K_i=0$的情况下，该任务是重要的。这种情况可能发生在后分层中，当期望具有非常精细的分层时。可能需要精细分层，以便假设或近似值（如以分层为条件的随机缺失）具有吸引力。在观察性研究中，当希望通过对小而均匀的分层中的效应进行平均来估计平均治疗效应时，也可能需要精细分层。我们的方法是基于应用广义最大似然估计（GMLE），并与非参数经验贝叶斯的想法，以估计层$i$与相应的$K_i=0$的手段。没有关于未观察到的地层的平均值之间的关系的假设（即，与$K_i=0$）和观察地层的那些。我们的方法的性能证明在模拟和真实的数据集。一些一致性和渐近结果。此外，还给出了指数族混合均值的GMLE估计的相关基本结果。
2019-11-20 math.ST stat.TH
Total positivity in exponential families with application to binary variables
我们研究指数族的分布是多变量全正的2阶（MTP 2），表明这些是凸指数族，并推导出存在的条件的极大似然估计。MTP2分布的二次指数族包含有吸引力的高斯图形模型和铁磁伊辛模型作为特例。我们表明，这些是通过相交的规范参数与多面体锥的面对应的条件独立关系的空间定义的。因此，MTP2作为二次指数族的隐式正则化子，并导致估计的图模型的稀疏性。我们证明了极大似然估计（MLE）在一个MTP 2二进制指数家庭存在的当且仅当两个符号模式$(1,-1)$和$(-1,1)$表示在样本中的每对变量，特别是，这意味着MLE可能存在与$n=d$的意见，在形成鲜明对比，不受限制的二进制指数家庭的$2^d$的意见是必需的。最后，我们提供了一种新的和全局收敛的算法来计算MLE的MTP2伊辛模型类似于迭代比例缩放，并将其应用于分析的数据从两个心理疾病。
2020-07-26 math.ST stat.ME stat.TH
Local asymptotic normality for spectral-tail likelihoods under fixed-domain sampling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lund University（隆德大学）
该研究在固定域采样下建立了平稳高斯随机场尺度和粗糙度联合推断的局部渐近正态性，给出了估计误差阶和渐近分布，并验证了Matérn与广义Wendland协方差族及误设定情形下的适用性。
2026-10-08 math.ST stat.TH
Estimation in Functional Regression for General Exponential Families
研究了一类指数族模型，其标准参数被指定为未知的无穷维斜率函数的线性泛函。建立了斜率函数估计的最优极小极大收敛速度。通过参数的约束极大似然估计构造了达到最优速率的估计量，参数的维数随着样本量的增加而增加。受Le Cam的渐近等价理论的启发，我们使用了一个度量变化的参数来消除指数族模型的非线性所引起的偏差。
2011-08-17 math.FA math.PR math.ST
Parametrized Families of Gibbs Measures and their Statistical Inference
本文研究有限型子移位上一类参数化吉布斯测度的统计推断，证明最大似然估计的相合性并给出渐近分布，同时探讨其在置信区间、假设检验及与伯努利分布和平稳马尔可夫链相关的应用。
2024-08-02 math.DS math.ST stat.TH
Comparing two treatments in terms of the likelihood ratio order
本文引入了新的检验统计量族，并研究了按似然比序比较两种处理方法的问题。所考虑的家庭是基于φ发散的措施，并出现作为经典的似然比检验和皮尔逊检验统计量的自然扩展。证明了它们的渐近分布是一个共同的卡氏随机变量。一个说明性的例子，这些统计的性能进行了分析，通过模拟研究。通过模拟研究表明，对于大多数建议的情况下调整为小或中等，这个新的家庭的一些成员的检验统计量显示明显更好的性能，相对于权力相比，经典的似然比和皮尔逊卡方检验，而确切的大小仍然接近标称大小。从精确的功效和显著性水平来看，研究还表明Wilcoxon检验统计量不如两个经典的检验统计量。
2014-10-29 stat.ME
Estimation in functional regression for general exponential families
研究了一类指数族模型，其标准参数被指定为未知的无穷维斜率函数的线性泛函。建立了斜率函数估计的最优极小极大收敛速度。通过参数的约束极大似然估计构造了达到最优速率的估计量，参数的维数随着样本量的增加而增加。受Le Cam的渐近等价理论的启发，我们采用了测度变化的方法来消除指数族模型的非线性所引起的偏差。
2013-02-13 math.PR math.ST stat.ME
On the Geometry of Discrete Exponential Families with Application to Exponential Random Graph Models
对用于分析网络数据的统计模型的兴趣激增，并且对指数随机图（ERG）模型类的兴趣相当大，特别是与计算最大似然估计的困难有关。与这些困难相关的问题涉及到离散指数族的更广泛的结构。本文分两部分重新审视这一问题。首先研究了$k$维指数分布族在离散基测度和多面体凸支撑$\mathrm{P}$下的闭包。我们表明，正常风扇的$\mathrm{P}$是一个几何对象，在推导相应的扩展指数族的统计和几何性质中起着根本性的作用。我们讨论了它的相关性极大似然估计，无论是从理论和计算的角度来看。其次，我们将我们的结果应用到ERG模型的分析。特别是，通过一个详细的例子，我们提供了一些特性的ERG模型，特别是某些行为的ERG模型被称为退化。
2008-12-30 stat.ML
Asymptotic Behaviour of the Modified Likelihood Root
我们研究的正常近似的修改后的似然根，从高阶渐近理论的推理工具，线性指数和位置尺度的家庭。我们发现，$r^\star$统计可以被认为是一个位置和规模调整的似然根$r$高达$O_p(n^{-3/2})$，更一般地$r^\star$可以表示为一个多项式在$r$。我们还显示了这两个家庭的似然根的修改后的似然根的线性。
2022-01-11 stat.ME
Linear regression model selection using p-values when the model dimension grows
我们考虑一种新的基于准则的方法来选择线性回归中的模型。研究了线性回归模型族基于似然比统计量p值的选择准则的性质。我们证明了这样的程序是一致的，即最小的真模型的选择概率趋于1，即使考虑中的模型的数量缓慢增加的样本量。仿真研究表明，介绍的方法相比，赤池和贝叶斯信息准则执行有前途的。
2012-05-18 math.ST stat.TH
Self-regularizing Property of Nonparametric Maximum Likelihood Estimator in Mixture Models
由Kiefer和Wolfowitz \cite{KW56}提出的非参数极大似然估计（NPMLE）是一种广泛应用的混合模型和经验贝叶斯估计的学习方法。NPMLE避开了混合似然的非凸性，通过最大化概率测度空间上的总似然来估计混合分布，这可以被视为过度参数化的极端形式。在本文中，我们发现了一个令人惊讶的性质的NPMLE解决方案。例如，考虑具有亚高斯混合分布的实数线上的高斯混合模型。利用复杂的分析技术，我们表明，以高概率的NPMLE的基础上的样本大小$n$有$O(\log n)$原子（质量点），显着提高了确定性的上界$n$由于林赛\cite{lindsay1983geometry1}。值得注意的是，任何这样的高斯混合在统计上与具有$O(\log n)$分量的有限混合是不可区分的（并且这对于某些混合是紧密的）。因此，在没有任何明确形式的模型选择的情况下，NPMLE自动选择正确的模型复杂度，我们称之为\emph{self-regularization}。扩展到其他指数的家庭。作为一个统计应用程序，我们表明，这种结构属性可以利用现有的Hellinger风险界的（参数）MLE有限高斯混合的NPMLE一般高斯混合，恢复张\cite{zhang2009generalized}的结果。
2020-09-07 math.ST stat.ML stat.TH
Functional estimation in log-concave location families
设$\{P_θ:θ\in {\mathbb R}^d\}$是一个具有$P_θ(dx)=e^{-V(x-θ)}dx,$的对数凹位置族，其中$V:{\mathbb R}^d\mapsto {\mathbb R}$是一个已知的凸函数，$X_1,\dots, X_n$是i.i.d. r. v.从分布$P_θ$中采样，位置参数未知$θ.$目标是基于观测值$X_1,\dots, X_n.$估计光滑泛函$f:{\mathbb R}^d\mapsto {\mathbb R}$的值$f(θ)$在$V$足够光滑且$f$是来自Hölder空间$C^s,$中的球的泛函的情况下，我们开发具有由$L_2({\mathbb P}_θ)$测量的极小极大最优错误率的$f(θ)$的估计器。距离以及更一般的Orlicz范数距离。此外，我们证明了如果$d\leq n^α$和$s>\frac{1}{1-α},$，则所得估计在Hájek-LeCam意义下是渐近有效的，收敛速度为$\sqrt{n}.$.这推广了高斯移位模型中光滑泛函估计的早期结果.估计量具有$f_k(\hat θ),$的形式，其中$\hat θ$是最大似然估计量，而$f_k: {\mathbb R}^d\mapsto {\mathbb R}$（$k$取决于$s$）是根据$f$定义的泛函，旨在提供函数估计问题中的高阶偏差减少。偏差减少的方法是基于迭代参数自助法，…
2021-07-31 math.ST stat.TH
Maximum Likelihood Estimation and Graph Matching in Errorfully Observed Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Boston University（波士顿大学）；University of Maryland（马里兰大学）
给定一对顶点数相同的图，不精确图匹配问题在于找到这些图的顶点之间的对应关系，使诱导边不一致的总数最小化。我们从一个统计框架研究这个问题，其中一个图是一个错误的观察副本。我们介绍了一个腐败的信道模型，并表明，在这个模型框架中，图匹配问题的解决方案是一个极大似然估计。这个极大似然估计的一致性的必要和充分条件，以及一个宽松的概念的一致性，其中可以忽略不计的分数的顶点不需要正确匹配。这些结果被用来研究几类随机图的匹配性，包括边独立模型、随机正则图和小世界网络。我们还使用这些结果来介绍匹配可行性的措施，并在模拟和真实世界的网络上进行实验验证。
2020-07-02 cs.LG math.ST stat.ML
Projection Theorems of Divergences and Likelihood Maximization Methods
发散的投影定理使我们能够找到一个发散在一个特定的统计模型上的反向投影，作为一个发散在一个不同的但更“简单”的统计模型上的正向投影，这反过来又导致求解一个线性方程组。发散的反向投影与稳健统计中的极大似然估计及其变体等各种估计方法密切相关。我们考虑了鲁棒统计中广泛使用的三个参数型发散族的投影定理，即Rényi发散（或Cressie-Reed幂发散）、密度幂发散和相对$α$ -熵（或对数密度幂发散）.我们从通常的似然最大化方法和充分性原则探讨这些投影定理。特别地，我们证明了用各自发散的投影定理和直接求解相应的估计方程来解决估计问题的等价性。我们还导出了密度幂发散的投影定理。
2017-06-16 cs.IT math.IT math.PR
Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression
Massachusetts Institute of Technology（麻省理工学院）
本文研究了两个问题：（1）$d$维对数凹分布的估计和（2）随机设计下的有界多元凸回归问题，其中随机设计下的密度为对数凹或密度为连续的紧支撑分布。首先，我们表明，对于所有的$d \ge 4$的最大似然估计的两个问题实现了最佳的风险$Θ_d(n^{-2/(d+1)})$（对数因子）的平方Hellinger距离和$L_2$平方距离，分别。以前，这两个估计量的最优性仅为$d\le 3$所知。我们还证明了上述两个家庭的$ε$ -熵数是相等的对数因子。我们补充这些结果证明了一个尖锐的界限$Θ_d(n^{-2/(d+4)})$的极大极小率（对数因子）相对于总的变化距离。最后，我们证明，估计对数凹密度-甚至均匀分布的凸集-到一个固定的精度需要样本数\emph{at least}指数的尺寸。我们通过将极小极大率的最佳已知下限中的维数常数从$2^{-d}\cdot n^{-2/(d+1)}$改进为$c\cdot n^{-2/(d+1)}$（当$d\geq 2$时）来实现。
2020-02-20 cs.LG math.ST stat.TH
Quantifying and Reducing Bias in Maximum Likelihood Estimation of Structured Anomalies
Princeton University（普林斯顿大学）；Brown University（布朗大学）
异常估计，或者说找到与数据集的其余部分不同的数据集子集的问题，是机器学习和数据采掘中的经典问题。在理论工作和应用中，假设异常具有由$\textit{anomaly family}$中的成员资格定义的特定结构。例如，在时间数据中，异常族可以是时间间隔，而在网络数据中，异常族可以是连通子图。异常估计的最突出的方法是计算异常的最大似然估计（MLE）;然而，最近观察到，对于正态分布的数据，MLE是某些异常族的$\textit{biased}$估计量。在这项工作中，我们证明了在正常的均值设置，最大似然估计的偏差取决于异常家庭的大小。我们证明了，如果在异常家庭中包含的异常集的数量是次指数，那么极大似然估计是渐近无偏的。我们还提供了经验证据证明，反之亦然：如果这样的集合的数量是指数的，那么极大似然估计是渐近有偏的。我们的分析统一了一些早期的结果对特定异常家庭的MLE的偏见。接下来，我们推导出一个新的异常估计使用混合模型，我们证明了我们的异常估计是渐近无偏的，无论异常家庭的大小。我们说明了我们的估计与最大似然估计的疾病爆发和高速公路交通数据的优势。
2021-06-11 cs.IT cs.LG math.IT
Families of polytopes with rational linear precision in higher dimensions
在这篇文章中，我们引入了一族新的具有有理线性精度的格多面体。为此，我们定义了一类新的离散统计模型，我们称之为多项分级树模型。我们证明了这些模型具有合理的极大似然估计（MLE），并给出了这些模型是对数线性的一个准则。我们的主要结果，然后通过应用Garcia-Puente和Sottile的定理，建立了一个对应的多面体与合理的线性精度和日志-线性模型与合理的MLE。在这篇文章中，我们还研究了具有有理线性精度的多面体的正规扇的原始集合与其相应的统计模型的Horn矩阵的形状之间的相互作用。最后，我们调查格多面体所产生的复曲面多项式阶段树模型，在其树表示的组合。
2022-07-05 math.AC math.CO math.ST
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center（生物统计学系，范德比尔特大学医学中心）
本文提出通过发布差分隐私充分统计量并进行噪声校准推断，解决DP数据发布中的校准问题，提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
On Learning-Curve Monotonicity for Maximum Likelihood Estimators
本文研究了最大似然估计器在不同参数设置下的学习曲线单调性，证明了高斯向量和伽马变量在特定条件下的单调性，并探讨了反向KL散度在指数族中的应用。
2025-12-24 cs.LG math.ST stat.ML
Inference for quantile-parametrized families via CDF confidence bands
Indian Statistical Institute, Kolkata（印度统计学院）；Department of Statistics & Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
本文提出了一种通过CDF置信带构造置信集的新推断方法，适用于量化参数化分布族，无需分布假设，通过分位数函数实现，适用于小样本和大样本数据。
2025-11-28 stat.ME
An Approximate Restricted Likelihood Ratio Test for Variance Components in Generalized Linear Mixed Models
广义线性混合模型（GLSII）用于对具有固定效应和随机效应组合的指数家族的响应进行建模。对于广义似然估计中的方差分量，我们提出了一种近似的限制性似然比检验，对惩罚拟似然估计中的工作响应进行检验.这提供了标准化响应方面的假设检验，允许将现有检验方法应用于线性混合模型。我们的测试是灵活的，计算效率高，并优于几个竞争对手。我们说明了所提出的方法与广泛的模拟研究和两个数据应用程序的实用性。提供了一个R包。
2019-06-07 stat.ME
Multidimensional multiscale scanning in Exponential Families: Limit theory and statistical consequences
我们考虑在$d$ -维独立随机变量$\{Y_i\}_{i \in \left\{1,...,n\right\}^d}$域中发现异常的问题，每个独立随机变量都按照一维自然指数族$\mathcal F = \left\{F_θ\right\}_{θ\inΘ}$分布。给定某个基线参数$θ_0 \inΘ$，使用局部似然比检验来扫描该场，以从（大的）给定区域系统$\mathcal{R}$中检测对于某些$i \in R$具有$θ_i \neq θ_0$的那些区域$R \subset \left\{1,...,n\right\}^d$。我们提供了一个统一的方法，控制整体家庭明智的错误（FWER），使错误的检测在给定的错误率。我们的方法的基础是一个高斯近似的基本多尺度检验统计量的分布与显式的收敛速度。由此得到了一个独立的弱极限定理，它可以看作是对非同分布数据的广义弱不变原理。此外，我们给出了一个渐近展开的程序的权力，这产生极大极小最优的高斯观测的情况下。
2019-03-24 math.PR math.ST stat.ME
