Change point analysis of an exponential model based on Phi-divergence test-statistics: simulated critical points case
最近Batsidis \textit{et al.}（2011）提出了一个新的基于发散测度的方法来检验指数总体中存在变点的假设。本文利用文中提出的新的检验统计量的渐近分布所得到的渐近临界点进行了模拟研究。本文的主要目的是使用模拟的临界点来研究Batsidis \textit{et al.}（2011）引用的论文中引入的检验统计量的行为。
2011-07-15 math.ST stat.TH
Robust minimum divergence estimation in a spatial Poisson point process
针对物种分布建模中似然分析因模型错误设定而不稳健的问题，提出一种基于泊松点过程新散度的稳健估计方法，通过对对数似然方程加权减轻异质观测影响，提升了预测性能。
2023-06-30 stat.ME
Rate of convergence in the maximum likelihood estimation for partial discrete parameter, with applications to the cluster analysis and philology
考虑了当样本上的分布参数的一部分是离散的（如整数）时，这些参数的估计问题。我们证明了在自然条件下，分布密度的极大似然估计的收敛速率是指数快的。
2014-02-26 math.ST stat.TH
Weighted sampling, Maximum Likelihood and minimum divergence estimators
本文研究了Sanov型大偏差概率下参数模型的极大似然。加权抽样下的参数模型的极大似然估计被证明与相对于权重分布定义的特定发散准则的最小化有关。由此产生的推理过程的一些属性; Bahadur效率的测试也被认为是在这种情况下。
2012-07-27 math.ST stat.ME stat.TH
Empirical phi-divergence test statistics for testing simple and composite null hypotheses
本文的主要目的是首先介绍一个新的家庭的经验检验统计量测试一个简单的原假设时，通过一组特定的无偏估计函数定义的参数向量。该检验统计量族基于两个概率向量之间的距离，其中第一概率向量通过使参数向量上的经验似然最大化而获得，并且第二向量在简单的原假设下从参数的固定向量定义。为此目的所考虑的距离是φ-发散度量。然后推导出该族检验统计量的渐进分布。所提出的方法是说明通过著名的数据Newcomb的测量光的通过时间。模拟研究进行比较其性能与经验的似然比检验时，置信区间构造的基础上，小样本量。结果表明，“经验修正的似然比检验统计量”是经验似然比检验统计量的一种有竞争力的替代方法，并且在数据中存在污染的情况下比经验似然比检验统计量更稳健.最后，我们提出了经验的Φ发散检验统计量测试复合原假设，并提出了一些渐近以及模拟结果，这些测试程序的性能进行评估。
2014-08-17 math.ST stat.ME stat.TH
Nonparametric regression on hidden phi-mixing variables: identifiability and consistency of a pseudo-likelihood based estimation procedure
本文概述了一个新的非参数估计过程的不可观测φ-混合过程。假设关于平稳隐藏状态（Xk）的唯一信息由过程（Yk）给出，其中Yk是f（Xk）的噪声观测。本文介绍了一种利用长度为b的观测值块来估计函数f和隐态分布的极大伪似然方法。在特殊情况下，b=1和b=2的模型的可辨识性进行了研究。建立了f的估计量和隐状态的分布的一致性，因为观测的数量增长到无穷大。
2015-08-26 math.ST stat.TH
Signal detection via Phi-divergences for general mixtures
在本文中，我们感兴趣的是测试是否有任何信号隐藏在高维噪声数据。因此，我们研究了基于$Φ$ -分歧的拟合优度检验族，包括Berk和Jones的检验以及Tukey的高级批评检验。这个家庭的最优性是已知的异质正态混合模型。我们现在提出一种技术，将这种最优性转移到更一般的模型。为了说明，我们将我们的结果，密集的信号和稀疏的信号模型，包括指数- $χ^2$混合模型和一般指数家庭的正常，指数和Gumbel分布。除了整个家庭的最优性，我们讨论的权力行为的检测边界，并表明，整个家庭没有权力，而似然比检验。
2018-03-17 math.ST stat.TH
Nonparametric likelihood-free inference with Jensen-Shannon divergence for simulator-based models with categorical output
Helsinki Institute of Information Technology (HIIT)（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（惠康桑格研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
基于模拟器的统计模型的无可能性推理最近在机器学习和统计社区都引起了极大的兴趣。这些研究领域的主要焦点是通过各种类型的蒙特卡罗采样算法或基于深度神经网络的代理模型来近似模型参数的后验分布。迄今为止，基于模拟器的模型的频率论推理受到的关注要少得多，尽管它特别适用于大数据应用，其中可能性的隐式渐近近似预计是准确的，并且可以利用计算效率高的策略。在这里，我们得出了一组理论结果，使估计，假设检验和置信区间的模型参数使用渐近性质的詹森-香农发散的建设。这样的渐近近似提供了一个快速的替代计算密集型的方法，可以是基于模拟器的模型的各种应用程序的吸引力。61
2022-05-26 cs.LG stat.ME
Projection Theorems of Divergences and Likelihood Maximization Methods
发散的投影定理使我们能够找到一个发散在一个特定的统计模型上的反向投影，作为一个发散在一个不同的但更“简单”的统计模型上的正向投影，这反过来又导致求解一个线性方程组。发散的反向投影与稳健统计中的极大似然估计及其变体等各种估计方法密切相关。我们考虑了鲁棒统计中广泛使用的三个参数型发散族的投影定理，即Rényi发散（或Cressie-Reed幂发散）、密度幂发散和相对$α$ -熵（或对数密度幂发散）.我们从通常的似然最大化方法和充分性原则探讨这些投影定理。特别地，我们证明了用各自发散的投影定理和直接求解相应的估计方程来解决估计问题的等价性。我们还导出了密度幂发散的投影定理。
2017-06-16 cs.IT math.IT math.PR
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo（东京大学）；CyberAgent, Inc.（赛博艾金特公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Preferred Networks, Inc.（优选网络公司）
本文从最大似然密度比估计的角度，给出了Kullback-Leibler（KL）-散度和积分概率度量（IPM）的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而，对这些概念的统一理解尚未得到探索。在本文中，我们表明，KL-分歧和IPM可以表示为最大似然不同，只有抽样方案，并使用这个结果，以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题，我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散，称为密度比（DRMs），插值KL发散和IPM。除了这些发现，我们还介绍了DRM的一些应用，如DRE和生成对抗网络。在实验中，我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
Estimating divergence functionals and the likelihood ratio by convex risk minimization
我们开发和分析$M$ -估计方法的分歧泛函和似然比的两个概率分布。我们的方法是基于一个非渐近变分表征的$f$ -分歧，这使得估计分歧的问题，通过凸经验风险优化来解决。由此产生的估计是简单的实现，只需要标准的凸规划的解决方案。我们提出了这些估计的一致性和收敛性分析。仅在密度比的条件下，我们证明了我们的估计在一定的条件下可以获得最优的似然比和发散泛函的极小极大率。我们推导出一个有效的优化算法来计算我们的估计，并通过模拟说明其收敛性和实际可行性。
2009-04-22 cs.IT math.IT math.ST
Asymptotic expansion of the risk of maximum likelihood estimator with respect to $α$-divergence as a measure of the difficulty of specifying a parametric model -- with detailed proof
对于一个给定的参数概率模型，我们考虑了极大似然估计关于$α$ -发散的风险，其中包括Kullback-Leibler发散，Hellinger距离和$χ^2$发散的特殊情况.渐近展开的风险是相对于样本量的顺序$n^{-2}$。展开式中的每一项都用参数概率模型所形成的黎曼流形的几何性质来表示。我们试图通过这种扩展来衡量指定模型的难度。
2018-10-11 math.ST stat.TH
Empirical Survival Jensen-Shannon Divergence as a Goodness-of-Fit Measure for Maximum Likelihood Estimation and Curve Fitting
决定系数称为$R^2$，通常用作拟合线性模型的拟合优度标准。在拟合非线性模型时，$R^2$有些争议，尽管它可以根据具体情况进行推广，以处理特定模型，如logistic模型。假设我们使用极大似然估计方法将参数分布拟合到数据集。测量拟合参数的拟合优度的一般方法是使用非参数测量来比较包括原始数据的经验分布和拟合模型。特别是，为了这个目的，我们提出了生存詹森-香农发散（$SJS$）和它的经验对应（${\cal E}SJS$）作为一个度量，这是有界的，是一个自然的概括詹森-香农发散。我们证明，通过一个简单的程序，利用${\cal E}SJS$，它可以被用作极大似然估计或曲线拟合的一部分，作为一个衡量拟合优度，包括建设一个置信区间的拟合参数分布。此外，我们用模拟数据和三个经验数据集证明了所提出方法的有效性。
2019-06-04 physics.data-an q-fin.ST stat.ME
Empirical Likelihood Based Inference for a Divergence Measure Based on Survival Extropy
Indian Statistical Institute（印度统计研究所）；Aalto University（阿尔托大学）
本文提出基于生存熵的分歧度度量及其非参数估计方法，并通过模拟研究验证其在实际应用中的有效性，用于检测图像数据集中的细微差异。
2025-12-02 math.ST stat.TH
Optimization-based Quantification of Simulation Input Uncertainty via Empirical Likelihood
我们研究了一种基于优化的方法来构造统计上准确的置信区间的仿真性能指标下的非参数输入不确定性。这种方法计算置信区间从模拟运行驱动的概率权重定义的数据，这是从解决优化问题，适当地假定平均发散约束。我们说明了这种方法如何提供计算效率和有限样本性能相比，引导和三角洲方法的好处。虽然类似于强大的优化，我们解释了程序设计，并通过经验似然法的泛化开发这种方法的严格的统计保证。
2019-02-13 stat.ME
A logistic regression analysis approach for sample survey data based on phi-divergence measures
基于$ϕ$ -散度测度，提出了一类新的二元逻辑斯谛回归模型的最小距离估计。伪最小φ-散度估计量（PM $ϕ$ E）族是一般抽样调查设计中“最小φ-散度估计量”（M $ϕ$ E）的推广，它包含Roberts等在\cite{r}中考虑的伪极大似然估计量（PMLE）作为特例。通过模拟研究，它表明，一些PM $ϕ$ ES有一个更好的行为，在效率方面，比PMLE。
2016-11-08 stat.ME
A simulation study of semiparametric estimation in copula models based on minimum Alpha-Divergence
本文的目的是介绍两种估计copula参数的半参数方法。这些方法是基于最小α-散度之间的非参数估计copula密度使用局部似然概率单位变换方法和一个真正的copula密度函数。一个蒙特卡罗研究进行测量这些方法的性能的基础上，海林格距离和奈曼分歧的特殊情况下，阿尔法发散。仿真结果进行了比较，最大伪李克图（MPL）估计作为一种传统的估计方法，在著名的二元Copula模型。这些结果表明，基于最小伪Hellinger距离估计的方法在小样本量和弱相关性的情况下具有良好的性能。将参数估计方法应用于水文学中的一个实际数据集。
2020-09-11 stat.ME stat.OT
Comparing two treatments in terms of the likelihood ratio order
本文引入了新的检验统计量族，并研究了按似然比序比较两种处理方法的问题。所考虑的家庭是基于φ发散的措施，并出现作为经典的似然比检验和皮尔逊检验统计量的自然扩展。证明了它们的渐近分布是一个共同的卡氏随机变量。一个说明性的例子，这些统计的性能进行了分析，通过模拟研究。通过模拟研究表明，对于大多数建议的情况下调整为小或中等，这个新的家庭的一些成员的检验统计量显示明显更好的性能，相对于权力相比，经典的似然比和皮尔逊卡方检验，而确切的大小仍然接近标称大小。从精确的功效和显著性水平来看，研究还表明Wilcoxon检验统计量不如两个经典的检验统计量。
2014-10-29 stat.ME
Goodness-of-fit tests via phi-divergences
介绍并研究了基于$ϕ$ -发散性的统一的拟合优度检验族。新的检验统计量族$S_n(s)$包括Anderson-Darling统计量的上确界形式和Berk和Jones [Z.华什弗鲁Gebiete 47（1979）47- 59]作为特例（分别为$s=2$和$s=1$）。我们还介绍了新统计的积分版本。我们证明了Berk和Jones [Z.华什弗鲁Gebiete 47（1979）47- 59]和Wellner和Koltchinskii [高维概率III（2003）321- 332. Birkhäuser，Basel]的Berk-Jones统计量适用于整个统计量族$S_n(s)$和$s\in[-1,2]$。在幂行为方面，我们研究了固定方案下的检验统计量，并推广了Berk和Jones关于其统计量的“Poisson边界”现象。我们还推广了Donoho和Jin [Ann. Statistist. 32（2004）962--994]，表明我们对$s\in[-1,2]$的所有新测试对于正常移位混合物替代物具有与Tukey的"更高临界“统计量和Berk-Jones统计量相同的"最优检测边界”。
2007-11-22 math.ST stat.TH
Testing the fit of relational models
关系模型通过指定与其单元格的任何子集相关联的效应，将对数线性模型推广到任意离散样本空间。关系模型可以包括与重新参数化后的每个单元格有关的总体效应，并且在这种情况下，最大似然估计（MLE）的性质类似于在传统对数线性模型下计算的性质，并且拟合优度检验也相同。如果在任何重新参数化中不存在整体效应，则极大似然方程的性质有很大不同，泊松和多项式极大似然方程是不等价的。在泊松情况下，如果总体效应不存在，则观测到的总体并不总是被MLE保留，因此，似然比统计量与库尔贝克-莱布勒散度的两倍不相同。然而，正如所证明的，它的一般形式可以从Bregman分歧得到。皮尔逊卡方和似然比统计量的渐近等价性成立，但这里考虑的一般性需要扩展的证明。
2019-05-16 stat.ME
The Hellinger Bounds on the Kullback-Leibler Divergence and the Bernstein Norm
University of Chicago（芝加哥大学）
本文研究了Hellinger距离作为Kullback-Leibler散度和Bernstein范数上界的条件，并推广了相关结果以放松估计器的正则性条件。
2026-01-25 econ.EM math.ST stat.TH
Parametric estimation and tests through divergences and duality technique
我们通过离散或连续参数模型的发散优化介绍估计和检验程序。这种方法是基于一个新的对偶表示的分歧。我们对待点估计和测试简单和复合假设，扩展最大似然技术。另一种观点在最大似然法，估计和测试，给出。我们证明了所提出的估计的存在性和一致性。在零假设和备择假设下，给出了估计和检验统计量（包括广义似然比检验统计量）的极限律，并推导了幂函数的逼近式.当参数可以是参数空间的边界值时，提出了一种构造置信区域的新方法。同时，对广义似然比检验中与混合样本个数有关的不规则性问题给出了解决方法，并基于符号有限测度上的$χ^{2}$ -散度和对偶技术提出了一种新的检验方法.
2008-11-22 math.ST stat.TH
Pseudo minimum phi-divergence estimator for multinomial logistic regression with complex sample design
本文建立了研究复杂样本设计下多项逻辑斯谛回归模型的理论框架。通过一个数值例子和模拟研究，给出了响应变量服从过分散多项分布的逻辑斯谛回归模型参数的新估计、伪最小Cressie-Read散度估计和类内相关系数的新估计.结果表明，当λ = 2/3的伪最小Cressie-Read散度估计被插入时，Binder的簇内相关系数估计方法具有良好的性能.
2016-06-03 stat.ME
Generalized Wald-type Tests based on Minimum Density Power Divergence Estimators
在假设检验中，检验的稳健性是一个重要问题。通常，基于极大似然的测试在标准正则条件下是最有效的，但是即使在与假设条件的小偏差下，它们也是高度非鲁棒的。在本文中，我们提出了广义Wald型测试的基础上最小密度功率发散估计参数假设。该方法避免了非参数密度估计的使用和带宽的选择。效率和鲁棒性之间的权衡由调谐参数$β$控制。检验统计量的渐近分布是具有适当自由度的卡方分布。所提出的测试的性能进行了探讨，通过模拟和实际数据分析。
2015-03-07 stat.ME
Empirical phi-divergence test statistics for testing simple null hypotheses based on exponentially tilted empirical likelihood estimators
在计量经济学中，在不假设潜在分布的情况下施加限制来模拟复杂的现实是一种有价值的方法论工具。然而，如果一个子集的限制是不正确的指定，通常的测试统计量正确指定的模型往往拒绝一个简单的原假设。在这种情况下，我们可以说模型存在误设定。我们研究了Balakrishnan et al.（2015）中引入的经验φ-发散检验统计量的行为，通过使用Schennach（2007）的指数倾斜经验似然估计量，作为小样本量的显著性水平的效率和错误指定下的鲁棒性之间的良好折衷。
2015-10-27 stat.ME
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型，观察收集的形式加权邻接矩阵，每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果，表征成功和失败的最大似然估计边缘权重时，从离散分布之间的精确边界，涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时，意味着边缘分布充分分离，最大似然法成功，概率趋于1;当Renyi散度低于阈值时，最大似然法失败，概率远离0。在图形通道的语言中，Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值，专门为未加权块模型，并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上，我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后，我们讨论的后果，我们的界限的相关问题的截尾块模型和子矩阵本地化，这可能被视为特殊情况下，我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Semiparametric estimation of mutual information and related criteria : optimal test of independence
我们推导出独立性测试依赖措施阈值在半参数的上下文中。准确地说，通过φ-发散的对偶表示，得到了与联合分布及其边际的乘积分布之间的φ-发散相关联的φ-互信息的估计。建立了估计的渐近性质，包括相合性、渐近分布和大偏差原理。通过相对渐近Bahadur有效性和数值模拟比较了所得到的独立性检验。因此，本文提出的半参数Kullback-Leibler互信息检验是最优的。另一方面，该方法提供了一种新的方法估计Kullback-Leibler互信息在半参数设置，以及一个大类的依赖模型，包括半参数Copula的模型选择过程。
2015-08-19 math.ST stat.TH
StAD: Stein Amortized Divergence for Fast Likelihoods with Diffusion and Flow
Institute of Astronomy（天文研究所）；Kavli Institute for Cosmology, University of Cambridge, Cambridge, UK（剑桥大学卡文迪许实验室，剑桥，英国）；Research Computing Services, University of Cambridge, Cambridge, UK（剑桥大学研究计算服务）；The Oskar Klein Centre, Department of Physics, Stockholm University, Stockholm, SE（斯德哥尔摩大学物理系奥斯卡·克莱因中心）；Cavendish Laboratory, Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系卡文迪许实验室）
本文提出StAD方法，利用Langevin-Stein算子预测和学习PF-ODE的散度，无需计算雅可比矩阵，提升了似然预测的效率和稳定性。
2026-05-15 astro-ph.IM cs.LG stat.ML
Estimation of parametric and semiparametric mixture models using phi-divergences
混合模型的研究构成了统计学研究的一个大领域。在这项工作的第一部分中，我们提出了φ发散和现有的方法，产生强大的估计。我们对所谓的φ-发散的对偶公式更感兴趣。我们建立了一个新的鲁棒估计基于这个公式。我们研究了它的渐近性质，并给出了数值模拟数据与现有的方法进行比较。我们还介绍了一个近似点算法，其目的是计算基于发散的估计。我们给出了该算法的一些收敛性质，并在理论和仿真例子上说明了它们。在本文的第二部分中，我们建立了一个新的结构的两组分混合模型，其中一个组分是未知的。新的方法允许将事先的线性信息，如力矩类型和L-矩约束的未知组件。我们研究所提出的估计量的渐近性质。几个模拟数据的实验结果示出了新的方法的优点和增益，使用先验信息相比，现有的方法，不包括任何先验信息，除了对未知组件的对称性假设。
2016-11-24 stat.ME
The Empirical Likelihood Approach to Quantifying Uncertainty in Sample Average Approximation
我们研究的经验似然方法来构建一个给定的解决方案的最优值和最优性差距的置信区间，此后量化的样本平均近似的统计不确定性，优化问题的期望值目标和约束条件下，潜在的概率分布，通过有限的数据观察。这种方法依赖于两个分布鲁棒优化问题的不确定分布，与基于发散的不确定性集，适当校准，以提供渐近的统计保证。
2016-10-23 math.ST stat.ME stat.TH
Phi-Divergence test statistics for testing the validity of latent class models for binary data
本文的主要目的是提出新的检验统计量族，用于研究某些数据对二进制数据的潜在类模型的拟合优度问题。引入的检验统计量族是基于φ-散度测度的，φ-散度测度是极大似然的自然扩展。我们还处理的问题，测试嵌套序列的二进制数据的潜在类模型。对于这些统计量，我们得到了它们的渐近分布。我们将考虑Felipe et al（2014）中介绍的用于解决估计问题的相合估计量。最后，进行了模拟研究，以比较的效率，在这个意义上的水平和权力，本文考虑的新的统计量的样本量是不够大，适用于渐近结果。
2014-07-08 stat.ME
Divergence-based robust inference under proportional hazards model for one-shot device life-test
在本文中，我们发展了稳健估计和测试的一杆设备测试下的比例风险假设的基础上的分歧措施。通过详细的蒙特卡罗模拟研究和数值例子，开发的推理程序被证明是更强大的比经典的程序，基于极大似然估计。
2020-04-28 stat.AP
Statistical divergences in high-dimensional hypothesis testing and a modern technique for estimating them
本文提出利用统计散度量化高维数据总体分布与竞争模型的差异，并借助现代函数优化技术仅凭双分布样本估计散度，从而构建无需似然函数的双样本假设检验方法。
2024-08-01 hep-ex hep-ph math.ST
A Composite Divergence Approach to Robust Multivariate Estimation under Cellwise and Casewise Contamination
Indian Statistical Institute（印度统计研究所）；University of Trento（特伦托大学）
该研究提出复合密度幂散度（CDPD），构建最小CDPD估计量（MCDPDE），结合复合似然的计算可扩展性与密度幂散度的稳健性，可同时抵御单元式与个案式污染，且已通过R包mvdpd实现，模拟与实证显示其稳健性优于极大复合似然估计且效率相当。
2026-08-20 math.ST stat.CO stat.ME
Restricted distance-type Gaussian estimators based on density power divergence and their applications in hypothesis testing
Zhang（2019）提出了一种基于高斯分布的一般参数模型的一般估计方法，其中数据的似然性难以获得或未知，但均值和方差-协方差阵已知。Castilla和Zografos（2021）将该方法扩展到基于密度幂散度的估计器，该估计器比基于似然的高斯估计器更鲁棒，可以防止数据污染。本文引入了约束最小密度幂离高斯估计（MDPDGE），并研究了它的主要渐近性质。此外，我们通过其影响函数分析来检验它的鲁棒性。在许多实际情况下，特别是在检验复合原假设时，需要约束估计，这里给出了对潜在分布的内在约束的约束估计。此外，我们得到了稳健的Rao型检验统计量的基础上的MDPDGE测试简单的原假设，我们推导出显式表达式的一些主要的重要分布。最后，我们通过仿真研究，实证评估的效率和鲁棒性的方法。
2023-02-14 math.ST stat.TH
Learning Deep Energy Models: Contrastive Divergence vs. Amortized MLE
Dartmouth College（达特茅斯学院）
我们提出了许多用于学习深度能量模型的新算法，并展示了它们的属性。我们表明，我们的SteinCD在测试可能性方面表现良好，而SteinGAN在生成逼真的图像方面表现良好。我们的研究结果表明，通过将GAN风格的方法与传统的基于能量的学习相结合，可以学习更好的模型。
2017-07-04 cs.LG stat.ML
The Minimum S-Divergence Estimator under Continuous Models: The Basu-Lindsay Approach
基于统计分歧最小化的鲁棒推理已被证明是经典的基于最大似然的技术的有用的替代方案。最近，Ghosh等人（2013）提出了一种用于稳健统计推断的一般发散度量，称为S-发散族。Ghosh（2014）讨论了密度的离散模型的渐近性质。在本文中，我们建立了连续模型下的最小S-散度估计的渐近性质。在这里，我们使用Basu-Lindsay方法（1994）来平滑模型密度，与以前的方法不同，它避免了核带宽选择的许多复杂性。通过大量的模拟研究和真实数据的例子，说明了所得到的估计在效率和鲁棒性方面的性能。
2014-12-18 math.ST stat.AP stat.ME
Approximation and Estimation of s-Concave Densities via Rényi Divergences
本文研究了$s$ -凹密度的Rényi散度逼近和估计.我们首先证明了概率测度$Q$被一个$s$ -凹密度近似的存在性，并且通过Koenker和Mizera（2010）提出的最小化发散泛函的过程是唯一的，当且仅当$Q$允许全维支持和一阶矩。我们还显示了$Q$中的发散泛函的连续性：如果$Q_n \to Q$在Wasserstein度量中，则投影密度在加权$L_1$度量中收敛，并且一致收敛于极限连续集的闭子集上。此外，投影密度的方向导数也具有局部一致收敛性。这包含了模型上和模型外的情况，并需要强的一致性的发散估计的$s$凹密度在温和的条件下。$s$ -凹密度的Rényi散度估计的一个有趣且重要的特征是，该估计与通过极大似然方法估计对数-凹密度内在相关。事实上，我们证明了至少对于$d=1$，$s$凹密度的Rényi散度估计收敛于对数凹密度的最大似然估计为$s \nearrow 0$。Rényi散度估计与对数凹分布的极大似然估计具有相似的特征，这使得我们可以在假设底层密度是$s$ -凹的情况下发展逐点渐近分布理论。
2015-10-22 math.ST stat.TH
Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces
最常用的统计推断方法之一是最大似然估计（MLE）。最大似然估计需要计算统计模型中的归一化常数，这往往是棘手的。使用未归一化的统计模型并用其他评分规则替换可能性是规避这种高计算成本的好方法，其中评分规则测量模型与观察样本的拟合优度。评分规则与Bregman散度密切相关，Bregman散度是两个概率分布之间的差异度量。在本文中，目的是提供一个一般的框架，统计推断使用离散样本空间上的非规范化统计模型。评分规则的本地化版本是重要的，以获得计算效率的估计。我们发现，当地的评分规则有关的Bregman分歧的本地化版本。通过局部Bregman分歧，我们研究了局部评分规则的统计一致性。证明了一致性是由离散样本空间上邻域系统的结构决定的。此外，我们还展示了一种将局部评分规则应用于分类问题的方法。在数值实验中，我们研究了邻域系统与估计精度之间的关系。
2016-04-25 math.ST stat.TH
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联盟（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学美因茨大学医学中心）
本文提出了一种统一框架，用于在分布不确定性下进行渐近最小最大稳健假设检验，通过非线性方程组计算，并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
General bootstrap for dual phi-divergence estimates
本文介绍了由交换加权样本构造的自举$ϕ$ -散度估计的一般概念。利用经验过程理论，得到了这些广义Bootstrapped $ϕ$ -散度估计的渐近性质，并利用它们构造了具有渐近正确覆盖概率的Bootstrapped置信集.讨论了一些实际问题，特别是护送参数的选择和几个发散的例子进行了调查。仿真结果表明，所提出的估计器的有限样本性能。
2011-10-15 math.ST stat.ME stat.TH
Divergence rates of Markov order estimators and their application to statistical estimation of stationary ergodic processes
有限字母表的平稳遍历过程估计的有限记忆过程从一个样本，一个n-长度的实现的过程，其中的记忆深度的估计过程也估计从样本使用惩罚最大似然（PML）。在连续率和非零性的假设下，得到了关于$\bar{d}$ -距离收敛速率，并给出了显式常数.结果需要分析不一定是有限记忆过程的PML Markov阶估计量的发散性。这个发散问题的研究更一般性的三个信息标准：贝叶斯信息标准与广义惩罚项产生的PML，和归一化的最大似然和Krichevsky-Trofimov码长度。得到了估计阶数的上下界上界。利用预言序估计的概念，将相容马尔可夫序估计的概念推广到无限记忆过程，并给出了PML马尔可夫序估计的广义相容性.
2013-07-24 math.ST stat.TH
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题，并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中，两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下，我们得到了f-散度的最优估计，并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究，我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
On Learning-Curve Monotonicity for Maximum Likelihood Estimators
本文研究了最大似然估计器在不同参数设置下的学习曲线单调性，证明了高斯向量和伽马变量在特定条件下的单调性，并探讨了反向KL散度在指数族中的应用。
2025-12-24 cs.LG math.ST stat.ML
Minimum ϕ-divergence estimation in constrained latent class models for binary data
本文的主要目的是介绍和研究二进制项的潜在类模型中最小散度估计作为极大似然估计的替代的行为。正如下面将变得清楚的那样，最小散度估计量是极大似然估计量的自然扩展。研究了二元数据隐类模型最小散度估计的渐近性质.最后，为了比较这些新的估计量与极大似然估计量在样本量不足以应用渐近结果时的效率和稳健性，我们进行了模拟研究。
2014-05-31 stat.ME
Robust Hypothesis Testing with $α$-Divergence
提出了一种稳健的极小极大检验方法，该方法由两个名义分布关于一组距离（称为$α-$发散距离）的邻域决定。采用Sion的极大极小定理来刻画鞍值条件。推导了最不利分布、稳健判决准则和稳健似然比检验似然比检验。若标称概率分布满足对称性条件，则设计过程可大大简化。控制的鲁棒性程度的参数有界从上面和边界示出的是从一组方程的解决方案。所进行的模拟评估和验证的理论推导。
2016-01-24 stat.OT
Efficiency of maximum likelihood estimation for a multinomial distribution with known probability sums
对于一个多项分布，假设我们有一些类别的概率之和的先验知识。这允许我们在完整的（即，无约束）模型。预计该子模型下的极大似然估计（MLE）比全模型下的MLE具有更好的估计效率。本文给出了全模型和子模型的MLE风险关于Kullback-Leibler散度的渐近展开。结果表明，使用子模型，在某些情况下，风险的降低是相当小的。此外，当样本量较小时，使用亚模型可能会增加风险。
2021-06-04 math.ST stat.TH
Nonparametric logistic regression with deep learning
本文提出一种统一方法，在温和假设下直接证明非参数逻辑回归中最大似然估计在Hellinger距离下的收敛速率，并应用于深度神经网络，达到近乎极小极大最优速率。
2025-02-25 math.ST stat.ML stat.TH
A Generalized Bias-Variance Decomposition for Bregman Divergences
针对偏差-方差分解通常仅适用于平方误差的局限，本文提出Bregman散度下的广义分解（与指数族极大似然估计相关），补充清晰独立推导、额外讨论及文献参考，便于教学与研究。
2025-11-11 cs.LG stat.ML
Nonparametric identification and maximum likelihood estimation for hidden Markov model
研究有限状态隐马尔可夫模型的非参数辨识和极大似然估计。我们得到的参数识别以及马尔可夫链的顺序，如果转移概率矩阵有满秩和遍历，如果状态相关的分布都是不同的，但不一定是线性无关。在此基础上，发展了非参数极大似然估计理论。首先，我们证明了隐马尔可夫模型的渐近对比，Kullback-Leibler散度，确定了真正的参数向量非参数以及。其次，对于状态依赖密度的类，这是一个参数家庭的任意混合物，我们证明了非参数极大似然估计的一致性。这里，不需要假设混合分布的识别。数值特性的估计，以及非参数拟合优度拟合优度的模拟研究。
2015-09-30 math.ST stat.TH
How to detect a biased sample using the Renyi divergence measure?
Cochin University of Science and Technology（科钦科学与技术大学）
研究如何用雷尼散度测度检测有偏样本，提出针对未删失和I型删失数据的统计检验方法，通过模拟得临界值，经功效研究与其他检验比较，并分析真实数据集，展示该方法检测长度偏差实用价值。
2026-07-22 stat.OT
Distributionally Robust Parametric Maximum Likelihood Estimation
Stanford University（斯坦福大学）；University of Cyprus（塞浦路斯大学）
我们考虑的参数估计问题的概率生成模型规定使用一个自然的指数分布族。对于这个问题，典型的极大似然估计器通常在有限的训练样本量下过拟合，对噪声敏感，并且可能在下游预测任务上表现不佳。为了缓解这些问题，我们提出了一个分布鲁棒的极大似然估计，最大限度地减少最坏情况下的预期对数损失均匀的参数Kullback-Leibler球周围的参数标称分布。利用同一自然指数族中两个分布之间的库尔贝克-莱布勒散度的解析表达式，我们证明了最小-最大估计问题在广泛的环境中是易于处理的，包括广义线性模型的鲁棒训练。我们的新的鲁棒估计也享有统计一致性，并提供了有前途的实证结果在回归和分类任务。
2020-10-11 cs.LG math.ST stat.ML
Likelihood-free Model Choice for Simulator-based Models with the Jensen--Shannon Divergence
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（威康桑格研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
根据数据选择合适的模型结构和参数维数在统计研究中有着丰富的历史，其中第一个开创性的方法是在20世纪70年代开发的，例如Akaike和Schwarz的模型评分标准，这些标准受到信息论的启发，并体现了被称为Occam剃刀的基本原理。在这些开创性的工作之后，模型选择很快被确立为自己的研究领域，在计算机科学和统计学中获得了相当大的关注。然而，到目前为止，已经有有限的尝试，以获得评分标准的模拟器为基础的模型缺乏一个可能性的表达。贝叶斯因素已被认为是这样的模型，但争论已经提出了支持和反对使用它们和周围的问题有关的一致性。在这里，我们使用的渐近性质的詹森-香农发散（JSD），以获得一致的模型评分标准的似然自由设置称为JSD-Razor。分析了JSD-Razor与基于可能性的方法的既定评分标准的关系，并使用合成和真实建模示例展示了我们的标准的有利特性。
2022-06-08 cs.LG stat.ME
Parametric dependence between random vectors via copula-based divergence measures
本文通过$Phi$ -分歧族提出了多组可能大小不同的随机变量之间基于Copula的依赖量化。为此目的提供了一个公理化的框架，之后，我们专注于绝对连续的设置假设Copula密度存在。我们考虑参数和半参数框架，讨论估计程序，并报告所提出的估计的渐近性质。特别是，我们首先集中在高斯copula方法产生明确的和有吸引力的依赖系数的特定选择的$Phi$，这是更适合估计。接下来，考虑一般参数copula族，特别注意嵌套的阿基米德copula，它是随机向量依赖建模的自然选择。通过实例说明了结果。模拟和现实世界的金融数据的应用程序也提供了。
2023-02-27 math.ST stat.ME stat.TH
