Minimum divergence estimators, maximum likelihood and exponential families
本文证明了参数模型中两个分布之间散度的对偶表示公式。由此产生的参数的发散估计。这些估计量不使用任何分组或平滑。证明了在任意正则指数族上，所有的可微发散都导出了参数的相同估计，这就是极大似然估计。
2011-08-20 stat.ME
Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila；Google（谷歌）；CIFAR
在这项工作中，我们提出了一个新的家庭的生成流的增强数据空间，目的是提高表现力，而不会大幅增加计算成本的采样和评估的下限的可能性。理论上，我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验，我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Weighted sampling, Maximum Likelihood and minimum divergence estimators
本文研究了Sanov型大偏差概率下参数模型的极大似然。加权抽样下的参数模型的极大似然估计被证明与相对于权重分布定义的特定发散准则的最小化有关。由此产生的推理过程的一些属性; Bahadur效率的测试也被认为是在这种情况下。
2012-07-27 math.ST stat.ME stat.TH
Projection Theorems of Divergences and Likelihood Maximization Methods
发散的投影定理使我们能够找到一个发散在一个特定的统计模型上的反向投影，作为一个发散在一个不同的但更“简单”的统计模型上的正向投影，这反过来又导致求解一个线性方程组。发散的反向投影与稳健统计中的极大似然估计及其变体等各种估计方法密切相关。我们考虑了鲁棒统计中广泛使用的三个参数型发散族的投影定理，即Rényi发散（或Cressie-Reed幂发散）、密度幂发散和相对$α$ -熵（或对数密度幂发散）.我们从通常的似然最大化方法和充分性原则探讨这些投影定理。特别地，我们证明了用各自发散的投影定理和直接求解相应的估计方程来解决估计问题的等价性。我们还导出了密度幂发散的投影定理。
2017-06-16 cs.IT math.IT math.PR
On divergences tests for composite hypotheses under composite likelihood
众所周知，在某些情况下，计算似然函数并不容易，因为数据集可能很大或者模型太复杂。在这种情况下，通过乘以变量的受试者的似然性得到的复合似然性可能是有用的。将经典的似然比检验统计量推广到复合似然框架中，作为解决复合似然背景下检验问题的一个过程。本文引入并研究了一类新的复合似然检验统计量：复合发散检验统计量，用于解决简单原假设或复合原假设的检验问题。为此，我们介绍和研究的限制最大合成似然估计的渐近分布。
2016-03-01 stat.ME
Estimating divergence functionals and the likelihood ratio by convex risk minimization
我们开发和分析$M$ -估计方法的分歧泛函和似然比的两个概率分布。我们的方法是基于一个非渐近变分表征的$f$ -分歧，这使得估计分歧的问题，通过凸经验风险优化来解决。由此产生的估计是简单的实现，只需要标准的凸规划的解决方案。我们提出了这些估计的一致性和收敛性分析。仅在密度比的条件下，我们证明了我们的估计在一定的条件下可以获得最优的似然比和发散泛函的极小极大率。我们推导出一个有效的优化算法来计算我们的估计，并通过模拟说明其收敛性和实际可行性。
2009-04-22 cs.IT math.IT math.ST
Asymptotic expansion of the risk of maximum likelihood estimator with respect to $α$-divergence as a measure of the difficulty of specifying a parametric model -- with detailed proof
对于一个给定的参数概率模型，我们考虑了极大似然估计关于$α$ -发散的风险，其中包括Kullback-Leibler发散，Hellinger距离和$χ^2$发散的特殊情况.渐近展开的风险是相对于样本量的顺序$n^{-2}$。展开式中的每一项都用参数概率模型所形成的黎曼流形的几何性质来表示。我们试图通过这种扩展来衡量指定模型的难度。
2018-10-11 math.ST stat.TH
Phi-divergence statistics for the likelihood ratio order: an approach based on log-linear models
当一些治疗根据有序分类变量的类别排序时（例如，副作用的程度），人们可能有兴趣知道治疗是否同样有效。一种方法是测试似然比顺序是否得到严格验证。推导了一种基于对数线性模型的统计推断方法，并提出了用于检验的φ-散度检验统计量。本文以对数线性模型为研究对象，建立了φ-散度检验统计量的渐近分布理论。一个说明性的例子激励的程序和模拟研究的小和中等的样本量表明，它是可能的，找到一个确切的大小更接近标称大小和更高的权力相比，经典的似然比的Φ发散检验统计量。
2014-02-21 stat.ME
Empirical Likelihood Based Inference for a Divergence Measure Based on Survival Extropy
本文提出基于生存熵的分歧度度量及其非参数估计方法，并通过模拟研究验证其在实际应用中的有效性，用于检测图像数据集中的细微差异。
2025-12-02 math.ST stat.TH
Nonparametric likelihood-free inference with Jensen-Shannon divergence for simulator-based models with categorical output
Helsinki Institute of Information Technology (HIIT)（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（惠康桑格研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
基于模拟器的统计模型的无可能性推理最近在机器学习和统计社区都引起了极大的兴趣。这些研究领域的主要焦点是通过各种类型的蒙特卡罗采样算法或基于深度神经网络的代理模型来近似模型参数的后验分布。迄今为止，基于模拟器的模型的频率论推理受到的关注要少得多，尽管它特别适用于大数据应用，其中可能性的隐式渐近近似预计是准确的，并且可以利用计算效率高的策略。在这里，我们得出了一组理论结果，使估计，假设检验和置信区间的模型参数使用渐近性质的詹森-香农发散的建设。这样的渐近近似提供了一个快速的替代计算密集型的方法，可以是基于模拟器的模型的各种应用程序的吸引力。61
2022-05-26 cs.LG stat.ME
StAD: Stein Amortized Divergence for Fast Likelihoods with Diffusion and Flow
Institute of Astronomy（天文研究所）；Kavli Institute for Cosmology, University of Cambridge, Cambridge, UK（剑桥大学卡文迪许实验室，剑桥，英国）；Research Computing Services, University of Cambridge, Cambridge, UK（剑桥大学研究计算服务）；The Oskar Klein Centre, Department of Physics, Stockholm University, Stockholm, SE（斯德哥尔摩大学物理系奥斯卡·克莱因中心）；Cavendish Laboratory, Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系卡文迪许实验室）
本文提出StAD方法，利用Langevin-Stein算子预测和学习PF-ODE的散度，无需计算雅可比矩阵，提升了似然预测的效率和稳定性。
2026-05-15 astro-ph.IM cs.LG stat.ML
Pseudo-Spherical Contrastive Divergence
Stanford University（斯坦福大学）
基于能量的模型（EBM）提供灵活的分布参数化。然而，由于难以处理的分区函数，它们通常通过最大似然估计的对比发散来训练。在本文中，我们提出了伪球形对比发散（PS-CD）推广EBM的最大似然学习。PS-CD是从一个家庭的严格适当的齐次评分规则的最大化，这避免了计算的棘手的分区函数，并提供了一个广义家庭的学习目标，包括对比发散作为一个特殊情况。此外，PS-CD允许我们灵活地选择不同的学习目标训练EBM没有额外的计算成本或变分极大极小优化。理论分析和实验结果表明，PS-CD方法具有良好的建模灵活性和对数据污染的鲁棒性，优于最大似然法和$f$ -EBM方法.
2021-11-01 cs.LG
Learning Deep Energy Models: Contrastive Divergence vs. Amortized MLE
Dartmouth College（达特茅斯学院）
我们提出了许多用于学习深度能量模型的新算法，并展示了它们的属性。我们表明，我们的SteinCD在测试可能性方面表现良好，而SteinGAN在生成逼真的图像方面表现良好。我们的研究结果表明，通过将GAN风格的方法与传统的基于能量的学习相结合，可以学习更好的模型。
2017-07-04 cs.LG stat.ML
The Hellinger Bounds on the Kullback-Leibler Divergence and the Bernstein Norm
University of Chicago（芝加哥大学）
本文研究了Hellinger距离作为Kullback-Leibler散度和Bernstein范数上界的条件，并推广了相关结果以放松估计器的正则性条件。
2026-01-25 econ.EM math.ST stat.TH
Bridging Theory and Practice: Statistical Inference for Latent Space Models of Networks
Department of Mathematics, Hong Kong University of Science and Technology（香港科技大学数学系）；Department of Statistics, Florida State University（佛罗里达州立大学统计系）
本文提出统一框架，解决潜在空间模型统计推断中理论与实践的差距问题，通过放宽谱多重性约束和开发新适应性准则，提升最大似然估计的实用性与统计严谨性。
2026-05-09 math.ST stat.TH
Parametric estimation and tests through divergences and duality technique
我们通过离散或连续参数模型的发散优化介绍估计和检验程序。这种方法是基于一个新的对偶表示的分歧。我们对待点估计和测试简单和复合假设，扩展最大似然技术。另一种观点在最大似然法，估计和测试，给出。我们证明了所提出的估计的存在性和一致性。在零假设和备择假设下，给出了估计和检验统计量（包括广义似然比检验统计量）的极限律，并推导了幂函数的逼近式.当参数可以是参数空间的边界值时，提出了一种构造置信区域的新方法。同时，对广义似然比检验中与混合样本个数有关的不规则性问题给出了解决方法，并基于符号有限测度上的$χ^{2}$ -散度和对偶技术提出了一种新的检验方法.
2008-11-22 math.ST stat.TH
Empirical phi-divergence test statistics in the logistic regression model
在本文中，我们应用分歧措施的经验似然适用于逻辑斯谛回归模型。我们定义了一个家庭的经验检验统计量的基础上的分歧措施，称为经验φ发散检验统计量，扩展了经验似然比检验。我们研究了这些经验检验统计量的渐近分布，证明了这类检验统计量的渐近分布是相同的，并且与经典的经验似然比似然比检验的渐近分布是相同的。接下来，我们研究了这个家族中成员的幂函数，表明本文中介绍的经验φ-发散检验在Fraser意义下是一致的。为了比较在这一新的家庭，在本文中第一次考虑的经验φ发散检验统计量的行为之间的差异，我们进行了模拟研究。
2021-12-02 math.ST stat.TH
Clarifying MCMC-based training of modern EBMs : Contrastive Divergence versus Maximum Likelihood
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）
基于能量的模型（EBM）框架是生成式建模的一种非常通用的方法，它试图学习和利用仅通过非归一化分数定义的概率分布。最近，由于使用卷积神经网络（CNN）对分布进行参数化而在图像生成中获得了令人印象深刻的结果，它越来越受欢迎。然而，现代循证医学背后的动机和理论基础往往是缺席最近的论文，这有时会导致一些混乱。特别是，流行的基于MCMC的学习算法对比发散（CD）背后的理论依据经常被掩盖，我们发现这导致了最近有影响力的论文中的理论错误（Du & Mordatch，2019; Du等人，2020年）。在提供了基于MCMC的训练的第一原理介绍之后，我们认为他们使用的学习算法实际上不能被描述为CD，并根据新的解释重新解释他们的方法。最后，我们讨论了我们的新解释的含义，并提供了一些说明性的实验。
2022-02-24 cs.LG
Bridging Stochastic Flow Maps and Boltzmann Generators with Normalizing Flows
Flatiron Institute（熨斗研究所）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出NF$^2$M，结合随机流映射与归一化流构建玻尔兹曼生成器，通过逐步重加权去噪转换提升采样效率与样本质量，在肽系统上验证了有效性。
2026-09-29 cs.LG stat.ML
"Best-of-Many-Samples" Distribution Matching
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
生成对抗网络（GANs）可以在生成建模任务中实现最先进的样本质量，但存在模式坍塌问题。另一方面，变分自编码器（VAE）明确地最大化基于重建的数据对数似然，迫使其覆盖所有模式，但遭受较差的样本质量。最近的工作提出了混合VAE-GAN框架，该框架将基于GAN的合成似然性集成到VAE目标，以解决模式坍塌和样本质量问题，但成功有限。这是因为VAE目标强制在数据对数似然性和对潜在先验的发散之间进行权衡。合成似然比项在训练过程中也表现出不稳定性。我们提出了一个新的目标与“最佳的多样本”重建成本和稳定的直接估计的合成似然。这使得我们的混合VAE-GAN框架能够同时实现高数据对数似然和低对潜在先验的发散，并且在模式覆盖和质量方面比混合VAE-GANs和普通GANs都有显着改善。
2019-09-27 cs.LG stat.ML
Empirical Survival Jensen-Shannon Divergence as a Goodness-of-Fit Measure for Maximum Likelihood Estimation and Curve Fitting
决定系数称为$R^2$，通常用作拟合线性模型的拟合优度标准。在拟合非线性模型时，$R^2$有些争议，尽管它可以根据具体情况进行推广，以处理特定模型，如logistic模型。假设我们使用极大似然估计方法将参数分布拟合到数据集。测量拟合参数的拟合优度的一般方法是使用非参数测量来比较包括原始数据的经验分布和拟合模型。特别是，为了这个目的，我们提出了生存詹森-香农发散（$SJS$）和它的经验对应（${\cal E}SJS$）作为一个度量，这是有界的，是一个自然的概括詹森-香农发散。我们证明，通过一个简单的程序，利用${\cal E}SJS$，它可以被用作极大似然估计或曲线拟合的一部分，作为一个衡量拟合优度，包括建设一个置信区间的拟合参数分布。此外，我们用模拟数据和三个经验数据集证明了所提出方法的有效性。
2019-06-04 physics.data-an q-fin.ST stat.ME
Bridging Human and LLM Judgments: Understanding and Narrowing the Gap
Department of Statistics, University of Michigan（密歇根大学统计学系）；Institute of Foundation Models, MBZUAI（基础模型研究院）
Bridge通过统一统计框架弥合人类与LLM判断差距，改进评分并揭示系统性差异。
2025-12-01 cs.AI cs.CL cs.LG
Asymptotic Statistical Analysis of $f$-divergence GAN
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）
生成对抗网络（GANs）在数据生成方面取得了巨大的成功。然而，其统计特性尚未完全了解。在本文中，我们考虑的统计行为的一般$f$ -发散制定的GAN，其中包括Kullback-Leibler分歧是密切相关的最大似然原理。我们证明了，对于正确指定的参数生成模型，在适当的正则性条件下，具有相同类的所有$f$ -发散GANs都是渐近等价的。此外，通过适当地选择局部最优估计，它们渐近地等价于最大似然估计。对于错误指定的生成模型，具有不同$f$ -发散的GANs {收敛到不同的估计器}，因此不能直接比较。然而，研究表明，对于一些常用的$f$ -分歧，原始$f$ -GAN并不是最佳的，因为当原始$f$ -GAN公式中的鉴别器训练被逻辑斯谛回归取代时，可以实现更小的渐进方差。由此产生的估计方法被称为对抗梯度估计（AGE）。实验结果支持了该理论，并证明了在模型误设定情况下AGE优于原始$f$ -GANs。
2022-09-14 cs.LG math.ST stat.ML
Training Deep Energy-Based Models with f-Divergence Minimization
Stanford University（斯坦福大学）
基于能量的深度模型（EBM）在分布参数化方面非常灵活，但由于难以处理的配分函数而具有计算挑战性。它们通常通过最大似然进行训练，使用对比发散来近似数据和模型分布之间的KL发散的梯度。虽然KL发散有许多理想的属性，但其他f发散在训练隐式密度生成模型（如生成对抗网络）方面表现出了优势。在本文中，我们提出了一个通用的变分框架称为f-EBM训练EBM使用任何所需的f-发散。我们引入了相应的优化算法，并利用非线性动力系统理论证明了其局部收敛性。实验结果证明了f-EBM优于对比发散，以及使用KL以外的f-发散训练EBM的好处。
2020-07-21 cs.LG stat.ML
Empirical phi-divergence test-statistics for the equalityof means of two populations
经验φ-发散检验统计量已被证明是一个有用的技术简单的原假设，以改善有限样本行为的经典似然比检验统计量，以及模型误设定问题，在这两种情况下的一个人口的问题。本文介绍了两个样本问题的方法。仿真研究表明，在这种情况下，新的检验统计量成为一个有竞争力的工具，相对于经典的z检验和似然比检验统计量。
2016-01-14 stat.ME
Bridging the ELBO and MMD
University College London（伦敦大学学院）
训练生成模型（如变分自动编码器（VAE））的挑战之一是避免后验崩溃。当生成器的容量太大时，容易忽略潜在代码。当数据集很小时，这个问题会加剧，并且潜在维度很高。问题的根源是ELBO目标，特别是目标函数\citep{zhao2019infovae}中的Kullback-Leibler（KL）发散项。本文提出了一种新的目标函数，以取代KL项与一个模仿最大平均差异（MMD）的目标。本文还介绍了一种新的技术，称为潜在裁剪，用于控制潜在空间中样本之间的距离。使用新的目标函数，在MNIST和MNIST Fashion数据集上设计和训练了一个名为$μ$ -VAE的概率自动编码器模型，并显示出优于使用ELBO和$β$ -VAE目标训练的模型。$μ$ -VAE不太容易发生后部塌陷，并且可以生成高质量的重建和新样本。潜在的表示学习$μ$ -VAE被证明是好的，可以用于下游的任务，如分类。
2019-10-29 cs.LG stat.ML
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型，观察收集的形式加权邻接矩阵，每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果，表征成功和失败的最大似然估计边缘权重时，从离散分布之间的精确边界，涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时，意味着边缘分布充分分离，最大似然法成功，概率趋于1;当Renyi散度低于阈值时，最大似然法失败，概率远离0。在图形通道的语言中，Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值，专门为未加权块模型，并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上，我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后，我们讨论的后果，我们的界限的相关问题的截尾块模型和子矩阵本地化，这可能被视为特殊情况下，我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Robust minimum divergence estimation in a spatial Poisson point process
针对物种分布建模中似然分析因模型错误设定而不稳健的问题，提出一种基于泊松点过程新散度的稳健估计方法，通过对对数似然方程加权减轻异质观测影响，提升了预测性能。
2023-06-30 stat.ME
Bridging GANs and Bayesian Neural Networks via Partial Stochasticity
本文通过将GANs视为具有部分随机性的贝叶斯神经网络，提出平滑损失景观和最小描述长度方法，以提升GANs的性能和理解。
2026-02-01 cs.CV cs.LG stat.ML
Empirical phi-divergence test statistics for testing simple and composite null hypotheses
本文的主要目的是首先介绍一个新的家庭的经验检验统计量测试一个简单的原假设时，通过一组特定的无偏估计函数定义的参数向量。该检验统计量族基于两个概率向量之间的距离，其中第一概率向量通过使参数向量上的经验似然最大化而获得，并且第二向量在简单的原假设下从参数的固定向量定义。为此目的所考虑的距离是φ-发散度量。然后推导出该族检验统计量的渐进分布。所提出的方法是说明通过著名的数据Newcomb的测量光的通过时间。模拟研究进行比较其性能与经验的似然比检验时，置信区间构造的基础上，小样本量。结果表明，“经验修正的似然比检验统计量”是经验似然比检验统计量的一种有竞争力的替代方法，并且在数据中存在污染的情况下比经验似然比检验统计量更稳健.最后，我们提出了经验的Φ发散检验统计量测试复合原假设，并提出了一些渐近以及模拟结果，这些测试程序的性能进行评估。
2014-08-17 math.ST stat.ME stat.TH
Bridging Explicit and Implicit Deep Generative Models via Neural Stein Estimators
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
有两种类型的深层生成模型：显式和隐式。前者定义了一个明确的密度形式，允许似然推断;而后者的目标是从随机噪声到生成的样本的灵活变换。虽然这两类生成模型在许多应用中显示出强大的功能，但单独使用时，它们都有各自的局限性和缺点。为了充分利用这两种模型并实现相互补偿，我们提出了一种新的联合训练框架，该框架通过Stein差异将显式（未归一化）密度估计器和隐式样本生成器连接起来。我们表明，我们的方法1）通过内核Sobolev范数惩罚和Moreau-Yosida正则化诱导新的相互正则化，2）稳定训练动态。实验结果表明，与训练单个对应样本相比，该方法可以帮助密度估计器更准确地识别数据模式，并引导生成器输出更高质量的样本。当训练样本被污染或有限时，新方法也显示出有希望的结果。
2021-10-26 cs.LG stat.ML
A Generalized Bias-Variance Decomposition for Bregman Divergences
针对偏差-方差分解通常仅适用于平方误差的局限，本文提出Bregman散度下的广义分解（与指数族极大似然估计相关），补充清晰独立推导、额外讨论及文献参考，便于教学与研究。
2025-11-11 cs.LG stat.ML
A simulation study of semiparametric estimation in copula models based on minimum Alpha-Divergence
本文的目的是介绍两种估计copula参数的半参数方法。这些方法是基于最小α-散度之间的非参数估计copula密度使用局部似然概率单位变换方法和一个真正的copula密度函数。一个蒙特卡罗研究进行测量这些方法的性能的基础上，海林格距离和奈曼分歧的特殊情况下，阿尔法发散。仿真结果进行了比较，最大伪李克图（MPL）估计作为一种传统的估计方法，在著名的二元Copula模型。这些结果表明，基于最小伪Hellinger距离估计的方法在小样本量和弱相关性的情况下具有良好的性能。将参数估计方法应用于水文学中的一个实际数据集。
2020-09-11 stat.ME stat.OT
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research（微软研究院）
生成式神经采样器是使用前馈神经网络实现采样的概率模型：它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力，可以有效地计算样本和导数，但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明，生成对抗的方法是一个特殊的情况下，现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
On Learning-Curve Monotonicity for Maximum Likelihood Estimators
本文研究了最大似然估计器在不同参数设置下的学习曲线单调性，证明了高斯向量和伽马变量在特定条件下的单调性，并探讨了反向KL散度在指数族中的应用。
2025-12-24 cs.LG math.ST stat.ML
Divergence-based robust inference under proportional hazards model for one-shot device life-test
在本文中，我们发展了稳健估计和测试的一杆设备测试下的比例风险假设的基础上的分歧措施。通过详细的蒙特卡罗模拟研究和数值例子，开发的推理程序被证明是更强大的比经典的程序，基于极大似然估计。
2020-04-28 stat.AP
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题，并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中，两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下，我们得到了f-散度的最优估计，并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究，我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
Statistical divergences in high-dimensional hypothesis testing and a modern technique for estimating them
本文提出利用统计散度量化高维数据总体分布与竞争模型的差异，并借助现代函数优化技术仅凭双分布样本估计散度，从而构建无需似然函数的双样本假设检验方法。
2024-08-01 hep-ex hep-ph math.ST
From Language to Programs: Bridging Reinforcement Learning and Maximum Marginal Likelihood
Stanford University（斯坦福大学）
我们的目标是学习一个语义解析器，当只有间接监督时，将自然语言语句映射到可执行程序中：示例被标记为正确的执行结果，而不是程序本身。因此，我们必须在程序空间中搜索那些输出正确结果的程序，同时不要被虚假程序误导：不正确的程序碰巧输出正确的结果。我们连接两个常见的学习范式，强化学习（RL）和最大边际似然（MML），然后提出一个新的学习算法，结合两者的优势。新算法通过将MML中传统采用的系统搜索与RL的随机探索相结合，并通过更新参数，使概率在一致的程序中分布得更均匀，来防止虚假程序。我们将我们的学习算法应用到一个新的神经语义解析器，并在最近的上下文相关的语义解析任务上显示出比现有的最先进的结果显着的收益。
2017-04-25 cs.AI cs.LG stat.ML
Restricted distance-type Gaussian estimators based on density power divergence and their applications in hypothesis testing
Zhang（2019）提出了一种基于高斯分布的一般参数模型的一般估计方法，其中数据的似然性难以获得或未知，但均值和方差-协方差阵已知。Castilla和Zografos（2021）将该方法扩展到基于密度幂散度的估计器，该估计器比基于似然的高斯估计器更鲁棒，可以防止数据污染。本文引入了约束最小密度幂离高斯估计（MDPDGE），并研究了它的主要渐近性质。此外，我们通过其影响函数分析来检验它的鲁棒性。在许多实际情况下，特别是在检验复合原假设时，需要约束估计，这里给出了对潜在分布的内在约束的约束估计。此外，我们得到了稳健的Rao型检验统计量的基础上的MDPDGE测试简单的原假设，我们推导出显式表达式的一些主要的重要分布。最后，我们通过仿真研究，实证评估的效率和鲁棒性的方法。
2023-02-14 math.ST stat.TH
Approximation and Estimation of s-Concave Densities via Rényi Divergences
本文研究了$s$ -凹密度的Rényi散度逼近和估计.我们首先证明了概率测度$Q$被一个$s$ -凹密度近似的存在性，并且通过Koenker和Mizera（2010）提出的最小化发散泛函的过程是唯一的，当且仅当$Q$允许全维支持和一阶矩。我们还显示了$Q$中的发散泛函的连续性：如果$Q_n \to Q$在Wasserstein度量中，则投影密度在加权$L_1$度量中收敛，并且一致收敛于极限连续集的闭子集上。此外，投影密度的方向导数也具有局部一致收敛性。这包含了模型上和模型外的情况，并需要强的一致性的发散估计的$s$凹密度在温和的条件下。$s$ -凹密度的Rényi散度估计的一个有趣且重要的特征是，该估计与通过极大似然方法估计对数-凹密度内在相关。事实上，我们证明了至少对于$d=1$，$s$凹密度的Rényi散度估计收敛于对数凹密度的最大似然估计为$s \nearrow 0$。Rényi散度估计与对数凹分布的极大似然估计具有相似的特征，这使得我们可以在假设底层密度是$s$ -凹的情况下发展逐点渐近分布理论。
2015-10-22 math.ST stat.TH
Wald type and Phi-divergence based test-statistics for isotonic binomial proportions
本文针对独立二项随机变量的假设检验中涉及比例不等式约束的重要问题，引入并研究了新的检验统计量：基于Wald型和φ-散度的检验统计量。作为基于φ-散度的检验统计量的一种特殊情况，考虑了经典的似然比检验。给出了一个说明性的例子，并在广泛的模拟研究中分析了它们在小样本和中等样本量样本量下的性能。
2014-02-26 stat.ME
Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces
最常用的统计推断方法之一是最大似然估计（MLE）。最大似然估计需要计算统计模型中的归一化常数，这往往是棘手的。使用未归一化的统计模型并用其他评分规则替换可能性是规避这种高计算成本的好方法，其中评分规则测量模型与观察样本的拟合优度。评分规则与Bregman散度密切相关，Bregman散度是两个概率分布之间的差异度量。在本文中，目的是提供一个一般的框架，统计推断使用离散样本空间上的非规范化统计模型。评分规则的本地化版本是重要的，以获得计算效率的估计。我们发现，当地的评分规则有关的Bregman分歧的本地化版本。通过局部Bregman分歧，我们研究了局部评分规则的统计一致性。证明了一致性是由离散样本空间上邻域系统的结构决定的。此外，我们还展示了一种将局部评分规则应用于分类问题的方法。在数值实验中，我们研究了邻域系统与估计精度之间的关系。
2016-04-25 math.ST stat.TH
Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
本文提出F2D2框架，通过联合蒸馏减少流模型采样和似然评估的NFE数量，实现高效计算与高精度似然估计。
2026-04-17 cs.CV cs.LG
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联盟（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学美因茨大学医学中心）
本文提出了一种统一框架，用于在分布不确定性下进行渐近最小最大稳健假设检验，通过非线性方程组计算，并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
Scalable Inference-Time Annealing with Surrogate Likelihood Estimators
CMU-Pitt PhD Program in Computational Biology Dept. of Computational & Systems Biology, University of Pittsburgh, Pittsburgh, PA 15260, USA（卡内基梅隆大学-匹兹堡联合博士项目 计算生物学部门 计算与系统生物学系，匹兹堡大学，匹兹堡，PA 15260，USA）
提出可扩展推理时退火（SITA）方法，通过基于能量的模型实现快速代理似然，避免昂贵的散度计算，在丙氨酸二肽和三肽上取得最先进性能。
2026-06-08 cs.LG q-bio.BM
Distributionally Robust Parametric Maximum Likelihood Estimation
Stanford University（斯坦福大学）；University of Cyprus（塞浦路斯大学）
我们考虑的参数估计问题的概率生成模型规定使用一个自然的指数分布族。对于这个问题，典型的极大似然估计器通常在有限的训练样本量下过拟合，对噪声敏感，并且可能在下游预测任务上表现不佳。为了缓解这些问题，我们提出了一个分布鲁棒的极大似然估计，最大限度地减少最坏情况下的预期对数损失均匀的参数Kullback-Leibler球周围的参数标称分布。利用同一自然指数族中两个分布之间的库尔贝克-莱布勒散度的解析表达式，我们证明了最小-最大估计问题在广泛的环境中是易于处理的，包括广义线性模型的鲁棒训练。我们的新的鲁棒估计也享有统计一致性，并提供了有前途的实证结果在回归和分类任务。
2020-10-11 cs.LG math.ST stat.ML
The Empirical Likelihood Approach to Quantifying Uncertainty in Sample Average Approximation
我们研究的经验似然方法来构建一个给定的解决方案的最优值和最优性差距的置信区间，此后量化的样本平均近似的统计不确定性，优化问题的期望值目标和约束条件下，潜在的概率分布，通过有限的数据观察。这种方法依赖于两个分布鲁棒优化问题的不确定分布，与基于发散的不确定性集，适当校准，以提供渐近的统计保证。
2016-10-23 math.ST stat.ME stat.TH
Bridging Maximum Likelihood and Adversarial Learning via $α$-Divergence
Duke University（杜克大学）
最大似然（ML）和对抗学习是训练生成模型的两种流行方法，从许多角度来看，这些技术是互补的。ML学习鼓励捕获所有数据模式，其典型特征是稳定的训练。然而，ML学习倾向于在数据空间$e.g.$上分散分布概率质量，从而产生模糊的合成图像。众所周知，对抗性学习可以合成高度逼真的自然图像，尽管存在模式下降和精细训练等实际挑战。我们提出了一个$α$ -Bridge来统一ML和对抗学习的优势，通过$α$ -divergence实现从一个到另一个的平滑转移。我们揭示了$α$ -Bridge的概括与最近开发的规则化对抗学习的方法密切相关，为先前的工作提供了见解，并进一步理解了为什么$α$ -Bridge在实践中表现良好。
2020-07-13 cs.CV cs.LG stat.ML
Divergence rates of Markov order estimators and their application to statistical estimation of stationary ergodic processes
有限字母表的平稳遍历过程估计的有限记忆过程从一个样本，一个n-长度的实现的过程，其中的记忆深度的估计过程也估计从样本使用惩罚最大似然（PML）。在连续率和非零性的假设下，得到了关于$\bar{d}$ -距离收敛速率，并给出了显式常数.结果需要分析不一定是有限记忆过程的PML Markov阶估计量的发散性。这个发散问题的研究更一般性的三个信息标准：贝叶斯信息标准与广义惩罚项产生的PML，和归一化的最大似然和Krichevsky-Trofimov码长度。得到了估计阶数的上下界上界。利用预言序估计的概念，将相容马尔可夫序估计的概念推广到无限记忆过程，并给出了PML马尔可夫序估计的广义相容性.
2013-07-24 math.ST stat.TH
Divergence Minimization Preference Optimization for Diffusion Model Alignment
Stanford University（斯坦福大学）
针对现有扩散模型偏好优化方法易陷入次优均值寻求的问题，提出基于反向KL散度最小化的DMPO方法，理论上与原始RL优化方向渐近一致，实验中在多基准上PickScore均最优，实现更优的人类偏好对齐效果。
2025-10-06 cs.CV cs.LG
Nonparametric logistic regression with deep learning
本文提出一种统一方法，在温和假设下直接证明非参数逻辑回归中最大似然估计在Hellinger距离下的收敛速率，并应用于深度神经网络，达到近乎极小极大最优速率。
2025-02-25 math.ST stat.ML stat.TH
A Composite Divergence Approach to Robust Multivariate Estimation under Cellwise and Casewise Contamination
Indian Statistical Institute（印度统计研究所）；University of Trento（特伦托大学）
该研究提出复合密度幂散度（CDPD），构建最小CDPD估计量（MCDPDE），结合复合似然的计算可扩展性与密度幂散度的稳健性，可同时抵御单元式与个案式污染，且已通过R包mvdpd实现，模拟与实证显示其稳健性优于极大复合似然估计且效率相当。
2026-08-20 math.ST stat.CO stat.ME
Optimization-based Quantification of Simulation Input Uncertainty via Empirical Likelihood
我们研究了一种基于优化的方法来构造统计上准确的置信区间的仿真性能指标下的非参数输入不确定性。这种方法计算置信区间从模拟运行驱动的概率权重定义的数据，这是从解决优化问题，适当地假定平均发散约束。我们说明了这种方法如何提供计算效率和有限样本性能相比，引导和三角洲方法的好处。虽然类似于强大的优化，我们解释了程序设计，并通过经验似然法的泛化开发这种方法的严格的统计保证。
2019-02-13 stat.ME
