Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces
最常用的统计推断方法之一是最大似然估计(MLE)。最大似然估计需要计算统计模型中的归一化常数,这往往是棘手的。使用未归一化的统计模型并用其他评分规则替换可能性是规避这种高计算成本的好方法,其中评分规则测量模型与观察样本的拟合优度。评分规则与Bregman散度密切相关,Bregman散度是两个概率分布之间的差异度量。在本文中,目的是提供一个一般的框架,统计推断使用离散样本空间上的非规范化统计模型。评分规则的本地化版本是重要的,以获得计算效率的估计。我们发现,当地的评分规则有关的Bregman分歧的本地化版本。通过局部Bregman分歧,我们研究了局部评分规则的统计一致性。证明了一致性是由离散样本空间上邻域系统的结构决定的。此外,我们还展示了一种将局部评分规则应用于分类问题的方法。在数值实验中,我们研究了邻域系统与估计精度之间的关系。
2016-04-25 math.ST stat.TH
Characterization of Generalized Alpha-Beta Divergence and Associated Entropy Measures
Washington University in St. Louis(华盛顿大学圣路易斯分校);Duke University(杜克大学);Indian Statistical Institute(印度统计研究所)
探索α-β散度家族扩展得到广义α-β(GAB)散度超家族,给出其有效性条件与性质,讨论相关熵测度等,通过实例展示其在局部和全局稳健性间的平衡,为统计推断提供新工具。
2026-07-08 math.ST stat.TH
The Logarithmic Super Divergence and its use in Statistical Inference
本文引入了一个新的发散超族,它在精神上类似于Ghosh等人(2013)引入的S-发散族。这个新的族用作包含对数幂发散族(Renyi,1961; Maji,Chakraborty和Basu 2014)和对数密度幂发散族(Jones等人,2001年,作为特例。这个新的家庭和相应的最小距离程序的各种属性进行了讨论,特别强调的鲁棒性问题,这些属性通过仿真研究证明。特别是该方法证明了一阶影响函数在评估相应的最小距离程序的鲁棒性方面的局限性。
2014-07-15 math.ST stat.AP stat.ME
Characterizing the Functional Density Power Divergence Class
发散度量与统计推断、机器学习和信息论有着长期的联系。密度功率发散和相关的措施产生了许多有用的(和流行的)统计程序,它提供了一个很好的平衡模型效率,一方面和离群值的稳定性或鲁棒性。对数密度幂发散,一个特定的对数变换的密度幂发散,也已经非常成功地产生高效和稳定的推理程序,此外,它也导致了显着的演示应用在信息论。基于密度功率发散和对数密度功率发散(它们也分别被称为$β$ -发散和$γ$ -发散)的最小发散过程的成功使得寻找其他类似的发散是必要的和有意义的,这些发散可以以相同的精神作为密度功率发散的变换而获得。有了这个动机,我们寻找这样的密度功率发散的变换,这里称为功能密度功率发散类。本文的特点是这种功能密度功率发散类,从而确定了可用的发散措施,在这个结构中,可能会进一步探讨可能的应用在统计推断,机器学习和信息论。
2022-09-04 math.ST stat.TH
Principles of Bayesian Inference using General Divergence Criteria
当认识到所有候选参数化统计模型相对于数据生成过程被错误指定时,决策者(DM)当前必须关注参数值的推断,以最大限度地减少模型和过程之间的KL分歧(Walker,2013)。然而,人们早就知道,最小化KL发散对正确捕获样本分布的尾部有很大的影响。因此,DM需要担心他们的模型的鲁棒性尾部错误规范,如果他们想进行原则性推理。在本文中,我们减轻这些问题的DM。我们推进了一般贝叶斯更新(Bissiri,Holmes和Walker,2016)的最新方法学发展,提出了一个统计上很好的贝叶斯信念更新,目标是最小化更一般的分歧标准。我们改进了现有贝叶斯最小散度估计的动机和统计基础(Hooker和Vidyashankar,2014; Ghosh和Basu,2016),允许原则性很好的贝叶斯从模型中定位预测,这些预测在KL散度的一些替代散度度量方面接近真正的模型。我们的原则性表述使我们能够考虑比以前所考虑的更广泛的分歧。事实上,我们认为定义的分歧措施形式的任何统计分析的一个重要的,主观的一部分,并旨在提供一些决策理论的合理选择。我们说明了如何瞄准替代分歧措施可以影响简单的推理任务的结论,然后讨论我们的方法可能适用于更复杂的,高维模型。
2018-05-17 math.ST stat.TH
Statistical Depth Function Random Variables for Univariate Distributions and induced Divergences
研究单变量分布中半空间与单纯形深度随机变量的分布规律,并据此定义和分析深度诱导散度及两样本估计优势。
2023-04-25 math.ST stat.CO stat.ME
On robustness of Spectral Rényi divergence
Graduate School of Engineering Science, The University of Osaka(大阪大学大学院工学研究科);The Institute of Statistical Mathematics(统计数学研究所)
本文研究了时间序列谱密度的特定统计散度类——谱α-Rényi散度,揭示其与稳健统计中的γ-散度联系,并提出变分表示,证明其在频域中对异常值具有鲁棒性,提升了估计稳定性。
2026-04-21 math.ST stat.TH
Affine Invariant Divergences associated with Composite Scores and its Applications
在统计分析中,测量预测性能的得分是一项重要任务。在许多科学领域,适当的分数是专门针对手头的问题。一个合适的分数是一个流行的工具,以获得统计上一致的预测。此外,适当的分数的数学特征进行了研究。结果表明,正确的分数对应于Bregman发散,Bregman发散是概率分布集合上的平方距离的扩展。在本文中,我们引入复合分数作为典型分数的扩展,以获得更广泛的一类概率预测。然后,我们提出了一类复合得分,名为霍尔德得分,诱导等变估计。同变估计量有一个有利的性质,这意味着当数据变换时,估计量以一致的方式变换。特别地,我们处理数据的仿射变换。利用仿射变换下的同变估计,可以得到与测量单位制的选择无关的估计。相反,我们证明了Holder分数在仿射变换下具有不变性.此外,我们研究的统计性质的估计使用Holder分数的统计问题,包括估计的回归函数和强大的参数估计,并说明了有用的新引入的分数的统计预测。
2013-05-11 math.ST stat.ML stat.TH
Multivariate majorization of continuous statistical experiments
National University of Singapore(新加坡国立大学)
本文推导了标准Borel样本空间上有限统计试验的大样本和催化优化的充分且几乎必要条件,推广了双变量和多元离散情形,并引入多元Rényi散度来刻画优化。
2026-07-01 math.ST stat.TH
Divergence rates of Markov order estimators and their application to statistical estimation of stationary ergodic processes
有限字母表的平稳遍历过程估计的有限记忆过程从一个样本,一个n-长度的实现的过程,其中的记忆深度的估计过程也估计从样本使用惩罚最大似然(PML)。在连续率和非零性的假设下,得到了关于$\bar{d}$ -距离收敛速率,并给出了显式常数.结果需要分析不一定是有限记忆过程的PML Markov阶估计量的发散性。这个发散问题的研究更一般性的三个信息标准:贝叶斯信息标准与广义惩罚项产生的PML,和归一化的最大似然和Krichevsky-Trofimov码长度。得到了估计阶数的上下界上界。利用预言序估计的概念,将相容马尔可夫序估计的概念推广到无限记忆过程,并给出了PML马尔可夫序估计的广义相容性.
2013-07-24 math.ST stat.TH
On the Robustness of a Divergence based Test of Simple Statistical Hypotheses
最流行的假设检验程序,似然比检验,是众所周知的,在许多实际情况下是高度非鲁棒的。Basu等人(2013 a)提供了一种基于密度功率发散的假设检验的替代稳健程序;然而,尽管作者直观地论证了后一种检验的稳健性,并对其进行了广泛的经验证实,但在这项工作中没有提出理论稳健性。在本文中,我们将考虑一类更一般的检验,它们形成了Basu等人(2013 a)描述的程序的超族。该超家族来源于Basu等人最近提出的$S$ -分歧类(2013 a)。在这方面,我们从理论上证明了新的一类测试的鲁棒性结果,并说明他们在正常的模型。Basu等人(2013 a)提议的所有理论鲁棒性都是我们结果的特例。
2014-11-28 math.ST stat.ME stat.TH
Statistical divergences in high-dimensional hypothesis testing and a modern technique for estimating them
本文提出利用统计散度量化高维数据总体分布与竞争模型的差异,并借助现代函数优化技术仅凭双分布样本估计散度,从而构建无需似然函数的双样本假设检验方法。
2024-08-01 hep-ex hep-ph math.ST
Affine calculus for constrained minima of the Kullback-Leibler divergence
本文基于Amari对偶仿射信息几何的非参数版本,利用统计丛结构研究Kullback-Leibler散度的约束极小化计算,为均值场近似、对抗生成模型和变分贝叶斯等应用提供了简洁且具原则性的计算方法。
2025-04-04 math.ST stat.TH
New divergence measures between persistence diagrams and stability of vectorizations
针对持续同调条形码统计分析中无限条带处理无统一标准的问题,本研究提出一种基于新型非对称类距离散度最小化的系统性分析方法,并分析了该散度诱导的拓扑及相关向量化方法的稳定性。
2024-10-04 math.AT math.ST stat.TH
The Minimum S-Divergence Estimator under Continuous Models: The Basu-Lindsay Approach
基于统计分歧最小化的鲁棒推理已被证明是经典的基于最大似然的技术的有用的替代方案。最近,Ghosh等人(2013)提出了一种用于稳健统计推断的一般发散度量,称为S-发散族。Ghosh(2014)讨论了密度的离散模型的渐近性质。在本文中,我们建立了连续模型下的最小S-散度估计的渐近性质。在这里,我们使用Basu-Lindsay方法(1994)来平滑模型密度,与以前的方法不同,它避免了核带宽选择的许多复杂性。通过大量的模拟研究和真实数据的例子,说明了所得到的估计在效率和鲁棒性方面的性能。
2014-12-18 math.ST stat.AP stat.ME
Density Power Downweighting and Robust Inference: Some New Strategies
目前,保持程序的稳健性几乎已成为统计数据分析的默认要求。由于效率的模型和鲁棒性下的模型的误指定往往是在冲突中,重要的是要选择这样的推理程序,提供这两个概念之间的最佳折衷。一些最小Bregman散度估计和相关的假设检验似乎能够在这方面做得很好,基于密度幂散度的程序提供了现有的标准。在本文中,我们提出了一个新的家庭的Bregman分歧,这是一个超家庭,包括密度幂发散。本文描述了从这个新的分歧家庭的推理程序,并提出了一个强有力的情况下,这个分歧家庭的效用在统计推断。
2019-10-27 math.ST stat.AP stat.TH
Parameter estimation based on cumulative Kullback-Leibler divergence
本文基于连续环境下生存函数的Kullback-Leibler散度,给出了统计模型参数的一些估计。我们证明了所提出的估计是“广义估计方程”估计的子类。研究了估计量的渐近性质,如相合性、渐近正态性、渐近置信区间和渐近假设检验。
2016-06-29 math.ST stat.TH
Optimum design via I-divergence for stable estimation in generalized regression models
广义回归模型中参数估计的最优设计是基于Fisher信息矩阵的标准化设计(参见Atkinson et al(2014)最近的一次阐述)。相应的最优性准则与这类模型中极大似然(ML)估计的渐近性质有关。然而,在有限样本试验中,ML估计的可辨识性、稳定性和唯一性可能存在问题,而这些问题并不反映在信息矩阵中。在Pázman和Pronzato(2014)中讨论了如何在标准非线性回归的实验设计阶段解决这些可估计性问题。在这里,我们希望将这种设计方法扩展到基于指数分布族的更一般的模型(二项分布、泊松分布、具有参数化方差的正态分布等)。其主要工具是信息(或Kullback-Leibler)散度,它与ML估计密切相关。
2015-07-27 math.ST stat.TH
Decomposable Pseudodistances and Applications in Statistical Estimation
本文的目的是引入新的统计估计准则,适用于具有共同连续支持的模型的推断。这个建议是在一个新的兴趣发散为基础的推理工具,嵌入最经典的,如最大似然,卡方或Kullback Leibler的直线。一般的伪距离与可分解的结构被认为是,他们允许定义最小伪距离估计,而不使用非参数密度估计。详细地给出了一类特殊的α>0的伪距离,使得α \downarrow 0成为KulbackLeibler发散.相应的估计准则和渐近性质的研究。然后将估计方法扩展到回归模型。最后,基于蒙特卡罗模拟的一些例子进行了讨论。
2011-04-08 math.ST stat.TH
Assessing prediction error of nonparametric regression and classification under Bregman divergence
预测误差对于评估统计方法的性能和选择统计模型至关重要。我们提出了交叉验证和近似交叉验证方法估计预测误差下广泛的q类Bregman分歧的错误措施,其中嵌入了几乎所有常用的损失函数回归,分类程序和机器学习文献。近似的交叉验证公式的解析推导,这有利于快速估计下的Bregman发散的预测误差。然后,我们研究了一个数据驱动的局部似然估计的最优带宽选择器,最大限度地减少整体预测误差或等价的协方差惩罚。结果表明,协方差惩罚和交叉验证方法收敛到相同的平均预测误差准则。我们还提出了一个计算局部逻辑斯谛回归估计的下界方案,并证明了它是简单和稳定的局部最小二乘回归估计。该算法单调地增强了目标的局部似然性,并具有收敛性。将这一思想和方法推广到广义变系数模型和半参数模型。
2005-06-02 math.ST stat.TH
Asymptotic Properties of Minimum S-Divergence Estimator for Discrete Models
基于最小化统计偏差的鲁棒推理已被证明是基于极大似然和相关方法的经典技术的有用替代方案。最近Ghosh et al.(2013)提出了一类广义的散度测度,即S-Divergence族,并通过一些数值例子讨论了它在稳健参数估计中的有用性。在本文中,我们研究了离散模型下所提出的最小S-散度估计量的渐近性质。
2014-06-25 math.ST stat.ME stat.TH
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出βD-Bayes方法,通过最小化β-散度的广义后验采样实现差分隐私统计推断,突破了现有方法对模型有界性的强假设限制,首次将后验采样差分隐私估计扩展到神经网络等复杂模型,并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG
Maximal gaps between prime k-tuples: a statistical approach
结合Hardy-Littlewood k元组猜想和极值统计的启发式应用,我们提出了一个估计公式族用于预测素数k元组之间的最大间隙。计算表明,估计量a(log(x/a)-b)令人满意地预测了x以下的最大间隙,其中a是相同类型的k元组之间的期望平均间隙,a=O(log^kx)。启发式表明,在x附近的素数k元组之间的最大间隙大约是a*log(x/a),因此具有O(log^{k+1}x)的阶。趋势曲线a*log(x/a)周围的最大间隙分布接近于Gumbel分布。我们探索了这个间隙模型的两个含义:记录素数和素数k元组的Legendre类型猜想之间的间隙。
2013-04-14 math.NT math.PR math.ST
Central limit theorems for entropy-regularized optimal transport on finite spaces and statistical applications
熵正则化最优输运的概念,也被称为Sinkhorn发散,最近在机器学习和统计学中流行起来,因为它使得使用平滑的最优运输距离进行数据分析变得可行。Sinkhorn发散允许快速计算(可能)高维的有限度量空间上支持的两个概率分布之间的熵正则化Wasserstein距离。对于从一个或两个未知的概率分布中采样的数据,我们推导出经验Sinkhorn发散及其中心版本(Sinkhorn损失)的分布极限。我们还提出了一个自助程序,它允许获得新的检验统计量测量多元概率分布之间的差异。我们的工作受到Sommerfeld和Munk(2016)关于使用非正则化运输成本的有限空间上经验Wasserstein距离的渐近分布的结果的启发。顺便说一下,我们还分析了熵正则化Wasserstein距离的渐近分布时,正则化参数趋于零。模拟和真实的数据集来说明我们的方法。
2019-11-03 math.ST stat.TH
Limit Distribution for Smooth Total Variation and $χ^2$-Divergence in High Dimensions
统计偏差在机器学习中无处不在,作为测量概率分布之间差异的工具。由于这些应用程序固有地依赖于近似分布的样本,我们认为经验近似下两个流行的$f$ -分歧:全变差(TV)的距离和$χ^2$ -分歧。为了避免这些分歧的敏感性,以支持失配,高斯平滑的框架。研究了$\sqrt{n}δ_{\mathsf{TV}}(P_n\ast\mathcal{N},P\ast\mathcal{N})$和$nχ^2(P_n\ast\mathcal{N}\|P\ast\mathcal{N})$的极限分布,其中$P_n$是基于$n$独立同分布(i.i.d.)来自$P$、$\mathcal{N}_σ:=\mathcal{N}(0,σ^2\mathrm{I}_d)$和$\ast$的观测代表卷积。在任意维数下,极限分布可用$\mathbb{R}^d$上的高斯过程来刻画,协方差算子依赖于$P$和参数$σ$的各向同性高斯密度.这反过来又意味着最近为$δ_{\mathsf{TV}}(P_n\ast\mathcal{N},P\ast\mathcal{N})$和$χ^2(P_n\ast\mathcal{N}\|P\ast\mathcal{N})$导出的$n^{-1/2}$预期值收敛率的最优性。这些强有力的统计保证促进了高斯平滑下的经验近似,作为基于高维数据的学习和推理的有效框架。
2020-04-30 math.ST stat.TH
Unbiased Estimating Equation on Inverse Divergence and Its Conditions
Media Center Toyohashi University of Technology Toyohashi, Aichi, Japan Email;Department of Computer Science;Engineering Toyohashi University of Technology Toyohashi, Aichi, Japan Email
本文研究由倒数函数定义的逆散度,刻画了逆高斯型及广义逆高斯型混合模型下损失函数中函数$f$的条件,使估计方程无偏,并推广至多维情形。
2024-04-25 cs.IT cs.LG math.IT
Robust Density Power Divergence Estimates for Panel Data Models
面板数据回归模型已成为社会科学、行为科学、环境科学和计量经济学等不同研究领域中应用最广泛的统计方法之一。然而,传统的基于最小二乘的技术经常被用于面板数据模型,容易受到数据污染或离群观测的不利影响,这可能导致有偏的和低效的估计和误导性的统计推断。在这项研究中,我们提出了一个最小密度功率发散估计程序面板数据回归模型与随机效应,以实现对离群值的鲁棒性。稳健性,以及所提出的估计的渐近性质,严格建立。所提出的方法的有限样本特性进行了研究,通过广泛的模拟研究和应用在阿曼的气候数据。我们的研究结果表明,所提出的估计表现出改善的性能比一些传统的和强大的方法存在的数据污染。
2021-08-05 math.ST stat.ME stat.TH
Economics of disagreement -- financial intuition for the Rényi divergence
分歧是科学和生活的基本要素。概率和统计的语言经常被用来定量地描述分歧。但实际上,我们想要的远不止这些。我们希望解决分歧。这给我们留下了巨大的知识差距,通常被认为是缺乏有关概率和统计概念的实用直觉。以Rényi分歧为例,这是一个众所周知的统计量,专门用于衡量概率模型之间的不一致。尽管它在科学和工程中被广泛使用,雷尼分歧仍然是一个高度抽象的公理驱动的措施。当然,它没有提供如何解决分歧的实际见解。在这里,我们建议使用金融经济学的方法来解决分歧。特别是,我们展示了如何将一大类分歧转化为投资机会。这些投资的预期财务业绩以有形的方式量化了分歧的程度。这为统计概念提供了直观性,例如Rényi分歧,它与优化投资的财务表现有关。投资优化考虑到个人意见以及对风险的态度。其结果是形成了一个类似市场的社会机制,资金通过这种机制自然流动,以支持更准确的观点。这种社会机制可以帮助我们解决困难的分歧(例如,关于未来气候的金融论点)。在科学验证方面,我们使用了独立神经生理学实验的结果以及我们自己对股权溢价的研究。
2020-08-31 cs.GT cs.IT math.IT