Almost Sure Convergence of Extreme Order Statistics
令$M_n^{(k)}$表示来自具有连续分布的父$X$的样本$(X_1,X_2,...,X_n)$的第$k$个最大值。假设存在归一化常数$a_n>0$、$b_n\in \mathbb{R}$和非退化分布$G$使得$a_n^{-1}(M_n^{(1)}-b_n)\stackrel{w}{\to}G$ .然后,对于固定的$k\in \mathbb{N}$,当正权序列$(d_n)$和$D_N=\sum_{n=1}^Nd_n$满足Hörmann给出的条件时,得到了\[\frac{1}{D_N}\sum_{n=k}^Nd_n\mathbb{I}\{M_n^{(1)}\le a_nx_1+b_n,M_n^{(2)}\le a_nx_2+b_n,...,M_n^{(k)}\le a_nx_k+b_n\}\]的几乎必然收敛.
2008-10-03 math.ST stat.TH
From $ε$-entropy to KL-entropy: Analysis of minimum information complexity density estimation
我们考虑扩展的$ε$ -熵的KL-发散的随机密度估计方法的复杂性措施。基于此扩展,我们开发了一个一般的信息理论不等式,测量一些确定性和随机密度估计的统计复杂性。新的不平等的后果将被提出。特别是,我们表明,这种技术可以导致一些经典的结果有关的最小描述长度和贝叶斯后验分布的收敛性的改进。此外,我们能够推导出干净的有限样本收敛范围,是无法使用以前的方法。
2007-02-22 math.ST stat.TH
Rates of convergence of extremes from skew normal samples
对于斜正态随机序列,给出了其部分最大值分布到Gumbel极值分布的收敛速度。在赋范常数的最优选择下,给出了归一化最大值分布的渐近展开式。我们发现归一化最大值对Gumbel极值分布的最优收敛速度与$1/\log n$成正比。
2012-12-05 stat.ME
A note on power generalized extreme value distribution and its properties
与广义极值(GEV)族类似,Roudsari(1999)和Barakat等人(2013)引入了幂归一化下的广义极值分布。本文研究了GEV律在幂正规化下的渐近性态,导出了k阶矩、熵、离散序、稀有事件估计以及实际数据应用的表达式。在一定条件下,证明了广义电动势族的Shannon熵和方差是有序的.
2017-11-30 stat.AP
Convergence Rates of Smooth Message Passing with Rounding in Entropy-Regularized MAP Inference
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最大后验概率(MAP)推理是统计推理的一种基本计算范式。在图形模型的设置中,MAP推理需要解决组合优化问题以找到离散值模型的最可能配置。Sherali-Adams层次中的线性规划(LP)松弛被广泛用于尝试解决这个问题,并且已经提出了平滑消息传递算法来解决这些LP的正则化版本,并且取得了巨大成功。本文利用熵正则化LP的最新研究成果,分析了一类基于边的光滑消息传递算法在松弛条件下收敛到$ε$ -最优的速度。通过适当选择正则化常数,我们提出了一个理论保证的迭代次数足以恢复真正的积分MAP解决方案时,LP是紧的,解决方案是唯一的。
2020-03-01 cs.LG math.OC stat.ML
Entropy-based feature selection for capturing impacts in Earth system models with extreme forcing
本文提出了一种基于熵的特征选择方法,通过交叉模糊熵和变点检测识别地球系统模型中极端强迫下的时空影响,并成功量化了皮纳图博火山喷发对近地表温度的冷却效应及其依赖关系。
2024-09-26 physics.geo-ph stat.AP
Computing Entropy Rate Of Symbol Sources & A Distribution-free Limit Theorem
序列数据流的熵率自然地量化了生成过程的复杂性。因此,熵率波动可以用作识别信号源中的动态扰动的工具,并且可以在没有明确的背景噪声表征的情况下进行。然而,估计熵速率的现有技术算法具有明显缓慢的收敛;使得这种熵方法在实践中不可行。我们在这里提出了一个从根本上新的方法来估计熵率,这是证明收敛速度显着更快的输入数据长度方面,并被证明是有效的,在不同的应用范围从英语文本的熵率估计的混沌动力系统的复杂性估计。此外,熵估计的收敛速度不遵循任何标准的极限定理,并且报告的算法无法提供计算值的任何置信区间。利用概率自动机理论的连接,我们建立了一个收敛速度的$O(\log \vert s \vert/\sqrt[3]{\vert s \vert})$作为输入长度的函数$\vert s \vert$,然后产生明确的不确定性估计,以及所需的数据长度,以满足预先指定的置信区间。
2014-03-21 cs.IT cs.LG math.IT
Weak Convergence (IIA) - Functional and Random Aspects of the Univariate Extreme Value Theory
一元极值理论研究实直线上累积分布函数序列的元素在幂指数为无穷大时的幂型收敛性。就随机变量的收敛性而言,这相当于独立同分布随机变量序列的部分最大值在概率测度弱收敛意义下的弱收敛。在这本专著中,这一理论是全面研究的广泛框架弱收敛的随机向量暴露在洛等人。(2016年)。它有两个主要部分。第一个是致力于其良好的数学基础。这一部分的大部分材料取自最基本的Loève(1936,177)和Haan(1970),基于令人惊叹的正则、π或伽马变分理论。为了准备统计应用程序,我在博士和理学博士学位期间所做的一些贡献被添加到该部分最后一章的最后一章。我们真正关心的是将这些材料与其他材料放在一起,其中包括他的博士论文和科学博士论文的作者,在某种程度上几乎完全覆盖了理论的实际内容,可以作为我们大学一学期的硕士课程。同时,它也将有助于专著的第二部分。这第二部分将处理与极值有关的统计估计问题。它涉及各种估计问题,应被视为将逐步更新的调查研究的开始。研究问题在其中得到解决。作者的许多结果,无论是未发表或不充分知道,是陈述和/或更新。
2018-10-03 math.PR stat.ME
Moments convergence of powered normal extremes
本文讨论了在正规化常数的最优选择下幂正态极值矩的收敛性。它示出的归一化幂正态极值的收敛速度依赖于幂指数。然而,高阶矩展开的依赖消失。
2016-07-08 math.ST stat.TH
Selection of a MCMC simulation strategy via an entropy convergence criterion
在MCMC方法中,例如Metropolis-Hastings(MH)算法,Gibbs采样器或最近的自适应方法,可以提出许多不同的策略,通常在实践中与未知的收敛速度相关联。在本文中,我们提出了一种基于模拟的方法来比较这些收敛速度,接地熵标准计算并行(i.i.d.)模拟的马尔可夫链来自每个候选策略。我们的标准在第一次迭代时确定候选人中的最佳策略。理论上,我们给出了MH算法的一般条件,使其连续密度满足足够的光滑性和尾部性质,从而使这个熵准则可以用核密度估计和Monte Carlo积分一致地估计.仿真例子来说明这种收敛性准则。
2006-05-10 math.ST stat.TH
On convergence of entropy of distribution functions in the max domain of attraction of max stable laws
最大稳定律是独立同分布随机变量(RVS)的线性归一化部分最大值的极限律。这些类似于稳定的法律,这是限制法律规范化部分和的iid rvs。本文研究了最大稳定律的最大吸引区域中分布函数在线性正规化下的熵极限定理。更具体地说,我们研究的问题的香农熵的线性归一化的部分最大值的iid rvs的收敛到相应的极限熵时,线性归一化的部分最大值收敛到一些非退化rv。我们能够证明,香农熵不仅收敛,但事实上,在某些情况下,增加到极限熵。我们讨论几个例子。我们还研究了第k个上限的类似结果。
2014-02-03 math.PR math.ST stat.TH
Information-theoretic convergence of extreme values to the Gumbel distribution
本文提出一种新型得分函数,在信息论框架下证明极值收敛于Gumbel分布,并以相对熵强收敛给出理论保证。
2022-08-03 cs.IT math.IT math.ST
Regularization with Approximated $L^2$ Maximum Entropy Method
我们解决的逆问题重建一个未知的有限测度$μ$从噪声观测的广义矩的$μ$定义为积分的连续和有界算子$Φ$关于$μ$。当只知道算子的二次近似$Φ_m$时,我们引入了$L^2$近似最大熵解作为一个受凸约束序列约束的凸泛函的极小元.在凸泛函的若干假设下,证明了该近似解的收敛性,并给出了收敛速度。
2009-06-02 math.ST stat.TH
How Hidden are Hidden Processes? A Primer on Crypticity and Entropy Convergence
我们利用计算力学的因果状态来研究一个平稳过程的秘密性-一个衡量它的隐藏状态信息和它的观测信息之间差异的度量。在这里,我们激励的神秘性和神秘的顺序作为物理上有意义的数量,监测如何隐藏隐藏的过程。这是通过重铸以前的结果块熵和块状态熵的收敛在几何设置,一个更直观,并导致一些新的结果。例如,我们将神秘性与观察者如何观察一个过程联系起来。我们表明,块因果状态熵是块长度的凸函数。我们给出了自旋链的完整分析。我们提出了一个分类方案,调查平稳过程中可能的神秘和马尔可夫顺序。我们说明相关的熵收敛行为,使用一种新形式的叶状信息图。最后,在此过程中,我们提供了各种解释的神秘性和神秘秩序,以建立他们的自然性和普遍性。希望这些将激发空间扩展和网络动力系统的新应用。
2011-08-06 cond-mat.stat-mech cs.IT math.DS
Cross-Entropy method: convergence issues for extended implementation
交叉熵方法(CE)是R。Rubinstein是一个用于模拟罕见事件的优雅实用原则。该方法通过一系列概率模型来近似罕见事件的概率。该方法已被扩展到优化,通过考虑一个最佳的事件作为一个罕见的事件。CE在处理确定性函数优化时工作得相当好。现在看来,该方法的良好收敛需要两个条件。首先,有必要有一个家庭的模型足够灵活的最佳事件的歧视。间接地,似乎要优化的函数应该是确定性的。本文的目的是考虑部分判别模型族和随机函数的情况。它将显示在简单的例子,CE可能会失败时,放松这些假设。为了处理这个问题,CE方法的替代改进进行了研究和比较随机的例子。
2006-09-16 cs.LG cs.NE math.OC