Bayesian interpretation of Generalized empirical likelihood by maximum entropy
研究了矩条件模型的参数估计问题。作为广义经验似然法(GEL)和广义矩量法(GMM)的替代方法,可以采用贝叶斯方法来解决这个问题,将MEM过程扩展到参数矩条件。我们特别表明,大量的GEL估计可以解释为一个最大熵的解决方案。此外,我们提供了一个更一般的应用领域,证明该方法是强大的近似矩条件。
2012-02-29 math.ST stat.TH
Towards Empirical Process Theory for Vector-Valued Functions: Metric Entropy of Smooth Function Classes
本文提供了一些初步的步骤,在发展经验过程理论的功能采取的价值在一个向量空间。利用向量值函数的微分学理论和度量空间的分形维数论,我们的主要结果给出了取值于希尔伯特空间的光滑函数类的熵的界.我们演示了如何使用这些熵界来显示函数类的一致大数定律和渐近等度连续性,并将其应用于输出空间为希尔伯特空间的统计学习理论。最后,我们讨论的扩展Rademacher复杂性向量值函数类。
2022-02-14 math.ST stat.TH
On testing the class of symmetry using entropy characterization and empirical likelihood approach
该研究基于熵提出对称分布的新刻画,并构建刀切经验似然及调整刀切经验似然比对称性检验,模拟表明其优于现有方法且适用于真实数据。
2025-05-13 math.ST stat.TH
Uniform Central Limit Theorems for Multidimensional Diffusions
最近研究表明,由于扩散局部时间的存在,基于标量扩散的经验过程的规则性行为与经典经验过程相比存在显着差异。除了建立强大的平行经典理论,如Ossiander的括号CLT和一般的Giné-Zinn CLT的一致有界的家庭的功能,我们发现增加的规律性也为多元遍历扩散,假设不变的措施是有限的勒贝格密度$π$。这种影响随着维度的增加而减小,但始终存在。利用连续Markov过程的鞅和加性泛函的指数不等式以及高斯过程的样本路径行为的一般链界的特征,给出了与经典iid设置的细微差别。为了揭示这一现象,我们研究了经验扩散过程的平滑版本。证明了在充要条件下,当$d=2$维数的带宽为指数级时,当参数$β> d/2$的带宽为强欠光滑时,在$d\geq 3$情形下,当漂移和扩散系数的坐标属于某个参数为$β$的Hölder球时,光滑经验扩散过程的一致弱收敛也能发生.
2011-05-24 math.PR math.ST stat.TH
Chernoff-type Concentration of Empirical Probabilities in Relative Entropy
我们研究了$k$类别的多项式抽样中经验概率向量相对于真实概率向量的相对熵,当乘以样本量$n$时,它也是对数似然比统计量。我们推广了最近的一个结果,并表明,矩母函数的统计量是有界的多项式的次数$n$的单位区间上,一致的所有真概率向量。我们刻画了以$(k,n)$为指标的多项式族,并得到了显式公式.因此,我们开发了一个封闭形式的版本,从一个大样本扩展的边界极小化的Bauffff型的尾部边界。我们的界限占主导地位的经典方法的类型的界限,并与国家的最先进的竞争力。我们证明了应用估计的比例看不见的蝴蝶。
2021-05-13 math.ST stat.TH
Minimax Rates for Conditional Density Estimation via Empirical Entropy
针对一致熵无法刻画条件密度估计极小极大速率的问题,研究以经验Hellinger熵为基础,在模型设定正确的情况下得到了极小极大KL风险的匹配上下界,仅需条件密度有上界即可。
2023-06-14 math.ST stat.TH
Set structured global empirical risk minimizers are rate optimal in general dimensions
熵积分作为一种强有力的经验过程工具被广泛应用于密度估计和回归等标准环境中,以获得全局经验风险最小化算法(ERM)收敛速度的上界。这样得到的收敛速度的上界在熵积分收敛时通常与极大极小下界相匹配,但在熵积分发散时与下界相比存在严格的差距。Birgé和Massart [BM 93]提供了一个引人注目的例子,表明这种差距仅与熵结构有关:对于具有低正则性的自然Hölder类的变体,全局ERM实际上以熵积分所预测的速度收敛,该速度大大偏离了下界。反例已经产生了一个长期的负面立场,在使用全球ERMs的制度,熵积分发散,因为他们被证明是收敛在一个次优的速度在各种模型。本文表明,这一差距可以关闭,如果模型承认一定程度的“集结构”,除了熵结构。换句话说,这种集合结构化模型中的全局ERM将确实是速率最优的,即使在熵积分发散时也匹配下界。我们研究的具有集合结构的模型包括(i)图像和边缘估计,(ii)二进制分类,(iii)多重保序回归,(iv)$s$ -凹密度估计,当熵积分发散时,所有这些都在一般维度中。这里的集合结构被广义地解释为,基本模型的复杂性基本上可以通过特定类别的可测量集合上的经验过程的大小来捕获,对于这些可测量集合,获得匹配的上界和下界以便于导出相关全局ERM的急剧收敛速度。
2021-01-07 math.ST stat.TH
A stochastic maximal inequality, strict countability, and related topics
本文提出了一种新的方法,它是以伊藤公式导出的随机极大不等式和严格可数性概念为基础,取代了在随机场研究中已发展起来的著名的“链式”和“括号”方法.在一致拓扑下,利用熵方法,得到了局部平方可积鞅的可分随机场序列的弱收敛定理.作为特例,给出了i.i.d.得到了随机序列的一个新的Donsker定理和以集合或函数类为指标的经验过程的上界的矩界.给出了半参数模型统计估计的一个应用,并以Cox回归模型中自适应估计的构造为例。
2016-02-10 math.PR math.ST stat.TH
Weighted fractional generalized cumulative past entropy and its properties
本文引入了非负绝对连续随机变量在有界支撑下的加权分式广义累积过去熵。各种性质的建议加权分数测度进行了研究。边界和随机排序。建立了该测度与左Riemann-Liouville分数次积分之间的联系。进一步,研究了比例反向风险率模型的测度。其次,基于经验分布函数,提出了加权分数广义累积过去熵的非参数估计。出于说明的目的,考虑了具有真实生活数据集的各种示例。最后,研究了所提出的经验估计量的大样本性质。
2022-07-13 math.ST stat.TH
Maximum Probability and Relative Entropy Maximization. Bayesian Maximum Probability and Empirical Likelihood
工程,简要调查这里,关注两个基本方法:最大概率和贝叶斯最大概率;以及与他们的渐近实例:相对熵最大化和最大非参数似然。参数和经验的扩展后者的方法-经验最大最大熵和经验的李克图-也提到。这些方法被看作是解决某些不适定反问题的工具,分别称为Pi-问题,Phi-问题。在这两类问题,概率理由和解释各自的方法进行了讨论。
2008-04-24 math.PR math.ST stat.ME
Limit theorems for empirical processes of cluster functionals
设$(X_{n,i})_{1\le i\le n,n\in\mathbb{N}}$是行平稳$\mathbb{R}^d$值随机变量的三角形阵列。我们使用“块方法”来定义极值的簇:将$(X_{n,i})$的行划分为$m_n$块$(Y_{n,j})$,如果一个块包含至少一个极值,则认为该块包含簇。聚类从块中的第一个极值开始,到最后一个极值结束。主要结果是经验过程$Z_n(f):=\frac{1}{\sqrt {nv_n}}\sum_{j=1}^{m_n}(f(Y_{n,j})-Ef(Y_{n,j})),$的统一中心极限定理,适用于属于簇泛函类的$v_n=P\{X_{n,i}\neq0\}$和$f$,即仅取决于簇值的块$Y_{n,j}$的函数,并且如果$Y_{n,j}$不包含簇,则该函数等于0。有限维收敛的条件包括$β$ -混合,合适的Lindeberg条件和协方差的收敛。为了获得完全一致收敛,我们使用“包围熵”或关于随机半度量的覆盖数的界。后者使得有可能运用强大的Vapnik-Červonenkis理论。应用程序包括多元尾经验过程和经验过程的集群值和顺序统计的集群。虽然我们的主要应用领域是极值分析,但该理论可以更广泛地应用于罕见事件的发生,例如,在非参数曲线估计中。
2020-05-18 math.PR math.ST stat.TH
Central limit theorems for entropy-regularized optimal transport on finite spaces and statistical applications
熵正则化最优输运的概念,也被称为Sinkhorn发散,最近在机器学习和统计学中流行起来,因为它使得使用平滑的最优运输距离进行数据分析变得可行。Sinkhorn发散允许快速计算(可能)高维的有限度量空间上支持的两个概率分布之间的熵正则化Wasserstein距离。对于从一个或两个未知的概率分布中采样的数据,我们推导出经验Sinkhorn发散及其中心版本(Sinkhorn损失)的分布极限。我们还提出了一个自助程序,它允许获得新的检验统计量测量多元概率分布之间的差异。我们的工作受到Sommerfeld和Munk(2016)关于使用非正则化运输成本的有限空间上经验Wasserstein距离的渐近分布的结果的启发。顺便说一下,我们还分析了熵正则化Wasserstein距离的渐近分布时,正则化参数趋于零。模拟和真实的数据集来说明我们的方法。
2019-11-03 math.ST stat.TH
A local maximal inequality under uniform entropy
我们推导出一个上界的经验过程的上确界的平均指数的一类功能,已知有一个小常数$δ$的方差有界。在$δ$上,该界表示为该类的一致熵积分。当应用于对比度函数的连续模时,该界产生最小对比度估计的收敛速度收敛速率。
2010-12-26 math.ST stat.TH
Sample dependence in the maximum entropy solution to the generalized moment problem
最大熵方法是求解广义矩问题的一个非常有力的工具,它是由已知随机变量X的几个函数的期望值来确定该变量的概率密度。在实际操作中,这些期望值是根据经验样本确定的,这就留下了解对样本的依赖性问题。本说明的目的是采取一些步骤来分析这种依赖性。
2015-10-14 math.ST stat.TH
Entropy Concentration and the Empirical Coding Game
CWI(CWI(荷兰数学和计算机科学研究学会));EURANDOM(EURANDOM(埃因霍温概率与统计研究所))
我们给出了最大熵/最小相对熵推理的特征,通过提供两个“强熵集中”定理。这些定理统一和推广了Jaynes的“集中现象”和Van Campenhout和Cover的“条件极限定理”。这些定理精确地描述了在给定约束条件下的先验分布Q和分布P在什么意义上最小化相对熵D(P|| Q)在满足约束的所有分布上,彼此“接近”。然后,我们应用我们的定理,建立熵浓度和最大熵推理由于托普索和其他博弈论表征之间的关系。
2008-09-05 cs.IT cs.LG math.IT
Empirical estimation of entropy functionals with confidence
本文介绍了一类k-最近邻($k$ -NN)估计,称为二分插入(BPI)估计,用于估计概率密度的非线性函数的积分,如Shannon熵和Rényi熵.假设密度是光滑的,有界支撑,并且在这个集合上从下面一致有界。与以前的$k$ -NN估计的非线性密度泛函,建议的估计使用数据分裂和边界校正,以实现较低的均方误差。具体地,我们假设$T$ i.i.d.将来自密度的样本${X}_i \in \mathbb{R}^d$分别分成两个基数$M$和$N$,其中$M$样本用于计算k-最近邻密度估计,而剩余的$N$样本用于密度泛函的积分的经验估计。通过研究k-NN球的统计性质,得到了BPI估计量的偏差和方差的显式速率与样本容量、样本维数和潜在的概率分布的关系.基于这些结果,可以指定调谐参数$M/T$、$k$的最佳选择,以使均方误差(MSE)的减小速率最大化。由此产生的优化BPI估计收敛速度更快,实现较低的均方误差比以前的$k$ -NN熵估计。此外,一个中心极限定理建立的BPI估计,使我们能够指定紧渐近置信区间。
2012-02-25 math.ST stat.ML stat.TH
Asymptotic and finite-sample distributions of one- and two-sample empirical relative entropy
De Vinci Higher Education, De Vinci Research Center(德芬奇高等教育,德芬奇研究中心);École normale supérieure(巴黎高等师范学院)
研究两个概率分布散度统计检验中经验相对熵的分布,推导有限样本集中不等式、渐近分布及贝里 - 埃森界,引入新方法获和统计量非线性函数的贝里 - 埃森不等式,涵盖单双样本经验相对熵。
2026-07-21 math.ST q-fin.ST q-fin.TR
Finite-sample concentration of the empirical relative entropy around its mean
在本说明中,我们证明了从一组大小为$k$的$n$样本的经验分布相对于真实底层分布的相对熵以指数方式集中在其期望值附近,中心矩生成函数受形状为$2k$和速率为$n/2$的Γ分布的中心矩生成函数的限制。这改进了Bhatt和Pensia(arXiv 2021)关于同一问题的最新工作,他们在形状上显示了一个额外的多对数因子$k$的类似边界,并且也证实了Mardia等人最近的猜想。(信息与推理2020)。证明过程中减少的情况下$k>3$的多项分布的二项,其中所需的范围从标准结果的浓度的二项的更简单的情况$k=2$。
2022-03-02 cs.IT math.IT math.PR
Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis
INRIA(法国国家信息与自动化研究所);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学);National Chao Tung University(国立交通大学);Princeton University(普林斯顿大学)
研究了相对熵正则化的经验风险最小化问题(ERM-RER)的最优性和灵敏度,其中参考测度是σ-有限测度而不是概率测度.这种泛化允许在模型集合上结合先验知识时具有更大程度的灵活性。在这种情况下,正则化参数,参考措施,风险函数,和ERM-RER问题的解决方案引起的经验风险的相互作用的特点。这个特征产生了正则化参数存在的必要和充分条件,该正则化参数以任意高的概率实现任意小的经验风险。研究了ERM-RER问题的期望经验风险对偏离解的敏感性。然后,敏感性被用来提供预期的经验风险的上限和下限。此外,它示出的期望的灵敏度是上界,直到一个常数因子,由模型和数据集之间的lautum信息的平方根。
2022-11-12 cs.IT cs.LG math.IT
Empirical entropy, minimax regret and minimax risk
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);CREST-ENSAE(法国国家统计与经济管理学院(CREST-ENSAE))
考虑了平方损失的随机设计回归模型。我们提出了一种方法,聚集经验极小(ERM)在适当选择的随机子集,并减少到ERM在极端情况下,我们建立尖锐的预言不等式的风险。我们表明,在经验$\varepsilon$ -熵的$\varepsilon^{-p}$增长下,所提出的方法的超额风险对于$p\in(0,2)$达到率$n^{-2/(2+p)}$,对于$p>2$达到率$n^{-1/p}$,其中$n$是样本量。此外,对于$p\in(0,2)$,超额风险率匹配函数估计的极小极大风险在良好指定的模型下的回归问题中的行为。由此得出结论,在$p\in(0,2)$方案中,在明确指定的模型(极大极小风险)和错误指定的模型(极大极小后悔)中的统计估计率是相等的。换句话说,对于$p\in(0,2)$,统计学习问题与统计估计问题享有相同的极大极小化率。相反,对于$p>2$,我们表明,在一般情况下,最小最大后悔率比最小最大风险慢。我们的预言不等式还意味着$v\log(n/v)/n$率Vapnik-Chervonenkis型类的尺寸$v$没有通常的凸性假设的类,我们表明,这些利率是最优的。最后,对于一个稍微修改的方法,我们推导出一个界限上的超额风险的$s$ -稀疏凸聚集改进,Lounici [数学。16(2007)246-259]并提供最佳速率。
2017-07-03 cs.LG math.ST stat.TH
Convergence of Smoothed Empirical Measures with Applications to Entropy Estimation
本文研究了高斯核光滑的经验测度的收敛性。具体而言,考虑用$\hat{P}_n\ast\mathcal{N}_σ$近似$P\ast\mathcal{N}_σ$(对于$\mathcal{N}_σ\triangleq\mathcal{N}(0,σ^2 \mathrm{I}_d)$),其中$\hat{P}_n$是不同统计距离下的经验度量。收敛性检查的Wasserstein距离,总变差(TV),Kullback-Leibler(KL)的分歧,$χ^2$ -分歧。我们表明,在电视距离和1-Wasserstein距离($\mathsf{W}_1$)下的近似误差收敛率$e^{O(d)}n^{-\frac{1}{2}}$在显着的对比,一个典型的$n^{-\frac{1}{d}}$率为未平滑的$\mathsf{W}_1$(和$d\ge 3$)。对于KL散度、平方2-Wasserstein距离($\mathsf{W}_2^2$)和$χ^2$ -散度,收敛速率为$e^{O(d)}n^{-1}$,但仅当$P$在加性高斯白噪声信道上实现有限输入-输出$χ^2$互信息时。如果不满足后一个条件,则KL发散和$\mathsf{W}_2^2$的速率变为$ω(n^{-1})$,而$χ^2$发散变为无穷大--这是一个奇怪的二分法。作为一个主要的应用,我们考虑估计的微分熵$h(P\ast\mathcal{N}_σ)$在高维…
2020-05-01 cs.IT math.IT math.ST
Weak Limits for Empirical Entropic Optimal Transport: Beyond Smooth Costs
本文研究了经验熵最优传输的弱极限,仅要求成本函数一致有界而无需光滑性,通过经验 $L^2$-范数线性化分析避开经验过程理论复杂性,为基于传输的统计推断扩展框架奠定基础。
2023-05-16 math.PR math.ST stat.TH
The relation of bias with risk in empirically constrained inferences
本文建立了最大熵概率测度与贝叶斯最优分类器之间的渐近联系,证明最大熵在期望损失约束下是普遍贝叶斯最优决策规则,并通过推广Sanov定理处理观测不确定性。
2025-07-04 cond-mat.stat-mech math.PR math.ST
Fractional generalized cumulative entropy and its dynamic version
根据基于累积分布函数的信息测度理论,提出了分数阶广义累积熵及其动态形式。这些熵特别适合于处理满足比例反向风险模型的分布。我们研究了与分数次积分的连接,和一些界限和比较的基础上随机排序,允许表明,建议的措施实际上是一个可变性措施。调查还涉及各种概念的可靠性理论,因为考虑的动态措施是一个适当的扩展的平均不活动时间。我们还引入了经验广义分数累积熵作为新测度的非参数估计。结果表明,经验措施收敛到所提出的概念几乎肯定。然后,我们解决的经验措施的稳定性,并提供了一个应用到实际数据的例子。最后,在指数分布下建立了一个中心极限定理。
2021-05-23 cs.IT math.IT math.PR
A Functional Central Limit Theorem for Locally Stationary Time Series in Banach Spaces
FH Aachen - University of Applied Sciences(亚琛应用科学大学);Universidad Autónoma de Madrid(马德里自治大学)
本文为Banach空间中的局部平稳时间序列建立了函数中心极限定理,不依赖type-2或cotype假设,并应用于自归一化CUSUM变点检测。
2026-10-30 math.PR math.ST stat.ME
Empirical Risk Minimization with Relative Entropy Regularization
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);Université de la Polynésie Française(法属波利尼西亚大学);The University of Sheffield(谢菲尔德大学);National Yang Ming Chiao Tung University (NYCU)(国立阳明交通大学)
本文在参考测度为 $σ$-有限测度的推广设定下研究 ERM-RER,刻画其唯一概率测度解、PAC 保证、次高斯风险与 Gibbs 算法泛化性质,并揭示敏感性、泛化误差和 lautum information 的联系。
2024-04-08 cs.IT cs.LG math.IT