首页/论文/1111.2328

arXiv 1111.23282011-11-09math.STstat.TH

质量缺失问题

The Missing Mass Problem

Daniel Berend, Aryeh Kontorovich

备注：: 15 pages

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们给出了有限和可数无限空间上分布的期望缺失质量的紧下界和上界。给出了极值分布的一个基本特征。我们还提供了一个扩展到完全有界的度量空间，可能是独立的利益。

英文摘要：

We give tight lower and upper bounds on the expected missing mass for distributions over finite and countably infinite spaces. An essential characterization of the extremal distributions is given. We also provide an extension to totally bounded metric spaces that may be of independent interest.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

粘性通道的缺失质量估计

Missing Mass Estimation from Sticky Channels

分布估计下的易错或非理想采样建模为“粘性”的渠道最近已被研究的应用，如DNA计算的动机。缺失质量，缺失字母的概率之和，是一个重要的数量，在分布估计中起着至关重要的作用，特别是在大字母制度。在这项工作中，我们考虑的问题，估计缺失的质量，这已经得到了很好的研究独立同分布（i.i.d）抽样的情况下，抽样是“粘性”。准确地说，我们考虑的情况下，每个样本从一个未知的分布得到重复的几何分布的次数。我们证明了在这种粘性采样通道中估计缺失质量的均方误差（MSE）的极小极大率。通过对修正的Good-Turing估计量的风险进行界化，得到了极大极小化率的上界.通过推广Le Cam方法，得到了极大极小化率的匹配下界.

2022-02-06math.STstat.TH

度量空间中缺失质量的集中

Concentration of the missing mass in metric spaces

研究了在度量空间中，对给定的iid样本，在给定的距离之外观测到数据的概率的期望的估计和集中。这个问题推广了经典的离散空间中丢失质量的估计问题。我们给出了条件缺失质量的一些估计，并表明估计的期望缺失质量是困难的。条件的分布，在此条件下，良好的图灵估计量和条件缺失的质量集中在他们的期望被确定。应用异常检测，编码，真实和经验的措施和简单的学习界限之间的Wasserstein距离勾勒。

2022-11-22math.PRmath.STstat.TH

特征模型缺失质量的一致估计

Consistent estimation of the missing mass for feature models

特征模型在机器学习中很受欢迎，最近已经被用来解决许多无监督学习问题。在这些模型中，每个观察被赋予有限的特征集，通常从无限集合$(F_{j})_{j\geq 1}$中选择。每个观测都可以显示具有未知概率$p_{j}$的特征$F_{j}$。这些模型固有的统计问题是，给定初始样本，如何估计在未来观测中显示的迄今为止未见过的特征的条件预期数量。这个问题通常被称为缺少质量问题。在这项工作中，我们证明，使用一个合适的乘法损失函数，而不施加任何假设的参数$p_{j}$，不存在任何普遍一致的估计缺失的质量。在本文的第二部分中，我们重点讨论了一类特殊的重尾概率$(p_{j})_{j\geq 1}$，这在许多实际应用中很常见，我们证明了，在这类有限的概率中，Ayed et al.（2017）提出的缺失质量的非参数估计是强相合的。作为一个副产品的结果，我们将推导出缺失质量的浓度不等式，以及在大小为$n$的样本中以指定频率观察到的特征数量。

2019-02-27math.STstat.TH

关于缺失质量差异

On Missing Mass Variance

缺失质量是指样本中未观察到的元素的概率，自二战期间Good和Turing的工作以来，在许多领域都进行了广泛的研究，包括生态学，语言学，网络和信息论。这项工作确定了什么是\emph{maximal variance of the missing mass}，对于任何样本和字母大小。结果有助于理解缺失的质量浓度特性。

2021-04-14cs.ITmath.ITmath.ST

缺失 g-质量：研究分布中缺失的部分

Missing $g$-mass: Investigating the Missing Parts of Distributions

本文提出缺失 g-质量概念以刻画分布中未观测部分的结构，针对阶-α 缺失质量和缺失 Shannon 熵给出极小极大收敛速率及改进的集中性尾部界。

2023-05-27cs.ITmath.ITmath.ST

估计缺失质量、分区函数或证据：在从离散集采样时揭示概率质量的情况

Estimating the Missing Mass, Partition Function or Evidence for a Case of Sampling from a Discrete Set

Centrum Wiskunde & Informatica（数学与计算机科学中心）

研究在离散样本空间中揭示每个样本点的概率质量时，如何估计缺失质量、分区函数或证据，并提出基于混合方法的模型以消除数学参数，最终得到观测数据的表达式。

2026-03-13math.STstat.TH

更多相关论文收起更多论文

重新审视缺失质量的浓度

Revisiting Concentration of Missing Mass

我们重新审视问题的\emph{missing mass concentration}，发展一种新的方法估计集中的异质和，在著名的Rosenthal不等式的精神。因此，我们稍微改进了Ben-Hamou等人的最新界限，简化证明。

2020-05-22cs.LGmath.PRmath.ST

关于缺失质量的相合估计

On consistent estimation of the missing mass

给定$n$样本来自一个属于不同类型且比例未知的个体群体，我们如何估计在第$(n+1)$次抽取时发现新类型的概率？这是统计学中的一个经典问题，通常被称为缺失质量估计问题。Ohannesian和Dahleh \citet{Oha12}以及Mossel和Ohannesian \citet{Mos15}的最新结果表明：i）在不对类型比例施加进一步的结构假设的情况下，估计（学习）缺失的质量是不可能的; ii）在类型比例的尾部作为具有参数$α\in(0,1)$的规则变化函数衰减到零的假设下，缺失质量的古德-图灵估计量的一致性。在本文中，我们依靠贝叶斯nonparametrics工具提供了一种替代的，更简单的，证明了不可能的分布免费估计的失踪质量。据我们所知，使用贝叶斯思想来研究缺失质量的大样本渐近性是新的，它可能是独立的兴趣。仍然依赖于贝叶斯非参数工具，然后，我们表明，根据经常变化的类型比例的良好的图灵估计的收敛速度是最好的速度，任何估计可以实现，直到一个缓慢变化的功能，和极大极小率必须至少是$n^{-α/2}$。最后，我们讨论了我们的结果，并通过证明，良好的图灵估计是一个率最优的极大极小估计下定期变化的类型比例。

2018-06-25math.STstat.MLstat.TH

占据数和缺失质量的无限urn格式中的浓度不等式及其应用

Concentration inequalities in the infinite urn scheme for occupancy counts and the missing mass, with applications

无限urn方案由正整数上的概率质量函数$(p_j)_{j\geq1}$定义。随机分配由根据该概率分布的$N$独立绘图的样本组成，其中$N$可以是确定性的或泊松分布的。本文关注的是占用计数，即与样本中具有$r$或至少$r$出现的符号的数量，以及缺失质量，即样本中未出现的所有符号的总概率。在不对抽样分布作任何进一步假设的情况下，证明了这些随机量满足Bernstein型集中不等式。这些浓度不等式中的方差因子被证明是紧的，如果抽样分布满足一个经常变化的性质。这个常规的变量属性如下所示。假设概率大于$x$的符号的数目是$\vecν(x)=|\{j:p_j\geq x\}|$。在规则变化的urn方案中，对于$α\in[0,1]$，$\vecν$满足$\lim_{τ\rightarrow0}\vecν(τx)/\vecν(τ)=x^{-α}$，并且随着样本大小趋于无穷大，样本中不同符号的数量的方差趋于无穷大。在其他应用中，这些浓度不等式使我们能够得到紧密的置信区间的良好-图灵估计的丢失的质量。

2016-09-28math.STstat.TH

论学习缺失的弥撒的不可能性

On the Impossibility of Learning the Missing Mass

University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）

本文表明，不施加进一步的结构性假设，就不能学习罕见事件的概率。关注事件是指获得i.i.d.覆盖范围之外的结果。从离散分布采样。该事件的概率被称为“缺失质量”。不可能的结果可以表述为：丢失的质量在相对误差中不是分布自由的PAC学习。证明是半建设性的，并依赖于一个耦合参数使用抖动几何分布。这一结果正式证实了民间传说，即为了预测罕见事件，人们必然需要具有“重尾”的分布。

2015-03-12cs.ITcs.LGmath.IT

Just Wing It：马尔可夫序列中缺失质量的近似最优估计

Just Wing It: Near-Optimal Estimation of Missing Mass in a Markovian Sequence

Georgia Institute of Technology（佐治亚理工学院）；IIT Madras（印度马德拉斯理工学院）

针对马尔可夫序列平稳缺失质量估计问题，提出线性时间的WingIt估计器，风险速率与状态空间无关且近似极小极大最优，还扩展了低频元素质量估计并通过实验验证了有效性。

2024-10-05cs.ITcs.LGmath.IT