Bayesian Point Estimation and Predictive Density Estimation for the Binomial Distribution with a Restricted Probability Parameter
本文研究了二项分布情形下的贝叶斯点估计和预测密度估计。在给出了这些问题的初步结果之后,我们比较了基于截断和未截断的beta先验的Bayes估计的风险函数,并得到了概率参数小于或等于已知常数时的优势条件.同时存在下界约束和上界约束的情况也被处理。然后,我们的问题被证明是相关的泊松情况下类似的问题。最后,数值研究。
2021-03-20 math.ST stat.ME stat.TH
A note on the best invariant estimation of continuous probability distributions under mean square loss
考虑连续型概率分布函数的非参数估计问题。对于积分均方误差,我们提供了与Aggarwal(1955)和Ferguson(1967)提出的最佳不变估计量相对应的统计量。临界值的表进行计算,并与传统的Cramér-von Mises统计的统计量的数值功率比较几个代表性的分布。
2017-08-26 math.ST physics.data-an stat.TH
Median Based Unit Weibull Distribution (MBUW): Do the Higher Order Probability Weighted Moments (PWM) Add More Information over the Lower Order PWM in Parameter Estimation
Department of Mathematical Statistics, Faculty of Graduate Studies for Statistical Research, Cairo University(开罗大学统计研究研究生院数学统计系)
本文针对MBUW分布的参数估计问题,对比一阶与高阶PWM方法的表现,推导PWM估计量的渐近分布,结合真实数据分析验证高阶PWM是否能提供更多有效信息。
2025-11-18 math.PR stat.ME
The stochastic approximation method for the estimation of a multivariate probability density
我们应用随机逼近方法构造了一大类概率密度的递归核估计,包括Hall和Patil(1994)提出的一类.我们研究了这些估计的性质,并将它们与Rosenblatt的非递归估计进行了比较。事实证明,对于逐点估计,最好使用非递归Rosenblatt核估计,而不是任何递归估计。相反,对于置信区间估计,最好使用递归估计而不是Rosenblatt估计。
2008-07-18 math.ST stat.TH
Pretest estimation in combining probability and non-probability samples
本文提出检验-合并框架,通过预检验判断非概率样本与概率样本的可比性,决定是否合并估计,并给出渐近分布、参数选择方法及稳健置信区间。
2023-05-28 stat.AP stat.ME
Local Privacy and Minimax Bounds: Sharp Rates for Probability Estimation
我们提供了一个详细的研究估计的概率分布-离散和连续-在一个严格的设置中,数据是保密的,甚至从统计学家。我们给尖锐的极小极大收敛率估计在这些本地私人的设置,隐私和收敛速度之间表现出根本的权衡,以及提供的工具,让运动沿隐私统计效率连续。我们的研究结果的后果之一是,华纳的经典工作随机响应是一个最佳的方式进行调查抽样,同时保持受访者的隐私。
2013-05-26 cs.CR cs.IT math.IT
Nonparametric kernel estimation of the probability density function of regression errors using estimated residuals
本文讨论了回归误差项与协变量无关的非参数密度估计。研究了利用估计残差的可行估计量与利用真残差的不可行估计量之间的差异。给出了用于估计残差的带宽的最佳选择。我们还研究了可行核估计的渐近正态性及其速率最优性。
2010-10-03 math.ST stat.TH
Confidence regions and minimax rates in outlier-robust estimation on the probability simplex
我们考虑的问题估计的平均值的分布支持的$k$维概率单纯形的设置中的一个$\varepsilon$分数的观察受到对抗腐败。一个简单的具体例子是估计离散随机变量的分布的问题。假设离散变量取$k$值,则未知参数$\boldsymbol θ$是属于概率单形的$k$维向量。我们首先描述了各种设置的污染,并讨论这些设置之间的关系。然后,我们建立极小极大率时,估计的质量是由总变差距离,海林格距离,或$\mathbb L^2$ -距离之间的两个概率测度。我们还提供了置信区域的未知的意思,缩小在最小最大率。我们的分析表明,与这三个距离相关的极大极小率都是不同的,但它们都是通过样本平均值获得的。此外,我们表明,后者是自适应的未知向量的可能的稀疏性。一些数值实验说明我们的理论研究结果的报告。
2020-02-01 cs.LG math.ST stat.TH
Maximum Likelihood Estimations Based on Upper Record Values for Probability Density Function and Cumulative Distribution Function in Exponential Family and Investigating Some of Their Properties
本文考虑了指数族的一个有用的子族。对该族的参数、累积密度函数和密度函数计算了基于上记录值的ML估计。讨论了基于记录值的极大似然估计与基于随机样本的极大似然估计的关系。此外,这些估计的一些性质进行了研究。最后,证明了这些估计量对于大样本具有一些有用的性质
2017-11-02 math.ST stat.TH
High-Probability Minimax Adaptive Estimation in Besov Spaces via Online-to-Batch
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LPSM(巴黎概率与统计实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国数字科学与工程学院);Grenoble INP(格勒诺布尔国立理工学院);LJK(约瑟夫·拉格朗日实验室)
本文提出了一种基于小波的在线学习算法,在贝索夫空间中实现高概率最小最大自适应估计,通过动态截断梯度噪声,无需调整参数,从而获得最优估计速率。
2026-02-12 math.ST stat.ML stat.TH
A new method of joint nonparametric estimation of probability density and its support
本文提出一种联合非参数估计概率密度及其支撑集的新方法,通过检测边界并消除边界偏差,并扩展到多元情形,提出改进估计器。
2017-08-31 math.ST stat.TH
The Third Way Of Probability & Statistics: Beyond Testing and Estimation To Importance, Relevance, and Skill
还有第三种实现概率模型和实践的方法。这是为了回答用可观察的东西提出的问题。这消除了频率论假设检验和贝叶斯因子,也消除了参数估计。第三种方法是逻辑概率方法,即在给定的证明数据$X$、过去的观测(当存在时)$D$和某种模型(可能是推导的)$M$的情况下,对取值为$y$的感兴趣的观测量$Y$进行陈述$\Pr(Y \in y | X,D,M)$。重要性和概率模型显示因果关系的错误想法已经不复存在,取而代之的是重要性和相关性。模型是建立在对决策者(而不是统计学家)相关和重要的信息上的。所有的模型都以可公开验证的方式陈述,作为预测。所有的模型在被信任之前都必须经过一个验证过程。
2015-08-09 stat.OT
Efficiency of maximum likelihood estimation for a multinomial distribution with known probability sums
对于一个多项分布,假设我们有一些类别的概率之和的先验知识。这允许我们在完整的(即,无约束)模型。预计该子模型下的极大似然估计(MLE)比全模型下的MLE具有更好的估计效率。本文给出了全模型和子模型的MLE风险关于Kullback-Leibler散度的渐近展开。结果表明,使用子模型,在某些情况下,风险的降低是相当小的。此外,当样本量较小时,使用亚模型可能会增加风险。
2021-06-04 math.ST stat.TH
Estimation of An Infinite Dimensional Transition Probability Matrix Using a Generalized Hierarchical Stick-Breaking Process
本文提出广义层次化断棍先验的贝叶斯非参数框架,用于估计无限维转移概率矩阵,应对稀疏、高维及未观测状态空间挑战。
2025-07-10 stat.AP stat.ME
Nonparametric Estimation of Band-limited Probability Density Functions
本文提出了带限概率密度函数的一种非参数极大似然估计。BLML估计是一致的,计算效率高。为了计算BLML估计器,提出了三种近似算法:用于中等规模问题的二进制二次规划(BQP)算法,用于大规模问题的Trivial算法,如果底层pdf是严格正的且BL,则该算法产生相合估计,以及Trivial算法的快速实现,该算法利用带限假设和奈奎斯特采样定理(“BLMLQuick”)。所有三个BLML估计优于内核密度估计(KDE)算法(自适应和高阶KDE)的平均积分平方误差的BL和无限带PDF生成的数据。此外,BLMLQuick估计明显快于KD算法。最后,BLML方法被施加到估计的条件强度函数的神经元锋电位训练(点过程)记录从大鼠的内嗅皮层网格细胞,它优于国家的最先进的神经科学中使用的估计。
2015-06-29 math.ST stat.ME stat.ML
On the estimation of smooth densities by strict probability densities at optimal rates in sup-norm
本文证明了McKay(1993 a和b)根据Abramson(1982)的早期发现提出的可变带宽密度估计器在有界集上以极大极小速率逼近$C^4(\mathbb R^d)$中的密度函数,其中它们所基于的初始密度估计是远离零的有界的。Jones McKay和Hu(1994)提出了一个更复杂的估计量来近似$C^6(\mathbb R)$中的密度,也证明了在相同类型的集合上以超范数获得极大极小率。这些估计量是严格的概率密度。
2010-09-26 math.ST stat.TH
Topological density estimation
我们介绍\emph{topological density estimation}(TDE),其中的概率密度函数的多模态结构的拓扑推断,随后用于执行内核密度估计的带宽选择。我们表明,TDE的性能和运行时间的优势,竞争的内核密度估计高度多模态概率密度函数的方法。我们还表明,TDE产生有用的辅助信息,它可以确定自己的适合使用,我们解释了它的性能。
2017-01-31 math.AT stat.ME
Nonparametric Estimation of Probability Density Functions of Random Persistence Diagrams
我们引入了一种非参数方法来估计随机持久图的全局密度函数。精确地说,构造了一个以给定的持续图和带宽为中心的核密度函数。我们的方法封装的拓扑特征的数量,并认为在一个稳定的方式在对角线附近的功能的出现或消失。特别是,我们的内核结构单独跟踪长持久性特征,同时将对角线附近的特征视为一个集体单元。选择将短持久性特征描述为一组减少了计算时间,同时保持了准确性。事实上,我们证明了相关的核密度估计收敛到真实的分布作为持久性图的数量增加,相应地缩小带宽。我们还建立了收敛的平均绝对偏差估计,根据瓶颈度量定义。最后,核密度估计的例子是典型的底层数据集。
2018-03-13 math.ST stat.TH
Low probability states, data statistics, and entropy estimation
针对复杂系统熵估计中未采样态影响估计精度的问题,研究发现离散分布熵估计量主要基于样本量等少量统计量构建低概率尾部模型,据此推导了欠采样分布的近似解析熵估计量,阐明了贝叶斯熵估计的工作机制。
2022-07-03 cs.IT math.IT math.ST
Statistical computation of Boltzmann entropy and estimation of the optimal probability density function from statistical sample
在这项工作中,我们研究统计样本的玻尔兹曼熵的统计计算。为此,我们使用直方图和核函数来估计统计样本的概率密度函数。我们发现,由于粗粒化,熵是直方图的箱宽度或核估计的带宽的单调递增函数,这似乎很难选择最佳的箱宽度/带宽来计算熵。幸运的是,我们注意到,对于直方图和核估计,熵的一阶导数都存在最小值,并且一阶导数的最小点渐进地指向最优的bin宽度或带宽。我们已经通过大量的数值实验验证了这些发现。因此,我们建议使用熵的一阶导数的最小值作为密度估计的最佳箱宽或带宽的选择器。而且,由熵的一阶导数的最小值所选择的最优带宽是纯基于数据的,与未知的底层概率密度分布无关,这明显优于现有的估计量。我们的结果不仅限于一维,但也可以扩展到多变量的情况下。然而,应该强调的是,我们没有为这些发现提供强有力的数学证明,我们把这些问题留给那些对它们感兴趣的人。
2014-10-17 physics.comp-ph physics.data-an stat.ME
Minimax Optimal Probability Matrix Estimation For Graphon With Spectral Decay
本文针对具有特征值谱衰减的图振子,研究随机图概率矩阵的极小极大最优估计,证明谱阈值算法可达与信息论下界仅差对数因子的速率,并揭示其不同于光滑图振子设定的计算—统计含义。
2024-10-01 math.ST stat.TH
Penalized likelihood estimation of probability density functions using compositional splines
Palacký University Olomouc(帕尔卡茨大学)
该研究针对概率密度函数两阶段估计的偏差问题,提出了基于贝叶斯希尔伯特空间、中心对数比变换和ZB样条的惩罚最大似然框架,经模拟和地球化学数据验证了其有效性。
2026-08-25 stat.ME
Spline Smoothing for Estimation of Circular Probability Distributions via Spectral Isomorphism and its Spatial Adaptation
考虑当$X_1,X_2,..., X_n$分布在一个圆上时的问题,该圆遵循$S^1$上的未知分布$F$。在这篇文章中,我们考虑了绝对的一般设置,其中密度可以有局部特征,如不连续性和边缘。此外,可能存在可以遵循某些离散分布的离群数据。传统的核密度估计方法无法识别数据中的这种局部特征。在这里,我们设备上的非参数密度估计$S^1$,通过使用一种新的技术,我们称之为傅立叶样条。我们还试图识别和纳入本地功能,如支持,不连续或边缘的最终密度估计。在这方面证明了几个新的结果。还进行了模拟研究,看看我们的方法是如何工作的。最后给出了一个真实的例子。
2012-09-08 stat.CO stat.ME
A Note on Posterior Probability Estimation for Classifiers
Medical Data Science Ltd.(医疗数据科学有限公司)
分类任务的中心主题之一是在新的点$\bf{x}$上估计类后验概率。绝大多数分类器输出$\bf{x}$的分数,该分数经由未知关系与后验概率单调相关。在文献中有许多尝试来估计后一种关系。在这里,我们提供了一种方法来估计后验概率,而不诉诸于使用分类得分。相反,我们改变类的先验概率,以获得点$\bf{x}$处的pdf的比率,该比率直接用于确定类的后验概率。我们在这里考虑二进制分类问题。
2019-09-12 cs.LG stat.ML
Consistency and Finite Sample Behavior of Binary Class Probability Estimation
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
在这项工作中,我们调查在何种程度上可以恢复类概率内的经验风险最小化(ERM)范式。本文的主要目的是推广现有的结果,并强调经验风险最小化和类概率估计之间的紧密联系。基于现有文献中的超额风险界和适当的评分规则,我们得到了一类基于经验风险最小化的概率估计。然后,我们得出相当一般的条件下,这个估计将收敛,在L1-范数和概率,真正的类概率。我们的主要贡献是提出了一种方法来获得有限样本L1收敛速度的估计不同的替代损失函数。我们还详细研究了常用的损失函数是适合于这个估计问题,最后讨论了设置模型误设定以及可能的扩展到非对称损失函数。
2020-07-21 cs.LG stat.ML
A new method for parameter estimation in probabilistic models: Minimum probability flow
University of California, Berkeley(加州大学伯克利分校)
由于配分函数的一般难以处理,将概率模型拟合到数据通常是困难的。本文提出了一种新的参数拟合方法--最小概率流法(MPF)。我们演示了在两种情况下使用MPF的参数估计:一个连续的状态空间模型,和伊辛自旋玻璃。在后一种情况下,它优于目前的技术,至少一个数量级的收敛时间与较低的误差恢复耦合参数。
2020-07-17 cs.LG stat.ML
Deep Directed Generative Models with Energy-Based Probability Estimation
Université de Montréal(蒙特利尔大学)
训练基于能量的概率模型面临着显然难以处理的和,其蒙特卡罗估计需要从训练的内环中的估计概率分布中采样。这可以通过马尔可夫链蒙特卡罗方法近似地实现,但是可能仍然面临一个巨大的障碍,即难以在具有急剧集中的概率的模式之间混合。鉴于MCMC过程通常是基于数学考虑从给定的能量函数导出的,并且需要任意长的时间来获得良好的和不同的样本,我们建议训练深度定向生成模型(而不是马尔可夫链),以便其采样分布近似匹配正在训练的能量函数。受生成对抗网络的启发,所提出的框架涉及训练表示估计概率分布的双重视图的两个模型:能量函数(将输入配置映射到标量能量值)和生成器(将噪声向量映射到生成的配置),两者都由深度神经网络表示。
2016-06-10 cs.LG stat.ML
On Focal Loss for Class-Posterior Probability Estimation: A Theoretical Perspective
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);IBM Research(IBM研究院);Tokyo Institute of Technology(东京工业大学);RWBC-OIL, AIST(产业技术综合研究所RWBC-OIL)
聚焦损失在目标检测和图像分类等实际应用中已经证明了它的有效性,但迄今为止对其理论的理解还很有限。在本文中,我们首先证明了焦点损失是分类校准的,即,它的最小值肯定会产生贝叶斯最优分类器,因此在分类中使用焦点损失在理论上是合理的。然而,我们也证明了一个否定的事实,即焦点损失不是严格适当的,即,通过焦点损失最小化获得的分类器的置信度得分与真实的类后验概率不匹配,因此它作为类后验概率估计器是不可靠的。为了缓解这个问题,我们接下来证明,一个特定的封闭形式的转换的置信度得分允许我们恢复真正的类后验概率。通过在基准数据集上的实验,我们证明了我们提出的变换显着提高了类后验概率估计的准确性。
2020-12-14 cs.LG stat.ML
Conditional Probability Tree Estimation Analysis and Algorithms
我们考虑的问题估计的条件概率的标签在时间O(log n),其中n是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构,证明了遗憾的范围,规模与深度的树。基于这种分析,我们提出了第一个在线算法,该算法可证明地在标签集上构建对数深度树来解决这个问题。我们根据经验测试了该算法,结果表明它在大约106个标签的数据集上成功地工作。
2014-08-09 cs.LG stat.ML
MOB-ESP and other Improvements in Probability Estimation
University of Colorado(科罗拉多大学)
在智能系统中,不确定性下的最优推理的一个关键前提是从良好的类概率估计开始。本文对现有的最佳概率估计树(Bagged-PETs)进行了改进,提出了一种新的基于集合的算法(MOB-ESP)。使用几个基准数据集和多个指标进行比较。这些实验表明,MOB-ESP输出的类概率比基线BPETs算法或本文提出的增强版本(EB-PETs)更准确。这些结果是基于与预测的平均准确度密切相关的指标。MOB-ESP还提供比B-PET更好的概率排名。本文进一步提出了如何将这些估计技术与更广泛的分类器相结合。
2012-07-11 cs.AI cs.LG stat.ML
Convex Risk Minimization and Conditional Probability Estimation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
本文证明了,在非常一般的设置,凸风险最小化是一个过程,选择一个独特的条件概率模型所确定的分类问题。与大多数以前的工作不同,我们给出的结果是足够一般的情况下,其中不存在最小值,通常会发生,例如,与标准的提升算法。具体地说,我们首先表明,任何序列的预测最小化凸风险的源分布将收敛到这个独特的模型时,类的预测是线性的(但可能是无限维)。其次,我们证明了同样的结果适用于\emph{empirical}风险最小化时,这类预测是有限维的,其中的基本技术贡献是一个无范数的推广界。
2015-06-15 cs.LG stat.ML
Linear Algorithms for Robust and Scalable Nonparametric Multiclass Probability Estimation
University of Arizona(亚利桑那大学)
多类概率估计是在给定协变量信息的情况下,估计数据点属于某类的条件概率的问题。它在统计分析和数据科学中有着广泛的应用。最近,已经开发了一类加权支持向量机(wSVM),通过集成学习来估计$K$类问题的类概率(Wu,Zhang和Liu,2010; Wang,Zhang和Wu,2019),其中$K$是类的数量。估计器是鲁棒的,并实现高精度的概率估计,但他们的学习是通过成对耦合,这需要在$K$多项式时间。在本文中,我们提出了两个新的学习方案,基线学习和一对所有(OVA)学习,以进一步提高wSVM的计算效率和估计精度。特别地,基线学习在$K$中是线性的意义上具有最佳计算复杂度。虽然不是最有效的计算,OVA提供了最好的估计精度在所有的程序进行比较。由此产生的估计是分布自由,并显示是一致的。我们进一步进行了广泛的数值实验,以证明有限样本的性能。
2022-09-22 cs.LG stat.ME stat.ML
Hierarchical Multinomial-Dirichlet model for the estimation of conditional probability tables
我们提出了一种新的方法来估计条件概率表,根据一个联合,而不是独立的,属于同一表的条件分布的估计。我们推导出精确的解析表达式的估计,我们分析和模拟他们的属性。然后,我们将此方法应用于贝叶斯网络中的参数估计。给定网络的结构,所提出的方法更好地估计联合分布,并显着提高了分类性能相对于传统的方法。
2017-08-23 stat.ML
Class Probability Estimation via Differential Geometric Regularization
Boston University(波士顿大学);The Mathworks Inc.(Mathworks公司)
我们从统一的几何角度研究了二分类和多分类的监督学习问题。特别是,我们提出了一种几何正则化技术,找到相应的类概率$P(y|\pmb{x})$的鲁棒估计的子流形。正则化项测量这个子流形的体积,基于过拟合产生快速局部振荡的直觉,因此估计量很大。这种技术可以应用于正则化满足两个要求的任何分类函数:首先,可以获得类概率的估计;其次,可以计算类概率估计的一阶和二阶导数。在实验中,我们将我们的正则化技术应用于标准损失函数进行分类,我们基于RBF的实现与广泛使用的正则化方法进行二进制和多类分类相比毫不逊色。
2016-02-11 cs.CG cs.LG stat.ML
Bayesian State Estimation for Unobservable Distribution Systems via Deep Learning
Cornell University(康奈尔大学)
研究了不可观测配电系统的状态估计问题。提出了一种用于实时应用的贝叶斯状态估计的深度学习方法。所提出的技术包括随机功率注入的分布学习、用于训练用于状态估计的深度神经网络的蒙特卡罗技术以及贝叶斯坏数据检测和过滤算法。研究了深层神经网络的结构特征。仿真说明了贝叶斯状态估计对不可观测系统的准确性,并证明了采用深度神经网络的好处。数值结果表明,贝叶斯状态估计对建模和估计误差的鲁棒性和坏数据和缺失数据的存在。与伪测量技术相比,通过深度学习神经网络的直接贝叶斯状态估计优于现有的基准。
2019-02-25 cs.LG stat.AP stat.ML
Deep Probability Estimation
New York University(纽约大学);NYU School of Medicine(纽约大学医学院)
可靠的概率估计在许多存在固有(任意)不确定性的实际应用中至关重要。概率估计模型是根据观察到的结果(例如是否下雨,或者患者是否死亡)进行训练的,因为感兴趣事件的地面真实概率通常是未知的。因此,这个问题类似于二元分类,区别在于目标是估计概率而不是预测具体结果。本文研究了基于深度神经网络的高维数据概率估计。有几种方法可以提高这些模型产生的概率,但它们主要集中在模型(认知)的不确定性。对于具有固有不确定性的问题,在没有获得地面真实概率的情况下评估性能是具有挑战性的。为了解决这个问题,我们构建了一个合成数据集来研究和比较不同的可计算指标。我们评估现有的方法的合成数据,以及在三个现实世界的概率估计任务,所有这些都涉及固有的不确定性:从雷达图像的降水预测,预测癌症患者的生存从组织病理学图像,并预测车祸从dashcam视频。我们还给出了一个理论分析的模型,高维概率估计再现了我们的实验中所示的几个现象。最后,我们提出了一种新的方法,概率估计使用神经网络,修改训练过程,以促进输出概率是一致的经验概率计算的数据。该方法优于现有的方法上的模拟以及真实世界的数据的大多数指标。
2022-10-11 cs.AI cs.CV cs.LG
Probability Estimation with Truncated Inverse Binomial Sampling
本文给出了截尾逆二项抽样的一般理论。在该理论中,固定尺寸抽样和逆二项抽样作为特殊情况被容纳。特别是,经典的霍夫-霍夫丁界是该理论的直接结果。此外,我们提出了一种严格而有效的概率估计方法,这是一个自适应蒙特卡罗估计方法的截断逆二项抽样的基础上。我们提出的方法的概率估计可以是数量级更有效的文献和广泛使用的软件中的现有方法相比。
2019-08-19 cs.SY eess.SY math.ST
Sparse Learning and Class Probability Estimation with Weighted Support Vector Machines
Statistics and Data Science GIDP, University of Arizona(统计与数据科学GIDP,亚利桑那大学);Department of Mathematics, University of Arizona(数学系,亚利桑那大学)
本文提出了一种新的加权支持向量机框架,结合自动变量选择与准确的概率估计,用于稀疏学习问题。通过解决ℓ1范数或弹性网络正则化的优化问题,实现了高效的变量选择和可靠的概率估计。
2026-03-24 cs.LG stat.ME stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics(哥伦比亚大学统计系);ENSAE ParisTech, Department of Statistics(巴黎高等经济商业学院统计系)
基于Dwork和Lei(2009)提出的“建议、检验、发布”(PTR)机制,我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制,使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据,而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据,并提供了第一个亚高斯高概率界差分私人中位数和均值估计,可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Near-optimal algorithms for private estimation and sequential testing of collision probability
Google Research(谷歌研究)
针对碰撞概率这一离散分布扩散的基本度量,提出满足(α,β)局部差分隐私的估计算法(样本复杂度提升1/α²倍)和序贯检验算法(ε未知时样本复杂度Õ(1/ε²)),实现近最优样本复杂度且实验样本需求显著减少。
2025-04-18 cs.AI cs.LG stat.ML
Estimation of discrete distributions with high probability under $χ^2$-divergence
CREST, ENSAE(CREST, 法国国家应用经济学院)
研究χ²散度下离散分布的高概率估计问题,给出Laplace估计器的精确界及任意估计器的极小极大高概率风险刻画,揭示渐近与非渐近保证的内在分离,完善相关理论。
2025-10-29 math.ST stat.ML stat.TH
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University(斯坦福大学)
针对黑盒安全关键自主系统罕见失效难以估计的问题,提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法,在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction
针对子分裂贝叶斯网络参数学习中EM难以扩展的问题,提出高效随机训练方法并引入方差缩减,同时改进VBPI中的参数优化,实验显示在树拓扑概率估计和贝叶斯系统发育推断上均优于基线。
2024-09-09 q-bio.PE stat.CO stat.ML
Estimating Probability Distributions using "Dirac" Kernels (via Rademacher-Walsh Polynomial Basis Functions)
在许多应用中(特别是信息系统,例如模式识别、机器学习、化学信息学、生物信息学等),不确定性的评估是必不可少的-即,潜在的概率分布函数的估计。通常情况下,这个函数的形式是未知的,并且有必要从给定的样本中非参数地构造/估计它。对于给定的随机变量(定义在二进制空间上),非参数估计未知概率分布函数的方法之一是在Rademacher-Walsh多项式基函数中扩展估计函数。本文证明了概率分布函数估计在Rademacher-Walsh多项式基函数中的展开等价于函数估计在一组“Dirac核”函数中的展开。后一种方法可以改善通常与Rademacher-Walsh多项式基函数方法相关联的计算瓶颈和记法笨拙,特别是当二进制输入空间很大时。
2016-09-23 stat.ML
Unimodal probability distributions for deep ordinal classification
由顺序分类问题的交叉熵损失产生的概率分布可能具有不期望的性质。我们提出了一个简单的技术,通过使用泊松和二项式概率分布来约束离散有序概率分布是单峰的。我们在两个大型有序图像数据集的深度学习背景下评估了这种方法,获得了有希望的结果。
2017-06-22 stat.ML
AK-MCS-C2 : Active Kriging Monte Carlo Simulation method with conformal certification for failure probability estimation
Université Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli(巴黎萨克雷大学、法国国家科学研究中心、巴黎高等师范学校、博尔塞利中心);EDF R&D(法国电力集团研发部)
提出一种结合主动克里金蒙特卡洛模拟与共形预测的主动学习框架,通过自适应交叉共形策略和J+GP共形估计器,在少量样本下提供无分布假设的预测误差保证,提高极限状态面附近样本分类可靠性,从而提升失效概率估计的准确性和鲁棒性。
2026-06-19 stat.ME stat.ML
On Numerical Estimation of Joint Probability Distribution from Lebesgue Integral Quadratures
给出了勒贝格积分求积arXiv:1807.06007的一个重要应用.给定两个随机过程,$f(x)$和$g(x)$,可以表示和求解两个广义本征值问题.除了获得两个勒贝格求积($f$和$g$)从两个特征问题,投影的$f$ -和$g$ -特征向量上的其他允许建立一个联合分布估计,其中最一般的形式是密度矩阵相关。密度矩阵相关性的示例可以是值相关性$V_{f^{[i]};g^{[j]}}$(类似于常规相关性概念)和新的概率相关性$P_{f^{[i]};g^{[j]}}$。如果用Christoffel函数平均代替正则平均,则该方法可推广到三个或更多随机过程的联合概率估计。该理论是数值实现的;软件在GPL v3许可下可用。
2020-11-30 cs.NA math.NA stat.ML
Rapid and deterministic estimation of probability densities using scale-free field theories
Cold Spring Harbor Laboratory(冷泉港实验室)
如何从有限数据中最好地估计连续概率密度的问题是统计学和物理学接口上的一个有趣的开放问题。以前的工作认为,这个问题可以用统计场论的方法自然地解决。在这里,我描述了新的结果,使这个领域的理论方法,以快速和确定性的计算在低维,使其实用的日常数据分析。重要的是,这种方法不会为推断的概率密度的平滑度强加特权长度尺度,而是由于拟合优度和奥卡姆因子之间的权衡而从数据中学习自然长度尺度。提供了在一维和二维中实现该方法的开源软件。
2014-04-18 cs.LG math.ST physics.data-an
Statistical Pattern Recognition for Driving Styles Based on Bayesian Probability and Kernel Density Estimation
Beijing Institute of Technology(北京理工大学);University of California at Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
驾驶风格对车辆的燃油经济性、主动安全性和驾驶性能有很大的影响。为了识别不同驾驶员的路径跟踪行为的驾驶风格,提出了一种基于概率密度估计的驾驶风格或特征不确定性的统计模式识别方法.首先,选取车速和节气门开度作为判别参数,分别建立车速和节气门开度的条件核密度函数来描述两种典型驾驶风格的不确定性和概率,有侵略性和正常。同时,利用全贝叶斯理论,得到特征向量中各元素的后验概率。其次,采用欧氏距离的方法来确定驾驶员应该属于哪一类,而不是计算特征向量每两个元素之间的复协方差。通过比较特征向量中各元素之间的欧氏距离,将驾驶风格分为从低正常到高攻击的七个等级。随后,为了显示所提出的模式识别方法的优点,使用了交叉验证的方法,与基于模糊逻辑的模式识别方法相比。实验结果表明,基于核密度估计的驾驶风格统计模式识别方法比基于模糊逻辑的驾驶风格统计模式识别方法更有效、更稳定。
2016-06-03 cs.CV stat.ML