GBHT: Gradient Boosting Histogram Transform for Density Estimation
Peking University(北京大学);University of Twente(特文特大学);Pazhou Lab(琶洲实验室)
在本文中,我们提出了一个密度估计算法称为\textit{Gradient Boosting Histogram Transform}(GBHT),其中我们采用\textit{Negative Log Likelihood}作为损失函数,使提升过程可用于无监督任务。从学习理论的角度来看,我们首先证明快速收敛速度GBHT与光滑的假设,基本的密度函数位于空间$C^{0,α}$。然后当目标密度函数位于空间$C^{1,α}$中时,从收敛速度的意义上讲,我们给出了GBHT的上界,该上界小于其对应的基学习器的下界。据我们所知,我们第一次尝试从理论上解释为什么提升可以提高其基本学习器的性能密度估计问题。在实验中,我们不仅与广泛使用的KDE进行性能比较,而且还将GBHT应用于异常检测,以展示GBHT的进一步应用。
2021-06-10 cs.LG stat.ML
Beyond Smoothness: Incorporating Low-Rank Analysis into Nonparametric Density Estimation
最流行的普遍一致的非参数密度估计的构造和理论分析取决于一个函数性质:光滑性。在本文中,我们研究了将一种低秩模型--多视角潜变量模型引入非参数密度估计的理论意义。为此,我们对集成多视图模型的直方图风格估计器进行了广泛的分析。我们的分析最终表明,存在一个普遍一致的直方图风格的估计,收敛到任何多视图模型与有限数量的Lipschitz连续组件的速度为$\widetilde{O}(1/\sqrt[3]{n})$在$L^1$错误。相比之下,标准直方图估计器可以以比$1/\sqrt[d]{n}$慢的速率收敛于同一类密度。我们还介绍了一个新的非参数隐变量模型的基础上的Tucker分解。一个基本的实现我们的估计实验证明了一个相当大的性能改善,超过标准的直方图估计。我们还提供了一个彻底的分析,我们的塔克分解为基础的模型和各种其他结果的样本的复杂性。因此,本文为将低秩技术推广到非参数环境提供了坚实的理论基础
2022-04-02 math.ST stat.ML stat.TH
The Brouwer Lecture 2005: Statistical estimation with model selection
本文的目的是解释的兴趣和重要性的(近似)模型和模型选择的统计。从非常基本的例子直方图,我们提出了一个一般的概念,有限维模型的统计估计,我们解释了什么类型的风险范围可以预期从使用这样的模型。然后,我们从一个家庭这样的模型的性能合适的模型选择程序。我们说明了我们的观点,两个主要的例子:从一个n样本的直方图设计的分区的选择和高斯回归的背景下的变量选择的问题。
2006-05-13 math.ST stat.TH
Density estimation for $β$-dependent sequences
研究了当观测值来自严格平稳序列时,密度的一些经典估计的Lp-积分风险。结果适用于一个大类的序列,这可以是非混合的意义上的Rosenblatt和长程相关。主要的概率工具是一个新的Rosenthal型不等式的部分和的BV函数的变量。作为应用,我们给出了正则直方图在估计单位区间上一类扩张映射的不变密度时的收敛速度,该映射的中性不动点在零.这些直方图在专门用于模拟的部分中绘制。
2016-05-17 math.ST stat.TH
Random irregular histograms
Department of Mathematics, University of Oslo(奥斯陆大学数学系);Norwegian Defence Research Establishment (FFI)(挪威国防研究局)
本文提出了一种基于贝叶斯方法的自动直方图构建技术,能够自动选择bin数量和位置,并在Hellinger度量下保持一致性,同时达到Hölder连续密度的最小最大收敛速度。
2025-07-18 math.ST stat.ME stat.TH
Beta-trees: Multivariate histograms with confidence statements
受 $k$-d 树启发,提出 Beta-trees 构建欧几里得空间数据自适应划分,提供有限样本同时置信区间,避免维数灾难,并应用于数据可视化与多变量众数寻找。
2023-08-02 stat.ME
Estimation of the Global Mode of a Density: Minimaxity, Adaptation, and Computational Complexity
我们考虑了密度的整体模在整体模附近的某些衰减率条件下的估计。我们表明,直方图的最大值,适当选择的带宽,实现我们建立的设置,我们考虑的最小最大速率。这是基于对衰变率的了解。解决的情况下,衰减率是未知的,我们提出了一个多尺度的变体组成的递归细化的直方图,这是极大极小自适应。这些方法在线性时间内运行,我们在附录中证明了这是最好的可能:没有估计过程在次线性时间内运行,达到最小最大速率。
2021-04-16 math.ST stat.ME stat.TH
Nonparametric Inference on Unlabeled Histograms
Tsinghua University(清华大学)
本文提出用混合分布建模无标签直方图多重集,研究非参数最大似然估计及其最优收敛速率,并给出高效插件估计量,在合成、真实数据及大语言模型实验中验证了方法的实用价值。
2025-11-07 math.ST stat.ME stat.TH
Chi-square goodness of fit tests for weighted histograms. Review and improvements
加权直方图用于概率密度函数的估计。计算机模拟是这类直方图的主要应用领域。本文对加权直方图的卡方拟合优度检验进行了综述。对这些测试提出了改进,使其尺寸更接近其标称值。本文提出的数值例子进行评估的测试,并证明各种应用程序的测试。
2015-02-19 astro-ph.IM hep-ex nucl-ex
Learning Transfer Operators by Kernel Density Estimation
Yale University(耶鲁大学);Yale School of Public Health(耶鲁公共卫生学院);Clarkson University(克拉克森大学)
本文从统计密度估计视角重新表述转移算子推断问题,通过偏差-方差分析比较直方图与核密度估计,证明KDE在估计Frobenius-Perron算子特征向量时通常更准确,并指出其边界局限性及未来高维应用方向。
2023-07-27 cs.IT cs.LG math.DS
Improving Nonparametric Density Estimation with Tensor Decompositions
Technische Universität Berlin(柏林工业大学);Machine Learning Group(机器学习组)
虽然非参数密度估计通常在低维数据上表现良好,但当应用于高维数据时,它们的性能可能会受到影响,这可能是由于维数灾难。避免这种情况的一种技术是假设特征之间没有依赖性,并且数据是从可分离的密度中采样的。这允许独立地估计每个边缘分布,从而避免与估计全关节密度相关联的慢速率。这是朴素贝叶斯模型中采用的一种策略,类似于估计秩一张量。在本文中,我们研究这些改进是否可以扩展到其他简化的依赖性假设,我们通过非负张量分解模型。在我们的中心理论结果中,我们证明了将估计限制在低秩非负PARAFAC或Tucker分解中可以消除多维直方图的箱宽率的维数指数。这些结果通过直接应用现有的非负张量分解直方图估计实验验证具有较高的统计意义。
2020-10-06 cs.LG math.ST stat.ME
Confidence Intervals for Quantiles from Histograms and Other Grouped Data
分位数的区间估计已被许多文献所处理。然而,据我们所知,当数据以分组格式提供时,没有考虑区间估计。受此启发,我们介绍了几种方法来获得置信区间的分位数时,只有分组数据。对于区间估计,我们的首选方法是使用广义Lambda分布(GLD)来估计分位数和分位数估计量的方差来近似基础密度。我们比较GLD方法与其他一些方法,我们也介绍了这是基于频率近似的方法和线性插值近似的密度。我们的方法得到了模拟的有力支持,模拟结果表明,对于大量的分布,可以实现出色的覆盖率。这些分布包括高度偏态分布,如对数正态分布、Dagum分布和Singh-Maddala分布。我们还将我们的方法应用于真实数据,并表明可以对仅由直方图总结的已发表结果进行推断。因此,我们的方法适用于广泛的应用。我们还创建了一个Web应用程序,可用于方便地计算估计量。
2017-12-07 stat.AP stat.ME
Sparse Density Trees and Lists: An Interpretable Alternative to High-Dimensional Histograms
本文提出稀疏树和列表密度估计方法,作为高维直方图的可解释替代,通过贝叶斯先验控制复杂度,在稀疏性和准确性间取得平衡,并应用于犯罪分析。
2023-11-15 stat.ML
Plots of the cumulative differences between observed and expected values of ordered Bernoulli variates
许多预测在本质上是概率性的;例如,一个预测可能是明天的降水,但只有30%的概率。考虑到预测和实际结果,“可靠性图”(也称为“校准图”)有助于检测和诊断预测和结果之间的统计显著差异。规范可靠性图是基于对预测的观测值和期望值进行直方图化;标准可靠性图的几个变体提出用软核密度估计代替硬直方图分箱,软核密度估计使用与箱的宽度相似的宽度的平滑卷积核。在所有情况下,一个重要的问题自然会出现:哪些宽度是最好的(或者具有不同宽度的多个图更好)?观察值和预期值之间的累积差异图并没有回答这个问题,而是通过将误校准直接显示为图形割线的斜率,在很大程度上避免了这个问题。即使在割线的恒定偏移不相关的情况下,斜率也很容易以定量精度感知。不需要用稍微任意的核来分箱或执行核密度估计。
2020-07-17 cs.LG stat.ME stat.ML
Piecewise linear density estimation for sampled data
研究了平稳连续时间离散观测过程的非参数密度估计。对于每三个给定的时间采样程序随机或确定性,我们建立的直方图和频率多边形可以达到相同的最佳$L_{2}$率在独立和同分布的情况下。此外,由于一个合适的“高频”采样设计,这些速率是与最小的观察时间取决于样本路径的规律性一起导出的。
2009-01-17 math.ST stat.TH
Statistical computation of Boltzmann entropy and estimation of the optimal probability density function from statistical sample
在这项工作中,我们研究统计样本的玻尔兹曼熵的统计计算。为此,我们使用直方图和核函数来估计统计样本的概率密度函数。我们发现,由于粗粒化,熵是直方图的箱宽度或核估计的带宽的单调递增函数,这似乎很难选择最佳的箱宽度/带宽来计算熵。幸运的是,我们注意到,对于直方图和核估计,熵的一阶导数都存在最小值,并且一阶导数的最小点渐进地指向最优的bin宽度或带宽。我们已经通过大量的数值实验验证了这些发现。因此,我们建议使用熵的一阶导数的最小值作为密度估计的最佳箱宽或带宽的选择器。而且,由熵的一阶导数的最小值所选择的最优带宽是纯基于数据的,与未知的底层概率密度分布无关,这明显优于现有的估计量。我们的结果不仅限于一维,但也可以扩展到多变量的情况下。然而,应该强调的是,我们没有为这些发现提供强有力的数学证明,我们把这些问题留给那些对它们感兴趣的人。
2014-10-17 physics.comp-ph physics.data-an stat.ME
Nonparametric estimation for fractional diffusion processes with random effects
提出了一类具有随机效应的分数阶随机微分方程(Festival)的非参数估计。精确地考虑了一般线性分数阶随机微分方程,其漂移依赖于随机效应和非随机扩散。我们建立了普通的核估计和直方图估计,并研究了它们的Lp-风险(p =1或2),当H>1/2时。当T = T(N)和N都趋于无穷大时,渐近结果被评估。
2019-01-16 math.ST stat.TH
Exact and empirical estimation of misclassification probability
Institute of Mathematics SB RAS(俄罗斯科学院西伯利亚分院数学研究所)
我们讨论了分类问题中的风险估计问题,特别关注于寻找最大化风险估计的置信区间的分布。我们推导出简单的解析近似的直方图分类器的经验风险的最大偏差。我们对如何将这些分析估计用于风险的经验估计进行了详细的研究。
2014-08-14 cs.LG stat.ML
A Note on Density Estimation for Binary Sequences
对于$\{0,1\}^{\mathbb{N}}$中的二进制序列,给出了概率测度关于支配测度的Radon-Nikodym导数的直方图估计.给出了估计在均方意义下相合的一个充要条件。值得注意的是,$\{0,1\}^{\mathbb{N}}$和相应的主导积测度的积拓扑构成相当大的限制所需的收敛所需的采样率。
2013-09-14 math.ST stat.TH
Error bounds for gradient density estimation computed from a finite sample set using the method of stationary phase
对于二次连续可微函数$S$,定义其梯度(一维导数)的密度函数$s = S^{\prime}$为均匀分布随机变量的随机变量变换,以$s$为变换函数.给定$S$的$N$值在等间隔位置采样,我们证明了使用固定相位的方法,在任意小的间隔上的波函数$ϕ^{D}_τ=\frac{1}{\sqrt{L}}\exp\left(\frac{iS}τ\right)$的缩放的离散功率谱的积分和$s$的真密度函数的积分之间的近似误差是有界的$O(1/N)$作为$N \rightarrow \infty$($τ\rightarrow 0$)。除了其易于实现和快速的可计算性,在$O(N \log N)$,只需要计算离散傅立叶变换,我们的框架,用于获得导数密度不涉及任何参数的选择,如直方图箱的数量,直方图箱的宽度,内核参数的宽度,混合成分的数量等所需的其他广泛应用的方法,如直方图和Parzen窗口。
2016-12-29 stat.CO
Classification of Population Using Voronoi Area Based Density Estimation
给定两组训练样本,一般的方法是估计密度函数,并根据估计密度的较高值对测试样本进行分类。估计密度的自然方法应该是直方图趋向于频率曲线。但由于不同点的数据积累量不同,在绘制直方图时不能采用相同的区间长度。在这里,我们遵循类似于绘制直方图的方法,目的是进行密度估计和分类,但是没有任意地进行,我们考虑了散点图的图,并获得了基于Voronoi细胞面积的密度估计。但是,任意Voronoi胞的面积可能很难找到,特别是在二维和更高的维度,也在流形。出于这个原因,我们通过绘制许多独立的均匀变量来估计Voronoi单元的面积,这些变量覆盖了训练样本的支持。请注意,虽然我们考虑的是高维和典型流形中的密度估计和分类问题,但我们的模拟和代数计算主要针对实数线上的密度。我们期望在更高的维度和流形的工作将在类似的线,并计划在不久的将来做。此外,我们预计离散的情况下,可以处理略有不同,但类似的线,也留给未来的工作。
2017-06-29 stat.ME
Using Exponential Histograms to Approximate the Quantiles of Heavy- and Light-Tailed Data
研究指数直方图在轻尾和重尾独立同分布数据流下的四个特性,揭示其大小随 $\log n$ 增长并趋于 Gumbel 分布,为低内存分位数估计提供更深入视角。
2024-04-27 math.ST stat.AP stat.CO
A Unified MDL-based Binning and Tensor Factorization Framework for PDF Estimation
Communications Research Laboratory(通信研究中心);Ilmenau University of Technology(伊门瑙技术大学);School of Electrical Engineering(电气工程学院);Tel Aviv University(特拉维夫大学)
针对混合密度与非均匀分布下直方图估计不连续、难捕捉局部变化的问题,提出结合MDL分位数分箱与联合概率张量CPD分解的非参数多元PDF估计框架,并在合成及干豆数据集上验证有效性。
2025-09-28 cs.IT cs.LG math.IT
Kernel Density Estimation and Convolution Revisited
University of Texas, El Paso(德克萨斯大学埃尔帕索分校)
本研究通过卷积框架重新审视核密度估计,提出SHIDE估计器,利用有界噪声和样条插值,在保持$n^{-4/5}$收敛速率的同时缓解边界偏差,模拟显示其在多种分布上优于或媲美传统KDE。
2025-10-22 math.ST stat.ME stat.TH
Information Geometry Approach to Parameter Estimation in Hidden Markov Models
本文提出基于信息几何的高效估计量,仅利用 k-记忆数据直方图估计隐马尔可夫过程的转移矩阵,并在切空间上讨论模型等价性。
2021-03-16 cs.IT math.IT math.ST
Multivariate Density Estimation via Adaptive Partitioning (I): Sieve MLE
本文研究了多元密度估计的非参数方法。估计量是由二进制分区支持的分段常数密度函数。样本空间的分区通过最大化该分区上的对应直方图的似然来学习。本文分析了筛分极大似然估计的收敛速度,并得出结论:对于一类相对丰富的密度函数,筛分极大似然估计的收敛速度并不直接依赖于密度函数的维数。这表明,在某些条件下,这种方法不受维数灾难的影响,在这个意义上,即使在高维中也有可能接近参数率。我们还将此方法应用于几种特殊情况,并分别计算了显式的收敛速度。
2015-08-19 math.ST stat.ME stat.TH
A Learning Framework for Self-Tuning Histograms
Microsoft Research India(微软印度研究院);Microsoft Research(微软研究院)
在本文中,我们考虑使用查询工作负载估计自调直方图的问题。为此,我们提出了一个一般的学习理论制定。具体来说,我们使用来自工作负载的查询反馈作为训练数据来估计具有小内存占用的直方图,从而最大限度地减少未来查询的预期错误。我们的提法提供了一个框架,在其中可以研究和开发不同的方法。我们首先研究了简单的类等宽直方图,并提出了一个学习算法,EquiHist,这是在许多设置中的竞争力。我们还为等宽直方图提供了正式的保证,突出了等宽直方图成功或失败的情况。然后,我们超越等宽直方图,并提出了一种新的学习算法,SpHist,估计一般直方图。在这里,我们使用Haar小波学习直方图的问题,学习稀疏向量。这两种算法与现有方法相比具有多个优点:1)对多维数据的简单和可扩展的扩展,2)直方图桶的数量和查询反馈的大小的可扩展性,3)自然扩展以合并新的反馈并处理数据库更新。我们通过对真实数据和合成数据的详细实验,证明了与当前最先进的ISOMER相比的这些优势。特别是,我们表明SpHist在现实世界的多维数据集上获得的错误比ISOMER少50%。
2011-12-02 cs.DB cs.LG
Persistence Diagram Estimation of Multivariate Piecewise Hölder-continuous Signals
本文在非参数回归背景下,从极小化极大视角研究含噪多元分段 Hölder 连续信号的持续图估计,证明在控制不连续点集 reach 的条件下,简单直方图估计量即可达到已知 Hölder 连续函数的极小化极快速率。
2025-06-02 math.AT math.ST stat.TH
High-Confident Nonparametric Fixed-Width Uncertainty Intervals and Applications to Projected High-Dimensional Data and Common Mean Estimation
非参数两阶段程序,以构建固定宽度的置信区间进行了研究,以量化的不确定性。它表明,随机中心极限定理(RCLT)的有效性伴随着一致的和渐近无偏估计的渐近方差已经保证了一致性和第一以及二阶效率的两个阶段的程序。这在置信区间长度趋于$0$的常见渐近下以及置信水平趋于$1$的新提出的高置信度渐近下都成立。该方法的动机是并适用于分布式大数据的数据分析,数据查询的成本不可忽略。本文讨论了以下问题:均值的固定宽度区间,观测高维数据时的投影,以及在序约束下使用非线性共同均值估计时的共同均值。该程序进行了研究,通过模拟和实际数据分析说明。
2019-10-07 math.ST stat.ME stat.TH
Multiwavelet density estimation
精确的密度估计方法在各种科学学科中起着不可或缺的作用,其应用包括模拟模型、决策支持工具和探索性数据分析。在过去,直方图和核密度估计器一直是主要的选择工具,主要是由于它们易于使用和数学简单。最近,使用小波的密度估计已获得普及,由于他们的能力,以近似一个大类的功能,包括那些本地化的,突然的变化。然而,小波基的一个众所周知的属性是它们不能同时是对称的,正交的和紧支撑的。多小波--一种更一般的向量值小波构造--克服了这一缺点,使它们成为估计密度函数的自然选择,其中许多密度函数在诸如模式之类的特征周围表现出局部对称性。我们扩展小波密度估计的方法,使用多小波基,并说明了几个经验的结果,多小波估计优于他们的小波同行在较粗的分辨率水平。
2012-06-13 math.ST stat.AP stat.TH
Nonparametric estimation for Levy processes with a view towards mathematical finance
给出了Levy过程的Levy密度估计的非参数方法。估计,可以写在“跳跃”的过程中,所以是离散数据为基础的近似。研究了一种由两个步骤组成的模型选择方法。第一步是从建议的Levy密度的线性模型中选择一个好的估计量,而第二步是在给定的线性模型集合中选择一个线性模型。通过对Besov Levy密度估计的极大极小风险提供下界,我们的估计量达到了“最佳”的收敛速率。数值研究的情况下,直方图估计和方差伽马过程,模型的风险资产价格建模的Levy过程驱动的关键重要性,提出。
2004-12-17 math.PR math.ST stat.TH
Kernel Density Estimation for Multiclass Quantification
Consiglio Nationale delle Ricerche(意大利国家研究委员会);University of Oviedo(奥维耶多大学)
针对多类量化任务中直方图分布匹配方法无法建模类间信息的问题,提出基于核密度估计的KDEy方法,实验证明其在多类量化性能上优于现有分布匹配及期望最大化方法。
2024-01-02 cs.LG stat.ML
An efficient algorithm for T-estimation
我们引入了一个有效的和精确的算法,连同一个更快的,但近似的版本,它实现了次二次复杂性的坚持来自T-估计。我们实证研究的性能,这种保持在密度估计的背景下,考虑到著名的竞争对手(保持来自最小二乘或库尔贝克-莱布勒散度,模型选择程序等)。以及包括直方图或带宽选择的经典问题。我们的算法被集成在一个配套的R-包,称为{ \it密度.T.保持},可在CRAN:{ \url{http://cran.r-project.org/web/packages/Density.T.HoldOut/index.html} }。
2014-09-22 stat.CO stat.ME
Unsupervised Discretization by Two-dimensional MDL-based Histogram
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学研究所)
无监督离散化是许多知识发现任务中的关键步骤。一维数据的最新方法使用最小描述长度(MDL)原则推断局部自适应直方图,但多维情况下研究得少得多:当前方法一次考虑一个维度(如果不是独立的),这导致基于自适应大小的矩形单元格的离散化。不幸的是,这种方法无法充分表征维度之间的依赖性和/或导致由比期望的更多的单元(或箱)组成的离散化。为了解决这个问题,我们提出了一个表达模型类,允许更灵活的二维的【形】数据分区。我们扩展了一维情况下的最新技术水平,以获得基于归一化最大似然的模型选择问题,这是一种改进的MDL形式。由于我们的模型类的灵活性是以巨大的搜索空间为代价的,我们引入了一个启发式算法,命名为PALM,分区每个维度交替,然后合并相邻区域,所有使用MDL原则。对合成数据的实验表明,PALM 1)准确地揭示了模型类内的地面实况分区(即,搜索空间); 2)在给定足够大的样本大小的情况下,很好地近似模型类之外的大范围的划分; 3)与现有技术的多元离散化方法IPD相比,收敛。最后,我们将我们的算法应用于三个空间数据集,我们证明,与核密度估计(KDE)相比,我们的算法不仅揭示了更详细的密度变化,而且更好地拟合了看不见的数据,如对数似然所测量的。
2022-12-09 cs.LG stat.ML
Radius selection using kernel density estimation for the computation of nonlinear measures
针对有限长度信号非线性测度估计中的半径参数选择问题,提出基于核密度估计最优带宽的系统选择方法,推导出闭式表达式,并成功应用于关联维数计算和Kolmogorov-Sinai熵估计。
2024-01-08 nlin.CD q-bio.QM stat.ME
Binary Classifier Calibration: Non-parametric approach
University of Piuttsburgh(匹兹堡大学);University of Pittsburgh(匹兹堡大学)
准确校准学习的概率预测模型对于许多实际预测和决策任务至关重要。有两个主要类别的方法用于构建校准的分类器。一种方法是开发用于学习概率模型的方法,这些方法是从头开始的。另一种方法是使用一些后处理方法来转换分类器的输出以进行良好校准,例如直方图分箱,普拉特缩放和保序回归。后处理方法的一个优点是它可以应用于使用任何机器学习方法构建的任何现有概率分类模型。在本文中,我们首先介绍了两个措施,以及如何评估一个分类器校准。我们证明了三个定理表明,使用一个简单的直方图分箱后处理方法,它是可能的,使分类器进行良好的校准,同时保留其歧视能力。此外,通过将直方图分箱方法铸造为基于密度的非参数二元分类器,我们可以使用两个简单的非参数密度估计方法对其进行扩展。我们证明了所提出的校准方法在合成和真实数据集上的性能。实验结果表明,所提出的方法优于或相当于现有的校准方法。
2014-01-14 cs.LG stat.ML
Breaking the Curse with BAND: Nonparametric Distribution Estimation in High Dimensions
Rutgers University(罗格斯大学);Academia Sinica(中央研究院);National Taiwan University(台湾大学)
该研究针对多元分布估计的维数诅咒问题,提出稀疏贝叶斯网络方法BAND,可处理高维混合数据,达到多项式级收敛率,在数据采样和置信区域预测任务中表现优于经典方法,与现有基准相当。
2026-07-30 cs.LG stat.ME stat.ML
A Benchmark Study of Classical and Dual Polynomial Regression (DPR)-Based Probability Density Estimation Technique
University of Houston(休斯顿大学);University of Texas Health Science Center(德克萨斯大学健康科学中心);College of Sciences and Tech., Univ. of Houston–Downtown(休斯顿都市理学院)
本文提出双多项式回归(DPR)方法,通过分段策略和高效计算实现对单峰分布的概率密度估计,实验表明其在准确性和计算效率上表现优异。
2025-12-03 stat.CO
Algorithms for bounding contribution for histogram estimation under user-level privacy
Cornell University(康奈尔大学);Google Research(谷歌研究院)
研究用户级差分隐私下异构数据的直方图估计问题,提出在有界和无界域设置下选择最佳用户贡献界限的算法,实现近似最优并减少数据丢弃,实验验证了其有效性。
2023-06-30 cs.CR cs.LG
Minimum Local Distance Density Estimation
本文提出了一种基于一阶顺序统计量的局部密度估计。为了估计点$x$处的密度,将原始样本划分为子集,并且使用所有这些子集上到$x$的平均最小样本距离来定义$x$处的密度估计。因此,调整参数是子集的数量,而不是基于核或直方图的密度估计器的典型带宽。该方法类似于最近邻密度估计,但它提供了更平滑的估计。我们推导出这个最小样本距离统计量的渐近分布,以研究子集的数量和大小的全局最优值。仿真是用来说明和比较的估计的收敛性能。结果表明,该方法提供了很好的估计的各种密度的调整参数没有变化,它提供了竞争力的收敛性能。
2014-12-09 stat.ME
Conditional Density Estimation with Histogram Trees
LIACS, Leiden University(莱顿大学LIACS学院)
提出CDTree,一种基于直方图叶节点的非参数决策树模型,利用MDL原则免调参,在提升CDE准确性与鲁棒性的同时生成更小且可解释的树。
2024-10-15 cs.LG
Differentially private anonymized histograms
Google Research(谷歌研究院)
对于标签计数对的数据集,匿名直方图是计数的多集。匿名化直方图出现在各种潜在敏感的上下文中,例如密码频率列表,社交网络中的度分布,以及离散分布的对称属性的估计。出于这些应用程序,我们提出了第一个差分隐私机制,以释放匿名直方图,实现接近最佳的隐私效用权衡项目的数量和隐私参数。此外,如果底层直方图以紧凑格式给出,则所提出的算法在项目数量上以次线性的方式运行。对于未知的离散分布生成的匿名直方图,我们表明,发布的直方图可以直接用于估计基本分布的对称属性。
2020-01-13 cs.CR cs.DS cs.IT
Learning mixtures of structured distributions over discrete domains
UC Berkeley(加州大学伯克利分校);University of Edinburgh(爱丁堡大学);Columbia University(哥伦比亚大学)
设$\mathfrak{C}$是离散域$[n] = \{1,...,n\}.$上的一类概率分布,我们证明了如果$\mathfrak{C}$满足一个相当一般的条件--本质上,$\mathfrak{C}$中每个分布都可以用具有较少箱的可变宽度直方图很好地近似--那么就有一个高效的(在运行时间和样本复杂度方面)可以从$\mathfrak{C}.$学习$k$未知分布的任何混合的算法我们分析了$[n]$上的几种自然类型的分布,包括对数凹,单调的风险率和单峰分布,并表明它们具有所需的结构属性,可以很好地近似直方图与几个箱。应用我们的一般算法,我们获得了所有这些混合学习问题的近最优有效算法。
2012-10-02 cs.DS cs.LG math.ST
Enhancing Fluorescence Lifetime Parameter Estimation Accuracy with Differential Transformer Based Deep Learning Model Incorporating Pixelwise Instrument Response Function
Rensselaer Polytechnic Institute(伦斯勒理工学院);Albany Medical College(奥尔巴尼医学院)
针对复杂宏观表面下荧光寿命参数估计难题,提出融合逐像素 IRF 与光子直方图的 Differential Transformer 模型 MFliNet,并在仿体和在体肿瘤模型中验证其稳健性。
2024-12-04 cs.AI cs.LG eess.IV
Private Frequency Estimation via Projective Geometry
Apple Inc.(苹果公司);UC Berkeley(加州大学伯克利分校);Northeastern University(东北大学)
在这项工作中,我们提出了一个新的算法投影几何响应(PGR)局部差分私人(LDP)频率估计。对于$k$的宇宙大小和$n$用户,我们的$\varepsilon$ -LDP算法在私人硬币设置中具有通信成本$\lceil\log_2k\rceil$位,在公共硬币设置中具有$\varepsilon\log_2 e + O(1)$,并且具有服务器的计算成本$O(n + k\exp(\varepsilon) \log k)$来近似重建频率直方图,同时实现最先进的隐私效用权衡。在实践中使用的许多参数设置中,这是对$ O(n+k^2)$计算成本的显著改进,该计算成本是通过最近的PI-RAPPOR算法实现的(Feldman和Talwar; 2021)。我们的经验评估显示,与PI-RAPPOR相比,速度提高了50倍以上,而实际相关参数设置使用的内存减少了约75倍。此外,我们算法的运行时间在HadamardResponse(Acharya,Sun和Zhang; 2019)和RecursiveHadamardResponse(Chen,Kairouz和Ozgur; 2020)的数量级范围内,这两种算法的重建误差明显更差。我们算法的错误基本上与通信和时间效率低下但效用最优的SubsetSelection(SS)算法(Ye和Barg; 2017)相匹配。我们的新算法是基于使用有限域上的投影平面来定义一个小的集合…
2022-03-01 cs.CR cs.DS cs.LG
Shannon Entropy Estimation in $\infty$-Alphabets from Convergence Results
Department of Electrical Engineering(电气工程系);Information and Decision System Group(信息与决策系统小组);University of Chile(智利大学)
在可数无限字母表中的Shannon熵估计问题是从熵泛函的收敛结果的研究和使用中解决的,这是已知的是不连续的总变异距离在$\infty$ -字母表。熵的收敛的充分条件,包括与分布上的无限和无限支持的假设的情况。从这个新的角度来看,四个插件直方图为基础的估计进行了研究表明,收敛结果是有助于获得新的强一致性和收敛速度的结果。在估计量和底层分布上使用不同的场景和条件,例如考虑有限和未知的支持假设以及可求和的尾有界条件。
2018-04-02 cs.IT cs.LG math.IT
Channel Estimation by Infinite Width Convolutional Networks
INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究院)
本文提出基于无限宽卷积网络推导的卷积神经正切核(CNTK)进行OFDM信道估计,仅利用稀疏导频即可准确填补缺失信道响应,无需大型训练集,并在速度、精度和计算资源上显著优于深度学习方法。
2025-04-11 cs.LG
Large width penalization for neural network-based prediction interval estimation
Chulalongkorn University(朱拉隆功大学)
针对高不确定环境下预测区间大宽度导致资源成本过高的问题,提出一种对大PI宽度均值施加重惩罚的新损失函数,兼容梯度算法与主流神经网络,在维持PICP的同时显著缩减大宽度,降低备用资源成本。
2024-12-11 cs.LG cs.SY eess.SY
Learning Populations of Parameters
Stanford University(斯坦福大学)
考虑以下估计问题:存在$n$实体,每个实体具有未知参数$p_i \in [0,1]$,并且我们观察$n$独立随机变量$X_1,\ldots,X_n$与$X_i \sim $二项式$(t, p_i)$。如何准确地恢复$p_i$的“直方图”(即累积密度函数)?虽然经验估计将恢复直方图的推土机距离$Θ(\frac{1}{\sqrt{t}})$(相当于,$\ell_1$距离之间的CDF),我们表明,提供$n$是足够大的,我们可以实现误差$O(\frac{1}{t})$,这是信息理论上最优的。我们还将我们的结果扩展到多维参数的情况下,捕捉设置,其中每个成员的人口有多个相关的参数。除了理论结果之外,我们还证明了恢复算法在各种数据集上的实践表现良好,为几个领域提供了启发性的见解,包括政治,体育分析和后代性别比例的变化。
2017-11-22 cs.LG
Discriminative versus Generative Approaches to Simulation-based Inference
Leiden Institute of Physics, Universiteit Leiden(莱顿大学莱顿物理研究所);Physics Division, Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室物理部);National Energy Research Scientific Computing Center, Berkeley Lab(伯克利实验室国家能源研究科学计算中心);Berkeley Institute for Data Science, University of California, Berkeley(加州大学伯克利分校伯克利数据科学研究所)
本文比较了神经模拟推断中判别式与生成式两类方法,在高斯数据和希格斯玻色子数据上验证似然比估计在准确性和精度上优于直接似然估计,并指出两种方法均需集成以缓解训练波动。
2025-03-11 cs.LG hep-ex hep-ph
Learning Orientation Distributions for Object Pose Estimation
Carnegie Mellon University(卡内基梅隆大学)
为了让机器人在现实世界中稳健地运行,它们应该意识到自己的不确定性。然而,用于对象姿态估计的大多数方法返回对象姿态的单点估计。在这项工作中,我们提出了两个学习方法来估计分布在一个对象的方向。我们的方法考虑到姿态估计的不准确性以及对象的对称性。我们的第一种方法,从深度学习的特征回归到各向同性的宾汉分布,为非对称对象的方向分布估计提供了最佳性能。我们的第二种方法学习比较深度特征并生成非参数直方图分布。该方法对具有未知对称性的对象提供了最佳性能,准确地建模对称和非对称对象,而不需要任何对称性注释。我们表明,这两种方法都可以用来增强现有的姿态估计。我们的评估比较了我们的方法在各种不同类型的对象的不确定性估计大量的基线方法。
2020-08-11 cs.CV cs.LG cs.RO
Selectivity Estimation for Linear Queries via Online Learning
Duke University(杜克大学)
针对数据库中查询选择性估计问题,受在线学习启发,提出算法框架,以遗憾值衡量学习算法性能,建立基于直方图的线性查询在静态和动态数据库设置下遗憾值的上下界。
2026-07-07 cs.DB cs.LG