Distribution Estimation of Contaminated Data via DNN-based MoM-GANs
研究了基于生成对抗网（GAN）和均值中值（MoM）估计的MoM-GAN方法对污染数据的分布估计问题。我们使用具有ReLU激活函数的深度神经网络（DNN）来对GAN的生成器和递归进行建模。从理论上讲，我们推导出一个非渐近误差界的DNN为基础的MoM-GAN估计测量积分概率距离与$b$ -光滑Hölder类。误差界基本上随着$n^{-b/p}\vee n^{-1/2}$而减小，其中$n$和$p$是样本量和输入数据的维数。我们给出了MoM-GAN方法的算法，并通过两个实际应用实现了它。数值结果表明，MoM-GAN在处理污染数据时优于其他竞争方法。
2022-12-28 cs.LG math.ST stat.ML
Instance-Optimal Private Density Estimation in the Wasserstein Distance
Apple（苹果公司）；Boston University（波士顿大学）
本文研究 Wasserstein 距离下差分隐私密度估计的实例最优算法，针对一维和二维分布分别刻画实例最优估计速率并证明其可均匀达到，方法可推广至任意度量空间及离散分布的 TV 距离私有学习。
2024-06-27 cs.CR cs.DS cs.LG
Kernel Density Estimation by Stagewise Algorithm with a Simple Dictionary
Hyogo University of Health Sciences（兵库医疗大学）；Chiba University（千叶大学）
本文提出了基于$U$ -散度和一个简单字典的多变量核密度估计的阶段最小化算法。该字典由一个合适的标量带宽矩阵和一部分原始数据组成。由此产生的估计给我们带来了数据自适应的加权参数和带宽矩阵，并实现了核密度估计的稀疏表示。我们开发的非渐近误差界估计通过建议的阶段最小化算法。模拟研究证实，该估计量的性能与其他已知的密度估计量相比具有竞争力或更好。
2021-08-10 cs.LG stat.CO stat.ME
Disentangling Learning Representations with Density Estimation
Duke University（杜克大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
解纠缠学习表示在许多应用中具有很好的实用性，但它们目前存在严重的可靠性问题。我们提出了高斯信道自动编码器（GCAE），通过灵活的密度估计的潜在空间，实现可靠的解纠缠的方法。GCAE通过将其潜在空间的子集与双总相关（DTC）度量分离，从而将其高维潜在联合分布表示为许多低维条件分布的集合，从而避免了密度估计的维数灾难。在我们的实验中，与最先进的基线相比，GCAE实现了高度竞争力和可靠的解缠分数。
2023-02-08 cs.LG stat.ML
An efficient model-free estimation of multiclass conditional probability
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的多类条件概率估计方法，如Fisher判别分析和逻辑斯谛回归，往往需要限制性的分布模型假设。本文提出了一种无模型估计方法，通过一系列条件分位数回归函数来估计多类条件概率。具体地，条件类概率被公式化为相应的累积分布函数的差，其中累积分布函数可以从估计的条件分位数回归函数转换。所提出的估计方法也是有效的，因为它的计算成本不会随着类的数量呈指数增长。理论和数值研究表明，所提出的估计方法是非常有竞争力的现有的竞争对手，特别是当类的数量相对较大。
2013-08-01 cs.LG stat.ME stat.ML
Semiparametric density estimation by local L_2-fitting
本文通过结合参数方法和非参数因子来研究密度估计。插入式参数估计量被视为真密度的粗略估计量，并通过非参数因子进行调整。非参数因子由局部L_2拟合准则导出。给出了一类具有乘性调整的估计，包括一些作者作为特例提出的估计，并给出了渐近理论。理论比较表明，在这类估计优于，或至少有竞争力的，传统的核估计在广泛的一类密度。这类估计的渐近最佳估计量可以从偏置函数的优美特征中得到。
2004-06-25 math.ST stat.TH
Generative model for optimal density estimation on unknown manifold
提出一种生成模型，基于几何Whitney问题解法，在未知低维流形上实现极小极大最优密度估计，并对所有γ≥1的Hölder IPMs同时最优，实验验证优于或媲美WGAN和基于分数的模型。
2025-06-24 math.ST stat.TH
Independent Component Analysis by Wavelets
我们提出了一种基于小波对观测信号及其边缘进行密度估计的ICA对比度。相关矩估计的风险与Besov空间中的近似性质有关。它示出的收敛速度比至少预期的极小极大率结转从底层的密度估计。对一些常见类型的密度进行的数值模拟产生了非常有竞争力的结果，对独立性的小偏差具有很高的灵敏度。
2005-10-20 math.ST stat.TH
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Optimal Rates for Estimation of Two-Dimensional Totally Positive Distributions
研究二维完全正分布的极小极大估计。这种分布属于强正相关的随机变量对，经常出现在统计和概率中。特别是，对于$β$ -Hölder光滑密度的分布，其中$β\in (0, 2)$，我们观察到多项式更快的极小极大估计率时，另外，总的积极性条件。此外，我们展示了快速算法来计算所提出的估计和证实的理论估计率的模拟研究。
2020-06-13 math.ST stat.TH
Tensor-Train Density Estimation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
从样本中估计概率密度函数是统计学和机器学习的核心问题之一。基于现代神经网络的模型可以学习高维分布，但在超参数选择方面存在问题，并且在训练和推理过程中往往容易出现不稳定性。我们提出了一种新的有效的基于张量训练的密度估计模型（TTDE）。这样的密度参数化允许精确采样，计算累积和边缘密度函数，以及配分函数。它也有非常直观的超参数。我们开发了一个有效的非对抗性训练过程TTDE的基础上黎曼优化。实验结果表明，所提出的方法在密度估计和采样任务的竞争性能，而TTDE显着优于竞争对手的训练速度。
2022-02-25 cs.AI cs.LG stat.ML
Adaptive Estimation in Two-way Sparse Reduced-rank Regression
本文研究了多响应线性回归模型中系数矩阵的估计问题，当系数矩阵既可以是低秩的，又可以是稀疏的，即大多数非零元素集中在少数行和列上。我们特别感兴趣的是在高维设置中的预测变量和/或响应变量的数量可以远远大于观察的数量。我们提出了一个新的估计方案，它实现了竞争力的数值性能，并在同一时间允许快速计算。此外，我们表明，（一个轻微的变化）所提出的估计达到接近最佳的非渐近极小极大估计率下的平方Schatten范数损失的集合，同时提供的估计和极小极大下界的误差界。在\textit{in vivo}钙成像数据集上也证明了该算法的有效性。
2016-03-16 math.ST stat.ME stat.TH
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University（国立交通大学）；Texas A&M University（德克萨斯农工大学）
修改奖励偏置最大似然方法最初提出的自适应控制文献中，我们提出了新的学习算法，以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策，我们证明实现了订单最优，并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点，每次拉低计算时间的线性土匪，从而导致有利的遗憾，以及计算效率。
2020-10-08 cs.LG stat.ML
Density Estimation Trees as fast non-parametric modelling tools
密度估计树（DET）是在多变量数据集上训练的决策树，用于估计其概率密度函数。虽然在准确性方面无法与内核技术竞争，但它们非常快，非常并行，并且在存储到磁盘时相对较小。这些属性使得DET在LHC数据分析的资源昂贵的视野中具有吸引力。可能的应用包括选择优化、快速模拟和快速检测器校准。在这方面的贡献，我描述的算法，提供给HEP社区的RooFit实现。LHCb协作中讨论的一组应用程序也简要说明。
2016-07-22 stat.AP
Quantum Adaptive Fourier Features for Neural Density Estimation
MindLab（思维实验室）；Universidad Nacional de Colombia（哥伦比亚国立大学）
密度估计是统计学和机器学习应用中的基本任务。核密度估计是低维非参数密度估计的有力工具，但在高维情况下性能较差。此外，其预测复杂度与更多的训练数据点成线性比例。本文提出了一种神经密度估计方法，该方法可以看作是核密度估计的一种，但没有高的预测计算复杂性。该方法是基于密度矩阵，在量子力学中使用的形式主义，和自适应傅立叶特征。该方法可以在没有优化的情况下进行训练，但它也可以与深度学习架构集成，并使用梯度下降进行训练。因此，它可以被看作是一种神经密度估计方法。该方法在不同的合成和真实数据集上进行了评估，并将其性能与最先进的神经密度估计方法进行了比较，获得了有竞争力的结果。
2022-08-04 cs.LG quant-ph stat.ML
Maximum Likelihood Estimation in the Multivariate and Matrix Variate Symmetric Laplace Distributions through Group Actions
本文针对不属于指数分布族的多元与矩阵变量对称拉普拉斯分布，提出基于群作用的极大似然估计方法，将其转化为群上范数最小化问题，建立了数据群作用稳定性与似然函数性质的对应关系。
2025-10-30 math.AG math.ST stat.TH
Online Estimation with Rolling Validation: Adaptive Nonparametric Estimation with Streaming Data
本文针对在线非参数估计中的模型选择与超参数调优问题，提出一种加权滚动验证方法，以极低额外计算保持在线特性，并能提升估计器的启发式性能与自适应收敛速率。
2025-07-04 math.ST stat.ME stat.ML
Exploration via Epistemic Value Estimation
DeepMind；University College London（伦敦大学学院）
如何在强化学习中进行有效的探索是一个有待解决的问题。许多探索算法使用其自身价值预测的认知不确定性-例如计算探索奖金或置信上限。不幸的是，所需的不确定性是难以估计的一般函数近似。我们提出了认识值估计（EVE）：一个配方，是兼容的顺序决策和神经网络函数逼近。它配备了一个易于处理的后验的所有参数，认知价值的不确定性，可以有效地计算代理。我们使用的配方，以获得一个认知的Q-学习代理，并观察一系列基准的竞争力表现。实验证实，EVE配方有助于在硬探索任务中的有效探索。
2023-03-07 cs.AI cs.LG stat.ML
Density estimation on smooth manifolds with normalizing flows
Technical University of Denmark（丹麦技术大学）
我们提出了一个框架，学习拓扑非平凡流形上的概率分布，利用规范化流。目前的方法主要集中在与欧几里得空间同胚的流形上，在学习的模型上强制强结构先验，或者使用不容易扩展到高维的操作。相比之下，我们的方法通过将多个局部模型“粘合”在一起来学习数据流形上的分布，从而定义数据流形的开放覆盖。我们证明了我们的方法对已知流形的合成数据的效率，以及未知拓扑的高维流形，其中我们的方法具有更好的样本效率和竞争力或优越的性能对基线在一些任务。
2022-07-09 cs.LG stat.ML
Bottleneck Conditional Density Estimation
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；DeepMind
我们引入了一个新的框架，用于训练高维条件密度估计的深度生成模型。瓶颈条件密度估计（BCDE）是条件变分自动编码器（CVAE）的变体，其采用随机变量的层作为输入$x$和目标$y$之间的瓶颈，其中两者都是高维的。关键是，我们提出了一种新的混合训练方法，将条件生成模型与联合生成模型相结合。混合混合是BCDE有效训练的关键，它避免了过拟合，并提供了一种利用未标记数据的新机制。我们表明，我们的混合训练过程使模型能够在全监督环境中的MNIST象限预测任务中取得有竞争力的结果，并在MNIST，SVHN和CelebA的半监督制度中设定了新的基准。
2017-06-30 cs.LG stat.ML
Shape constrained kernel-weighted least squares: Application to production function estimation for Chilean manufacturing industries
在本文中，我们研究了一种新的方式施加形状约束的局部多项式核估计。所提出的方法被称为形状约束核加权最小二乘法（SCKLS）。证明了具有单调性和凸性约束的SCKLS估计的一致相合性，并建立了其收敛速度。SCKLS的竞争力显示在一个全面的模拟研究。最后，我们使用SCKLS估计器分析智利制造业数据，并量化塑料和木材行业的产量。结果表明，出口企业的生产率显著提高。
2018-01-18 stat.AP
Robust optimal estimation of location from discretely sampled functional data
估计位置是功能数据分析中的一个核心问题，但目前大多数估计过程要么不切实际地假设完全观察到的轨迹，要么缺乏鲁棒性，相对于许多种异常，可以在功能设置中遇到。为了弥补这些不足，我们介绍了第一类最佳的鲁棒位置估计的基础上离散采样的功能数据。所提出的方法是基于M-型平滑样条估计重复测量，适用于共同和独立观察轨迹受到测量误差。我们表明，在适当的假设下，所提出的估计族对于常见和独立观察到的轨迹都是极大极小率最优的，我们在蒙特卡洛研究和涉及最近Covid-19数据的真实数据示例中说明了其极具竞争力的性能和实用性。
2021-04-05 stat.ME
Seasonal fractional long-memory processes. A semiparametric estimation approach
本文利用季节性分数ARIMA模型研究了季节性时间序列的季节性和长记忆性，当季节性数据具有一个和两个季节性周期以及短记忆性对应时。建立了模型的平稳性和可逆性参数条件。为了估计记忆参数，本文将Reisen，Rodrigues和Palma（2006 a，b）给出的方法推广到具有两个季节分数长记忆参数的时间序列。通过蒙特卡罗实验，建立了该方法的渐近性质，并研究了该方法的精度.该估计器的良好性能表明，它可以是一个替代的竞争过程估计季节性长记忆时间序列数据。人工和PM10系列被认为是所提出的估计方法的应用程序的例子。
2010-11-25 stat.AP stat.CO stat.ME
MM Algorithms for Variance Components Models
方差分量估计和混合模型分析是统计学中的中心主题，在许多科学学科中都有应用。尽管一代又一代的统计学家和数值分析家做出了最大的努力，但方差分量模型的极大似然估计和限制极大似然估计仍然具有数值挑战性。基于最小化-最大化（MM）原理，提出了一种新的方差分量估计的迭代算法。MM算法实现起来很简单，在大数据问题上具有竞争力。该算法很容易扩展到更复杂的问题，如线性混合模型，多变量响应模型可能与缺失数据，最大后验估计，惩罚估计，广义估计方程（GEE）。我们建立的MM算法的全局收敛到一个KKT点，并证明，无论是数值和理论，它比经典期望最大化算法的收敛速度时，方差分量的数量大于2和所有的协方差阵是正定的。
2015-09-24 stat.CO stat.ME
The inverse xgamma distribution: statistical properties and different methods of estimation
提出了一种新的概率分布--逆x伽玛分布（IXGD）。不同的数学和统计特性，即，推导并讨论了该分布的可靠性特征、矩、逆矩、随机序和顺序统计量。IXGD参数的估计方法有：极大似然估计法（MLE）、最小二乘法（LSE）、加权最小二乘法（WLSE）、Cram'er-von-Mises估计法（CME）和最大乘积间距估计法（MPSE）。并给出了参数的渐近置信区间。一个模拟研究已经进行了比较所获得的估计和相应的ACI的平均宽度和相应的覆盖概率方面的性能。最后，两个真实的数据集已被用来证明IXGD在现实生活中的情况下的适用性。
2018-07-03 stat.AP stat.ME
On the Competitive Analysis and High Accuracy Optimality of Profile Maximum Likelihood
[Acharya et al. 2017]的一个引人注目的结果表明，为了估计离散分布的对称特性，插入最大化观察到的多组频率的可能性的分布，也称为轮廓最大似然（PML）分布，与任何估计量相比，无论对称特性如何，都具有竞争力。具体地说，给定来自离散分布的$n$观测值，如果某个估计量导致概率至多为$δ$的错误$\varepsilon$，则插入PML分布导致概率至多为$δ\cdot \exp(3\sqrt{n})$的错误$2\varepsilon$。在本文中，我们加强了上述结果，并表明，使用一个仔细的链接参数，错误概率可以减少到$δ^{1-c}\cdot \exp(c'n^{1/3+c})$任意小常数$c>0$和一些常数$c'>0$。特别是，我们表明，PML分布是一个最佳估计的排序分布：它是$\varepsilon$ -接近排序$\ell_1$距离的真实分布与支持大小$k$的任何$n=Ω(k/(\varepsilon^2 \log k))$和$\varepsilon \gg n^{-1/3}$，这是信息理论上最佳的样本复杂性和最大的错误制度，其中经典的经验分布是次优的，分别。为了加强对PML的分析，一个关键因素是采用新的PML分布的“连续性”属性，并构造一个合适的量化PML链，或“覆盖”。我们还构建了一个新的基于近似的估计排序分布的一个接近最优的浓度属性，没有任何样本分裂，作为副产品，我们…
2020-11-01 cs.DS cs.IT math.IT
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University（康奈尔大学）
我们考虑隐私和通信约束下的分布估计和重打击（频率）估计的问题。虽然这些限制已被单独研究，一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有（LDP）方案的分布估计，其中每个用户只通信一个比特，不需要公共随机性。我们表明，Hadamard响应，最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后，我们表明，不像分布估计，没有公共随机性，只有一个比特就足够了，任何重量级的估计算法，通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Evaluate PAC codes via Efficient Estimation on Weight Distribution
本文提出一种高效估计极化码和PAC码权重分布的方法，结合递归算法精确确定低权重码字数量并快速近似高权重分布，在低复杂度下有效实现目标。
2023-10-12 cs.IT math.IT
Binary linear code weight distribution estimation by random bit stream compression
本文提出了一种基于线性码的生成矩阵作为随机位串压缩函数的线性码权值分布的统计估计算法。
2018-06-06 cs.IT math.IT
Minimax Estimation of Discrete Distributions under $\ell_1$ Loss
分析了$\ell_1$损失下的离散分布估计问题。我们提供了非渐近的上限和下限的经验分布（最大似然估计）的最大风险，和极小极大风险的制度，其中字母表大小$S$可能会增长与观察$n$的数量。我们证明了在具有有界熵$H$的分布中，经验分布的渐近最大风险是$2H/\ln n$，而渐近极小极大风险是$H/\ln n$。此外，我们还证明了一个硬阈值估计无视未知的上限$H$，是渐近极小极大。然而，如果我们将估计限制在概率分布的单纯形中，则渐近极小极大风险再次为$2H/\ln n$。我们绘制我们的工作和文献之间的连接密度估计，熵估计，总变差距离（$\ell_1$分歧）估计，联合分布估计随机过程，正常的均值估计，自适应估计。
2015-12-29 cs.IT math.IT
Ensemble Estimation of Distributional Functionals via $k$-Nearest Neighbors
分布泛函（一个或多个概率分布的积分泛函）的精确非参数估计问题由于其在信号处理、信息论、机器学习和统计学中的广泛适用性而最近受到关注。特别地，基于$k$ -最近邻（nn）的方法由于它们的自适应性质和它们相对低的计算复杂性而受到很多关注。我们得到了一类分布泛函的留一法$k$ -nn插入式密度估计的均方误差（MSE）收敛速度。然后，我们应用最优加权集成估计的理论，以获得加权集成估计，实现参数MSE率的假设下，是有竞争力的最先进的。这些估计，这是未知的所有其他$k$ -nn基于分布函数估计的渐近分布，也提出了这使我们能够进行假设检验。
2017-07-10 cs.IT math.IT
