Quickest Change Detection for Unnormalized Statistical Models
Duke University（杜克大学）；University of Pittsburgh（匹兹堡大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）
经典的最快变化检测算法需要对变化前和变化后的分布进行建模。由于计算显式分布的复杂性，这种方法对于各种机器学习模型可能不可行。另外，这些方法可能遭受缺乏对模型失配和噪声的鲁棒性。本文提出了一种新的变种的经典累积和（Cumulative Sum，Cumulative Sum）算法的最快变化检测。这种变体基于Fisher散度和Hyvärinen分数，被称为基于分数的计算（SCUSUM）算法。SCUSUM算法允许对非标准化统计模型应用变化检测，即，概率密度函数包含未知归一化常数的模型。该算法的渐近最优性研究推导表达式的平均检测延迟和平均运行时间的虚警。数值结果证明了所提出的算法的性能。
2023-02-01 cs.LG stat.ML
A Unified View on Learning Unnormalized Distributions via Noise-Contrastive Estimation
Department of EECS, MIT, Cambridge, Massachusetts, USA（麻省理工学院电子工程与计算机科学系）
本文通过噪声对比估计（NCE）视角，统一了各社区独立提出的非归一化分布学习方法，并为指数族估计器建立了有限样本收敛速率。
2025-07-14 cs.LG math.ST stat.ML
Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces
最常用的统计推断方法之一是最大似然估计（MLE）。最大似然估计需要计算统计模型中的归一化常数，这往往是棘手的。使用未归一化的统计模型并用其他评分规则替换可能性是规避这种高计算成本的好方法，其中评分规则测量模型与观察样本的拟合优度。评分规则与Bregman散度密切相关，Bregman散度是两个概率分布之间的差异度量。在本文中，目的是提供一个一般的框架，统计推断使用离散样本空间上的非规范化统计模型。评分规则的本地化版本是重要的，以获得计算效率的估计。我们发现，当地的评分规则有关的Bregman分歧的本地化版本。通过局部Bregman分歧，我们研究了局部评分规则的统计一致性。证明了一致性是由离散样本空间上邻域系统的结构决定的。此外，我们还展示了一种将局部评分规则应用于分类问题的方法。在数值实验中，我们研究了邻域系统与估计精度之间的关系。
2016-04-25 math.ST stat.TH
General Probabilistic Surface Optimization and Log Density Estimation
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们贡献了一个新的算法家族，它概括了许多无监督的技术，包括非归一化和能量模型，并允许我们从数据样本中推断不同的统计模式（例如数据似然和密度之间的比率）。所提出的无监督技术称为概率表面优化（PSO），将模型视为柔性表面，可以根据特定于损失的虚拟随机力来推动，当表面上的逐点力变得相等时，实现动态平衡。具体地说，表面在从两个不同分布采样的点处被上下推动。平均向上和向下的力成为这两个分布密度和由特定PSO实例的损失定义的力大小的函数。在收敛时，力平衡根据所使用的量值函数将优化模型施加为等于各种统计函数。此外，这种动态统计平衡是非常直观和有用的，提供了许多含义和概率推理的可能用途。我们将PSO连接到许多现有的统计工作，这也是PSO的实例，并推导出新的基于PSO的推理方法，证明PSO的特殊可用性。同样，基于来自虚拟力的角度来看，我们分析PSO的稳定性，并提出新的方法来提高它。最后，我们提出了新的PSO实例，称为PSO-LDE，数据对数密度估计，也提供了一个新的NN块对角架构，增加表面的灵活性，这显着提高了估计精度。这两个PSO-LDE和新的架构结合在一起，作为一种新的密度估计技术。在我们的实验中，我们证明了这种技术优于国家的最先进的基线在密度估计任务的多模态20 D数据。
2021-01-13 cs.LG stat.ML
EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss
University of Chicago（芝加哥大学）
最大似然估计被广泛用于训练基于能量的模型（EBM）。训练需要来自非标准化分布的样本，这通常是棘手的，并且在实践中，这些是通过MCMC算法（如Langevin动力学）获得的。然而，由于高维空间中的MCMC收敛非常缓慢，因此目前对最大似然训练的理解（假设可以从模型中提取近似样本）是有问题的。在本文中，我们试图通过用相关的梯度下降常微分方程的确定性解替换朗之万动力学来理解这个训练过程。这样做使我们能够研究动态引起的密度（如果动态是可逆的），并通过将动态视为发电机模型，将初始值视为潜在变量，将损失视为优化由通过其梯度确定发电机的相同能量定义的评论家，与GANs连接。因此，术语-自我对抗损失。我们表明，重新引入噪声的动态不会导致定性的变化的行为，只是降低了发电机的质量。因此，我们表明，EBM训练是有效的自我对抗过程，而不是最大似然估计。
2021-04-22 cs.LG stat.ML
A Spectral Framework for Closed-Form Relative Density Estimation
Inria - Ecole Normale Supérieure PSL Research University（Inria-巴黎大学规范大学）
本文提出了一种闭式谱框架，用于线性参数化概率模型中的相对对数密度估计，通过将KL散度表示为加权chi-squared散度的积分，将其转换为一组最小二乘问题，并推导出仅基于一阶和二阶特征矩的显式谱公式。
2026-05-11 cs.LG math.OC math.ST
Treatment of Statistical Estimation Problems in Randomized Smoothing for Adversarial Robustness
Tübingen AI center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
本文针对随机平滑认证中的统计估计问题，提出基于置信序列的估计方法，在保持统计保证的同时降低样本复杂度，并引入随机化Clopper-Pearson区间以增强证书强度。
2025-01-20 cs.LG stat.ML
Better Conditional Density Estimation for Neural Networks
绝大多数的神经网络文献集中在预测点值为一组给定的响应变量，条件的特征向量。在许多情况下，我们需要对响应变量的完整联合条件分布建模，而不是简单地进行点预测。在本文中，我们提出了两种新的方法，这样的条件密度估计（CDE）：多尺度网络（MSN）和CDE趋势过滤。多尺度网络通过将密度分解为一系列半空间并学习每个分裂的布尔概率，将CDE回归任务转换为分层分类任务。CDE趋势过滤将k阶图趋势过滤惩罚应用于多项式分类器网络的未归一化对数，图中的每条边对应于离散化密度版本上的相邻点。我们比较了这两种方法对普通的多项式分类器网络和混合密度网络（MDN）的模拟数据集和三个真实世界的数据集。结果表明，这两种方法是互补的：MSNs工作在一个高的数据每功能制度和CDE-TF是非常适合于少样本每功能的情况下，过度拟合是一个主要问题。
2016-06-07 stat.ML
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法，高维高斯copula回归，实现相同的性能，而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计，提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究，所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现，并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
Projection-Free Algorithms in Statistical Estimation
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）；Department of Electrical Engineering, Technion（以色列理工学院电气工程系）
Frank-Wolfe算法（FW）及其变体由于其无投影的特性，在机器学习领域引起了广泛的关注。近年来，人们将FW算法的梯度计算复杂度降为$\log(\frac{1}ε)$，以满足光滑和强凸的目标。这种复杂性结果在学习问题中尤其重要，因为压倒性的数据大小使得梯度计算的单个评估变得昂贵。然而，在高维统计估计问题中，目标通常不是强凸的，有时甚至是非凸的。在本文中，我们扩展了国家的最先进的FW型算法的大规模，高维估计问题。证明了只要目标函数满足{ \em限制强凸性}，且优化不超过模型的统计极限，则仍然可以达到$\log(\frac{1}ε)$梯度计算复杂度.
2018-05-20 cs.LG stat.ML
Statistical Estimation and Inference via Local SGD in Federated Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
联合学习（FL）使得大量的边缘计算设备（例如，移动电话）在没有数据共享的情况下共同学习全局模型。在FL中，数据以高度异构的分散方式生成。本文研究了如何在联邦环境下进行统计估计和推理。我们分析了所谓的本地SGD，一个多轮的估计过程，使用间歇性的通信，以提高通信效率。我们首先建立了一个{ \it泛函中心极限定理}，证明了局部SGD的平均迭代弱收敛于一个重标布朗运动。接下来，我们提供两种迭代推理方法：{ \it插件}和{ \it随机缩放}。随机尺度方法利用整个局部SGD路径上的信息构造一个渐近关键的统计量进行推理，这两种方法都是有效的，并且适用于在线数据。我们的理论和实证结果表明，本地SGD同时实现统计效率和通信效率。
2021-12-17 cs.LG stat.ML
Linear convergence of SDCA in statistical estimation
National University of Singapore（新加坡国立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑随机对偶坐标（SDCA）{ \em without}强凸假设或凸假设.我们证明了SDCA线性收敛的温和条件下称为限制强凸性。这涵盖了广泛的流行统计模型，包括Lasso、group Lasso和使用$\ell_1$正则化的逻辑斯谛回归、校正Lasso和使用SCAD正则化器的线性回归。这显着改善了之前SDCA针对非强凸问题的收敛结果。作为副产品，我们得到了一个双自由形式的SDCA，可以处理一般的正则化项，这是感兴趣的本身。
2017-04-02 cs.LG stat.ML
Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks
Georgia Tech（佐治亚理工学院）
生成对抗网络（GANs）在无监督学习中取得了巨大的成功。尽管其显著的经验性能，有有限的理论研究的统计特性的GANs。本文提供了GANs的近似和统计保证，用于估计在Hölder空间中具有密度的数据分布。我们的主要结果表明，如果正确选择生成器和神经网络架构，GANs是强差异度量（如Wasserstein-1距离）下数据分布的一致估计器。此外，当数据分布呈现低维结构时，我们表明GANs能够捕获数据中未知的低维结构，并具有快速的统计收敛性，这是免费的环境维数灾难。我们对低维数据的分析建立在具有Lipschitz连续性保证的神经网络的通用近似理论之上，这可能是独立的兴趣。
2022-07-21 cs.LG stat.ML
Estimating Density Models with Truncation Boundaries using Score Matching
University of Bristol（布里斯托大学）；Tokyo Institute of Technology（东京工业大学）；RIKEN AIP（理化学研究所人工智能研究中心）
截断密度是定义在截断域上的概率密度函数。它们与它们的非截断对应物共享相同的参数形式，直到归一化常数。由于其归一化常数的计算通常是不可行的，极大似然估计不能很容易地应用于截断密度模型的估计。分数匹配（SM）是一个功能强大的工具，只使用非标准化模型拟合参数。然而，它不能直接应用于这里作为边界条件，用于导出一个听话的SM目标不满足截断密度。本文研究了截断概率密度的参数估计。估计量最小化加权Fisher散度。权函数是从数据点到域边界的最短距离。我们表明，这种选择的权重函数自然产生于最小化斯坦差异以及上限的有限样本估计误差。数值实验和芝加哥犯罪数据集的研究表明，我们的方法的实用性。我们还表明，所提出的密度估计可以纠正异常检测方法所造成的异常修剪偏差。
2022-04-20 cs.LG math.ST stat.ML
Heavy-tailed Streaming Statistical Estimation
Carnegie-Mellon University（卡内基梅隆大学）
我们考虑流$p$维样本的重尾统计估计的任务。这也可以被看作是重尾分布下的随机优化，具有额外的$O(p)$空间复杂度约束。我们设计了一个裁剪的随机梯度下降算法，并提供了一个改进的分析，在一个更细致入微的条件下的随机梯度的噪声，我们表明是至关重要的，当分析随机优化问题所产生的一般统计估计问题。我们的结果保证收敛不仅在预期中，但指数浓度，而且这样做使用$O(1)$批量大小。我们提供了我们的平均估计和线性回归的结果的后果。最后，我们通过均值估计和线性回归的合成实验，提供了我们的结果和算法的经验佐证。
2022-02-25 cs.LG math.OC stat.ML
Optimum Statistical Estimation with Strategic Data Sources
McGill University（麦吉尔大学）；MIT（麻省理工学院）；U.C. Berkeley（加州大学伯克利分校）
我们提出了一个最佳的机制，提供货币激励的数据源的统计估计，如线性回归，使高质量的数据以低成本提供，在这个意义上，付款和估计误差的总和最小化。该机制适用于广泛的估计，包括线性和多项式回归，核回归，并在一些额外的假设下，岭回归。它还概括到几个目标，包括最小化估计误差的预算约束。除了回归问题的具体结果，我们还提供了一个机制设计框架，通过该框架来设计和分析统计估计量，其示例由工人提供，用于标记所述示例的成本。
2015-04-24 cs.GT cs.LG stat.ML
Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance
Harvard University（哈佛大学）；The University of Tokyo（东京大学）
有许多模型，通常被称为非归一化模型，其归一化常数不是以封闭形式计算的。极大似然估计不直接适用于非归一化模型。分数匹配法、对比发散法、伪似然法、蒙特卡罗极大似然法和噪声对比估计法是估计这类模型参数的常用方法。在本文中，我们专注于NCE。从NCE导出的估计量是一致的和渐近正态的，因为它是一个M-估计量。NCE的特点是使用辅助分布来计算归一化常数，其精神与重要性抽样相同。此外，有几个候选人作为NCE的目标函数。我们专注于如何减少渐近方差。首先，我们提出了一种方法，通过估计辅助分布的参数来减少渐近方差。然后，我们确定目标函数的形式，其中渐近方差在原始估计类和建议的估计类中取最小值。我们进一步分析了估计的鲁棒性。
2018-08-24 cs.LG stat.ML
DUAL-LOCO: Distributing Statistical Estimation Using Random Projections
ETH Zürich（苏黎世联邦理工学院）；Disney Research（迪士尼研究院）
我们提出了DUAL-LOCO，分布式统计估计的通信效率的算法。DUAL-LOCO假设数据是根据特征而不是样本分布的。它只需要一轮通信，其中低维随机投影用于近似不同工人可用的特征之间的依赖关系。我们表明，DUAL-LOCO有界逼近误差，这只弱依赖于工人的数量。我们比较DUAL-LOCO对各种现实世界的数据集上的最先进的分布式优化方法，并表明它获得了更好的加速比，同时保持良好的准确性。
2016-01-08 cs.DC cs.LG stat.ML
Variational Gibbs Inference for Statistical Model Estimation from Incomplete Data
University of Edinburgh（爱丁堡大学）
针对不完整数据导致标准变分推断需处理指数级条件分布的问题，本文提出通用的变分 Gibbs 推断（VGI），并在合成与真实任务上验证其可有效估计 VAE 和归一化流，性能媲美或超过专用方法。
2023-08-15 cs.LG stat.ME stat.ML
Statistical Estimation from Dependent Data
MIT（麻省理工学院）；GOOGLE RESEARCH（谷歌研究院）；Microsoft Research（微软研究院）
我们考虑一个一般的统计估计问题，其中不同观测的二进制标签不是独立的，而是依赖于它们的特征向量，捕获设置，例如这些观测是在空间域、时间域或社交网络上收集的，这会引起依赖性。我们用马尔可夫随机场的语言对这些依赖关系进行建模，重要的是，允许这些依赖关系是实质性的，即不要假设捕获这些依赖关系的马尔可夫随机场处于高温状态。作为我们的主要贡献，我们提供了算法和统计上有效的估计率为这个模型，给出了几个实例，我们的界限在逻辑回归，稀疏逻辑回归，和神经网络设置依赖的数据。我们的估计保证遵循新的结果估计参数（即外部字段和相互作用强度）的伊辛模型从{ \em单一}样本。{We在真实的网络数据上评估我们的估计方法，表明它优于忽略依赖关系的标准回归方法，跨越三个文本分类数据集：Cora，Citeseer和Pubmed。
2021-07-20 cs.LG math.ST stat.ML
Private Statistical Estimation via Truncation
Yale University（耶鲁大学）
本文提出基于数据截断的差分隐私统计估计框架，为无界支撑下的指数族分布（如高斯均值和协方差）设计高效DP估计器，并通过最大似然与DP随机梯度下降修正截断偏差，实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
A Statistical Perspective on Coreset Density Estimation
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
核心集已经成为一个强大的工具，通过选择原始观测的一小部分，同时保留其大部分信息来总结数据。这种方法导致了显着的计算加速，但在coresets上运行的统计程序的性能在很大程度上是未开发的。在这项工作中，我们开发了一个统计框架来研究核心集，并专注于非参数密度估计的规范任务。我们的贡献是双重的。首先，我们建立了基于核心集的估计可实现的最小最大估计率。其次，我们证明了实际的coreset核密度估计是近极大极小最优的一大类的Hölder光滑密度。
2020-12-08 cs.IT cs.LG math.IT
rTop-k: A Statistical Estimation Approach to Distributed SGD
Stanford University（斯坦福大学）
在不同节点之间交换梯度的巨大通信成本极大地限制了大规模学习模型的分布式训练的可扩展性。受这一观察的启发，最近人们对降低分布式随机梯度下降（SGD）的通信成本的技术产生了极大的兴趣，其中梯度稀疏化技术（例如top-k和random-k）被证明是特别有效的。同样的观察也激发了分布式统计估计理论中的一条独立的工作线，专注于通信约束对不同统计模型的估计效率的影响。本文的主要目标是将这两条研究路线联系起来，并展示统计估计模型及其分析如何在设计有效沟通的培训技术方面带来新的见解。我们提出了一个简单的统计估计模型的随机梯度捕获的稀疏性和偏度的分布。从这个模型的分析所产生的统计最优通信方案导致一个新的稀疏技术的SGD，它串联随机k和top-k，在以前的文献中单独考虑。我们通过CIFAR-10、ImageNet和Penn Treebank数据集在图像和语言领域的广泛实验表明，这两种稀疏化方法的联合应用一致且显著优于单独应用的任何一种方法。
2020-12-02 cs.IT cs.LG math.IT
On Selection Criteria for the Tuning Parameter in Robust Divergence
虽然诸如密度功率发散和$γ$发散之类的鲁棒发散有助于在存在离群值的情况下进行鲁棒统计推断，但是在经验法则中选择控制鲁棒程度的调谐参数，这可能导致低效的推断。在这里，我们提出了一个选择标准的基础上的Hyvarinen分数的渐近近似的非归一化模型定义的强大的分歧。建议的选择标准只需要一个假设的密度函数的一阶和二阶偏导数的观测，这可以很容易地计算，无论参数的数量。我们通过使用正态分布和正则化线性回归的数值研究证明了所提出的方法的实用性。
2021-06-22 stat.ME
Communication Lower Bounds for Statistical Estimation Problems via a Distributed Data Processing Inequality
Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；IBM Research Almaden（IBM阿尔马登研究中心）
我们研究了高维分布式统计估计问题的统计误差和通信成本之间的权衡。在分布式稀疏高斯均值估计问题中，每个$m$机器接收来自具有未知均值$θ$的$d$维高斯分布的$n$数据点，该均值被承诺为$k$ -稀疏的。机器通过消息传递进行通信，目的是估计平均值$θ$。我们提供了一个紧密的（对数因子）之间的权衡估计误差和机器之间通信的位数。这直接导致了分布式\textit{sparse linear regression}问题的下限：为了实现统计极大极小误差，总通信至少是$Ω(\min\{n,d\}m)$，其中$n$是每台机器接收的观测数，$d$是环境维度。通过允许多轮迭代通信模型，这些较低的结果改进了[Sha14，SD'14]。我们也给出了第一个最佳的同时协议在稠密的情况下，均值估计。作为我们的主要技术，我们证明了一个\textit{distributed data processing inequality}，作为一般的数据处理不等式的推广，这可能是独立的兴趣和有用的其他问题。
2016-05-10 cs.CC cs.IT cs.LG
An Optimal Statistical and Computational Framework for Generalized Tensor Estimation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）
本文介绍了一个灵活的框架，广义低秩张量估计问题，其中包括许多重要的情况下，在计算成像，基因组学和网络分析中的应用。建议的估计包括找到一个低秩张量适合广义参数模型下的数据。为了克服这些问题的非凸性的困难，我们引入了一个统一的方法，投影梯度下降，适应底层的低秩结构。在对损失函数的适当条件下，通过一般的确定性分析，我们建立了统计误差的上界和计算收敛的线性速度。然后，我们进一步考虑了一套广义张量估计问题，包括次高斯张量PCA，张量回归，泊松和二项式张量PCA。我们证明了所提出的算法达到了极小极大最优收敛速率的估计误差。最后，我们证明了所提出的框架的优越性，通过广泛的实验模拟和真实数据。
2021-02-04 cs.LG math.ST stat.ME
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University（罗格斯大学）
本文研究了差分隐私联邦学习中的高维估计与推断挑战，分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST
Distributed Statistical Estimation and Rates of Convergence in Normal Approximation
本文提出了一类新的分布式统计估计算法，利用分而治之的方法。我们发现，分而治之的策略的主要好处之一是鲁棒性，大型分布式系统的一个重要特征。我们建立这些分布式算法的性能和正常逼近的收敛速度之间的连接，并证明非渐近偏差的保证，以及极限定理，所得到的估计。我们的技术说明通过几个例子：特别是，我们获得了新的结果的平均值估计，以及分布式极大似然估计的性能保证。
2018-08-27 cs.DC math.ST stat.ML
An Introductory Guide to Fano's Inequality with Applications in Statistical Estimation
EPFL（洛桑联邦理工学院）；National University of Singapore（新加坡国立大学）
信息论在算法独立的不可能结果的发展中起着不可或缺的作用，无论是对于通信问题还是对于统计和机器学习等看似不同的领域。虽然许多信息理论工具已经提出了这一目的，最古老的一个仍然可以说是最通用和最广泛的：法诺不等式。在这一章中，我们提供了一个调查的法诺不等式及其变种的背景下，统计估计，采用一个通用的框架，涵盖了广泛的具体问题。我们提出了各种关键的工具和技术，用于通过这种方法建立不可能的结果，并提供了代表性的例子，包括组测试，图形模型选择，稀疏线性回归，密度估计，凸优化。
2019-11-25 cs.IT cs.LG math.IT
Statistical Estimation: From Denoising to Sparse Regression and Hidden Cliques
这些笔记回顾了Andrea Montanari教授关于线性模型统计估计主题的六次讲座。前两堂课涵盖了从极小极大风险的线性测量中恢复信号的原理。随后的讲座演示了这些原则的应用，在科学和工程的一些实际问题。具体而言，这些主题包括对错误信号的去噪，压缩感知信号的恢复，低秩矩阵的重构，以及大型网络中隐藏集团的发现。
2014-09-19 cs.IT math.IT stat.ML
Over-the-Air Statistical Estimation
在统计估计和无线通信相结合的框架下，研究了高斯多址信道（MAC）下均方误差损失下的分布式极大极小统计估计的方案和下界.首先，我们开发了“模拟”联合估计通信计划，利用高斯MAC的叠加特性，我们的节点数量和参数空间的维度来表征其风险。然后，我们推导出信息理论的最小最大风险的任何估计方案限制在一个给定的使用信道的样本进行通信的下限，并表明我们提出的计划实现的风险是在这些下限的对数因子。我们比较两个可扩展性和下限结果到以前的“数字”下限，其中节点在MAC的香农容量传输无差错比特，表明利用物理层的估计方案提供了依赖于物理层抽象的数字方案的估计误差大幅减少。
2021-03-06 cs.DC cs.IT math.IT
Stability and Accuracy Trade-offs in Statistical Estimation
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；University of Chicago（芝加哥大学）
本文从统计决策理论角度探讨稳定性与准确性权衡，通过建立稳定性约束下的估计精度下界，并开发最优稳定估计器，揭示不同估计任务中稳定性与准确性之间的最优平衡。
2026-08-25 math.ST stat.ML stat.TH
Simulation-based Inference with the Generalized Kullback-Leibler Divergence
University of Amsterdam（阿姆斯特丹大学）
针对基于模拟的推断中传统神经后验估计难以拟合未归一化代理的问题，提出优化广义Kullback-Leibler散度的方法，统一神经后验与比率估计，并验证了兼具二者优势的混合模型的效果。
2023-10-03 cs.LG stat.CO stat.ML
Discussion: The Dantzig selector: statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Discussion: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计“[math/0506081]
2008-03-21 math.ST stat.TH
Rejoinder: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
反驳“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Discussion: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Discussion: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Discussion: The Dantzig selector: Statistical estimation when $p$ is much larger than $n$
讨论“Dantzig选择器：当$p$远大于$n$时的统计估计"[math/0506081]
2008-03-21 math.ST stat.TH
Statistical estimation for optimization problems on graphs
大型图在机器学习、数据挖掘和几个相关领域中比比皆是。分析这种图表的一个有用步骤是获得某些汇总统计数据-例如，或者两个节点之间的最短路径的期望长度，或者图的最小生成树的期望权重等。这些统计信息提供了对图的结构的洞察，并且它们可以帮助预测图的全局属性。因此，我们建议研究结构化的子图（一个给定的图）的统计特性，特别是，估计这些子图的组合优化问题的预期目标函数值。一般的任务是非常困难的，如果不是无法解决的，所以为了具体，我们描述了一个更具体的统计估计问题的基础上生成树。我们希望我们的立场文件鼓励其他人也研究其他类型的图形结构，其中一个可以证明非平凡的统计估计。
2013-11-29 cs.DM math.OC stat.CO
Asymptotic behavior of mixed power variations and statistical estimation in mixed models
本文得到了独立Wiener过程和分数布朗运动的线性组合的幂变分的弱渐近性和几乎几乎必然渐近性的结果。这些结果被用来构造混合模型中的强相合参数估计。
2013-06-19 math.PR stat.ME
A Variational View on Statistical Multiscale Estimation
我们提出了一个统一的观点，各种统计估计技术，包括惩罚，变分和阈值方法。这些估计量将在统计线性逆问题的背景下进行分析，包括非参数和变点回归，以及高维线性模型作为示例。我们的方法揭示了许多看似无关的估计方案作为特殊的情况下，一般类的变分多尺度估计，名为MIND（MultIscale Nemirovskii-Dantzig）。这些估计量是在凸约束下最小化某些正则化泛函的结果，这些凸约束可以被看作是对局部假设的多个统计检验。为了计算的目的，我们重铸MIND在更简单的无约束优化问题，通过拉格朗日罚函数以及Fenchel对偶。几个MIND的性能证明数值例子。
2021-06-10 math.ST stat.CO stat.ME
A new inequality for maximum likelihood estimation in statistical models with latent variables
极大似然估计（MLE）可以说是统计学家最重要的工具，并且已经开发了许多方法来寻找MLE。我们提出了一个新的不等式涉及后验分布的潜变量，在非常一般的条件下。它与EM算法有关，并且具有以类似方式使用的明显潜力。
2019-12-06 math.ST stat.ME stat.TH
Statistical generalized derivative applied to the profile likelihood estimation in a mixture of semiparametric models
在纵向和生存数据的联合模型中，很难找到轮廓似然估计量的方差估计。我们通过引入“统计广义导数”来解决这个困难。导数用于显示估计量的渐近正态性，而不假设模型中密度函数的二阶导数存在。
2018-07-20 math.ST stat.TH
Statistical estimation requires unbounded memory
研究了各种统计泛函的有界记忆相合估计量的存在性。这个问题在相当强烈的意义上是以否定的方式解决的。我们提出了各种有界记忆近似，使用自动机理论和随机过程的技术。为今后的工作提出了一些可能感兴趣的问题。
2011-10-27 stat.CO
The inverse xgamma distribution: statistical properties and different methods of estimation
提出了一种新的概率分布--逆x伽玛分布（IXGD）。不同的数学和统计特性，即，推导并讨论了该分布的可靠性特征、矩、逆矩、随机序和顺序统计量。IXGD参数的估计方法有：极大似然估计法（MLE）、最小二乘法（LSE）、加权最小二乘法（WLSE）、Cram'er-von-Mises估计法（CME）和最大乘积间距估计法（MPSE）。并给出了参数的渐近置信区间。一个模拟研究已经进行了比较所获得的估计和相应的ACI的平均宽度和相应的覆盖概率方面的性能。最后，两个真实的数据集已被用来证明IXGD在现实生活中的情况下的适用性。
2018-07-03 stat.AP stat.ME
Statistical estimation of the Shannon entropy
研究了当i. i. d.向量值观测趋于无穷大。建立了估计的渐近无偏性和L^2-相合性。所采用的条件涉及Hardy-Littlewood极大函数的类似物。结果表明，这些结果是有效的，特别是对任何非退化高斯向量的熵估计。
2018-01-06 math.ST stat.TH
Distance-based and continuum Fano inequalities with applications to statistical estimation
本文给出了信息论中经典Fano不等式的两个推广。第一个扩展法诺不等式的设置估计，提供了一个离散量的估计量在一定的距离$t$的数量的概率下限。第二个不等式将我们的界扩展到连续设置，并提供了一个基于体积的界。我们说明这些不等式如何导致直接和简单的证明几个统计极大极小下界。
2013-12-31 cs.IT math.IT math.ST
Power Maxwell distribution: Statistical Properties, Estimation and Application
本文提出了一种新的概率分布--幂次麦克斯韦分布（PMaD）。它是Maxwell分布（MaD）的另一种扩展，可以更灵活地分析具有非单调失效率的数据。不同的统计特性，如可靠性特征，矩，分位数，平均偏差，生成函数，条件矩，随机排序，剩余寿命函数和各种熵的措施已被导出。用极大似然估计法和Bayes估计法对该概率分布的参数进行了估计。利用平方误差损失函数，在伽玛先验下得到了贝叶斯估计。最后，通过不同的寿命数据说明了所提出的分布的实际应用。
2018-07-03 stat.AP
Decomposable Pseudodistances and Applications in Statistical Estimation
本文的目的是引入新的统计估计准则，适用于具有共同连续支持的模型的推断。这个建议是在一个新的兴趣发散为基础的推理工具，嵌入最经典的，如最大似然，卡方或Kullback Leibler的直线。一般的伪距离与可分解的结构被认为是，他们允许定义最小伪距离估计，而不使用非参数密度估计。详细地给出了一类特殊的α>0的伪距离，使得α \downarrow 0成为KulbackLeibler发散.相应的估计准则和渐近性质的研究。然后将估计方法扩展到回归模型。最后，基于蒙特卡罗模拟的一些例子进行了讨论。
2011-04-08 math.ST stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Adaptive Estimation and Statistical Inference for High-Dimensional Graph-Based Linear Models
我们考虑了高维图基线性模型的自适应估计和统计推断。在我们的模型中，回归系数的坐标对应于底层的无向图。此外，给定的图控制回归向量的分段多项式结构。在自适应估计部分，我们应用基于图的正则化技术，并提出了一个家庭的局部自适应估计称为Graph-Piecewise-Polynomial-Lasso。我们进一步研究了图分段多项式套索的一步更新问题的统计推断。我们发展了相应的理论，包括固定设计和亚高斯随机设计。最后，我们通过大量的模拟研究说明了我们的方法的优越性能，并以拟南芥微阵列数据集的应用作为结论。
2020-01-29 math.ST stat.ME stat.TH
Gaussian Volterra processes: asymptotic growth and statistical estimation
研究了推广分数布朗运动的三参数自相似Gaussian Volterra过程.我们研究了这类过程的渐近增长性以及长程和短程依赖的性质。然后我们考虑了高斯Volterra过程驱动的Ornstein-Uhlenbeck过程的漂移参数估计问题。我们构造了一个强相合估计，并研究了它的渐近性质。也就是说，我们证明了它具有柯西渐近分布。
2023-02-07 math.PR math.ST stat.TH
