First-order Newton-type Estimator for Distributed Estimation and Inference
New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
本文研究了具有不可微凸损失的一般统计问题的分布估计和分布推断。为了有效的计算，我们限制自己的随机一阶优化，它具有较低的每次迭代的复杂性。为了激励所提出的方法，我们首先研究了一个简单的分治随机梯度下降（DC-SGD）方法的理论特性。我们的理论表明，有一个限制的机器的数量和这个限制变得更加严格时，尺寸$p$大。为了克服这一局限性，本文提出了一种新的多轮分布式估计过程，近似牛顿步骤只使用随机次梯度。在我们的方法中的关键组成部分是一个计算有效的估计$Σ^{-1} w$，其中$Σ$是人口海森矩阵和$w$是任何给定的向量的建议。提出的一阶牛顿型估计器（FONE）不需要估计通常需要损失的二阶可微性的$Σ$（或$Σ^{-1}$），而是直接估计作为整体的感兴趣矢量$Σ^{-1} w$，并且适用于不可微损失。我们的估计量也有利于推断的经验风险最小化。结果表明，极限协方差中的关键项具有$Σ^{-1} w$的形式，可以通过FONE估计。
2021-02-04 cs.LG stat.ME stat.ML
Communication-Efficient Distributed Estimator for Generalized Linear Models with a Diverging Number of Covariates
School of Applied Sciences, Beijing Information Science and Technology University（北京信息科技大学应用科学学院）；School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Statistics and Mathematics, Central University of Finance and Economics（中央财经大学统计与数学学院）
分布式统计推断最近引起了极大的关注。在“大$n$，发散$p_n$“的框架下，对广义线性模型建立了极大似然估计、一步极大似然估计和聚集估计方程估计的渐近有效性，其中协变量$p_n$的维数对某些$0<α<1$以多项式速率$o(n^α)$增长到无穷大.然后提出了一种新的方法，通过两轮通信获得大规模分布式数据的渐近有效估计。在这种新颖的方法中，对服务器数量的假设更加宽松，因此对于现实世界的应用程序来说是实用的。仿真和一个案例研究表明，所提出的估计令人满意的有限样本性能。
2020-08-13 cs.DC cs.LG stat.ME
Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference
Shanghai Jiao Tong University（上海交通大学）；New York University（纽约大学）
本文提出了一种高效的分布式推理算法，该算法对拜占庭节点的中等比例是鲁棒的，即分布式学习系统中的任意和可能的对抗机器。在稳健统计中，均值中值（median-of-means，简写为MEN）由于其易于实现和计算效率而成为对冲拜占庭故障的流行方法。然而，该估计量在统计效率方面存在不足。本文的第一个主要贡献是提出了一个方差缩减均值估计（VRSTO），它提高了统计效率比香草估计，是计算效率的计算。基于所提出的VRNTR估计，我们开发了一个通用的分布式推理算法，对拜占庭故障是强大的。从理论上讲，我们的分布式算法实现了一个快速的收敛速度，只有一个恒定的通信轮数。我们还提供了渐近正态性的结果，统计推断的目的。据我们所知，这是拜占庭鲁棒分布学习设置中的第一个正态结果。仿真结果也说明了我们的方法的有效性。
2021-03-04 cs.LG stat.ME stat.ML
Newton's Algorithm as a Gradient Flow: A Geometric Framework for Recursive Mixture Estimation
Department of Statistics & Data Sciences, University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）
本文提出牛顿递归作为梯度流的几何解释，揭示其在概率测度空间中的动态特性，为递归混合估计提供了理论基础。
2026-04-14 stat.ME
Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data
非均匀子采样方法是一种有效的方法，可以减少计算负担，并保持估计效率的大数据。现有的方法大多集中在子采样与替换，由于其高的计算效率。如果数据量很大，不均匀的子采样概率不能一次计算，那么子采样替换是不可行的。本文解决了这个问题，使用泊松子采样。我们首先获得最佳泊松子采样概率的上下文中的准似然估计下的A-和L-最优性准则。对于一个具有近似最优子采样概率的实际可实现的算法，我们建立了所得估计量的相合性和渐近正态性。为了处理完整数据存储在不同块或多个位置的情况，我们开发了一个分布式子采样框架，在该框架中，在完整数据的较小分区上同时计算统计数据。研究了所得聚集估计的渐近性质。我们通过模拟和真实数据集的数值实验来说明和评估所提出的策略。
2021-07-05 cs.DC stat.CO stat.ME
An unbiased estimator of a novel extended Gini index for gamma distributed populations
本文提出一种基于次序统计量差异的新型extended Gini index，推导了其在gamma分布下的无偏估计量闭式表达式，并通过模拟和真实GDP数据验证了其有效性与无偏性。
2025-05-03 stat.ME
Distributed Inference for Linear Support Vector Machine
Shanghai Jiao Tong University（上海交通大学）；New York University（纽约大学）
现代数据规模的不断增长给现有的统计推断方法和理论带来了许多新的挑战，并要求发展分布式推断方法。本文研究了线性支持向量机（SVM）用于二元分类任务的分布式推理。尽管有大量关于SVM的文献，但对SVM的推理特性知之甚少，特别是在分布式环境中。在本文中，我们提出了一个多轮分布式线性型（MDL）估计进行推理的线性SVM。所提出的估计是计算效率。特别是，它只需要一个初始的SVM估计，然后通过解决简单的加权最小二乘问题，逐步完善的估计。在理论上，我们建立了估计量的Bahadur表示。在此基础上，进一步导出了渐近正态性，表明MDL估计达到了最优统计效率，即，与经典线性SVM在单个机器设置中应用于整个数据集的效率相同。此外，我们的渐近结果避免了机器或数据批次的数量，这是通常假设在分布估计文献中的条件，并允许发散维的情况下。我们提供模拟研究，以证明所提出的MDL估计的性能。
2019-09-20 cs.LG stat.ME stat.ML
Optimal pooling and distributed inference for the tail index and extreme quantiles
研究了重尾数据中尾指数和极端分位数估计的池化策略。为了充分利用包含在几个样本中的信息，我们提出了一般加权汇总希尔估计的尾部指数和加权汇总韦斯曼估计的极端分位数计算通过一个非标准的几何平均计划。我们在固定的样本个数上发展了他们的大样本渐近理论，涵盖了具有不同和渐近相关分布的异质样本量的一般框架。我们的研究结果包括基于渐近方差和MSE最小化的池权重的最佳选择。在分布推断的重要应用中，我们证明了在子样本组合不可行的情况下，方差最优分布估计与基准Hill和Weissman估计是渐近等价的，而在大偏差的情况下，AMSE最优分布估计比基准估计具有更小的AMSE.我们考虑子样本数量随总样本量增长且有效子样本量可能较低的其他情况。我们扩展我们的方法来处理序列依赖和协变量的存在。模拟证实，我们的合并估计几乎执行以及基准估计。展示了两个应用程序的真实天气和保险数据。
2021-11-04 math.ST stat.ME stat.TH
Least Squares Approximation for a Distributed System
Fudan University（复旦大学）；Central University of Finance and Economics（中央财经大学）；Peking University（北京大学）
在这项工作中，我们开发了一种分布式最小二乘近似（DLSA）方法，该方法能够解决一大类回归问题（例如，线性回归、逻辑斯谛回归和Cox模型）。通过使用局部二次型来近似局部目标函数，我们能够通过对局部估计量进行加权平均来获得组合估计量。由此产生的估计被证明是统计有效的整体估计。而且，它只需要一轮沟通。我们进一步使用自适应Lasso方法进行基于DLSA估计的收缩估计。在主节点上使用LARS算法可以很容易地得到解。理论上证明了所得到的估计量具有预言性质，并利用一种新设计的分布式贝叶斯信息准则（DBIC）证明了该估计量是选择相容的。有限样本性能和计算效率进一步说明了广泛的数值研究和航空公司数据集。航空公司数据集的大小为52 GB。整个方法已经在Python中为{\it de-facto}标准Spark系统实现。在Spark系统上提出的DLSA算法需要26分钟才能获得逻辑斯谛回归估计器，这比传统方法更有效和内存友好。
2021-04-13 cs.DC cs.LG stat.CO
Distributed Iterative Hard Thresholding for Variable Selection in Tobit Models
本文针对高维左删失数据下的Tobit模型变量选择问题，提出基于迭代硬阈值（IHT）的估计方法，并将其扩展至低通信轮数的分布式环境，理论和实验均验证了其在预测与变量选择上的优越性。
2024-05-04 stat.ME
Higher Moment Estimation for Elliptically-distributed Data: Is it Necessary to Use a Sledgehammer to Crack an Egg?
多元椭圆等高分布广泛用于经济和金融数据建模。研究了高维情形下半参数椭圆模型矩参数的估计问题。这类估计对于金融数据分析和二次判别分析是有用的。对于低维椭圆模型，有效的矩估计可以通过插入精度矩阵的估计来获得。插件估计器到高维设置的自然推广由于估计大的精度矩阵而执行得不令人满意。我们真的需要一把大锤来打破鸡蛋吗？幸运的是，我们发现矩参数可以有效地估计，而无需估计高维精度矩阵。提出了矩参数的边际聚集估计（MAE）.该算法只需要估计协方差阵的对角线，便于实现.在协方差结构具有弱稀疏性的情况下，证明了MAE的渐近方差与已知真精度矩阵的理想插入估计量的渐近方差相同，因此MAE是渐近有效的。当协方差阵的对角块的估计可用时，我们还将MAE扩展到块聚集估计（BAE）。我们的方法的性能进行了验证，通过广泛的模拟和应用程序的财务回报。
2018-12-13 stat.ME
Distributed Estimation for Principal Component Analysis: an Enlarged Eigenspace Analysis
New York University（纽约大学）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现代数据集规模的不断增长给现有的统计估计方法带来了许多挑战，这需要新的分布式方法。本文研究了一个基本的统计机器学习问题，主成分分析（PCA）的分布估计。尽管有大量关于顶特征向量估计的文献，但对于顶- $L$ -dim（$L>1$）特征空间估计，特别是以分布式方式，提出的文献要少得多.本文提出了一种新的多轮算法来构造分布式数据的top- $L$ -dim特征空间。我们的算法利用移位和反转预处理和凸优化。我们的估计是通信效率和实现快速收敛速度。与现有的分治算法相比，我们的方法对机器的数量没有限制。传统的Davis-Kahan定理在理论上需要明确的本征间隙假设来估计顶$L$ -维本征空间。为了放弃这个本征间隙假设，我们在我们的分析中考虑一个新的路线：而不是准确地识别顶部- $L$ -暗淡的本征空间，我们表明，我们的估计是能够覆盖目标顶部- $L$ -暗淡的人口本征空间。我们的分布式算法可以应用于广泛的统计问题的PCA的基础上，如主成分回归和单指标模型。最后，我们提供模拟研究，以证明所提出的分布式估计器的性能。
2021-02-03 cs.DC cs.LG stat.ME
Communication-Efficient Distributed Estimation and Inference for Cox's Model
针对多中心研究无法共享个体数据的问题，提出高维稀疏Cox模型的通信高效分布式估计与推断方法，含去偏置信区间、去相关得分假设检验，理论和实验验证其性能优异。
2024-06-23 math.ST stat.AP stat.ME
Estimation of the shape parameter of a generalized Pareto distribution based on a transformation to Pareto distributed variables
广义帕累托分布的随机变量可以转化为帕累托分布的随机变量。Pareto分布参数的极大似然估计存在显式表达式。基于概率加权方法，对广义Pareto分布形状参数的变换观测估计进行了性能检验。它被发现，以提高性能的概率加权估计，并执行良好的偏差和MSE。
2012-12-14 q-fin.CP stat.ME
Distributed Convolutional Rank Regression over Decentralized Networks
School of Mathematics and Statistics, Changchun University of Technology（长春工业大学数学与统计学院）
研究分散式网络上的卷积秩回归，提出含核平滑秩损失的分散式CRR框架，依赖本地与邻节点信息，实现隐私保护与高效通信，建立误差界与恢复保证，用广义共识ADMM求解，经实验验证性能良好。
2026-07-29 cs.LG stat.ME
Distributed Learning of Finite Gaussian Mixtures
信息技术的进步导致了非常大的数据集，这些数据集通常保存在不同的存储中心。现有的统计方法必须加以调整，以克服由此产生的计算障碍，同时保持统计的有效性和效率。分裂-征服方法已经应用于许多领域，包括分位数过程、回归分析、主特征空间和指数族。我们研究了有限高斯混合分布学习的分裂和征服方法。我们推荐了一种约简策略，并开发了一种有效的MM算法。新的估计被证明是一致的，并保持root-n的一致性在一定的条件下。基于模拟和真实数据的实验表明，所提出的分裂和征服的方法具有可比的统计性能与基于完整数据集的全局估计，如果后者是可行的。如果模型假设与真实世界的数据不匹配，它甚至可以稍微优于全局估计器。它也有更好的统计和计算性能比一些现有的方法。
2021-11-10 stat.ME stat.ML
Grid Point Approximation for Distributed Nonparametric Smoothing and Prediction
针对分布式系统上海量数据核平滑预测效率低的问题，提出无需通信、统计效率可比全局估计器且适配非随机数据分布的网格点近似方法，配套两种带宽选择器，经数值实验和真实数据验证有效。
2024-09-21 stat.CO stat.ME
