Two-way Homogeneity Pursuit for Quantile Network Vector Autoregression
Fudan University(复旦大学);University of Miami(迈阿密大学);Princeton University(普林斯顿大学)
本文提出双向分组网络分位数自回归模型,同时进行节点聚类与参数估计,处理网络时间序列的异质性和定向交互,并具备理论保证和良好实证表现。
2026-09-14 stat.ME
NIRVAR: Network Informed Restricted Vector Autoregression
University of California, Los Angeles(加州大学洛杉矶分校);Imperial College London(帝国理工学院);University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津量化金融牛津曼研究所);The Alan Turing Institute(艾伦·图灵研究所);University of Bologna(博洛尼亚大学)
本文提出NIRVAR模型,将高维时间序列面板建模为系数矩阵具有随机块模型结构的受限向量自回归过程,通过低维潜在空间嵌入与聚类恢复分块结构,并在金融、宏观经济和交通应用中验证了其预测性能与分组可解释性。
2026-09-22 stat.AP stat.ME
A review of distributed statistical inference
本文系统综述了基于分而治之思想的分布式统计推断方法,涵盖参数、非参数及常用模型,并分析了通信成本与估计精度的权衡。
2023-04-13 stat.CO
Local Polynomial Estimation of Time-Varying Parameters in Nonlinear Models
本文建立非线性时间序列时变参数局部多项式极值估计量的渐近理论,给出弱条件下的一致性、正态性及平滑主导偏差刻画,并通过门限自回归、ARCH、Poisson自回归和美国企业违约实证验证其适用性。
2025-07-24 econ.EM math.ST stat.TH
Distributed Statistical Inference for Massive Data
本文考虑了一般对称统计量的分布式统计推断,其中包括U-统计量和M-估计量,在海量数据的背景下,数据可以存储在不同位置的多个平台上。为了促进有效的计算,并避免昂贵的不同平台之间的通信,我们制定了分布式统计,可以进行更小的数据块。分布统计量的统计性质进行了研究的估计和渐近分布的均方误差相对于数据块的数量。此外,我们提出了两个分布式引导算法,这是计算有效的,并能够捕获的分布式统计的底层分布。数值模拟和实际数据的应用所提出的方法来证明的经验性能。
2018-05-29 math.ST stat.TH
Asymptotics and statistical inferences on independent and non-identically distributed bivariate Gaussian triangular arrays
本文建立了独立非同分布的二元高斯三角阵列的归一化最大值分布的一阶和二阶渐近性,其中$n$第行的每个向量服从二元高斯分布,相关系数是$i/n$的单调连续函数.进一步研究了该未知函数的参数推断问题。并给出了一些模拟研究和实际数据集分析。
2016-04-26 stat.ME
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive(CSL)框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代,可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计,CSL可证明地改进了朴素平均方案,并有利于置信区间的构建。对于高维正则化估计,CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断,CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率,即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
Asymptotic inference for a stochastic differential equation with uniformly distributed time delay
研究了具有均匀分布时滞的仿射随机微分方程的似然函数的局部渐近性质。对于不同的参数值,证明了局部渐近正态性、局部渐近混合正态性、周期局部渐近混合正态性或局部渐近二次性。给出了连续样本下参数极大似然估计的渐近性质的应用。
2015-09-09 math.ST stat.TH
Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference
Shanghai Jiao Tong University(上海交通大学);New York University(纽约大学)
本文提出了一种高效的分布式推理算法,该算法对拜占庭节点的中等比例是鲁棒的,即分布式学习系统中的任意和可能的对抗机器。在稳健统计中,均值中值(median-of-means,简写为MEN)由于其易于实现和计算效率而成为对冲拜占庭故障的流行方法。然而,该估计量在统计效率方面存在不足。本文的第一个主要贡献是提出了一个方差缩减均值估计(VRSTO),它提高了统计效率比香草估计,是计算效率的计算。基于所提出的VRNTR估计,我们开发了一个通用的分布式推理算法,对拜占庭故障是强大的。从理论上讲,我们的分布式算法实现了一个快速的收敛速度,只有一个恒定的通信轮数。我们还提供了渐近正态性的结果,统计推断的目的。据我们所知,这是拜占庭鲁棒分布学习设置中的第一个正态结果。仿真结果也说明了我们的方法的有效性。
2021-03-04 cs.LG stat.ME stat.ML
Selective Inference with Distributed Data
随着数据集越来越大,它们通常分布在多台并行计算的机器上,并通过短消息与中央机器进行通信。在本文中,我们专注于稀疏回归,并提出了一个新的程序进行选择性推理与分布式数据。虽然在稀疏设置中存在许多用于点估计的分布式过程,但是很少有选项可用于估计不确定性或基于估计的稀疏度进行假设检验。我们在每台机器上解决一个广义线性回归,然后将一组选定的预测值传递给中央机器。中央机器使用这些选择的预测器来形成广义线性模型(GLM)。为了在选定的GLM中进行推理,我们提出的方法基于渐近似然近似有效的选择性推理。该建议只寻求聚合的信息,在相对较少的维度,从每个机器合并在中央机器的选择性推理。通过重用本地机器的低维汇总统计数据,我们的程序实现了更高的功率,同时保持通信成本低。这种方法也适用于解决臭名昭著的p值彩票问题,当模型选择重复随机分割的数据。
2023-03-10 stat.ME
Bandwidth-Free Inference for Recursive Nonlinear Impulse Response Functions
University of São Paulo(圣保罗大学);Columbia University(哥伦比亚大学)
针对半参数递归构造的一阶推断理论缺口,提出用结构残差经验分位数替代创新分位数的估计量,建立联合渐近线性表示,实现无需分位数平滑的无带宽推断。
2026-08-05 econ.EM math.ST stat.TH
Simultaneous Inference for Massive Data: Distributed Bootstrap
Purdue University(普渡大学);University of Missouri(密苏里大学)
在本文中,我们提出了一个引导方法适用于大量的数据处理分布在大量的机器。这种新的方法是计算效率高,因为我们引导主机上没有过度的rescue,通常需要现有的方法\cite{kleiner2014scalable,sengupta2016subsampled},同时证明实现最佳的统计效率与最小的通信。我们的方法不需要反复重新拟合模型,而只需要在主机器中对从工作机器接收到的梯度应用乘数引导。仿真验证了我们的理论。
2020-02-19 cs.LG stat.ML
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Distributed Inference for Linear Support Vector Machine
Shanghai Jiao Tong University(上海交通大学);New York University(纽约大学)
现代数据规模的不断增长给现有的统计推断方法和理论带来了许多新的挑战,并要求发展分布式推断方法。本文研究了线性支持向量机(SVM)用于二元分类任务的分布式推理。尽管有大量关于SVM的文献,但对SVM的推理特性知之甚少,特别是在分布式环境中。在本文中,我们提出了一个多轮分布式线性型(MDL)估计进行推理的线性SVM。所提出的估计是计算效率。特别是,它只需要一个初始的SVM估计,然后通过解决简单的加权最小二乘问题,逐步完善的估计。在理论上,我们建立了估计量的Bahadur表示。在此基础上,进一步导出了渐近正态性,表明MDL估计达到了最优统计效率,即,与经典线性SVM在单个机器设置中应用于整个数据集的效率相同。此外,我们的渐近结果避免了机器或数据批次的数量,这是通常假设在分布估计文献中的条件,并允许发散维的情况下。我们提供模拟研究,以证明所提出的MDL估计的性能。
2019-09-20 cs.LG stat.ME stat.ML
Distributed Selective Inference for Quantile Regression
School of Mathematics and Statistics, Changchun University of Technology(长春工业大学数学与统计学院)
针对高维分位数回归的后选择推断难题,提出仅需三轮通信的分布式选择性推断框架,通过响应替代策略处理非光滑分位数损失,经模拟与实际数据验证其有限样本性能良好。
2026-09-15 stat.AP stat.ME
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University(阿尔托大学)
在本文中,我们解决的问题进行统计推断的设置,涉及大规模的数据,可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型,促进稀疏。在第一阶段,称为模型选择,通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择,然后融合的投票计划,找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段,采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间,找到参数估计值并量化标准差。与阶段1类似,本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法,我们建立了良好的统计特性的强大的和计算效率的自助方法,包括一致性的固定数量的预测,和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性,在变量选择,发现置信区间和自举近似的标准差,即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Optimal Inference for Distributed Detection
针对分布式检测中非仿射决策函数缺乏最优策略自动生成方法、最优性证明困难的问题,本文提出新型检测网络优化技术,证明核心定理并给出三类应用,指明未来研究方向。
2020-05-26 cs.IT math.IT math.OC
Topology Identification and Inference over Graphs
University of Rochester(罗切斯特大学);University of California Irvine(加州大学尔湾分校);University of Minnesota(明尼苏达大学);DEVCOM Army Research Lab.(美国陆军研究开发司令部陆军研究实验室)
本文提出了一种基于内核选择的框架,用于图上动态过程的拓扑识别与推断,结合结构方程和向量自回归模型,利用低秩、稀疏性等属性建模时间演变拓扑。
2025-12-11 cs.SI eess.SP stat.ME
Distributed Bootstrap for Simultaneous Inference Under High Dimensionality
我们提出了一个分布式的引导方法,同时推理的高维海量数据,存储和处理与许多机器。该方法产生一个$\ell_\infty$ -范数置信区域的基础上的通信有效的去偏套索,我们提出了一个有效的交叉验证方法来调整的方法在每次迭代。我们从理论上证明了一个下界的通信轮数$τ_{\min}$,保证统计的准确性和效率。此外,$τ_{\min}$仅随工人数和内在维数的增加而增加,而几乎不随名义维数的增加而变化。我们测试我们的理论,通过广泛的模拟研究,和一个半合成数据集的基础上,美国航空公司的准时性能数据集的变量筛选任务。再现数值结果的代码可在GitHub上获得:https://github.com/skchao74/Distributed-bootstrap。
2022-06-14 math.ST stat.ME stat.ML
Communication-Efficient Distributed Estimation and Inference for Cox's Model
针对多中心研究无法共享个体数据的问题,提出高维稀疏Cox模型的通信高效分布式估计与推断方法,含去偏置信区间、去相关得分假设检验,理论和实验验证其性能优异。
2024-06-23 math.ST stat.AP stat.ME
Distributed Simultaneous Inference in Generalized Linear Models via Confidence Distribution
我们提出了一种分布式方法,用于样本量远大于协变量数的数据集的同时推理,即,N >> p,在广义线性模型框架下.当这样的数据集太大而无法由单个集中式计算机完全分析时,或者当数据集已经存储在分布式数据库系统中时,分而合的策略一直是可扩展性的选择方法。由于分区,子数据集的样本量可能是不均匀的,有些可能接近p,这需要正则化技术来提高数值稳定性。然而,有一个缺乏明确的理论依据和实际指导方针,结合从单独的正则化估计得到的结果,特别是当最终目标是同时推断一组回归参数。在本文中,我们开发了一种策略,结合使用置信分布的偏差校正拉索型估计。我们表明,由此产生的组合估计达到相同的估计效率的极大似然估计使用集中的数据。正如模拟和真实数据示例所示,我们的划分和组合方法产生与集中式基准几乎相同的推理。
2020-07-21 stat.ME
Sparse Bayesian vector autoregressions in huge dimensions
我们建立了一个具有多维随机波动率的贝叶斯向量自回归(VAR)模型,该模型能够处理大量的多维信息集。引入三个功能,以允许可靠的估计模型。首先,我们假设VAR中的简化形式误差具有因子随机波动率结构,允许有条件的逐方程估计。其次,我们应用最近开发的全局-局部收缩先验的VAR系数治愈灾难的维度。第三,我们利用最近的创新,有效地从高维多变量高斯分布采样。这使得基于模拟的完全贝叶斯推断可行的维数是大的,但时间序列长度是中等。我们展示了我们的方法在广泛的模拟研究的优点,并将该模型应用于美国的宏观经济数据,以评估其预测能力。
2019-12-04 econ.EM stat.AP stat.CO
Parallel inference for massive distributed spatial data using low-rank models
由于数据的快速增长,大规模数据集的统计分析通常必须以分布式方式进行,因为存储在不同物理位置的多个数据集都与给定问题相关,或者仅仅是为了通过分治方案实现更快的(并行)计算。在这两种情况下,挑战在于获得有效的推理,而不需要在单个中央计算节点处理所有数据。我们发现,对于一类非常广泛使用的空间低秩模型,它可以被写为空间基函数的线性组合加上细尺度变化组件,并行空间推理和预测的大规模分布式数据可以进行准确,这意味着结果是相同的传统的,非分布的分析。我们的分布式算法的通信成本不依赖于数据点的数量。在将我们的结果扩展到时空的情况下,我们通过对三个不同的卫星传感器系统测量的总可降水量进行分布式时空粒子滤波推断来说明我们的方法。
2016-02-05 stat.CO stat.ME
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ(巴黎萨克雷大学,凡尔赛大学校区);Sorbonne Paris Nord University(索邦巴黎北大学);LIPN(巴黎北部科学实验室)
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法,通过潜在多元高斯块分布实现非参数联合聚类,经实验验证在聚类准确率和效率上表现良好,还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML