Statistical inference for dynamical systems: a review
动力系统的统计推断已经在多个领域得到了广泛的研究。本文主要研究非线性动力系统的参数估计问题。我们的目标是将不同学科的结果放在一个共同的环境中,并突出进一步研究的机会。
2012-06-16 math.DS math.ST stat.TH
Nonparametric Distributed Learning Architecture for Big Data: Algorithm and Applications
现代数据集的规模和复杂性急剧增加,使得传统的“集中式”统计推断变得难以为继。除了与大数据学习相关的计算挑战之外,许多数据类型(例如离散,连续,分类等)的存在也是一个挑战。使得自动化和可扩展性变得困难。一个直接的问题是如何设计一个数据密集型的统计推断架构,而不改变上个世纪为“小”数据开发的基本统计建模原则。为了解决这个问题,我们提出了MetaLP,一个灵活的,分布式的统计建模框架。
2018-02-26 stat.AP stat.CO stat.ME
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University(阿尔托大学)
在本文中,我们解决的问题进行统计推断的设置,涉及大规模的数据,可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型,促进稀疏。在第一阶段,称为模型选择,通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择,然后融合的投票计划,找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段,采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间,找到参数估计值并量化标准差。与阶段1类似,本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法,我们建立了良好的统计特性的强大的和计算效率的自助方法,包括一致性的固定数量的预测,和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性,在变量选择,发现置信区间和自举近似的标准差,即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Communication Lower Bounds for Statistical Estimation Problems via a Distributed Data Processing Inequality
Princeton University(普林斯顿大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);IBM Research Almaden(IBM阿尔马登研究中心)
我们研究了高维分布式统计估计问题的统计误差和通信成本之间的权衡。在分布式稀疏高斯均值估计问题中,每个$m$机器接收来自具有未知均值$θ$的$d$维高斯分布的$n$数据点,该均值被承诺为$k$ -稀疏的。机器通过消息传递进行通信,目的是估计平均值$θ$。我们提供了一个紧密的(对数因子)之间的权衡估计误差和机器之间通信的位数。这直接导致了分布式\textit{sparse linear regression}问题的下限:为了实现统计极大极小误差,总通信至少是$Ω(\min\{n,d\}m)$,其中$n$是每台机器接收的观测数,$d$是环境维度。通过允许多轮迭代通信模型,这些较低的结果改进了[Sha14,SD'14]。我们也给出了第一个最佳的同时协议在稠密的情况下,均值估计。作为我们的主要技术,我们证明了一个\textit{distributed data processing inequality},作为一般的数据处理不等式的推广,这可能是独立的兴趣和有用的其他问题。
2016-05-10 cs.CC cs.IT cs.LG
Bootstrap Model Aggregation for Distributed Statistical Learning
Dartmouth College(达特茅斯学院)
在分布式或隐私保护学习中,我们经常会得到一组从不同本地存储库估计的概率模型,并要求将它们组合成一个模型,以提供有效的统计估计。一个简单的方法是线性平均的局部模型的参数,然而,这往往是退化或不适用于非凸模型,或具有不同的参数尺寸的模型。一种更实用的策略是从局部模型生成引导样本,然后基于组合的引导集学习联合模型。不幸的是,引导过程引入了额外的噪声,并可能显着恶化的性能。在这项工作中,我们提出了两种方差减少方法来纠正自举噪声,包括加权M估计,这是统计上有效的,实际上是强大的。理论和实证分析来证明我们的方法。
2017-02-27 cs.AI cs.LG stat.ML
Distributed Semi-Supervised Sparse Statistical Inference
Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学);Purdue University(普渡大学)
针对分布式场景下高维去偏估计量计算成本高的问题,提出融合有标记与无标记数据的多轮分布式去偏估计量,适配多种损失函数,仅需一次高维逆协方差估计,提升了统计速率与计算效率。
2023-12-15 cs.LG stat.ML
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Optimality guarantees for distributed statistical estimation
University of California, Berkeley(加州大学伯克利分校)
大型数据集通常需要执行分布式统计估计,完整的数据集跨多台机器划分,机器之间的通信有限。为了研究这样的情况下,我们定义和研究的经典极大极小风险,适用于分布式设置的一些改进,比较与访问整个数据的估计的性能。这些量的下限提供了实现集中式极大极小风险所需的最小通信量的精确表征。我们研究了两类分布式协议:一类是机器独立地通过信道发送消息而没有反馈,另一类是允许交互式通信,其中中央服务器将消息从给定的机器广播到所有其他机器。我们建立了各种问题的下界,包括几个家庭的位置估计和不同类型的回归模型的参数估计。我们的研究结果包括一类新的定量数据处理不等式,用于表征有限的通信的影响。
2014-06-21 cs.IT cs.LG math.IT
Heterogeneity-aware and communication-efficient distributed statistical inference
在多中心研究中,个人水平的数据通常受到保护,不能在多个研究中心之间共享。为了克服数据共享的障碍,许多分布式算法,只需要共享聚集的信息,已被开发。现有的分布式算法通常假设数据是均匀分布的。这一假设忽略了一个重要事实,即在不同地点收集的数据可能来自不同的亚群体和环境,这可能导致数据分布的异质性。忽略异质性可能导致错误的统计推断。在本文中,我们提出了分布式算法,通过允许特定站点的滋扰参数的异构分布。所提出的方法扩展代理似然方法的异构设置通过应用一种新的密度比倾斜的方法,有效的得分函数。所提出的算法保持相同的通信成本,现有的通信效率的算法。我们建立了一个非渐近风险界的建议分布估计和它的极限分布在两个指标的渐近设置,允许每个站点的样本量和站点的数量都走向无穷大。此外,我们还证明了当站点数小于每个站点的样本量时,估计量的渐近方差达到Cramér-Rao下界.最后,我们使用模拟研究和实际数据的应用程序来证明所提出的方法的有效性和可行性。
2021-03-23 cs.DC math.ST stat.ME
Computational Limits of A Distributed Algorithm For Smoothing Spline
在本文中,我们将探讨统计与计算的权衡,以解决一个基本的问题,在分布式算法的应用:什么是最小的计算成本,在获得统计最优?在平滑样条设置中,我们观察到部署的机器数量的相变现象,最终成为计算成本的简单代理。具体来说,建立了机器数量的一个明确的上界:当数量低于这个界限时,统计最优性(在非参数估计或检验方面)是可以实现的;否则,统计最优性就变得不可能了。这些尖锐的边界部分捕获本文所考虑的分布式算法的内在计算限制,并完全由回归函数的平滑度决定。作为一个侧面的评论,我们认为,样本分裂可以被看作是一种替代形式的正则化,发挥类似的作用,平滑参数。
2017-07-21 math.ST stat.TH
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题,如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归(QR)损失函数的非平滑性质,这是具有挑战性的,这使得现有方法的使用无效。通过一个双平滑的方法,适用于本地(在每个数据源)和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合,但分位数回归模型是完全参数化的,从而便于解释。在低维的制度,我们建立了一个有限样本的理论框架,顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设,基于反演的沃尔德和得分型测试和rescue技术,详细介绍了改进,是有效的更极端的分位数系数。在高维情况下,采用了稀疏框架,其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明,相应的分布式惩罚QR估计达到了全局收敛速度后,一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
A review on statistical inference methods for discrete Markov random fields
发展令人满意的马尔可夫随机场分析方法是一项非常具有挑战性的任务。事实上,由于马尔可夫依赖结构,场的归一化常数不能使用标准的分析或数值方法计算。这是任何统计方法的核心问题,因为可能性是该程序的组成部分。此外,这样的未观察到的领域不能被整合出来的可能性评估成为一个双重棘手的问题。本报告概述了文献中用于分析此类观察到或未观察到的随机场的一些方法。
2017-04-11 stat.ME
Statistical Inference for Fractional Diffusions
本文综述了由分数布朗运动驱动的随机微分方程的统计推断方法,分析了现有理论、挑战并提出新方法,探讨了分数扩散作为均质化极限的情况。
2026-04-04 math.PR math.ST stat.TH
Distributed Estimation and Inference with Statistical Guarantees
本文研究了分治算法中的假设检验和参数估计。在一个统一的可能性为基础的框架,我们提出了新的测试统计量和点估计量通过聚合各种统计量的大小$n/k$,其中$n$是样本量的$k$子样本。在低维和高维的设置,我们解决了如何选择$k$作为$n$增长大的重要问题,提供了一个理论上的上限$k$,这样的信息损失,由于分而治之算法是可以忽略不计的。换句话说,所得到的估计量具有相同的推理效率和估计率作为一个实际上不可行的预言与访问完整的样本。最后给出了数值计算结果,验证了理论的正确性.
2015-09-17 math.ST stat.TH
Statistical Data Integration in Survey Sampling: A Review
有限总体推断是调查抽样的核心目标。概率抽样是有限总体推断的主要统计方法。由于费用高和不答复率增加,出现了挑战。数据集成通过利用多个数据源来提供比单独使用任何单个数据源更健壮和有效的推理,从而提供及时的解决方案。数据整合的技术因样本类型和要合并的可用信息而异。本文对概率样本、概率和非概率样本以及概率和大数据样本的数据集成技术进行了系统的综述。我们讨论了广泛的集成方法,如广义最小二乘法,校准加权,逆概率加权,质量插补和双稳健方法。最后,我们强调了未来研究的重要问题。
2020-01-09 stat.ME
DUAL-LOCO: Distributing Statistical Estimation Using Random Projections
ETH Zürich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
我们提出了DUAL-LOCO,分布式统计估计的通信效率的算法。DUAL-LOCO假设数据是根据特征而不是样本分布的。它只需要一轮通信,其中低维随机投影用于近似不同工人可用的特征之间的依赖关系。我们表明,DUAL-LOCO有界逼近误差,这只弱依赖于工人的数量。我们比较DUAL-LOCO对各种现实世界的数据集上的最先进的分布式优化方法,并表明它获得了更好的加速比,同时保持良好的准确性。
2016-01-08 cs.DC cs.LG stat.ML
To Collaborate or Not in Distributed Statistical Estimation with Resource Constraints?
通过分析Fisher信息和Cramer-Rao界,我们研究了不同传感器/学习器收集的观测值之间的相关性如何影响数据汇集和协作策略。特别是,我们考虑一个简单的设置,其中两个传感器的样本从一个二元高斯分布,这已经激励通过各种策略,这取决于两个变量和资源约束之间的相关性。我们确定了两个特定的场景:(1)在样本之间的相关性的知识不能用于协作估计目的的情况下,以及(2)在最佳数据汇集策略涉及投资稀缺资源以协作地采样和传输不是直接感兴趣的并且其统计数据已经已知的信息的情况下,唯一的目的是增加对感兴趣的参数的估计的置信度。我们讨论了两个应用程序,物联网DDoS攻击检测和分布式估计在无线传感器网络中,可能会受益于我们的研究结果。
2022-05-31 cs.DC stat.ML
Statistical Methods for Crossover Trials: A Review of Classical and Recent Developments
University of California, Riverside(加州大学河滨分校)
本文综述了交叉设计的统计方法进展,重点介绍 AB-BA 设计及其扩展,涵盖连续、多元和分类响应分析,并指出开放问题。
2026-10-02 stat.AP stat.ME stat.OT
Distributed inference for quantile regression processes
大规模数据集的可用性增加,为发现其分布中的微妙模式提供了独特的机会,但也带来了压倒性的计算挑战。为了充分利用大数据中包含的信息,我们提出了一个两步过程:(i)在并行计算环境中估计不同级别的条件分位数函数;(ii)基于这些估计的分位数曲线通过投影构建条件分位数回归过程。我们的一般分位数回归框架涵盖了固定或增长维度的线性模型和系列近似模型。我们证明,所提出的程序不牺牲任何统计推断的准确性,提供了分布式计算单元和分位数水平的数量选择适当。特别是,一个尖锐的上界为前者和一个尖锐的下界为后者推导出捕捉最小的计算成本从统计的角度来看。作为一个重要的应用,考虑了条件分布函数的统计推断。此外,我们提出了计算效率高的方法来进行推理,在上述分布式估计设置。这些方法直接利用子样本估计量的可用性,并且可以在几乎没有额外计算成本的情况下进行。模拟结果证实了我们的统计推断理论。
2018-04-10 math.ST stat.ME stat.TH
A Unified Statistical Learning Model for Rankings and Scores with Application to Grant Panel Review
排名和分数是两种常见的数据类型,法官用来表达偏好和/或对一组对象质量的看法。存在许多模型来分别研究每种类型的数据,但是没有统一的统计模型在不首先执行数据转换的情况下同时捕获两种数据类型。我们提出了马洛斯-二项式模型来缩小这一差距,它结合了马洛斯的$ϕ$排名模型与二项式得分模型,通过共享参数,量化对象的质量,共识排名,和法官之间的共识水平。我们提出了一个有效的树搜索算法来计算模型参数的精确MLE,通过分析和模拟研究模型的统计特性,并将我们的模型应用于真实数据,从一个实例中收集分数和部分排名的赠款小组审查。此外,我们还演示了如何使用模型输出来对对象进行置信度排名。所提出的模型被证明是明智的结合从分数和排名的信息,以量化对象的质量和测量的共识与适当水平的统计不确定性。
2022-06-24 stat.ME stat.ML
A Review of Statistical Methods for Spontaneous Reporting System Data Mining: Signal Detection and Beyond
State University of New York at Buffalo(纽约州立大学布法罗分校)
本文综述了自发报告系统数据挖掘的最新统计方法,强调信号强度估计和不确定性量化,并提供数据预处理指导及案例分析。
2026-04-28 stat.AP
Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference
Shanghai Jiao Tong University(上海交通大学);New York University(纽约大学)
本文提出了一种高效的分布式推理算法,该算法对拜占庭节点的中等比例是鲁棒的,即分布式学习系统中的任意和可能的对抗机器。在稳健统计中,均值中值(median-of-means,简写为MEN)由于其易于实现和计算效率而成为对冲拜占庭故障的流行方法。然而,该估计量在统计效率方面存在不足。本文的第一个主要贡献是提出了一个方差缩减均值估计(VRSTO),它提高了统计效率比香草估计,是计算效率的计算。基于所提出的VRNTR估计,我们开发了一个通用的分布式推理算法,对拜占庭故障是强大的。从理论上讲,我们的分布式算法实现了一个快速的收敛速度,只有一个恒定的通信轮数。我们还提供了渐近正态性的结果,统计推断的目的。据我们所知,这是拜占庭鲁棒分布学习设置中的第一个正态结果。仿真结果也说明了我们的方法的有效性。
2021-03-04 cs.LG stat.ME stat.ML
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics and Data Science, Southeast University(东南大学统计与数据科学学院);School of Statistics and Data Science, Shanghai University of International Business and Economics(上海国际商务学院统计与数据科学学院)
针对分布式高维数据隐私保护问题,提出基于牛顿变换的差分隐私分位数回归方法,实现近最优统计精度与形式化隐私保障,并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Distributed estimation of spiked eigenvalues in spiked population models
针对海量分布式数据集分析难题,本文提出尖刺总体模型中尖刺特征值的分布式估计量,证明其相合性与渐近正态性,并验证其具有与全样本估计相同的收敛阶及优异的估计精度与传输效率。
2023-10-23 math.ST stat.TH
Distributed Nonparametric Regression under Communication Constraints
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
研究了多机分布数据下光滑函数的非参数估计问题。我们假设在每台机器上收集来自白噪声模型的独立样本,并且需要在中央机器上构建底层真函数的估计量。我们对每台机器可以用来向中央机器传输信息的比特数进行了限制。我们的结果给出了各种设置下的统计风险的渐近下界和匹配上界。我们确定了三种制度,这取决于机器的数量,在每台机器上可用的数据的大小,和通信预算之间的关系。当沟通预算较小时,统计风险仅取决于此沟通瓶颈,而与样本量无关。在通信预算较大的情况下,恢复了非分布估计设置中的经典极小极大风险。在中间状态下,统计风险取决于样本量和通信预算。
2018-06-23 cs.LG math.ST stat.ML
Bandlimited Signal Reconstruction From the Distribution of Unknown Sampling Locations
我们研究了带限领域的重建从未知的,但统计分布的采样位置的样本。该设置的动机是分布式采样的传感器位置的精确知识可能是困难的。周期性的一维带限场被认为是采样。在独立和同分布的位置上的字段的完美的样本被获得。采样地点的统计实现尚不清楚。首先,它表明,一个带限字段不能唯一地确定在统计分布,但未知的位置,即使样本的数量是无限的样本。接下来,假设样本位置的顺序已知。在这种情况下,使用顺序统计的见解,有用的渐近性质的字段的估计设计。失真(均方误差)和中心极限建立此估计。
2013-03-06 cs.IT math.IT math.ST
Distributed model building and recursive integration for big spatial data modeling
针对神经影像中超高维空间数据建模,提出分布式模型构建与递归整合框架,实现高斯过程参数的高效估计与推断,并在自闭症数据上获得新见解。
2024-02-08 stat.CO stat.ME
A Selective Review on Statistical Methods for Massive Data Computation: Distributed Computing, Subsampling, and Minibatch Techniques
Guanghua School of Management, Peking University(北京大学光华管理学院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院);School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);School of Statistics and Mathematics, Central University of Finance and Economics(中央财经大学统计与数学学院);School of Statistics, Beijing Normal University(北京师范大学统计学院);School of Statistics and Management, Shanghai University of Finance and Economics(上海财经大学统计与管理学院);School of Statistics, University of International Business and Economics(对外经济贸易大学统计学院)
本文选择性综述了海量数据计算的三类统计方法:分布式计算、子抽样方法和小批量梯度技术,分别针对数据过大无法单机处理、数据可单机存储但内存处理困难,以及深度学习模型优化等场景。
2024-03-17 cs.LG math.ST stat.CO