Optimal Subsampling for Large Sample Logistic Regression
对于海量数据,二次抽样算法族是一种常用的算法,可以减小数据量,减少计算负担。现有的研究主要集中在线性回归中普通最小二乘估计的近似,其中统计杠杆分数通常用于定义子采样概率。在本文中,我们提出了快速子采样算法,有效地逼近逻辑斯谛回归的最大似然估计。我们首先建立一致性和渐近正态性的估计从一般的子采样算法,然后推导出最佳子采样概率,最小化的渐近均方误差的估计。另一种最小化准则也提出了进一步降低计算成本。最优子采样概率依赖于全数据估计,因此我们开发了一个两步算法来近似最优子采样过程。该算法计算效率高,与全数据方法相比,计算时间显著减少。本文还建立了两步算法估计量的相合性和渐近正态性。合成和真实数据集被用来评估所提出的方法的实际性能。
2018-03-07 stat.CO stat.ME stat.ML
Optimal subsampling for functional composite quantile regression in massive data
针对海量函数型数据计算受限问题,本文提出基于函数L-最优性准则的复合分位数回归最优子抽样方法,并证明其优于均匀子抽样。
2024-06-28 stat.ME
Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data
非均匀子采样方法是一种有效的方法,可以减少计算负担,并保持估计效率的大数据。现有的方法大多集中在子采样与替换,由于其高的计算效率。如果数据量很大,不均匀的子采样概率不能一次计算,那么子采样替换是不可行的。本文解决了这个问题,使用泊松子采样。我们首先获得最佳泊松子采样概率的上下文中的准似然估计下的A-和L-最优性准则。对于一个具有近似最优子采样概率的实际可实现的算法,我们建立了所得估计量的相合性和渐近正态性。为了处理完整数据存储在不同块或多个位置的情况,我们开发了一个分布式子采样框架,在该框架中,在完整数据的较小分区上同时计算统计数据。研究了所得聚集估计的渐近性质。我们通过模拟和真实数据集的数值实验来说明和评估所提出的策略。
2021-07-05 cs.DC stat.CO stat.ME
Least product relative error estimation for functional multiplicative model and optimal subsampling
本文研究了基于最小乘积相对误差准则的泛函线性乘性模型。在一定的正则化条件下,我们建立了估计量的相合性和渐近正态性。此外,我们研究了该模型的最佳子采样与海量数据。首先给出了子抽样估计量的相合性和渐近分布。然后,我们得到了基于A-最优性准则的最优子采样概率。此外,还提出了不需要计算黑塞矩阵的逆矩阵的有用的可替换的子采样概率,这些子采样概率在实际中更容易实现。最后,数值研究和实际数据分析,以评估所提出的方法的性能。
2023-01-03 cs.NA math.NA math.ST
Approximating Partial Likelihood Estimators via Optimal Subsampling
针对大规模生存数据分析计算成本高的问题,提出一种快速最优子抽样方法近似Cox模型全数据偏似然估计量,通过最小化渐近方差协方差矩阵的迹确定最优抽样概率,并设计两步算法显著降低计算时间且保持良好渐近性质。
2023-05-17 stat.CO stat.ME
Functional L-Optimality Subsampling for Massive Data
海量数据给分析带来了巨大的内存和计算挑战。这些挑战可以通过从完整数据中提取子样本作为替代来解决。对于功能数据,通常会在其域上收集多个测量值,当样本量较大时,这需要更多的内存和计算时间。当需要通过自举样本进行统计推断时,计算将更加密集。据我们所知,本文是第一次尝试研究函数线性模型的子采样方法。提出了一种基于泛函L-最优性准则的最优子采样方法。当响应是离散或分类变量时,我们进一步将我们提出的函数L-最优子采样(FLoS)方法扩展到函数广义线性模型。我们建立了估计的渐近性质的FLoS方法。我们提出的FLoS方法的有限样本性能进行了广泛的仿真研究。通过分析两个大规模数据集:全球气候数据和肾移植数据,进一步证明了FLoS方法。对这些数据的分析结果表明,FLoS方法是远远优于均匀子采样的方法,可以很好地近似的结果的基础上的完整的数据,同时大大减少了计算时间和内存。
2021-07-06 stat.CO stat.ME
Optimal Poisson subsampling for quantile regression with large-scale longitudinal data
School of Mathematics and Statistics, Changchun University of Technology(长春工业大学数学与统计学院)
针对大规模纵向数据的计算挑战,提出一种最优泊松子抽样算法用于分位数回归,通过加权分位数广义估计方程和正则化方法,显著降低计算负担并提升估计性能。
2026-08-11 stat.CO
Optimal subsampling for large scale Elastic-net regression
本文针对大规模弹性网回归提出一种基于A-最优性准则的随机化子抽样算法,利用alpha绝对值函数光滑逼近技术建立一致性分析、集中界与渐近正态性,并在合成与真实数据上验证其有效性。
2023-05-29 math.ST stat.TH
Novel Subsampling Strategies for Heavily Censored Reliability Data
针对大规模重度删失可靠性数据的计算挑战,提出基于L最优准则的高效子采样方法及对应估计算法,经真实与模拟数据验证性能优异。
2024-10-30 stat.CO stat.ME
Optimal Subsampling Approaches for Large Sample Linear Regression
分析大样本数据的一个重要障碍是缺乏有效的统计计算和推断方法。子采样是一种新兴的分析大样本数据的强大方法,它从原始全样本中随机抽取子样本,并将其用作后续计算和估计的替代。本文研究了两种情形下的二次抽样方法:全样本最小二乘(OLS)估计的逼近和线性回归中系数的估计。给出了加权估计和非加权估计两种算法,并在一般条件下分析了其子样本估计的渐近性质。对于加权估计算法,我们利用渐近结果提出了一个选择最优抽样概率的准则。在此基础上,提出了两种新的子采样方法:最优子采样方法和预测子采样方法。预测因子长度子采样方法基于预测因子的L2范数,而不是杠杆分数。其计算成本是可伸缩的。对于未加权估计算法,我们证明了它的子样本估计与全样本OLS估计不一致。然而,它具有更好的性能比加权估计算法估计的系数。仿真研究和实际数据的例子来证明我们提出的子采样方法的有效性。
2015-11-23 stat.ME stat.ML
Optimal subsampling for the Cox proportional hazards model with massive survival data
在生存分析中,大量生存数据的使用已变得普遍。针对协变量为时间相关的考克斯比例风险模型,在样本量非常大但计算资源相对有限的情况下,提出了一种二次抽样算法.子样本估计是通过最大化加权偏似然,它被证明具有一致性和渐近正态性。通过最小化子样估计量的渐近均方误差,给出了最优子样概率的显式表达式。仿真研究表明,该方法可以令人满意地近似估计的全部数据集。然后将所提出的方法应用于企业贷款和乳腺癌数据集,具有不同的删失率,结果证实了其实际优势。
2023-02-05 stat.CO
Optimal subsampling algorithm for the marginal model with large longitudinal data
针对大规模纵向数据边际模型的计算负担,提出最优子抽样方法,推导最优抽样概率并建立渐近性质,通过模拟和抑郁数据验证其有效性。
2023-11-15 stat.ME
An optimal transport approach for selecting a representative subsample with application in efficient kernel density estimation
二次抽样方法的目的是选择一个子样本作为观察样本的替代品。近几十年来,这种方法已广泛用于大规模数据分析、主动学习和隐私保护分析。而不是基于模型的方法,在本文中,我们研究无模型的子采样方法,其目的是确定一个子样本,不受模型假设。现有的无模型子采样方法通常是建立在聚类技术或内核技巧。这些方法中的大多数遭受要么是一个大的计算负担或理论上的弱点。特别是,理论上的弱点是,所选子样本的经验分布可能不一定收敛于总体分布。这种计算和理论上的局限性阻碍了无模型子采样方法在实践中的广泛适用性。我们提出了一种新的无模型的子采样方法,利用最优传输技术。此外,我们开发了一个有效的子采样算法,是适应未知的概率密度函数。理论上,我们证明了所选择的子样本可以用于有效的密度估计,推导出所提出的子样本核密度估计的收敛速度。我们还提供了建议的估计器的最佳带宽。对合成数据集和真实数据集的数值研究表明,该方法的性能优越。
2022-05-31 math.ST stat.ML stat.TH
Biweighted Poisson Subsampling for Convoluted Rank Regression with Massive Data
National University of Singapore(新加坡国立大学);Chongqing University(重庆大学);Xiamen University(厦门大学)
针对大规模数据中成对损失问题(如卷积秩回归),提出双加权泊松子采样(BIPS)框架,通过设计成对观测权重实现高效子采样,并证明估计量的相合性和渐近正态性,同时开发了分布式估计器。
2026-06-07 math.ST stat.TH
Optimal Subsampling Bootstrap for Massive Data
自举法是一种广泛使用的统计推断方法,因为它的简单性和吸引人的统计特性。然而,由于需要重复对整个数据进行重新采样,因此对于许多现代大规模数据集来说,bootstrap的普通版本在计算上不再可行。因此,近年来对Bootstrap方法进行了一些改进,通过在重新抽样之前对整个数据集进行二次抽样来评估估计量的质量。自然地,这些现代子采样方法的性能受到调整参数的影响,例如子样本的大小、子样本的数量以及每个子样本的重采样数量。在本文中,我们开发了一种新的超参数选择方法来选择这些调谐参数。制定为一个优化问题,以找到最佳值的一些措施的准确性估计的计算成本,我们的框架提供了封闭形式的解决方案的最佳超参数值的二次抽样引导,二次抽样双引导和袋的小引导,在没有或很少的额外的时间成本。使用的均方误差作为代理的准确性措施,我们应用我们的方法来研究,比较和提高这些现代版本的引导程序的性能,通过模拟研究开发的海量数据。结果令人鼓舞。
2023-02-15 stat.ME
More Efficient Estimation for Logistic Regression with Optimal Subsample
本文提出了一种改进的逻辑斯谛回归估计方法,该方法基于Wang et al. 2018中提出的最优子采样概率所取的子样本。渐近结果和数值结果都表明,新的估计量具有更高的估计效率。我们还开发了一种新的算法的基础上泊松子采样,它不需要近似的最佳子采样概率一次。当可用的随机存取存储器不足以保存全部数据时,这在计算上是有利的。有趣的是,渐近分布还表明,如果采样率(子样本量与完整数据样本量的比率)不收敛于零,则泊松子采样会产生更有效的估计量。我们还得到了基于Poisson子抽样的估计量的无条件渐近分布。所提出的方法需要使用一个导频估计器来校正未加权估计器的偏差。我们进一步表明,即使导频估计是不一致的,所得到的估计仍然是一致的和渐近正态的,如果该模型是正确指定的。
2021-06-23 stat.ME
Efficient Poisson Subsampling for the Partially Linear Additive Cox Model
Nankai University(南开大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Changchun University of Technology(长春工业大学);Liaoning University(辽宁大学);University of Connecticut(康涅狄格大学);Tianjin University(天津大学)
针对大规模生存数据分析的计算存储挑战,提出用于部分线性可加Cox模型的高效泊松子采样方法,经模拟与淋巴瘤数据集验证,可实现大规模场景下的高效准确统计推断。
2026-08-21 stat.CO stat.ME
Maximum sampled conditional likelihood for informative subsampling
University of Connecticut(康涅狄格大学);Iowa State University(爱荷华州立大学)
子采样是在计算资源有限的情况下从海量数据集中提取信息的一种有效方法。在从全部数据中提取子样本之后,大多数可用的方法使用逆概率加权(IPW)目标函数来估计模型参数。IPW估计器没有充分利用所选子样本中的信息。在本文中,我们建议使用基于采样数据的最大采样条件似然估计(MSCLE)。我们建立了MSCLE的渐近正态性,并证明了它的渐近方差协方差阵在包括IPW估计在内的一类渐近无偏估计中是最小的.我们进一步讨论了L-最优子采样概率的渐近结果,并说明了广义线性模型的估计过程。数值实验提供了评估所提出的方法的实际性能。
2022-10-09 cs.IT cs.LG math.IT
Unweighted estimation based on optimal sample under measurement constraints
为了处理海量数据,二次抽样是一种实用的方法来选择更多的信息数据点。然而,当响应是昂贵的测量,开发有效的二次抽样方案是具有挑战性的,和测量约束下的最优抽样方法的开发,以满足这一挑战。该方法使用最优采样概率的倒数来重新加权目标函数,将较小的权重分配给更重要的数据点。因此,可以提高所得到的估计器的估计效率。本文提出了一种基于最优子样本的非加权估计方法,以获得更有效的估计量。我们通过鞅方法得到了估计量的无条件渐近分布,而不需要对导频估计进行条件化,这在现有的子抽样文献中研究较少。渐近结果和数值结果都表明,未加权估计量在参数估计中是更有效的。
2022-10-08 stat.CO
Leverage classifier: Another look at support vector machine
针对支持向量机计算量大难以应用于大规模数据集的问题,研究提出基于线性SVM的最优杠杆分类器,通过两阶段子采样选有信息的训练子集,推导相关统计性质,在估计、计算和预测上均优于现有方法。
2023-08-23 stat.ME
A Moment-assisted Approach for Improving Subsampling-based MLE with Large-scale data
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang Gongshang University(浙江工商大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Tsinghua University(清华大学)
本文提出基于矩的子采样方法,通过整合整体数据的矩信息提升子采样MLE的估计效率,理论分析显示其渐近方差更小,数值实验验证其在估计和计算效率上的优势。
2026-10-12 stat.ME
Uniform-Design Subsampling for Compute-Budgeted Double Machine Learning
Shenzhen Polytechnic University(深圳职业技术大学);Guangdong Ocean University(广东海洋大学)
UD-DML通过构造低偏差骨架和匹配子样本,提升大规模数据下双重机器学习的代表性与平衡性,降低计算成本并提高估计精度。
2026-08-25 stat.ME
Optimal Survey Design for Private Mean Estimation
Purdue University(普渡大学)
本研究在差分隐私框架下,针对多种隐私机制提出首个隐私感知分层抽样方案,将最优调查设计转化为优化问题,证明方差目标强凸性并给出高效求解算法,可最小化隐私均值估计的方差。
2025-01-30 cs.CR cs.LG math.ST
Maximum-Variance-Reduction Stratification for Improved Subsampling
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Department of Statistics, University of Connecticut(康涅狄格大学统计系)
MVRS通过最大方差减少分层法提升抽样效率,实现估计精度和效率的双重提升。
2026-02-27 stat.ME
Targeted maximum likelihood estimation for longitudinal two-stage designs with outcome subsampling
University of California, Berkeley(加州大学伯克利分校)
针对纵向两阶段设计中结局子抽样的因果参数估计问题,基于HIV相关死亡率研究中的重抽样设计。提出两种估计器,包括IPCW纵向TMLE及新LTMLE,通过模拟表明新方法可降低方差,还指出交叉拟合方差估计对有效推断很关键。
2026-07-07 stat.ME
Orthogonal Subsampling for Big Data Linear Regression
大数据集的急剧增长对数据存储和分析提出了新的挑战。从数据集中提取有用信息的数据缩减或子采样是大数据分析的关键步骤。我们提出了一种针对大数据的正交子采样(OSS)方法,重点关注线性回归模型。该方法的灵感来自于这样一个事实,即两个水平的正交表提供了最好的试验设计的线性回归模型的意义上,它最大限度地减少了估计参数的平均方差,并提供了最佳的预测。OSS的优点是三方面的:(i)它是易于实现和快速;(ii)它是适合于分布式并行计算,并确保在不同批次中选择的子样本没有共同的数据点;(iii)它优于现有的方法,在最小化的估计参数的均方误差和最大化的效率选择的子样本。理论结果和大量的数值结果表明,OSS方法优于现有的子采样方法。它对协变量之间的相互作用的存在也更稳健,并且当它们确实存在时,OSS提供比现有方法更精确的相互作用效应估计。通过对实际数据的分析,说明了OSS的优势。
2021-05-30 stat.ME
Optimal Subsampling Design for Polynomial Regression in one Covariate
技术的改进导致大型数据集的可用性增加,这使得对数据简化和提供信息的子样本的需求变得更加重要。在本文中,我们构造了$ D $ -最优子抽样设计的多项式回归在一个协变量不变分布的协变量。我们研究二次回归更密切地为特定的分布。特别是,我们所得到的最优子抽样设计的形状和子样本大小的设计上的效果的声明。为了说明最优子采样设计的优点,我们研究了均匀随机子采样的效率。
2023-02-25 math.ST stat.TH
Optimal Subsampling for High-dimensional Ridge Regression
我们研究了高维岭回归的特征压缩使用的最佳子采样技术。具体地说,基于岭回归特征随机抽样算法的基本框架和A-最优设计准则,首先得到一组最优子抽样概率。考虑到所得到的概率是不经济的,我们然后提出了近最优的。利用这些概率,建立了一种计算量小、精度高的两步迭代算法。我们提供了理论分析和数值实验来支持所提出的方法。数值结果表明,我们的方法的体面的性能。
2022-04-18 cs.NA math.NA math.ST
Information-Based Optimal Subdata Selection for Big Data Linear Regression
在许多科学分支中产生了大量的数据。由于计算的局限性,非线性统计方法不再适用于超大数据集。大数据分析的一个关键步骤是数据简化。在线性回归的背景下,现有的调查集中在基于子采样的方法。然而,这种方法不仅容易产生采样误差,而且还导致估计量的协方差阵通常由子数据大小的倒数的项从下面限定。我们提出了一种新的方法,称为基于信息的最优子数据选择(IBOSS)。与领先的现有子数据方法相比,IBOSS方法具有以下优点:(i)速度明显更快;(ii)适合分布式并行计算;(iii)即使子数据大小固定,随着完整数据大小的增加,斜率参数估计量的方差也收敛到0,即,收敛速度取决于完整的数据大小;(四)数据分析的IBOSS子数据是直截了当的,抽样分布的IBOSS估计是很容易评估。理论结果和大量的模拟表明,IBOSS的方法是优于基于子采样的方法,有时由数量级。通过对实际数据的分析,说明了新方法的优越性.
2017-10-28 stat.ME
Block bootstrap optimality for density estimation with dependent data
非参数核密度估计的抽样分布的精确逼近对于许多统计推断问题是至关重要的。由于这些估计量具有复杂的渐近分布,因此Bootstrap方法通常用于此目的。带身份证。观察,大量的文献存在关于最佳的自助方法,实现最快的可能收敛速度的抽样分布的核密度估计的自助估计。对于相关数据,这样的最优性理论是一个重要的开放问题。在弱相依假设下,我们建立了核密度估计的块自举最优性的一般理论,这些假设被许多重要的时间序列模型所满足。我们提出了一个统一的框架的理论研究的一类丰富的引导方法,其中包括作为特殊情况下的二次抽样,Kunsch的移动块引导,霍尔的下平滑(UNS)以及方法,将没有(NBC)或显式偏差校正(EBC)。此外,我们认为他们的准确性下的带宽$h$,其中包括作为一个重要的特殊情况下的MSE最优的选择,以及其他欠平滑的选择广泛的选择。根据每一个选择的$h$,我们得出最佳的调整参数和比较最佳性能的主要子类(EBC,NBC,UNS)的引导方法。
2019-09-05 math.ST stat.ME stat.TH
Optimal hybrid block bootstrap for sample quantiles under weak dependence
在弱强混合假设下,建立了样本分位数的块自助分布估计的一般最优性理论。与现有的结果相比,我们研究了不同数量的块的块引导。这对应于二次采样自举和移动块自举(MBB)之间的混合,其中块的数量介于1和样本量与分组长度的比率之间。我们的主要定理确定了块数和分组长度的最佳选择,以实现样本分位数的块自助分布估计的最佳收敛速度。作为我们分析的一部分,我们还证明了一个重要的引理,它给出了块自助分布估计的收敛速度,甚至对光滑函数模型的影响。我们提出了一个直观的程序,经验选择的最佳数量和长度的块。相关的例子说明了最佳选择块的数量的好处。
2017-10-06 math.ST stat.TH
Poisson Regression in one Covariate on Massive Data
针对海量数据下全数据分析不可行的问题,在单协变量Poisson回归模型中构建局部$ D $-最优子抽样设计,并证明其相较均匀随机和启发式设计的效率优势。
2024-03-27 math.ST stat.TH
Sequential online subsampling for thinning experimental designs
我们考虑一个设计问题,其中实验条件(设计点$X_i$)以i.i.d.序列的形式呈现。随机变量,用未知的概率测度$μ$生成,并且只能选择给定的比例$α\in(0,1)$。目标是在运行中选择好的候选$X_i$,并最大化相应信息矩阵的凹函数$Φ$。最优解对应于最优有界设计测度$ξ_α^*\leq μ/α$的构造,其困难在于$μ$是未知的,而$ξ_α^*$必须在线构造.所提出的构造依赖于在当前信息矩阵处对$Φ$的方向导数的阈值$τ$的定义,$τ$的值由该方向导数的分布的某个分位数固定。与递归分位数估计相结合,得到一种非线性双时间尺度随机逼近方法。它可以应用于很长的设计序列,因为只有当前的信息矩阵和估计的分位数需要存储。收敛到一个最优设计证明。各种说明性的例子。
2020-08-04 math.ST stat.CO stat.ME
Optimal Nonparametric Inference with Two-Scale Distributional Nearest Neighbors
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);University of Southern California(南加州大学)
加权最近邻(WNN)估计作为一种灵活且易于实现的非参数均值回归估计工具已被广泛应用。装袋技术是一种优雅的方法来形成WNN估计器,其权重自动生成到最近邻居;我们将所得估计器命名为分布最近邻居(DNN),以便于参考。然而,这种估计量缺乏分布结果,限制了它在统计推断中的应用。此外,当均值回归函数具有高阶光滑性时,DNN不能达到最佳非参数收敛速度,主要是因为偏差问题。在这项工作中,我们对DNN进行了深入的技术分析,在此基础上,我们通过线性组合两个具有不同子采样尺度的DNN估计器,提出了DNN估计器的偏倚减少方法,从而产生了新的双尺度DNN(TDNN)估计器。双尺度DNN估计器具有WNN的等价表示,其权重允许显式形式,并且一些权重为负。我们证明,由于使用负权重,双尺度DNN估计享有最佳的非参数收敛速度估计的回归函数下的四阶光滑条件。我们进一步超越估计,并建立DNN和双尺度DNN都是渐近正态的子采样尺度和样本量发散到无穷大。对于实际的实现,我们还提供了方差估计和分布估计使用刀切和自举技术的双尺度DNN。这些估计量可以用来构造有效的置信区间,用于回归函数的非参数推断。理论结果和吸引人的有限样本性能的建议的两尺度DNN方法与几个数值例子说明。
2022-07-18 cs.LG stat.ML
Statistical Inference for Scenario-Based Dynamic Optimization under Uncertainty
Sandia National Laboratories(桑迪亚国家实验室);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院)
研究不确定参数下有限时域开环动态优化问题,通过用采样参数平均值代替预期性能准则,基于稳定性估计得出统计理论,得到总体最优值置信区间,方法在补料分批案例中得以验证。
2026-09-18 math.OC math.ST stat.TH
On optimal spatial subsample size for variance estimation
我们考虑的问题,确定最佳的块(或子样本)大小的空间子采样方法观察到的规则网格上的空间过程。我们推导出的子采样方差估计,这产生一个表达式的理论上最佳的块大小的均方误差的扩展。示出的最佳块的大小取决于在一个复杂的方式上的空间采样区域的几何形状以及底层的随机场的特性。最优块大小的最终表达式利用了凸集移位中的格点计数的一些非平凡估计。最佳的块大小计算采样区域的一些常见的形状。数值研究进行比较二次抽样方法以及估计理论上最好的块大小的程序。
2005-03-29 math.ST stat.TH
Subsampling at Information Theoretically Optimal Rates
研究了频域稀疏支撑下随机信号的采样问题。香农曾考虑过一个著名的方案,即在等间隔的时间内对信号进行瞬时采样。他证明,只要采样率超过带宽(奈奎斯特速率)的两倍,信号就可以被重构。Candès,Romberg,Tao介绍了一种在随机时间获取信号瞬时样本的方案。他们证明,只要采样率超过信号的频率支持乘以对数因子,信号就可以被唯一且有效地重构。在本文中,我们考虑的信号的概率模型,和采样方案的灵感来自编码理论中的空间耦合的想法。也就是说,我们建议在随机时间采集非瞬时样本。在数学上,这是通过获取一个小的随机子集的Gabor系数。我们的经验表明,该方案实现正确的重建,只要采样率超过信号的频率支持,从而达到信息理论的限制。
2012-11-21 cs.IT math.IT math.ST
Streaming Sliced Optimal Transport
Department of Statistics(统计系);Data Sciences, University of Texas at Austin, USA(数据科学系,德克萨斯大学奥斯汀分校)
本文提出流式切片最优传输(Stream-SW)方法,通过流式估计一维Wasserstein距离来提升计算效率,适用于样本流中的切片最优传输估计,具有低内存复杂度和理论误差保证。
2026-07-23 cs.LG stat.CO stat.ME
Optimal Rates for Learning with Nyström Stochastic Gradient Methods
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学)
在非参数回归的背景下,我们提出并研究了一种随机梯度方法与Nyström子采样的组合,允许多次通过数据和小批量。所研究的算法的推广误差界。特别是,最佳的学习率得出考虑不同的可能选择的步长,小批量大小,迭代/通过的数量,和子采样水平。与经典的随机梯度法和Nyström核岭回归等算法相比,该算法在获得相同最优学习率的同时,在计算复杂度上具有优势.此外,我们的研究结果表明,使用小批量可以降低总的计算成本,同时实现相同的最佳统计结果。
2017-10-21 cs.LG math.FA math.OC
Convergence Analysis of regularised Nyström method for Functional Linear Regression
本文针对再生核 Hilbert 空间中的函数型线性回归,提出正则化结合 Nyström 子采样的方法,将复杂度降至 $O(m^2 n)$,并证明适当子采样下可达到最优收敛速率。
2024-10-25 math.ST stat.TH
Scalable Operator Learning via Nyström Approximation With Denoising Applications
Pennsylvania State University(宾夕法尼亚州立大学);Indian Institute of Technology Delhi(德里印度理工学院)
提出基于Nyström子采样的高效算子学习算法,用于向量值回归,在一般源条件下达到极小化最优收敛率,并在多种去噪任务中实现与全核方法相当的性能且大幅降低计算成本。
2026-06-26 math.ST stat.ML stat.TH
Design-unbiased statistical learning in survey sampling
Instituto Nacional de Estadística(国家统计局);University of Southampton(南安普顿大学);Statistisk sentralbyraa(中央统计局);Universitetet i Oslo(奥斯陆大学)
设计一致性模型辅助估计已成为调查抽样的标准做法。然而,到目前为止,还缺乏一个通用的理论,它允许人们将现代机器学习技术结合起来,从而产生潜在的更强大的辅助模型。我们提出了一种子采样Rao-Blackwell方法,并在线性或非线性预测模型的帮助下发展了一种用于精确设计无偏估计的统计学习理论。我们的方法利用了统计科学的经典思想以及快速发展的机器学习领域。提供丰富的辅助信息,它可以产生相当大的效率增益超过标准的线性模型辅助方法,同时确保有效的估计给定的目标人口,这是强大的对潜在的错误指定的辅助模型在个人层面。
2020-03-25 cs.LG math.ST stat.ML