Machine learning-based system reliability analysis with Gaussian Process Regression
Bazaarvoice Inc.（Bazaarvoice 公司）；Oracle（甲骨文公司）
本文提出多个定理探索基于Gaussian Process Regression的系统可靠性分析的理论最优学习策略，证明考虑Kriging相关性的策略优于忽略该相关性及其他先进方法，但计算资源消耗较大。
2024-04-20 cs.LG math.PR stat.ML
An adaptive kriging method for solving nonlinear inverse statistical problems
在各种工业环境中，需要从一些有噪声的间接观测值H（Xi）+ Ui估计未观测到的随机向量Xi的分布。如果Xi和用误差Ui测量的量H（Xi）之间的关系由消耗CPU的计算机模型H实现，则主要的实际困难是用相对较少的H运行次数来执行统计推断。继Fu等人（2014年）之后，人们考虑了贝叶斯统计框架，以利用有关Xi分布参数的可能先验知识，假设xi为高斯分布。此外，一个马尔可夫链蒙特卡罗（MCMC）算法进行估计其后验分布通过替代H的克里金元模型建立从有限数量的模拟实验。提出了两种算法，涉及两个不同的标准进行优化，顺序设计这些计算机实验在给定的计算预算的限制。第一个标准是加权积分均方误差（WIMSE）。第二个，称为预期条件发散（ECD），在逐步减少不确定性（SUR）标准的精神，是基于目标后验分布的两个连续近似之间的差异。一个玩具的例子，然后一个激励的真实案例研究进行了几个数值比较表明，这种自适应设计可以显着优于经典的选择最大拉丁超立方体设计（LHD）的实验。在水利工程处理的一个主要问题，特别强调的是放在前面的启发的案例研究，突出的整体可行性的方法。更快的收敛速度和可扩展性的考虑导致在实际应用中推荐使用ECD准则。
2015-08-23 stat.ME
Recursive Nearest Neighbor Co-Kriging Models for Big Multiple Fidelity Spatial Data Sets
针对大规模多保真度空间数据，提出递归最近邻协同克里金模型，并开发折叠与共轭两种高效推断方法，显著降低计算时间并保持预测精度。
2023-11-14 stat.CO
A Divide-and-Conquer Bayesian Approach to Large-Scale Kriging
我们提出了一个三步分而治之的战略贝叶斯范式，提供了巨大的可扩展性，任何空间过程模型。我们将数据划分为大量的子集，应用一个现成的贝叶斯空间过程模型的每个子集，在并行，并优化组合的后验分布估计在所有的子集到一个伪后验分布的条件下，对整个数据。组合的伪后验分布代替全数据后验分布，用于预测任意位置处的响应以及用于对模型参数和空间表面的推断。基于分布式贝叶斯推断，我们的方法被称为“分布式克里格法”（DISK），并提供了巨大的优势，在海量数据的应用程序中，完整的数据存储在多台机器上。我们从理论上证明了贝叶斯$L_2$ -风险的DISK后验分布实现了接近最优的收敛速度，估计真实的空间表面与各种类型的协方差函数，并提供上限的子集的数量作为一个完整的样本量的函数。DISK的无模型特性通过在具有平稳满秩和非平稳低秩高斯过程（GP）先验的空间过程模型中的尺度后验计算来证明。各种模拟和太平洋海表温度数据的地质统计学分析验证了我们的理论结果。
2019-06-12 stat.ME
Sequential convergence of AdaGrad algorithm for smooth convex optimization
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；University of Genova（热那亚大学）；Université Toulouse 3 Paul Sabatier（图卢兹第三大学）
我们证明了，无论是标量步长变量，或AdaGrad算法的coordinatewise变体，迭代产生的收敛序列时，适用于凸目标函数与Lipschitz梯度。关键的见解是注意到这样的AdaGrad序列满足可变度量的拟Fejér单调性，这允许证明收敛性。
2021-04-13 cs.LG math.OC
Weak convergence of the sequential empirical copula processes under long-range dependence
我们考虑高斯从属下的多元基于Copula的平稳时间序列。观测到的时间序列服从长程相关的高斯过程，其特征在于任意的边际copula分布。首先，我们建立了多元平稳长程相依序列在高斯从属下的边际和分位数边际经验过程的极限定理。在非限制性光滑性假设下，建立了序列经验copula过程的渐近性态。在长记忆序列的情况下，极限过程与i.i.d.的情况完全不同。弱相关的观测
2018-03-15 math.ST stat.TH
Convergence Analysis of Sequential Federated Learning on Heterogeneous Data
National Engineering Research Center for Mobile Network Technologies（国家移动网络技术工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文为顺序联邦学习在异构数据上建立收敛性保证，证明其优于并行联邦学习，并通过实验验证了SFL在极度异构数据上的优势。
2026-09-15 cs.LG
Convergence Analysis of Sequential Split Learning on Heterogeneous Data
Beijing University of Posts and Telecommunications（北京邮电大学）
本文推导了顺序分割学习在异构数据上针对强凸、一般凸和非凸目标的收敛性保证，并证明其优于联邦平均，在极端异构数据上得到实证验证。
2023-12-23 cs.LG
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式，在此形式下，精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用，我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题，制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
On Asymptotic Optimality in Sequential Changepoint Detection: Non-iid Case
考虑一般随机模型的序贯贝叶斯变点检测问题，假设观测数据可能是相依和非同分布的，且变点的先验分布是任意的，不一定是几何分布. Tartakovsky和Veeravalli（2004）在非iid情况和离散时间中发展了变点检测的一般渐近理论，Baron和Tartakovsky（2006）在连续时间中假设对数似然比过程具有一定的稳定性。这种稳定性是用归一化对数似然比过程快速收敛到一个正的有限数来表示的，它可以解释为“变化”和“无变化”假设之间的有限Kullback-Leibler信息。在这些论文中，证明了在r-全收敛中可以放松r-快速收敛，这在特定的例子中通常更容易验证。在本文中，我们证明这一猜想表明，Shiryaev变化检测过程是接近最佳的，渐近最小化（作为虚警的概率消失）的时刻的延迟检测到r只要r-全收敛举行。我们还研究了贝叶斯背景下的Shiryaev-Roberts检测过程的渐近性质。
2016-01-13 math.ST stat.TH
Physics-Informed CoKriging: A Gaussian-Process-Regression-Based Multifidelity Method for Data-Model Convergence
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在这项工作中，我们提出了一个新的高斯过程回归（GPR）为基础的多保真度方法：物理通知协同克里格（CoPhIK）。在基于CoKriging的多保真度方法中，感兴趣的量被建模为多个参数化平稳高斯过程（GP）的线性组合，并且这些GP的超参数通过优化从数据中估计。在CoPhIK中，我们使用物理信息克里金法（PhIK）构建了一个代表低保真度数据的GP，并使用参数化GP与通过优化确定的超参数对低保真度和高保真度数据之间的差异进行建模。我们的方法通过结合部分物理知识来降低推断超参数的优化成本。我们证明了确定性线性算子形式的物理约束满足误差界。此外，我们将CoPhIK与贪婪主动学习算法相结合，用于指导选择额外的观察位置。证明了CoPhIK的效率和准确性重建的部分观察到的修改后的Branin函数，重建稀疏观测状态的稳态热传输问题，并学习一个保守的示踪剂分布稀疏示踪剂浓度测量。
2018-11-24 cs.LG stat.ML
Kriging prediction with isotropic Matérn correlations: Robustness and experimental design
这项工作研究了克里金预测器的预测性能。当真实相关函数和强加的相关函数的谱密度都以代数方式衰减时，我们在统一度量和$L_p$度量下推导出预测误差的非渐进概率的误差界。Matérn族是这类相关函数的一个突出的类别。我们的分析表明，当施加的相关函数的光滑度超过真正的相关函数，预测误差变得更加敏感的空间填充属性的设计点。特别地，如果试验设计方案是准均匀的，克里金预测器仍然可以达到最优收敛速率。在统一度量和$L_p$度量下，给出了克立格法预测误差的下界.当使用过平滑相关函数和空间填充设计时，获得了该误差的准确表征。
2020-09-08 math.ST stat.TH
Characterizing & Finding Good Data Orderings for Fast Convergence of Sequential Gradient Methods
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全研究中心）
虽然SGD从具有替换的数据中采样在理论上被广泛研究，但一种称为随机重排（RR）的变体在实践中更常见。RR通过数据集的随机排列进行迭代，并且已被证明比SGD收敛得更快。当确定性地选择阶数时，称为增量梯度下降（IG）的变体，现有的收敛界显示出比SGD的改进，但比RR差。然而，这些界限并不区分好的和坏的排序，并且适用于最差的排序选择。同时，在某些情况下，使用IG时选择正确的顺序可以导致比RR更快的收敛。在这项工作中，我们量化了顺序对收敛速度的影响，根据所选择的排列序列获得收敛范围，同时也恢复了以前的RR结果。此外，我们展示了使用结构化洗牌的好处时，各种层次的抽象（例如，任务，类，增强等）。在理论上和实践中都存在于数据集中。最后，依靠我们的测量，我们开发了一个贪心算法，用于在训练过程中选择好的订单，实现了优于RR的性能（准确率超过14%）。
2022-02-03 cs.LG
Sequential adaptive design for emulating costly computer codes
本文提出自适应采样准则 VIGF 及其批量和多保真度扩展，通过分层克里金法以最少评估次数提升高斯过程仿真精度，实验表明其在多数基准函数上优于现有序贯采样策略。
2024-11-25 stat.ME
Sequential construction and dimension reduction of Gaussian processes under constraints
考虑不等式约束，如有界性，单调性或凸性，是具有挑战性的建模成本评估黑箱函数。在这方面，有限维高斯过程（GP）回归模型带来了有价值的解决方案，因为它们保证不等式约束在任何地方都得到满足。然而，这些模型目前仅限于小尺寸的情况下（高达5维）。为了解决这个问题，我们引入了MaxMod算法，该算法顺序地插入一维节点或添加活动变量，从而同时进行降维和有效的节点分配。我们证明了该算法的收敛性。在证明的中间步骤中，我们提出了多重仿射扩张的概念，并研究了它的性质。我们还证明了有限维GP的收敛性，当节点在输入空间中不稠密时，扩展了最近的文献。通过模拟和真实数据，我们证明了MaxMod算法在高维（至少在20维）中仍然是有效的，并且需要比其他约束GP模型更少的结，以达到给定的近似误差。
2022-03-10 math.ST stat.TH
Sinkhorn Algorithm for Sequentially Composed Optimal Transports
National Institute of Informatics（信息学研究所）；The University of Tokyo（东京大学）
针对序列组合最优传输的熵正则化问题，提出高效的Sinkhorn近似算法，并证明其在希尔伯特伪度量下的指数收敛性及单序列组合场景的最坏情况复杂度。
2025-01-12 cs.DS cs.LG cs.NA
Constrained Optimization Involving Nonconvex $\ell_p$ Norms: Optimality Conditions, Algorithm and Convergence
ShanghaiTech University（上海科技大学）；University of Washington（华盛顿大学）；Beihang University（北京航空航天大学）
本文研究了含有变量的$0<p<1$范数（$\ell_p$ norm）的约束最优化问题的局部极小值的最优性条件，该范数既可以出现在目标中，也可以出现在约束中.由于$\ell_p$范数通常能促进稀疏解的产生，这类问题具有很强的适用性。然而，$\ell_p$范数的非光滑性和非Lipschtiz性往往导致这些问题难以分析和解决。我们提供了计算的次梯度的$\ell_p$规范和正规锥的$\ell_p$球。对于这两个问题，在各种约束规格下，我们导出了一阶必要条件。我们还推导了这两个问题的序列最优性条件，并研究了这些条件隐含的一阶必要条件的条件。我们指出，序列最优性条件可以很容易地满足迭代重加权算法，并表明，整体收敛可以很容易地推导出使用序列最优性条件。
2022-02-15 cs.IT cs.LG math.IT
Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions
Technion—Israel Institute of Technology（以色列理工学院）
本文综述了顺序子空间优化框架在大规模无约束优化中的应用，探讨了其与并行坐标下降法的结合，以及如何通过改进方法提升求解效率。
2013-12-31 cs.LG cs.NA math.NA
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
University of Washington（华盛顿大学）；Imperial College（帝国理工学院）
本文理论分析基于bootstrap的序贯阈值最小二乘集成稀疏模型发现，证明其变量选择错误率指数收敛，并能高效实现趋近真实值的不确定性量化。
2023-04-26 cs.LG math.DS stat.ME
Sequential Neural Likelihood: Fast Likelihood-free Inference with Autoregressive Flows
University of Edinburgh（爱丁堡大学）
我们提出了序列神经似然（SNL），一种新的方法，贝叶斯推断在模拟器模型，其中的可能性是棘手的，但模拟数据的模型是可能的。SNL在模拟数据上训练自回归流，以学习高后验密度区域中的似然模型。一个连续的训练过程指导模拟，并减少模拟成本的数量级。我们表明，SNL是更强大的，更准确的，需要更少的调整比相关的基于神经的方法，我们讨论了诊断评估校准，收敛和拟合优度。
2019-01-21 cs.LG stat.ML
Adaptive Rate of Convergence of Thompson Sampling for Gaussian Process Optimization
本文研究连续区域上函数的全局优化问题。在我们的设置中，我们可以在我们选择的点上顺序地评估函数，并且评估是嘈杂的。我们把它看作是一个连续的武装土匪问题，函数上有一个高斯过程先验。在这种情况下，大多数算法都是为了尽量减少某种形式的遗憾而开发的。在本文中，我们研究了序列点$x^t$收敛到全局优化器$x^*$的汤普森采样方法。在一定的假设和正则条件下，证明了$x^t$的浓度界，其中$x^t$与$x^*$有界的概率在$t$中以指数形式快速衰减.此外，结果允许我们根据函数结构推导自适应收敛速率。
2020-07-18 stat.ME stat.ML
Particle learning of Gaussian process models for sequential design and optimization
提出了一种基于仿真的高斯过程回归和分类模型在线更新方法。我们的方法利用序贯蒙特卡罗产生一个快速的顺序设计算法，这些模型相对于建立MCMC替代。后者是不太理想的顺序设计，因为它必须重新启动和迭代收敛，包括每个新的设计点。我们说明了我们的SMC方法的一些有吸引力的集成方面，并显示如何通过粒子来实现主动学习算法，以优化噪声函数或在线探索分类边界。
2010-07-06 stat.CO stat.ME
Sequential design for surrogate modeling in Bayesian inverse problems
本文针对贝叶斯反问题中的代理建模提出CSQ和IP-SUR两种序贯设计策略，利用SUR框架实现不确定性逐步减少，并通过多个测试案例验证其有效性。
2025-01-02 stat.ME
A note on weak convergence of the sequential multivariate empirical process under strong mixing
研究了强混合下序列$d$ -维经验过程的弱收敛性.弱收敛建立的混合率$α_n = O(n^{-a})$，其中$a>1$，这稍微改善了现有的结果在文献中，是基于混合率取决于尺寸$d$。
2013-04-18 math.PR math.ST stat.TH
On the Weak Convergence of the Function-Indexed Sequential Empirical Process and its Smoothed Analogue under Nonstationarity
本文研究了非平稳时间序列下函数索引序列经验过程及其平滑类似物的弱收敛性，通过新型极大不等式和一致链式论证，在温和假设下建立了渐近等连续性条件，并详细应用于非平稳α-混合序列。
2025-08-16 math.PR math.ST stat.TH
Convergence of Discrete MDL for Sequential Prediction
我们研究了序列预测的最小描述长度原则的性质，考虑从可数模型类中选择的两部分MDL估计。这特别适用于通用序列预测的重要情况，其中模型类对应于某个固定通用图灵机的所有算法（这种对应是通过可重复的半度量，因此所得模型是随机的）。我们证明收敛定理类似Solomonoff定理的普遍归纳法，这也适用于一般贝叶斯混合。与贝叶斯混合物相比，MDL预测的收敛速度特征的界限呈指数级增大。我们观察到，至少有三种不同的方式使用MDL进行预测。其中一个具有更差的预测特性，只有当MDL估计器稳定时，预测才会收敛。我们为这种情况的发生建立了充分的条件。最后，一些直接后果的复杂性关系和随机性标准的证明。
2004-04-28 cs.AI cs.LG math.ST
Weak Convergence of the Sequential Empirical Process of some Long-Range Dependent Sequences with Respect to a Weighted Norm
设$(X_k)_{k\geq1}$是一个具有$EX_1=0$、$EX_1^2=1$和协方差函数$r(k)=k^{-D}L(k)$的高斯长程相依过程。对于任何可测量函数$G$，令$(Y_k)_{k\geq1}=(G(X_k))_{k\geq1}$。我们研究了相关的序列经验过程$\left(R_N(x,t)\right)$关于加权范数$\|\cdot\|_w$的渐近行为。证明了在适当的正规化后，$\left(R_N(x,t)\right)$在有限权范数的càdlàg函数空间中弱收敛到Hermite过程.
2014-10-21 math.PR math.ST stat.TH
Conditional quantile sequential estimation for stochastic codes
我们提出并分析了一个算法的序贯估计的条件分位数的背景下，实随机码与向量值的输入。我们的算法是基于k-最近邻平滑内的Robbins-Monro估计。在一定条件下讨论了随机码的算法的收敛性。我们提供了非渐近的均方误差的收敛速度，我们讨论了算法的参数调整。
2019-08-05 math.ST stat.TH
Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition
Department of Applied Mathematics \& Statistics, Johns Hopkins University e1,e2
本文研究了序贯蒙特卡洛算法在多模分布上的收敛性界，通过软分解方法，利用局部马尔可夫链混合动态而非全局混合动态，提出新的收敛性界分析方法。
2026-03-17 cs.LG math.PR math.ST
Sequential adaptive estimators in nonparametric autoregressive models
本文构造了一种序贯自适应方法，用于估计带高斯噪声的非参数自回归模型在给定点处的自回归函数。我们利用序贯核估计。给出了最优自适应收敛速度和极小极大风险的上界。
2010-11-10 math.ST stat.TH
Assessing the Distribution Consistency of Sequential Data
给定n个观测值，我们研究了一批k个新观测值根据它们的分布函数的相合性。我们提出了一个非参数，非似然检验的基础上的分布函数的Edgeworth展开。关键是用n个观测值中n-k的分布来逼近n+k个观测值的分布。Edgeworth展开给出了校正项和收敛速率。我们还研究了离散分布的情况下，Cramèr的光滑条件不满足。比较了各种情况下的收敛速率。
2009-06-04 math.ST stat.TH
Convergence of a Sequential Monte Carlo algorithm towards multimodal distributions on Rd
本文提出了一种序列蒙特卡洛算法，用于在R^d上从多模分布中高效采样，并证明了其时间复杂度与逆温度的七次方及误差平方成正比。
2025-12-05 cs.NA math.NA math.PR
On adaptive resampling strategies for sequential Monte Carlo methods
序贯蒙特卡罗（SMC）方法是一类结合重要性抽样和恢复步骤从任意概率分布序列中近似抽样的技术。本文研究一类SMC方法的收敛性分析，其中，利用有效样本量等准则在线计算响应发生的时间。这是一个流行的做法，从业者之间，但有很少的收敛结果，这些方法。通过结合半群技巧和一个原始的耦合变元，我们得到了这些算法的泛函中心极限定理和一致指数浓度估计。
2012-03-02 math.ST stat.TH
Stability of Sequential and Parallel Coordinate Ascent Variational Inference
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系）
研究比较了序列与并行坐标上升变分推断在高维线性回归中的收敛性差异，揭示序列算法在更宽松条件下具有收敛保证。
2026-03-21 cs.LG math.ST stat.CO
