Regularized Sparse Gaussian Processes
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程是一种灵活的贝叶斯非参数建模方法，已被广泛应用，但带来了计算上的挑战。为了解决精确推理方法的缩放性差的问题，基于稀疏高斯过程（SGP）的近似方法是有吸引力的。SGP面临的一个问题，特别是在潜变量模型中，是诱导输入的学习效率低下，这导致模型预测效果不佳。我们提出了一种正则化方法，通过平衡数据的重建性能和模型本身的近似性能。这种正则化提高了推理和预测性能。我们将这种正则化方法扩展到具有SGPs的潜变量模型中，并表明对这些模型执行变分推断（VI）相当于对相关经验贝叶斯模型执行VI。
2021-05-31 cs.LG stat.ML
Balancing Complexity and Informativeness in LLM-Based Clustering: Finding the Goldilocks Zone
本文利用大语言模型生成聚类名称，通过语义密度、信息论和聚类准确率量化信息量与可解释性的权衡，发现16-22个聚类是兼顾区分度与可解释性的最优区间。
2025-04-06 cs.AI cs.CL math.ST
Statistical Convergence of the EM Algorithm on Gaussian Mixture Models
研究了期望最大化（EM）算法在具有任意数量混合分量和混合权重的高斯混合模型上的收敛性。我们表明，只要组件的手段是分开的至少$Ω(\sqrt{\min\{M,d\}})$，其中$M$是组件的数量和$d$的尺寸，EM算法局部收敛到全局最优值的对数似然。此外，我们证明了收敛速度是线性的，并表征了全局最优值的吸引区域的大小。
2018-10-09 math.ST stat.TH
Statistical Guarantees for Estimating the Centers of a Two-component Gaussian Mixture by EM
最近，开发了一种分析期望最大化算法统计准确性的通用方法，并将其应用于一些简单的潜变量模型[Balakrishnan等人，2016]。在该方法中，有效初始化的吸引域需要是围绕真理的球。利用Stein引理，我们将这些结果推广到估计$d$维中两组分高斯混合物中心的情形。特别是，我们显着扩大盆地的吸引力是一个半空间和一个球周围的原点的交叉点。如果信号噪声比至少是$ \sqrt{d\log d} $的常数倍，我们表明，随机初始化策略是可行的。
2016-08-07 stat.ML
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）
对于学习任务，高斯过程（GP）感兴趣的是学习输入和输出之间的统计关系，因为它不仅提供预测均值，而且还提供相关的变异性。然而，普通GP很难学习具有以下性质的复杂分布，例如，由于高斯边缘和立方复杂性，来自海量数据的异方差噪声、多模态和非平稳性。为此，本文研究了新的可扩展GP范式，包括非平稳异方差GP，GP和潜在GP的混合物，引入额外的潜在变量来调制输出或输入，以学习更丰富的，非高斯统计表示。我们进一步采取不同的变分推断策略，以达到分析或更严格的证据下限（ELBO）的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络（NN）的各种任务的同行验证了这些可扩展的调制GP的优越性，特别是可扩展的潜在GP，学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Bayesian estimation of optical constants using mixtures of Gaussian process experts
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；LUT University（拉彭兰塔-拉赫蒂理工大学）
本文提出利用高斯过程专家混合建模吸收光谱测量，通过灵活的统计模型实现插值与外推，并结合Kramers-Kronig关系估计复折射率。同时统计建模锚点以考虑测量误差，自动选择外推测量点。
2026-03-27 physics.data-an stat.AP
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Time-Varying Gaussian Process Bandits with Unknown Prior
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对时变贝叶斯优化中函数先验未知、现有平稳问题优化方案无法适用的问题，提出PE-GP-UCB算法，推导了遗憾界，实验证明其效果优于多种现有方法。
2025-02-22 cs.LG stat.ML
Balancing Statistical and Computational Precision: A General Theory and Applications to Sparse Regression
现代技术正在产生越来越多的数据。利用这些数据需要既有统计上的合理性又有计算效率的方法。通常，统计和计算方面被分开处理。在本文中，我们提出了一种方法来纠缠这两个方面的背景下，正则化估计。将我们的方法应用于稀疏和组稀疏回归，我们表明它可以在统计和计算上改进标准管道。
2022-09-14 stat.CO stat.ME stat.ML
Statistical thinking in simulation design: a continuing conversation on the balancing intercept problem
本文基于平衡截距问题的讨论，阐明模拟设计中统计概念与方法的联系，修订闭式方程，强调统计思维在计算科学中的重要性。
2023-06-20 stat.CO stat.OT
Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems
在贝叶斯框架下，研究了在有噪声的间接观测下，估计无穷维未知量的概率分布的统计逆问题。在实践中，人们通常只考虑有限维的未知数，并在数值上研究它们的概率。由于许多未知数是函数值的，所以当对未知数的有限维近似进行细化时，了解估计的概率是否收敛是有意义的。在这项工作中，广义贝叶斯公式是一个强有力的工具，在收敛性的研究。借助于广义贝叶斯公式，将后验分布的收敛问题归结为未知量的有限维（或任何其他）近似的收敛问题。该方法允许多种先验分布，而限制主要针对噪声模型和直接理论。讨论了后验分布的三种收敛模式：弱收敛、集态收敛和变分收敛。研究了条件均值估计的收敛性。提供了几个适用的无限维非高斯噪声模型的例子，包括某些非高斯措施的Cameron-Martin公式的推广。研究了贝叶斯统计反问题的适定性。
2011-12-05 math.ST stat.TH
Statistical guarantees for Bayesian uncertainty quantification in non-linear inverse problems with Gaussian process priors
研究了一类非线性逆回归模型的贝叶斯推断和不确定性量化问题。分析条件上的回归模型$\{\mathscr G(θ): θ\in Θ\}$和高斯过程先验$θ$提供这样的半参数有效的推理是可能的一个大类的线性泛函的$θ$。证明了一般半参数Bernstein-von Mises定理，证明了（非高斯）后验分布可用以后验均值为中心的高斯测度近似.因此，基于后验的可信集是有效的，从频率论的角度来看是最优的。该理论的两个应用程序与偏微分方程中出现的非线性层析成像问题：一个椭圆形的反问题的薛定谔方程，和反演的非阿贝尔X射线变换。新的分析技术表明，相关的Fisher信息算子在合适的函数空间之间是可逆的
2021-04-14 math.AP math.ST stat.TH
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces
Imperial College London（帝国理工学院）
使用高斯过程的贝叶斯学习提供了一个基础框架，用于以平衡已知与通过收集数据可以学习到的内容的方式做出决策。在这篇论文中，我们开发的技术，扩大高斯过程的适用性。这是通过两种方式完成的。首先，我们开发了高斯过程的路径条件技术，它允许一个表示后随机函数作为前随机函数加上一个相关的更新项。我们引入了一个广泛的有效的近似建立从这个角度来看，它可以被随机抽样一次提前，并在任意位置进行评估，没有任何后续的随机性。这一关键属性提高了效率，并使在决策设置中部署高斯过程模型变得更简单。其次，我们发展了一系列非欧空间上的高斯过程模型，包括黎曼流形和图。我们推导出黎曼流形和图上标量值高斯过程的协方差核的完全构造性表达式。基于这些思想，我们描述了一个形式主义定义向量值高斯过程的黎曼流形。引入的技术允许使用标准计算方法训练所有这些模型。总的来说，这些贡献使高斯过程更容易使用，并允许它们以有效和有原则的方式在更广泛的领域中使用。反过来，这使得有可能将高斯过程应用于新的决策设置。
2022-04-28 cs.LG stat.ML
Single Gaussian Process Method for Arbitrary Tokamak Regimes with a Statistical Analysis
高斯过程回归（GPR）是一种基于输入数据推断轮廓的贝叶斯方法。该技术在融合领域越来越受欢迎，因为它比传统的拟合技术具有许多优点，包括内在的不确定性量化和对过拟合的鲁棒性。这项工作研究了使用一种新的方法，变点法，用于处理不同的托卡马克制度中发现的不同长度的尺度。使用的学生的t-分布的贝叶斯似然概率也进行了研究，并显示出在提供良好的拟合与许多离群值的配置文件是有利的。为了比较不同的方法，使用从分析概况生成的合成数据来创建数据库，从而能够对哪种方法表现最好进行定量统计比较。使用一个完整的贝叶斯方法与变点法，Matérn内核的先验概率，学生的t-分布的可能性，给出了最好的结果。
2022-02-23 physics.plasm-ph stat.ME
Optimally balancing exploration and exploitation to automate multi-fidelity statistical estimation
University of Michigan（密歇根大学）；Sandia National Laboratories（桑迪亚国家实验室）；University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
本文提出了一种自适应算法，通过平衡Oracle统计估计与多保真度估计器构建，优化多保真度统计估计的计算效率与准确性。
2026-03-10 stat.CO
Principal component analysis balancing prediction and approximation accuracy for spatial data
针对多元空间数据降维忽略空间相关性和下游任务的问题，提出一种权衡逼近精度与预测效用的灵活降维算法，并推导出计算简单形式，在模拟及空气污染和空间转录组学应用中验证了性能。
2025-05-26 stat.CO stat.ME stat.ML
Fast Rerandomization for Balancing Covariates in Randomized Experiments: A Metropolis-Hastings Framework
University of Pennsylvania（宾夕法尼亚大学）；Harvard Business School（哈佛商学院）；North Carolina State University（北卡罗来纳州立大学）；Duke University（杜克大学）
本文提出PSRSRR算法，基于Metropolis-Hastings框架，通过引入采样-重要性重采样步骤，实现快速且有效的协变量平衡，提升随机实验的效率和准确性。
2026-02-07 stat.CO stat.ME stat.ML
Gaussian kernel smoothing
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
图像采集和分割很可能会引入噪声。进一步的图像处理，如图像配准和参数化，可以引入额外的噪声。因此，必须减少噪声测量并提升信号。为了增加信噪比（SNR）和随后的基于随机场理论的统计推断所需的数据的平滑度，某种类型的平滑是必要的。在众多的图像平滑方法中，高斯核平滑由于其数值实现简单，已经成为脑成像研究者的一种事实上的平滑技术。高斯核平滑还增加了统计灵敏度和统计功效以及高斯性。高斯核平滑可以被视为体素值的加权平均。那么从中心极限定理看，加权平均值应该更高斯。
2021-11-29 cs.CV stat.CO stat.ME
A Critical Review of Monte Carlo Algorithms Balancing Performance and Probabilistic Accuracy with AI Augmented Framework
Department of Computer Science \& Engineering Mississippi State University Mississippi State, MS 39762
本文批判性回顾了蒙特卡洛算法的发展，探讨了性能与概率准确性之间的平衡，并分析了AI增强框架在算法选择和优化中的作用。
2025-12-19 cs.AI cs.CL stat.CO
