Certified dimension reduction in nonlinear Bayesian inverse problems
我们提出了一种降维技术的贝叶斯逆问题的非线性前向算子，非高斯先验，和非高斯观测噪声。似然函数由脊函数来近似，即，一种仅非平凡地依赖于参数的几个线性组合的映射。我们通过最小化后验分布与其近似值之间的Kullback-Leibler分歧的上界来建立这种脊近似。这个界限，通过对数Sobolev不等式获得，允许一个验证后验近似的错误。计算界需要计算对数似然函数的梯度的二阶矩矩阵。在实践中，需要对上界进行基于样本的近似。我们提供了一个分析，使控制后验近似误差，由于这种采样。与现有方法的数值和理论比较说明了所提出的方法的好处。
2022-01-28 cs.NA math.NA math.PR
Precision Measurements of the Cluster Red Sequence using an Error Corrected Gaussian Mixture Model
红色序列是星系团的一个重要特征，在星系团的光学探测中起着至关重要的作用。红序星系的斜率和散射的测量受红序星系选择和测量误差的影响。本文提出了一种新的用于红序列星系识别的误差校正高斯混合模型。使用这种技术，我们可以消除测量误差的影响，并提取无偏的信息的内在属性的红色序列。我们使用这种方法来选择在maxBCG目录中的13，823个星系团中的每个红序星系，并测量每个红序星系的脊线位置和散射。这些测量提供了精确的约束的平均红星系人口的变化，在所观察到的框架与红移。我们发现，红序列脊线的散射随着红移而轻度增加，斜率随着红移而减小。我们还观察到，斜率并不强烈依赖于集群丰富度。使用类似的方法，我们表明，这种行为反映在场星系的光谱样本，进一步强调，脊线属性是独立的环境。
2010-10-28 astro-ph.CO astro-ph.GA stat.CO
Confidence Regions for Filamentary Structures
本文针对点云数据中的纤维状结构（脊），提出基于核型插件估计量与两种自助法的渐近置信区域构造方法，并在允许脊存在交叉的统一理论框架下证明了其渐近有效性。
2024-05-01 math.ST stat.TH
Variational Gaussian Processes: A Functional Analysis View
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
变分高斯过程（GP）近似已经成为快速GP推断的标准工具。这种技术要求用户选择变分特征以提高效率。到目前为止，文献中的共同选择是不同的，缺乏普遍性。我们建议将GP看作是位于Banach空间中，从而便于统一的视角。这用于理解现有特征之间的关系，并在核岭回归和变分GP近似之间建立联系。
2021-10-25 cs.LG math.ST stat.ML
Scalable piecewise smoothing with BART
针对BART只能输出不连续结果且现有扩展难以扩展的问题，提出ridgeBART，利用输出岭函数线性组合的树构建贝叶斯集成，并开发线性时间MCMC采样器，实现分段平滑回归，在合成数据和篮球投篮概率估计中验证有效性。
2025-08-07 stat.ME
Gradient Boosting Performs Gaussian Process Inference
ShareChat；Yandex Research（Yandex研究院）；HSE University（高等经济大学）
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此，我们获得了高斯过程的后验均值的收敛，这反过来又使我们能够轻松地将梯度提升从后验转换为采样器，以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明，建议的采样器允许更好的知识不确定性估计，从而改善域外检测。
2023-03-13 cs.LG stat.ML
Multiobjective optimization using Gaussian process emulators via stepwise uncertainty reduction
在高斯过程仿真器的帮助下优化昂贵的计算机模型现在很常见。然而，当考虑几个（竞争）目标时，选择适当的抽样策略仍然是一个悬而未决的问题。我们在这里提出了一个新的算法的基础上逐步减少不确定性的原则来解决这个问题。优化被看作是一个连续的减少量的偏移集低于当前的最佳解决方案，我们的采样策略选择的点，给出最高的预期减少。提供了封闭形式的公式来计算采样标准，避免使用繁琐的模拟。我们测试我们的方法的数值例子，表明它提供了一个有效的权衡探索和集约化。
2013-10-02 math.OC stat.ME
Canonical Regularisation of Wide Feature-Learning Neural Networks
Department of Engineering Science University of Oxford（工程科学系牛津大学）
本文研究了宽特征学习神经网络中梯度流训练所隐含的正则化性质，揭示了在核域中广泛研究的范数正则化在特征学习域中会导致诱导偏差扭曲，并提出了弧范数作为可扩展的替代方案，扩展了范数正则化到特征学习域。
2026-05-18 cs.LG stat.ML
Multivariate Gaussian Process Regression for Multiscale Data Assimilation and Uncertainty Reduction
我们提出了一个多元高斯过程回归方法参数场重建的基础上，现场的测量收集在两个不同的尺度，粗和细尺度。所提出的方法将定义在细尺度和粗尺度上的参数场视为具有参数化多尺度协方差模型的双变量高斯过程。我们采用一个完整的双变量Matérn内核作为多尺度协方差模型，形状和光滑度超参数，占精细和粗糙字段之间的粗化关系。与假设尺度之间存在已知粗化关系的类似多尺度克里金方法相比，多尺度协方差模型的超参数通过伪似然最大化直接从数据中估计。我们说明了所提出的方法与预测模拟应用饱和多孔介质中的流动。多尺度高斯过程回归被用来估计二维对数饱和导水率分布。粗饱和电导率的随机模型，量化和减少压力预测的不确定性。
2018-04-17 stat.ME
Have ASkotch: A Neat Solution for Large-scale Kernel Ridge Regression
Stanford University（斯坦福大学）；Granica；University of Michigan, Ann Arbor（密歇根大学安阿伯分校）
ASkotch是一种高效的完整核岭回归求解器，通过线性收敛性提升大规模KRR的求解效率，优于现有方法。
2026-01-27 cs.LG math.OC stat.ML
A Bayesian Framework for Built-in Input Dimension Reduction for Gaussian Process Modeling
Division of Statistics and Data Science, Department of Mathematical Sciences, University of Cincinnati（统计与数据科学系，数学科学系，辛辛那提大学）；Department of Mathematics, Purdue University（数学系，普渡大学）
针对高斯过程建模中高维输入难题，本文引入基于分层贝叶斯模型的框架，集成降维与建模推理，通过哈密顿蒙特卡洛实现后验推理，并结合深度高斯过程扩展框架，提升了预测性能与不确定性量化。
2026-07-23 cs.LG math.PR stat.AP
Upper Confidence Bounds for the Prediction Error of Kernel Ridge Regression via Gaussian Refitting
Georgia Institute of Technology（佐治亚理工学院）
该研究针对核岭回归预测误差，提出高斯重拟合方法得到上置信界，其收缩速率符合极小极大理论，实证覆盖性优于交叉验证，还可扩展到非线性约束估计器与空间数据。
2026-08-03 stat.ME
RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction for High-dimensional Uncertainty Quantification
Purdue University（普渡大学）
在计算科学和工程领域中，多保真度建模出现在许多场合。即使只有一小部分准确数据可用，它也可以实现准确的推断。这些数据通常来自高保真模型，这在计算上是昂贵的。通过将高保真度模型的实现与一个或多个低保真度模型相结合，多保真度方法可以对感兴趣的量进行准确的预测。本文提出了一种新的基于旋转多保真度高斯过程回归的降维框架和一种贝叶斯主动学习方案。通过从训练好的旋转多保真度模型中抽取样本，可以按照切片平均方差估计（SAVE）方法结合高斯过程回归降维技术的思想解决所谓的监督降维问题。这个通用的框架，我们开发可以有效地解决高维问题，而数据不足，适用于传统的降维方法。此外，基于我们的训练模型，可以得到一个更准确的代理高斯过程模型的原始问题。四个数值算例证明了所提出的旋转多保真度高斯过程（RMFGP）模型的有效性。结果表明，我们的方法具有更好的性能在所有情况下，最后两个案例涉及随机偏微分方程的不确定性传播分析。
2022-04-11 cs.LG stat.ML
Consistency issues in Gaussian Mixture Models reduction algorithms
在许多情况下，高斯混合（GM）被用来近似概率分布，可能随时间变化。在某些应用中，GM组件的数量随着时间的推移呈指数级增长，需要简化程序来保持它们的合理限制。GM归约（GMR）问题可以通过选择归约前后GM的不同度量来表示，如库尔贝克-莱布勒散度（KLD）和积分平方误差（ISE）。由于在任何情况下的解决方案是在封闭的形式，在过去的三十年中，已经提出了许多近似GMR算法，虽然他们都没有提供最优性保证。在这项工作中，我们讨论了选择的相异性措施的重要性和问题的一致性的减少算法的所有步骤与所选择的措施。事实上，大多数现有的GMR算法是由几个步骤，这是不一致的唯一的措施，并为此原因，可能会产生减少GM远离最优。特别是，使用KLD，ISE和归一化ISE的讨论和比较在这个角度来看。
2021-04-26 cs.IT cs.LG math.IT
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Variance Reduction for Matrix Computations with Applications to Gaussian Processes
除了计算速度和内存方面的最新发展外，方法的进步也有助于随机模拟性能的显着提高。在本文中，我们专注于通过矩阵分解矩阵计算的方差减少。我们提供了深入了解现有的方差减少方法估计大型矩阵的条目。流行的方法不利用减少方差，这是可能的，当矩阵的因式分解。我们展示了如何计算矩阵的平方根分解可以实现在一些重要的情况下任意更好的随机性能。此外，我们提出了一个因式分解的估计矩阵的产品的轨迹，并数值证明，估计可以高达1,000倍更有效的估计高斯过程的对数似然的某些问题。此外，我们提供了一个新的估计的对数行列式的半正定矩阵的对数行列式被视为一个正规化常数的概率密度。
2023-03-26 cs.LG stat.CO stat.ML
Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Oxford（牛津大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文试图弥合研究人员之间的概念差距的两个广泛使用的方法的基础上正定内核：贝叶斯学习或推理使用高斯过程的一方，和频率论核方法的基础上再生核希尔伯特空间的另一方。在机器学习中，这两种形式主义是密切相关的;例如，核岭回归的估计量与高斯过程回归的后验均值相同。然而，它们几乎是由两个基本上独立的社区独立研究和开发的，这使得它们之间很难无缝地传输结果。我们的目标是克服这个潜在的困难。为此，我们回顾了几个新旧的结果和概念，从任何一方，并并列算法量从每个框架，以突出密切的相似之处。我们还提供了两种方法之间微妙的哲学和理论差异的讨论。
2018-07-06 cs.LG stat.ML
Comparison of Data Reduction Criteria for Online Gaussian Processes
Friedrich-Alexander University of Erlangen–Nuremberg（埃尔朗根-纽伦堡大学）
本文统一比较了在线高斯过程的多种数据缩减准则，分析其计算复杂度和缩减行为，并在基准函数及真实数据集上评估，提出接受准则，为选择合适准则提供实用指南。
2025-08-26 cs.LG stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
Aalto University（阿尔托大学）
本文提出一种针对混合域协方差函数的基函数近似方案，使高斯过程推断随观测数和基函数数线性扩展，并展示了其在纵向数据中实现准确、可扩展且可解释的模型简化能力。
2025-04-08 cs.LG stat.CO
Bayesian Effective Dimension from Information Growth
Indian Institute of Management Indore（印度管理学院印多尔分校）
本文从信息论角度提出贝叶斯有效维度，用于衡量参数空间中可学习方向的数量，揭示收缩和正则化机制对有效维度的影响。
2026-09-02 math.ST stat.TH
A Computational Note on the Graphical Ridge in High-dimension
本文针对高维高斯图形模型中的精度矩阵估计，提出结合岭与图形lasso的两步估计器，采用弹性网络惩罚，实证显示其优于现有方法。
2023-12-25 stat.ME
Pearson chi^2-divergence Approach to Gaussian Mixture Reduction and its Application to Gaussian-sum Filter and Smoother
高斯混合分布在各种统计问题中是重要的。特别地，它被用于非高斯噪声输入的线性状态空间模型的高斯和滤波器和平滑器。然而，为了使这种方法实用，需要一种有效的方法来减少高斯分量的数量。本文给出了皮尔逊卡方散度的一个封闭表达式，它可以应用于高斯分量序贯约化中两个高斯分量对的确定.通过一维和二维分布模型的数值例子，将表明，在大多数情况下，所提出的标准几乎等同于Kullback-Libler发散，计算成本高的数值积分是必要的。应用高斯和滤波和平滑。
2020-01-03 stat.ME
A Comparative Review of Dimension Reduction Methods in Approximate Bayesian Computation
近似贝叶斯计算（ABC）方法利用模拟和观察到的汇总统计量之间的比较，以克服计算上难以处理的似然函数的问题。由于ABC的实际实现需要基于汇总统计量的向量而不是完整的数据集进行计算，因此一个核心问题是如何以最小的信息损失从观察数据中导出低维汇总统计量。在这篇文章中，我们提供了一个全面的审查和比较的主要方法的性能降维提出的ABC文献。这些方法被分成三个不相互排斥的类，包括最佳子集选择方法，投影技术和正则化。此外，我们还介绍了两种新的降维方法。第一种是基于Akaike和贝叶斯信息准则的最佳子集选择方法，第二种使用岭回归作为正则化过程。我们说明了这些降维技术的性能，通过三个具有挑战性的模型和数据集的分析。
2013-06-11 stat.CO stat.ME
