Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
University of Basel（巴塞尔大学）；RIKEN Center for AI Project（日本人工智能研究中心）；Department of Mathematics and Computer Science（数学与计算机科学系）
针对自然梯度变分推断理论收敛保证难以建立的问题，提出使用高斯协方差的平方根参数化方法，为变分高斯推断及其连续时间梯度流建立了新的收敛保证，并实验验证了其优于欧几里得或Wasserstein几何算法的有效性。
2025-07-10 cs.AI cs.LG stat.ML
Deep Stable neural networks: large-width asymptotics and convergence rates
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（Cogent实验室）
在现代深度学习中，关于深度高斯神经网络（NN）（即具有高斯分布权重的深度NN）的大宽度渐近性质与高斯随机过程（SP）之间的相互作用，最近有越来越多的文献。这种相互作用在高斯SP先验下的贝叶斯推断、通过梯度下降训练的无限宽深度NN的核回归以及无限宽NN内的信息传播中被证明是至关重要的。受实证分析的启发，这些分析显示了用NN权重的稳定分布取代高斯分布的潜力，在本文中，我们对（全连接）前馈深度稳定NN的大宽度渐近行为进行了严格分析，即具有稳定分布权重的深度NN。我们表明，随着宽度在NN的层上联合趋于无穷大，即“联合增长”设置，重新缩放的深度稳定NN弱收敛到稳定SP，其分布通过NN的层递归表征。由于NN的非三角形结构，这是一个非标准的渐近问题，我们提出了一个独立的兴趣归纳方法。然后，我们建立了重新缩放的深度稳定NN到稳定SP的超范数收敛速度，在NN层的宽度的“联合增长”和“顺序增长”下。这样的结果提供了“联合增长”和“顺序增长”设置之间的差异，表明前者导致比后者更慢的速率，这取决于层的深度和NN的输入数量。我们的工作扩展了一些最近的结果无限宽的限制深高斯神经网络更一般的深稳定神经网络，提供了第一个结果的收敛速度在“联合增长”设置。
2022-06-23 cs.LG math.PR math.ST
Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians
Ecole polytechnique（巴黎综合理工学院）；ENSAE（法国国家统计与经济管理学校）；CREST（CREST（法国统计研究中心））；IP Paris（巴黎理工学院）
本文研究固定方差高斯混合模型下变分推断的理论性质，将其转化为磨光相对熵最小化问题，并通过下降引理和近似误差上界给出优化与近似的理论保证。
2024-06-10 cs.LG stat.ML
On Infinite-Width Hypernetworks
School of Computer Science（计算机学院）；Tel Aviv University（特拉维夫大学）；Microsoft Research AI（微软研究院人工智能部门）
{ \em超网络}是产生任务特定{ \em主网络}权重的体系结构。在最近的文献中，超网络的一个值得注意的应用涉及学习输出函数表示。在这些场景中，超网络学习与浅MLP的权重相对应的表示，其通常对形状或图像信息进行编码。虽然这种表示在实践中取得了相当大的成功，但在标准架构的广泛制度中，它们仍然缺乏理论保证。在这项工作中，我们研究了广泛的过参数化超网络。我们表明，与典型的架构，无限宽超网络不保证收敛到一个全局极小值下梯度下降。我们进一步表明，凸性可以通过增加超网络输出的维数来实现，以表示宽MLP。在双重无限宽制度，我们确定这些架构的功能先验推导出相应的GP和NTK内核，后者我们称为{ \em超内核}。作为这项研究的一部分，我们通过推导标准全连接ReLU网络的高阶泰勒展开项的严格界限做出了数学贡献。
2021-02-22 cs.LG stat.ML
Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本文针对高斯过程超参数估计，证明小批量SGD在相关样本下仍能以O(1/K)速率收敛到临界点，并在模拟与真实数据上验证其泛化性能优于现有GP方法且计算开销更低。
2021-11-19 cs.LG stat.ML
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上，并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时，通过（随机）梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近，研究表明，在对训练数据的某些裕度假设下，多对数宽度条件足以使双层ReLU网络收敛和泛化（Ji and Telgarsky，2019）。然而，深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中，我们肯定地回答了这个问题，并为通过（随机）梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言，在一定的假设下，在以前的工作中，我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
2021-12-30 cs.LG math.OC stat.ML
Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of British Columbia（不列颠哥伦比亚大学）
本文通过算法稳定性分析给出平滑激活神经网络梯度训练的更紧超额风险界，并证明可分、含噪及 XOR 场景下的改进泛化与快速收敛保证。
2024-12-05 cs.IT cs.LG math.IT
Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
Inria, CNRS, Ecole Normale Supérieure PSL Research University（法国国家科学研究中心、巴黎高等师范学院PSL研究大学）；Department of Management Science and Information Systems（管理科学与信息系统系）；Faculty of Engineering and Natural Sciences（工程与自然科学学院）；Department of Mathematics（数学系）
本文研究重尾噪声 SGD 的差分隐私，证明 $α$-稳定扰动可在无需梯度裁剪下为非凸损失实现 $(0,O(1/n))$-DP。
2025-05-12 cs.CR cs.LG math.ST
discretize_distributions: Efficient Quantization of Gaussian Mixtures with Guarantees in Wasserstein Distance
TU Delft（代尔夫特理工大学）；EPFL（苏黎世联邦理工学院）
discretize_distributions通过高效量化方法和Wasserstein距离保证，实现高斯混合分布的准确离散近似。
2025-11-19 cs.LG
The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective
Columbia University（哥伦比亚大学）
大宽度限制一直是深度学习研究的一个焦点：模计算实用性，更宽的网络是否优于更窄的网络？这个问题一直是具有挑战性的，因为传统的网络随着宽度的增加而获得代表性的力量，可能会掩盖任何负面影响。我们在本文中的分析通过将神经网络推广到深度高斯过程（Deep GP）来扩展容量和宽度，深度高斯过程是一类非参数分层模型，它可以子索神经网络。在这样做的过程中，我们的目标是了解宽度如何影响（标准）神经网络，一旦它们有足够的能力来完成给定的建模任务。我们对Deep GP的理论和实证结果表明，大宽度可能对分层模型不利。令人惊讶的是，我们证明了即使是非参数的Deep GP也会收敛到高斯过程，有效地变得更浅，而不会增加代表性。后验函数对应于数据自适应基函数的混合，随着宽度的增加，数据依赖性变小。我们的尾部分析表明，宽度和深度具有相反的效果：深度强调模型的非高斯性，而宽度使模型越来越高斯。我们发现有一个“甜蜜点”，最大限度地提高测试性能之前，限制GP的行为，防止适应性，发生在宽度= 1或宽度= 2的非参数深GP。这些结果对使用L2正则化（类似于参数的高斯先验）训练的传统神经网络中的相同现象做出了强有力的预测：我们表明，这种神经网络可能需要多达500 - 1000个隐藏单元才能获得足够的容量-取决于数据集-但进一步的宽度会降低性能。
2021-11-08 cs.LG stat.ML
Efficient Techniques for Data Reconstruction, with Finite-Width Recovery Guarantees
ICTEAM Institute, UCLouvain（UCLouvain ICTEAM研究所）；Hong Kong Innovation and Technology Commission（香港创新及科技委员会）
本文提出基于初始和训练参数的统一优化框架，证明在随机特征模型中，足够宽的网络可高概率恢复训练数据，且在低维子空间中可降低网络宽度要求，通过调整第一层权重近似低维子空间，提升重建质量。
2026-05-07 cs.LG
The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Guelph（圭尔夫大学）
理论结果表明，神经网络在无限宽极限下可以用高斯过程来逼近。然而，对于完全连接的网络，之前已经表明，对于任何固定的网络宽度$n$，随着网络深度$d$的增加，高斯近似变得更差。考虑到现代网络的深度，这就提出了一个问题，即像ResNet这样的现代架构在多大程度上被无限宽度的限制所捕获。为了提供更好的近似，我们研究了无限深度和宽度限制下的ReLU ResNet，其中深度和宽度都趋于无穷大，因为它们的比率$d/n$保持不变。与高斯无限宽极限相反，我们从理论上证明了网络在无限深宽极限的初始化时表现出对数高斯行为，参数取决于比率$d/n$。使用蒙特卡罗模拟，我们证明了即使是标准ResNet架构的基本属性也不能很好地被高斯极限捕获，但可以很好地被我们的对数高斯极限捕获。此外，我们的分析表明，ReLU ResNet在初始化时是低激活的：只有不到一半的ReLU被激活。此外，我们还计算了层间相关性，它具有指数增加网络输出方差的效果。基于我们的分析，我们引入了平衡ResNets，这是一种简单的架构修改，它消除了低激活和层间相关性，更适合理论分析。
2021-10-27 cs.LG stat.ML
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research（Facebook人工智能研究院）
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络，其先验对应于高斯过程。在这里，我们微扰扩展到有限宽度的神经网络，产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层，让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Random Neural Networks in the Infinite Width Limit as Gaussian Processes
Princeton University（普林斯顿大学）
本文给出了一个新的证明，即具有随机权重和偏差的全连接神经网络在输入维度、输出维度和深度保持固定而隐藏层宽度趋于无穷大的情况下收敛于高斯过程。与以前的工作不同，收敛只假设矩条件的权重分布和相当一般的非线性。
2021-07-04 cs.LG math.PR math.ST
Gaussian-Width Bounds for Offline-to-Online Linear Bandits
University of Alberta（阿尔伯塔大学）
该研究针对部分覆盖离线数据的随机线性多臂老虎机问题，利用高斯向量 Lipschitz 函数集中度得到更紧的 regret 界，开发了分阶段消除算法并给出纯探索的上下界。
2026-10-12 cs.LG
Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进人工智能项目中心）
本文通过张量程序框架，推导了单个注意力层在无限宽度下的极限分布，证明其非高斯性，并验证了理论在有限宽度下的有效性。
2026-01-02 cs.LG stat.ML
Infinite Width Graph Neural Networks for Node Regression/ Classification
Technical University of Munich（慕尼黑工业大学）
本文研究了宽度趋近无穷大的图神经网络，推导了多种架构下高斯过程和核的闭式解，并在节点回归与分类任务上验证了其性能，同时利用谱稀疏化方法改善了运行效率。
2023-11-20 cs.LG
Deep Maxout Network Gaussian Process
Rutgers University（罗格斯大学）
研究无限宽度神经网络对于更好地理解神经网络的实际应用具有重要意义。在这项工作中，我们推导出的深度，无限宽maxout网络和高斯过程（GP）的等价性和特征的maxout内核的组成结构。此外，我们建立了我们的深度maxout网络内核和深度神经网络内核之间的连接。我们还给出了一个有效的数值实现我们的内核，可以适应任何maxout秩。数值结果表明，基于深度maxout网络核的贝叶斯推断与有限宽度网络核和深度神经网络核相比，可以得到有竞争力的结果。这启发了我们，maxout激活也可以被合并到其他无限宽度的神经网络结构中，例如卷积神经网络（CNN）。
2022-08-26 cs.LG stat.ML
Gaussian Mixture Copula Processes for Irregular Time Series
Institute of Computer Science（计算机科学研究所）；University of Hildesheim（希尔德斯海姆大学）
提出CopFITi模型，结合归一化流与高斯混合Copula，实现不规则多元时间序列的概率预测，在联合密度建模上达到新最优。
2026-09-30 cs.LG
Large-width functional asymptotics for deep Gaussian neural networks
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（科根特实验室）
本文针对权重和偏置服从独立同分布高斯分布的全连接前馈深度神经网络，采用函数空间视角，证明其定义连续高斯过程、权重重缩放网络大宽度极限下弱收敛于连续高斯过程且极限过程几乎必然有局部$\gamma$-Hölder连续路径，为相关理论研究贡献。
2021-02-20 cs.LG math.PR stat.ML
Quantitative Gaussian-Process limits of Tensor Programs
Institute for Mathematical Statistics and Actuarial Sciences, University of Bern（伯尔尼大学数理统计与精算科学研究所）；Department of Mathematics, University of Pisa（比萨大学数学系）
研究随机神经网络无限宽度高斯过程极限，通过张量程序视角给出定量收敛理论，有明确有限宽度误差界，框架与架构无关，涵盖多种模型及权重共享方案。
2026-07-08 cs.LG math.PR stat.ML
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology（麻省理工学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Boston University（波士顿大学）
本文通过Renyi差分隐私重新分析高斯草图机制，提出更紧的隐私界限，并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了两种方法用于以下基本统计任务：给定来自$d$维亚高斯分布的$n$样本的$ε$损坏集，返回协方差矩阵的近似顶部特征向量。我们的第一个强大的PCA算法在多项式时间内运行，返回一个$1 - O(ε\logε^{-1})$近似的顶部特征向量，并基于一个简单的迭代滤波方法。我们的第二个，它达到了一个稍微差的近似因子，运行在一个温和的频谱间隙假设下，在接近线性的时间和样本的复杂性。这些是第一个多项式时间算法产生的非平凡的信息的协方差损坏的次高斯分布，而不需要额外的代数结构的时刻。作为一个关键的技术工具，我们开发了$p$范数填充半定规划的第一个宽度无关的求解器，在$O(p\log(\tfrac{nd}ε)ε^{-1})$输入稀疏时间迭代中给出了$(1 + ε)$ -近似解（其中$n$，$d$是问题维数）。
2020-06-12 cs.DS cs.LG math.OC
Robustness Guarantees for Bayesian Inference with Gaussian Processes
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
贝叶斯推理和高斯过程被广泛用于从机器人和控制到生物系统的应用中。这些应用中有许多是安全关键的，需要与学习模型相关的不确定性的表征及其预测的正式保证。在本文中，我们定义了一个鲁棒性措施贝叶斯推理对输入扰动，给出的概率，测试点和一个紧凑的集在输入空间包含测试点，学习模型的预测将保持$δ-$接近所有的点在集合中，对于$δ>0.$这样的措施可以用来提供正式的保证，没有对抗性的例子。通过采用高斯过程的理论，我们推导出严格的上界所产生的鲁棒性，利用Borell-TIS不等式，并提出算法计算。我们在两个例子上评估了我们的技术，一个GP回归问题和一个完全连接的深度神经网络，在那里我们依赖于对GP的弱收敛来研究MNIST数据集上的对抗性例子。
2018-10-24 cs.LG stat.ML
Quantitative convergence of trained single layer neural networks to Gaussian processes
Department of Mathematics University of Pisa（数学系，比萨大学）；Department of Mathematics and Statistics University of Bern（数学与统计系，伯恩大学）
本文研究了训练单层神经网络在无限宽度极限下向高斯过程的定量收敛性，提供了网络输出与高斯近似之间距离的显式上界，并分析了架构参数和训练动态对收敛性的影响。
2026-03-05 cs.LG math.PR stat.ML
Proportional infinite-width infinite-depth limit for deep linear neural networks
Politecnico di Milano（米兰理工大学）；Università degli Studi di Parma（帕尔马大学）
本文研究深度线性神经网络在深度与宽度按固定比例同时趋于无穷时的极限分布，严格证明其收敛于非平凡的高斯混合，从而保留输出相关性，克服了传统无限宽高斯极限的描述能力不足问题。
2024-11-22 cond-mat.dis-nn cs.LG math.PR
Online learning-based Model Predictive Control with Gaussian Process Models and Stability Guarantees
Otto-von-Guericke-University（奥托·冯·格里克大学）；Universidad de Sevilla（塞维利亚大学）
模型预测控制允许以约束满足的形式提供高性能和安全保证。然而，只有当用于预测的受控过程的基础模型足够准确时，这些性质才能得到满足。解决这一挑战的单向式方法之一是通过数据驱动和机器学习方法，例如高斯过程，允许在操作期间在线优化模型。我们提出了一个组合的输出反馈模型预测控制计划和高斯过程为基础的预测模型，能够有效的在线学习。为此，进化高斯过程的概念与递归后验预测更新相结合。所提出的方法保证了递归约束满足和输入到状态稳定性的模型-植物不匹配。仿真研究表明，高斯过程预测模型可以成功有效地在线学习。通过结合递归更新过程和限制训练数据点的数量，同时保持良好的性能，从而显着降低了计算负荷。
2020-12-01 cs.LG cs.SY eess.SY
Optimization for Neural Operators can Benefit from Width
VMware Research（威睿研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出统一的梯度下降优化框架，首次为DONs和FNOs建立优化收敛保证，证明其损失满足受限强凸性与平滑性，并从理论和实验上表明更宽的网络有利于优化收敛。
2025-02-02 cs.LG math.OC
Student-t processes as infinite-width limits of posterior Bayesian neural networks
Princeton University（普林斯顿大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；University of Pisa（比萨大学）
本文证明在特定先验条件下，无限宽后验贝叶斯神经网络收敛于Student-t过程，并用Wasserstein度量刻画收敛速度，从而扩展了高斯过程近似理论。
2025-02-06 cs.LG math.PR stat.ML
On the infinite-depth limit of finite-width neural networks
National University of Singapore（新加坡国立大学）
本文研究了具有随机高斯权值的有限宽度残差神经网络的无限深度极限。适当的缩放，我们表明，通过固定的宽度和深度为无穷大，预激活收敛分布的零漂移扩散过程。不像无限宽的限制，预激活弱收敛到一个高斯随机变量，我们表明，无限深的限制产生不同的分布取决于激活函数的选择。我们记录了两种情况下，这些分布具有封闭形式（不同）的表达式。我们进一步显示了一个有趣的变化机制的现象时，激活后规范的宽度从3增加到4。最后，我们研究了序列极限无限深然后无限宽，并将其与更常见的研究无限宽然后无限深极限进行了比较。
2023-01-13 cs.LG math.PR stat.ML
Large-width asymptotics for ReLU neural networks with $α$-Stable initializations
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（Cogent实验室）
近年来，关于高斯神经网络（NN）的大宽度渐近性质的文献越来越多，即其权重初始化为高斯分布的NN。两个普遍的问题是：i）神经网络的大宽度分布的研究，其特征在于重新标度的神经网络在高斯随机过程方面的无限宽极限; ii）NN的大宽度训练动力学的研究，其根据被称为神经切线核（NTK）的确定性核来表征无限宽的动力学，并且表明，对于足够大的宽度，梯度下降以线性速率实现零训练误差。在本文中，我们认为这些问题的$α$ -稳定的神经网络，即神经网络的权重初始化为$α$ -稳定分布与$α\in(0,2]$。首先，对于具有ReLU激活函数的$α$ -稳定NN，我们证明了如果NN的宽度趋于无穷大，则重新缩放的NN弱收敛于$α$ -稳定随机过程。与高斯设置不同的是，我们的结果表明激活函数的选择会影响NN的缩放，也就是说：为了实现无限宽的$α$ -稳定过程，ReLU激活需要在次线性激活的缩放中增加一个对数项。然后，我们研究了$α$ -Stable ReLU-NN的大宽度训练动力学，用随机核来表征无限宽的动力学，称为$α$ -Stable NTK，并表明，对于足够大的宽度，梯度下降以线性速率实现零训练误差。$α$ -稳定NTK的随机性与高斯设置有进一步的不同，即：在$α$ -稳定设置中，NN在初始化时的随机性在训练的大宽度区域中不会消失。
2023-01-04 cs.LG math.ST stat.ML
Safety Guarantees for Planning Based on Iterative Gaussian Processes
高斯过程（GP）由于其对不确定性的原则性处理而被广泛应用于控制和学习。然而，跟踪迭代的不确定性，多步预测一般会导致一个分析上棘手的问题。虽然存在近似方法，但它们没有保证，因此难以估计其可靠性并信任其预测。在这项工作中，我们推导出正式的概率误差界迭代预测和规划的GP。基于GP属性，我们限制了随机轨迹位于预测值周围特定区域的概率。即，给定容差$ε> 0 $，我们计算预测轨迹值周围的区域，使得保证GP轨迹以至少$1-ε$的概率位于它们内部。我们通过实验验证，我们的方法正确跟踪预测的不确定性，即使当前的近似技术失败。此外，我们展示了如何在安全的强化学习框架内使用所提出的界限来验证候选控制策略的安全性，从而指导可证明安全的控制器的合成。
2020-09-07 cs.LG stat.ML
Deep Neural Networks as Gaussian Processes
Google Brain（谷歌大脑）
人们早就知道，具有i.i.d.在无限网络宽度的限制下，先验过程等价于一个高斯过程（GP）。这种对应关系使得通过评估相应的GP，能够对无限宽神经网络进行回归任务的精确贝叶斯推断。最近，已经开发了模拟多层随机神经网络的核函数，但仅在贝叶斯框架之外。因此，以前的工作没有确定这些内核可以用作GP的协方差函数，并允许使用深度神经网络进行完全贝叶斯预测。在这项工作中，我们推导出无限宽深度网络和GP之间的精确等价性。我们进一步开发了一个计算效率高的流水线来计算这些GP的协方差函数。然后，我们使用得到的GP在MNIST和CIFAR-10上对广泛的深度神经网络进行贝叶斯推断。我们观察到，训练的神经网络的准确性接近相应的GP随着层宽度的增加，GP的不确定性与训练的网络预测误差密切相关。我们进一步发现，随着有限宽度的训练网络变得更宽，更类似于GP，测试性能会提高，因此GP预测通常优于有限宽度网络的预测。最后，我们将这些GP的性能与随机神经网络中的信号传播理论联系起来。
2018-03-03 cs.LG stat.ML
Adversarial Robustness Guarantees for Classification with Gaussian Processes
University of Oxford（牛津大学）
研究了高斯过程分类模型的对抗鲁棒性。给定包含测试点$x^*$和在数据集$\mathcal{D}$上训练的GPC的输入空间$T\subseteq \mathbb{R}^d$的紧凑子集，我们的目标是计算$T$中所有点上GPC的最小和最大分类概率。为了做到这一点，我们展示了如何在$T$中导出GPC输出的函数下限和上限，并在分支定界优化算法中实现这些。对于任何错误阈值$ε> 0$选择的先验，我们表明，我们的算法是保证达到值$ε$ -接近的实际值在1000多次迭代。我们应用我们的方法来研究GPC模型在2D合成数据集，SPAM数据集和MNIST数据集子集上的鲁棒性，提供不同GPC训练技术的比较，并展示我们的方法如何用于可解释性分析。我们的实证分析表明，GPC的鲁棒性增加更准确的后验估计。
2020-03-11 cs.LG stat.ML
Adversarial Robustness Guarantees for Gaussian Processes
University of Oxford（牛津大学）
高斯过程（GP）允许对模型不确定性进行原则性计算，使其对安全关键应用具有吸引力。这样的场景要求GP决策不仅准确，而且对扰动具有鲁棒性。在本文中，我们提出了一个框架来分析GP的对抗鲁棒性，定义为模型的决策有界扰动的不变性。给定输入空间$T\subseteq \mathbb{R}^d$的一个紧致子集，一个点$x^*$和一个GP，我们通过计算$T$中GP的预测范围的上下界来提供对抗鲁棒性的可证明保证。我们开发了一个分支定界方案，以完善的界限，并显示，对于任何$ε> 0$，我们的算法是保证收敛到值$ε$ -接近的实际值，在许多迭代。该算法可以随时处理回归和分类任务，并在实践中使用大多数内核的解析公式。我们评估我们的方法的合成和标准的基准数据集，包括SPAM，MNIST和FashionMNIST的集合。我们研究了近似推理技术对鲁棒性的影响，并演示了我们的方法如何用于可解释性。我们的实证结果表明，对抗的鲁棒性GP增加准确的后验估计。
2021-04-07 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Double-descent curves in neural networks: a new perspective using Gaussian processes
University of Oxford（牛津大学）
本文利用随机矩阵理论将经验特征协方差矩阵谱刻画为NNGP核谱的宽度依赖扰动，从而为神经网络双下降现象提供了由经验核与NNGP核差异支配的新解释。
2023-05-25 cs.LG stat.ML
Wide neural networks: From non-gaussian random fields at initialization to the NTK geometry of training
本文研究了宽神经网络在有限宽度下的行为，计算了初始化时的非高斯性修正，控制了训练期间输出的演化并改进了 NTK 的衰减率估计，同时估计了非高斯性偏差随训练的演化。
2023-04-06 cs.LG cs.NE math.PR
Scalable Gaussian Process Inference with Finite-data Mean and Variance Guarantees
Harvard University（哈佛大学）；University of British Columbia（英属哥伦比亚大学）；University of Luxembourg（卢森堡大学）；MIT（麻省理工学院）
高斯过程（GP）为非参数贝叶斯回归提供了一种灵活的先验类别，但流行的GP后验推理方法通常非常缓慢或缺乏理想的有限数据质量保证。我们开发了一种方法，可扩展的近似GP回归有限数据保证逐点后验均值和方差估计的准确性。我们的主要贡献是一个新的目标近似推理的非参数设置：预处理的Fisher（PF）的分歧。我们发现，不同于库尔贝克-莱布勒散度（用于变分推断），pF发散边界的2-瓦瑟斯坦距离，这反过来又提供了严格的边界的逐点差的均值和方差函数。我们证明，对于稀疏GP似然近似，我们可以有效地最小化pF发散。我们的实验表明，优化pF发散具有与变分稀疏GP相同的计算要求，同时提供可比的经验性能-除了我们新的有限数据质量保证。
2019-03-27 cs.LG stat.CO stat.ME
Improved Convergence Guarantees for Learning Gaussian Mixture Models by EM and Gradient EM
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了具有K个已知权重分量的高斯混合模型的参数估计问题，所有分量都具有单位协方差矩阵。我们做了两个贡献。首先，在人口水平上，我们提出了一个更尖锐的分析EM和梯度EM的局部收敛性，相比以前的作品。假设分离的$Ω(\sqrt{\log K})$，我们证明了这两种方法的收敛到全局最优值从一个初始化区域大于以前的作品。具体来说，每个分量的初始猜测可以远至（几乎）其到最近高斯的距离的一半。这基本上是最大可能的收缩区域。我们的第二个贡献是改进了EM和梯度EM精确估计的样本量要求。在以前的工作中，所需的样本数有一个二次依赖于K个组件之间的最大分离，并由此产生的误差估计线性增加与此最大分离。在这篇手稿中，我们表明，这两个数量只依赖于最大的分离几何。
2021-09-23 cs.LG math.ST stat.TH
Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
高斯过程在机器学习、统计学和应用数学中无处不在。他们提供了一个灵活的建模框架逼近函数，同时量化的不确定性。然而，只有当模型被很好地指定时，这才是正确的，而实际情况往往不是这样。本文研究了当模型的光滑性和似然函数被错误指定时，高斯过程均值的性质。在这种情况下，一个与实际相关的重要理论问题是，考虑到问题的难度、我们的模型和错误指定的程度，高斯过程近似的准确性如何。这个问题的答案是特别有用的，因为它可以告知我们的模型和试验设计的选择。特别是，我们描述了如何的试验设计和选择的内核和内核超参数可以适应，以减轻模型的误指定。
2021-05-18 cs.LG cs.NA math.NA
Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出基于专家路由L2范数变化的混合精度量化策略，提升大模型推理精度与效率，减少内存开销。
2026-04-07 cs.AI cs.LG
A ZeNN architecture to avoid the Gaussian trap
Lu\' s Carvalho, Department of Mathematics, ISCTE - Lisbon University Institute Av. das For c as Armadas 1649-026, Lisbon Portugal；Center for Mathematical Analysis, Geometry；João L. Costa, Department of Mathematics, ISCTE - Lisbon University Institute Av. das For c as Armadas 1649-026, Lisbon Portugal；José Mourão, Department of Mathematics；Gonçalo Oliveira, Department of Mathematics
针对标准多层感知器大宽度下的非参数、逐点极限缺失、丧失非高斯属性及有限宽度时高频学习差的问题，提出受调和分析三原则启发的ZeNN架构，可修复上述缺陷，在无限宽度下逐点收敛、具备非高斯渐近结构与特征学习能力，有限宽度下学习低维域高频特征表现优异。
2025-07-31 cs.LG math.PR
Exploration strategies for Gaussian process bandit optimization with inference regret guarantees
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Korea University（高丽大学）
本文针对贝叶斯优化累积遗憾无法刻画最终输出质量的问题，提出可嵌入任意贝叶斯优化流程的高效探索策略，经实验验证其能提升多类任务中贝叶斯优化的最终推荐效果。
2026-10-14 cs.LG math.OC stat.CO
Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit
Google Brain（谷歌大脑（Google Brain））
现代深度学习模型在许多数据模式的预测准确性方面取得了巨大成功。然而，他们的应用到许多现实世界的任务是限制了穷人的不确定性估计，如过度自信的分布外（OOD）数据和不优雅的失败下分布的转变。以前的基准测试已经发现，神经网络（NN）的集合通常是OOD数据的最佳校准模型。受此启发，我们利用最新的理论进展，其特征的功能空间前的合奏无限宽的神经网络作为一个高斯过程，称为神经网络高斯过程（NNGP）。我们使用带有softmax链接函数的NNGP来构建多类分类的概率模型，并对潜在高斯输出进行边缘化以从后验中采样。这使我们更好地理解了函数空间上的隐式先验NN，并允许直接比较NNGP及其有限宽度模拟的校准。我们还研究了以前的方法与NNGP分类的校准，将分类问题视为回归到一个热标签。在这种情况下，贝叶斯后验是精确的，我们比较了几个分类来生成类的分类分布。我们发现这些方法在分布偏移下得到了很好的校准。最后，我们考虑一个无限宽度的最终层与一个预先训练好的嵌入。这复制了迁移学习的重要实际用例，并允许扩展到更大的数据集。除了实现有竞争力的预测精度外，这种方法比其有限宽度模拟更好地校准。
2020-10-14 cs.LG stat.ML
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta；FAIR（Facebook人工智能研究院）
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题，提出有界支撑高斯机制的简单修改方案，经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Beyond Parallel Pancakes: Quasi-Polynomial Time Guarantees for Non-Spherical Gaussian Mixtures
ETH Zürich（苏黎世联邦理工学院）
针对共享未知协方差的良好分离高斯混合模型，论文提出基于平方和方法的拟多项式算法，在混合权重具多项式下界时实现与纯高斯分布的区分及聚类保证。
2023-06-07 cs.DS cs.LG stat.ML
Graph Structure Learning with Privacy Guarantees for Open Graph Data
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种在数据发布阶段集成高斯差分隐私的图结构学习框架，通过在数据发布前注入结构化高斯噪声，实现隐私保护与图结构恢复的平衡，实验验证了在严格隐私预算下保持高图恢复准确性的隐私-效用权衡。
2026-03-24 cs.AI cs.LG
Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
University of California, Davis（加州大学戴维斯分校）；University of Melbourne（墨尔本大学）
本文研究了深度神经网络中随机权重的有限维分布高斯近似，揭示了在不同层宽下收敛速度的普遍性。
2026-03-04 cs.LG math.PR math.ST
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island（罗德岛大学）；University of Notre Dame（圣母大学）
本研究提出统一Rényi散度框架，刻画贝叶斯后验采样的固有差分隐私保障，推导OPS隐私损失边界，将框架应用于多类贝叶斯模型，恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
Universality of Linear Recurrences Followed by Non-linear Projections: Finite-Width Guarantees and Benefits of Complex Eigenvalues
ELLIS Institute Tübingen（ELLIS研究所蒂宾根分部）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；Google Deepmind（谷歌DeepMind）；EPFL（洛桑联邦理工学院）
本文证明结合MLP与实或复线性对角递归能任意精确逼近正则因果序列映射，并揭示接近单位圆盘的复特征值能增强RNN信息存储能力且缓解梯度消失。
2024-06-05 cs.LG cs.NE
Differentially Private Gaussian Processes
University of Sheffield（谢菲尔德大学）
机器学习面临的一个主要挑战是在尊重个人隐私的同时增加数据的可用性。在这里，我们将差分隐私框架的可证明隐私保证与高斯过程（GP）的灵活性相结合。我们提出了一种使用GP提供差分私有（DP）回归的方法。然后，我们通过精心设计DP噪声协方差结构来改进这种方法，以有效地保护训练数据，同时最大限度地减少添加噪声的规模。我们发现，这种伪装方法实现了最大的准确性，同时仍然提供隐私保证，并提供了实用的DP回归多维输入。这些方法一起提供了一个入门工具包，用于结合差分隐私和GPS。
2019-01-17 cs.LG stat.ML
