GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering（电气与计算机工程学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈，通过高斯溅射拟合一维潜在表示，实现训练后比特率控制，性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
Probabilistic selection of inducing points in sparse Gaussian processes
University of Glasgow（格拉斯哥大学）
稀疏高斯过程及其各种扩展是通过诱导点实现的，这些诱导点同时限制了预测能力，并成为模型复杂性的主要贡献者。然而，诱导点的数量通常与不确定性无关，这阻止了我们应用贝叶斯推理的装置来确定适当的权衡。在这项工作中，我们放置一个点过程之前的诱导点和近似相关的后验通过随机变分推理。通过让先验知识鼓励适度数量的诱导点，我们使模型能够学习使用哪些点以及使用多少点。我们的实验表明，更少的诱导点是首选的模型，因为点变得信息量较少，并进一步展示了该方法可以用于深高斯过程和潜变量建模。
2021-07-25 cs.LG stat.ML
Gaussian Process Behaviour in Wide Deep Neural Networks
University of Cambridge（剑桥大学）；Uber AI Labs（优步人工智能实验室）
虽然深度神经网络在经验上取得了巨大的成功，但要理解它们的理论特性，还有很多工作要做。在本文中，我们研究了具有多个隐藏层的随机、宽、全连接、前馈网络与具有递归核定义的高斯过程之间的关系。我们表明，在广泛的条件下，当我们使架构越来越宽时，隐含的随机函数在分布上收敛于高斯过程，将Neal（1996）的现有结果形式化并扩展到深度网络。为了评估收敛速度的经验，我们使用最大平均差异。然后，我们将文献中的有限贝叶斯深度网络与高斯过程在关键预测量方面进行了比较，发现在某些情况下，协议可能非常接近。我们讨论了高斯过程行为的可取性，并从文献中回顾了非高斯替代模型。
2018-08-16 cs.LG stat.ML
Three Costs of Amortizing Gaussian Process Inference with Neural Processes
University of Cambridge, Cambridge, UK（剑桥大学）
本文研究了神经过程在高斯过程推断中的摊销成本，将高斯过程的后验推断从精确的O(n^3)转换为学习的O(n)映射，分析了标签污染、信息瓶颈和摊销误差三个来源，并提出了架构优化建议。
2026-05-20 cs.LG stat.ML
Sequential Randomized Matrix Factorization for Gaussian Processes: Efficient Predictions and Hyper-parameter Optimization
United Technologies Research Center（联合技术研究中心）
本文提出了一种序列随机低秩矩阵分解方法，使用高斯过程框架增量预测未知函数在测试点处的值。众所周知，在高斯过程框架中，计算瓶颈是（正则化）核矩阵的求逆和定义核的超参数的计算。本文的主要贡献是双重的。首先，我们形式化了一种在流媒体场景中使用随机矩阵分解算法计算核矩阵逆的方法，即，数据是随着时间递增地生成的。所提出的方法的准确性和计算效率的指标进行比较，对一个批处理方法的基础上使用的随机矩阵分解和现有的流方法的基础上近似高斯过程的一组有限的基向量。其次，我们扩展的顺序因式分解方法的一类核函数的超参数可以有效地优化。所有结果都在两个公开的数据集上得到了证明。
2017-11-19 cs.LG stat.ML
Support Collapse of Deep Gaussian Processes with Polynomial Kernels for a Wide Regime of Hyperparameters
University of York（约克大学）
本文利用 Berry–Esseen 定理分析多项式核深度高斯过程的先验，揭示其在广泛超参数下随深度增加发生支撑坍缩或忽视低范数函数。
2025-03-15 cs.LG stat.ML
Bézier Gaussian Processes for Tall and Wide Data
University of Oxford（牛津大学）
高斯过程的现代近似适用于“高数据”，其成本在观测数量上具有良好的扩展性，但在“宽数据”上表现不佳，在输入特征数量上扩展性较差。也就是说，随着输入特征数量的增长，良好的预测性能需要汇总变量的数量及其相关成本快速增长。我们引入了一个内核，它允许汇总变量的数量随着输入特征的数量呈指数增长，但只需要在观测和输入特征的数量上都具有线性成本。这种缩放是通过我们引入贝塞尔支撑来实现的，贝塞尔支撑允许近似推理，而无需计算矩阵逆或行列式。我们表明，我们的内核有密切的相似之处，一些最常用的内核在高斯过程回归，并实证证明内核的能力，以规模高大和广泛的数据集。
2022-10-13 cs.LG stat.ML
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel
Rutgers University Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（高等研究院）
深度高斯过程（Deep Gaussian Process，DGP）作为贝叶斯学习中的先验模型，直观地发挥了函数组合的表达能力。DGP还提供了不同的建模能力，但推理是具有挑战性的，因为潜在函数空间中的边缘化是不容易处理的。根据Bochner定理，具有平方指数核的DGP可以被视为由随机特征层、正弦和余弦激活单元以及随机权重层组成的深度三角网络。在具有瓶颈的宽极限中，我们证明了权重空间视图产生与先前在函数空间中获得的相同的有效协方差函数。此外，改变网络参数的先验分布相当于采用不同的内核。因此，DGP可以被转换为深度校验的神经网络，使用它可以获得精确的最大后验估计。有趣的是，网络表示使得能够研究DGP的神经切线核，这也可以揭示棘手的预测分布的平均值。从统计学上讲，与浅层网络不同，有限宽度的深层网络具有偏离极限核的协方差，并且内部和外部宽度可能在特征学习中扮演不同的角色。数值模拟来支持我们的研究结果。
2022-07-30 cond-mat.dis-nn cs.LG stat.ML
Embarrassingly Parallel Inference for Gaussian Processes
训练基于高斯过程的模型通常涉及由于对协方差阵求逆而导致的$ O(N^3)$计算瓶颈。用于克服该矩阵求逆问题的流行方法不能充分地对所有类型的潜在函数建模，并且通常不是可并行的。然而，明智地选择模型结构可以改善这个问题。使用混合$K$高斯过程的混合专家模型提供了建模灵活性和可扩展推理的机会。我们的并行算法结合了低维矩阵求逆与重要性抽样，以产生一个灵活的，可扩展的混合专家模型，提供相当的性能，以低得多的计算成本的高斯过程回归。
2020-03-03 stat.ML
A Rate-Distortion View of Uncertainty Quantification
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
针对深度神经网络缺乏输入与训练数据接近度感知能力的问题，提出距离感知瓶颈DAB方法，通过学习存储训练输入压缩表示的码本，以新样本与码本的距离作为不确定性估计，实现更优的OOD检测和误分类预测效果。
2024-06-18 cs.AI cs.LG stat.ML
A Global-Local Approximation Framework for Large-Scale Gaussian Process Modeling
Georgia Institute of Technology（佐治亚理工学院）
本文提出TwinGP框架，通过融合全局点、局部点及全局-局部组合核构建数据子集近似，以较低计算成本实现与先进GP方法相当或更优的大规模建模性能。
2023-05-17 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Information Theoretic Meta Learning with Gaussian Processes
DeepMind（深度思维）；Athens Univ. of Econ. and Business（雅典经济与商业大学）
我们制定元学习使用信息理论的概念，即，互信息和信息瓶颈。这个想法是学习任务描述的随机表示或编码，由训练集给出，这是关于预测验证集的高度信息。利用变分逼近的互信息，我们得到了一个通用的和易于处理的元学习的框架。这个框架统一了现有的基于梯度的算法，也允许我们派生新的算法。特别是，我们开发了一个基于内存的算法，使用高斯过程来获得非参数编码表示。我们证明了我们的方法在一个Few-Shot回归问题和四个Few-Shot分类问题，获得竞争力的准确性相比，现有的基线。
2021-07-05 cs.AI cs.LG stat.ML
Parallel inversion of huge covariance matrices
在统计学习算法中遇到的一个非常常见的瓶颈是巨大的协方差阵的求逆，例如在评估大量数据点的高斯似然性时。我们提出了一般的并行算法求正定矩阵的逆，这几乎是秩亏的。这种矩阵求逆在高斯过程计算中是需要的，在其他设置中，并且即使随着关于低秩近似的文献的增加仍然是瓶颈。我们提出了一个通用类的算法并行计算，大大加快了计算时间的数量级利用多核架构。我们实现了我们的算法在云计算平台上，提供伪和实际的代码。该算法可以很容易地在任何多核并行计算资源上实现。提供了一些插图，以提供一个味道的收益和什么成为可能，在释放这个瓶颈。
2013-12-06 stat.ME
Gaussian Process Regression for Maximum Entropy Distribution
RWTH Aachen University（亚琛工业大学）
本文提出用高斯过程回归近似最大熵分布中的拉格朗日乘子，通过最大化对数似然优化核函数超参数，并在BGK和Boltzmann方程的非平衡弛豫测试中验证数据驱动闭合方法。
2023-08-11 cs.LG math-ph math.MP
Gaussian Lower Bound for the Information Bottleneck Limit
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
信息瓶颈（IB）是一种概念方法，用于提取相对于目标的一组变量的最紧凑但信息量最大的表示。它将最小充分统计量的概念从经典的参数统计推广到更广泛的信息论意义上。IB曲线定义了表示复杂性和预测能力之间的最佳权衡。具体地说，它是通过最小化的表示和原始变量之间的互信息（MI）的水平，表示和目标之间的MI的最小水平。这个问题一般是NP难的。一个重要的例外是多元高斯的情况下，高斯IB（GIB）是已知的，以获得分析封闭形式的解决方案，类似于典型相关分析（CCA）。在这项工作中，我们引入了一个高斯下限的IB曲线，我们找到一个嵌入的数据，最大限度地提高其“高斯部分”，我们应用GIB。这种嵌入提供了任何任意数据集（在IB意义上）的有效（和实用）表示，此外还具有高斯分布的有利特性。重要的是，我们证明了最佳高斯嵌入是有界的非线性CCA从上面。这就限制了我们对任意数据集进行高斯化和用线性方法解决复杂问题的能力。
2017-11-07 cs.LG stat.ML
Bayesian inference with finitely wide neural networks
Rutgers University（罗格斯大学）
针对有限宽度神经网络偏离高斯过程导致解析推断困难的问题，基于多元Edgeworth展开提出微分形式的非高斯分布，推导了贝叶斯回归中的非高斯后验，并探讨了瓶颈深度网络中的非高斯性。
2023-05-25 cond-mat.dis-nn cs.LG stat.ML
Infinitely Wide Tensor Networks as Gaussian Process
University of California, Santa Cruz（加州大学圣克鲁兹分校）
高斯过程是一种非参数先验，可以直观地理解为函数空间上的分布。从贝叶斯理论的角度出发，通过在神经网络权值前引入适当的先验知识，利用贝叶斯神经网络的无限宽极限，可以得到高斯过程。本文研究了无限宽张量网络，证明了无限宽张量网络与高斯过程的等价性。我们研究了纯张量网络和另外两种扩展张量网络结构：神经核张量网络和张量网络隐层神经网络，证明了当模型的宽度趋于无穷大时，每种结构都收敛于高斯过程。(We这里注意，高斯过程也可以通过在张量节点的乘积中取键尺寸$α_{i}$中的至少一个的无限极限来获得，并且可以在无限宽度情况的证明中使用相同的思想来进行证明。本文在一般情况下计算了无限宽张量网络诱导的高斯过程的有限维分布的均值函数（均值向量）协方差函数（协方差阵）。研究了协方差函数的性质，并导出了当期望算子中的积分是难处理的时，协方差函数的近似。在数值实验中，我们实现了对应于无限极限张量网络的高斯过程，并绘制了这些模型的样本路径。通过改变先验分布的标准差，研究了超参数，并绘制了诱导高斯过程中的样本路径族。正如所预期的那样，先验分布中的参数，即诱导高斯过程中的超参数，控制了高斯过程的特征尺度。
2021-01-07 cs.LG cs.NE stat.ML
Informative Planning and Online Learning with Sparse Gaussian Processes
University of Southern California（南加州大学）
环境监测的一大挑战是要观察的现象的时空变化。为了在这样的设置中实现持续感测和估计，具有时变的底层环境模型是有益的。在这里，我们提出了一种规划和学习方法，使自主海洋车辆执行持久的海洋监测任务，通过学习和完善的环境模型。为了缓解大规模数据积累所造成的计算瓶颈，我们提出了一个框架，该框架在旨在收集信息最丰富的数据的规划组件和稀疏高斯过程学习组件之间进行迭代，其中环境模型和超参数通过利用仅提供最大贡献的数据子集在线学习。我们的模拟与地面实况海洋数据表明，该方法是准确和有效的。
2016-09-24 cs.AI cs.LG cs.RO
Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models
University of Cambridge（剑桥大学）
该研究揭示扩散模型反向去噪的表达瓶颈及无界误差，并提出软混合去噪 SMD，以提升其对高斯混合分布的逼近能力和少迭代去噪性能。
2024-01-18 cs.CV cs.LG
Self-Organizing Map assisted Deep Autoencoding Gaussian Mixture Model for Intrusion Detection
Nanyang Technological University（南洋理工大学）；Osaka University（大阪大学）
在信息时代，安全稳定的网络环境是必不可少的，因此入侵检测对于任何网络都是至关重要的。在本文中，我们提出了一种自组织映射辅助的深度自动编码高斯混合模型（SOMDAGMM），并补充了良好保存的输入空间拓扑结构，以实现更准确的网络入侵检测。深度自动编码高斯混合模型包括压缩网络和能够执行无监督联合训练的估计网络。然而，由自动编码器生成的代码在保持输入空间的拓扑方面是无能的，这根源于所采用的深层结构的瓶颈。一个自组织映射已被引入到构建SOMDAGMM来解决这个问题。在两个数据集上进行了大量的实验，经验证明了所提出的SOM-DAGMM的优越性。实验结果表明，SOM-DAGMM在所有测试上都优于最先进的DAGMM，并且在F1分数上获得了高达15.58%的提高，并且具有更好的稳定性。
2020-08-28 cs.CR cs.LG cs.SI
Potentially Predictive Variance Reducing Subsample Locations in Local Gaussian Process Regression
高斯过程模型通常用作计算机实验的仿真器。然而，开发一个高斯过程仿真器可以是计算上禁止时，实验样本的数量甚至适度大。局部高斯过程近似（Gramacy and Apley，2015）被提出作为一种精确且计算上可行的仿真替代方案。然而，构建特定于特定感兴趣位置处的预测的局部子设计仍然是该技术的实质性计算瓶颈。本文提出了两种计算效率高的邻域搜索限制技术，最大距离法和特征近似法。两个例子表明，所提出的方法确实节省了大量的计算，同时保持仿真精度。
2016-11-26 stat.CO stat.ME
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
The information bottleneck and geometric clustering
Princeton University（普林斯顿大学）；CUNY Graduate Center（纽约市立大学研究生中心）
聚类的信息瓶颈（IB）方法采用联合分布$P\!\left(X,Y\right)$，并将数据$X$映射到保留关于$Y$的最大信息的聚类标签$T$（Tishby等人，1999年）。该目标导致基于数据点的条件分布$P\!\left(Y\mid X\right)$的相似性来聚类数据点的算法。这与经典的“几何聚类”算法（例如$k$ -均值和高斯混合模型（GARCH））形成对比，该算法采用一组观察到的数据点$\left\{ \mathbf{x}_{i}\right\} _{i=1:N}$，并基于它们彼此的几何（通常为欧几里德）距离对它们进行聚类。在这里，我们展示了如何使用确定性信息瓶颈（DIB）（Strouse和Schwab，2017），IB的一种变体，通过选择保留平滑数据集上数据点位置信息的聚类标签来执行几何聚类。我们还介绍了一种新的方法来选择集群的数量，识别解决方案的基础上，使用的集群和空间信息之间的权衡是最强的。我们将这种方法应用于各种简单的聚类问题，表明DIB与我们的模型选择程序恢复生成集群标签。我们还表明，在我们的模型参数的限制，DIB和IB的聚类相当于$k$ -手段和EM拟合的GMM硬和软分配，分别。因此，聚类（D）IB推广，并提供了一个信息理论的角度来看，这些经典的算法。
2020-05-31 cs.AI cs.IT cs.LG
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes
该研究推导了宽极限下带高斯参数和Lipschitz激活的随机深度神经网络高斯逼近的新速率，证明其收敛快于中心极限定理的朴素结果，并将界用于贝叶斯后验的理论逼近。
2023-12-18 math.PR math.ST stat.ML
MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation
高斯过程（GP）是一种在许多应用中流行的非线性概率模型。然而，简单的GP实现需要二次存储器来存储协方差阵和三次计算来执行推断或评估似然函数。这些瓶颈推动了对近似GP替代方案的开发的大量投资，这些替代方案可扩展到现代数据驱动应用程序中常见的大数据大小。在这篇手稿中，我们提出了一种新的有效的GP超参数估计方法MuyGPs。MuyGPs建立在利用数据最近邻结构的现有方法基础上，并使用留一交叉验证来优化协方差（内核）超参数，而不会实现可能昂贵的可能性。我们详细描述了我们的模型和方法，并比较我们的实现对最先进的竞争对手在基准空间统计学问题。我们表明，我们的方法优于所有已知的竞争对手，无论是在时间的解决方案和根均方误差的预测。
2021-04-29 stat.CO stat.ML
Scalable Inference for Space-Time Gaussian Cox Processes
对数高斯Cox过程是一种灵活而流行的点模式模型，用于捕获点模式的空间和时空依赖性。模型拟合需要通过在感兴趣的域上离散化来实现随机积分的近似。对于精细尺度离散化，基于马尔可夫链蒙特卡罗的推断在计算上是繁重的，因为对于与潜在高斯变量相关联的高维协方差阵，矩阵分解和存储（例如Cholesky）的成本。本文通过结合两个最新的发展来解决这些计算瓶颈：（i）已经为时空高斯考克斯过程提出的数据增强策略，其基于精确的贝叶斯推断并且不需要用于无限维积分的细网格近似，以及（ii）最近开发的稀疏诱导高斯过程族，称为最近邻高斯过程，以避免昂贵的矩阵计算。我们的推理是在完全基于模型的贝叶斯范式内进行的，并且不会牺牲传统对数高斯Cox过程的丰富性。我们将我们的方法应用于旧金山的犯罪事件数据，并研究强度表面的恢复。
2018-10-22 stat.CO
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI（微软研究院人工智能）
具有随机权重和偏差的宽神经网络是高斯过程，正如Neal（1995）最初观察到的那样，最近Lee et al.（2018）和Matthews et al.（2018）观察到的深度全连接网络，以及Novak et al.（2019）和Garriga-Alonso et al.（2019）观察到的深度卷积网络。我们发现，这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络，包括多层感知器，RNN（例如LSTM，GRU），（nD或图）卷积，池化，跳过连接，注意力，批量归一化和/或层归一化。更一般地说，我们引入了一种语言来表达神经网络计算，我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang（2019）中制定的 * 张量程序 * 技术的教程，并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Compositionally-warped additive mixed modeling for a wide variety of non-Gaussian spatial data
随着地理信息系统的发展，非高斯空间数据集变得越来越大，越来越多样化。本研究开发了一个快速灵活的非高斯回归，特别是空间/时空建模的一般框架。开发的模型，被称为成分翘曲的加性混合模型（CAMM），结合了添加剂混合模型（AMM）和成分翘曲的高斯过程建模各种各样的非高斯连续数据，包括空间和其他影响。建议的CAMM的一个具体的优点是，它不需要显式的数据分布假设不同于现有的AMM。蒙特卡罗实验表明，CAMM的估计精度和计算效率的建模非高斯数据，包括厚尾和/或偏态分布。最后，将该模型应用于犯罪数据，以检验回归分析和预测的实证性能。结果表明，CAMM提供了直观合理的系数估计，并在预测精度方面优于AMM。CAMM被证明是一个快速和灵活的模型，有可能涵盖各种非高斯数据建模。所提出的方法是在R包spmoran中实现的。
2021-06-22 stat.ME
Vecchia approximated Bayesian heteroskedastic Gaussian processes
Virginia Tech（弗吉尼亚理工大学）
本文提出了一种基于Vecchia近似的贝叶斯异方差高斯过程，通过椭圆切片采样提升后验方差积分效率，有效解决大规模模拟中的计算瓶颈问题。
2026-02-27 stat.CO stat.ME
Estimating drift parameters in a non-ergodic Gaussian Vasicek-type model
研究了一类非遍历Gaussian Vasicek型模型$dX_t=(μ+θX_t)dt+dG_t,\ t\geq0$的参数估计问题，其中参数$θ>0$和$μ\in\mathbb{R}$均为未知，其中$G$为高斯过程.基于连续时间观测值$\{X_t,\ t\in[0,T]\}$作为$T\rightarrow\infty$，分别给出了漂移参数$θ$和$μ$的最小二乘估计$\widetildeθ_T$和$\widetildeμ_T$.我们的目的是得到驱动高斯过程$G$的一些充分条件，以保证$\widetildeθ_T$和$\widetildeμ_T$是强相容的，$\widetildeθ_T$的极限分布是Cauchy型分布，$\widetildeμ_T$是渐近正态的.我们应用我们的结果分数Vasicek，亚分数Vasicek和bifractional Vasicek过程。此外，本文的工作推广了\cite{EEO}在$μ=0$ .
2020-05-09 math.PR math.ST stat.TH
Berry-Esseen bounds of second moment estimators for Gaussian processes observed at high frequency
设$Z:=\{Z_t,t\geq0\}$为平稳高斯过程。本文研究了$\mathbb{E}[Z_0^2]$的两个估计，即$\widehat{f}_T(Z):= \frac{1}{T} \int_{0}^{T} Z_{t}^{2}dt$和$\widetilde{f}_n(Z) :=\frac{1}{n} \sum_{i =1}^{n} Z_{t_{i}}^{2}$，其中$ t_{i} = i Δ_{n}$，$ i=0,1,\ldots, n $，$Δ_{n}\rightarrow 0$和$ T_{n} := n Δ_{n}\rightarrow \infty$ .我们证明了这两个估计是强相合的，并建立了涉及$\widehat{f}_T(Z)$和$\widetilde{f}_n(Z)$的中心极限定理的Berry-Esseen界。我们将这些结果应用于渐近平稳高斯过程，并估计高斯Ornstein-Uhlenbeck过程的漂移参数。
2021-02-09 math.PR math.ST stat.TH
Gaussian process regression for survival time prediction with genome-wide gene expression
基于他/她的全基因组基因表达预测癌症患者的生存时间仍然是一个具有挑战性的问题。对于某些类型的癌症，基因表达对生存的影响既微弱又丰富，因此很难以合理的准确度识别非零效应。作为使用变量选择的方法的替代方案，我们提出了一个高斯过程加速失效时间模型，使用全基因组或全通路基因表达数据来预测生存时间。使用蒙特卡罗期望最大化算法，我们联合插补截尾对数生存时间和估计模型参数。我们证明了我们的方法的性能和现有的方法在模拟和真实数据分析的优势。我们分析的真实数据来自513名肾透明细胞癌患者，包括生存时间，人口统计学/临床变量和超过20，000个基因的表达。我们的方法是广泛适用的，因为它可以适应右，左，和区间删失的结果;并提供了一种自然的方式来结合多种类型的高维组学数据。实现我们方法的R包可以在线获得。
2018-08-30 stat.ME
A note on Linear Bottleneck networks and their Transition to Multilinearity
University of California, San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute（哈利哲奥卢数据科学研究所）
随机初始化的宽神经网络随着宽度的增长过渡到权重的线性函数，在初始化周围的半径为$O(1)$的球中。该结果的必要条件是网络的所有层都足够宽，即，所有宽度趋于无穷大。然而，当这种无限宽度假设被违反时，向线性的过渡就中断了。在这项工作中，我们表明，线性网络的瓶颈层学习双线性函数的权重，在一个球的半径$O(1)$周围的初始化。通常，对于$B-1$瓶颈层，网络是权值的度$B$多线性函数。重要的是，度只取决于瓶颈的数量，而不是网络的总深度。
2022-06-30 cs.LG stat.ML
Learning Robust Variational Information Bottleneck with Reference
Aalborg University（奥尔堡大学）；University of Glasgow（格拉斯哥大学）；University of Liverpool（利物浦大学）
我们提出了一种新的方法来训练变信息瓶颈（VIB），提高其鲁棒性对抗扰动。与传统的分类方法中硬标签的使用不同，我们在训练阶段使用软标签来细化分类信息，软标签是从预训练的参考神经网络中获得的，可以反映原始类别标签的可能性。我们还放宽了高斯后验假设在VIB实现通过使用互信息神经估计。使用MNIST和CIFAR-10数据集进行了大量的实验，结果表明，我们提出的方法显着优于基准模型。
2021-04-29 cs.LG stat.ML
On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views
本教程着重于从信息论的角度来看瓶颈问题的变体，并讨论解决它的实用方法，以及它与编码和学习方面的联系。在对数损失失真度量下，这种设置与远程源代码编码的密切联系，信息组合，共同重建，Wyner-Ahlswede-Korner问题，投资信息的效率，以及泛化，变分推理，表示学习，自动编码器等突出显示。我们讨论了其扩展的分布式信息瓶颈问题，重点是高斯模型和突出的基本连接的上行链路云无线接入网络（CRAN）与不经意的处理。对于该模型，相关性（即，信息）和复杂性（即，率）的离散和矢量高斯框架。在最后的展望中，提到了一些有趣的问题，如功率限制下的最佳输入（“功能”）分布的特性，最大限度地提高“相关性”的高斯信息瓶颈，在“复杂性”的约束。
2020-01-31 cs.IT math.IT stat.ML
