A Trace-restricted Kronecker-Factored Approximation to Natural Gradient
Tianjin University(天津大学);Huawei Technologies(华为技术有限公司);Beijing University of Technology(北京工业大学)
二阶优化方法具有通过曲率矩阵修改梯度来加速收敛的能力。已经有许多尝试使用二阶优化方法来训练深度神经网络。受对角逼近和Kronecker-Factored Approximate Curvature(KFAC)等因子逼近方法的启发,提出了一种新的Fisher信息矩阵(Fisher information matrix)的迹限制Kronecker-Factored Approximate Curvature(TKFAC)逼近方法,该方法能够保持精确信息矩阵和近似信息矩阵之间的迹关系.在TKFAC中,我们将近似矩阵的每个块分解为两个较小矩阵的Kronecker积,并通过与迹相关的系数进行缩放。从理论上分析了TKFAC的逼近误差,给出了逼近误差的上界,并提出了一种新的阻尼技术,用于卷积神经网络上的TKFAC,以保持二阶优化方法在训练过程中的优势。实验表明,我们的方法具有更好的性能相比,一些国家的最先进的算法在一些深度网络架构。
2020-11-21 cs.LG math.OC stat.ML
Optimizing Neural Networks with Kronecker-factored Approximate Curvature
University of Toronto(多伦多大学)
我们提出了一种有效的方法来近似自然梯度下降的神经网络,我们称之为克罗内克因子近似曲率(K-FAC)。K-FAC是基于一个有效的可逆近似的神经网络的Fisher信息矩阵,既不是对角也不是低秩,在某些情况下是完全非稀疏的。它是通过近似费舍尔的各种大块(对应于整个层)作为两个小得多的矩阵的克罗内克积而得出的。虽然计算成本仅比普通随机梯度高几倍,但K-FAC产生的更新在优化目标方面取得了更大的进展,这导致实际上可以比具有动量的随机梯度下降快得多的算法。与之前提出的一些使用高质量非对角曲率矩阵(如Hessian-free优化)的近似自然梯度/牛顿方法不同,K-FAC在高度随机的优化机制中工作得非常好。这是因为存储K-FAC近似值并将其求逆到曲率矩阵的成本不取决于用于估计它的数据量,这是通常仅与曲率矩阵的对角或低秩近似相关联的特征。
2020-06-08 cs.LG cs.NE stat.ML
Continual Learning with Extended Kronecker-factored Approximate Curvature
KAIST(韩国科学技术院)
我们提出了一个二次惩罚的神经网络,包含批量归一化(BN)层的持续学习方法。损失函数的Hessian表示二次罚函数的曲率,Kronecker因子近似曲率(K-FAC)被广泛用于计算神经网络的Hessian。然而,如果示例之间存在依赖性,则近似是无效的,这通常是由深网络架构中的BN层引起的。我们扩展了K-FAC方法,以便考虑到样本间的关系,并且可以在实际假设下适当地近似深度神经网络的Hessian。我们还提出了一种权重合并和重新参数化的方法来正确处理BN的统计参数,这对BN的持续学习起着至关重要的作用,以及一种在没有源任务数据的情况下选择超参数的方法。我们的方法在具有BN层的排列MNIST任务中以及从ImageNet分类任务到ResNet-50的细粒度分类任务的顺序学习中表现出比基线更好的性能,而无需显式或隐式使用源任务数据进行超参数选择。
2020-04-16 cs.CV cs.LG stat.ML
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research(谷歌研究院);Georgia Tech(佐治亚理工学院)
低秩张量分解推广了低秩矩阵近似,是发现高维数据中低维结构的有力技术。在本文中,我们研究了塔克分解,并使用随机数值线性代数的工具,称为岭杠杆分数,以加速核心张量更新步骤中广泛使用的交替最小二乘(ALS)算法。更新核心张量是ALS中的一个严重瓶颈,是一个高度结构化的岭回归问题,其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例,使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外,我们表明,经典的杠杆分数足以作为近似值,这使我们能够利用克罗内克结构并及时更新核心张量,这主要取决于秩和草图参数(即,在输入张量的大小上是次线性的)。我们还给出了脊杠杆分数的上限,因为行从设计矩阵中删除(例如,如果张量有丢失的条目),我们证明了我们的近似岭回归算法的有效性大,低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
Stochastic Neural Network with Kronecker Flow
Mila(米拉);Facebook Research(脸书研究院);Element AI(元素人工智能);CIFAR Fellow(加拿大高级研究院会士)
变分推理的最新进展,使高度结构化的联合分布的建模,但在其能力有限的随机神经网络的高维设置的规模。这种限制激发了对噪声生成过程的可扩展参数化的需求,其方式是充分捕获各种参数之间的依赖性。在这项工作中,我们解决了这一需要,并提出了克罗内克流,广义的克罗内克产品可逆映射设计的随机神经网络。我们将我们的方法应用于变分贝叶斯神经网络的预测任务,PAC贝叶斯泛化界估计,并在上下文土匪近似汤普森采样。在所有设置中,我们的方法被证明与现有方法具有竞争力,并且优于基线。
2020-02-13 cs.LG stat.ML
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology(东京工业大学计算学院);NVIDIA(英伟达);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心);RIKEN Center for Computational Science(理化学研究所计算科学中心)
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题,或者对批量归一化进行一些特别的修改。我们提出了一种替代方法,使用二阶优化方法,表现出类似的泛化能力,一阶方法,但收敛速度更快,可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法,我们在ImageNet上训练ResNet-50。对于小于16,384的小批量,我们在35个epoch中收敛到了75%的Top-1验证准确率,即使小批量为131,072,也达到了75%,这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
Blitzkriging: Kronecker-structured Stochastic Gaussian Processes
我们提出了Blitzkriging,一种新的方法来快速推断高斯过程,适用于回归,优化和分类。非常大的数据集上的高斯过程的最先进的(随机)推理在“诱导输入”的数量上按立方缩放,引入变量以分解模型。Blitzkriging与数据共享最先进的缩放,但将诱导点数量的缩放减少到近似线性。此外,与其他方法相比,Blitzkriging:不强制数据符合任何特定的结构(包括网格状);减少对诱导点位置的易出错优化的依赖;并且能够从数据中学习丰富的(协方差)结构。我们展示了我们的方法在回归,时间序列预测和信号插值实验中对真实数据的好处。
2015-10-31 stat.ML
Approximating Real-Time Recurrent Learning with Random Kronecker Factors
ETH Zürich(苏黎世联邦理工学院)
尽管递归神经网络取得了令人印象深刻的进步,但序列数据仍然需要更好的建模。实时递归学习算法RTRL(实时的【形】Recurrent Learning algorithm)解决了截断偏差问题,但由于其计算量大,无法实现实时递归学习,因此在实际应用中,TBPTT(Truncated backpropagation through time)算法存在截断偏差,严重限制了其学习长期依赖关系的能力。无偏在线递归优化算法(UORO)以较小的运行时间和内存开销近似RTRL,但其缺点是获得噪声梯度,这也限制了其实用性。在本文中,我们提出了Kronecker因子RTRL(KF-RTRL)算法,该算法使用Kronecker乘积分解来近似一大类RNN的梯度。我们表明,KF-RTRL是一个无偏的和记忆有效的在线学习算法。我们的理论分析表明,在合理的假设下,我们的算法引入的噪声不仅是稳定的,随着时间的推移,而且渐近远小于一个的UORO算法。我们也证实了这些理论结果的实验。此外,我们的经验表明,KF-RTRL算法捕获长期的依赖关系,几乎匹配TBPTT在现实世界中的任务的性能训练循环公路网络上的合成字符串记忆任务和Penn TreeBank任务,分别。这些结果表明,RTRL为基础的方法可能是一个有前途的未来替代TBPTT。
2018-12-05 cs.LG stat.ML
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
本文针对现代神经网络中带权重共享的线性层,提出 K-FAC-expand 和 K-FAC-reduce 两种二阶优化变体,证明其在深度线性网络中的精确性,并在图神经网络和视觉 Transformer 上验证了显著加速训练的效果。
2024-01-11 cs.LG stat.ML
EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
减少神经网络的测试时间资源需求,同时保持测试准确性,对于在资源受限的设备上运行推理至关重要。为了实现这一目标,我们引入了一种新的网络重新参数化的基础上的克罗内克因子特征基(KFE),然后在此基础上应用基于海森的结构化修剪方法。与现有的基于Hessian的修剪算法在参数坐标中进行修剪不同,我们的方法在KFE中工作,其中不同的权重近似独立,从而实现准确的修剪和快速计算。我们通过大量的实验证明了所提出的方法的有效性。特别是,我们强调这些改进对于更具挑战性的数据集和网络尤为重要。在精度损失可以忽略不计的情况下,迭代修剪版本在宽ResNet 32上将模型大小减少10 $\times$,将FLOP减少8 $\times$。
2019-05-15 cs.LG stat.ML
Scalable Gaussian Processes with Latent Kronecker Structure
Meta;University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems, Tübingen(图宾根Max Planck智能系统研究所)
本文提出利用潜在克罗内克结构表示观测核矩阵,结合迭代求解器和路径条件化,在多达五百万样本的数据集上实现精确高斯过程推断,超越现有稀疏和变分方法。
2025-08-16 cs.LG stat.ML
An iterative K-FAC algorithm for Deep Learning
Kronecker因子近似曲率(K-FAC)方法是一种用于深度学习的高效二阶优化算法。它的训练时间比SGD(或其他一阶方法)少,在许多大规模问题中具有相同的精度。K-FAC的关键是将Fisher信息矩阵近似为块对角矩阵,其中每个块是微小Kronecker因子的逆。本文提出了一种新的迭代K-FAC算法--CG-FAC。它采用共轭梯度法来逼近自然梯度。这种CG-FAC方法是无矩阵的,即不需要生成矩阵,也不需要生成Kronecker因子A和G。我们证明了迭代CG-FAC算法的时间复杂度和内存复杂度远小于标准K-FAC算法。
2021-01-01 cs.LG cs.NA math.NA
Scaling Gaussian Processes for Learning Curve Prediction via Latent Kronecker Structure
Meta;University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
提出潜在Kronecker结构的高斯过程方法,在处理缺失值的同时降低计算复杂度,并在学习曲线预测任务上达到Transformer的性能。
2024-10-11 cs.LG stat.ML
Finite sample rates of convergence for the Bigraphical and Tensor graphical Lasso estimators
University of California, Riverside(加州大学河滨分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文改进了Bigraphical和TeraLasso估计量的收敛速率,解决了两种方式模型中有限样本误差的理论保证问题。
2025-12-20 math.ST stat.TH
KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization
本文提出KrAD分解与KrADagrad优化器,通过直接近似逆经验Fisher矩阵避免矩阵求逆,在32位精度下以与Shampoo相近的计算成本取得更好或可比的优化与泛化性能。
2023-05-30 cs.LG stat.ML
Interpretable Machine Learning for Kronecker Coefficients
University of New Hampshire(新罕布什尔大学);University of Connecticut(康涅狄格大学);Korea Institute for Advanced Study(韩国高等研究院);Northeastern University(东北大学);NSF Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能与基本相互作用研究所)
本文用可解释机器学习预测对称群 Kronecker 系数是否为零,结合分拆三元组与嵌入主成分 b-loadings,获得约83%准确率及显式决策公式,transformer 模型准确率超过99%。
2025-02-17 cs.LG math.CO math.RT
Thoughts on Massively Scalable Gaussian Processes
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们介绍了大规模可扩展高斯过程(MSGP)的框架和早期结果,显著扩展了Wilson和Nickisch(2015)的KISS-GP方法。MSGP框架允许在数十亿个数据点上使用高斯过程(GP),而不需要分布式推理或严格的假设。具体地,MSGP将GP学习和推断的标准$O(n^3)$复杂度降低到$O(n)$,并且将每个测试点预测的标准$O(n^2)$复杂度降低到$O(1)$。MSGP涉及1)将协方差矩阵分解为由循环矩阵近似的Toeplitz矩阵的Kronecker乘积。这种多级循环近似允许统一快速Kronecker和Toeplitz方法的正交计算益处,并且明显快于孤立的任一方法; 2)局部核插值和诱导点,以允许任意定位的数据输入和$O(1)$测试时间预测; 3)利用块-Toeplitz-块结构(BTTB),在不存在多维Kronecker结构的情况下实现快速推理和学习;以及4)输入空间的投影以灵活地对相关输入和高维数据进行建模。处理许多($m \approx n$)诱导点的能力允许接近精确的准确性和大规模的内核学习。
2015-11-05 cs.AI cs.LG stat.ME
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University(哥伦比亚大学)
我们考虑了实际随机拟牛顿的发展,特别是Kronecker因子块对角BFGS和L-BFGS方法,用于训练深度神经网络(DNN)。在DNN训练中,梯度$n$的变量和分量的数量通常是数千万的量级,并且Hessian具有$n^2$元素。因此,计算和存储完整的$n \times n$ BFGS近似或存储适度数量的(步长、梯度变化)向量对以用于L-BFGS实现是不可能的。在我们提出的方法中,我们通过块对角矩阵来近似Hessian,并使用梯度和Hessian的结构来进一步近似这些块,每个块对应于一个层,作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法,该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性,我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中,我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
Optimal Sketching for Kronecker Product Regression and Low Rank Approximation
Northeast Normal University(东北师范大学);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Microsoft Research New York(微软研究院纽约分院);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
我们研究克罗内克积回归问题,其中设计矩阵是两个或多个矩阵的克罗内克积。给定$A_i \in \mathbb{R}^{n_i \times d_i}$为$i=1,2,\dots,q$,其中$n_i \gg d_i$为每个$i$和$b \in \mathbb{R}^{n_1 n_2 \cdots n_q}$,设$\mathcal{A} = A_1 \otimes A_2 \otimes \cdots \otimes A_q$。那么对于$p \in [1,2]$,目标是找到近似最小化$\|\mathcal{A}x - b\|_p$的$x \in \mathbb{R}^{d_1 \cdots d_q}$。最近,Diao,Song,Sun和Woodruff(AISTATS,2018)给出了一种算法,该算法比形成Kronecker积$\mathcal{A}$更快具体地说,对于$p=2$,它们的运行时间是$O(\sum_{i=1}^q \text{nnz}(A_i) + \text{nnz}(b))$,其中nnz $(A_i)$是$A_i$中非零条目的数量。注意,nnz $(b)$可以和$n_1 \cdots n_q$一样大。对于$p=1,$、$q=2$和$n_1 = n_2$,它们实现了更差的$O(n_1^{3/2} \text{poly}(d_1d_2) + \text{nnz}(b))$界…
2019-09-29 cs.DS cs.LG stat.ML
BALI: Learning Neural Networks via Bayesian Layerwise Inference
NXAI GmbH(NXAI有限公司);Hasso Plattner Institute(哈索·普拉特纳研究所);Airbus Central Research & Technology(空客中央研究技术部)
BALI将贝叶斯神经网络视为多层贝叶斯线性回归堆叠,利用前向层输出与反向梯度构造伪目标以精确推断逐层后验,并通过指数移动平均支持小批量训练,在多个基准上取得领先性能。
2024-11-18 cs.LG stat.ML
An Easy to Interpret Diagnostic for Approximate Inference: Symmetric Divergence Over Simulations
概率推理算法的误差估计是一个重要问题。现有的马尔可夫链蒙特卡罗方法的诊断假设推理是渐近精确的,并不适合近似方法,如变分推理或拉普拉斯方法。本文介绍了一种诊断的基础上反复模拟数据集从先验和执行推理的每一个。中心的观察是,它是可能的,以估计一个对称的KL发散定义在这些模拟。
2021-02-25 cs.LG stat.ML
Efficient Approximate Inference with Walsh-Hadamard Variational Inference
EURECOM(欧洲通信学院)
变分推断提供了可扩展和灵活的工具来解决现代统计模型(如贝叶斯神经网络和高斯过程)的棘手贝叶斯推断。然而,对于大部分过参数化模型,变分目标的过正则化性质使得变分推断的应用具有挑战性。受核方法文献的启发,特别是随机矩阵分布的结构化近似,本文提出了Walsh-Hadamard变分推断,它使用基于Walsh-Hadamard的因子分解策略来减少模型参数化,加速计算,并增加近似后验的表达能力。
2019-11-29 cs.LG stat.ML
Thompson Sampling with Approximate Inference
College of Information and Computer Science(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);VinAI(VinAI研究院)
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法,但需要后验推理,这往往必须在实践中近似。我们表明,即使是小的常数推理错误($α$发散),也会导致性能不佳(线性遗憾),这是由于近似的探索不足(对于$α<1$)或过度探索(对于$α>0$)。对于$α> 0$,这是不可避免的,而对于$α\leq 0$,即使当推理误差是一个大的常数时,也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
贝叶斯模型量化不确定性,并促进下游应用的最佳决策。然而,对于大多数模型,从业者被迫使用近似推理技术,由于不正确的后验预测分布,导致次优决策。我们提出了一种新的方法,通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型,使最佳决策下的近似后验,结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序,无论后验推理策略。我们证明了经验的方法在几个问题,确认其潜力。
2019-09-11 cs.LG stat.ML
Approximate Inference for Spectral Mixture Kernel
KAIST(韩国科学技术院)
光谱混合(SM)核是用于对任何平稳协方差函数建模的灵活核。虽然它在建模数据中是有用的,但SM内核的学习通常是困难的,因为优化SM内核的大量参数通常会引起过拟合,特别是当使用基于梯度的优化时。此外,还需要更长的培训时间。为了提高训练,我们提出了一个近似的贝叶斯推断的SM内核。具体地说,我们采用的光谱点的变分分布近似SM核与随机傅立叶特征。我们优化变分参数应用基于采样的变分推断推导出的证据下界(ELBO)估计构造的近似内核。为了改进推理,我们进一步提出了两个额外的策略:(1)谱点的采样策略,以可靠地估计ELBO估计量及其相关梯度,以及(2)近似自然梯度,以加速参数的收敛。提出的推理结合两种策略,加快了参数的收敛速度,并导致更好的最优参数。
2020-06-12 cs.LG stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Better Approximate Inference for Partial Likelihood Models with a Latent Structure
Carnegie Mellon University(卡内基梅隆大学)
时间点过程(TPP)的部分可能性涉及一个潜在的结构往往会带来一个棘手的边缘化,从而使推理困难。我们提出了一种新的方法,最大似然估计(MLE)涉及近似推理的潜在变量,通过最小化一个紧密的上限上的近似差距。给定一个离散的潜在变量$Z$,所提出的近似减少推理复杂度从$O(|Z|^c)$到$O(|Z|)$。我们使用凸共轭,以确定这个上限在一个封闭的形式,并表明,它除了优化目标的结果在改进的结果模型假设比例风险在生存分析。
2019-12-19 cs.LG stat.ML
Approximate Inference and Stochastic Optimal Control
University of Edinburgh(爱丁堡大学);TU Berlin(柏林工业大学)
我们提出了一种新的随机最优控制问题的近似推理问题,证明,这样的解释导致新的实际方法为原来的问题。特别地,我们提出了一类新的迭代解的随机最优控制问题的基础上自然松弛的确切的对偶制定。这些理论见解被应用于强化学习问题,在那里它们导致新的模型自由,关闭离散和连续问题的政策方法。
2010-09-20 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Likelihood approximations via Gaussian approximate inference
Australian National University(澳大利亚国立大学)
本文针对非高斯似然导致后验不可处理的问题,结合变分推断与变换基矩匹配构造高斯似然近似,在分类、大规模推断和流式任务中取得更优效果。
2024-10-28 cs.LG stat.ML
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Approximate Inference with Amortised MCMC
University of Cambridge(剑桥大学);Dartmouth College(达特茅斯学院)
我们提出了一种新的近似推理算法,通过摊销用户选择的MCMC采样器的动态来近似目标分布。其思想是使用近似网络的样本初始化MCMC,应用MCMC算子来改进这些样本,最后使用样本更新近似网络,从而提高其质量。这为近似推理提供了一个新的通用框架,使我们能够部署高度复杂的或隐式定义的具有难以处理的密度的近似族,包括通过深度神经网络扭曲随机源产生的近似。实验将使用深度生成模型的图像建模视为对该方法的挑战性测试。使用摊销MCMC训练的深度模型可以生成逼真的样本,并为具有缺失像素区域的图像产生不同的估算。
2017-05-22 cs.LG stat.ML
Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
Amazon Development Center, Germany(亚马逊开发中心(德国))
针对线性状态空间模型,提出了一种可扩展的鲁棒贝叶斯推断方法.该方法被应用到需求预测的背景下,一个大型电子商务平台,特别注意间歇性和突发性的目标统计。推理近似的牛顿-拉夫森算法,减少到线性时间卡尔曼平滑,这使我们能够操作几个数量级以上的问题比以前的相关工作。在对大型真实世界销售数据集的研究中,我们的方法在快速和中等移动项目上优于竞争方法。
2017-09-22 cs.LG stat.ML
On Batch Normalisation for Approximate Bayesian Inference
University of Oxford(牛津大学)
我们研究批量归一化的背景下,变分推理方法在贝叶斯神经网络,如平均场或MC辍学。我们表明,批量归一化不影响最佳的证据下限(ELBO)。此外,我们研究了蒙特卡罗批量归一化(MCBN)算法,提出了一种近似推理技术平行MC辍学,并表明,对于较大的批量大小,MCBN未能捕捉认知的不确定性。最后,我们提供的见解是什么需要解决这个问题,即必须查看小批量作为MCBN的变参数。我们评论的渐近ELBO相对于这个变分参数,表明随着数据集大小增加到无穷大,批量大小必须增加到无穷大,以及MCBN是一个有效的近似推理技术。
2020-12-24 cs.LG stat.ML
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
在本文中,我们介绍了深度概率集成(DPEs),这是一种可扩展的技术,它使用正则化集成来近似深度贝叶斯神经网络(BNN)。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标,来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计,用于视觉分类的主动学习。随着注释预算的增加,我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
Mind Foundry Ltd(Mind Foundry有限公司)
本文提出分布变换器,一种能够学习任意分布到分布映射的新型架构,通过实时先验适应实现快速近似贝叶斯推断,显著降低计算时间并达到与现有方法相当或更优的对数似然性能。
2026-05-18 cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
虽然深度学习方法在广泛的应用领域中继续提高预测准确性,但其性能的其他方面仍然存在重大问题,包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺,但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中,我们描述了URSABench(不确定性,鲁棒性,可扩展性和准确性基准测试)的开发工作,这是一个开源的基准测试工具套件,用于全面评估近似贝叶斯推理方法,重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University(哥伦比亚大学);Morgan Stanley(摩根大通)
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响,证明LinTS和LinBUCB保持原始遗憾速率但常数增大,且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
The DLR Hierarchy of Approximate Inference
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of California(加利福尼亚大学)
我们提出了一个层次的Dobrushin,Lanford,Ruelle(DLR)方程的基础上近似推理。这个层次结构包括现有的算法,如信念传播,也激发了新的算法,如因子分解邻居(FN)算法和变种的平均场(MF)算法。特别是,我们表明,极值的贝特自由能对应的DLR方程的近似解。此外,我们证明了这些近似算法和吉布斯采样之间的密切联系。最后,我们比较和对比各种算法在DLR层次上的自旋玻璃问题。实验表明,层次结构中较高的算法在收敛时给出更准确的结果,但往往不太稳定。
2012-07-04 cs.LG stat.ML
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的近似推理方法的扩散过程的基础上,Wasserstein梯度流公式的扩散。在这个公式中,随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域,禁止其应用领域在几个维度以上。相反,我们提出了一种无离散化的推理方法,直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性,并评估它的非线性过滤任务,发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Foundation Posteriors for Approximate Probabilistic Inference
Stanford University(斯坦福大学)
概率程序为生成模型提供了一种表达性的表示语言。给定一个概率程序,我们对后验推理的任务感兴趣:在给定一组观测变量的情况下估计一个潜在变量。用于概率程序中的推理的现有技术通常需要选择许多超参数,在计算上是昂贵的,和/或仅适用于有限类别的程序。在这里,我们将推理公式化为掩码语言建模:给定一个程序,我们生成一个变量和赋值的监督数据集,并随机掩码赋值的子集。然后,我们训练一个神经网络来揭开随机值,定义一个近似的后验分布。通过在一系列程序中优化单个神经网络,我们分摊了训练成本,产生了一个“基础”后验模型,能够为新程序进行zero-shot推理。基础后验也可以通过优化变分推理目标来针对特定程序和数据集进行微调。我们在STAN程序的基准测试中展示了该方法(zero-shot和微调)的有效性。
2022-08-31 cs.LG stat.ML
Optimal Regret Is Achievable with Bounded Approximate Inference Error: An Enhanced Bayesian Upper Confidence Bound Framework
Columbia University(哥伦比亚大学);Adobe Inc.(Adobe公司)
针对近似推断下贝叶斯老虎机算法的理论空白,提出EBUCB框架,证明在两种α散度误差有界时实现最优遗憾O(log T),并指出单一散度不足以保证亚线性遗憾。
2023-11-10 cs.LG stat.ML
On the Expressiveness of Approximate Inference in Bayesian Neural Networks
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
虽然贝叶斯神经网络(BNN)有望成为灵活的、校准良好的统计模型,但推理通常需要近似,其结果知之甚少。我们研究了常见的变分方法在近似贝叶斯预测分布的质量。对于单隐藏层ReLU BNN,我们证明了在权重空间中定义的两种最常用分布的函数空间中的基本限制:平均场高斯分布和蒙特卡罗dropout分布。我们发现,在一些简单的情况下,两种方法都不能大幅增加低不确定性的分离区域之间的不确定性。我们提供了强有力的经验证据,确切的推理没有这种病理,因此,它是由于近似,而不是模型。相比之下,对于深度网络,我们证明了一个普适性结果,表明在上述类别中存在近似后验,提供了灵活的不确定性估计。然而,我们根据经验发现,当在更深的网络中执行变分推断时,与单隐藏层情况类似形式的病理可以持续存在。我们的研究结果激励仔细考虑BNN近似推理方法的影响。
2020-10-23 cs.LG stat.ML
Cycle-Consistent Adversarial Learning as Approximate Bayesian Inference
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
我们正式学习域间的对应关系的问题,在没有成对的数据作为贝叶斯推断的潜变量模型(LVM),其中一个寻求潜在的隐藏表示的实体从一个域的实体从其他域。首先,我们引入隐式潜变量模型,其中隐藏表示的先验可以灵活地指定为隐式分布。接下来,我们开发了一个新的变分推断(VI)算法,该模型的基础上最小化的对称Kullback-Leibler(KL)之间的分歧变分联合和确切的联合分布。最后,我们证明了最先进的周期一致性对抗学习(CYCLEGAN)模型可以作为我们提出的VI框架中的特例导出,从而建立了与近似贝叶斯推断方法的联系。
2018-08-24 cs.LG stat.ML
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心(FCAI))
针对非共轭高斯过程中近似推断与超参数学习耦合的问题,提出结合共轭计算VI与类EP边际似然近似的混合训练方法,并在多数据集上验证其优于VI、EP和Laplace近似。
2023-06-07 cs.LG stat.ML
On Approximate Inference for Generalized Gaussian Process Models
City University of Hong Kong(香港城市大学)
广义高斯过程模型(GPPM)是一个统一的框架,它包含了许多现有的高斯过程(GP)模型,如GP回归,分类和计数。在GGPM框架中,GP模型的观测似然性本身使用指数族分布(EFD)进行参数化。在本文中,我们认为有效的算法GGPMs使用一般形式的EFD的近似推理。然后,可以通过改变EFD的参数来形成特定的GP模型及其相关的推理算法,从而大大简化了针对特定任务的输出域的创建。我们证明了这个框架的有效性,通过创建几个新的GP模型回归到非负的reals和真正的间隔。我们还考虑了一个封闭形式的泰勒近似GGPMs的有效推理,并详细说明其与其他模型特定的启发式封闭形式近似的连接。最后,我们提出了一套全面的实验来比较各种各样的GGPMs近似推理算法。
2013-11-27 cs.CV cs.LG stat.ML
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
结构化预测能量网络(SPENs; Belanger & McCallum 2016)使用神经网络架构来定义能量函数,这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理,将结构化输出放松为一组连续变量,然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理,来代替梯度下降。这个“推理网络”输出连续值,我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面,我们报告与Belanger et al,2017相比,速度提高了10- 60倍,同时也提高了准确性。对于具有简单结构化能量的序列标记,我们的方法执行精确推理,同时在测试时更快。然后,我们证明了提高的准确性,通过增加能量与“标签语言模型“,整个输出标签序列的分数,表明它可以提高处理的长距离依赖性的词性标记。最后,我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场,建议他们的一般用途,在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta(阿尔伯塔大学)
置信传播(BP)是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案,但对于循环图形模型可能不正确或不收敛。近年来,提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者,基于区域的近似(导致诸如广义置信传播的方法)通过考虑变量的小集群内的相互作用来改进BP,从而将这些集群内的小循环考虑在内。本文介绍了一种方法,广义环路校正(GLC),受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法,然后提供经验证据表明,GLC有效地工作在一般情况下,可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
AxTrain: Hardware-Oriented Neural Network Training for Approximate Inference
Washington University in St. Louis(圣路易斯华盛顿大学);SKLCA, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所SKLCA)
神经网络内在的容错性使得近似计算成为提高神经网络推理能量效率的一种很有前途的技术。传统的近似计算侧重于平衡现有预训练网络的效率-准确性权衡,这可能导致次优解决方案。在本文中,我们提出了AxTrain,一个面向硬件的训练框架,以方便近似计算NN推理。具体来说,AxTrain利用了两种正交方法之间的协同作用-一种是主动搜索具有高容错性的网络参数分布,另一种是通过在训练阶段将近似硬件的噪声分布数值化来被动学习弹性权重。在不同数据集上采用近阈值计算和近似乘法策略的实验结果表明,AxTrain能够获得有弹性的神经网络参数,提高系统能效。
2018-05-21 cs.DC cs.LG eess.IV
Optimality of Approximate Inference Algorithms on Stable Instances
MIT(麻省理工学院);Northwestern University(西北大学)
结构化预测问题的近似算法-如LP松弛和流行的α-扩展算法(Boykov et al. 2001)-通常远远超过其在现实世界实例中的理论性能保证。这些算法通常会找到非常接近最优的解决方案。本文的目的是部分解释的性能的α-展开和LP松弛算法的MAP推理铁磁Potts模型(FPMS)。我们的主要结果给出了稳定性条件下,这两个算法可证明恢复最优MAP解决方案。这些理论结果补充了许多经验观察良好的性能。
2018-04-23 cs.AI cs.DS cs.LG
Tensor Graphical Model: Non-convex Optimization and Statistical Inference
我们考虑的估计和推理的图形模型,其特征在于高维张量值数据的依赖结构。为了便于估计与张量的每种方式相对应的精度矩阵,我们假设数据服从张量正态分布,其协方差具有Kronecker乘积结构。在这个模型的估计和推理的一个关键挑战是,它的惩罚极大似然估计涉及最小化非凸目标函数的事实。为了解决这个问题,本文做了两个贡献:(i)尽管这个估计问题的非凸性,我们证明了交替最小化算法,迭代估计每个稀疏精度矩阵,同时固定其他,达到一个最佳的统计收敛速度的估计。(ii)我们提出了一个去偏的统计推断程序来测试的真实支持的稀疏精度矩阵的假设,并采用它来测试越来越多的假设与错误发现率(FDR)的控制。建立了检验统计量的渐近正态性和FDR控制程序的一致性。我们的理论结果得到了全面的数值研究的支持,我们在自闭症谱系障碍的神经成像研究和用户广告点击分析方面的实际应用带来了新的科学发现和商业见解。所提出的方法被编码到一个公开可用的R包Tlasso。
2019-02-25 stat.ME stat.ML
Efficient Hierarchical Bayesian Inference for Spatio-temporal Regression Models in Neuroimaging
Technische Universität Berlin(柏林工业大学);University of California, San Francisco(加利福尼亚大学旧金山分校);Central China Normal University(华中师范大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
神经成像及其他领域的一些问题需要对多任务稀疏分层回归模型的参数进行推断。例子包括M/EEG逆问题,基于任务的功能磁共振成像分析的神经编码模型,和气候科学。在这些域中,要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有的工作要么忽略了时间结构,或导致计算要求的推理计划。克服这些局限性,我们设计了一种新的灵活的分层贝叶斯框架内,模型参数和噪声的时空动态建模有克罗内克积协方差结构。在我们的框架中的推理是基于优化最小化优化,并保证收敛性能。我们的高效算法利用时间自协方差矩阵的内在黎曼几何。对于由Toeplitz矩阵描述的平稳动力学,采用循环嵌入理论。我们证明了凸边界性质,并得出更新规则的算法。在M/EEG的合成和真实神经数据上,我们证明了我们的方法可以提高性能。
2021-11-23 cs.AI cs.LG eess.SP