通过二次近似改进线性化拉普拉斯近似
Improving the Linearized Laplace Approximation via Quadratic Approximations
AI总结：
本文提出QLA方法，通过二次近似改进线性化拉普拉斯近似，以提升深度神经网络的不确定性估计精度。
摘要：
深度神经网络（DNN）常常产生过度自信的分布外预测，这推动了贝叶斯不确定性量化。线性化拉普拉斯近似（LLA）通过线性化DNN并应用拉普拉斯推断来实现这一点。重要的是，线性模型也用于预测。我们认为后验中的线性化可能会降低对真实拉普拉斯近似的忠实度。为了解决这个问题，在不显著增加计算成本的情况下，我们提出了二次拉普拉斯近似（QLA）。QLA使用高效的幂迭代获得秩一因子来近似近似拉普拉斯对数后验中的每个二阶因子。QLA预计可以产生接近完整拉普拉斯的后验精度，而无需形成完整的Hessian，这通常是不可行的。对于预测，QLA也使用线性化模型。实验证明，QLA在五个回归数据集上相对于LLA产生了适度但一致的不确定性估计改进。
英文摘要：
Deep neural networks (DNNs) often produce overconfident out-of-distribution predictions, motivating Bayesian uncertainty quantification. The Linearized Laplace Approximation (LLA) achieves this by linearizing the DNN and applying Laplace inference to the resulting model. Importantly, the linear model is also used for prediction. We argue this linearization in the posterior may degrade fidelity to the true Laplace approximation. To alleviate this problem, without increasing significantly the computational cost, we propose the Quadratic Laplace Approximation (QLA). QLA approximates each second order factor in the approximate Laplace log-posterior using a rank-one factor obtained via efficient power iterations. QLA is expected to yield a posterior precision closer to that of the full Laplace without forming the full Hessian, which is typically intractable. For prediction, QLA also uses the linearized model. Empirically, QLA yields modest yet consistent uncertainty estimation improvements over LLA on five regression datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
