Bayesian Inference of Discretization Error Means in ODEs via Ensemble Kalman Filtering
Kyushu University(九州大学);The University of Osaka(大阪大学)
研究针对ODE模型数值解的离散化误差,提出基于集合卡尔曼滤波的贝叶斯推断框架,引入相关马尔可夫先验并通过两类数值实验验证其有效性。
2026-07-30 cs.NA math.NA stat.ME
Toward Equation of Motion for Deep Neural Networks: Continuous-time Gradient Descent and Discretization Error Analysis
NEC Corporation(日本电气股份有限公司)
我们推导并求解了深度神经网络(DNN)的“运动方程”(EoM),这是一个精确描述DNN离散学习动态的微分方程。微分方程是连续的,但甚至在离散优化(梯度下降(GD)算法)的研究中也发挥了重要作用。然而,由于离散化误差,微分方程和DNN的实际学习动态之间仍然存在差距。在本文中,我们从梯度流(GF),并推导出一个计数器项,消除了GF和GD之间的离散误差。其结果是,我们得到EoM,一个连续的微分方程,精确地描述了GD的离散学习动力学。我们还推导出离散误差,以显示在何种程度上EoM是精确的。此外,我们将EoM应用于两种特定情况:尺度不变层和消隐不变层。EoM突出了连续时间和离散时间GD之间的差异,表明计数器项对于更好地描述GD的离散学习动态的重要性。我们的实验结果支持我们的理论研究结果。
2023-02-27 cs.LG stat.ML
Discretization-invariant Bayesian inversion and Besov space priors
考虑了一个间接测量反问题的贝叶斯解$M = AU + {\mathcal{E}}$,其中$U$是$R^d$的定义域上的函数.这里$A$是平滑线性算子,$ {\mathcal{E}}$是高斯白噪声。数据是随机变量$M_k = P_kA U+P_k {\mathcal{E}}$的实现$m_k$,其中$P_k$是与测量设备相关的线性有限维算子。为了允许计算机化反演,未知被离散化为$U_n=T_nU$,其中$T_n$是有限维投影,导致计算测量模型$M_{kn}=P_k A U_n + P_k {\mathcal{E}}$。贝叶斯公式给出了$R^d$中的后验分布$π_{kn}(u_n | m_{kn})\simπ_n(u_n) \exp(-{1/2}\|m_{kn} - P_kA u_n\|_2^2)$,平均值$U^{CM}_{kn}:=\int u_n π_{kn}(u_n | m_k) du_n$被认为是$U$的重建。我们讨论了一个系统的方式选择先验分布$\prior_n$的所有$n\geq n_0>0$通过实现它们作为一个分布在无限维极限情况下的投影。先验分布的这种选择是{ \em离散不变},因为$\prior_n$表示所有$n$的相同{ \em先验}信息,并且平均$U^{CM}_{kn}$收敛到极限估计为$k,n\to\infty$。高斯平滑先验和基于小波的Besov空间先验被证明是…
2009-01-27 math.PR stat.ME
Bayesian Optimization with Gradients
Cornell University(康奈尔大学);University of Arizona(亚利桑那大学)
贝叶斯优化在评估费用高的多峰目标函数的全局优化方面取得了成功。然而,与大多数优化方法不同,贝叶斯优化通常不使用导数信息。在本文中,我们将展示如何贝叶斯优化可以利用导数信息,以减少良好的性能所需的目标函数评估的数量。特别是,我们开发了一种新的贝叶斯优化算法,导数启用知识梯度(dKG),我们显示一步贝叶斯最优性,渐近一致性,更大的一步价值的信息比可能在导数自由设置。我们的程序可以容纳嘈杂和不完整的衍生信息,有顺序和批量的形式,并可以通过自动选择保留一个单一的方向衍生物,可以选择性地减少推理的计算成本。我们还计算的d-KG采集函数和梯度使用一种新的快速离散化的自由技术。我们表明,与各种有梯度和无梯度的优化程序相比,d-KG提供了最先进的性能,包括逻辑斯谛回归,深度学习,内核学习和k-最近邻。
2018-02-07 cs.AI cs.LG math.OC
Facilitating Bayesian Continual Learning by Natural Gradients and Stein Gradients
University of Bristol(布里斯托大学);Amazon(亚马逊)
持续学习旨在使机器学习模型能够以顺序的方式学习过去和未来任务的通用解决方案空间。传统模型在学习新任务时往往会忘记以前任务的知识,这种现象被称为灾难性遗忘。当在持续学习中使用贝叶斯模型时,可以通过两种方式保留来自先前任务的知识:1)。参数的后验分布,包含从先前任务中的推断获得的知识,然后将其用作下一任务的先验; 2). coresets,包含以前任务的数据分布的知识。在这里,我们表明,贝叶斯持续学习可以促进这两种手段,通过使用自然梯度和斯坦梯度分别。
2019-04-24 cs.AI cs.LG stat.ML
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系,提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction
University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Kyushu Institute of Technology(九州工业大学)
该研究提出通用框架证明平均场朗之万动力学的时间一致混沌传播,同时考虑有限粒子、时间离散和随机梯度误差,在多类学习问题与梯度估计器下给出定量收敛保证,且应用于标准朗之万动力学时收敛速率更优。
2023-06-12 cs.LG stat.ML
Beyond Grids: Multi-objective Bayesian Optimization With Adaptive Discretization
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Department of Computer and Communication Sciences(计算机与通信科学系);Department of Industrial Engineering(工业工程系);Department of Electrical and Electronics Engineering(电气与电子工程系)
针对高斯过程采样的向量值目标函数,提出基于树的自适应离散化算法 Adaptive ε-PAL,以高效识别 ε-精确帕累托集,并给出样本复杂度界及实验验证。
2025-09-24 cs.LG stat.AP stat.ML
On The Convergence of Euler Discretization of Finite-Time Convergent Gradient Flows
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Robotics(亚马逊机器人公司);University of Pennsylvania(宾夕法尼亚大学)
本文研究有限时间收敛非 Lipschitz 梯度流的前向 Euler 离散化,提出 RGF 与 SGF,并证明一般、随机及线搜索情形下的收敛性,实验显示其收敛快于标准优化方法。
2025-03-18 cs.LG cs.SY eess.SY
Mirrorless Mirror Descent: A Natural Derivation of Mirror Descent
Microsoft Research(微软研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们提出了一个原始的唯一推导镜像下降作为一个“部分”的黎曼流形上的梯度流的离散化度量张量是海森的镜像下降潜力。我们将这种离散化与自然梯度下降进行对比,后者是通过“完整”向前欧拉离散化获得的。这种观点有助于阐明方法之间的关系,并允许将镜像下降推广到一般的黎曼几何,即使度量张量是{ \em not} a Hessian,因此没有“对偶”。"
2021-07-02 cs.LG math.OC stat.ML
The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University(康奈尔大学)
在黑盒优化的许多应用中,可以同时评估多个点,例如,当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造,该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点,我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时,实际机器学习算法,特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology(南方科技大学)
黑盒问题在现实生活中很常见,如结构设计、药物实验和机器学习。在优化黑箱系统时,决策者往往综合考虑多个性能指标,通过综合评价给出最终决策。出于这样的实际需要,我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构,评估是昂贵的,甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法($c-\rm{KG}$)。考虑到最优性和可行性,提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计,推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
MIxBN: library for learning Bayesian networks from mixed data
ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文描述了一个新的库,用于从包含离散和连续变量(混合数据)的数据中学习贝叶斯网络。除了离散化数据的经典学习方法外,该库还提出了其算法,该算法允许从混合数据中进行结构学习和参数学习,而无需离散化,因为数据离散化会导致信息丢失。该算法基于混合MI得分函数进行结构学习,同时采用线性回归和高斯分布逼近进行参数学习。该库还提供了两种用于枚举图结构的算法-贪婪爬山算法和进化算法。因此,所提出的库的关键功能如下:(1)离散数据上的贝叶斯网络的结构和参数学习,(2)混合数据上的贝叶斯网络的结构和参数学习使用MI混合得分函数和高斯近似,(3)启动学习算法的两种算法之一,用于枚举图结构-爬山和进化算法。由于混合数据表示的需要来自实际需要,我们的实现的优势进行评估的背景下,解决近似和差距恢复问题的合成数据和真实数据集。
2021-06-24 cs.LG stat.ML
Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA(化学与生物分子工程系,加州大学伯克利分校)
本文提出一种梯度信息损失函数用于贝叶斯神经网络训练,以在贝叶斯优化中利用梯度信息增强代理模型,提升预测精度并加快高维问题收敛。
2025-08-06 cs.LG stat.ML
Bayesian T-optimal discriminating designs
考虑了一类回归模型在Atkinson和Fedorov(1975 a)提出的T-最优性准则下的贝叶斯最优判别设计的构造问题。结果表明,离散化的积分相对于先验分布导致局部T-最优的歧视设计只能处理几个比较,但离散化的贝叶斯先验很容易产生歧视设计问题,超过100个竞争模型。为处理这类问题提供了一种新的有效方法。它结合了经典交换型算法和梯度法的一些特点。收敛性的证明,它表明,新的方法可以找到贝叶斯最优判别设计的情况下,所有目前可用的程序失败。
2014-12-08 stat.ME
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Quantifying uncertainty in the numerical integration of evolution equations based on Bayesian isotonic regression
本文提出一种新的贝叶斯框架,通过引入收缩先验、变量变换和单调性约束,将贝叶斯等渗回归技术应用于常微分方程数值解的离散化误差方差估计,并利用高斯混合模型开发了高效的吉布斯采样算法。
2024-11-13 cs.NA math.NA physics.data-an
Sampling-based Bayesian Inference with gradient uncertainty
Seoul National University(首尔国立大学)
深度神经网络(NN)已经取得了令人印象深刻的性能,在许多计算机视觉任务上往往超过人类的性能。然而,仍然存在的最具挑战性的问题之一是,神经网络对它们的预测过于自信,当这在安全关键应用中出现时,这可能是非常有害的。在本文中,我们表明,预测的不确定性,可以有效地估计时,我们将梯度不确定性的概念后验抽样。该方法在两个不同的数据集上进行了测试,MNIST用于分布中混淆的示例,notMNIST用于分布外的数据。我们表明,我们的方法能够有效地表示两个数据集上的预测不确定性。
2019-12-27 cs.AI cs.LG stat.ML
Gradient-EM Bayesian Meta-learning
Didi AI Labs(滴滴人工智能实验室);Columbia University(哥伦比亚大学)
贝叶斯元学习通过不确定性评估实现了对新任务的鲁棒和快速适应。贝叶斯元学习的核心思想是对层次模型的经验贝叶斯推理。在这项工作中,我们扩展了这个框架,包括各种现有的方法,然后提出我们的变体的基础上梯度EM算法。我们的方法通过避免元更新步骤中的反向传播计算来提高计算效率,这对于深度神经网络来说是令人疲惫的。此外,它提供了灵活性的内部更新优化过程,从元更新解耦。在正弦回归、Few-Shot图像分类和基于策略的强化学习上的实验表明,该方法不仅以更少的计算代价获得了更好的准确性,而且对不确定性具有更强的鲁棒性。
2020-11-18 cs.LG stat.ML
Multilevel adaptive sparse Leja approximations for Bayesian inverse problems
确定性插值和求积方法往往不适合解决贝叶斯逆问题,这取决于计算昂贵的正演数学模型。虽然插值可以给出精确的后验近似,但确定性求积通常无法有效地调查信息量,从而集中可能性。这导致了大量的数学模型所需的昂贵的评估。为了克服这些挑战,我们制定和测试多级自适应稀疏Leja算法。在每一层,自适应稀疏网格插值和正交分别用于近似后验和执行所有的正交操作。具体来说,我们的算法使用粗糙的离散化的基本数学模型,调查的参数空间,并确定高后验概率的地区。然后使用自适应稀疏网格算法将点放置在这些区域中,并忽略后验概率小的其他区域。这些点是加权Leja点。由于模型离散化是粗略的,稀疏网格的构造是计算高效的。在这个稀疏的网格上,后验测度可以精确地近似,只需很少的昂贵的精细模型离散化。该算法的效率可以进一步提高,通过利用两个以上的离散化水平。我们提出的多级自适应稀疏Leja算法在数值实验中涉及椭圆反问题的二维和三维空间,在其中我们比较它与马尔可夫链蒙特卡罗采样和标准的多级近似。
2019-05-07 cs.NA math.NA stat.CO
SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient
University of British Columbia(英属哥伦比亚大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
大型深度学习模型中的不确定性估计在计算上是一项具有挑战性的任务,其中甚至难以形成对后验分布的高斯近似。在这种情况下,现有的方法通常采用协方差矩阵的对角近似,尽管这些矩阵已知会导致不确定性估计。为了解决这个问题,我们提出了一个新的随机,低秩,近似自然梯度(SLANG)方法变分推断在大,深模型。我们的方法仅基于网络对数似然的反向传播梯度来估计“对角加低秩”结构。这比计算整个变分目标的梯度的方法需要更少的梯度计算。对标准基准的实证评估证实,SLANG能够比平均场方法更快,更准确地估计不确定性,并执行最先进的方法。
2019-01-12 cs.AI cs.LG stat.ML
Bayesian Parameter Inference for Partially Observed SDEs driven by Fractional Brownian Motion
本文研究部分可观测分数布朗运动(fBM)模型的贝叶斯参数推断.我们遵循的方法是时间离散化的隐藏过程,然后设计马尔可夫链蒙特卡罗(MCMC)算法从后验密度的参数给定的数据进行采样。我们依赖于时间离散化的一种新的表示,它试图从后验的近似值中采样,然后通过重要性抽样进行校正;近似值将时间(就总观察时间T而言)减少了O(T)。这种方法是通过使用多层次MCMC方法,可以减少计算成本,以实现一个给定的均方误差(MSE)与使用一个单一的时间离散化扩展。我们的方法说明模拟和真实数据。
2022-11-01 cs.NA math.NA stat.CO
Efficient computation of the Knowledge Gradient for Bayesian Optimization
University of Warwick(华威大学);Zenith AI;Opentrons
贝叶斯优化是优化随机昂贵黑盒函数的强大方法集合。贝叶斯优化算法的一个关键组成部分是获取函数,它确定在每次迭代中应该评估哪个解决方案。一个流行且非常有效的选择是知识梯度获取函数,但是没有分析方法来计算它。几种不同的实现方式可以产生不同的近似值。在本文中,我们回顾和比较知识梯度实现的频谱,并提出一种新的方法,结合了几个以前提出的想法,是廉价的计算以及强大和高效的单次混合KG。我们证明了新的方法保留了以前的方法的理论特性和经验表明,大大减少了计算开销,具有相同或更好的性能。所有实验都在BOTorch中实现,代码可以在github上找到。
2022-09-30 cs.LG stat.ML
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of South Carolina(南卡罗来纳大学)
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法(pWGD)。WGD的粒子系统的底层密度函数近似的核密度估计(KDE),它面临着长期存在的灾难的维数。我们克服了这一挑战,利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间,以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流,并分析其收敛性在温和的假设。几个数值实验说明的准确性,收敛性和复杂性的可扩展性pWGD相对于参数尺寸,样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Improving Adaptive Online Learning Using Refined Discretization
Harvard University(哈佛大学);Boston University(波士顿大学)
本文针对无约束在线线性优化问题,提出一种无需倍增技巧和Lipschitz常数先验估计的新算法,通过连续时间半鞅分析和精细化离散化论证,同时实现二阶梯度自适应与比较器范数自适应,并获得几乎最优的遗憾界。
2024-02-22 cs.LG stat.ML
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge(剑桥大学)
提出了一种利用贝叶斯优化来调整分布式随机梯度下降(SGD)系统参数的优化器。给定特定的上下文,我们的目标是快速找到有效的配置,适当地平衡可用机器之间的负载,以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型,不太适合这种高维域。为了减少收敛时间,我们利用现有的结构。我们设计了一个概率模型,模拟分布式SGD的行为,并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明,该优化算法在10次迭代内收敛到有效的配置,优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Duke University(杜克大学);University at Buffalo, SUNY(纽约州立大学布法罗分校);New York University(纽约大学)
神经网络权值的后验是高维多模态的。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC(SG-MCMC)来自动探索这种分布。特别是,我们提出了一个周期性的步长时间表,其中较大的步骤发现新的模式,和较小的步骤表征每个模式。我们还证明了我们提出的算法的非渐近收敛性。此外,我们提供了广泛的实验结果,包括ImageNet,以证明循环SG-MCMC在学习复杂多模态分布方面的可扩展性和有效性,特别是对于现代深度神经网络的完全贝叶斯推理。
2020-05-11 cs.AI cs.CV cs.LG
Bayesian policy gradient and actor-critic algorithms
Adobe Research & Inria(Adobe研究与法国国家信息与自动化研究所);Rafael Advanced Defence System(拉斐尔高级防御系统);Inria Lille — SequeL team(法国国家信息与自动化研究所里尔分校——SequeL团队)
本文提出基于高斯过程的贝叶斯策略梯度框架,减少采样需求并提供自然梯度和梯度协方差估计,结合非参数贝叶斯critics改进马尔可夫性质,通过实验验证方法有效性。
2026-10-06 cs.LG stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine(加州大学尔湾分校)
在本文中,我们解决了以下问题:如果我们只允许接触我们生成的每个样本的一小部分数据项,我们可以近似地从贝叶斯后验分布中采样吗?以前提出了一种基于随机梯度的Langevin方程(SGLD)的算法来解决这个问题,但其混合速度很慢。通过利用贝叶斯中心极限定理,我们扩展了SGLD算法,以便在高混合速率下,它将从后验的正态近似进行采样,而对于低混合速率,它将用预处理矩阵模仿SGLD的行为。作为奖励,所提出的算法是让人想起费舍尔评分(随机梯度),并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
Department of Computer Science University of Texas, Austin(计算机科学系德克萨斯大学奥斯汀分校)
本文提出一种基于 Stein 算子度量近似 KL 散度与交叉熵梯度流的熵正则化估计器,用于高效生成贝叶斯后验多样本,并在分类任务和 Model-Based Reinforcement Learning 中验证了其有效性。
2025-05-28 cs.LG stat.ML
Analysis of a Computational Framework for Bayesian Inverse Problems: Ensemble Kalman Updates and MAP Estimators Under Mesh Refinement
本文分析了在加权内积空间中离散化先验与前向模型的贝叶斯反问题计算框架,建立算子范数界以保证集合卡尔曼方法和MAP估计器在网格细化下的可扩展性与精度。
2024-02-20 cs.NA math.NA stat.CO
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College(达特茅斯学院)
我们提出了一个通用的变分推断算法,形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子,以匹配目标分布,通过应用一种形式的函数梯度下降,最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究,在这些模型和数据集上,我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果,连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异,这是独立的利益。
2019-09-09 cs.LG stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University(奥胡斯大学)
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新,以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布,我们广泛讨论高斯的情况下,更新有一个相当简单的形式。我们的准黑盒变分推断(QBVI)框架是很容易适用于广泛的一类贝叶斯推断问题,是简单的实现,因为更新的变分后不涉及梯度的模型参数,也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下,讨论其强大的和可行的实施细节,并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
Comments on the article "A Bayesian conjugate gradient method"
最近的文章“贝叶斯共轭梯度法“由Cockayne,Oates,Ipsen和Girolami提出了一个近似贝叶斯迭代过程的解决方案的线性方程组,基于共轭梯度法,它给出了一个序列的高斯/正常估计的精确解。概率富集的目的是协方差结构旨在提供解决方案均值的不确定性或置信度的后验测量。本文对文章进行了评述,提出了一些问题,并提出了进一步研究的方向。
2019-06-24 cs.NA math.NA math.PR
Robustness of Bayesian Neural Networks to Gradient-Based Attacks
University of Trieste(的里雅斯特大学);University of Oxford(牛津大学);SISSA(国际高等研究院)
对抗攻击的脆弱性是在安全关键型应用中采用深度学习的主要障碍之一。尽管在实践和理论方面作出了重大努力,但问题仍然存在。本文分析了贝叶斯神经网络(BNN)在大数据、过参数化极限下的对抗攻击几何。我们表明,在极限情况下,对基于梯度的攻击的脆弱性是由于数据分布的退化而产生的,即,当数据位于周围空间的低维子流形上时。作为一个直接的后果,我们证明了在极限BNN后验是强大的基于梯度的对抗攻击。在MNIST和Fashion MNIST数据集上的实验结果支持这一论点,这些数据集具有使用Hamilton Monte Carlo和变分推理训练的BNN,表明BNN可以对基于梯度的对抗攻击表现出高准确性和鲁棒性。
2020-06-24 cs.LG stat.ML
A Unified Stochastic Gradient Approach to Designing Bayesian-Optimal Experiments
University of Oxford(牛津大学);Uber AI(优步人工智能实验室);University of Michigan(密歇根大学)
介绍了一种基于完全随机梯度的贝叶斯最优试验设计(BOED)方法.我们的方法利用变分的预期信息增益(EIG)的实验,可以同时优化的变分和设计参数的下限。这使得设计过程可以通过一个单一的统一的随机梯度上升过程进行,与现有的方法,通常构建一个逐点EIG估计,然后通过这个估计到一个单独的优化。我们提供了一些不同的变分目标,包括新的自适应对比估计(ACE)界。最后,我们表明,我们的基于梯度的方法能够提供有效的设计优化,在更高的维度设置比现有的方法。
2020-02-27 cs.LG stat.CO stat.ML
On Estimating the Gradient of the Expected Information Gain in Bayesian Experimental Design
University of Birmingham(伯明翰大学)
该研究针对贝叶斯实验设计中EIG优化的梯度需求,提出EIG梯度的后验期望表示,构建UEEG-MCMC和BEEG-AP两种估计方法,验证了二者的鲁棒性、效率优势及优于主流基准的性能。
2023-12-12 cs.LG stat.ML
Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Lancaster University(兰卡斯特大学)
针对SVGD等ParVI方法依赖学习率调参的问题,提出基于coin betting的无学习率粒子化贝叶斯推断方法,在高维模型与数据集上达到与现有ParVI算法相当的性能。
2023-06-01 cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion(以色列理工学院);Meta AI Research(元人工智能研究院);The Hebrew University of Jerusalem(希伯来大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们遵循另一种方法:我们放松一致的边界假设,使用平均有界损失和平均有界梯度范数假设。在这种放松之后,我们提出了一个新的推广界,利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络,并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London(伦敦帝国理工学院);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
贝叶斯优化(BO)方法试图找到目标函数的全局最优解,这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型,通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而,由于采集函数的非凸性,特别是在每一步都选择多个点的批量贝叶斯优化的情况下,这个辅助优化问题可能是非常不容易解决的。在这项工作中,我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进,这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性,并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习,优化和集成未知函数的方法上,这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程(GP),以构建一个后验分布的功能的利益,给定一组观察到的测量,并选择新的点来评估使用这个后验的统计。在这里,我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化(BO)和贝叶斯求积(BQ)的方法,其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理,以纳入超参数的不确定性,并表明超参数和功能的不确定性降低得更快,当使用导数信息。此外,我们介绍了技术,克服病态的问题,困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性,使用实际和模拟的贝叶斯优化和正交问题的应用程序,并表明,开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University(姚数学科学中心清华大学);The First Affiliated Hospital of Guangzhou Medical University(广州医科大学第一附属医院);China State Key Laboratory of Respiratory Disease(中国呼吸疾病国家重点实验室);Academy of Mathematics and Systems Science Chinese Academy of Sciences(数学科学学院中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University(胸外科与肿瘤科广州医科大学第一附属医院)
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题,首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索,显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models
使用贝叶斯方法在深度模型中进行学习最近引起了极大的关注。这在很大程度上是因为现代贝叶斯方法的可行性,可以产生可扩展的学习和推理,同时保持模型参数的不确定性。随机梯度MCMC算法(SG-MCMC)是一系列用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中,多变量随机梯度恒温器(mSGNHT)增加每个感兴趣的参数,动量和恒温器变量,以保持稳定的分布作为目标后验分布。随着连续时间扩散中变量数目的增加,其数值逼近误差成为实际的瓶颈,因此需要更好地使用数值积分器。为此,我们建议使用一个有效的对称分裂积分mSGNHT,而不是传统的欧拉积分。我们证明,该计划是更准确,鲁棒性,收敛速度更快。这些属性在贝叶斯深度学习中被证明是可取的。在两个典型模型及其深度扩展上的大量实验表明,该方案改进了一般贝叶斯后验抽样,特别是对于深度模型。
2015-12-23 stat.ML
Gradient-based Sample Selection for Faster Bayesian Optimization
The University of Manchester(曼彻斯特大学);National University of Singapore(新加坡国立大学);Southern University of Science and Technology(南方科技大学)
该研究提出GSSBO方法,通过梯度选择样本构建GP模型以降低计算复杂度,在合成与真实任务上验证其可减少BO的GP拟合成本且优化性能与基线相当。
2026-08-27 cs.LG stat.ML
Contributed Discussion of "A Bayesian Conjugate Gradient Method"
我们要祝贺作者的“贝叶斯共轭梯度法”对他们的深刻的文件,并欢迎这一出版物,我们坚信这将成为一个基本的贡献不断增长的领域的概率数值方法,特别是子领域的贝叶斯数值方法。在这篇短文中,我们首先讨论了解决线性系统的先验选择,然后提出了贝叶斯共轭梯度(BayesCG)算法的扩展,用于同时解决几个相关的线性系统。
2019-08-08 cs.NA math.NA stat.CO
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London(伦敦国王学院)
本文介绍了分布式Stein变分梯度下降(DSVGD),一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子,以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新,最终目标是最小化全局自由能。通过改变粒子的数量,DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美,在代理数量的准确性和可扩展性方面,也可以在每次迭代中调度单个设备,同时还可以提供经过良好校准的,因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
Bayesian interpretation of SGD as Ito process
The University of Toyko(东京大学);RIKEN(理化学研究所)
目前的解释随机梯度下降(SGD)作为一个随机过程缺乏通用性,因为它的数值方案限制连续时间动态以及损失函数和梯度噪声的分布。我们引入了一个简化的计划,灵活地解释SGD作为一个离散时间近似伊藤过程的温和的条件。该方案也可以作为SGD和随机梯度朗之万动力学(SGLD)的共同基础,提供对它们的渐近性质的见解。我们从平衡模式和SGLD二阶矩的高估问题出发,研究了有偏梯度SGD的收敛性。
2019-11-20 cs.LG stat.ML
A Scalable Gradient-Free Method for Bayesian Experimental Design with Implicit Models
Oak Ridge National Laboratory(橡树岭国家实验室)
贝叶斯实验设计(Bayesian experimental design,BED)就是要回答如何选择最大化信息收集的设计问题。对于隐式模型,其中的可能性是棘手的,但采样是可能的,传统的BED方法有困难,有效地估计后验分布和最大化的互信息(MI)之间的数据和参数。最近的工作提出了使用梯度上升,以最大限度地降低MI处理这些问题。然而,该方法需要一个采样路径来计算MI下限相对于设计变量的路径梯度,并且这样的路径梯度通常对于隐式模型是不可访问的。在本文中,我们提出了一种新的方法,利用随机近似梯度上升的最新进展与平滑变分MI估计有效和强大的BED。没有必要的路径梯度,我们的方法允许通过一个统一的程序与隐式模型的近似梯度的设计过程来实现。实验结果表明,该方法的性能优于基线方法,并显着提高了高维问题的可扩展性。
2021-03-14 cs.LG stat.CO stat.ML
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中,我们的目标是解决贝叶斯风险优化(BRO),这是最近提出的框架,制定输入不确定性下的模拟优化。为了有效地解决BRO问题,我们推导了嵌套随机梯度估计,并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的,并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣,随机梯度估计的情况下,嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Stochastic Gradient Line Bayesian Optimization for Efficient Noise-Robust Optimization of Parameterized Quantum Circuits
The University of Tokyo(东京大学);Austrian Academy of Sciences(奥地利科学院);Technische Universität Wien(维也纳工业大学)
优化参数化量子线路是使用近期量子器件的关键步骤。然而,现有的算法,这样的优化需要大量的量子测量拍摄估计的期望值的可观测量和重复多次迭代,其成本已经成为一个关键的障碍,实际使用。我们开发了一个有效的替代优化算法,随机梯度线贝叶斯优化(SGLBO),来解决这个问题。SGLBO通过基于随机梯度下降(SGD)估计更新电路参数的适当方向并进一步利用贝叶斯优化(BO)来估计SGD中每次迭代的最佳步长来降低测量发射成本。此外,我们制定了一个自适应的测量拍摄策略,并介绍了后缀平均技术,以减少统计和硬件噪声的影响。我们的数值模拟表明,与这些技术增强的SGLBO可以大大减少测量拍摄成本,提高精度,并使优化噪声鲁棒性。
2022-08-03 cs.LG quant-ph stat.ML
Higher Order Generalization Error for First Order Discretization of Langevin Diffusion
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Borealis AI(Borealis人工智能公司);LG Toronto AI Lab(LG多伦多人工智能实验室)
我们提出了一种新的方法来分析推广误差的离散朗之万扩散,如随机梯度朗之万动力学(SGLD)。对于预期泛化误差的$ε$容限,已知如果我们用$Ω(ε^{-1})$样本运行$Ω(ε^{-1} \log (ε^{-1}) )$迭代,则一阶离散化可以达到该目标。在这篇文章中,我们将证明,在附加平滑性假设的情况下,即使是一阶方法也可以实现任意的运行时复杂度。更准确地说,对于每个$N>0$,我们提供了一个充分的平滑条件的损失函数,使得一阶离散化可以达到$ε$预期的泛化误差给定$Ω( ε^{-1/N} \log (ε^{-1}) )$迭代与$Ω(ε^{-1})$样本。
2021-02-11 cs.LG stat.ML
Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server
University of Oxford(牛津大学);DeepMind
本文对贝叶斯机器学习算法做了两个贡献。首先,我们提出了随机自然梯度期望传播(SNEP),一种新的替代期望传播(EP),一个流行的变分推理算法。SNEP是一种黑盒变分算法,因为它不需要对感兴趣的分布进行任何简化假设,除了用于估计EP倾斜分布的矩的一些Monte Carlo采样器的存在之外。此外,相对于EP没有收敛保证,SNEP可以被证明是收敛的,即使使用蒙特卡罗矩估计。其次,我们提出了一种新的分布式贝叶斯学习架构,我们称之为后验服务器。后验服务器允许在数据集以分布式方式存储在集群中的情况下进行可扩展和鲁棒的贝叶斯学习,每个计算节点包含不相交的数据子集。在每个计算节点上运行一个独立的Monte Carlo采样器,仅直接存取局部数据子集,但其目标是在给定整个集群的所有数据的情况下近似全局后验分布。这是通过使用SNEP的分布式异步实现跨集群传递消息来实现的。我们证明了SNEP和分布式贝叶斯学习的逻辑回归和神经网络后服务器。保留字:分布式学习,大规模学习,深度学习,贝叶斯学习,变分推理,期望传播,随机近似,自然梯度,马尔可夫链蒙特卡罗,参数服务器,后验服务器。
2017-09-07 cs.LG stat.ML
GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
Institute for Clarity in Documentation(文档清晰性研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
联邦学习平台越来越受欢迎。其中一个主要好处是减轻隐私风险,因为算法的学习可以在不收集或共享数据的情况下实现。虽然联邦学习(即,尽管许多基于随机梯度算法的算法已经显示出很大的潜力,但是在隐私保护方面仍然存在许多挑战性的问题,特别是在梯度更新和交换过程中。本文提出了第一个无梯度的联邦学习框架GRAFFL,用于学习基于近似贝叶斯计算的贝叶斯生成模型。与传统的基于梯度的联邦学习算法不同,我们的框架不需要分解模型(即,线性分量)或扰乱数据(或用于聚合的数据加密)以保护隐私。相反,该框架使用来自每个参与机构的隐式信息来学习参数的后验分布。隐式信息是来自SuffiAE的汇总统计数据,SuffiAE是本研究中开发的神经网络,用于创建压缩和线性可分离的表示,从而保护敏感信息免受泄漏。作为一种充分的降维技术,这被证明可以提供足够的汇总统计量。我们提出了基于GRAFFL的贝叶斯高斯混合模型作为框架的概念验证。使用几个数据集,我们证明了我们的模型在隐私保护和预测性能方面的可行性和实用性(即,接近理想状态)。训练后的模型作为一个准全局模型,可以生成包含其他机构信息的信息样本,并增强对每个机构的数据分析。
2020-08-29 cs.LG stat.ML
Transport-Coupled Bayesian Flows for Molecular Graph Generation
School of Computer Science, Wuhan University(武汉大学计算机学院);Department of Computing, Macquarie University(麦考瑞大学计算系);Wuhan University Shenzhen Research Institute(武汉大学深圳研究院)
TopBF通过连续参数分布和准瓦瑟斯坦最优传输耦合,实现分子图生成的高效可控生成。
2026-09-23 cs.LG