Belief Update in CLG Bayesian Networks With Lazy Propagation
HUGIN Expert A/S(HUGIN Expert 公司)
近年来,具有连续和离散变量混合的贝叶斯网络(BN)受到了越来越多的关注。我们提出了一种结构的精确信念更新条件线性高斯贝叶斯网络(CLG BN)。该架构是使用Lauritzen & Jensen [6]和Cowell [2]的操作的惰性传播的扩展。通过将团和分离器潜力分解为因子集,所提出的架构利用了由图和证据的结构引起的独立性和不相关性。举例说明了由此产生的好处。初步的经验性能评估的结果表明,所提出的架构的显着潜力。
2012-06-27 cs.AI
Bayesian Quadrature for Neural Ensemble Search
University of Oxford(牛津大学)
集成可以提高神经网络的性能,但是当架构似然表面具有分散的窄峰时,现有的方法很难实现。此外,现有的方法构造等权重的合奏,这是可能容易受到故障模式的较弱的架构。通过查看合奏近似边缘化的架构,我们构建合奏使用贝叶斯求积的工具-工具,非常适合于探索的可能性表面分散,窄峰。此外,由此产生的集成包括与其性能相称的加权架构。我们凭经验证明-在测试可能性,准确性和预期校准误差方面-我们的方法优于最先进的基线,并通过消融研究验证其组件独立完成。
2023-03-17 cs.LG stat.ML
Encoding Involutory Invariances in Neural Networks
BITS-Pilani(比尔拉科学技术学院);Harvard University(哈佛大学)
在某些情况下,神经网络是在服从基本对称性的数据上训练的。然而,预测并不完全尊重对称性,除非嵌入到网络结构中。在这项工作中,我们引入的架构,嵌入一种特殊的对称性,即不变性相对于对合线性/仿射变换奇偶校验$p=\pm 1$。我们提供严格的定理表明,建议的网络确保这样的不变性和一个特殊的普遍逼近定理的定性参数。我们的技术适应CNN任务的数据集具有固有的水平/垂直反射对称性的证明。大量的实验表明,该模型优于基线前馈和物理信息神经网络,同时同样尊重潜在的对称性。
2022-04-26 cs.AI cs.LG cs.NE
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们提出了一个通用框架,用于提取深度神经网络分类器的贝叶斯后验分布的预期,扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面,包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法,并利用熵蒸馏评估下游任务,包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Langevin-gradient parallel tempering for Bayesian neural learning
贝叶斯神经学习的特点是通过代表神经网络知识的权重的后验分布来进行估计和不确定性量化的严格方法。这不仅提供了最优权重集的点估计,而且还能够使用后验分布量化决策中的不确定性。马尔可夫链蒙特卡罗(MCMC)技术通常用于获得基于样本的后验分布估计。然而,这些技术在融合和可扩展性方面面临挑战,特别是在具有大型数据集和网络架构的环境中。本文从两个方面解决这些挑战。首先,使用并行回火来探索后验分布的多种模式,并在多核计算架构中实现。其次,我们使用Langevin梯度信息形成Metropolis-Hastings建议分布,使链内抽样方案更有效。我们展示了使用时间序列预测和模式分类应用程序的技术。结果表明,该方法不仅提高了计算时间,但提供了更好的预测或决策能力时,与相关方法相比。
2018-11-11 cs.AI cs.LG stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge(剑桥大学);Microsoft Research(微软研究院);Alan Turing Institute(艾伦·图灵研究所)
我们描述了平均场变分推理(MFVI),贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是,MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时,测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反,我们发现,一个经典的技术,线性化的拉普拉斯近似,可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks
University of Tübingen(图宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
ReLU分类网络的点估计--可以说是最广泛使用的神经网络架构--已经被证明可以产生远离训练数据的任意高置信度。这种架构,结合最大后验估计方案,因此没有校准,也没有鲁棒性。近似贝叶斯推断已被经验证明,以改善神经网络中的预测不确定性,虽然这种贝叶斯近似的理论分析是有限的。我们从理论上分析了ReLU网络权重的近似高斯分布,并表明它们解决了过度自信问题。此外,我们表明,即使是一个简单的,因此便宜,贝叶斯近似,也解决了这些问题。这表明ReLU网络上校准不确定性的充分条件是“有点贝叶斯”。这些理论结果验证了最后一层贝叶斯近似的使用,并激发了一系列的可靠性成本权衡。我们通过使用常见的深度ReLU网络和拉普拉斯近似的各种标准实验进一步验证了这些发现。
2020-07-17 cs.LG stat.ML
Rapid Model Architecture Adaption for Meta-Learning
University of Cambridge(剑桥大学);Shenzhen Institute of Advanced Technology, CAS(中国科学院深圳先进技术研究院);Microsoft Research(微软研究院)
网络体系结构搜索(NAS)方法最近受到了广泛关注。与传统的手动调优相比,他们设计的网络具有更好的性能,并且使用更短的搜索时间。尽管它们在模型部署中效率很高,但大多数NAS算法都针对固定硬件系统上的单个任务。然而,现实生活中的少样本学习环境通常覆盖大量任务(T)和各种硬件平台(H)上的部署。组合搜索复杂度T乘以H产生了基本的搜索效率挑战,如果一个人天真地将现有的NAS方法应用于这些场景。为了克服这个问题,我们展示了,第一次,如何快速适应模型架构的新任务,在多任务多硬件少样本学习设置集成模型不可知元学习(MAML)到NAS流。建议的NAS方法(H-Meta-NAS)是硬件感知的,并在MAML框架中进行优化。在具有各种硬件平台和约束的流行少样本学习基准测试中,与各种NAS和手动基线相比,H-Meta-NAS显示出帕累托优势。特别是,在5路1次Mini-ImageNet分类任务中,所提出的方法在计算量减少60%的情况下大幅优于最佳手动基线(准确率为5.21%)。
2021-09-10 cs.LG
Differentiable Network Adaption with Elastic Search Space
SenseTime Research(商汤科技研究院)
在本文中,我们提出了一种新的网络自适应方法称为微分网络自适应(DNA),它可以适应现有的网络,以一种可微的方式调整的宽度和深度,以特定的计算预算。基于梯度的优化允许DNA实现宽度和深度的自动优化,而不是严重依赖于人类先验的先前的探试法。此外,我们提出了一个新的弹性搜索空间,可以灵活地压缩或扩大在优化过程中,允许网络的宽度和深度的双向优化方式。通过DNA,我们成功地实现了网络结构优化,在宽度和深度维度上进行压缩和扩展。在ImageNet上的大量实验表明,DNA可以适应现有的网络,以满足不同的目标计算要求,并且比以前的方法具有更好的性能。更重要的是,DNA可以进一步提高通过最先进的神经架构搜索方法(如EfficientNet和MobileNet-v3)获得的高精度网络的性能。
2021-03-30 cs.CV cs.LG
Lazy Evaluation of Symmetric Bayesian Decision Problems
解决对称贝叶斯决策问题是一个计算密集型的任务,无论使用的算法。在本文中,我们提出了一种方法来提高效率的算法解决贝叶斯决策问题。该方法是基于惰性评估的原则-最近被证明可以提高贝叶斯网络中的推理效率的原则。其基本思想是保持分解的潜力,并推迟计算尽可能长的时间。通过实例强调了基于惰性评估的方法所获得的效率改进。最后,将基于惰性评估的方法与基于Hugin和基于评估的系统架构在解决对称贝叶斯决策问题上进行了比较。
2013-01-23 cs.AI
Partially Stochastic Infinitely Deep Bayesian Neural Networks
Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津-曼量化金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);Imperial College London(伦敦帝国学院)
本研究提出部分随机无限深度贝叶斯神经网络,兼顾全随机性优势与计算效率,具备通用条件分布逼近能力,实验显示其性能、不确定性量化效果更优且效率显著提升。
2024-07-13 cs.LG math.PR
ComBiNet: Compact Convolutional Bayesian Neural Network for Image Segmentation
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
全卷积U形神经网络在很大程度上是逐像素图像分割的主要方法。在这项工作中,我们解决了两个缺陷,阻碍了他们在现实世界中的应用部署:1)预测缺乏不确定性量化,这可能是至关重要的许多决策系统; 2)大内存存储和计算消耗需要大量的硬件资源。为了解决这些问题并提高其实用性,我们展示了一种少参数紧凑的贝叶斯卷积架构,与使用显著较少的参数和计算操作的相关工作相比,该架构在准确性方面实现了边际提高。该架构结合了参数高效的操作,如可分离卷积,双线性插值,多尺度特征传播和贝叶斯推理,通过Monte Carlo Dropout进行逐像素不确定性量化。性能最佳的配置需要在各种具有挑战性的数据集上使用不到250万个参数,并且观察结果很少。
2021-06-26 cs.AI cs.CV
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh(数学学院爱丁堡大学)
针对贝叶斯神经网络计算成本高的问题,提出三种部分迹类贝叶斯神经网络架构,通过减少贝叶斯参数数量,在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Graph-Based Bayesian Optimization for Quantum Circuit Architecture Search with Uncertainty Calibrated Surrogates
Department of Physics, Indian Institute of Technology (BHU)(印度理工学院(BHU)物理系);eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)(纽约大学阿布扎赫分校(NYUAD)工程系eBRAIN实验室);Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute, NYUAD(纽约大学阿布扎赫分校(NYUAD)量子与拓扑系统中心(CQTS))
针对量子电路设计瓶颈,提出基于图的贝叶斯优化框架,用GNN代理发现和优化VQCs,经特征选择等处理后评估候选电路,与多种方法基准测试,其能找到低复杂度、高精度电路,实现可扩展且可解释的量子电路自动发现。
2026-07-14 cs.AI cs.LG cs.NE
BLIPs: Bayesian Learned Interatomic Potentials
mathLab, SISSA University of Amsterdam(mathLab、SISSA大学)
BLIPs是一种基于贝叶斯学习的原子间势能方法,通过变分dropout实现可扩展的不确定性估计,提升模拟化学任务中的预测精度和可靠性。
2026-01-16 cs.LG
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Cautious Propagation in Bayesian Networks
Aalborg University(奥尔堡大学)
考虑这样一种情况,其中一些证据e已经被输入到贝叶斯网络中。在执行冲突分析、敏感性分析时,或者在回答诸如“如果X上的结果是y而不是x会怎么样?“你需要概率P(e'|h),其中e'是e的子集,并且h是(可能为空的)变量集合的配置。谨慎传播是将Hugin传播修改为类似Shafer-Shenoy的架构。它比HUGIN传播效率低;然而,它提供了对P(e')的容易访问。|h)对于大量相关子集e '。
2013-02-20 cs.AI
Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学系和Maxwell数学科学研究所,爱丁堡大学)
针对贝叶斯神经网络后验近似的准确率与不确定性量化权衡问题,本文对比MCMC与变分推理的特性及架构影响,验证了变分近似堆叠与集成可低成本实现与MCMC相当的准确率,且不确定性量化更优。
2025-06-17 cs.LG stat.ME stat.ML
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks
Pennsylvania State University(宾夕法尼亚州立大学);Applied Research Solutions(应用研究解决方案公司);Air Force Research Lab(空军研究实验室)
贝叶斯神经网络(BNN)与传统的神经网络(TNN)不同,它具有鲁棒性,并且通过引入随机性来处理对抗攻击。这种随机性改善了对不确定性的估计,这是TNN缺乏的一个特征。因此,我们使用多个贝叶斯神经架构研究BNN对白盒攻击的鲁棒性。此外,我们通过融合贝叶斯推理(即,变分贝叶斯)到DenseNet架构和BDAV,通过将这种干预与对抗训练相结合。在CIFAR-10和FGVC-Aircraft数据集上进行了实验。我们使用强大的白盒攻击($l_\infty$ -FGSM、$l_\infty$ -PGD、$l_2$-PGD、EOT $l_\infty$ -FGSM和EOT $l_\infty$ -PGD)来攻击我们的模型。在所有实验中,至少有一个BNN在对抗攻击场景中优于传统的神经网络。在大多数实验中,经过对抗训练的BNN优于其非贝叶斯的、经过对抗训练的对应物,并且通常具有显著的优势。最后,我们研究了网络校准,发现BNN不会做出过于自信的预测,这证明BNN在测量不确定性方面也更好。
2021-11-16 cs.CR cs.CV cs.LG
BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
高质量的校准不确定性估计对于许多现实世界的应用至关重要,特别是对于基于深度学习的部署ML系统。虽然贝叶斯深度学习技术允许不确定性估计,但使用大规模数据集训练它们是一个昂贵的过程,并不总是产生与非贝叶斯同行竞争的模型。此外,许多已经训练和部署的高性能深度学习模型本质上是非贝叶斯的,并且不提供不确定性估计。为了解决这些问题,我们提出了BayesCap,学习冻结模型的贝叶斯身份映射,允许不确定性估计。BayesCap是一种内存效率高的方法,可以在原始数据集的一小部分上进行训练,通过为预测提供校准的不确定性估计来增强预训练的非贝叶斯计算机视觉模型,而不会(i)妨碍模型的性能,(ii)需要从头开始重新训练模型。所提出的方法是不可知的各种架构和任务。我们展示了我们的方法在各种各样的任务上的有效性,这些任务具有不同的架构,包括图像超分辨率,去模糊,修复以及医学图像翻译等关键应用。此外,我们应用导出的不确定性估计来检测关键场景中的分布样本,如自动驾驶中的深度估计。代码可在https://github.com/ExplainableML/BayesCap上获得。
2022-07-14 cs.AI cs.CV
Masked Bayesian Neural Networks : Computation and Optimality
本文提出一种新颖的稀疏贝叶斯神经网络,通过掩码变量实现节点级稀疏,并设计先验分布保证后验分布的理论最优性,在保持预测精度和不确定性量化能力的同时有效简化了复杂的DNN架构。
2023-05-23 cs.LG stat.ML
Explaining away ambiguity: Learning verb selectional preference with Bayesian networks
本文提出了一个用于动词选择偏好无监督学习的贝叶斯模型。对于每个动词,该模型创建一个贝叶斯网络,其结构由Wordnet的词汇层次结构确定,其参数从语料库中找到的动词-对象对列表中估计。"解释“是贝叶斯网络的一个众所周知的特性,它有助于模型以自然的方式处理训练数据中的词义模糊。在词义消歧测试中,我们的模型在选择偏好的无监督学习方面比其他最先进的系统表现得更好。讨论了计算复杂性问题,改进这种方法的方法和在其他图形框架中实现"解释“的方法。
2000-08-22 cs.AI cs.CL
Variational Bayesian Last Layers
Google DeepMind(谷歌DeepMind);Vector Institute(矢量研究所)
该研究提出变分贝叶斯最后层(VBLL)方法,通过确定性变分公式训练贝叶斯最后层神经网络,无需采样且计算复杂度低,能提升不确定性估计、预测准确率等性能,还可结合特征学习实现低方差塌陷变分推断。
2024-04-17 cs.CV cs.LG stat.ML
AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE
Michigan State University(密歇根州立大学)
AutoFHE自动适配CNN用于RNS-CKKS安全推理,采用逐层混合次数多项式激活函数并联合优化自举放置,在多目标框架下平衡精度与延迟,显著加速并提升精度。
2023-10-12 cs.CR cs.LG
AdaptAV: Continuous Adaption of Vision Models for Autonomous Vehicles Using Cloud-based Oracle
North Carolina State University(北卡罗来纳州立大学)
该研究针对自动驾驶汽车视觉模型泛化差的问题,提出AdaptAV系统,利用云端专家模型指导车载模型的持续重新训练,以逐步提升感知推理精度。
2026-09-01 cs.CV cs.LG
Bayesian Policy Search for Stochastic Domains
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Oxford(牛津大学);KAIST(韩国科学技术院)
人工智能规划可以转换为概率模型中的推理,并且概率编程被证明能够在部分可观察域中进行策略搜索。先前的工作通过马尔可夫链蒙特卡洛在确定性域中引入策略搜索,以及将黑盒变分推理适应于随机域,但不是严格的贝叶斯意义上的。在这项工作中,我们投在随机域的贝叶斯推理问题的政策搜索,并提供了一个方案,编码这样的问题,嵌套的概率程序。我们认为,在随机域中的策略搜索的概率程序应涉及嵌套条件,并提供了一个适应轻量级大都市黑斯廷斯(LMH)在这样的程序中的强大的推理。我们将该计划应用于随机域,并表明学习到类似质量的政策,尽管更简单,更一般的推理算法。我们相信,所提出的LMH的变体是新颖的,适用于更广泛的一类概率程序与嵌套条件。
2020-10-01 cs.LG stat.ML
Fast Power Control Adaptation via Meta-Learning for Random Edge Graph Neural Networks
King’s College London(伦敦国王学院)
在分散式无线网络中的功率控制提出了一个复杂的随机优化问题时,制定为最大化的平均和速率的任意干扰图。最近的工作已经引入了利用图神经网络(GNN)来有效地参数化将信道状态信息(CSI)映射到功率向量的功率控制策略的数据驱动设计方法。被称为随机边缘GNN(REGNN)的特定GNN架构定义了一种非线性图卷积架构,其空间权重与信道系数相关,从而能够直接适应信道条件。本文研究了更高层次的问题,使快速适应的功率控制策略时变拓扑结构。为此,我们对来自多个拓扑结构的数据应用一阶元学习,目的是优化Few-Shot以适应新的网络配置。
2021-05-02 cs.IT cs.LG eess.SP
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization
Facebook(脸书)
在调整用于设备上部署的大型机器学习模型的架构和超参数时,需要了解设备上延迟和模型准确性之间的最佳权衡。在这项工作中,我们利用贝叶斯优化在高维搜索空间和多目标贝叶斯优化的最新方法进步,有效地探索这些权衡的生产规模的设备上的自然语言理解模型在Facebook。
2021-06-25 cs.LG
Few-shot Neural Architecture Search
Worcester Polytechnic Institute(伍斯特理工学院);Brown University(布朗大学);Facebook AI Research(脸书人工智能研究院)
本文提出少样本NAS,通过多个覆盖搜索空间不同区域的子超级网络缓解单样本NAS中的协同适应问题,以少量评估成本提升架构评估准确性,并在ImageNet、CIFAR10、Auto-GAN及多个基准上取得新的最优结果。
2021-08-02 cs.LG cs.NE
Bayesian Optimization Augmented with Actively Elicited Expert Knowledge
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
贝叶斯优化(BO)是一种完善的方法来优化黑盒函数,其直接评估是昂贵的。在本文中,我们解决的问题,将专家知识到BO,进一步加快优化的目标,到目前为止,很少有人关注。我们设计了一个多任务的学习架构,这个任务的目标是共同引出的专家知识和最小化的目标函数。特别地,这允许将专家知识转移到BO任务中。我们介绍了一个特定的架构的基础上,暹罗神经网络来处理知识启发成对查询。模拟和实际人类专家的各种基准函数上的实验表明,即使专家知识与目标函数相比有偏差,所提出的方法也显着加快了BO。
2022-08-18 cs.AI cs.LG
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
Michigan State University(密歇根州立大学);Argonne National Laboratory(阿贡国家实验室);Brookhaven National Laboratory(布鲁克海文国家实验室)
具有精确校准的不确定性的鲁棒机器学习模型对于安全关键型应用至关重要。概率机器学习,特别是贝叶斯形式主义提供了一个系统的框架,通过分布估计和不确定性的原因,将鲁棒性。最近的工作表明,近似推理的方法,采取神经网络的权重空间的不确定性,以产生集成预测是最先进的。然而,架构的选择大多是临时的,这基本上忽略了认知的不确定性,从架构空间。为此,我们提出了一个统一的概率架构和权重集成神经架构搜索(UraeNAS),利用概率神经架构搜索和近似贝叶斯推理的进步,以生成集成形式的联合分布的神经网络架构和权重。与基线确定性方法相比,所提出的方法显示出分布内(准确度为0.86%,ECE为42%)CIFAR-10和分布外(准确度为2.43%,ECE为30%)CIFAR-10-C的显著改善。
2022-10-08 cs.AI cs.LG
Bayesian Neural Architecture Search using A Training-Free Performance Metric
Universidad de Málaga(马拉加大学);Leiden University(莱顿大学)
递归神经网络(RNN)是一种强大的时间序列预测方法。然而,它们的性能受到其架构和超参数设置的强烈影响。RNN的结构优化是一项耗时的任务,其中搜索空间通常是实数、整数和分类值的混合。为了允许缩小和扩大网络的大小,架构的表示通常具有可变的长度。在本文中,我们提出了解决结构优化问题的贝叶斯优化(BO)算法的变体。为了减少候选架构的评估时间,平均绝对误差随机采样(MRS),一种无训练的方法来估计网络性能,被采用作为目标函数的BO。此外,我们提出了三个固定长度的编码方案,以应付可变长度的架构表示。其结果是对RNN的准确和有效设计的新视角,我们在三个问题上进行了验证。我们的研究结果表明:1)BO算法可以使用所提出的编码方案探索不同的网络架构,并成功地设计出性能良好的架构; 2)与从实际训练过程中获得的架构相比,使用MRS可以显着减少优化时间,而不会影响性能。
2021-04-23 cs.AI cs.LG cs.NE
Dependency Structure Search Bayesian Optimization for Decision Making Models
National University of Singapore(新加坡国立大学);Peng Cheng Lab(鹏城实验室)
针对高维多智能体决策模型在稀疏反馈下优化困难的问题,提出基于角色的多层架构,并引入依赖结构搜索贝叶斯优化方法高效优化参数,在稀疏或畸变奖励下表现优异。
2024-11-10 cs.AI cs.LG
Bayesian Generational Population-Based Training
University of Oxford(牛津大学);Amazon(亚马逊)
强化学习(RL)为训练能够在现实世界中自主交互的通用智能体提供了潜力。然而,一个关键的限制是RL算法对核心超参数和网络架构选择的脆弱性。此外,非平稳性,如不断变化的训练数据和增加的代理复杂性意味着不同的超参数和架构可能在不同的训练点是最佳的。这激发了AutoRL,这是一类寻求自动化这些设计选择的方法。AutoRL方法的一个突出类别是基于人口的训练(PBT),它在几个大规模设置中具有令人印象深刻的性能。在本文中,我们介绍了两个新的创新的PBT式的方法。首先,我们采用基于信赖域的贝叶斯优化,使高维混合超参数搜索空间的全覆盖。其次,我们证明了使用分代方法,我们也可以在一次训练中同时学习架构和超参数。利用新的高度并行化的Brax物理引擎,我们证明了这些创新带来了巨大的性能提升,在动态学习整个配置的同时显著优于调整后的基线。代码可在https://github.com/xingchenwan/bgpbt上获得。
2022-07-19 cs.AI cs.LG
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
Aalborg University(奥尔堡大学);UTS(悉尼科技大学);Monash University(莫纳什大学);RMIT University(皇家墨尔本理工大学)
可区分体系结构搜索(DARTS)近年来受到了广泛的关注,主要是因为它通过权重共享和连续松弛来显著降低计算成本。然而,最近的工作发现,现有的可区分NAS技术的斗争,以超越天真的基线,产生恶化的架构,作为搜索的进行。本文不是直接优化结构参数,而是通过将结构权重放松为高斯分布来将神经结构搜索表示为分布学习问题。通过利用自然梯度变分推理(NGVI),可以基于现有的代码库轻松优化架构分布,而不会产生更多的内存和计算消耗。我们演示了如何区分NAS的贝叶斯原理的好处,加强探索和提高稳定性。在NAS-Bench-201和NAS-Bench-1 shot 1基准数据集上的实验结果证实了所提出的框架可以做出的显着改进。此外,我们不是简单地将argmax应用于学习的参数,而是进一步利用NAS中最近提出的免训练代理,从优化分布的一组架构中选择最佳架构,其中我们在NAS-Bench-201和NAS-Bench-1 shot 1基准测试中获得了最先进的结果。我们在DARTS搜索空间中的最佳架构在CIFAR-10、CIFAR-100和ImageNet数据集上也分别获得了2.37\%、15.72\%和24.2\%的竞争性测试误差。
2021-11-25 cs.LG
Bayesian Learning of Neural Network Architectures
AI Research, Volkswagen Group(大众集团人工智能研究院)
在本文中,我们提出了一个贝叶斯方法估计结构参数的神经网络,即层的大小和网络深度。我们通过学习这些参数的具体分布来做到这一点。我们的研究结果表明,具有学习结构的规则网络可以在小数据集上更好地推广,而完全随机网络对参数初始化更鲁棒。所提出的方法依赖于标准的神经变分学习,与随机结构搜索不同,不需要重新训练模型,从而将计算开销保持在最低限度。
2019-01-27 cs.LG stat.ML
Neural Ensemble Search via Bayesian Sampling
National University of Singapore(新加坡国立大学)
最近,神经结构搜索(NAS)已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是,这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构,因此忽略了神经网络集成的能力(即,具有不同体系结构的神经网络的集合)在实现单个最终选择的体系结构上的改进的性能方面。为此,我们引入了一种新的神经集成搜索算法,称为贝叶斯采样神经集成搜索(NESBS),有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中,NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法,同时产生一个可比的搜索成本,从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford(牛津大学)
目前的神经结构搜索(NAS)策略只关注于找到一个单一的,好的,架构。它们几乎无法解释为什么特定的网络表现良好,或者如果我们想要进一步改进,我们应该如何修改架构。我们提出了一个贝叶斯优化(BO)的NAS方法,结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构,在一个高度的数据效率的方式:它是能够捕获的拓扑结构的架构,并可扩展到大型图形,从而使高维和图形的搜索空间服从BO。更重要的是,我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上,我们的经验表明,我们的代理模型是能够识别有用的图案,可以指导新架构的生成。我们最后表明,我们的方法优于现有的NAS方法,以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
BayesNAS: A Bayesian Approach for Neural Architecture Search
Delft University of Technology(代尔夫特理工大学);University College London(伦敦大学学院)
One-Shot Neural Architecture Search(NAS)是一种很有前途的方法,可以在不进行任何单独训练的情况下显着减少搜索时间。它可以被看作是一个网络压缩问题的结构参数从一个过参数化的网络。然而,存在与大多数一次性NAS方法相关联的两个问题。首先,节点与其前代节点和后继节点之间的依赖关系经常被忽略,这导致对零操作的不正确处理。第二,架构参数修剪的基础上,他们的幅度是值得怀疑的。在本文中,我们采用经典的贝叶斯学习方法,以减轻这两个问题的建模架构参数使用分层自动相关性确定(HARD)先验。与其他NAS方法不同的是,我们只对过参数化网络进行一个epoch的训练,然后更新网络结构。令人印象深刻的是,这使我们能够在CIFAR-10上使用单个GPU在0.2 GPU天内找到架构。通过转移到ImageNet也可以实现有竞争力的性能。作为一个副产品,我们的方法可以直接应用于压缩卷积神经网络,通过加强结构稀疏性,实现非常稀疏的网络,而不会降低精度。
2019-06-07 cs.LG stat.ML
ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies
Key Lab of High Confidence Software Technologies, Peking University(北京大学高可信软件技术重点实验室);Institute of Computational Social Science, Peking University (Qingdao)(北京大学计算社会科学研究所(青岛));School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Kuaishou Technology(快手科技);Data Platform, TEG, Tencent Inc.(腾讯科技(深圳)有限公司TEG数据平台)
设计神经结构需要大量的人工努力。这促进了神经结构搜索(NAS)的发展,以实现设计的自动化。虽然以前的NAS方法实现了有希望的结果,但运行缓慢,零成本代理运行非常快,但不太有希望。因此,通过这些零成本代理来加速NAS具有很大的潜力。现有的方法有两个局限性,这是不可预见的可靠性和一次性使用。为了解决这些局限性,我们提出了ProxyBO,这是一个高效的贝叶斯优化(BO)框架,它利用零成本代理来加速神经架构搜索。我们应用泛化能力测量来估计在每次迭代过程中代理对任务的适应度,并设计了一种新的获取函数,将BO与零成本代理结合起来,基于它们的动态影响。广泛的实证研究表明,ProxyBO在三个公共基准的五个任务上始终优于竞争基准。具体来说,ProxyBO实现了最高5.41倍和3.86倍的加速比,超过了最先进的REA和BRP-NAS方法。
2023-03-13 cs.LG
BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search
Stanford University(斯坦福大学);Petuum Inc.(Petuum公司)
在过去的五年中,许多方法被认为是神经结构搜索(NAS)。贝叶斯优化(BO),长期以来一直成功的超参数优化,最近出现了作为一个非常有前途的战略NAS时,它与神经预测器。最近的工作提出了该框架的不同实例,例如,使用贝叶斯神经网络或图卷积网络作为BO内的预测模型。然而,这些论文中的分析通常集中在成熟的NAS算法上,因此很难判断框架的哪些单独组件会导致最佳性能。在这项工作中,我们给出了一个彻底的分析“BO +神经预测器”的框架,确定五个主要组成部分:架构编码,神经预测器,不确定性校准方法,采集功能和采集优化策略。我们为每个组件测试了几种不同的方法,并为神经架构开发了一种新的基于路径的编码方案,我们在理论上和经验上都证明了它比其他编码更好。使用我们所有的分析,我们开发了一个最终的算法称为BANANAS,它实现了国家的最先进的性能NAS搜索空间。我们坚持NAS研究清单(Lindauer和Hutter 2019)以促进最佳实践,我们的代码可在https://github.com/naszilla/naszilla上获得。
2020-11-02 cs.LG cs.NE stat.ML
COBRA-PPM: A Causal Bayesian Reasoning Architecture Using Probabilistic Programming for Robot Manipulation Under Uncertainty
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford, UK(牛津大学机器人研究所);Microsoft Research, Redmond, WA, USA(微软研究院);Bristol Robotics Laboratory, School of Engineering, University of the West of England, Bristol, UK(布里斯托尔机器人实验室)
本文提出 COBRA-PPM 因果贝叶斯推理架构,融合因果贝叶斯网络与概率编程进行干预推理,在积木堆叠及家用机器人 sim2real 中实现高预测与任务成功率。
2025-08-29 cs.AI cs.LG cs.RO
Learn to Explore: Meta NAS via Bayesian Optimization Guided Graph Generation
本文提出了一种新颖的元神经架构搜索框架 GraB-NAS,通过将神经架构建模为图并结合贝叶斯优化的全局搜索与潜在空间的梯度上升局部探索,实现了高效的任务感知架构发现,显著提升了跨任务泛化能力和搜索有效性。
2025-08-13 cs.LG
Multi-task neural networks by learned contextual inputs
Solution Seeker AS(Solution Seeker公司);University of Oslo(奥斯陆大学);Norwegian University of Science and Technology(挪威科技大学);Department of Mathematics(数学系);Department of Engineering Cybernetics(工程控制系)
本文提出一种基于完全共享网络和可训练任务参数的学习上下文多任务架构,理论上证明标量参数即可通用逼近,实验显示低维参数空间可行且鲁棒,在十个数据集上性能有竞争力。
2025-08-06 cs.LG
Real-World Deployment of a Lane Change Prediction Architecture Based on Knowledge Graph Embeddings and Bayesian Inference
Department of Computer Engineering, University of Alcalá(阿尔卡拉大学计算机工程系);Department of Computer Science, German University in Cairo(开罗德国大学计算机科学系);Department of Mechatronics, German University in Cairo(开罗德国大学机电系)
本文提出基于知识图谱嵌入和贝叶斯推断的车道变换预测系统,通过现实硬件验证,实现了算法与道路部署的结合,提前3-4秒预测目标车辆车道变换,确保安全。
2025-06-13 cs.AI cs.AR cs.CV
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯神经网络架构,可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明,当在包含特定不变性的数据集上训练时,我们的模型优于其他非不变架构。当不执行数据增强时,情况也是如此。
2021-11-02 cs.LG stat.ML
Neural Architecture Search with Bayesian Optimisation and Optimal Transport
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc(Petuum公司)
贝叶斯优化(BO)是指一类用于全局优化函数$f$的方法,该函数只能通过点评估来访问。它通常用于评估$f$成本较高的环境中。BO在机器学习中的一个常见用例是模型选择,在这种情况下,不可能对统计模型的泛化性能进行分析建模,我们求助于噪声和昂贵的训练和验证过程来选择最佳模型。传统的BO方法集中在欧几里得域和分类域,在模型选择的背景下,仅允许调整机器学习算法的标量超参数。然而,随着人们对深度学习的兴趣激增,对神经网络\emph{architectures}进行调优的需求也越来越大。在这项工作中,我们开发了NASBOT,一个基于高斯过程的BO神经结构搜索框架。为了实现这一点,我们开发了一个距离度量空间的神经网络架构,可以有效地计算通过一个最佳的运输计划。这个距离可能是深度学习社区的独立兴趣,因为它可能会在BO之外找到应用程序。我们证明,NASBOT优于其他替代方案的架构搜索在几个交叉验证的多层感知器和卷积神经网络的模型选择任务。
2019-03-15 cs.LG stat.ML
Adaptive Hierarchical Hyper-gradient Descent
The University of Sydney(悉尼大学)
在这项研究中,我们研究学习率自适应在不同级别的超梯度下降框架的基础上,提出了一种方法,自适应学习优化器参数相结合的多层次的学习率与层次结构。同时,我们展示了正则化过参数化学习率和在不同层次上建立自适应学习率组合之间的关系。在前馈网络、LeNet-5和ResNet-18/34等多种网络架构上的实验表明,所提出的多级自适应方法在各种情况下都能优于基线自适应方法。
2021-05-11 cs.LG cs.NE
HINT: Hierarchical Invertible Neural Transport for Density Estimation and Bayesian Inference
Heidelberg University(海德堡大学)
许多最近的可逆神经架构是基于耦合块设计,其中变量被分成两个子集,作为一个容易可逆的(通常是仿射)三角变换的输入。虽然这样的变换是可逆的,但其雅可比矩阵非常稀疏,因此可能缺乏表达性。这项工作提出了一个简单的补救措施,注意到细分和(仿射)耦合可以在得到的子集内递归地重复,导致一个高效的可逆块与密集的三角形雅可比矩阵。通过经由分层架构制定我们的递归耦合方案,HINT允许从联合分布p(y,x)和对应的后验p(x)进行采样|y)使用单个可逆网络。我们评估我们的方法在一些标准的数据集和基准的密度估计和贝叶斯推断的一个新的数据集的二维形状的傅立叶参数化,这使得一致的可视化不同维度的样本的全部权力。
2021-05-25 cs.AI cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Partially Exchangeable Networks and Architectures for Learning Summary Statistics in Approximate Bayesian Computation
Lund University(隆德大学);IT University of Copenhagen(哥本哈根信息技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们提出了一种新型的深度神经架构家族,称为部分可交换网络(PENs),它利用了概率对称性。通过设计,PENS对块开关变换是不变的,块开关变换表征了条件马尔可夫过程的部分交换性质。此外,我们表明,任何块开关不变函数具有PEN样表示。DeepSets架构是PEN的一个特例,因此我们也可以针对完全可交换的数据。我们采用PEN学习近似贝叶斯计算(ABC)中的汇总统计量。当将PEN与以前用于学习汇总统计的深度学习方法进行比较时,我们的结果具有很强的竞争力,无论是考虑时间序列还是静态模型。事实上,即使使用较少的训练数据,PEN也能提供更可靠的后验样本。
2019-05-17 cs.LG stat.CO stat.ML
Bayesian Convolutional Deep Sets with Task-Dependent Stationary Prior
KAIST(韩国科学技术院)
卷积深度集是深度神经网络(DNN)的架构,可以对静态随机过程进行建模。该架构使用核平滑器和DNN来构造平移等变函数表示,从而将平稳性的归纳偏差反映到DNN中。然而,由于该架构采用称为非参数模型的内核平滑器,因此当数据点的数量没有充分给出时,它可能会产生模糊的表示。为了解决这个问题,我们引入了贝叶斯卷积深度集,它构建了具有静态先验的随机平移等变函数表示。此外,我们提出了如何对每个数据集施加任务相关的先验,因为错误施加的先验形成了比内核平滑器更差的表示。我们使用时间序列和图像数据集验证了所提出的架构及其在各种实验中的训练。
2022-10-22 cs.LG stat.ME stat.ML