Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架，用于生成具有优化特性的新型分子。原来的计划，具有贝叶斯优化的潜在空间的变分自动编码器，遭受的病理，它往往会产生无效的分子结构。首先，我们证明经验，这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次，通过重新制定的搜索过程作为一个约束贝叶斯优化问题，我们表明，这种病理的影响可以减轻，产生显着改善所产生的分子的有效性。我们认为，约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法，在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Comparative Study of Inference Methods for Bayesian Nonnegative Matrix Factorisation
University of Cambridge（剑桥大学）；IT University of Copenhagen（哥本哈根信息技术大学）
在本文中，我们研究了贝叶斯矩阵分解方法的不同推理方法的权衡，这些方法通常用于预测缺失值，并在数据中查找模式。特别是，我们考虑贝叶斯非负变量的矩阵分解和三因子分解，并比较非概率推理，吉布斯抽样，变分贝叶斯推断，和最大后验方法。变分方法是贝叶斯非负模型的一种新方法。我们比较了它们的收敛性，对噪声和稀疏数据的鲁棒性，在合成和真实世界的数据集。此外，我们扩展的模型与贝叶斯自动相关性确定先验，允许模型执行自动模型选择，并证明其效率。
2017-07-13 cs.LG stat.ML
Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules
University of Ferrara（费拉拉大学）
深度学习技术由于其出色的效果，在工业和研究环境中发挥着越来越重要的作用。然而，要设置的大量超参数如果手动设置则可能导致错误。最先进的超参数调整方法是网格搜索，随机搜索和贝叶斯优化。前两种方法是昂贵的，因为它们分别尝试超参数的所有可能组合和随机组合。相反，贝叶斯优化构建目标函数的代理模型，使用高斯过程回归量化代理中的不确定性，并使用获取函数来决定在何处对新的超参数集进行采样。该工作面向超参数优化领域。目的是改进贝叶斯优化应用于深度神经网络。为此，我们建立了一个新的算法来评估和分析网络的训练和验证集的结果，并使用一组调整规则来添加新的超参数和/或减少超参数搜索空间，以选择一个更好的组合。
2020-06-03 cs.CV cs.LG stat.ML
Bayesian optimization for automatic design of face stimuli
King’s College London（伦敦国王学院）；Birkbeck College（伯贝克学院）；University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）
研究面孔加工的认知和神经机制是现代神经科学和心理学的一项基本任务。迄今为止，大多数此类研究都集中在使用预先选定的刺激。个性化刺激的缺乏带来了严重的局限性，因为它无法解释每个人的面部处理系统是如何适应文化嵌入的，或者它是如何在疾病中被破坏的。在这项工作中，我们提出了一个新的框架，该框架将生成对抗网络（GANs）与贝叶斯优化相结合，以识别对许多不同面孔的个体反应模式。形式上，我们采用贝叶斯优化来有效地搜索最先进的GAN模型的潜在空间，目的是自动生成新的面孔，以最大限度地提高个体受试者的响应。我们提出了基于网络的原理证明研究的结果，参与者通过对GAN的潜在空间执行贝叶斯优化来对自己的图像进行评级。我们展示了该算法如何有效地定位一个人的最佳面孔，同时映射出他们的反应在不同的语义转换的脸;个体间的分析表明，该方法可以提供丰富的信息，在面部处理的个体差异。
2020-07-20 cs.HC cs.LG stat.ML
Automatic Relevance Determination Bayesian Neural Networks for Credit Card Default Modelling
University of Johannesburg（约翰内斯堡大学）
信用风险建模是全球金融体系的一个组成部分。虽然用于信用违约预测的神经网络模型受到了极大的关注，但此类模型往往缺乏所需的解释机制和对其预测不确定性的测量。这项工作的发展和比较贝叶斯神经网络（BNN）的信用卡违约建模。这包括高斯近似训练的BNN和混合蒙特卡罗（HMC）训练的BNN在信用风险建模中的首次实现。在台湾信用数据集上的结果表明，具有自动相关性确定（ARD）的BNN优于没有ARD的正常BNN。结果还表明，高斯近似训练的BNN显示出与HMC训练的BNN相似的预测性能。结果进一步表明，BNN与ARD可以用来推断不同功能的相对重要性，从而至关重要地帮助决策者解释模型输出给消费者。使用两种不同的方法训练BNN，识别为重要的特征之间的高度一致性加强了这一结果的鲁棒性。
2019-06-14 cs.LG stat.AP stat.ML
Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation
许多机器学习模型需要基于运行随机梯度下降的训练过程。这些算法的效率的一个关键因素是学习率计划的选择。虽然使用贝叶斯优化找到良好的学习率时间表已经被几位作者解决，但以数据驱动的方式动态调整它是一个悬而未决的问题。这对于需要训练单个昂贵模型的用户具有很高的实际重要性。为了解决这个问题，我们引入了一个原始的概率模型，用于跟踪优化器，基于潜在的高斯过程和自回归/回归公式，可以灵活地调整新的学习率值引起的行为突变。如图所示，该模型非常适合解决一系列问题：首先，用于冷启动运行的学习率的在线适应;然后，用于调整一组类似任务的调度（在经典BO设置中），以及为新任务热启动它。
2020-06-25 cs.LG math.OC stat.ML
Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination
University of California Santa Barbara（加州大学圣巴巴拉分校）；Department of Mathematics, University of California Santa Barbara（加州大学圣巴巴拉分校数学系）；Department of Electrical and Computer Engineering, University of California Santa Barbara（加州大学圣巴巴拉分校电气与计算机工程系）；Facebook AI Systems Hardware/Software Co-design（Facebook人工智能系统硬件/软件协同设计）
虽然后训练模型压缩可以大大降低深度神经网络的推理成本，但未压缩的训练仍然会消耗大量的硬件资源、运行时间和能量。非常希望以低存储器和低计算成本从头开始直接训练紧凑的神经网络。低秩张量分解是降低大规模神经网络存储和计算需求的有效方法之一。然而，直接训练一个低秩张量化神经网络是一个非常具有挑战性的任务，因为很难确定一个合适的张量秩{ \it a priori}，它控制着训练过程中模型的复杂度和压缩比。本文提出了一种新的端到端的框架低秩张量训练的神经网络。我们首先开发了一个灵活的贝叶斯模型，可以处理各种低秩张量格式（例如，CP、Tucker、张量训练和张量-训练矩阵），其在训练中压缩神经网络参数。该模型可以自动确定非线性正演模型中张量的秩，这是现有贝叶斯张量方法无法实现的。我们进一步开发了一个可扩展的随机变分推理求解器来估计训练中大规模问题的后验密度。我们的工作为端到端张量化训练提供了第一个通用的秩自适应框架。我们对各种神经网络架构的数值结果表明，在训练过程中，参数的数量级减少和精度损失很小（甚至更好的精度）。具体来说，在具有超过$4.2\times 10^9$模型参数的非常大的深度学习推荐系统上，我们的方法可以在训练过程中自动将变量减少到只有$1.6\times 10^5$（即，$2.6\times 10^4$倍），同时达到几乎相同的精度。
2021-10-01 cs.LG stat.ML
Bayesian CP Factorization of Incomplete Tensors with Automatic Rank Determination
RIKEN Brain Science Institute（理化学研究所脑科学综合研究中心）；Shanghai Jiao Tong University（上海交通大学）
不完全数据的CANDECOMP/PARAFAC（CP）张量因子分解是一种通过显式捕获多线性潜在因子来实现张量完备化的强大技术。现有的CP算法需要手动指定张量秩，然而，张量秩的确定仍然是一个具有挑战性的问题，特别是对于CP秩。此外，现有的方法没有考虑潜在因素的不确定性信息，以及缺失的条目。为了解决这些问题，我们使用分层概率模型来制定CP因子分解，并通过在多个潜在因素上引入稀疏诱导先验和在所有超参数上引入适当的超先验来采用完全贝叶斯处理，从而实现自动排名确定。为了学习模型，我们开发了一个有效的确定性贝叶斯推理算法，该算法随数据大小线性扩展。我们的方法的特点是作为一个调整参数的方法，它可以有效地推断潜在的多线性因素与低秩约束，同时也提供了预测分布缺失的条目。对合成数据的大量模拟说明了我们的方法的内在能力，以恢复CP秩的地面真相，并防止过拟合问题，即使大量的条目丢失。此外，从现实世界的应用，包括图像修补和面部图像合成的结果表明，我们的方法优于最先进的方法，张量因式分解和张量完成方面的预测性能。
2014-10-09 cs.CV cs.LG stat.ML
Density Estimation via Bayesian Inference Engines
University of Technology Sydney（悉尼科技大学）
我们解释如何有效的自动概率密度函数估计可以使用当代贝叶斯推断引擎，如那些基于无掉头采样和期望传播。广泛的模拟研究表明，建议的密度估计有很好的比较性能和规模非常大的样本量由于分箱策略。此外，该方法是完全贝叶斯和所有的估计都伴随着逐点可信区间。随附的R语言包便于使用新的密度估计。
2021-09-26 cs.LG stat.ML
Practical Bayesian Optimization of Machine Learning Algorithms
University of Toronto（多伦多大学）；Harvard University（哈佛大学）
机器学习算法经常需要仔细调整模型超参数、正则化项和优化参数。不幸的是，这种调优通常是一种“黑艺术”，需要专家经验、不成文的经验法则，有时甚至需要蛮力搜索。更有吸引力的是开发自动方法的想法，这些方法可以优化给定学习算法的性能。在这项工作中，我们认为自动调整问题的框架内的贝叶斯优化，其中学习算法的泛化性能建模为一个样本从高斯过程（GP）。由GP诱导的易处理的后验分布导致有效地使用先前实验收集的信息，从而能够最佳地选择下一步尝试什么参数。在这里，我们展示了高斯过程先验和相关推理过程的影响如何对贝叶斯优化的成功或失败产生重大影响。我们表明，深思熟虑的选择可以导致结果，超过专家级的性能调整机器学习算法。我们还描述了新的算法，考虑到学习实验的可变成本（持续时间），并可以利用多个核心的并行实验的存在。我们表明，这些算法改进了以前的自动程序，可以达到或超过人类专家级优化的一组不同的当代算法，包括潜在的Dirichlet分配，结构化支持向量机和卷积神经网络。
2012-08-29 cs.LG stat.ML
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine（加利福尼亚大学欧文分校）
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题，提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则，在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning
University of Oxford（牛津大学）；Amazon Adelaide（亚马逊阿德莱德分公司）
我们把一个印度巴菲特过程（IBP）之前的贝叶斯神经网络（BNN）的结构，从而使BNN的复杂性自动增加和减少。我们进一步扩展了这个模型，使每个隐藏层的结构上的先验全局共享所有层，使用分层IBP（H-IBP）。我们将此模型应用于持续学习（CL）中的资源分配问题，其中新任务的出现和网络需要额外的资源。我们的模型使用在线变分推断与重新参数化的伯努利和β分布，这构成了IBP和H-IBP先验。当我们自动学习BNN每层中的权重时，过拟合和欠拟合问题在很大程度上得到了克服。我们的经验表明，我们的方法提供了竞争优势，在CL现有的方法。
2021-08-02 cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中：从自动机器学习，机器人，强化学习，实验设计，仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式，高斯过程，由于其灵活性，以代表一个先验函数。然而，许多算法和设置依赖于高斯过程的平稳性假设。在本文中，我们提出了一种新的非平稳贝叶斯优化策略，能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Scalable First-Order Bayesian Optimization via Structured Automatic Differentiation
Cornell University（康奈尔大学）
贝叶斯优化（BO）已经显示出巨大的潜力，用于评估昂贵的函数的全局优化，但尽管取得了许多成功，标准方法在高维中仍然存在困难。为了提高BO的性能，先前的工作建议将梯度信息合并到目标的高斯过程代理中，从而产生用于$d$维度中的$n$观测的大小为$nd \times nd$的核矩阵。天真地乘（resp。求逆）这些矩阵需要$\mathcal{O}(n^2d^2)$（分别$\mathcal{O}(n^3d^3$））操作，这对于中等尺寸和样本量变得不可行。在这里，我们观察到，广泛的内核产生结构化矩阵，使一个精确的$\mathcal{O}(n^2d)$矩阵向量乘法梯度观测和$\mathcal{O}(n^2d^2)$海森观测。除了规范的内核类，我们得到一个编程的方法来利用这种类型的结构的转换和讨论的内核类的组合，这构成了一个结构感知的自动微分算法。我们的方法适用于几乎所有的典型内核，并自动扩展到复杂的内核，如神经网络，径向基函数网络，光谱混合内核没有任何额外的衍生，使灵活的，问题相关的建模，同时缩放一阶BO到高$d$。
2022-06-16 cs.AI cs.LG cs.MS
ADAVI: Automatic Dual Amortized Variational Inference Applied To Pyramidal Bayesian Models
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
通常，群体研究的特征是使用分层贝叶斯模型（HBM）表示的分层组织的数据。这些模型在神经成像等环境中可能会变得过大，其中样本由300个大脑位置上测量的功能性MRI信号组成，跨越4个测量会话和30个受试者，导致约100万个潜在参数。如此高的维度阻碍了现代表达流技术的使用。为了在这类具有挑战性的问题中推断参数后验分布，我们设计了一种新的方法，自动产生一个变分家庭对偶的目标HBM。这个变分的家庭，表示为一个神经网络，包括在一个基于注意力的分层编码器的组合馈送汇总统计数据的一组归一化流。我们的自动衍生的神经网络利用交换板丰富的HBM和因式分解其参数空间。由此产生的架构相对于典型的基于流的表示减少了几个数量级的参数化，同时保持了表达能力。我们的方法在摊销设置中对指定的HBM执行推理：一旦训练好，它可以很容易地应用到一个新的数据样本来计算参数的完整后验。我们在模拟数据上证明了我们的方法的能力和可扩展性，以及一个具有挑战性的高维度大脑分割实验。我们还提出了几个问题，这些问题位于规范化流程、SBI、结构化变分推理和推理摊销之间的交叉点。
2022-03-08 cs.AI cs.LG q-bio.NC
Fast Automatic Bayesian Cubature Using Lattice Sampling
自动cubatures近似多维积分，以用户指定的误差容限。对于高维问题，固定采样密度但自动确定样本量$n$是有意义的。贝叶斯求积假设被积函数是随机过程的一个实例。在这里，我们假设高斯过程由常数均值和由尺度参数乘以参数化函数定义的协方差函数参数化，该函数指定域中两个不同点处的被积函数值如何相关。这些参数估计从被积函数值或给出非信息先验。选择样本量$n$，以使贝叶斯后验均值的可信区间的半宽度不大于误差容限。刚刚概述的过程通常需要计算成本为$O(n^3)$的向量矩阵运算。我们的创新是将低差异节点与匹配内核配对，从而将计算成本降低到$O(n \log n)$。这种方法是使用秩1格序列和移位不变内核。我们的算法是在保证自动集成库（GAIL）。
2019-11-08 cs.NA math.NA stat.CO
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology（麻省理工学院）
我们提出了新的技术，自动构建数据分析，解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作，这些语言捕获广泛类别的数据生成过程的关键属性，使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模，确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言，并建立健全的方法，这些语言。我们应用的技术，自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构，以计算感兴趣的关键定性属性，潜在的数据生成过程表现出这些属性的概率。其次，我们翻译概率程序在特定领域的语言概率程序的风险投资，一个通用的概率编程系统。然后执行翻译后的Venture程序，以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明，我们的技术可以准确地推断多个真实世界的数据集的定性结构，并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
Automatic tempered posterior distributions for Bayesian inversion problems
Universidad rey Juan Carlos（胡安·卡洛斯国王大学）；Universidad Carlos III de Madrd（马德里卡洛斯三世大学）
我们提出了一种新的自适应重要性抽样计划贝叶斯反演问题的利益和数据噪声的功率的推断是分裂的。更具体地说，我们考虑对感兴趣的变量进行贝叶斯分析（即，要反演的模型参数），而我们采用极大似然方法来估计噪声功率。整个技术通过迭代过程、交替采样和优化步骤来实现。此外，噪声功率也被用作感兴趣的变量的后验分布的缓和参数。因此，生成一系列的回火后验密度，其中回火参数是根据噪声功率的实际估计自动选择的。还可以对模型参数和尺度参数进行完整的贝叶斯研究。数值实验表明，所提出的方法的好处。
2021-07-24 cs.AI stat.CO
Bayesian Smoothing and Feature Selection Using variational Automatic Relevance Determination
本研究提出面向高维稀疏加性回归的变分自动相关性确定（VARD）方法，可独立评估特征平滑度并判定其贡献类型，配套高效坐标下降算法，经模拟与真实数据验证，其变量选择性能优于现有同类方法。
2024-10-31 stat.ME
Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法，为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时，往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型（BLRS），它可以被精确地推断。在这个框架下，共轭先验和期望最大化（EM）算法进行了推广。同时，我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归（BLRG）。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明，在预测网络新闻流行度的任务中，BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
A Fully Bayesian Infinite Generative Model for Dynamic Texture Segmentation
Sharif University of Technology（谢里夫理工大学）；City University of Hong Kong（香港城市大学）
生成式动态纹理模型（GDTM）被广泛用于视频序列的动态纹理（DT）分割。GDTM将DT表示为一组线性动态系统（LDS）。这些模型的一个主要限制是自动选择适当数量的DT。Dirichlet过程混合模型是近年来出现的非参数贝叶斯统计的基石，是解决这一问题的一个乐观的候选者。在此动机下，以解决上述缺点，我们提出了一种新的非参数完全贝叶斯方法DT分割，制定的基础上，一个联合的DSPER和GDTM建设。这种相互作用使得算法能够适当地克服自动分割的问题。我们推导出变分贝叶斯期望最大化（VBEM）推断所提出的模型。此外，在E-步骤的推理，我们应用Rauch-Tung-Striebel平滑（RTSS）算法的变分贝叶斯LDSS。最后，对不同的视频序列进行了实验。实验结果表明，该算法在效率和准确性上明显优于以往的方法。
2019-01-13 cs.GR cs.LG stat.ML
An automatic robust Bayesian approach to principal component regression
主成分回归使用主成分作为回归量。它在具有高维协变量的预测设置中特别有用。现有的文献处理贝叶斯方法是相对稀疏的。我们引入了一种贝叶斯方法，该方法对因变量和协变量中的离群值都具有鲁棒性。离群值可以被认为是与一般趋势不一致的观测值。所提出的方法自动惩罚这些观察结果，使其对后验的影响逐渐消失，因为它们越来越远离总趋势，对应于贝叶斯统计中称为整体鲁棒性的概念。因此，产生的预测与大部分数据一致。该方法还利用主成分的几何形状来有效地识别那些重要的主成分。根据模型平均机制，合并从所产生的模型中获得的各个预测，以考虑模型的不确定性。该方法进行评估的真实数据和相比，其非鲁棒贝叶斯对应，传统的频率论方法，和一个常用的强大的频率论方法。提供了使整个统计程序自动化的详细准则。所有必需的代码都可用，请参见ArXiv：1711.06341。
2020-01-25 stat.ME
Bayesian Optimization with Automatic Prior Selection for Data-Efficient Direct Policy Search
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
用于直接策略搜索的贝叶斯优化的最有趣的特征之一是它可以利用先验（例如，从模拟或从先前的任务）来加速机器人上的学习。在本文中，我们感兴趣的情况下，存在几个先验，但我们事先不知道哪一个最适合当前的情况。我们解决这个问题，通过引入一种新的采集功能，称为最可能的预期改善（MLEI），结合先验的可能性和预期的改善。我们评估这个新的采集功能上的迁移学习任务的5自由度平面臂和可能损坏的，6条腿的足式机器人，必须学会走在平地上和楼梯上，与先验对应于不同的楼梯和不同种类的损害。我们的研究结果表明，MLEI有效地识别和利用先验，即使当前情况和先验之间没有明显的匹配。
2018-03-13 cs.AI cs.LG cs.NE
Efficient Bayesian Inference for a Gaussian Process Density Model
Artificial Intelligence Group（人工智能组）；Technische Universität Berlin（柏林工业大学）
我们重新考虑一个基于高斯过程的非参数密度模型。通过增广模型与潜在的Pólya-Gamma随机变量和潜在的标记泊松过程，我们得到了一个新的似然共轭模型的高斯过程的先验。增强后允许有效的推理吉布斯抽样和近似变分平均场方法。对于后者，我们利用稀疏GP近似来解决无限维的问题。这两种算法的性能和与其他密度估计的比较，证明了人工和真实的数据集，多达几千个数据点。
2018-05-29 cs.LG stat.ML
Bayesian Optimisation vs. Input Uncertainty Reduction
University of Warwick（华威大学）
仿真器通常需要从真实世界数据估计的校准输入，并且估计的质量可以显著影响仿真输出。特别是当执行仿真优化以找到最佳解决方案时，输入中的不确定性会显著影响找到的解决方案的质量。一种补救方法是寻找在不确定的输入范围内平均具有最佳性能的解决方案，从而产生最佳折衷解决方案。我们考虑更一般的设置，用户可以在运行模拟或收集真实世界数据之间进行选择。用户可以选择输入和解决方案，并观察模拟输出，或者改为查询外部数据源，从而改善输入估计，从而能够搜索更集中、更少妥协的解决方案。我们显式地检查模拟和真实数据汇集之间的权衡，以找到模拟器与真实输入的最佳解决方案。使用的信息程序的值，我们提出了一种新的统一的模拟优化程序称为贝叶斯信息收集和优化（BICO），在每次迭代中，自动确定这两个动作（运行模拟或数据汇集）是更有益的。数值实验表明，该算法能够自动确定优化和数据汇集之间的适当平衡。
2020-05-31 cs.LG stat.ML
bayesNMF: Fast Bayesian Poisson NMF with Automatically Learned Rank Applied to Mutational Signatures
Harvard University（哈佛大学）；Vanderbilt University（范德堡大学）；Dana Farber Cancer Institute（达纳-法伯癌症研究所）
本文提出bayesNMF，通过Metropolis-Hastings嵌套Gibbs采样解决传统泊松NMF在计算效率和秩学习不确定性上的不足，适用于癌症突变签名分析。
2026-03-28 stat.ME
Automatic Classification of Variable Stars in Catalogs with missing data
Pontificia Universidad Católica de Chile（智利天主教大学）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密森天体物理中心）；Harvard University（哈佛大学）
本文提出了一种对含有缺失数据的天文星表进行自动分类的方法。我们使用贝叶斯网络，一种概率图形模型，它允许我们执行推理，以预测给定观测数据和变量之间依赖关系的缺失值。为了从不完整的数据中学习贝叶斯网络，我们使用了一种迭代算法，该算法利用抽样方法和期望最大化来估计具有缺失值的数据中变量的分布和概率依赖性。为了测试我们的模型，我们使用了三个缺失数据的星表（SAGE，2MASS和UBVI）和一个完整的星表（CAMO）。我们研究如何分类准确性的变化时，从缺失的数据目录的信息包括在内，我们的方法相比，传统的缺失数据的方法和计算成本。将这些目录与丢失的数据相结合，我们发现，在保持计算成本不变的情况下，可变对象的分类提高了百分之几，类星体检测提高了15%。
2013-10-29 astro-ph.IM cs.LG stat.ML
Quasi-Bayesian Nonparametric Density Estimation via Autoregressive Predictive Updates
University of Oxford（牛津大学）；Novo Nordisk（诺和诺德）；University College London（伦敦大学学院）
贝叶斯方法是一种流行的选择，统计推断在小数据制度，由于正则化效应引起的先验。在密度估计的背景下，标准的非参数贝叶斯方法是针对Dirichlet过程混合模型的后验预测。通常，后验预测的直接估计是棘手的，因此方法通常求助于近似后验分布作为中间步骤。然而，最近发展的准贝叶斯预测copula更新，使得有可能进行易于处理的预测密度估计，而不需要后验近似。虽然这些估计在计算上是有吸引力的，但它们往往在非光滑数据分布上挣扎。这是由于提出的copula更新所依据的似然模型的相对限制性形式。为了解决这个问题，我们考虑了一个贝叶斯非参数模型与自回归似然分解和高斯过程先验。虽然这样的模型的预测更新通常是棘手的，我们得到一个准贝叶斯预测更新，实现国家的最先进的结果在小数据制度。
2023-02-18 cs.LG stat.ME stat.ML
Sparse Methods for Automatic Relevance Determination
Massachusetts Institute of Technology（麻省理工学院）
这项工作认为，在贝叶斯回归的应用在非线性系统识别的方法施加稀疏。我们首先回顾自动相关性确定（ARD）和分析证明需要额外的正则化或阈值，以实现稀疏模型。然后，我们讨论了两类方法，正则化和阈值的基础上，ARD学习线性问题的简约解决方案。在正交协变量的情况下，我们分析证明了良好的性能，关于学习一个小的一组活动项的线性系统与稀疏的解决方案。几个例子的问题，提出了一套比较所提出的方法的优势和局限性ARD在基地数百个元素。本文的目的是分析和理解导致几种算法的假设，并提供理论和实证结果，以便读者可以获得洞察力，并对稀疏贝叶斯回归做出更明智的选择。
2020-05-18 cs.LG math.ST stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Bayesian Optimization in AlphaGo
DeepMind（深度思维）
在AlphaGo的开发过程中，它的许多超参数都用贝叶斯优化进行了多次调整。这种自动调音过程导致了演奏强度的大幅提高。例如，在与李世石的比赛之前，我们调整了最新的AlphaGo代理，这将其在自我游戏中的胜率从50%提高到66.5%。这个优化的版本在最后一场比赛中部署。当然，由于我们在AlphaGo的开发周期中对其进行了多次调整，因此复合贡献甚至高于这个百分比。我们希望这个简短的案例研究能引起围棋爱好者的兴趣，并为贝叶斯优化从业者提供一些见解和灵感。
2018-12-17 cs.AI cs.LG stat.ML
Bayesian geoacoustic inversion using mixture density network
Research Institute of Petroleum Exploration & Development PetroChina（中国石油勘探开发研究院）；College of Meteorology and Oceanography National University of Defense Technology（国防科技大学气象海洋学院）
本文提出用混合密度网络从多维后验概率密度中推导地声统计量，以高效替代昂贵的蒙特卡罗方法，实现数秒内完成贝叶斯地声反演。
2024-07-06 cs.LG physics.geo-ph stat.ML
GPflowOpt: A Bayesian Optimization Library using TensorFlow
介绍了一种新的用于贝叶斯优化的Python框架GPflowOpt。该软件包基于流行的高斯过程GPflow库，利用TensorFlow的优势，包括自动微分、并行化和用于贝叶斯优化的GPU计算。设计目标集中在一个易于扩展自定义采集功能和模型的框架上。该框架经过全面测试和良好的文档记录，并提供可扩展性。目前发布的GPflowOpt版本包括一些标准的单目标采集功能，最先进的最大值熵搜索，以及贝叶斯多目标方法。最后，它允许轻松使用GPflow中实现的自定义建模策略。
2017-11-10 stat.ML
BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University（耶鲁大学）
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法，无需可逆网络，通过样本特定后验构建自适应提议并利用桥接采样估计密度，在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
Individual Claims Forecasting with Bayesian Mixture Density Networks
Kasa AI（卡萨人工智能）
我们介绍了一个利用贝叶斯混合密度网络的个人索赔预测框架，可用于索赔分析任务，如案件保留和分流。所提出的方法能够整合来自结构化和非结构化数据源的索赔信息，生成多期现金流预测，并生成未来支付模式的不同场景。我们使用公开的数据实现和评估建模框架。
2020-03-05 cs.LG stat.AP
Unbounded Bayesian Optimization via Regularization
贝叶斯优化是近年来兴起的一种全局优化和超参数整定的有效工具。目前，已建立的贝叶斯优化实践需要用户定义的边界框，该边界框被假定为包含优化器。然而，当对探测的目标函数知之甚少时，可能很难规定这样的界限。在这项工作中，我们修改了标准的贝叶斯优化框架的原则性的方式，允许自动搜索空间。我们介绍了两种替代方法，并比较它们在两个常见的合成基准测试功能，以及调整随机梯度下降优化器的多层感知器和卷积神经网络MNIST的任务。
2015-08-14 stat.ML
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Bayesian Generative Models for Knowledge Transfer in MRI Semantic Segmentation Problems
ADASE；Skoltech（斯科尔科沃科技学院）
基于深度学习的自动分割方法最近表现出最先进的性能，优于普通方法。然而，这些方法不适用于小数据集，这是非常常见的医疗问题。为此，我们提出了一种通过生成贝叶斯先验网络的疾病之间的知识转移方法。我们的方法与预训练方法和随机初始化进行了比较，并在脑肿瘤分割2018数据库（BRATS 2018）的小子集的Dice相似系数度量方面获得了最佳结果。
2019-08-15 cs.CV cs.LG eess.IV
BClean: A Bayesian Data Cleaning System
Shenzhen University（深圳大学）；Shenzhen Institute of Computing Sciences（深圳计算科学研究院）；Zhongguancun Laboratory（中关村实验室）；Nagoya University（名古屋大学）
BClean提出一种自动构建贝叶斯网络并支持用户交互的数据清洗系统，通过贝叶斯推断和近似策略提升效率，在真实与合成数据上F值达0.9，优于现有方法。
2023-11-11 cs.AI cs.DB cs.LG
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Bayesian statistical learning using density operators
CCNU Wollongong Joint Institute（华中师范大学伍伦贡联合研究院）；Central China Normal University（华中师范大学）
这个简短的研究使用量子力学框架重新制定了统计贝叶斯学习问题。代表样本波函数的纯态系综的密度算子被用来代替概率密度。我们表明，这种表示允许制定统计贝叶斯学习问题在不同的坐标系上的样本空间。我们进一步表明，这样的表示允许使用内核技巧来学习密度算子的投影。特别是，这项研究强调，分解波函数，而不是概率密度，因为它是在内核嵌入，允许保留概率算子的性质。结果示出了一个简单的例子，使用离散正交小波变换的密度算子。
2023-01-17 cs.LG math.ST quant-ph
Bayesian Generative Models for Knowledge Transfer in MRI Semantic Segmentation Problems
基于深度学习的自动分割方法最近表现出最先进的性能，优于普通方法。然而，这些方法不适用于小数据集，这是非常常见的医疗问题。为此，我们提出了一种通过生成贝叶斯先验网络的疾病之间的知识转移方法。我们的方法与预训练方法和随机初始化进行了比较，并在脑肿瘤分割2018数据库（BRATS 2018）的小子集的Dice相似系数度量方面获得了最佳结果。
2020-05-27 eess.IV stat.ML
Bayesian Multivariate Density-Density Regression
本文提出一种基于切片Wasserstein距离和广义贝叶斯框架的可扩展多元密度-密度回归方法，利用MALA进行后验推断，并证明了后验一致性，在模拟和单细胞数据上展现出优于传统方法的预测性能。
2025-09-22 stat.AP stat.CO stat.ME
Extending Dynamic Bayesian Networks for Anomaly Detection in Complex Logs
University of Antwerp（安特卫普大学）
检查来自不同进程的各种日志文件可能是一项繁琐的任务，因为这些日志包含大量事件，每个事件都有（可能很大）数量的属性。我们开发了一种方法来自动建模日志文件和检测数据中的离群跟踪。为此，我们扩展了动态贝叶斯网络来模拟日志文件中的正常行为。我们引入了一种新的算法，能够从数据本身开始学习日志文件的模型。即使日志文件中出现新值或新的值组合，该模型也能够对跟踪进行评分。
2018-08-17 cs.AI cs.LG
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg（约翰内斯堡大学）
我们提出了一个自动相关性确定先验贝叶斯神经网络（BNN-ARD）的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明，相对于现实世界数据集上的变量选择能力和预测性能，所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML
Bayesian Optimization for Adaptive MCMC
提出了一种新的基于贝叶斯优化的自适应MCMC随机化策略。这种方法适用于不可微的目标函数，并权衡探索和开发，以减少潜在的昂贵的目标函数评估的数量。我们证明了战略在复杂的设置采样约束，离散和密集连接的概率图形模型，对于每个变化的问题，需要自动调整的建议机制的参数，以确保有效的混合的马尔可夫链。
2011-10-29 stat.CO stat.ML
Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs
MIT（麻省理工学院）；Siberian Federal University（西伯利亚联邦大学）
计算机视觉作为计算机图形学的贝叶斯逆问题的想法有着悠久的历史和吸引人的优雅，但它已被证明难以直接实现。相反，大多数视觉任务是通过复杂的自下而上的处理管道来完成的。在这里，我们表明，它是可以编写简短，简单的概率图形程序，定义灵活的生成模型，并自动反转它们来解释现实世界的图像。生成概率图形程序包括一个随机场景生成器，基于图形软件的渲染器，连接渲染器的输出和数据的随机似然模型，以及调整渲染器的保真度和似然模型的容限的潜变量。计算机图形学的表示和算法最初是为了产生高质量的图像而设计的，现在被用作高度近似和随机生成模型的确定性支柱。该公式结合了概率编程、计算机图形学和近似贝叶斯计算，并且仅依赖于通用的自动推理技术。我们描述两个应用程序：读取退化和不利模糊的字母数字字符序列，并从车载摄像机图像推断3D道路模型。我们提出的每一个概率图形程序都依赖于不到20行的概率代码，并支持对模糊的真实世界图像进行准确的近似贝叶斯推断。
2013-06-29 cs.AI cs.CV stat.ML
BO-SA-PINNs: Self-adaptive physics-informed neural networks based on Bayesian optimization for automatically designing PDE solvers
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
针对PINNs求解PDEs需手动调整超参数的问题，提出多阶段BO-SA-PINNs框架，通过贝叶斯优化自动选超参数、自适应机制优化损失与采样，结合新激活函数，在多类PDE测试中实现更高精度与更少迭代。
2025-04-14 cs.CE cs.LG cs.NA
Bayesian Nonparametric Density Estimation under Length Bias
一个密度估计方法在贝叶斯非参数框架下，当记录的数据不是直接来自感兴趣的分布，但从一个长度偏置的版本。从贝叶斯的角度来看，由于无法规避归一化常数的问题，有条件地对长度偏差数据进行计算评估后验量的努力受到了阻碍。在本文中，我们提出了一种新的贝叶斯非参数方法的长度偏差抽样问题，它绕过了归一化常数的问题。给出了数值例子和一个实际数据例子，并将该估计量与Jones（1991）的间接数据核密度估计量进行了比较。
2015-10-22 math.ST stat.TH
