Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Measuring IIA Violations in Similarity Choices with Bayesian Models
Department of Computer and Systems Engineering（计算机与系统工程系）；Federal University of Rio de Janeiro (UFRJ)（里约热内卢联邦大学）；School of Computer and Communication Sciences（计算机与通信科学学院）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对相似性选择场景中IIA违背检测不足的问题，提出经典拟合优度检验与贝叶斯PPC方法，量化违背程度，通过两个数据集验证显著违背且群体同质，揭示背景效应驱动违背，强调需新模型解释该效应。
2025-08-20 cs.LG stat.ML
Analogical-based Bayesian Optimization
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）
一些现实世界的问题旋转以解决优化问题\max_{x\in\mathcal{X}} f \left（x \right），其中f \left（. \right）是黑盒函数，并且X可以是非向量对象的集合（例如，分布），我们只能在其上定义对称和非负的相似性得分。这种设置需要对贝叶斯优化的标准框架进行新颖的视图，以概括该框架的核心洞察力精神。基于这种精神，本文提出了一种基于类比的贝叶斯优化算法，它可以在一个只能定义相似度的域上最大化黑盒函数。我们的路径如下：我们首先基于高斯过程（GP）的几何视图来定义影响水平的概念，该影响水平允许我们分析地表示GP后验的预测均值和方差，并且基于该视图来使得能够用更遗传的相似性得分来替换核相似性。此外，我们还提出了两种策略来找到一批查询点，可以有效地处理高维数据。
2017-09-19 cs.LG stat.ML
Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks
本研究通过134400次模拟评估了四种正则化方法在机器学习中的性能，发现当样本数与特征数比足够时，Ridge、Lasso和ElasticNet可互换，但Lasso在多重共线性和低信噪比下表现差，建议避免在高条件数和小样本情况下使用Lasso或Post-Lasso OLS。
2026-04-07 cs.LG stat.ML
In-Context Learning for Latent Space Bayesian Optimization
Aalto University（阿尔托大学）
针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题，提出在分子VAE潜空间上定义合成优化任务进行持续预训练，并引入正则化器保持原始先验，显著提升分子优化性能。
2026-06-08 cs.LG stat.ML
Weight Expansion: A New Perspective on Dropout and Generalization
University of Liverpool（利物浦大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
虽然dropout被认为是一种成功的正则化技术，但仍然缺乏对导致这种成功的机制的见解。我们引入了\emph{weight expansion}的概念，增加了由列或行向量的权重协方差矩阵所跨越的平行六面体的有符号体积，并表明权重扩展是一种有效的手段，增加了PAC-贝叶斯设置中的泛化。我们提供了一个理论论据，辍学导致体重膨胀和广泛的经验支持辍学和体重膨胀之间的相关性。为了支持我们的假设，即权重扩展可以被视为由dropout赋予的增强的泛化能力的\emph{indicator}，而不仅仅是一个副产品，我们研究了实现权重扩展的其他方法（分别为）。他们发现，他们的行为，往往是一种行为，一种行为。降低）的概括能力。这表明dropout是一个有吸引力的正则化器，因为它是一种计算成本低的方法来获得权重扩展。这一见解证明了dropout作为正则化器的作用，同时为识别通过权重扩展改善泛化的正则化器铺平了道路。
2022-09-12 cs.LG stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
A similarity-based Bayesian mixture-of-experts model
KTH Royal Institute of Technology（瑞典皇家理工学院）；RaySearch Laboratories（瑞镭实验室）；Silo AI（Silo AI（西洛人工智能公司））
我们提出了一个新的非参数混合专家模型的多元回归问题，启发的概率k-近邻算法。使用条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，产生由高斯混合表示的预测分布。后验推理的混合物成分的参数，以及使用平均场变分贝叶斯算法伴随着随机梯度为基础的优化过程的距离度量。所提出的方法是特别有利的设置，其中输入是相对较高的维度相比，数据的大小，其中输入-输出关系是复杂的，并且其中预测分布可能是偏斜的或多模态的。对五个数据集的计算研究，其中两个是综合生成的，说明了我们的混合专家方法对高维输入的明显优势，在验证指标和目视检查方面都优于竞争对手的模型。
2022-08-03 cs.LG stat.ME stat.ML
A Bayesian-inspired, deep learning-based, semi-supervised domain adaptation technique for land cover mapping
Monash University（莫纳什大学）；IRISA（IRISA研究所）
土地覆被图是许多类型的环境研究和管理的重要投入变量。虽然它们可以通过机器学习技术自动产生，但这些技术需要大量的训练数据来实现高水平的准确性，而这并不总是可用的。当标记的训练数据稀缺时，研究人员使用的一种技术是领域自适应（DA）-其中来自替代区域（称为源域）的数据用于训练分类器，该模型适用于映射研究区域或目标域。我们在本文中解决的情况被称为半监督DA，其中一些标记的样本在目标域中可用。在本文中，我们提出了Sourcer，一个贝叶斯启发的，基于深度学习的，半监督DA技术，用于从SITS数据生成土地覆盖图。该技术采用在源域上训练的卷积神经网络，然后在可用的目标域上进一步训练，并将新的正则化器应用于模型权重。正则化器调整模型被修改以拟合目标数据的程度，当目标数据数量很少时限制变化程度，并且随着目标数据量的增加而增加。我们对Sentinel-2时间序列图像的实验将Sourcer与两种最先进的半监督领域自适应技术和四种基线模型进行了比较。我们表明，在两个不同的源-目标域配对Sourcer优于所有其他方法的任何数量的标记的目标数据。事实上，在更困难的目标领域上的结果表明，Sourcer的初始准确度（当没有标记的目标数据可用时）为74.2%，高于在20，000个标记的目标上训练的下一个最佳最先进方法实例。
2021-03-10 cs.CV cs.LG stat.ML
Nuclear Norm-Regularized Bayesian Matrix Completion
Cornell University（康奈尔大学）
针对核范数正则化贝叶斯矩阵补全，提出首个具有非渐近保证的多项式时间采样器，通过离散化噪声精度并利用热力学积分构建后验，证明了可行性。
2026-10-28 cs.LG stat.ML
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Convex Point Estimation using Undirected Bayesian Transfer Hierarchies
Stanford University（斯坦福大学）
当相关的学习任务被自然地安排在一个层次结构中时，一个有吸引力的处理实例稀缺的方法是使用层次贝叶斯框架的迁移学习。由于完全贝叶斯计算可能是困难的，并且计算要求很高，因此通常希望使用有助于（相对）有效预测的后验点估计。然而，分层贝叶斯框架并不总是自然地适用于这一最大后验目标。在这项工作中，我们提出了一个无向重构的分层贝叶斯依赖于先验的形式相似性措施。我们引入的概念，这些相似性措施的组件上的“转移度”的权重，并展示了它们如何可以自动学习的联合概率框架内。重要的是，我们的重新制定的结果在许多学习问题的凸目标，从而促进最佳后验点估计使用标准的优化技术。此外，我们不再需要适当的先验知识，允许灵活和直接的规范的联合分布在传输层次。我们表明，我们的框架是有效的学习模型的一部分，传输层次结构的两个现实生活中的任务：对象形状建模使用高斯密度估计和文档分类。
2012-06-13 cs.LG stat.ML
Probabilistic Meta-Representations Of Neural Networks
Uber AI Labs（优步人工智能实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
现有的神经网络的贝叶斯处理通常以弱先验分布和近似后验分布为特征，根据该分布，独立地提取所有权重。在这里，我们考虑一个更丰富的先验分布，其中网络中的单元由潜在变量表示，单元之间的权重根据这些变量的集合的值有条件地绘制。这允许相关权重之间具有丰富的相关性，并且可以被视为实现具有贝叶斯复杂性正则化器的函数先验，以确保简单的解决方案。我们说明了由此产生的元表示和表示，阐明了这个先验的力量。
2018-10-01 cs.AI cs.LG stat.ML
A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model
Rice University（莱斯大学）；University of California at Berkeley（加州大学伯克利分校）；Baylor College of Medicine（贝勒医学院）；California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
受卷积神经网络（CNN）在图像监督预测方面的成功启发，我们设计了解卷积生成模型（DGM），这是一种新的概率生成模型，其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外，DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量，并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器，该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化（RPN）。我们证明，这个正则化提高泛化，在理论和实践中。此外，DGM中的似然估计会产生CNN的训练损失，受此启发，我们设计了一种称为Max-Min交叉熵的新损失，它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构，即Max-Min网络，它可以从较少的标记数据中学习，同时保持良好的预测性能。我们的实验表明，DGM与RPN和Max-Min架构超过或匹配的最先进的基准，包括SVHN，CIFAR 10，和CIFAR 100的半监督和监督学习任务。
2019-12-09 cs.AI cs.CV cs.LG
Graph-Smoothed Bayesian Black-Box Shift Estimator and Its Information Geometry
School of Mathematics and Statistics（数学与统计学学院）；The University of Melbourne（墨尔本大学）
提出图平滑贝叶斯黑盒偏移估计器GS-B$^3$SE，利用拉普拉斯-高斯先验和标签相似性图，实现可识别、快速且鲁棒的标签偏移估计，并推广了现有方法。
2025-05-22 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Beyond similarity assessment: Selecting the optimal model for sequence alignment via the Factorized Asymptotic Bayesian algorithm
配对隐马尔可夫模型（PHOTO）是用于成对序列比对的概率模型，这是生物信息学中的一个典型问题。PHP包含三种隐藏状态：匹配、插入和删除。大多数以前的研究使用一个或两个隐藏状态的每一个PHMM状态类型。然而，很少有研究已经检查的状态的数量适合表示序列数据或提高比对精度。我们开发了一种新的方法来选择优越的模型（包括隐藏状态的数量）PHMM。我们的方法使用因子化信息准则（FIC）选择具有最高后验概率的模型，该准则广泛用于隐变量概率模型的模型选择。仿真结果表明，该方法具有良好的模型选择能力，对准精度略有提高。我们将我们的方法应用于5个和28个物种的DNA数据集，最终选择了比以前研究中使用的模型更复杂的模型。
2017-10-15 q-bio.QM stat.ML
Lifelong Generative Modeling
University of Geneva（日内瓦大学）；Haute école de gestion de Genève, HES-SO（日内瓦高等管理学院, 瑞士西部应用科学与艺术大学）
终身学习是以顺序方式学习多个连续任务的问题，其中从先前任务中获得的知识被保留并用于帮助学习者一生中的未来学习。这对于开发能够适应环境的智能机器至关重要。在这项工作中，我们专注于无监督生成建模的终身学习方法，我们不断将新观察到的分布纳入学习模型。我们通过一个学生-教师变分自动编码器架构来做到这一点，该架构允许我们学习和保存迄今为止看到的所有分布，而无需保留过去的数据或过去的模型。通过引入一种新的跨模型正则化器，灵感来自贝叶斯更新规则，学生模型利用教师学习的信息，作为概率知识库。正则化器减少了我们在学习分布序列时出现的灾难性干扰的影响。我们验证了我们的模型的MNIST，FashionMNIST，PermutedMNIST，SVHN和Celeb-A的顺序变体的性能，并证明我们的模型减轻了神经网络在顺序学习场景中所面临的灾难性干扰的影响。
2020-09-08 cs.LG stat.ML
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
高斯过程（GP）代理模型可以提高贝叶斯优化（BO）的抽样效率。然而，在混合变量空间中，代理模型而不是GP是普遍的，主要是由于缺乏内核，可以跨不同类型的变量建模复杂的依赖关系。在本文中，我们提出了频率调制（FM）内核灵活地建模不同类型的变量之间的依赖关系，使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而，频率调制并不总是定义具有相似性度量行为的核，该相似性度量行为对于更相似的点对返回更高的值。因此，我们指定并证明条件FM内核是正定的，并表现出相似性度量行为。在实验中，我们证明了改进的采样效率GP BO使用FM核（BO-FM）。在综合问题和超参数优化问题，BO-FM优于竞争对手一致。此外，频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面，BO-FM优于竞争对手，包括正则化进化（RE）和BOHB。值得注意的是，BO-FM的表现甚至比RE和BOHB更好，使用三倍的评估。
2022-07-18 cs.LG stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的，并且贝叶斯优化算法被广泛用于该目的。然而，现有的贝叶斯优化算法大多只能处理向量数据，不能处理复杂的结构化数据。在本文中，我们提出了拓扑贝叶斯优化，它可以有效地找到一个最佳的解决方案，从结构化数据使用\emph{topological information}。更具体地说，为了将贝叶斯优化应用于结构化数据，我们从结构中提取有用的拓扑信息，并测量结构之间的适当相似性。为此，我们利用持久同源性，这是一个拓扑数据分析方法，最近被应用在机器学习。此外，我们提出了贝叶斯优化算法，可以处理多种类型的拓扑信息，通过使用一个线性组合的内核持久图。通过实验，我们表明，拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比，随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Université Laval（拉瓦尔大学）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Inria（法国国家信息与自动化研究所）
我们通过PAC-Bayesian理论的视角重新审视Rahimi和Recht（2007）的核随机傅立叶特征（RFF）方法。虽然RFF的主要目标是近似一个内核，我们把傅立叶变换看作是三角假设上的先验分布。这自然意味着学习这些假设的后验。我们推导出泛化界，通过学习从封闭形式的表达式获得的伪后验进行优化。基于这项研究，我们考虑了两种学习策略：第一种是找到一个紧凑的基于地标的数据表示，其中每个地标都是由分布定制的相似性度量给出的，而第二种是为Sinha和Duchi（2016）的内核对齐方法提供PAC-贝叶斯证明。
2019-03-27 cs.LG stat.ML
Robust Bayesian Nonnegative Matrix Factorization with Implicit Regularizers
Microsoft Corporation（微软公司）
我们引入了一个概率模型，隐式范数正则化学习非负矩阵分解（NMF），通常用于预测缺失值和发现数据中的隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负性约束通过选择具有非负子空间上的支持的先验来处理，例如，指数密度或基于指数函数的分布。贝叶斯推理过程的基础上吉布斯抽样。我们评估了几个真实世界的数据集，包括癌症药物敏感性的基因组学（GDSC $IC_{50}$）和基因体甲基化与不同的大小和尺寸的模型，并表明，所提出的贝叶斯NMF GL $_2^2$和GL $_\infty$模型导致不同的数据值的鲁棒预测，并避免过拟合与竞争贝叶斯NMF方法相比。
2022-08-22 cs.LG
On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出LoRA-Curve方法，通过分段贝塞尔曲线参数化在LoRA空间中连接独立最优解，形成连续低损失谷，并结合平坦极小扰动和JS散度正则化，在不牺牲性能的前提下提高预测分布的互信息，实现功能多样性。
2026-05-28 cs.LG stat.ML
Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST））
针对船舶轨迹预测中不规则采样、缺失报告和复杂动力学挑战，提出一种在向量场上施加高斯过程核先验的正则化方法，并结合概率多重打靶实现长序列的不确定性量化。
2026-06-04 cs.LG stat.ML
Bayesian alignment of similarity shapes
我们开发了一个贝叶斯模型的两个点的配置下的旋转，平移和缩放的完全相似性变换的对齐。这一领域的其他工作集中在刚体变换上，其中尺度信息被保留，这是由涉及分子数据的问题所激发的;这被称为形式分析。我们专注于统计形状分析的贝叶斯公式。我们将Green和Mardia [Biometrika 93（2006）235-254]引入的用于两个未标记配置的成对比对的模型推广到完全相似性变换，方法是将比例因子引入模型。推广并不简单，因为模型需要重新制定，以提供良好的性能时，包括缩放。我们说明了我们的方法对大鼠生长曲线的对齐和一个新的应用程序的蛋白质结构域的对齐。在这里，缩放应用于二级结构元素比较蛋白质折叠时，此外，我们发现，一个全球的缩放因子是不足以在一般情况下，这些数据建模，因此，我们开发了一个模型，其中可以包括多个缩放因子来处理不同的缩放形状组件。
2013-12-06 stat.AP
Bayesian Efficient Multiple Kernel Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University School of Science（阿尔托大学理工学院）
多核学习算法被提出来组合核以获得更好的相似性度量或整合来自不同数据源的特征表示。以往对这类方法的研究大多集中在计算效率问题上。然而，由于现有贝叶斯方法的高时间复杂度，使用现有贝叶斯方法组合许多内核仍然是不可行的。我们提出了一个完全共轭贝叶斯公式，并推导出一个确定性的变分近似，这使我们能够非常有效地结合数百或数千个内核。我们简要地解释了如何提出的方法可以扩展到多类学习和半监督学习。在基准数据集上使用大量内核的实验表明，我们的推理方法非常快，需要不到一分钟。在一个生物信息学和三个图像识别数据集上，我们的方法比以前报道的结果具有更好的泛化性能。
2012-06-27 cs.LG stat.ML
Bayesian Optimization with Approximate Set Kernels
POSTECH（浦项科技大学）；SigOpt（SigOpt公司）；Kakao Brain；BARO AI（BARO人工智能）
我们提出了一个实用的集合上的贝叶斯优化方法，以最小化一个黑盒函数，把一个集作为一个单一的输入。由于集合输入是置换不变的，传统的基于高斯过程的贝叶斯优化策略假设向量输入可能达不到要求。为了解决这个问题，我们开发了一个贝叶斯优化方法与\emph{set kernel}，用于建立代理函数。该内核在集合元素上累积相似性以强制置换不变性，但这会带来更大的计算成本。为了减少这种负担，我们提出了两个关键组成部分：（i）一个更有效的近似集内核，它仍然是正定的，是一个无偏估计量的真集内核上限方差的子样本的数量，（ii）一个受约束的采集函数优化集，它使用的可行域的对称性，定义了一组输入。最后，我们提出了几个数值实验表明，我们的方法优于其他方法。
2021-01-25 cs.LG stat.ML
Bayesian Meta-Learning for Improving Generalizability of Health Prediction Models With Similar Causal Mechanisms
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Massachusetts General Hospital（麻省总医院）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）；University of Manchester（曼彻斯特大学）
本文提出一种贝叶斯元学习方法，通过建模任务间因果机制相似性来减轻负迁移并优化微调，在UK Biobank和FinnGen卒中预测实验中显著提升了模型泛化能力。
2024-12-30 cs.LG stat.ML
Bayesian Forensic DNA Mixture Deconvolution Using a Novel String Similarity Measure
本研究提出一种基于MPS数据的贝叶斯框架，利用新型字符串编辑距离量化等位基因相似性，有效判断法医DNA混合物中是否包含关注对象的DNA。
2025-05-02 q-bio.GN stat.CO stat.ME
Bayesian Hybrid Matrix Factorisation for Data Integration
University of Cambridge（剑桥大学）
我们介绍了一种新的贝叶斯混合矩阵分解模型（HMF）的数据集成，结合多个矩阵分解方法，可用于在和外的矩阵预测缺失值的基础上。该模型非常通用，可用于集成不同实体类型的许多数据集，包括重复实验，相似性矩阵和非常稀疏的数据集。我们将我们的方法应用于两个生物应用程序，并将其与最先进的机器学习和矩阵分解模型进行了广泛的比较。对于药物敏感性数据集的矩阵预测，我们获得了比现有方法更好的性能。当我们增加数据集的稀疏性时，情况尤其如此。此外，我们对甲基化和基因表达数据集进行了矩阵外预测，并在三个数据集中的两个数据集上获得了最佳结果，特别是当数据集的预测性很高时。
2017-04-17 cs.LG stat.ML
Bayesian representation learning with oracle constraints
Sloan Kettering Institute（斯隆·凯特林研究所）；Cornell Tech（康奈尔科技学院）
表示学习系统通常依赖于大量的标记数据，以便训练到高精度。最近，像神经网络这样的高维参数模型已经成功地使用压缩、重构或监督标准来构建丰富的表示。然而，观察中固有的语义结构往往在这个过程中丢失。人类感知擅长理解语义，但不能总是用标签来表达。因此，\emph{oracles}或\emph{human-in-the-loop systems}（例如众包）通常用于使用以人类感知编码的隐式相似性函数来生成相似性约束。在这项工作中，我们建议结合\emph{generative unsupervised feature learning}与\emph{probabilistic treatment of oracle information like triplets}，以转移到显式的非线性贝叶斯潜在因素模型的观察到的隐式特权甲骨文知识。我们使用一个快速变分算法来学习联合模型，并证明适用于一个著名的图像数据集。我们展示了隐式三元组信息如何提供丰富的信息来学习表现优于以前的度量学习方法的表示，以及在各种预测任务中没有这种边信息的生成模型。此外，我们说明了所提出的方法划分的潜在空间语义，允许解释的潜在变量。
2016-03-01 cs.CV cs.LG stat.ML
Optimal Bayesian clustering using non-negative matrix factorization
基于贝叶斯模型的聚类是一种广泛应用的发现数据集中相关观测组的过程。这些方法使用贝叶斯混合模型，用MCMC估计，提供模型参数和聚类分区的后验样本。虽然对模型参数的推断已经很好地建立，但对聚类分区的推断还不太发达。提出了一种基于贝叶斯聚类模型的两两后验相似矩阵估计最优划分的新方法。这种方法使用非负矩阵分解（NMF）提供一个低秩近似的相似性矩阵。因子分解允许硬或软分区，并表现出更好的性能比几个流行的替代品下的各种惩罚函数。
2018-09-20 stat.ME
Bayesian Generative Models for Knowledge Transfer in MRI Semantic Segmentation Problems
ADASE；Skoltech（斯科尔科沃科技学院）
基于深度学习的自动分割方法最近表现出最先进的性能，优于普通方法。然而，这些方法不适用于小数据集，这是非常常见的医疗问题。为此，我们提出了一种通过生成贝叶斯先验网络的疾病之间的知识转移方法。我们的方法与预训练方法和随机初始化进行了比较，并在脑肿瘤分割2018数据库（BRATS 2018）的小子集的Dice相似系数度量方面获得了最佳结果。
2019-08-15 cs.CV cs.LG eess.IV
On Bayesian based adaptive confidence sets for linear functionals
研究了逆高斯白噪声模型中线性泛函的贝叶斯置信集的构造问题。我们的工作与一个规模的高斯先验指数的规律性超参数，并应用数据驱动的（略有修改）边际似然经验贝叶斯方法的选择这个超参数。我们通过理论和模拟表明，该方法构造的可信集一般具有次优行为。然而，通过假设“自相似性”的可信集有率自适应的大小和最佳的覆盖。作为这些结果的应用，我们构造了$L_{\infty}$ -可信带的真正的功能参数与自适应的大小和最佳覆盖下的自相似约束。
2015-04-18 math.ST stat.TH
Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling
Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Aalborg University（奥尔堡大学）；Cyprus University of Technology（塞浦路斯理工大学）
二十多年来，信号处理和机器学习的稀疏建模一直是科学研究的焦点。其中，监督稀疏感知学习包括两条主要路径：a）判别方法和b）生成方法。后者，更广泛地称为贝叶斯方法，使不确定性评估w.r.t.进行的预测。此外，它们可以更好地利用相关的先验信息，并自然地将鲁棒性引入模型中，因为它们具有将与参数估计相关的不确定性边缘化的独特能力。此外，可以通过训练数据学习与所采用的先验知识相关联的超参数。实现稀疏感知学习的关键在于判别方法中函数正则化子的选择和贝叶斯学习中先验分布的选择。在过去十年左右的时间里，由于对深度学习的深入研究，重点放在了判别技术上。然而，贝叶斯方法的回归正在发生，这为深度神经网络的设计提供了新的思路，深度神经网络也与贝叶斯模型建立了牢固的联系，并为无监督学习带来了新的途径，例如贝叶斯张量分解。本文的目的是双重的。首先，以统一的方式回顾将稀疏促进先验纳入三种非常流行的数据建模工具（即深度神经网络，高斯过程和张量分解）的一些最新进展。其次，从不同的角度回顾了它们的相关推理技术，包括：基于最优化的证据最大化方法和变分推断方法。还讨论了小数据困境、自动模型结构搜索和自然预测不确定性评估等挑战。演示了典型的信号处理和机器学习任务。
2022-05-28 cs.LG eess.IV eess.SP
Bayesian Generative Models for Knowledge Transfer in MRI Semantic Segmentation Problems
基于深度学习的自动分割方法最近表现出最先进的性能，优于普通方法。然而，这些方法不适用于小数据集，这是非常常见的医疗问题。为此，我们提出了一种通过生成贝叶斯先验网络的疾病之间的知识转移方法。我们的方法与预训练方法和随机初始化进行了比较，并在脑肿瘤分割2018数据库（BRATS 2018）的小子集的Dice相似系数度量方面获得了最佳结果。
2020-05-27 eess.IV stat.ML
Multi-View Bayesian Correlated Component Analysis
Dmochowski等人（2012）提出的相关成分分析是一种用于研究大脑对给定刺激的多个视图的反应的相似性的工具。相关的组件被确定的假设下，所涉及的空间网络是相同的。在这里，我们提出了一个层次概率模型，可以推断这样的多视图数据的普遍性水平，从完全不相关的表示，对应于典型的相关分析，相同的表示，相关成分分析。这个新的模型，我们表示贝叶斯相关成分分析，评价有利的模拟数据对三个相关算法。一个完善的基准EEG数据集被用来进一步验证新模型，并推断跨多个主题的空间表示的变异性。
2018-02-07 stat.ML
A Hierarchical Bayesian Dynamic Game for Competitive Inventory and Pricing under Incomplete Information: Learning, Credible Risk, and Equilibrium
Visva-Bharati University（维萨·巴拉蒂大学）；S. N. Bose National Centre for Basic Sciences（S.N. 玻色基础科学国家中心）
本文提出了一种层次结构的贝叶斯动态博弈模型，用于在不完全信息下的竞争库存和定价问题，通过贝叶斯学习和可信风险标准实现稳健决策。
2026-03-06 math.OC math.ST stat.ME
Model Comparison for Semantic Grouping
Babylon Health（巴比伦健康）
我们引入了一个概率框架来量化两组嵌入之间的语义相似性。我们制定的语义相似性的任务作为一个模型比较任务，我们对比生成模型，共同模型两个句子与一个不。我们说明了如何使用这个框架可以用于语义文本相似性的任务，使用明确的假设如何嵌入的话产生。我们应用模型比较，利用信息标准来解决贝叶斯模型比较的一些缺点，同时仍然惩罚模型的复杂性。我们通过在STS数据集上选择适当的可能性来应用所提出的框架来实现具有竞争力的结果。
2019-05-01 cs.CL cs.LG stat.ML
BOFFIN TTS: Few-Shot Speaker Adaptation by Bayesian Optimization
Amazon Research（亚马逊研究院）
我们提出了BOFFIN TTS（贝叶斯优化微调神经文本转语音），Few-Shot说话人自适应的一种新方法。在这里，任务是微调预训练的TTS模型，以使用目标话语的小语料库来模仿新的说话者。我们证明，不存在一个一刀切的适应策略，令人信服的合成需要一个特定于语料库的配置控制微调的超参数。通过使用贝叶斯优化来有效地优化目标扬声器的这些超参数值，我们能够执行自适应，与标准技术相比，扬声器相似性平均提高30%。结果表明，在多个语料库中，BOFFIN TTS可以使用不到10分钟的音频学习合成新的扬声器，实现与用于训练基础模型的扬声器相同的自然度。
2020-02-04 cs.LG cs.SD eess.AS
Bayesian semiparametric long memory models for discretized event data
针对长记忆离散事件数据，提出了一类新的半参数隐变量模型。该方法的动机是亚马逊雨林中的鸟类发声的研究，发声的时间表现出自相似性和长期依赖排除模型的基础上泊松过程。提出的FRAP概率模型是基于一个潜在过程的阈值，该潜在过程由一个具有分数布朗运动的光滑高斯过程的加性展开组成。我们使用马尔可夫链蒙特卡罗开发了一种贝叶斯推理方法，并在仿真研究中表现出良好的性能。应用亚马逊鸟类发声数据的方法，我们发现大量的证据自相似性和非马尔可夫/泊松动力学。为了适应鸟类发声数据，其中有许多不同种类的鸟类展示自己的发声动力学，FRAP的层次扩展在补充材料中提供。
2021-06-30 stat.AP stat.ME
Sequential edge detection using joint hierarchical Bayesian learning
Dartmouth College（达特茅斯学院）；Old Dominion University（欧道明大学）
本文介绍了一种新的稀疏贝叶斯学习（SBL）算法，联合恢复的时间序列的边缘地图从噪声和欠采样的傅立叶数据。新方法是投在贝叶斯框架，并使用一个先验，同时结合图像内的信息，以促进稀疏在每个单独的边缘图与图像间的信息，以促进任何不变的区域的相似性。通过将边缘以及相邻图像之间的相似性都视为随机变量，不需要单独形成变化区域。因此，我们既避免了额外的计算成本，以及任何信息损失所造成的预处理的图像。我们的数值例子表明，我们的新方法相比，更标准的SBL方法。
2023-02-28 cs.LG stat.AP
Regularization Implies balancedness in the deep linear network
Department of Mathematics, Maloney Hall, Boston College, Chestnut Hill, MA 02467-3806（波士顿学院数学系，Maloney Hall， Chestnut Hill， MA 02467-3806）；Division of Applied Mathematics, Brown University, 182 George St., Providence, RI 02912（布朗大学应用数学系，182 George St., Providence， RI 02912）；School of Mathematics, Institute for Advanced Study, 1 Einstein Drive, Princeton, NJ 08540（高级研究院数学系，1 Einstein Drive， Princeton， NJ 08540）
本文利用几何不变理论研究深度线性网络，证明L2正则化在平衡流形上最小化，并通过黎曼几何分析平衡流形的收敛性，为深度学习中的平衡性提供了统一数学框架。
2026-03-23 cs.LG math.AG math.DS
Kernel learning approaches for summarising and combining posterior similarity matrices
当使用马尔可夫链蒙特卡罗（MCMC）算法来执行贝叶斯聚类模型（例如混合模型）的推断时，输出通常是从后验分布中提取的聚类（分区）的样本。在实践中，一个关键的挑战是如何总结这一产出。在这里，我们建立后验相似性矩阵（PSM）的概念，以提出新的方法来总结贝叶斯聚类模型的MCMC算法的输出。我们的工作的一个关键贡献是观察到PSM是半正定的，因此可以用来定义概率动机的内核矩阵，捕获数据中存在的聚类结构。这一观察使我们能够采用一系列的核方法，以获得汇总聚类，否则利用PSM总结的信息。例如，如果我们有多个PSM，每个PSM对应于一组公共统计单元上的不同数据集，我们可以使用标准方法来组合内核，以便执行集成聚类。此外，我们可以将PSM嵌入预测内核模型中，以执行结果引导的数据集成。我们证明了所提出的方法的性能，通过一系列的模拟研究，以及两个真实的数据应用。R代码可在https://github.com/acabassi/combine-psms上获得。
2020-09-27 stat.ME stat.ML
Bayesian Change Point Detection for Functional Data
我们提出了一种贝叶斯方法来检测功能数据的变化点。我们通过离散小波变换（DWT）来提取函数数据序列的特征，并独立地处理每个特征序列。我们认为，在可能不同的时间点，每个特征都可能发生变化。函数数据在整个观测序列中通过这种变化而演变。这个函数数据序列的变化点是所有特征变化的累积效应。我们分配的功能与先验结合的小波系数的特性。然后，我们计算每个特征序列的变化点的后验分布，并定义一个矩阵，其中每个条目是该序列中两个功能数据之间的相似性度量。我们计算所有可能分区的组间和组内平均相似度的比值，变化点是比值达到最小值的地方。我们使用气候变化数据集来演示这种方法。
2018-08-03 stat.ME
Generalized Bayesian Clustering with Regression for Unaligned Longitudinal Binary Data
Texas A&M University（德克萨斯农工大学）；University of Colorado Anschutz（科罗拉多大学安舒茨分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对未对齐纵向二元数据，提出带回归的广义贝叶斯聚类模型，结合轨迹相似性与回归损失，用切片沃尔什斯坦因距离实现无对齐比较，以狄利克雷过程定义聚类参数先验，解决单一生成模型的设定或效率问题。
2026-09-02 stat.AP stat.CO stat.ME
Machine-learning classifiers for logographic name matching in public health applications: approaches for incorporating phonetic, visual, and keystroke similarity in large-scale probabilistic record linkage
University of California, Berkeley（加利福尼亚大学伯克利分校）；Centers for Disease Control and Prevention（疾病预防控制中心）；Emory University（埃默里大学）；University of Florida（佛罗里达大学）
近似的字符串匹配方法，以解决复杂的变化，在高度歧视性的文本字段，如个人姓名，可以提高概率记录链接。然而，区分匹配和不匹配的字符串是具有挑战性的语标文字，其中发音，外观或序列的相似性不直接编码在字符串数据中。我们利用一个已知匹配状态的大型中文管理数据集来开发逻辑回归和Xgboost分类器，该分类器集成了视觉，语音和语义相似性的测量，以增强对潜在匹配名称对的识别。我们评估了在大规模概率记录链接中利用名称相似性分数的三种方法，它们可以适应不同的匹配流行率和支持字段中的信息：（1）基于所有记录对之间的名称匹配的预测质量设置阈值分数;（2）基于链接模型的预测区分能力设置阈值分数;以及（3）使用匹配和非匹配之间的经验分数分布来执行从精确一致链接估计的匹配概率的贝叶斯调整。在对保留数据以及用不同的名称出错率和支持字段模拟的数据的实验中，通过贝叶斯方法并入的逻辑回归分类器在区分能力、匹配概率估计和准确性方面表现出比精确一致性链接的显著改进，在测试数据中将错误分类的记录对的总数减少21%，在模拟数据集中平均减少93%。我们的研究结果表明，将视觉，语音和语义相似性的标识名称匹配的价值，以及我们的贝叶斯方法的承诺，利用大规模的记录链接内的名称匹配。
2020-01-07 cs.CL cs.IR stat.AP
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下，结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验，从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中，实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标，在自相似条件下，构造了具有均匀覆盖的回归函数的自适应置信带。此外，我们表明，树后验使最佳推理的形式，有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning
Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
本研究比较三种变分目标（VAE-KL、VAE-JS、VAE-JSWA）在反问题摊销贝叶斯推断中的表现，发现后验条件化显著影响目标选择，病态问题中JSWA更优，并建议采用几何自适应变分推断。
2026-09-23 cs.CE cs.IT cs.LG
Bayesian Reconstruction of Magnetic Resonance Images using Gaussian Processes
现代磁共振成像（MRI）的中心目标是减少产生高质量图像所需的时间。努力包括硬件和软件创新，如并行成像，压缩传感和基于深度学习的重建。在这里，我们提出并证明了贝叶斯方法来建立统计库的磁共振（MR）图像在k空间，并使用这些库来确定最佳的子采样路径和重建过程。具体来说，我们计算一个多元正态分布的基础上高斯过程使用一个公开的图书馆的T1加权图像的健康大脑。我们将这个库与物理信息包络函数相结合，只保留k空间中有意义的相关性。然后，该协方差函数用于使用贝叶斯优化来选择一系列环形子采样路径，使得它们最佳地探索空间，同时在商业MRI系统中保持实际可实现。结合针对一系列图像找到的优化的子采样路径，我们计算出一个广义的采样路径，当用于新图像时，与先前报道的重建过程相比，该采样路径产生最高的结构相似性和误差（即，仅采样12.5%的k空间数据，结构相似性为96.3%，归一化均方误差<0.003）。最后，我们使用这个重建过程的病理数据，而无需重新训练，表明重建图像是临床上有用的中风识别。
2023-03-23 physics.med-ph stat.AP
Reclaiming the "frequentist" role of marginal likelihood in Bayesian belief revision
Anhui University（安徽大学）
本研究指出贝叶斯计算中常将边缘似然视为静态常数的疏漏，提出将其恢复为实时正则项，引入诊断指标与混合概率，为非平稳场景下的序贯估计与风险管理提供正则化机制。
2026-07-30 stat.ME
Bayesian Inference of Networks Across Multiple Sample Groups and Data Types
在本文中，我们开发了一个图形化建模框架，用于跨多个样本组和数据类型的网络推理。在医学研究中，每当一组受试者（由于不同的疾病阶段或亚型而可能是异质性的）在多个平台（如代谢组学、蛋白质组学或转录组学数据）上进行分析时，就会出现这种情况。我们提出的贝叶斯分层模型首先使用马尔可夫随机场链接每个平台内的网络结构，然后将网络相似性参数跨平台链接。这使得能够以灵活的方式进行联合估计，因为我们不假设跨数据类型的影响方向性或跨样本组和平台的网络相似性程度。此外，我们的模型公式允许变量的数量和受试者的数量在不同的数据类型中有所不同，并且只需要我们有相同组的数据。我们说明了所提出的方法，通过模拟研究和应用程序的基因表达水平和代谢物丰度的受试者具有不同的严重程度的慢性阻塞性肺疾病（COPD）。
2019-09-04 stat.AP stat.ME
Bayesian clustering using random effects models and predictive projections
线性混合模型广泛用于分析涉及缺失和不平衡研究设计的分层结构数据。我们考虑一个贝叶斯聚类方法，结合线性混合模型和预测预测。对于每个观测，我们考虑一个预测性重复，其中只有一个随机效应子集在观测和其重复之间共享，其余部分使用条件先验进行积分。然后定义预测投影，其中共享随机效应所取的不同值的数量是有限的，以获得不同的聚类。整合出一些随机效应充当噪声过滤器，允许聚类仅集中于数据的某些选定特征。该方法的灵感来自贝叶斯模型检查的方法，其中模拟数据复制从拟合模型用于模型的批评，通过检查它们的相似性，以相关的方式观察到的数据。在这里，预测重复用于以相关方式定义观测之间的相似性以进行聚类。为了说明我们的方法在不同尺度上揭示数据方面的方式，我们考虑使用傅立叶余弦基拟合纵向数据的时间趋势，每个基函数具有随机效应，以及由低频或高频项的重复的共享随机效应定义的不同聚类。该方法在一系列的实际例子证明。
2021-07-06 stat.ME
