Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Projective Preferential Bayesian Optimization
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；The University of Manchester（曼彻斯特大学）
贝叶斯优化是求黑箱函数极值的一种有效方法。我们提出了一种新的贝叶斯优化学习用户的偏好在高维空间。核心假设是，底层的目标函数不能直接计算，而是沿着投影的最小值可以查询，我们称之为投影优先查询。查询的形式允许人类自然给出的反馈，并且这使得能够进行交互。这在用户实验中得到证明，其中用户反馈以吸附到表面的分子的最佳位置和取向的形式出现。我们证明，我们的框架是能够找到一个全球最小的高维黑盒函数，这是一个不可行的任务，现有的优惠贝叶斯优化框架，是基于成对比较。
2020-08-14 cs.LG stat.ML
BOSS: Bayesian Optimization over String Spaces
STOR-i Centre for Doctoral Training（STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）；University of Melbourne（墨尔本大学）；Microsoft Research（微软研究院）
本文开发了一种直接作用于原始字符串的贝叶斯优化（BO）方法，提出了在BO循环中首次使用字符串内核和遗传算法。最近BO在字符串上的应用受到了需要将输入映射到平滑和无约束的潜在空间中的阻碍。学习这种投影是计算和数据密集型的。相反，我们的方法建立了一个强大的高斯过程代理模型的基础上字符串内核，自然支持可变长度的输入，并执行有效的获取功能最大化的空间与语法约束。实验表明，在广泛的约束，包括流行的设置，其中语法是由一个上下文无关文法现有的方法大大提高了优化。
2020-10-02 cs.AI cs.LG stat.ML
Symmetry-Aware Bayesian Optimization via Max Kernels
School of Computer and Communication Sciences, École polytechnique fédérale de Lausanne (EPFL)（计算机与通信科学学院，瑞士联邦理工学院（EPFL））；Institute of Mathematics, École polytechnique fédérale de Lausanne (EPFL)（数学学院，瑞士联邦理工学院（EPFL））
针对贝叶斯优化中利用对称性但 max kernel 非半正定的问题，提出其 PSD 投影核，在不增加计算复杂度的情况下显著降低合成与真实基准上的遗憾。
2025-09-29 cs.LG stat.ML
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）
我们介绍了一种方法，KL-LIME，用于解释贝叶斯预测模型的预测，通过将预测分布中的信息局部投影到一个更简单，可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理（LIME）方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Bayesian one-mode projection for dynamic bipartite graphs
University of Oxford（牛津大学）
我们提出了一种贝叶斯方法，用于单模式投影一个二分网络，该网络在一系列离散的时间步长中被观察到。所得到的单模式网络捕获每个链路的存在/不存在的不确定性，并提供其可能的权重值的概率分布。此外，结合先前状态的先验知识使所得网络对数据收集过程中通常发生的噪声和缺失观测不太敏感。该方法包括计算成本低廉的更新规则，并可扩展到大的问题，通过适当的分布式实现。
2012-12-12 cond-mat.stat-mech cs.LG stat.ML
Bayesian exponential family projections for coupled data sources
Aalto University（阿尔托大学）；School of Science and Engineering（科学与工程学院）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
近年来，指数族扩展主成分分析（EPCA）受到了相当多的关注，这表明人们越来越需要不假设平方损失或高斯分布的基本建模工具。在EPCA统一表示为指数族自然参数矩阵分解的基础上，提出了偏最小二乘和典型相关分析的第一指数族多视图学习方法，扩展了EPCA模型工具箱。该模型是基于一个新的家庭的先验，一般可用于所有此类分解。我们还介绍了新的推理策略，并演示了如何的方法优于早期的高斯假设不成立时。
2012-03-15 cs.LG stat.ML
Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
变分贝叶斯推理是一种重要的机器学习工具，从统计学到机器人技术都有应用。我们的目标是找到一个近似的概率密度函数（PDF）从一个选定的家庭，在某种意义上是“最接近”的完整的贝叶斯后验。接近度通常通过选择适当的损失函数来定义，例如Kullback-Leibler（KL）散度。在本文中，我们探索了一个新的变分推理公式，利用这一事实，即（大多数）PDF是贝叶斯希尔伯特空间的成员下仔细定义的向量加法，标量乘法和内积。我们表明，在适当的条件下，基于KL发散的变分推理可以相当于迭代投影，在欧几里得意义上，贝叶斯后验到对应于所选近似族的子空间上。我们的工作通过高斯近似家庭的具体情况下，这个一般框架的细节，并显示等价于另一个高斯变分推理方法。我们还讨论了系统表现出稀疏性，这是自然的贝叶斯空间中处理的影响，并给出了一个高维机器人状态估计问题，可以处理的结果的例子。我们提供了一些初步的例子，该方法可以应用于非高斯推理，并详细讨论了该方法的局限性，以鼓励沿着这些路线的后续工作。
2022-09-26 cs.LG cs.RO stat.ML
Bayes without Underfitting: Fully Correlated Deep Learning Posteriors via Alternating Projections
Technical University of Denmark（丹麦技术大学）
本文针对贝叶斯深度学习易欠拟合的问题，提出在广义高斯-牛顿矩阵零空间中构建后验近似，并设计交替投影算法，在保证预测精度的同时实现可扩展的不确定性量化。
2024-10-22 cs.LG stat.ML
Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning
EURECOM；University of Granada（格拉纳达大学）
本文提出了一种基于信息几何投影的无成本个性化方法，用于贝叶斯联邦学习，通过在统计流形上计算barycenter实现全局与局部性能的平衡。
2026-01-21 cs.IT cs.LG cs.NI
BelMan: Bayesian Bandits on the Belief--Reward Manifold
Chalmers University of Technology（查尔姆斯理工大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；National University of Singapore（新加坡国立大学）
我们提出了一个通用的，贝叶斯，信息几何方法的探索-开发权衡多臂强盗问题。我们的方法，贝尔曼，统一支持纯勘探，勘探开发，两阶段的土匪问题。强盗武器和他们的奖励分布的知识总结的信念和奖励的武器，\emph{pseudobelief-reward}，在信念奖励流形的联合分布的重心。BelMan交替使用\emph{information projection}和\emph{reverse information projection}，即，将伪信念-奖励投影到信念-奖励上以选择要玩的手臂，以及将所得的信念-奖励投影到伪信念-奖励上。它引入了一种通过\emph{focal distribution}注入剥削性偏见的机制，即，奖励分配逐渐集中在更高的奖励上。比较性能评估与国家的最先进的算法表明，贝尔曼不仅是有竞争力的，但也可以优于其他方法在特定的设置，例如，涉及许多武器和连续的奖励。
2019-06-22 cs.AI cs.LG stat.ML
Attribution Projection Calculus: A Novel Framework for Causal Inference in Bayesian Networks
Auditify Inc.（Auditify公司）
本研究提出归因投影演算（AP-Calculus）新型数学框架，证明特定贝叶斯网络架构中每个标签对应唯一去混淆中间节点，该框架优于Pearl因果框架等替代结构，可涵盖传统do-calculus，为监督学习因果推断提供更直接方法。
2025-05-17 cs.AI cs.IT cs.LG
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research（通用电气研究中心）
我们提出了一个贝叶斯方法来确定最佳的转换，映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成，该正交归一化矩阵被认为是先验未知的，并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法，分别从GP参数和投影矩阵的边缘后验样本，都使用马尔可夫链蒙特卡罗（MCMC）采样。为了考虑正交投影矩阵的正交性约束，采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型，包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处，说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机，在那里我们研究了85维翼型形状参数化对两个输出量的影响，特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
A scaled gradient projection method for Bayesian learning in dynamical systems
本文提出一种缩放梯度投影算法，用于解决贝叶斯学习中的非凸优化问题，通过有效设计缩放矩阵和步长参数，实现高效求解。
2015-02-02 cs.LG cs.NA math.NA
Ensembling geophysical models with Bayesian Neural Networks
University of Cambridge（剑桥大学）；Lancaster University（兰卡斯特大学）；British Antarctic Survey（英国南极调查局）
地球物理模型的集合提高了投影精度并表达了不确定性。我们开发了一种新的数据驱动的集成策略，使用贝叶斯神经网络，推断时空变化的模型权重和偏差，同时考虑异方差的不确定性的观察相结合的地球物理模型。这产生了更准确和不确定性感知的预测，而不会牺牲可解释性。应用于15个化学气候模型的集成总柱臭氧的预测，我们发现贝叶斯神经网络集成（BayNNE）优于现有的集成方法，实现了49.4%的时间外推的RMSE减少，和67.4%的RMSE减少极地数据空隙，相比加权平均值。不确定性也得到了很好的表征，我们的外推验证数据集中90.6%的数据点在2个标准差内，98.5%在3个标准差内。
2020-10-07 cs.LG physics.geo-ph stat.AP
BECAME: BayEsian Continual Learning with Adaptive Model MErging
Shanghai Jiao Tong University（上海交通大学）
本文提出BECAME框架，基于贝叶斯持续学习原理推导出任务自适应的最优模型合并系数闭式解，结合梯度投影与自适应合并，有效平衡稳定性与可塑性，显著优于现有持续学习和模型合并方法。
2025-05-29 cs.CV cs.LG
BaTFLED: Bayesian Tensor Factorization Linked to External Data
Koç University（科奇大学）
当前绝大多数的机器学习算法被设计为预测单个响应或响应向量，然而许多类型的响应更自然地被组织为矩阵或高阶张量对象，其中特征跨模式共享。我们提出了一种新的机器学习算法BaTFLED（贝叶斯张量因子分解链接到外部数据），预测值的三维响应张量使用输入功能的每个维度。BaTFLED使用概率贝叶斯框架来学习投影矩阵，将每个模式的输入特征映射到潜在表示中，这些潜在表示相乘以形成响应张量。通过利用Tucker分解，该模型可以在小的核心张量中捕获每个模式的潜在因素之间的相互作用的权重。在投影矩阵和核心张量中鼓励稀疏性的先验允许特征选择和模型正则化。这种方法被证明是远远优于弹性网和神经网络模型的“冷启动”的三模式结构中的模拟数据的任务。此外，我们应用该模型来预测一组用药物化合物处理的乳腺癌细胞系的剂量-反应曲线，该药物化合物被用作逆向工程评估和方法对话（DREAM）挑战。
2016-12-22 cs.LG q-bio.QM stat.ML
VIKING: Deep variational inference with stochastic projections
Technical University of Denmark（丹麦技术大学）；University of Cambridge（剑桥大学）
针对变分平均场近似在过参数化深度神经网络中训练不稳定、预测差等问题，提出基于两个独立线性子空间的变分族VIKING，构建反映重参数化几何的近似后验，实现了多任务多数据集上的最优性能。
2025-10-27 cs.LG stat.ML
EnLLVM: Ensemble Based Nonlinear Bayesian Filtering Using Linear Latent Variable Models
University of South Carolina（南卡罗来纳大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
实时非线性贝叶斯滤波算法由于数据量大、速度快以及计算模型复杂度的增加而不堪重负。在本文中，我们提出了一种新的集成基于非线性贝叶斯滤波方法，它只需要少量的模拟，并可以应用到高维系统中存在的棘手的似然函数。所提出的方法使用线性潜在投影估计的联合概率分布之间的状态，参数和可观的使用的高斯成分的混合物产生的重建误差为每个合奏成员。由于它利用了线性潜变量模型背后的计算机制，因此可以实现快速实现，而无需计算高维样本协方差阵。在一个高维Lorenz非线性动力学系统上，将该方法与集合卡尔曼滤波器的性能进行了比较。
2019-05-31 cs.LG stat.CO
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功，但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题，我们提出了一种新的贝叶斯优化框架（称为SILBO），它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点，以指导嵌入空间学习。为了加快学习过程，我们提出了一种随机的方法来生成投影矩阵。此外，针对低维空间到高维原始空间的映射，根据目标函数的求值开销，提出了两种映射策略：$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明，SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
Deep Learning: A Bayesian Perspective
Chicago Booth School of Business（芝加哥大学布斯商学院）；University of Chicago（芝加哥大学）；George Mason University（乔治梅森大学）
深度学习是用于非线性高维模式匹配和预测的机器学习的一种形式。通过贝叶斯概率的角度来看，我们提供了一些更有效的算法优化和超参数调整的见解。传统的高维数据约简技术，如主成分分析（PCA）、偏最小二乘（PLS）、降秩回归（RRR）、投影寻踪回归（PPR）等，都是浅层学习器。他们的深度学习对手利用多个深层数据简化，提供预测性能增益。随机梯度下降（SGD）训练优化和Dropout（DO）正则化提供估计和变量选择。贝叶斯正则化是在网络中寻找权重和连接以优化预测偏差-方差权衡的核心。为了说明我们的方法，我们对Airbnb上的国际预订进行了分析。最后，我们总结了未来研究的方向。
2017-11-14 cs.LG stat.ME stat.ML
