Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab（GIPSA实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；LIG-lab（LIG实验室）
本文考虑高斯混合模型（GMM）上的半监督多任务学习。使用统计物理学的方法，我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维，从中我们分析的任务相似性在学习中的作用和评估的性能增益时，任务一起学习，而不是分开。在监督的情况下，我们得到一个简单的算法，达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
Where Bayes tweaks Gauss: Conditionally Gaussian priors for stable multi-dipole estimation
我们提出了一个非常简单但功能强大的推广先前描述的模型和算法估计多个偶极子从磁/脑电图数据。具体而言，推广包括在一组条件线性/高斯变量的标准差上引入对数均匀超先验。我们使用数值模拟和实验数据集表明，近似的后验分布保持非常稳定的超参数的值范围很广，几乎消除了对超参数的依赖。
2020-06-07 q-bio.QM stat.AP stat.ME
Empirical Bayes for correlated Gaussian sequence model
Rutgers University（罗格斯大学）
研究高斯序列模型中依赖观测的经验贝叶斯估计，通过最大复合边际似然估计器，给出收敛速率及极小极大下界，还考虑贝叶斯线性回归和非线性单指标模型的应用，利用相关高斯序列模型简化估计。
2026-07-07 math.ST stat.ME stat.ML
Fast Bayesian inference in large Gaussian graphical models
尽管主要的方法的发展，贝叶斯推断高斯图形模型仍然具有挑战性的高维由于巨大的规模的模型空间。本文提出了一种通过假设的多重检验来推断变量间的边际和条件独立结构的方法。具体而言，我们在高斯共轭模型下引入封闭形式的贝叶斯因子来评估变量之间的边际和条件独立性的零假设。它们对所有变量对的计算都非常有效，从而使我们能够解决具有数千个节点的大型问题。此外，我们从贝叶斯因子的零分布中推导出精确的尾概率。这些允许使用任何多重性校正程序来控制错误边缘包含的错误率。我们证明了所提出的方法，图形模型选择各种模拟的例子，以及从癌症基因组图谱的大型基因表达数据集。
2018-04-06 stat.ME
Bayesian model selection approach for colored graphical Gaussian models
我们考虑了一类有色图形高斯模型，通过在贝叶斯框架下对精度矩阵施加对称性约束而得到。精度矩阵上的先验分布是着色的$G$ -Wishart先验，其是Diaconis-Ylvisaker共轭先验。在本文中，我们开发了一个计算效率高的模型搜索算法，结合线性回归与双可逆跳马尔可夫链蒙特卡罗（MCMC）方法。后者是估计表示为两个竞争模型的后验概率之比的Bayes因子。我们还建立了基于贝叶斯因子的模型选择过程的渐近一致性。我们的程序避免了计算上不可能的穷举搜索。我们的方法与模拟和现实世界中的应用程序与蛋白质信号数据集。
2020-04-02 stat.ME
Efficient sampling of Gaussian graphical models using conditional Bayes factors
高斯图形模型的贝叶斯估计已被证明是具有挑战性的，因为高斯精度矩阵上的共轭先验分布，G-Wishart分布，具有双重难以处理的分区函数。最近的发展提供了一种直接从G-Wishart分布中采样的方法，这使得模型选择算法比以前更有效。尽管如此，估计高斯图形模型与少数几个变量仍然是一个几乎不可行的任务。在这里，我们提出了两种新的算法，使用直接采样器更有效地近似高斯图形模型的后验分布。第一种算法使用条件贝叶斯因子在Metropolis-Hastings框架中比较模型。第二种算法是基于连续时间马尔可夫过程。我们表明，这两种算法都大大快于国家的最先进的替代品。最后，我们展示了如何使用算法可以同时估计结构和功能连接之间的皮层下的大脑区域，使用静息态功能磁共振成像。
2014-09-09 q-bio.NC stat.ME
GaussianProcesses.jl: A Nonparametric Bayes package for the Julia Language
高斯过程是一类灵活的非参数贝叶斯工具，广泛用于科学和工业中，以模拟复杂的数据源。应用高斯过程模型的关键是开发良好的开放源码软件的可用性，该软件可用于许多编程语言。在本文中，我们提出了一个教程的GaussianProcesses.jl包，已开发的Julia编程语言。GaussianProcesses.jl利用Julia语言固有的计算优势，包括多重分派和即时编译，以生成快速，灵活和用户友好的高斯过程包。该软件包提供了许多均值和核函数以及支持推理工具来拟合精确的高斯过程模型，以及一系列替代似然函数来处理非高斯数据（例如二进制分类模型）和可扩展高斯过程的稀疏近似。该软件包有效地利用了现有的Julia软件包，为用户提供了一系列优化和绘图工具。
2019-06-30 stat.CO stat.ML
Adaptive Bayesian Denoising for General Gaussian Distributed (GGD) Signals in Wavelet Domain
本文给出了广义高斯分布（GGD）小波数据的最优Bayes估计。GGD分布描述了包括自然图像在内的广泛类别的信号。提出了一种小波阈值图像去噪方法。有趣的是，我们表明，这类信号的贝叶斯估计是很好的估计阈值的方法。这一结果分析证实了阈值的重要性，噪声GGD信号。我们提供了最佳的软阈值，模仿贝叶斯估计的行为，并最大限度地减少由此产生的错误。贝叶斯收缩是最常用和最有效的软阈值方法之一，其阈值已在文献中详细提供。我们提出的方法，表示为严格贝叶斯收缩（R-BayesShrink），解释了贝叶斯收缩阈值的理论，并证明了其最优性的GDD信号的一个子类。R-BayesShrink改进和推广了现有的GGD信号类的BayesShrink。而贝叶斯收缩阈值是独立于小波系数分布，只是一个函数的噪声和无噪声信号的方差，我们的方法适应于每个尺度的小波系数的分布。结果表明，当GGD中的形状参数为1或信号服从拉普拉斯分布时，Bayes Shrink是我们方法的一个特例。我们的仿真结果证实了R-Bayes Shrink在GGD去噪中的峰值信噪比（PSNR）和结构相似性（SSIM）指标方面的最优性。
2012-07-26 stat.ME
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题，本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型，利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择，并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Bayesian Gaussian Copula Graphical Modeling for Dupuytren Disease
Dupuytren病是一种病因不明的纤维增生性疾病，通常会进展并最终导致受影响手指的永久性挛缩。在本文中，我们提供了一个计算效率的贝叶斯框架，发现潜在的风险因素，并调查哪些手指共同受到影响。我们的贝叶斯方法是基于高斯copula图形模型，这是一个潜在的方式来发现潜在的条件独立结构的变量在多元混合数据。特别地，我们将半参数高斯copula与扩展秩似然相结合，适用于分析具有任意边缘分布的多元混合数据。对于图结构学习，我们构造了一个计算效率高的搜索算法，这是一个跨维MCMC算法的基础上的生灭过程。此外，为了使我们的统计方法易于其他研究人员使用，我们已经在C++中实现了我们的方法，并与R软件接口，作为R软件包BDgraph，可在线使用。
2015-09-15 stat.AP
Bayesian testing of linear versus nonlinear effects using Gaussian process priors
提出了一种贝叶斯因子，用于检验关键预测变量对因变量的影响是线性还是非线性的，同时可能控制某些协变量。该检验可用于（i）当人们对量化线性与非线性关系的数据中的相对证据感兴趣时，以及（ii）量化数据中有利于线性关系的证据时（在基于变换变量构建线性模型时有用）。在非线性模型下，采用类似于Zellner的$g$先验的参数化的高斯过程先验，从而得到尺度不变的检验。此外，贝叶斯因子提出了单侧检验的非线性效应是否始终是积极的，始终是消极的，或两者都没有。应用程序提供了从各个领域，包括社会网络研究和教育。
2021-09-15 stat.ME
Learning Identifiable Gaussian Bayesian Networks in Polynomial Time and Sample Complexity
Purdue University（普渡大学）
从观测数据中学习贝叶斯网络的有向无环图（DAG）结构是一个非常困难的问题，许多困难的结果是已知的。在本文中，我们提出了一个可证明的多项式时间算法学习稀疏高斯贝叶斯网络等噪声方差-一类贝叶斯网络的DAG结构可以唯一地识别从观测数据-在高维设置。我们表明，$O(k^4 \log p)$样本数足以让我们的方法恢复真正的DAG结构具有高概率，其中$p$是变量的数量和$k$是最大马尔可夫毯大小。我们得到我们的理论保证的条件下，称为限制强邻接忠实，这是严格弱于强忠实-一个条件，其他方法的基础上的条件独立性测试需要他们的成功。我们的方法的样本复杂性匹配的信息理论的限制方面的依赖$p$。我们表明，我们的方法优于现有的国家的最先进的方法来学习高斯贝叶斯网络在恢复真正的DAG结构，而速度相当的探试法。
2017-03-03 cs.LG stat.ML
A new Bayesian two-sample t-test for effect size estimation under uncertainty based on a two-component Gaussian mixture with known allocations and the region of practical equivalence
测试治疗组和对照组之间的差异是生物医学研究中的常见做法，如随机对照试验（RCT）。标准的双样本t检验依赖于通过p值进行的原假设显著性检验（NHST），其具有若干缺点。贝叶斯替代方案最近使用贝叶斯因子引入，贝叶斯因子有其自身的局限性。本文介绍了当前贝叶斯双样本t检验的替代方法，将基础模型解释为双组分高斯混合模型，其中效应量是临床研究中最相关的感兴趣的量。与p值或贝叶斯因子不同，所提出的方法侧重于不确定性下的估计，而不是明确的假设检验。因此，通过吉布斯采样器产生效应量的后验，随后用于不确定性下的估计或基于实际等效区域（ROPE）的明确假设检验。最后通过实例、理论结果和仿真研究验证了该方法的有效性，并在R软件包bayest中进行了检验。
2020-05-15 stat.ME
Locally Adaptive Bayes Nonparametric Regression via Nested Gaussian Processes
本文提出了一种嵌套高斯过程（nGP）作为贝叶斯非参数回归的局部自适应先验。通过一组随机微分方程（SDEs）指定，nGP对函数的$m$阶导数施加高斯过程先验。嵌套是通过包括局部瞬时均值函数来实现的，该局部瞬时均值函数是从另一个高斯过程中提取的，该过程诱导对局部变化平滑度的自适应性。我们讨论了再生核Hilbert空间的闭包对nGP先验的支持，并考虑了后验的理论性质。后验均值下的nGP事先被证明是相当于一个嵌套的惩罚平方和的最小值，涉及罚款的整体和局部粗糙度的功能。使用高效的马尔可夫链蒙特卡罗的后验推理，所提出的方法在模拟研究相比，几个替代方案，并可扩展到大量的数据，说明通过蛋白质组学应用。
2012-01-20 stat.ME
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Bayes Blocks: An Implementation of the Variational Bayesian Building Blocks Framework
Helsinki University of Technology（赫尔辛基理工大学）
提出了一个用于构造和学习概率模型的软件库。该库提供了一组构建块，从中可以构建各种静态和动态模型。这些模型包括其他变量方差的分层模型和许多非线性模型。基本的变分贝叶斯机制，提供快速和鲁棒的估计，但在数学上，而涉及，几乎完全隐藏的用户，从而使它非常容易使用的库。构建块包括高斯、修正高斯和混合高斯变量以及可以相当自由地组合的计算节点。
2012-07-04 cs.LG cs.MS stat.ML
Bayesian active learning for choice models with deep Gaussian processes
Northwestern University（西北大学）
在本文中，我们提出了一个主动学习算法和模型，可以逐步学习个人的偏好，通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设，将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能中心）；EPFL School of Computer and Communication Sciences（洛桑联邦理工学院计算机与通信科学学院）
在这篇论文中，我们解开了贝叶斯深度学习的广义高斯-牛顿和近似推理。广义高斯-牛顿方法是一种优化方法，用于几种流行的贝叶斯深度学习算法。将高斯-牛顿方法与拉普拉斯和高斯变分近似相结合的算法最近在贝叶斯深度学习中取得了最先进的成果。虽然拉普拉斯和高斯变分近似已经被广泛研究，但它们与高斯-牛顿方法的相互作用仍然不清楚。最近对贝叶斯深度学习中先验和后验近似的批评进一步敦促人们需要更深入地理解实用算法。对神经网络的高斯-牛顿法、拉普拉斯和高斯变分逼近的个别分析提供了理论见解和新的实用算法。我们发现，高斯-牛顿方法简化了潜在的概率模型显着。特别地，高斯-牛顿方法与近似推断的组合可以被转换为线性或高斯过程模型中的推断。拉普拉斯和高斯变分近似可以随后提供这些简化模型的后验近似。这种对最近贝叶斯深度学习算法的新的解开的理解也导致了新的方法：首先，与高斯过程的连接使新的函数空间推理算法成为可能。其次，我们提出了一个边际似然近似的底层概率模型来调整神经网络超参数。最后，确定的基础模型导致不同的方法来计算预测分布。事实上，我们发现贝叶斯神经网络的这些预测方法通常比默认选择更好，并且解决了拉普拉斯近似的一个常见问题。
2020-07-21 cs.LG stat.ML
A Bridge between Cross-validation Bayes Factors and Geometric Intrinsic Bayes Factors
贝叶斯统计中的模型选择主要是通过称为贝叶斯因子的统计进行的，贝叶斯因子与模型的后验概率直接相关。贝叶斯因子需要仔细评估先验分布，如Berger和Pericchi（1996 a）的内在先验和参数空间上的积分，这可能是高维的。最近，研究人员已经提出了替代贝叶斯因子，既不需要集成也不需要规范的先验。这些发展仍然处于非常早期的阶段，被称为无先验贝叶斯因子，交叉验证贝叶斯因子（CVBF）和贝叶斯“堆叠”。“这种方法和内在贝叶斯因子（IBF）都避免了先验的指定。然而，该无先验贝叶斯因子可能需要仔细选择训练样本量。提出并研究了一种基于几何内禀贝叶斯因子的先验无关贝叶斯因子训练样本量的选取方法。我们提出了重要的例子，不同数量的参数和研究的统计行为，从数值和理论上解释的想法选择一个可行的训练样本量先验无贝叶斯因子。我们提出了“桥规则”作为CVBF的训练样本量的分配，使它们接近几何IBF。我们的结论是，即使易于处理的几何IBFs是优选的，CVBF的，使用桥规则，是有用的和经济的近似贝叶斯因子。
2020-06-11 stat.ME
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
高斯过程（Gaussian processes，GP）是一种著名的非参数贝叶斯推断技术，但对于大样本量，GP存在可扩展性问题，对于非平稳或空间异构数据，GP的性能会降低。在这项工作中，我们试图克服这些问题，通过（i）采用变分自由能近似的GP与在线期望传播步骤的串联操作;和（ii）引入一个本地分裂步骤，每当后验分布变化显着量化的Wasserstein度量超过后验分布，实例化一个新的GP。然后，随着时间的推移，这产生了稀疏GP的集合，其可以增量地更新，并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
