Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
基于边缘似然的模型选择尽管很有前途,但由于估计困难,很少用于深度学习。相反,大多数方法依赖于验证数据,而这些数据可能并不容易获得。在这项工作中,我们提出了一种可扩展的边缘似然估计方法来选择超参数和网络架构,仅基于训练数据。一些超参数可以在训练过程中在线估计,简化了过程。我们的边际似然估计是基于拉普拉斯方法和高斯-牛顿近似的Hessian,它优于交叉验证和手动调整标准回归和图像分类数据集,特别是在校准和分布检测方面。我们的工作表明,边缘似然可以提高泛化能力,并且在验证数据不可用时(例如,在非固定设置中)。
2021-06-15 cs.LG stat.ML
Learning Invariances using the Marginal Likelihood
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
在监督学习任务中很好地推广依赖于将训练数据正确地外推到输入空间的大区域。实现这一点的一种方法是将预测约束为对已知不相关的输入上的变换(例如,平移)不变。通常,这是通过数据增强来完成的,其中通过对输入应用手工制作的转换来扩大训练集。我们认为,不变量应该被纳入模型结构,并使用边际似然学习,这正确地奖励了不变模型的复杂性降低。我们证明了这一点高斯过程模型,由于其边际似然估计的容易。我们的主要贡献是一个变分推理方案的高斯过程中所描述的采样过程的不变性。我们通过反向传播来学习采样过程,以最大化边际可能性。
2018-08-16 cs.LG stat.ML
Guiding Neural Network Initialization via Marginal Likelihood Maximization
Indiana University(印第安纳大学)
我们提出了一个简单的,数据驱动的方法来帮助指导超参数选择神经网络初始化。我们利用神经网络和高斯过程模型之间的关系,具有相应的激活和协方差函数来推断模型初始化所需的超参数值。我们的实验表明,边际似然最大化提供的建议,产生近最佳的预测性能MNIST分类任务下的实验约束。此外,我们的实证结果表明,所提出的技术的一致性,这表明该过程的计算成本可以显着降低较小的训练集。
2020-12-17 cs.LG stat.ML
Classifier Learning with Supervised Marginal Likelihood
有人认为,在监督分类任务中,在实践中,相对于一些更集中的模型选择得分(如监督(条件)边际似然),而不是相对于标准边际似然标准,执行模型选择可能更明智。然而,对于大多数贝叶斯网络模型,计算监督边际似然得分需要相对于观察到的数据量呈指数级的时间。在本文中,我们考虑诊断贝叶斯网络分类器的显着模型参数表示类变量的条件分布,给定的预测变量的值,在这种情况下,监督边际似然可以计算在线性时间相对于数据。由于模型参数的数量在这种情况下相对于预测因子的数量呈指数增长,我们专注于简单的诊断模型,其中相关的预测因子的数量是小的,并建议两种方法应用这种类型的模型分类。第一种方法是基于简单诊断模型的混合,而在第二种方法中,我们应用简单诊断模型的小预测集来增强朴素贝叶斯分类器。
2013-01-10 cs.LG stat.ML
Closed-form Marginal Likelihood in Gamma-Poisson Matrix Factorization
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所、法国国家科学研究中心)
我们提出了新的理解伽玛泊松(GaP)模型,概率矩阵分解模型计数数据。我们表明,GaP可以重写免费的得分/激活矩阵。这为我们提供了新的见解的估计主题/字典矩阵的最大边际似然估计。特别是,这解释了该估计器对因子分解秩的过度指定值的鲁棒性,特别是其自动修剪不相关的字典列的能力,如在先前的工作中根据经验观察到的。激活矩阵的边缘化又导致一个新的蒙特卡罗期望最大化算法具有良好的性能。
2018-05-31 cs.LG stat.ML
Composite Marginal Likelihood Methods for Random Utility Models
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一种新的和灵活的rank-breaking-then-composite-marginal-likelihood(RBCML)框架学习随机效用模型(RUM),其中包括Plackett-Luce模型。我们的特点RBCML的目标函数是严格的对数凹的条件,证明严格的对数凹下卷积和边缘化。我们刻画了RBCML满足一致性和渐近正态性的充分必要条件。在合成数据上的实验表明,高斯RUM的RBCML比现有算法具有更好的统计效率和计算效率,Plackett-Luce模型的RBCML在运行时间和统计效率之间提供了灵活的折衷.
2018-06-04 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们提出了一个下界的高斯过程回归模型的对数边际似然,可以计算没有矩阵分解的完整的内核矩阵。我们表明,近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处,同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项,以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化(例如变分法)和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中,与其他基于共轭梯度的方法相比,我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
A New Algorithm for Maximum Likelihood Estimation in Gaussian Graphical Models for Marginal Independence
University of Washington(华盛顿大学)
具有双向边()的图形模型<->表示边缘独立性:两个顶点之间没有边表明相应的变量是边缘独立的。本文研究了连续变量服从高斯联合分布(有时称为协方差图模型)的极大似然估计。我们提出了一个新的拟合算法,利用标准的回归技术,并建立其收敛性。此外,我们对比我们的程序,现有的估计方法。
2012-10-19 cs.LG stat.ME stat.ML
Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出迭代高斯过程的暖启动边际似然优化方法,通过重用线性求解器解作为初始化,在回归任务上实现与传统方法相同结果且平均加速16倍。
2024-05-28 cs.LG stat.ML
Marginal likelihood based model comparison in Fuzzy Bayesian Learning
Imperial College London(伦敦帝国学院);Sciemus Ltd(Sciemus有限公司);University of Oxford(牛津大学)
在最近的一篇论文[1]中,我们介绍了模糊贝叶斯学习(FBL)范式,其中专家意见可以以模糊规则库的形式编码,模糊集的超参数可以使用贝叶斯方法从数据中学习。本文扩展了这项工作,选择最合适的规则库之间的一组竞争的替代品,最好的解释数据,通过计算模型的证据或边际似然。我们解释了为什么这是一个有吸引力的替代简单地最小化预测的均方误差度量,并显示了使用合成的例子和现实世界的案例研究在金融服务部门的命题的有效性。
2017-03-29 cs.LG stat.ML
Observational nonidentifiability, generalized likelihood and free energy
Yerevan Physics Institute(埃里温物理研究所)
研究了具有观测不可识别性的混合模型的参数估计问题:全模型(也包含隐变量)是可识别的,而边际(观测)模型是不可识别的。因此,边际似然的全局最大值是(无限)退化的,并且边际似然的预测不是唯一的。我们展示了如何通过引入一个有效温度来推广边际似然,并使其类似于自由能。这种推广解决了观测不可识别性,因为它的最大化导致独特的结果,比随机选择一个退化的最大值的边缘似然或平均超过许多这样的最大值。广义似然法继承了一般似然法的许多特点,如它具有条件性原则,并且可以通过适当修改的期望最大化方法来搜索其局部最大值。广义似然的最大化涉及熵优化。
2020-02-18 cond-mat.stat-mech cs.LG physics.data-an
Distributed parameter estimation of discrete hierarchical models via marginal likelihoods
考虑离散图模型关于图$G$的马氏性,提出了两种分布边际方法来估计模型的正则参数的最大似然估计.这两种方法都基于对边缘似然的放松,该边缘似然是通过考虑由$G$的顶点$v$和邻域表示的变量的密度而获得的。这两种方法的区别在于$v$的邻域大小。我们证明了估计是一致的,并且在较大邻域下得到的估计比在较小邻域下得到的估计具有更小的渐近方差。
2013-10-21 stat.ML
MLE-induced Likelihood for Markov Random Fields
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
Due to the intractable partition function, the exact likelihood function for a Markov random field (MRF), in many situations, can only be approximated. Major approximation approaches include pseudolikelihood and Laplace approximation. In this paper, we propose a novel way of approximating the likelihood function through first approximating the marginal likelihood functions of individual parameters and then reconstructing the joint likelihood function from these marginal likelihood functions. For approximating the marginal likelihood functions, we derive a particular likelihood function from a …
2018-03-27 cs.AI cs.LG stat.ML
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki(赫尔辛基大学);Åbo Akademi University(奥博学术大学)
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然,我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构,而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图,要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数,我们得到了一个快速,易于应用的评分功能,即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能,通过大规模的比较,对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明,它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Sandwiching the marginal likelihood using bidirectional Monte Carlo
University of Toronto(多伦多大学);University of Cambridge(剑桥大学);Twitter(推特);Harvard University(哈佛大学)
计算模型的边际似然(ML)需要边缘化所有参数和潜在变量,这是一个困难的高维求和或积分问题。更糟糕的是,通常很难衡量ML估计的准确性。我们提出了双向蒙特卡罗,一种技术,用于获得准确的对数ML估计的数据模拟模型。该方法使用退火重要性抽样或序贯蒙特卡罗获得log-ML上的随机下界,并且通过从精确的后验样本开始反向运行这些相同的算法来获得随机上界。真值可以以很高的概率夹在这两个随机边界之间。使用从我们的方法获得的地面真理对数ML估计,我们定量评估各种现有的ML估计几个潜在变量模型:聚类,低秩近似,和二进制属性模型。这些实验提供了如何准确估计边际可能性的见解。
2015-11-08 cs.LG stat.CO stat.ML
Particle filter with rejection control and unbiased estimator of the marginal likelihood
我们考虑在序贯蒙特卡罗方法中结合使用剩余和部分拒绝控制,也称为粒子滤波器。虽然方差减少性能的拒绝控制是已知的,有没有(据我们所知)在这种类型的粒子滤波器的边际似然(也称为模型证据或归一化常数)的无偏估计的任何工作。能够无偏差地估计边际似然对于模型比较、可解释和可靠置信区间的计算以及精确近似方法(例如粒子马尔可夫链蒙特卡罗)是高度相关的。在本文中,我们提出了一个粒子滤波器与拒绝控制,使无偏估计的边际似然。
2020-03-04 stat.CO stat.ML
On Masked Pre-training and the Marginal Likelihood
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Technical University of Denmark(丹麦技术大学)
本文证明带合适累积评分函数的掩码预训练等价于最大化模型边际似然,为其跨域泛化成功提供贝叶斯解释,并在大型语言模型中实验验证相关学习原则。
2023-06-01 cs.LG stat.ML
On the marginal likelihood and cross-validation
在贝叶斯统计中,边际似然(也称为证据)用于评估模型拟合,因为它量化了先验数据的联合概率。相比之下,非贝叶斯模型通常使用交叉验证对保留数据进行比较,通过$k$ -倍分区或保留- $p$ -out子采样。我们表明,边际似然是正式等同于详尽的离开$p$交叉验证平均在所有值的$p$和所有举行了测试集时,使用的日志后验预测概率的评分规则。此外,对数后验预测是数据交换下唯一一致的评分规则。这为边际似然和交叉验证提供了新的见解,并突出了边际似然对先验选择的潜在敏感性。我们提出了一种替代方法,使用累积交叉验证后的准备培训阶段。我们的工作与先决分析和内在贝叶斯因素有关,但动机是通过不同的课程。
2019-09-20 stat.ME stat.ML
Marginal Weighted Maximum Log-likelihood for Efficient Learning of Perturb-and-Map models
INRIA - ENS(法国国家信息与自动化研究所 - 巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们考虑结构化输出预测问题,通过概率的方法和推广的“扰动和MAP”框架更具挑战性的加权汉明损失,这是至关重要的应用。虽然原则上我们的方法是一个简单的边缘化,它需要解决许多相关的MAP推理问题。我们表明,对于对数超模块化成对模型,这些操作可以有效地使用动态图切割的机器进行。我们还建议在数据和扰动上使用双随机梯度下降来进行有效的学习。我们的框架自然可以采取弱监督(例如,部分标签)。我们进行了一组实验,中等规模的字符识别和图像分割,显示我们的算法的好处。
2018-11-21 cs.LG stat.ML
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics(国立信息学研究所);Kyoto University(京都大学);NEC Knowledge Discovery Laboratories(NEC知识发现实验室)
因子化信息准则(FIC)是近年来发展起来的一种边缘对数似然的近似方法,它提供了一个自动的模型选择框架,并具有易于处理的推理算法。本文对FIC进行了重新思考,填补了以往FIC研究的理论空白。首先,我们揭示了FIC的核心思想,它允许推广更广泛的LVMs类,包括连续LVMs,与以前的FIC相比,它只适用于二进制LVMs。其次,我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs,也修剪冗余的潜变量,已被删除在以前的研究中的系统程序。第三,我们提供了一个解释FIC作为一个变分自由能,并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究,数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
Marginal Likelihoods for Distributed Parameter Estimation of Gaussian Graphical Models
University of Michigan(密歇根大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们考虑分布估计的逆协方差阵,也称为浓度或精度矩阵,在高斯图形模型。传统的集中估计通常需要对协方差阵进行全局推断,这在大维度上可能是计算密集的。另一方面,基于消息传递算法的近似推理可能导致循环图模型中的不稳定和有偏估计。在本文中,我们提出了一个分布式估计的最大边际似然(MML)方法的基础上的一般框架。这种方法通过最大化从局部邻域收集的数据定义的边际似然来计算局部参数估计。由于MML问题的非凸性,我们引入并解决了凸松弛。然后将局部估计组合成全局估计,而不需要在邻域之间进行迭代消息传递。所提出的算法是自然的并行化和计算效率,从而使其适合于高维问题。在经典的制度,其中变量的数量$p$是固定的,样本的数量$T$增加到无穷大,所提出的估计被证明是渐近一致的,并改善单调的局部邻域大小的增加。在高维缩放制度,其中$p$和$T$增加到无穷大,收敛速度的真实参数的推导和被认为是可比的集中式极大似然估计。大量的数值实验表明,改进的性能的两跳版本的建议的估计,这足以几乎关闭的差距,集中式极大似然估计,以减少计算成本。
2014-08-13 cs.LG stat.ML
Improved BiGAN training with marginal likelihood equalization
Max Planck Institute for Intelligence Systems(马克斯·普朗克智能系统研究所);University Carlos III in Madrid(马德里卡洛斯三世大学);Swiss Data Science Center (ETH Zürich)(瑞士数据科学中心(苏黎世联邦理工学院))
我们提出了一种新的训练方法来提高生成对抗网络(GANs)的性能,特别是双向GANs。首先,我们强制要求逆推理网络的经验分布与先验分布相匹配,这有利于生成器网络在所见样本上的再现性。第二,我们发现样本的边际对数似然性表明某种类型的样本严重高估。为了解决这个问题,我们提出了训练的双向GAN使用非均匀抽样的小批量选择,从而提高质量和品种的定量测量和目测产生的样品。我们用著名的CIFAR10,Fashion MNIST和CelebA数据集来说明我们的新程序。
2020-05-23 cs.CV cs.LG stat.ML
Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network
Microsoft Research(微软研究院);University of California(加利福尼亚大学)
我们讨论了当数据集不完整时学习贝叶斯网络的贝叶斯方法。特别是,我们研究贝叶斯网络的不完整数据的边际似然的渐近近似。我们考虑拉普拉斯近似和精度较低,但更有效的BIC/MDL近似。我们还考虑了Draper(1993)和Cheeseman和Stutz(1995)提出的近似。这些近似与BIC/MDL一样有效,但其精度尚未进行任何深入研究。我们比较这些近似的准确性的假设下,拉普拉斯近似是最准确的。在实验中使用的合成数据产生的离散朴素贝叶斯模型具有一个隐藏的根结点,我们发现,CS措施是最准确的。
2015-05-17 cs.AI cs.LG stat.ML
Joint Model and Data Sparsification via the Marginal Likelihood
RIKEN Center for AI Project, Tokyo, Japan(日本东京RIKEN人工智能项目中心);Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系)
提出通过边际似然联合学习特征和样本相关性,实现同时模型与数据稀疏化的贝叶斯方法,在保持共轭性和闭式更新的同时提升鲁棒性。
2026-05-28 cs.LG stat.ML
Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Pruna AI(Pruna AI公司);Helmholtz AI, Munich(亥姆霍兹人工智能研究所(慕尼黑))
提出SpaM框架,利用贝叶斯边际似然和稀疏先验实现自动奥卡姆剃刀,选择可稀疏且解释数据的模型,并重用后验Hessian近似作为廉价剪枝标准,在高稀疏度下优于现有方法。
2024-11-04 cs.LG stat.ML
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Google(谷歌);University of Toronto(多伦多大学)
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上,给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化,则编码器的参数可以被优化以最小化该估计器的方差。我们表明,使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务,其中无偏估计,而不是边际似然下限,是首选,如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Imperial College London(伦敦帝国理工学院)
本文针对 Laplace 贝叶斯超参数优化中梯度估计需遍历全量数据的问题,利用神经正切核提出可随机优化的边际似然线性化 Laplace 下界,从而在精度与计算成本间权衡并显著加速优化。
2023-06-06 cs.LG stat.ML
Fast marginal likelihood estimation of penalties for group-adaptive elastic net
如今,临床研究通常使用组学数据(如基因表达)来预测临床结果或选择标记物。此外,所谓的协数据通常是可用的,提供关于协变量的补充信息,如来自先前发表的研究或对应于通路的基因组的p值。弹性网惩罚被广泛用于预测和协变量选择。组自适应弹性网惩罚从协数据中学习,通过比其他组更少地惩罚重要的协变量组来改进预测和协变量选择。然而,现有的方法在计算上是昂贵的。在这里,我们提出了一个快速的方法,用于广义线性模型的组自适应弹性网处罚的边际似然估计。我们首先推导出一个低维表示的泰勒近似的边际似然和其一阶导数组自适应岭处罚,有效地估计这些处罚。然后利用线性预测量的渐近正态性证明了弹性网模型的边际似然可以很好地近似于岭模型的边际似然。然后利用方差函数将脊组罚函数转化为弹性网组罚函数。该方法允许重叠组和未惩罚的变量。我们展示了基于模型的模拟研究和癌症基因组学的应用程序的方法。该方法通过从协数据中学习,大大减少了计算时间,并优于或匹配其他方法。
2021-01-11 stat.ME stat.ML
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
Department of Mathematics, Ecole Normale Supérieure Paris-Saclay(数学系,巴黎萨克雷高等师范学院);Department of Mathematics, Imperial College London(数学系,伦敦帝国理工学院)
本文提出动量SVGD-EM方法,通过引入Nesterov加速提升MMLE的收敛速度,适用于不同难度的任务。
2026-03-09 cs.LG stat.CO stat.ML
From Language to Programs: Bridging Reinforcement Learning and Maximum Marginal Likelihood
Stanford University(斯坦福大学)
我们的目标是学习一个语义解析器,当只有间接监督时,将自然语言语句映射到可执行程序中:示例被标记为正确的执行结果,而不是程序本身。因此,我们必须在程序空间中搜索那些输出正确结果的程序,同时不要被虚假程序误导:不正确的程序碰巧输出正确的结果。我们连接两个常见的学习范式,强化学习(RL)和最大边际似然(MML),然后提出一个新的学习算法,结合两者的优势。新算法通过将MML中传统采用的系统搜索与RL的随机探索相结合,并通过更新参数,使概率在一致的程序中分布得更均匀,来防止虚假程序。我们将我们的学习算法应用到一个新的神经语义解析器,并在最近的上下文相关的语义解析任务上显示出比现有的最先进的结果显着的收益。
2017-04-25 cs.AI cs.LG stat.ML
Improving the Accuracy of Marginal Approximations in Likelihood-Free Inference via Localisation
无似然方法是一种重要的工具,用于对可以模拟的隐式模型进行推理,但相应的似然是难以处理的。然而,常见的无似然方法不能很好地扩展到大量的模型参数。一个有前途的方法,高维似然自由推理涉及估计低维边缘后验的条件下,只有概括统计被认为是信息的低维组件,然后结合低维近似以某种方式。在本文中,我们证明了这种低维近似在实践中可能会令人惊讶地差,看似直观的汇总统计量的选择。我们描述了一个理想化的低维汇总统计量,原则上,适用于边际估计。然而,在实践中很难直接近似理想化的选择。因此,我们提出了一种替代方法,边际估计,更容易实现和自动化。给定可能仅提供关于边缘后验位置的信息的低维汇总统计量的初始选择,新方法通过首先使用所有汇总统计量粗略地定位后验近似以确保全局可识别性来提高性能,然后是第二步,使用低维汇总统计量精确地定位低维近似。我们表明,这种方法的目标后,可以表示为一个对数池的后验分布的基础上,低维和完整的汇总统计量,分别。几个例子说明了我们的方法的良好性能。
2022-07-14 stat.CO stat.ME stat.ML
Identifiable Bayesian Deep Generative Copulas with Unknown Layer Widths for Data with Arbitrary Marginal Distributions
Department of Statistics and Data Science(统计与数据科学系);Washington University in St. Louis(圣路易斯华盛顿大学);Department of Statistics(统计系);Columbia University(哥伦比亚大学)
提出Deep Discrete Encoder (DDE) Copula模型,通过二元潜变量的分层有向网络与Copula框架结合,实现任意边缘分布数据的可识别与可解释生成建模,并基于秩似然进行估计与后验推断。
2026-05-26 cs.LG stat.ML
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
On Supervised Selection of Bayesian Networks
University of Helsinki(赫尔辛基大学)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-23 cs.LG stat.ML
Structure Learning of Contextual Markov Networks using Marginal Pseudo-likelihood
马尔可夫网络是离散多变量系统的流行模型,其中变量的依赖结构由无向图指定。为了允许更有表现力的依赖结构,已经提出了马尔可夫网络的几种推广。在这里,我们考虑一类上下文马尔可夫网络,它考虑到可能的上下文特定的变量对之间的独立性。上下文马尔可夫网络的结构学习是非常具有挑战性的,由于非常大数量的可能结构。其中一个主要的挑战是设计一个分数,通过这个分数,可以根据与复杂性相关的模型拟合来评估结构,而不需要假设弦性。在这里,我们引入了边际伪似然作为一般上下文马尔可夫网络的分析易处理的标准。我们的标准是产生一个一致的结构估计。实验表明,我们的方法在推断模型的预测精度方面具有良好的性能。
2021-03-29 math.ST stat.ME stat.ML
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research(AT&T实验室-研究部);Georgia Institute of Technology(佐治亚理工学院)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
Marginal Pseudo-Likelihood Learning of Markov Network structures
本文提出马尔可夫网络结构的边际伪似然学习方法,通过边际化冗余参数实现自动正则化,并证明估计量一致性,实验显示优于现有流行推理方法。
2014-11-11 stat.ML
A local approach to estimation in discrete loglinear models
本文研究了高维离散图模型参数的极大似然估计的两个相关问题:最大似然估计的存在性及其计算.当数据稀疏时,列联表中有许多零,参数的最大似然估计可能不存在。Fienberg和Rinaldo(2012)已经证明了,当数据向量属于由模型的设计矩阵的行所跨越的所谓边缘锥的面时,mle不存在。在高维中识别这些面孔是具有挑战性的。在本文中,我们采取了一个本地的方法:我们表明,这样的脸,虽然可能不是最小的一个,可以通过查看诱导子图$G_i,i=1,\ldots,k$的$G$产生的边缘图形模型的集合来识别。这是我们的第一个贡献。我们的第二个贡献涉及复合最大似然估计。当问题的维数很大时,通过极大似然估计给定图形模型的参数是具有挑战性的,如果不是不可能的话。传统的方法来解决这个问题一直是本地的使用复合似然的基础上当地的条件似然。最近的发展是使复合似然的分量是以每个$v$为中心的边缘似然。我们首先表明,通过局部条件和边际似然性的共识获得的估计是相同的。然后,我们研究了当模型的维数和样本量$N$都趋于无穷大时,复合最大似然估计的渐近性质。
2015-04-21 stat.ML
Nested Variational Compression in Deep Gaussian Processes
深度高斯过程提供了一种灵活的方法,可以使用监督或无监督学习对数据进行概率建模。为了便于推理,必须对模型的边际似然进行近似。在这些模型中近似推理的原始方法使用变分压缩来允许隐变量的近似变分边缘化,从而导致模型的边际似然的下限[Damianou和Lawrence,2013]。在本文中,我们扩展了这个想法与嵌套变分压缩。由此产生的下界的可能性可以很容易地并行化或适应随机变分推断。
2014-12-03 stat.ML
Pseudo-Marginal Hamiltonian Monte Carlo
贝叶斯推理在一个棘手的似然函数的存在是具有挑战性的计算。当遵循马尔可夫链蒙特卡罗(MCMC)方法来近似后验分布时,通常使用MCMC方案,其目标是参数和一些辅助潜变量的联合后验,或伪边缘Metropolis-Hastings(MH)方案。后者模仿MH算法,通过无偏地逼近棘手的可能性,以参数的边缘后验为目标。然而,在参数和辅助变量在后验下强相关和/或该后验是多模态的情况下,吉布斯采样或哈密顿蒙特卡罗(HMC)将表现不佳,并且伪边缘MH算法(如任何其他MH方案)对于高维参数将是低效的。我们在这里提出了一个原始的MCMC算法,称为伪边缘HMC,它结合了HMC和伪边缘计划的优点。具体地,伪边缘HMC方法由精度参数N控制,控制似然的近似,并且对于任何N,它对参数的边缘后验进行采样。此外,当N趋于无穷大时,其样本轨迹和接受概率收敛到理想但棘手的HMC算法的样本轨迹和接受概率,该算法将能够获得参数的边缘后验及其梯度。我们通过实验证明,伪边缘HMC可以显着优于标准HMC和伪边缘MH计划。
2019-10-02 stat.ME stat.ML
Factoring Multidimensional Data to Create a Sophisticated Bayes Classifier
University of Chicago(芝加哥大学);California Institute of Technology(加州理工学院)
在本文中,我们推导出一个明确的公式计算边际似然的一个给定的因子分解的分类数据集。由于边际似然与因子分解的后验概率成比例,因此这些似然可以用于对所有可能的因子分解进行排序,并选择“最佳”方式来因子化数据集所绘制的总体分布。最好的因子分解可以用来构建贝叶斯分类器,它可以从分解出相互独立的变量集中获益。
2021-05-18 cs.LG physics.data-an stat.ML
On the safe use of prior densities for Bayesian model selection
贝叶斯推断在模型选择中的应用是当前研究的热点。在这个框架中,模型通过它们的边际似然性或它们的相似性进行比较,称为贝叶斯因子。然而,边际可能性取决于先前的选择。对于模型选择,甚至扩散先验实际上可以提供非常多的信息,这与参数估计问题不同。此外,当先验不适当时,相应模型的边际似然是不确定的。在这项工作中,我们讨论了边际似然的先验灵敏度问题及其在模型选择中的作用。我们还评论使用无信息先验,这是非常常见的选择在实践中。几个实际的建议进行了讨论,许多可能的解决方案,在文献中提出,设计目标先验模型选择进行了说明。其中一些还允许使用不适当的先验。边际似然法和众所周知的信息标准之间的连接也被提出。我们描述的主要问题和可能的解决方案说明数值例子,也提供了一些相关的代码。其中一个涉及到系外行星探测的实际应用。
2022-06-10 stat.CO stat.ME stat.ML
Distributed Computation for Marginal Likelihood based Model Choice
我们提出了一个分布式贝叶斯模型选择的一般方法,使用边际似然,其中数据集被分割成非重叠的子集。这些子集只能由单个工作者在本地访问,并且工作者之间不共享数据。我们通过蒙特卡罗从每个子集的后验样本中近似整个数据集的模型证据,从而生成每个子集的模型证据。使用一种新的方法,该方法使用所生成的样本的汇总统计来校正分裂的结果相结合。我们的分而治之的方法使贝叶斯模型选择在大数据设置,利用所有可用的信息,但限制工人之间的通信。我们推导出理论误差界,量化计算增益和精度损失之间的权衡。在我们的真实世界实验中,当用于大规模数据集时,并行的本质会产生重要的速度提升。此外,我们展示了如何建议的方法可以扩展到一个可逆的跳跃设置,探讨多个功能组合在一个运行内的模型选择。
2022-10-15 stat.CO stat.ME stat.ML
Efficient Marginal Likelihood Computation for Gaussian Process Regression
在贝叶斯学习环境中,预测模型的后验分布来自于其先验分布与观测数据的条件似然之间的权衡。这种分布函数通常依赖于额外的超参数,这些超参数需要调整以实现最佳预测性能;通过最大化观测数据的后验边缘似然,可以以经验贝叶斯方式有效地执行此操作。由于该优化问题的得分函数通常具有局部最优的特征,因此需要采用全局优化策略,这需要大量的函数评估。考虑到评估通常是计算密集型的,并且相对于数据集大小的缩放性很差,可以同时处理的最大观测数量非常有限。本文考虑了高斯过程回归中超参数调整的情形。这个模型的后验对数似然的直接实现需要O(N^3)次优化过程的每次迭代操作,其中N是输入数据集中的示例数。我们推导出一组新的身份,允许在O(N^3)的初始开销之后,在O(N)操作中评估得分函数以及雅可比矩阵和海森矩阵。我们证明了如何提出的身份,遵循核矩阵的特征分解,产生减少几个数量级的超参数优化问题的计算时间。值得注意的是,所提出的解决方案提供了计算优势,即使相对于依赖于稀疏核矩阵的现有技术的近似。
2011-10-29 stat.CO stat.ML
Learned harmonic mean estimation of the marginal likelihood with normalizing flows
本文提出用 normalizing flows 表示学习型调和平均估计器的重要性采样目标,通过降低基分布温度保证质量位于后验内,从而更稳健地估计边际似然。
2024-01-19 astro-ph.IM stat.ME stat.ML
Scalable Bayesian Structure Learning for Gaussian Graphical Models Using Marginal Pseudo-likelihood
针对高斯图模型贝叶斯学习可扩展性差的问题,提出基于边际伪似然的连续时间与离散时间MCMC算法,实现千节点图的高效后验探索,兼具理论保证与计算优势。
2025-08-27 stat.CO stat.ME stat.ML
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中,我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时,封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下,我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件,即,当样本量趋于无穷大时,选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型,我们施加了先验反集中条件,要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置,强模型可识别性假设可能不成立,我们引入了局部贝叶斯复杂性的概念,并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型,说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下,高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果,我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation
本文提出了一类连续时间交互粒子系统,用于实现潜变量模型的最大边际似然估计,通过离散化推导出 Interacting Particle Langevin Algorithm (IPLA),并证明了其几何遍历性及非渐近误差界。
2025-03-04 math.PR stat.CO stat.ML
Learning Latent Variable Models via Jarzynski-adjusted Langevin Algorithm
Imperial College London(帝国理工学院);Sorbonne Université, Université de Paris(索邦大学,巴黎大学)
本文提出JALA-EM算法,利用Jarzynski调整的Langevin采样器结合序贯蒙特卡洛,实现潜变量模型参数的最大边际似然估计,并证明其收敛性,适用于模型选择。
2025-10-24 stat.CO stat.ML