Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK(计算与工程学院贝德福德郡大学,卢顿,英国)
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树,建立了理性承诺阈值的完整非渐近理论,回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Bayesian Exponential Random Graph Models with Nodal Random Effects
我们扩展了著名的和广泛使用的指数随机图模型(ERGM),包括节点的随机效应,以补偿网络节点的异质性。Caimo和Friel(2011)提出的ERGM的贝叶斯框架为我们的建模算法提供了基础。网络模型中的一个中心问题是模型选择问题,并且遵循贝叶斯范式,我们专注于估计贝叶斯因子。要做到这一点,我们开发了一个近似的,但可行的计算贝叶斯因子,允许一个追求模型选择。两个数据示例和一个小型模拟研究说明了我们的混合模型方法和相应的模型选择。
2015-01-12 stat.AP stat.ME
Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values
研究了缺失值指数族模型变分Bayes逼近的性质。证明了当样本量变大时,变分贝叶斯估计的迭代算法以概率1局部收敛于真值。证明了变分后验分布是渐近正态的。
2012-07-11 math.ST stat.CO stat.ME
Objective Bayesian analysis for the generalized exponential distribution
本文针对广义指数分布提出基于独立 Jeffreys 先验的客观贝叶斯推断,验证后验适定性,并通过广义均匀比抽样算法进行高效后验推断,模拟和真实数据验证了方法表现。
2023-09-23 math.ST stat.ME stat.TH
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island(罗德岛大学)
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则,称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同,贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外,该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制,并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例,说明了算法和参数的选取。最后,使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
私人推理的研究已经引发了对数据分析的日益关注,当它源于敏感的来源。我们提出了第一种方法,私人贝叶斯推断指数家庭,适当占噪声引入的隐私机制。它是有效的,因为它只适用于足够的统计数据,而不是个人数据。与其他方法不同,它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
Bayesian perspectives on exponential random graph models
School of Mathematics and Statistics, University College Dublin(都柏林大学学院数学与统计学院)
本文综述了贝叶斯指数随机图模型的推断方法,包括辅助变量MCMC、调整伪似然和变分方法,并讨论了模型选择及缺失数据、纵向动态等扩展。
2026-05-25 stat.CO stat.ME
Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family
Linköping University(林雪平大学);Middle East Technical University(中东技术大学)
本文提出了一种基于似然函数对数的泰勒级数逼近的贝叶斯推理方法。建议的近似设计的情况下,先验分布属于指数分布族。将似然函数的对数关于指数族先验分布的充分统计量进行线性化,使得后验分布与先验分布具有相同的指数族形式。该方法与非线性滤波的扩展卡尔曼滤波器的相似之处。此外,推导出用于目标模型的扩展目标测量更新,其中目标范围由具有逆Wishart分布的随机矩阵表示。近似更新涵盖了测量扩展是由于目标范围以及传感器中的测量噪声引起的重要情况。
2015-10-05 cs.LG stat.ML
Bergm: Bayesian Exponential Random Graphs in R
在本文中,我们描述了Bergm软件包的主要特点,它提供了一个全面的框架指数随机图模型的贝叶斯分析:参数估计,模型选择和拟合优度诊断工具。我们通过对两个著名网络数据集的教程分析来说明这个软件包描述算法的功能。
2014-01-28 stat.AP stat.CO
A Robust Bayesian Exponentially Tilted Empirical Likelihood Method
本文提出了一种新的贝叶斯方法来分析矩条件模型的情况下,数据可能被野值污染。该方法建立在Schennach(2005)开发的基础上,他提出了贝叶斯指数倾斜经验似然(BETEL)方法,证明了经验似然(EL)可以被解释为贝叶斯过程的非参数极限,当隐含概率从最大化熵中获得时,受到一些给定的时刻约束。考虑到离群值被认为对总体矩估计的影响,我们开发了一种新的鲁棒BETEL(RBETEL)推理方法来处理这个潜在的问题。我们展示了BETEL方法如何与Bissiri,Holmes和Walker(2016)的最新工作联系起来,他们提出了一个通过损失函数更新先验信念的一般框架。控制仿真实验进行了研究的RBETEL方法的性能。我们发现,所提出的方法产生可靠的后验推理的基本关系,嵌入在大多数的数据,即使离群值存在。该方法还说明了在一项实证研究中使用的数据集包含65个不同的陆地动物物种的大脑重量体重。
2017-12-31 stat.ME
Aggregation by exponential weighting, sharp PAC-Bayesian bounds and sparsity
研究了确定性设计回归模型中平方损失下的聚集问题。我们得到尖锐的PAC贝叶斯风险界定义通过指数权重的聚集,在一般假设下的分布误差和聚集的功能。然后,我们应用这些结果来推导稀疏预言不等式。
2013-03-22 math.ST stat.TH
Posteriors, conjugacy, and exponential families for completely random measures
我们演示了如何计算后验一般CRM为基础的先验和似然贝叶斯非参数模型。我们进一步展示了如何表示贝叶斯非参数先验作为一个序列的有限提请使用大小偏置的方法-以及如何表示完整的贝叶斯非参数模型通过有限的边际。出于共轭先验的基础上指数族表示的可能性,我们引入了一个概念的指数族标准物质,我们称之为指数标准物质。这种结构使我们能够指定自动贝叶斯非参数共轭先验指数CRM似然。我们证明,我们的指数标准物质允许特别简单的配方贝叶斯非参数模型的大小偏置和边际表示。一路上,我们证明了伽玛过程是一个共轭先验的泊松似然过程和β素数过程是一个共轭先验的过程,我们称之为赔率伯努利过程。我们提供了一个大小偏置的伽玛过程和伽玛过程的边缘表示加上泊松似然过程。
2016-04-22 math.ST stat.ME stat.TH
Bayesian Hierarchical Models with Conjugate Full-Conditional Distributions for Dependent Data from the Natural Exponential Family
我们介绍了一种贝叶斯方法,用于分析(可能)高维相关数据,这些数据根据自然指数分布家族的成员分布。这个问题需要广泛的方法进步,因为联合建模高维相关数据会导致所谓的“大n问题”。当允许非高斯数据模型时,“大n问题”的计算复杂性进一步加剧,就像这里的情况一样。因此,我们开发了新的计算效率的分布理论,这种设置。特别地,我们引入了“共轭多元分布”,这是由Diaconis和Ylvisaker(1979)中引入的单变量分布所激发的。此外,我们提供了大量的理论和方法的发展,包括:条件分布的结果,与多元正态分布,共轭先验分布的渐近关系,并充分条件分布的吉布斯采样器。为了证明所提出的方法的广泛适用性,我们提供了两个模拟研究和三个应用程序的基础上流行病学数据集,联邦统计数据集,和环境数据集,分别。
2019-04-17 stat.ME
Both necessary and sufficient conditions for Bayesian exponential consistency
在过去的十年中,贝叶斯非参数过程的渐近理论有了显著的发展。指数一致性在这方面发挥了重要作用。已知$f_0$在先验的Kullback-Leibler支持下的条件不能保证后验的指数一致性。许多作者得到了后验的指数相合性的额外充分条件,例如,参见Schwartz(1965),Barron,Schervish and Wasserman(1999),Ghosal,Ghosh and Ramamoorthi(1999),Walker(2004),Xing and Ranneby(2008)。然而,由于Kullback-Leibler支持条件,很少知道的充要条件和充分条件。本文给出了一类既有充要条件。作为结果,我们得到了一个简单的贝叶斯指数一致性的充分条件,这是弱于以前的充分条件。
2008-12-05 math.ST stat.TH
Bayesian exponential family projections for coupled data sources
Aalto University(阿尔托大学);School of Science and Engineering(科学与工程学院);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所)
近年来,指数族扩展主成分分析(EPCA)受到了相当多的关注,这表明人们越来越需要不假设平方损失或高斯分布的基本建模工具。在EPCA统一表示为指数族自然参数矩阵分解的基础上,提出了偏最小二乘和典型相关分析的第一指数族多视图学习方法,扩展了EPCA模型工具箱。该模型是基于一个新的家庭的先验,一般可用于所有此类分解。我们还介绍了新的推理策略,并演示了如何的方法优于早期的高斯假设不成立时。
2012-03-15 cs.LG stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology(浦项科技大学)
贝叶斯层次聚类(Bayesian hierarchical clustering,BHC)是一种凝聚聚类方法,它定义了一个概率模型,并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势,传统的基于距离的凝聚聚类算法,连续的边缘似然评估和仔细的超参数调整是繁琐的,限制了可扩展性。在本文中,我们放松BHC到一个非概率制定,探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法,被称为放松BHC(RBHC),从BHC模型的渐近极限,表现出基于距离的凝聚聚类算法的可扩展性,以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少,使我们能够使用可扩展的算法,如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute(慕尼黑数据科学研究所);Technical University of Munich(慕尼黑工业大学)
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中,我们提出了自然后验网络(NatPN)的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此,NatPN适用于分类和一般回归设置。与许多以前的方法不同,NatPN在训练时不需要分布外(OOD)数据。相反,它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本,NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上,NatPN分配远离训练数据的高不确定性。从经验上讲,我们在校准和OOD检测方面的广泛实验表明,NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
Bayesian Nonparametric Mixtures of Exponential Random Graph Models for Ensembles of Networks
网络集合出现在各个领域,其中在同一组节点上观察到多个独立的网络,例如,在不同个体的相同大脑区域上构建的大脑网络的集合。然而,有几个模型,同时描述网络的变化和特征的合奏。在本文中,我们建议使用指数随机图模型的狄利克雷过程混合(DPM-ERGMs),它将集成分为不同的集群和模型的网络使用一个单独的指数随机图模型(ERGM)的每个集群的集成。通过采用Dirichlet过程混合,可以自动确定聚类的数量,并根据所提供的数据自适应地改变聚类的数量。此外,为了执行DPM-ERGMs的完整贝叶斯推断,我们采用中间重要性抽样技术内的大都会内切片抽样方案,解决了从一个无限的样本空间上的棘手ERGMs的采样问题。我们还展示了模拟和真实数据集的DPM-ERGMs的性能。
2022-01-20 stat.CO stat.ME
A note on the geometry of the MAP partition in Conjugate Exponential Bayesian Mixture Models
本文研究了贝叶斯混合模型中最大后验概率(MAP)划分的几何性质,其中成分分布和基分布都是从共轭指数族中选取的。我们证明,在这种情况下,集群分离的轮廓线的线性泛函的充分统计量。作为一个特定的例子,我们描述了贝叶斯混合正态分布与正态-逆-Wishart之前的组件的平均值和协方差,其中集群在任何MAP分区分离的二次曲面。结合Rajkowski(2018)的结果,其中证明了具有固定分量协方差阵的贝叶斯混合模型中聚类的线性可分性,它给出了Fisher判别分析(LDA和QDA)几何特性的很好的贝叶斯模拟。
2019-06-24 math.ST stat.TH
Bayesian inference for exponential random graph models
指数随机图模型从统计学的角度来看是非常难以处理的模型,因为它们的归一化常数取决于模型参数,仅在非常平凡的情况下可用。我们展示了如何使用MCMC算法在贝叶斯框架中进行推理,从而避免了计算归一化常数的需要。我们使用的人口MCMC方法,加快收敛和改善混合的马尔可夫链。这种方法相对于Geyer和Thompson(1992)的蒙特卡罗极大似然方法改进了性能。
2010-09-29 stat.AP
Approximate Bayesian Computation via Classification
近似贝叶斯计算(ABC)在基于模拟器的模型中启用统计推断,这些模型的似然性难以计算但易于模拟。ABC通过比较真实数据和模拟数据的汇总统计量的接受/拒绝机制构建了后验分布的核型近似。为了验证汇总统计量的必要性,我们直接将经验分布与通过对比学习获得的Kullback-Leibler(KL)散度估计进行比较。特别是,我们在ABC中混合了灵活的机器学习分类器,以自动进行假/真数据比较。我们认为传统的接受/拒绝内核以及指数加权计划,不需要ABC的接受阈值。我们的理论结果表明,我们的ABC后验分布集中在真实参数的速度取决于分类器的估计误差。我们得出限制后的形状结果,并发现,与适当缩放的指数内核,渐近正态性。我们证明了我们的方法的有用性模拟的例子,以及在股票波动率估计的背景下,真实的数据。
2022-11-30 stat.ME stat.ML
Deep learning with t-exponential Bayesian kitchen sinks
Cyprus University of Technology(塞浦路斯理工大学)
贝叶斯学习最近被认为是一种有效的方法来解释训练的深度网络参数的不确定性。这在处理小型或稀疏的训练数据集时至关重要。另一方面,计算其输入的加权和的浅模型,在将它们通过一组任意随机非线性之后,最近已被证明具有良好的测试误差界,该误差界取决于非线性的数量。受这些进展的启发,在本文中,我们研究了新型的深度网络架构,其中每一层都包含一组任意的非线性,使用多个备选权重集进行线性组合。我们通过基于t-散度测度的近似推理来实现模型训练;这在t-指数分布族的背景下推广了Kullback-Leibler散度。我们采用t-指数族,因为它可以更灵活地适应现实世界的数据,这需要离群值和分布的厚尾,相比传统的高斯模型假设。我们使用几个具有挑战性的基准广泛评估我们的方法,并提供相关的最先进的技术的比较结果。
2018-02-10 cs.LG stat.ML
A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models
The Ohio State University(俄亥俄州立大学);Boston University(波士顿大学)
无穷维空间上的共轭分布对在统计学习理论中很突出,特别是由于贝叶斯非参数方法广泛应用于许多模型和应用。在学习社区中,现有的许多文献都集中在具有某种形式的计算上易处理的共轭性的过程上,例如beta和gamma过程(以及通过归一化的Dirichlet过程)。对于这些过程,共轭性的证明和必要的推导后验密度参数的明确计算公式是特质的随机过程的问题。因此,贝叶斯非参数模型目前可用于有限数量的共轭对,例如狄利克雷多项式和贝塔伯努利过程对。在上述每种情况下,似然过程都属于离散指数族分布。从贝叶斯非参数共轭模型的已知情况中排除连续似然分布是研究人员工具箱中的一个差异。在本文中,我们首先解决的问题,获得一个一般的建设先验分布在无限维空间具有分布性质服从共轭。其次,我们桥接离散和连续的可能性之间的鸿沟,说明了一个典型的建设随机过程的Levy测量密度是从正指数家庭,然后证明这些过程实际上形成的前,可能性,和后的共轭家庭。我们的规范建设包括已知的后验密度参数的计算公式的情况下,其中的可能性是从一个离散分布属于一个指数家庭。
2016-01-10 cs.LG stat.ML
Bayesian Testing of Scientific Expectations Under Exponential Random Graph Models
本文针对指数随机图模型中传统p值检验的局限性,提出基于贝叶斯因子和后验概率的检验方法,并在R包BFpack中实现,用于直接检验带等式或顺序约束的多重科学假设。
2023-11-30 stat.AP stat.ME
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model
针对局部与全局趋势贝叶斯指数平滑模型依赖 NUTS 导致拟合过慢的问题,本文改进模型并提出定制 Gibbs 采样器,在 M3 上保持或提升精度且速度显著加快。
2024-06-29 cs.LG stat.CO stat.ML
A Bayesian Update Method for Exponential Family Projection Filters with Non-Conjugate Likelihoods
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿物大学);Interdisciplinary Research Center of Smart Mobility and Logistics, King Fahd University of Petroleum and Minerals(智能交通与物流跨学科研究中心,法赫德国王石油与矿物大学)
针对非共轭先验下连续-离散指数族投影滤波器的贝叶斯更新难题,提出将更新表述为 $\alpha$-Rényi 散度的黎曼优化,并在高度非高斯问题中验证有效性。
2025-08-26 math.OC stat.AP
Exponential two-armed bandit problem
研究了收益服从指数分布密度的指数型双臂强盗问题。我们发展了贝叶斯方法,并给出了确定贝叶斯策略和贝叶斯风险的递归方程。在控制时域趋于无穷大的极限情形下,得到了“闭分布”区域内的二阶偏微分方程。并与高斯双臂强盗模型进行了比较。事实证明,指数型和高斯型双臂强盗在极限情况下具有相同的描述。由于高斯双臂强盗描述了批处理,这意味着在指数双臂强盗的情况下,批处理与一个接一个的最佳处理相比不会扩大贝叶斯风险,因为处理的数据项的总数趋于无穷大。
2019-08-15 math.ST stat.TH
Bayesian DEJD model and detection of asymmetric jumps
新闻可能会引发金融时间序列的跳跃到达。“坏”和“好”的消息似乎有不同的影响。在研究中,一个双指数跳跃分布被用来模拟向下和向上的跳跃。提出了贝叶斯双指数跳扩散模型。文中所述定理使模型参数的估计、跳变的检测和跳变频率的分析成为可能。的方法,建立在潜变量的想法,说明了两个实证研究,采用模拟和真实世界的数据(KGHM指数)。新闻可能会引发金融时间序列的跳跃到达。“坏”和“好”的消息似乎有不同的影响。在研究中,一个双指数跳跃分布被用来模拟向下和向上的跳跃。提出了贝叶斯双指数跳扩散模型。文中所述定理使模型参数的估计、跳变的检测和跳变频率的分析成为可能。的方法,建立在潜变量的想法,说明了两个实证研究,采用模拟和真实世界的数据(KGHM指数)。
2014-04-08 q-fin.ST stat.ME
Bergm: Bayesian exponential random graph models in R
Bergm软件包提供了一个使用马尔可夫链蒙特卡罗(MCMC)算法进行贝叶斯推断的综合框架。它还可以提供图形贝叶斯拟合优度程序,解决模型充分性问题。该软件包使用简单,代表了一种有吸引力的方式分析网络数据,因为它提供了一个完整的不确定性概率处理的优势。Bergm基于ergm软件包,因此它使用相同的模型设置和网络仿真算法。Bergm软件包在过去几年中在速度性能方面不断改进,现在为最终用户提供了一个可行的选择,用于对具有数千个节点的网络进行贝叶斯推断。
2017-03-26 stat.CO
Bayesian model selection for exponential random graph models
指数随机图模型是社交网络中一类应用广泛的指数族模型。一个观察到的网络的拓扑结构建模的一组局部子图配置称为网络统计的相对流行。在这些模型的应用中的关键任务之一是在模型中包括哪些网络统计数据。这可以被认为是统计模型选择问题。这是一个非常具有挑战性的问题-每个模型的后验分布通常被称为“双重棘手”,因为计算的可能性很少,而且,后验的证据是,像往常一样,棘手。本文的贡献是基于Caimo和Friel(2011)的可逆跳跃马尔可夫链蒙特卡罗算法扩展开发了一种完全贝叶斯模型选择方法,该方法估计了每个竞争模型的后验概率。
2013-01-18 stat.AP stat.CO
Gradient Profile Estimation Using Exponential Cubic Spline Smoothing in a Bayesian Framework
获得可靠的剖面梯度对于许多物理系统来说至关重要。在大多数情况下,由于噪声,梯度的估计可能不准确。通常的做法是首先估计底层系统,然后通过取随后的解析导数来计算剖面梯度。基础系统通常通过使用其他技术拟合或平滑数据来估计。对一个估计函数求随后的解析导数可能是不适定的。随着系统中噪声的增加,病态性变得更糟。结果,梯度估计中产生的不确定性增加。在本文中,一种方法来估计离散噪声数据的轮廓梯度的理论框架。该方法在贝叶斯框架内开发。在不同的随机噪声水平的合成数据进行了全面的数值试验。所提出的方法的准确性进行了量化。我们的研究结果表明,所提出的梯度轮廓估计方法优于国家的最先进的方法。
2019-12-09 physics.data-an stat.ME
Exact Bayesian Analysis of Mixtures
在本文中,我们将展示如何一个完整的和精确的贝叶斯分析的参数混合模型是可能的,在某些情况下,当成分的混合物是从指数家庭和共轭先验时使用。这种有限的设置使我们能够显示贝叶斯方法的相关性,以及展示一个完整的分析的局限性,即它是不可能进行这种分析时,样本量太大,当数据不是从一个指数的家庭,或当使用的先验比共轭先验更复杂。
2010-10-29 stat.CO stat.ME
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia(应用人工智能研究所,德金大学,澳大利亚格里尔镇)
本文提出BOO算法,在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法,实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式,除了在有限的情况下,不属于任何有限维统计模型。在本文中,我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时,它的理论性质与贝叶斯预测密度的理论性质相似。它还表明,投影渐近一致的插件密度与后验均值的期望参数的指数族,我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能,并表明随着指数族维数的增加,期望参数的后验均值逼近贝叶斯预测密度。它还表明,近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
Optimal variable acceptance sampling plan for exponential distribution using Bayesian estimate under Type I hybrid censoring
本文针对指数寿命产品在I型混合截尾下,提出基于贝叶斯估计的变量验收抽样方案,通过平方误差损失和Linex损失函数优化检验成本,实验表明其期望成本显著低于传统最大似然估计方案。
2023-11-28 math.ST stat.TH
Well-posed Bayesian Inverse Problems: Priors with Exponential Tails
Simon Fraser University(西蒙菲莎大学)
研究在先验测度具有指数尾部时贝叶斯反问题的良好定义性,探讨凸(对数凹)概率测度的条件,保证后验测度的存在性、唯一性和稳定性,并提出后验近似方法及构造Banach空间上凸先验的通用方法。
2017-02-23 cs.NA math.NA math.PR
Exponential Convergence of CAVI for Bayesian PCA
Department of Mathematics and Statistics(数学与统计学系);Université de Montréal(蒙特利尔大学)
本文首次证明了贝叶斯主成分分析中坐标上升变分推断(CAVI)的指数收敛性,通过连接幂迭代算法及引入新的KL散度下界,填补了理论空白。
2025-05-22 cs.LG stat.ML
Exponential Families for Bayesian Quantum Process Tomography
由于在量子信道的空间上缺乏适当的概率分布,量子过程层析成像的贝叶斯方法尚未完全开发。在这里,通过关联的Choi矩阵形式的一个完全积极的,保迹(CPTP)映射与一个特定的空间的矩阵与正交列,称为Stiefel流形,我们提出了两个参数概率分布的空间上的CPTP地图,使贝叶斯分析的过程层析成像。第一种是具有平均Choi矩阵作为充分统计量的概率分布。第二种是由二项式似然数据产生的分布,其使得能够简单地连接到通过过程层析成像实验收集的数据。据我们所知,这些是连续的,非单一的随机CPTP地图,捕捉有意义的先验信息用于贝叶斯估计的第一个例子。我们展示了如何使用这些分布可以用于点估计使用最大后验估计或预期的后验估计,以及完整的贝叶斯断层扫描后验可信区间。这种方法将使贝叶斯分析在所有形式的量子表征,验证和确认中发挥全部作用。
2019-11-01 quant-ph stat.AP
Graphical Models and Exponential Families
Microsoft Research(微软研究院);Technion(以色列理工学院)
我们提供了一个分类的图形模型,根据其表示为指数族的子族。无隐变量的无向图模型是线性指数族(LEF),无隐变量的有向无环图模型和链图,包括具有多个局部分布族的贝叶斯网络,是弯曲指数族(CEF),而具有隐变量的图模型是分层指数族(SEF)。SEF是满足边界条件的CEF的有限并集。此外,我们说明了如何可以自动生成的独立性和非独立性约束的分布上的可观察变量隐含的贝叶斯网络的隐变量。这些结果的模型选择的相关性进行检查。
2013-01-30 cs.LG stat.ML
Bayesian generalized fused lasso modeling via NEG distribution
融合套索通过回归系数及其连续差的$L_1$范数惩罚损失函数,以鼓励两者的稀疏性。本文提出了一种基于正态指数伽玛(NEG)先验分布的贝叶斯广义融合套索模型。将NEG先验假设为连续回归系数的差。所提出的方法使我们能够构建一个更通用的稀疏模型比普通的融合套索通过使用灵活的正则化项。我们还提出了一个稀疏融合算法,以产生精确的稀疏解决方案。仿真研究和实际数据分析表明,该方法具有优于普通融合套索的性能。
2016-02-16 stat.ME stat.ML
Can we trust Bayesian uncertainty quantification from Gaussian process priors with squared exponential covariance kernel?
研究了具有平方指数协方差核的高斯过程先验的可信集的频率覆盖性质。首先,我们表明,通过选择缩放超参数使用最大边际似然估计(略有修改)平方指数协方差内核的相应的可信集将提供过度自信,误导性的不确定性声明的一个大的,有代表性的子类的功能参数的背景下的高斯白噪声模型。然后我们证明了,无论是用对数因子爆破可信集,还是用对数项修正极大边际似然估计,在一定的附加约束下,都可以得到可靠的不确定性陈述和可信集的自适应大小。最后,我们证明了一个数值研究,推导出的负面和正面的结果超出了高斯白噪声模型的非参数回归和分类模型的小样本量以及。
2019-04-02 math.ST stat.TH
Bayesian Trend Filtering
我们开发了一个完全贝叶斯分层模型的趋势过滤,本身是一个新的发展,非参数,单变量回归。该框架更广泛地适用于广义套索,但重点是贝叶斯趋势过滤。我们比较了两个收缩先验,双指数和广义双帕累托。一个模拟研究,比较贝叶斯趋势滤波的原始配方和其他一些流行的方法表明,我们的方法,以提高估计误差,同时保持,如果不提高覆盖概率。两个时间序列数据集证明贝叶斯趋势滤波的鲁棒性可能违反其假设。
2015-05-28 stat.ME
Bayesian exponential random graph models for populations of networks
收集网络群体的数据正变得越来越普遍,其中每个数据点都可以被视为网络值随机变量的实现。一个典型的例子是大脑网络:一个典型的神经成像研究收集了多个个体的一个或多个大脑扫描,每个人都可以被建模为一个网络,节点对应于不同的大脑区域,边缘对应于这些区域之间的结构或功能连接。然而,大多数统计网络模型最初是为了描述一个单一的底层关系结构而提出的,尽管近年来已经看到了将这些模型扩展到网络群体的动力。在这里,我们提出了一个这样的扩展:指数随机图模型的网络人口的多级框架。通过汇集各个网络中的信息,该框架提供了一种原则性的方法来构建整个人群的关系结构。为了进行推理,我们设计了一种新的交换内吉布斯MCMC算法,产生样本的双重棘手的后验。为了说明我们的框架,我们用它来评估来自功能磁共振成像扫描的网络中的组级变化,从而推断大脑功能连接的拓扑结构中与年龄相关的差异。
2021-04-11 stat.CO stat.ME
Posterior contraction rates in Sobolev norms and Bayesian derivative estimation for infinite-dimensional exponential families
University of Pavia(帕维亚大学);University of Turin(都灵大学);Collegio Carlo Alberto, Turin(都灵卡洛阿尔贝托学院)
该研究针对无穷维指数族,基于Wasserstein距离的新方法,证明匹配光滑度的先验可实现Sobolev范数下的极小极大最优后验收缩率,并在三类场景中验证了该理论的有效性。
2026-10-06 math.ST stat.ML stat.TH
Bayesian Computational Tools
本章回顾了贝叶斯计算领域在过去二十年中的进展,以及缺失数据。它还包含了一些新的双指数模型的计算条目,可能本身的利益。
2013-06-11 stat.CO stat.ME
Efficient Bayesian inference for exponential random graph models by correcting the pseudo-posterior distribution
指数随机图模型是数据统计分析的重要工具。然而,这些模型的贝叶斯参数估计是极具挑战性的,因为后验分布的评估通常涉及到一个棘手的归一化常数的计算。这一障碍促使人们考虑对似然函数的易处理的近似,例如伪似然函数,它提供了一种构造这种近似的方法。我们称之为伪后验的简单实现是用伪后验分布代替后验分布中的似然函数,这可能会产生误导性的推论。我们提供了实际的指导方针,以纠正这样的伪后验分布的样本,使其近似分布的目标后验分布,并讨论了计算和统计效率,从这种方法产生的。我们通过对现实世界图表的分析来说明我们的方法。与Caimo和Friel(2011)的近似交换算法进行了比较,然后进行了总结。
2017-05-04 stat.CO
Bayesian model selection for exponential random graph models via adjusted pseudolikelihoods
具有难处理的似然函数的模型出现在包括网络分析和空间统计学的领域,特别是涉及吉布斯随机场的那些领域。后验参数估计在这些设置中被称为双重棘手的问题,因为似然函数和后验分布是棘手的。贝叶斯模型的比较通常基于统计证据,即模型参数上的非标准化后验分布的积分,这种积分很少以封闭形式提供。对于双重棘手的模型,估计证据增加了另一层难度。因此,在用于网络分析的指数随机图模型集合中选择最能描述观察到的网络的模型是一项艰巨的任务。伪似然提供了一个易于处理的近似的可能性,但应谨慎对待,因为他们可能会导致不合理的推断。本文指定了一种方法来调整pseudolikelihoods,以获得一个合理的,但听话的,近似的可能性。这允许实现广泛使用的计算方法的证据估计和追求贝叶斯模型选择指数随机图模型的分析社交网络。与现有方法的实证比较表明,我们的程序产生类似的证据估计,但在较低的计算成本。
2017-10-19 stat.CO
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University(首都师范大学)
众所周知,描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中,贝叶斯张量网络(BTN)提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件,BTN实现的图像识别,其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟,简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
An Approximate Identity Link Function for Bayesian Generalized Linear Models
Graduate School of Economics, Kyoto University(京都大学经济学研究科)
本文提出一种具有更重尾部的近似恒等连接函数,并通过引入伽马和逆高斯潜变量为泊松与多项模型构造几何遍历的高效吉布斯算法,在真实数据上验证了其与指数连接函数模型后验含义相似且计算上更灵活。
2024-10-14 stat.ME
Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families
University of California at Berkeley(加州大学伯克利分校);Queensland University of Technology(昆士兰科技大学);CWI(荷兰数学与计算机科学研究院);Copenhagen Business College(哥本哈根商学院);Poznań University of Technology(波兹南理工大学)
我们研究了对数损失下正则参数模型的在线学习。Hedayati和Bartlett(2012 b)表明,Jeffreys先验贝叶斯预测策略和顺序归一化最大似然(SNML)是一致的,当且仅当后者是可交换的,当且仅当最优策略可以在不知道时间范围的情况下计算。他们提出了一个问题,什么样的家庭有可交换的SNML策略。本文充分回答了一维指数族的这一公开问题。交换只能发生在三类自然指数族分布,即高斯,伽玛和特威迪指数族的顺序3/2。关键词:SNML可交换性,指数族,在线学习,对数损失,贝叶斯策略,Jeffreys先验,Fisher信息1
2013-05-19 cs.LG stat.ML
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别,产生以下结果。首先,逻辑回归是贝叶斯分类器的一种不太通用的表示。其次,我们应该假设类的分布,以正确说明逻辑回归方程。第三,在特定情况下,正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Structural Properties of Bayesian Bandits with Exponential Family Distributions
我们研究了一个强盗问题,其中每个臂的观测值具有指数族分布,不同的臂被分配独立的共轭先验。在n个阶段的每一个阶段,将根据过去的观察结果选择一个臂。我们的目标是找到一个最大化$n$观测值的期望贴现和的策略。两个结构性结果具有广泛的普遍性:(i)对于固定的先验权重,随着其先验均值的增加,手臂变得更可取;(ii)对于固定的先验均值,随着其先验权重的减少,手臂变得更可取。这些推广和统一的几个结果在文献中涉及的具体问题,包括伯努利和正常的土匪。第二个结果准确地捕捉到了探索-开发困境的一个方面:给定相同的即时收益,人们对一个分支知道得越少,就越希望得到它,因为在选择那个分支时,还有更多的信息需要获得。
2011-03-16 math.PR math.ST stat.TH
Conjugate Generalized Bayesian Inference for Discrete Doubly Intractable Problems
University College London(伦敦大学学院);Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出了一种计算高效的共轭广义贝叶斯推断方法,用于解决离散双重不可计算问题,通过指数族模型实现快速且准确的推断。
2026-08-04 stat.ME
Hierarchical Bayesian inversion using the Karhunen-Loève expansion with analytical eigenpairs of the squared exponential kernel
Kyoto University(京都大学);Australian National University(澳大利亚国立大学)
研究基于高斯随机场先验的分层贝叶斯反演中协方差超参数不确定性问题,利用平方指数核的解析解构建卡尔胡宁-勒夫展开,消除超参数更新时重复求解积分特征值问题的计算成本,经优化方法提高精度,应用于达西流模型贝叶斯反演。
2026-07-15 cs.NA math.NA stat.ME