Bayesian exponential family projections for coupled data sources
Aalto University(阿尔托大学);School of Science and Engineering(科学与工程学院);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所)
近年来,指数族扩展主成分分析(EPCA)受到了相当多的关注,这表明人们越来越需要不假设平方损失或高斯分布的基本建模工具。在EPCA统一表示为指数族自然参数矩阵分解的基础上,提出了偏最小二乘和典型相关分析的第一指数族多视图学习方法,扩展了EPCA模型工具箱。该模型是基于一个新的家庭的先验,一般可用于所有此类分解。我们还介绍了新的推理策略,并演示了如何的方法优于早期的高斯假设不成立时。
2012-03-15 cs.LG stat.ML
Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family
Linköping University(林雪平大学);Middle East Technical University(中东技术大学)
本文提出了一种基于似然函数对数的泰勒级数逼近的贝叶斯推理方法。建议的近似设计的情况下,先验分布属于指数分布族。将似然函数的对数关于指数族先验分布的充分统计量进行线性化,使得后验分布与先验分布具有相同的指数族形式。该方法与非线性滤波的扩展卡尔曼滤波器的相似之处。此外,推导出用于目标模型的扩展目标测量更新,其中目标范围由具有逆Wishart分布的随机矩阵表示。近似更新涵盖了测量扩展是由于目标范围以及传感器中的测量噪声引起的重要情况。
2015-10-05 cs.LG stat.ML
Posterior consistency for partially observed Markov models
在这项工作中,我们建立了后验一致性的参数化家庭的部分观察,完全支配马尔可夫模型。作为一个主要的假设,我们假设先验分布分配给所有的邻居的真实参数的正概率,由预期的Kullback-Leibler分歧之间的家庭成员的马尔可夫转移密度诱导的距离。这个假设一般来说很容易检验。此外,在一些额外的,温和的假设下,我们表明,后验一致性是隐含的最大似然估计的一致性。后者最近也建立了非紧状态空间的模型。然后将结果推广到可能的非紧参数空间和非平稳观测。最后,我们检查我们的假设的例子,包括部分可观察的高斯线性模型与相关噪声和广泛使用的随机波动率模型。
2016-08-25 math.ST stat.TH
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式,除了在有限的情况下,不属于任何有限维统计模型。在本文中,我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时,它的理论性质与贝叶斯预测密度的理论性质相似。它还表明,投影渐近一致的插件密度与后验均值的期望参数的指数族,我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能,并表明随着指数族维数的增加,期望参数的后验均值逼近贝叶斯预测密度。它还表明,近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
Approximating exponential family models (not single distributions) with a two-network architecture
Dept. of Neuroscience Columbia University(哥伦比亚大学神经科学系);Dept. of Statistics Columbia University(哥伦比亚大学统计系);Columbia University(哥伦比亚大学)
最近,深度生成模型受到了很多关注,因为它们已经在变分推断、复杂数据类型的生成等方面取得了巨大成功。在大多数这些设置中,目标一直是找到该模型家族的特定成员:优化参数索引(通过发散或分类度量)接近目标分布的分布。然而,很少有人关注学习模型本身的问题。在这里,我们介绍了一个双网络架构和优化过程,用于学习棘手的指数族模型(而不是来自这些模型的单一分布)。这些指数族被准确地学习,允许像后验推理这样的操作直接和一般地使用自然参数的输入选择来执行,而不是通过对该模型中的每个特定分布进行优化来执行推理。
2019-03-18 cs.LG stat.ML
Exponential Family Mixed Membership Models for Soft~Clustering of Multivariate Data
几年来,基于模型的聚类方法已经成功地解决了数据分析师提出的许多挑战。然而,随着数据分析范围的发展,一些问题可能超出了标准混合模型框架。一个这样的问题是,当数据集中的观测来自重叠的聚类时,不同的聚类将拥有多个变量的相似参数。在这种情况下,混合成员模型,一种软聚类方法,观察不限于单一的集群成员,已被证明是一个有效的工具。在本文中,混合隶属度模型拟合的指数族的成员所产生的数据的方法进行了概述。应用该方法对一次超跑比赛数据进行了统计,并与标准混合模型方法进行了比较。
2016-08-10 stat.CO
Mini-batch learning of exponential family finite mixture models
小批量算法已经变得越来越流行,由于解决优化问题的需求,基于大规模的数据集。使用现有的在线期望-{}-最大化(EM)算法框架,我们演示了如何小批量(MB)算法可能被构造,并提出了一个计划的随机稳定所构造的小批量算法。理论结果的小批量期望最大化算法的收敛性。然后,我们演示了如何小批量框架可以应用于进行极大似然(ML)估计的指数族分布的混合物,重点是ML估计的混合物的正态分布。通过仿真研究,我们证明了小批量算法的混合正态分布可以优于标准的期望最大化算法。进一步的证据的性能的小批量框架提供了通过应用程序的著名的MNIST数据集。
2019-09-05 stat.CO
Diffusion Models for Inverse Problems in the Exponential Family
Imperial College London(帝国理工学院);University of Copenhagen(哥本哈根大学)
针对扩散模型仅能处理高斯噪声逆问题的局限,本研究利用指数族分布的共轭性质引入证据技巧近似似然得分,扩展其处理泊松、二项等指数族分布观测的能力,在泊松过程推断和疟疾流行率预测中表现优异。
2025-02-09 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute(慕尼黑数据科学研究所);Technical University of Munich(慕尼黑工业大学)
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中,我们提出了自然后验网络(NatPN)的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此,NatPN适用于分类和一般回归设置。与许多以前的方法不同,NatPN在训练时不需要分布外(OOD)数据。相反,它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本,NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上,NatPN分配远离训练数据的高不确定性。从经验上讲,我们在校准和OOD检测方面的广泛实验表明,NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
Structural Properties of Bayesian Bandits with Exponential Family Distributions
我们研究了一个强盗问题,其中每个臂的观测值具有指数族分布,不同的臂被分配独立的共轭先验。在n个阶段的每一个阶段,将根据过去的观察结果选择一个臂。我们的目标是找到一个最大化$n$观测值的期望贴现和的策略。两个结构性结果具有广泛的普遍性:(i)对于固定的先验权重,随着其先验均值的增加,手臂变得更可取;(ii)对于固定的先验均值,随着其先验权重的减少,手臂变得更可取。这些推广和统一的几个结果在文献中涉及的具体问题,包括伯努利和正常的土匪。第二个结果准确地捕捉到了探索-开发困境的一个方面:给定相同的即时收益,人们对一个分支知道得越少,就越希望得到它,因为在选择那个分支时,还有更多的信息需要获得。
2011-03-16 math.PR math.ST stat.TH
A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models
The Ohio State University(俄亥俄州立大学);Boston University(波士顿大学)
无穷维空间上的共轭分布对在统计学习理论中很突出,特别是由于贝叶斯非参数方法广泛应用于许多模型和应用。在学习社区中,现有的许多文献都集中在具有某种形式的计算上易处理的共轭性的过程上,例如beta和gamma过程(以及通过归一化的Dirichlet过程)。对于这些过程,共轭性的证明和必要的推导后验密度参数的明确计算公式是特质的随机过程的问题。因此,贝叶斯非参数模型目前可用于有限数量的共轭对,例如狄利克雷多项式和贝塔伯努利过程对。在上述每种情况下,似然过程都属于离散指数族分布。从贝叶斯非参数共轭模型的已知情况中排除连续似然分布是研究人员工具箱中的一个差异。在本文中,我们首先解决的问题,获得一个一般的建设先验分布在无限维空间具有分布性质服从共轭。其次,我们桥接离散和连续的可能性之间的鸿沟,说明了一个典型的建设随机过程的Levy测量密度是从正指数家庭,然后证明这些过程实际上形成的前,可能性,和后的共轭家庭。我们的规范建设包括已知的后验密度参数的计算公式的情况下,其中的可能性是从一个离散分布属于一个指数家庭。
2016-01-10 cs.LG stat.ML
On the construction of bivariate linear exponential distribution with FGM family
在本文中,我们提出了一个二元线性指数分布的Farlie-Gumbel-Morgenstern(FGM)的家庭,从给定的边缘的。因此,功能梯度材料的性质类似于二元分布的性质。我们研究了新分布的一些重要的统计性质和结果。
2015-01-22 stat.ME
Moment-type estimators for a weighted exponential family
本文为加权指数族提出闭式矩型估计量,并利用自助法构造偏差缩减版本,蒙特卡洛模拟验证了其良好表现。
2024-09-03 stat.ME
Novel closed-form point estimators for a weighted exponential family derived from likelihood equations
本文提出加权指数族的闭式点估计,并用自助法降低偏差,蒙特卡罗模拟验证其有效性。
2024-05-25 stat.ME
Closed-form estimators for an exponential family derived from likelihood equations
University of Brasília(巴西利亚大学)
本文从似然方程推导指数族分布的闭式估计量,并给出其Bootstrap偏差缩减版本,通过蒙特卡洛模拟验证了有效性。
2026-06-23 stat.ME
A simple and efficient profile likelihood for semiparametric exponential family
Ning等人(2017)提出的半参数指数族是参数指数族在非参数基测度函数情况下的扩展。这样的分布族在高维数据分析等领域具有潜在的应用价值。然而,实现半参数效率的方法还没有在现有的文献中提出。本文提出了一种剖面似然估计方法,可以有效地估计参数函数和非参数函数。由于在轮廓似然估计过程中采用了最不利曲线,因此成功地实现了半参数效率,并显著降低了估计偏差。此外,通过充分利用半参数指数族的结构信息,得到了最不利曲线的估计量的显式表达式。它确保了新提出的轮廓似然可以实现,并且计算简单。仿真研究表明,我们的建议是比现有的方法更好的大多数情况下研究,是强大的不同的模型条件。
2017-11-30 stat.ME
$e$PCA: High Dimensional Exponential Family PCA
许多应用,如光子限制成像和基因组学,涉及大型数据集的指数族分布的噪声条目。估计无噪声分布的协方差结构和主成分是一个有趣的问题。主成分分析(PCA)是用于此设置的标准方法,当噪声为非高斯时,该方法可能效率低下。提出了一种新的指数族分布主成分分析方法$e$ PCA(exponential family PCA)。$e$ PCA可用于大数据矩阵的降维和去噪。$e$ PCA涉及新的协方差阵估计量的特征分解,该估计量使用矩计算、收缩和随机矩阵理论以简单且确定性的方式构造。我们提供了一些理论上的理由,我们的估计,包括有限样本收敛速度,和高维度的Marchenko-Pastur定律。在模拟以及XFEL和SNP数据分析中,$e$ PCA优于PCA和指数族的各种PCA替代方案。一个开放源码的实现是可用的。
2017-03-06 stat.ME
Exponential-family Random Network Models
随机图中节点间的连接被认为是随机变量,在社会科学中具有广泛的应用。指数族随机图模型(ERGM)已被证明是描述复杂社会现象的一类有用的模型。我们还通过将节点属性建模为随机变量来推广ERGM,从而创建完整网络的随机模型,我们称之为指数族随机网络模型(ERNM)。我们演示了如何在这个框架允许一个新的公式,在网络数据的逻辑斯谛回归。我们开发了基于似然性的推理模型和MCMC算法来实现它。这个新的模型公式被用来分析来自国家青少年健康的长期研究的同伴社会网络。我们对物质使用和友谊关系之间的关系进行建模,并展示了结果与网络数据上标准使用的逻辑斯谛回归的不同。
2012-08-01 stat.ME
Asymptotic adjustments of Pearson residuals in exponential family nonlinear models
在这项工作中,我们定义了一组校正皮尔逊残差连续指数族非线性模型,具有相同的分布作为真正的皮尔逊残差的顺序$\mathcal{O}(n^{-1})$,其中$n$是样本量。此外,我们还介绍了一个新的修改的皮尔逊残差,我们称之为PCA皮尔逊残差,这是近似不相关的。这些PCA残差即使对于广义线性模型也是新的。数值结果表明,PCA残差近似正态分布,从而改进了Simas和Cordeiro(2009)的先前结果。这些数值结果还表明,修正后的Pearson残差近似遵循与真实残差相同的分布,这相对于Pearson残差是一个相当大的改进,也扩展了Cordeiro和Simas(2009)以前的工作。
2016-07-27 stat.ME
Adaptive Basis Selection for Exponential Family Smoothing Splines with Application in Joint Modeling of Multiple Sequencing Samples
第二代测序技术已经取代了基于芯片的技术,成为基因组学和表观基因组学分析的默认方法。第二代测序技术可并行测序数千万个DNA/cDNA片段。在将所得序列(短读段)映射到基因组之后,得到沿着基因组的短读段计数的序列。在这些短读段计数中有效提取信号是测序技术成功的关键。非参数方法,特别是平滑样条,已被广泛用于建模和处理单测序样品。然而,多个第二代测序样本的非参数联合建模由于计算成本而仍然缺乏。在这篇文章中,我们开发了一种自适应的基础选择方法,用于高效计算指数族平滑样条来建模多个第二代测序样本。我们的自适应基选择给出了平滑样条的稀疏近似,产生了更低维的有效模型空间,用于更可扩展的计算。渐近分析表明,有效的模型空间是丰富的,足以保留数据的本质特征。此外,通过自适应基选择计算的指数族平滑样条模型具有良好的统计特性,例如,收敛速度与全基指数族光滑样条相同。通过模拟研究和两个第二代测序数据的例子证明了经验性能。
2017-02-07 stat.ME
Adjusting for Network Size and Composition Effects in Exponential-Family Random Graph Models
指数族随机图模型(ERGM)提供了一种原则性的方法来建模和模拟人类社交网络中常见的特征,例如同质性倾向和朋友的朋友三重闭合。我们发现,没有调整,ERGMs保持密度网络大小的增加。密度不变性通常不适用于社交网络。我们建议一个简单的修改的基础上的偏移,而不是保持平均度,并适应网络组成的变化渐近。我们证明,这种方法允许ERGMs被应用到自我中心的采样数据的重要情况。我们分析了国家健康和社会生活调查(NHSLS)的数据。
2010-12-27 stat.ME
A New Count Model Generated from Mixed Poisson Transmuted Exponential Family with an application to Health Care Data
本文引入了一种新的混合泊松分布。该分布是利用混合过程得到的,其中泊松分布为混合分布,嬗变指数分布为混合分布。研究了该模型的单峰性、矩、过色散、泰勒级数展开等分布性质。利用矩量法、矩量法和比例法以及极大似然估计对参数进行估计,并通过数据拟合实验,说明其优于现有的一些分布。此外,精算应用的背景下,总索赔分配进行了讨论。最后,我们讨论了一个计数回归模型的基础上提出的分布和它的有用性,一些建立良好的模型。
2015-09-18 stat.ME
Exponentially weighted estimands and the exponential family: Filtering, prediction and smoothing
Harvard University(哈佛大学);Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学);Tinbergen Institute(蒂尔堡研究所)
本文提出利用折扣后的对数似然与对应期望对数似然的凸组合,以生成时间序列的滤波、预测和平滑方法,并在指数族情况下推导出具有线性递推关系的精确模型。
2026-04-28 econ.EM stat.ME
Estimation of Kullback-Leibler losses for noisy recovery problems within the exponential family
我们解决的问题估计Kullback-Leibler损失,而不是平方损失的恢复问题中的噪声分布在指数家庭。受Stein无偏风险估计器(SURE)的启发,我们展示了这些损失可以无偏估计或估计有控制的偏差的条件。在应用中的图像去噪和变量选择与Gamma和泊松噪声的参数选择问题的模拟说明的Kullback-Leibler损失和建议的估计的兴趣。
2017-08-21 stat.AP stat.ME
Discrete Exponential-Family Models for Multivariate Binary Outcomes
收集烟草和酒精使用等多结果数据的研究越来越普遍。原则上,多结局研究调查结局之间的相关性,包括因果联系和/或联合分布。虽然有许多研究多变量结局的方法,但在规模和解释方面仍然存在重大局限性。在这里,我们介绍了一个基于离散二进制结果的指数族的模型,该模型以计算高效的方式为多个二进制结果的假设检验提供了一个灵活的框架。
2022-11-02 stat.CO stat.ME
Spatial Temporal Exponential-Family Point Process Models for the Evolution of Social Systems
我们开发了一类基于潜在社会空间的指数族点过程来模拟社会结构和行为随时间的协同进化。时间动态被建模为一个离散的马尔可夫过程指定通过个人的过渡分布在系统中的每个演员在给定的时间。我们证明了这些分布在一定条件下有一个解析的封闭形式,并使用的结果来开发基于似然的推理。我们提供了一个计算框架,使模拟和推理在实践中。最后,我们通过分析青少年友谊网络中随着时间的推移酒精和药物的使用来证明这些模型的价值。
2016-09-30 stat.ME stat.OT
KFAS: Exponential Family State Space Models in R
状态空间建模是一种有效而灵活的时间序列和其他数据的统计推断方法。本文描述了一个用于状态空间建模的R软件包KFAS,其观测值来自指数分布族,即高斯分布、泊松分布、二项分布、负二项分布和Γ分布。在介绍了高斯和非高斯状态空间模型的基本理论后,给出了一个泊松时间序列预测的说明性例子。最后,比较适合非高斯时间序列建模的替代R包。
2017-03-24 stat.CO stat.ME
On the Identifiability of Mixed Ordinal and Exponential Family Causal DAGs under Linear Parametric Models
University of Southern California(南加州大学)
本文研究线性参数模型中混合有序与指数族节点间因果边的方向可识别性,证明在有序节点至少三类别且指数族节点至少三支撑点条件下,边方向可由联合分布唯一识别,并通过实验验证了理论。
2026-09-17 cs.LG math.ST stat.ME
Exponential-Family Random Graph Models for Rank-Order Relational Data
排名顺序关系数据,其中每个行动者根据某种标准对其他行动者进行排名,通常来自判断的社会计量测量(例如,自我报告的人际互动)或偏好(例如,相对喜欢)。我们提出了一类指数族模型的秩序关系数据,并推导出一类新的充分统计量,这类数据,假设不超过内主题序数属性。应用MCMC MLE这个家庭,使我们能够估计各种合理的机制,在横截面的情况下,等级结构的影响,并模拟这种结构随着时间的推移的演变。我们应用这个框架来模拟熟人过程中的相对喜欢判断的演变,并对技术教育项目成员之间的人际互动的相对量进行回忆。
2015-06-20 stat.AP stat.ME
Learning deep kernels for exponential family densities
University College London(伦敦大学学院)
核指数族是一类丰富的分布,可以通过得分匹配有效地拟合并具有统计保证。然而,需要选择先验的简单内核,如高斯,限制了它的实际适用性。我们提供了一种学习由深度网络参数化的内核的方案,该方案可以找到数据几何形状的复杂位置相关局部特征。这给出了一类非常丰富的密度模型,能够在中等维度的问题上拟合复杂的结构。与通过极大似然拟合的深度密度模型相比,我们的方法提供了一组互补的优势和权衡:在实证研究中,前者可以产生更高的似然,而后者可以更好地估计对数密度的梯度,即描述分布形状的分数。
2021-01-14 cs.LG stat.ME stat.ML
$e^{\text{RPCA}}$: Robust Principal Component Analysis for Exponential Family Distributions
本文提出e^{RPCA}方法,将鲁棒主成分分析扩展到指数族分布,并设计交替方向乘子法优化算法,在钢板缺陷检测和亚特兰大犯罪监测中验证了其有效性。
2023-10-30 stat.AP stat.ME stat.ML