Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式，除了在有限的情况下，不属于任何有限维统计模型。在本文中，我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时，它的理论性质与贝叶斯预测密度的理论性质相似。它还表明，投影渐近一致的插件密度与后验均值的期望参数的指数族，我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能，并表明随着指数族维数的增加，期望参数的后验均值逼近贝叶斯预测密度。它还表明，近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
Posteriors, conjugacy, and exponential families for completely random measures
我们演示了如何计算后验一般CRM为基础的先验和似然贝叶斯非参数模型。我们进一步展示了如何表示贝叶斯非参数先验作为一个序列的有限提请使用大小偏置的方法-以及如何表示完整的贝叶斯非参数模型通过有限的边际。出于共轭先验的基础上指数族表示的可能性，我们引入了一个概念的指数族标准物质，我们称之为指数标准物质。这种结构使我们能够指定自动贝叶斯非参数共轭先验指数CRM似然。我们证明，我们的指数标准物质允许特别简单的配方贝叶斯非参数模型的大小偏置和边际表示。一路上，我们证明了伽玛过程是一个共轭先验的泊松似然过程和β素数过程是一个共轭先验的过程，我们称之为赔率伯努利过程。我们提供了一个大小偏置的伽玛过程和伽玛过程的边缘表示加上泊松似然过程。
2016-04-22 math.ST stat.ME stat.TH
Posterior Inference in Curved Exponential Families under Increasing Dimensions
本文研究了增维情形下曲线指数族后验推理的大样本性质。曲线结构产生于对模型施加的各种限制，例如力矩限制，并且在计量经济学和数据分析的其他分支中起着基础作用。我们建立的条件下，后验分布是近似正常的，这反过来又意味着各种良好的性能的估计和推理程序的基础上的后验。在这个过程中，我们还利用测度的集中性，对以往关于指数族在增维下的结果进行了改进。我们还讨论了各种应用程序的高维版本的经典计量经济学模型，包括多项式模型与矩的限制，看似无关的回归方程，和单结构方程模型。在我们的分析中，参数维数和矩的数量都随着样本量的增加而增加。
2014-04-23 econ.EM math.PR math.ST
Small Area Estimation with Spatially Varying Natural Exponential Families
两阶段分层模型已广泛用于小面积估计，以产生面积平均值的间接估计。当区域被互换处理并且模型参数被假定为在所有区域上是相同的时，我们可能会在存在空间异质性的情况下失去效率。为了克服这个问题，我们考虑了一个两阶段的区域水平模型的基础上自然指数族的空间变化的模型参数。我们采用地理加权回归方法来估计变参数，并提出了一个新的面积平均值的经验贝叶斯估计。本文还讨论了相关问题，包括均方误差估计、基准估计和非抽样区估计。所提出的方法的性能进行评估，通过模拟和应用程序的两个数据集。
2020-01-09 stat.ME
On the Geometry of Discrete Exponential Families with Application to Exponential Random Graph Models
对用于分析网络数据的统计模型的兴趣激增，并且对指数随机图（ERG）模型类的兴趣相当大，特别是与计算最大似然估计的困难有关。与这些困难相关的问题涉及到离散指数族的更广泛的结构。本文分两部分重新审视这一问题。首先研究了$k$维指数分布族在离散基测度和多面体凸支撑$\mathrm{P}$下的闭包。我们表明，正常风扇的$\mathrm{P}$是一个几何对象，在推导相应的扩展指数族的统计和几何性质中起着根本性的作用。我们讨论了它的相关性极大似然估计，无论是从理论和计算的角度来看。其次，我们将我们的结果应用到ERG模型的分析。特别是，通过一个详细的例子，我们提供了一些特性的ERG模型，特别是某些行为的ERG模型被称为退化。
2008-12-30 stat.ML
Kernel Deformed Exponential Families for Sparse Continuous Attention
Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）
注意力机制采用关于概率权重的数据表示的期望。这将创建侧重于重要功能的汇总统计信息。最近，（Martins et al. 2020，2021）提出了连续注意力机制，重点关注指数和变形指数家族的单峰注意力密度：后者具有稀疏支持。（Farinhas et al. 2021）将其扩展到使用高斯混合注意力密度，这是一个具有密集支持的灵活类。在本文中，我们扩展到两个一般的灵活类：核指数家庭和我们的新的稀疏对应核变形指数家庭。理论上，我们证明了核指数和变形指数族的新的存在性结果，并且变形的情况下具有类似的逼近能力的核指数族。实验表明，核变形指数族可以处理数据域的多个紧凑区域。
2021-11-12 cs.LG stat.ML
Moment-Matching Conditions for Exponential Families with Conditioning or Hidden Data
使用指数族的最大似然学习导致充分统计量的矩匹配，这是一个经典的结果。这可以推广到条件指数族和/或当存在隐藏数据时。本文给出了这些广义矩匹配条件的第一原理解释，以及一个独立的推导。
2020-01-07 cs.LG stat.ML
Vector-Space Markov Random Fields via Exponential Families
我们提出了向量空间马尔可夫随机场（VS-MRFs），一类新的无向图形模型，其中每个变量可以属于一个任意的向量空间。VS-MRF概括了最近关于标量值、单参数指数族和混合图形模型的工作，从而大大拓宽了可用的指数族的类别（例如，允许多项式和Dirichlet分布）。具体而言，VS-MRF是联合图形模型分布，其中节点条件分布属于具有一般向量空间域的一般指数族。我们还提出了一个稀疏的$M$-估计学习我们的类MRF，恢复正确的边缘集的概率很高。我们通过一组合成数据实验以及来自流行的饮食跟踪应用程序MyFitnessApp的超过400万种食物的真实案例研究来验证我们的方法。我们的研究结果表明，我们的算法表现良好的经验和VS-MRF能够捕捉和突出有趣的结构，在复杂的，真实的数据。我们算法的所有代码都是开源的，并且是公开的。
2015-05-19 stat.ML
Distributed Estimation, Information Loss and Exponential Families
以最少的通信从多个数据存储库中分布式学习概率模型越来越重要。我们研究了一个简单的通信有效的学习框架，首先计算本地最大似然估计（MLE）的基础上的数据子集，然后结合本地MLE，以实现最佳的近似全局MLE给定的整个数据集。我们研究了这个框架的统计特性，表明效率损失与全局设置相比，与底层分布族偏离全指数族的程度有关，与Fisher，Rao和Efron的信息损失理论相联系。我们表明，“全指数族”代表的错误率的下限的任意组合的本地MLE，并实现了KL-发散为基础的组合方法，但不是由一个更常见的线性组合方法。我们还研究了这两种方法的经验性质，表明KL方法在实际环境中的性能显着优于线性组合，如模型误指定，非凸性和异构数据分区等问题。
2014-10-09 stat.ML
Convolutional Deep Exponential Families
University of California, Riverside（加州大学河滨分校）
我们在本文中描述了卷积深度指数族（CDEF）。CDEF是基于深度指数族构建的，深度概率模型捕捉了潜在变量之间的层次依赖关系。CDEF通过绑定DEF的权重大大减少了自由参数的数量。我们的实验表明，CDEF能够用少量数据揭示时间相关性。
2021-10-27 cs.LG stat.ML
Learning Exponential Families in High-Dimensions: Strong Convexity and Sparsity
University of Pennsylvania（宾夕法尼亚大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute（丰田工业大学）
指数族的多功能性，以及它们伴随的凸性，使它们成为一个流行的和有效的统计模型。一个核心问题是在高维中学习这些模型，例如当最佳参数存在某种稀疏模式时。本文刻画了一般指数族的某种强凸性，使其推广能力得到量化。特别是，我们展示了如何使用这个属性来分析L_1正则化下的一般指数族。
2015-05-16 cs.LG stat.ML
Gradient-free Hamiltonian Monte Carlo with Efficient Kernel Exponential Families
提出了一种基于哈密顿蒙特卡罗（HMC）的无梯度自适应MCMC算法--核哈密顿蒙特卡罗（KMC）。在目标密度上，由于难以处理的梯度，经典HMC不是一种选择，KMC通过在再生核希尔伯特空间中拟合指数族模型来自适应地学习目标的梯度结构。计算成本降低了两个新的有效的近似这个梯度。虽然是渐近精确的，但KMC在抽样效率方面模仿了HMC，并提供了比最先进的无梯度采样器更大的混合改进。我们通过对玩具和现实世界应用的实验研究来支持我们的主张，包括近似贝叶斯计算和精确近似MCMC。
2015-11-24 stat.ML
Square Root Graphical Models: Multivariate Generalizations of Univariate Exponential Families that Permit Positive Dependencies
我们开发了平方根图形模型（SQR），一类新的参数图形模型，提供了多变量概括的单变量指数族分布。先前的多变量图形模型[Yang et al. 2015]不允许指数和泊松推广的正相关性。然而，在许多真实世界的数据集中，变量显然具有正相关性。例如，纽约机场的延误时间-被建模为指数分布-与波士顿的延误时间正相关。有了这个动机，我们给出了一个例子，我们的模型类来自单变量指数分布，允许几乎任意的积极和消极的依赖关系，只有一个温和的条件下的参数矩阵-一个条件类似于高斯协方差阵的正定性。我们的泊松推广允许正负依赖，而不对参数值有任何约束。我们还开发了参数估计方法，使用逐节点回归与$\ell_1$正则化和似然近似方法，使用采样。最后，我们证明了我们的指数推广的合成数据集和现实世界的机场延误时间的数据集。
2016-06-10 stat.ML
Learning Networked Exponential Families with Network Lasso
Aalto University（阿尔托大学）
我们提出了网络指数家庭，共同利用拓扑结构中的信息，以及网络数据点的属性（功能）。网络指数族是一种灵活的概率模型，适用于具有内在网络结构的异构数据集。这些模型可以使用网络Lasso有效地学习，该网络Lasso根据内在网络结构和局部似然性隐式地汇集或聚类数据点。由此产生的方法可以制定为一个非光滑的凸优化问题，我们解决使用原始-对偶分裂方法。这种原始-对偶方法对大数据应用程序很有吸引力，因为它可以作为一种高度可扩展的消息传递算法来实现。
2019-09-25 cs.LG stat.ML
Estimating Densities with Non-Parametric Exponential Families
Purdue University（普渡大学）
我们提出了一种新的方法，密度估计与指数家庭的情况下，真密度可能不属于所选择的家庭。我们的方法增加了充分统计量的功能，旨在积累概率质量的观察点附近，从而在一个非参数模型类似于核密度估计。我们表明，在温和的条件下，所得到的模型只使用充分统计量，如果密度是在所选择的指数族，渐近，它近似的密度以外的所选择的指数族。使用所提出的方法，我们修改了指数随机图模型，通常用于建模小尺寸的图形分布，以解决众所周知的问题模型退化。
2012-09-06 cs.LG stat.ML
Almost Free: Self-concordance in Natural Exponential Families and an Application to Bandits
University of Alberta（阿尔伯塔大学）；HEC Paris（巴黎高等商学院）
本文证明单参数自然指数族的自和谐性，并据此给出广义线性老虎机的二阶、无指数依赖遗憾界，覆盖 Poisson、指数和 gamma 等次指数尾部情形。
2024-10-01 cs.LG stat.ML
Infinitely imbalanced binomial regression and deformed exponential families
如果二进制响应趋于无穷不平衡，则已知逻辑斯谛回归模型收敛到泊松点过程模型。在本文中，这一现象是普遍的，在一个广泛的一类链接函数的二项式回归。证明依赖于极值理论。对于logit、probit和互补log-log连接函数，点过程的强度测度成为指数族。对于其他一些链接函数，变形指数族出现。提出了Poisson点过程模型的惩罚极大似然估计。
2013-04-21 math.ST stat.ML stat.TH
Exponential Families for Conditional Random Fields
Brown University（布朗大学）；National ICT Australia and ANU（澳大利亚国家信息通信技术中心与澳大利亚国立大学）
本文定义了再生核Hilbert空间中的条件随机场，并给出了它们与高斯过程分类的关系。更具体地说，我们证明了无向图模型的分解结果，我们给出了核的构造。最后，我们提出了有效的手段，解决优化问题，使用降秩分解，我们展示了如何平稳性可以利用有效的优化过程。
2012-07-11 cs.LG stat.ML
Learning Continuous Exponential Families Beyond Gaussian
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
研究了具有无界支持度的连续指数族分布的学习问题。虽然高斯图形模型的学习已经取得了很大的进展，但我们仍然缺乏可扩展的算法来重建一般连续指数族，对超出均值和协方差的数据的高阶矩进行建模。在这里，我们介绍了一种计算效率高的方法来学习连续图形模型的基础上的交互筛选方法。通过一系列的数值实验，我们表明，我们的估计保持类似的要求，在准确性和样本复杂度缩放相比，替代方法，如最大化的条件似然，同时大大提高了算法的运行时间。
2022-02-26 cs.LG physics.data-an stat.ML
VAE Approximation Error: ELBO and Exponential Families
Czech Technical University in Prague（捷克布拉格技术大学）；Dresden University of Technology（德累斯顿工业大学）
变分自编码器的重要性远远超出了独立的生成模型-该方法还用于学习潜在表示，并可以推广到半监督学习。这就需要彻底分析其常见的缺点：后塌陷和逼近误差。本文分析了VAE近似误差的ELBO目标和编码器模型的组合所造成的条件指数的家庭，包括但不限于，常用的条件独立的离散和连续模型。我们的特征生成模型的子类与这些编码器的家庭。我们发现，ELBO优化器被拉离的可能性优化一致的子集，并研究这种效果的实验。重要的是，通过考虑更深的编码器/解码器网络，该子集不能被扩大，并且相应的误差不能被减小。
2022-04-11 cs.CV cs.LG stat.ML
Mixture decompositions of exponential families using a decomposition of their sample spaces
我们研究的问题，找到最小的$m$，使每个元素的指数家庭可以被写入的混合物的$m$元素的另一个指数家庭。我们提出了一种基于相应凸支撑多面体的面格的覆盖和填充以及编码理论的结果的方法。我们表明，$m=q^{N-1}$是最小的数，任何分布的$N$ $q$ -ary变量可以写为混合物的$m$独立$q$ -ary变量。此外，我们表明，任何分布的$N$二进制变量是一个混合物的$m = 2^{N-(k+1)}(1+ 1/(2^k-1))$元素的$k$相互作用指数家庭。
2013-02-25 math.ST stat.ML stat.TH
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center（生物统计学系，范德比尔特大学医学中心）
本文提出通过发布差分隐私充分统计量并进行噪声校准推断，解决DP数据发布中的校准问题，提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
Likelihood Ratio Exponential Families
USC Information Sciences Institute（南加州大学信息科学研究所）；Sony CSL（索尼计算机科学实验室）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
指数族在机器学习和统计物理学中是众所周知的，因为最大熵分布受到一组观察到的约束，而几何混合路径在MCMC方法中很常见，例如退火重要性采样。结合这两个想法，最近的工作已经解释了几何混合路径作为一个指数族的分布来分析热力学变分目标（TVO）。我们扩展这些似然比指数的家庭，包括率失真（RD）优化，信息瓶颈（IB）的方法，并结合RD和IB最近的率失真分类方法的解决方案。这为通过指数族的共轭对偶和假设检验来理解这些方法提供了一个通用的数学框架。此外，我们收集现有的结果，以提供一个变分表示中间RD或TVO分布作为一个最小化的期望KL分歧。该解决方案也对应于使用似然比检验和奈曼皮尔逊引理的大小功率权衡。在热力学积分界限，如TVO，我们确定的中间分布，其预期的充分的统计匹配的日志分配函数。
2021-01-15 cs.IT cs.LG math.IT
SMML estimators for exponential families with continuous sufficient statistics
最小信息长度原则是一个信息论准则，它将数据压缩与统计推断联系起来。本文研究了$d$维指数族具有连续充分统计量的严格最小消息长度（SMML）估计，对所有$d \ge 1$ . SMML估计的分区示出由凸多面体（即凸多边形时，$d=2$），可以明确地描述的断言和编码概率。虽然这个结果是已知的，我们给出了一个新的证明的基础上变分法，这种方法给出了一些有趣的新的不等式SMML估计。我们也使用这个结果来构建一个SMML估计的$2$维正态随机变量与已知的方差和一个正常的前其均值。
2014-03-21 cs.IT math.IT math.ST
Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families
University of Chicago（芝加哥大学）
贪心算法长期以来一直是学习图形模型的主力，更广泛地说，是学习具有稀疏结构的统计模型的主力。在学习有向无环图的上下文中，贪心算法是流行的，尽管它们的最坏情况下的指数运行时间。但在实践中，它们非常有效。我们提供了新的见解这一现象，通过研究一个通用的贪婪分数为基础的算法学习DAG。与边缘贪心算法，如流行的GES和爬山算法，我们的方法是顶点贪婪，最多需要一个多项式数量的分数评估。然后，我们展示了最近的多项式时间学习DAG模型的算法是这种算法的特例，从而说明了这些基于顺序的算法可以被严格解释为基于分数的算法。这一观察表明，新的得分函数和最优性条件的基础上的二元性Bregman分歧和指数家庭，我们详细探讨。导出了显式的样本和计算复杂性界。最后，我们提供了大量的实验表明，该算法确实优化了在各种设置的分数。
2021-10-28 cs.AI cs.LG stat.ML
On a method to construct exponential families by representation theory
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
指数族在信息几何中占有重要地位。在arXiv：1811.01394中，我们介绍了一种从一对$(V,v_0)$在齐次空间$G/H$上构造指数族$\mathcal{P}=\{p_θ\}_{θ\inΘ}$的方法。这里，$V$是$G$的表示，而$v_0$是$V$中的$H$固定载体.那么下面的问题自然会出现：（Q1）什么时候对应$θ\mapsto p_θ$是内射的？(Q2)什么时候不同的对$(V,v_0)$和$(V',v_0')$生成相同的族？在本文中，我们回答了这两个问题（定理1和2）。此外，在第3节中，我们考虑了在$\mathbb{R}^2$上具有某种表示的情况$(G,H)=(\mathbb{R}_{>0}, \{1\})$。然后，我们看到由我们的方法得到的家庭本质上是广义逆高斯分布（GIG）。
2019-07-06 cs.LG math.RT stat.ML
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning
Kavli Institute for Systems Neuroscience, NTNU, Trondheim, Norway；ICTP- International Centre for Theoretical Physics, Trieste, Italy；Department of Mathematics, King's College London, London, UK
本文研究指数族模型在闭环学习下的参数演化，证明最大似然估计导致收敛到放大初始偏差的吸收态，但通过最大后验估计或正则化可避免此结果。
2025-07-09 cond-mat.dis-nn cs.LG physics.data-an
