Total positivity in exponential families with application to binary variables
我们研究指数族的分布是多变量全正的2阶（MTP 2），表明这些是凸指数族，并推导出存在的条件的极大似然估计。MTP2分布的二次指数族包含有吸引力的高斯图形模型和铁磁伊辛模型作为特例。我们表明，这些是通过相交的规范参数与多面体锥的面对应的条件独立关系的空间定义的。因此，MTP2作为二次指数族的隐式正则化子，并导致估计的图模型的稀疏性。我们证明了极大似然估计（MLE）在一个MTP 2二进制指数家庭存在的当且仅当两个符号模式$(1,-1)$和$(-1,1)$表示在样本中的每对变量，特别是，这意味着MLE可能存在与$n=d$的意见，在形成鲜明对比，不受限制的二进制指数家庭的$2^d$的意见是必需的。最后，我们提供了一种新的和全局收敛的算法来计算MLE的MTP2伊辛模型类似于迭代比例缩放，并将其应用于分析的数据从两个心理疾病。
2020-07-26 math.ST stat.ME stat.TH
Minimum divergence estimators, maximum likelihood and exponential families
本文证明了参数模型中两个分布之间散度的对偶表示公式。由此产生的参数的发散估计。这些估计量不使用任何分组或平滑。证明了在任意正则指数族上，所有的可微发散都导出了参数的相同估计，这就是极大似然估计。
2011-08-20 stat.ME
An inverse Sanov theorem for exponential families
我们证明了大偏差原则（LDP）的后验分布所产生的子族的全指数家庭，允许错误指定的模型。此外，由所谓的逆Sanov定理（见例如Ganesh和O 'Connell 1999和2000）的动机，我们证明了相应的最大似然估计的LDP，我们研究率函数之间的关系。在我们的设置中，即使在非错误指定的情况下，一般来说，后验分布和最大似然估计的率函数是交换参数的Kullback-Leibler发散也是不正确的。
2022-06-16 math.PR math.ST stat.TH
Chentsov's theorem for exponential families
Chentsov定理将统计模型上的Fisher信息度量刻画为在充分统计量下唯一不变的黎曼度量。这意味着每个统计模型都自然地配备了一个几何形状，因此Chentsov定理解释了为什么许多统计特性可以用几何术语来描述。然而，尽管是统计学的基础定理之一，但陈佐夫定理以前只在非常有限的设置或相对较强的正则性和不变性假设下被证明。因此，我们证明了一个版本的这个定理的重要情况下，指数家庭。特别是，我们将Fisher信息度量作为指数族及其衍生族上唯一的黎曼度量（直到重新标度），该指数族及其衍生族在独立同分布扩展和规范充分统计量下不变。我们的方法是基于中心极限定理，所以它给出了一个统一的证明离散和连续的指数族，它是比以前的方法较少的技术。
2017-05-22 cs.IT math.DG math.IT
SMML estimators for exponential families with continuous sufficient statistics
最小信息长度原则是一个信息论准则，它将数据压缩与统计推断联系起来。本文研究了$d$维指数族具有连续充分统计量的严格最小消息长度（SMML）估计，对所有$d \ge 1$ . SMML估计的分区示出由凸多面体（即凸多边形时，$d=2$），可以明确地描述的断言和编码概率。虽然这个结果是已知的，我们给出了一个新的证明的基础上变分法，这种方法给出了一些有趣的新的不等式SMML估计。我们也使用这个结果来构建一个SMML估计的$2$维正态随机变量与已知的方差和一个正常的前其均值。
2014-03-21 cs.IT math.IT math.ST
Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families
University of Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Technische Universität Dortmund（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）
本文研究基于双指数族的扩展广义线性模型中的Dropout正则化，理论证明其偏好稀有重要特征，并应用于B样条自适应平滑，实验表明优于惩罚最大似然方法。
2024-07-28 cs.LG stat.ML
On a method to construct exponential families by representation theory
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
指数族在信息几何中占有重要地位。在arXiv：1811.01394中，我们介绍了一种从一对$(V,v_0)$在齐次空间$G/H$上构造指数族$\mathcal{P}=\{p_θ\}_{θ\inΘ}$的方法。这里，$V$是$G$的表示，而$v_0$是$V$中的$H$固定载体.那么下面的问题自然会出现：（Q1）什么时候对应$θ\mapsto p_θ$是内射的？(Q2)什么时候不同的对$(V,v_0)$和$(V',v_0')$生成相同的族？在本文中，我们回答了这两个问题（定理1和2）。此外，在第3节中，我们考虑了在$\mathbb{R}^2$上具有某种表示的情况$(G,H)=(\mathbb{R}_{>0}, \{1\})$。然后，我们看到由我们的方法得到的家庭本质上是广义逆高斯分布（GIG）。
2019-07-06 cs.LG math.RT stat.ML
Estimation in Functional Regression for General Exponential Families
研究了一类指数族模型，其标准参数被指定为未知的无穷维斜率函数的线性泛函。建立了斜率函数估计的最优极小极大收敛速度。通过参数的约束极大似然估计构造了达到最优速率的估计量，参数的维数随着样本量的增加而增加。受Le Cam的渐近等价理论的启发，我们使用了一个度量变化的参数来消除指数族模型的非线性所引起的偏差。
2011-08-17 math.FA math.PR math.ST
A Generalised Linear Model Framework for $β$-Variational Autoencoders based on Exponential Dispersion Families
Fraunhofer ITWM（弗劳恩霍夫信息技术与数学研究所）；TU Kaiserslautern（凯撒斯劳滕工业大学）
虽然变分自编码器（VAE）被成功地用于获得高维数据的有意义的低维表示，但是对于一般观测模型的损失函数的临界点的表征还没有完全理解。我们介绍了一个理论框架，是基于$β$ -VAE和广义线性模型（GLM）之间的连接。$β$ -VAE的激活函数和GLM的链接函数的逆之间的等式使我们能够基于观测模型分布属于指数色散族（EDF）的假设提供$β$ -VAE的损失分析的系统化概括。因此，我们可以初始化$β$ -VAE网络的最大似然估计（MLE），提高训练性能的合成和真实世界的数据集。作为进一步的结果，我们分析描述的自动修剪属性固有的$β$ -VAE的目标和原因后崩溃。
2021-10-11 cs.LG stat.ML
Linear Estimating Equations for Exponential Families with Application to Gaussian Linear Concentration Models
在许多分布族中，极大似然估计是难以处理的，因为进入似然函数的密度的归一化常数不容易获得。Hyvärinen（2005）的评分匹配估计量提供了一种不需要该归一化常数的替代方案。对于指数族，相应的估计方程变为线性。分数匹配估计是一致的，渐近正态分布的这种模式，虽然不一定有效。高斯线性浓度模型就是这类模型的例子。对于在协方差中也是线性的线性浓度模型，我们证明了分数匹配估计量与最大似然估计量相同，因此在这种情况下它也是有效的。高斯图形模型和图形模型的对称形式特别有趣的线性浓度模型的子类，我们调查的分数匹配估计这种情况下的潜在用途。
2014-06-12 math.ST stat.TH
Iterative Scaling in Curved Exponential Families
本文提出了一种广义迭代比例拟合方法，可用于一般对数线性模型中一类特殊模型的极大似然估计。这类模型称为关系模型，适用于不一定具有笛卡尔乘积结构且可能不包含整体效应的多变量离散样本空间。当应用于细胞概率时，没有总体效应的模型是弯曲指数族，并且充分统计量的值仅在比例常数下由MLE再现。本文表明，迭代比例拟合，广义迭代尺度和改进的迭代尺度，不适用于这类模型。这里提出的算法是基于迭代Bregman投影。作为副产品，乘法参数的估计也得到了。
2014-03-29 stat.CO stat.ME
G-Exponential Families through Probability Coordinates
该研究提出基于概率坐标图构造G-指数族的概率几何方法，其充分统计量有界、估计器鲁棒，通过柯西坐标图示例和蒙特卡洛研究验证了其估计性能。
2026-09-04 math.ST stat.TH
Context-sensitive hypothesis-testing and exponential families
本文提出基于样本字符串值的“加权”统计推断概念，将其应用于假设检验与指数族分析，并推广了标准统计中的经典不等式与散度。
2024-07-30 math.ST stat.TH
Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning
Kavli Institute for Systems Neuroscience, NTNU, Trondheim, Norway；ICTP- International Centre for Theoretical Physics, Trieste, Italy；Department of Mathematics, King's College London, London, UK
本文研究指数族模型在闭环学习下的参数演化，证明最大似然估计导致收敛到放大初始偏差的吸收态，但通过最大后验估计或正则化可避免此结果。
2025-07-09 cond-mat.dis-nn cs.LG physics.data-an
Discrete mixture representations of parametric distribution families: geometry and statistics
我们调查的存在性和性质的离散混合表示$P_θ=\sum_{i\in E} w_θ(i) \, Q_i$为一个给定的家庭$P_θ$，$θ\inΘ$，概率测度。非中心卡方分布提供了一个经典的例子。我们得到了问题的存在性结果以及几何和统计方面的结果，后者包括Fisher信息损失、Rao-Blackwellization、渐近有效性和混合概率的非参数极大似然估计.
2022-06-22 math.PR math.ST stat.TH
Semiparametric Exponential Families for Heavy-Tailed Data
我们提出了一个半参数方法来拟合一个重尾人口的尾巴，从人口中的一个相对较小的样本和一个较大的样本从相关的背景人口。我们使用一个强大的充分统计量极值理论的动机，作为一个指数倾斜的小样本的尾巴观察到的大样本的尾巴。特别是，我们的方法诱导估计的小人口的平均值，我们给出了理论和经验证据表明，这种估计优于不使用背景样本的方法。我们在模拟和Facebook进行的大型对照实验的数据上证明了与竞争方法相比的显著效率提高。
2014-10-19 stat.ME
Estimation in functional regression for general exponential families
研究了一类指数族模型，其标准参数被指定为未知的无穷维斜率函数的线性泛函。建立了斜率函数估计的最优极小极大收敛速度。通过参数的约束极大似然估计构造了达到最优速率的估计量，参数的维数随着样本量的增加而增加。受Le Cam的渐近等价理论的启发，我们采用了测度变化的方法来消除指数族模型的非线性所引起的偏差。
2013-02-13 math.PR math.ST stat.ME
Maximum likelihood estimators uniformly minimize distribution variance among distribution unbiased estimators in exponential families
我们采用无参数分布估计框架，其中估计量是广义过程，并利用Kullback-Leibler（KL）散度作为损失函数。Wu和Vos [J. Statist.计划推论142（2012）1525-1536]表明，当从i.i.d.样本被看作是一个广义过程，当估计量是一个实值随机变量时，估计量的KL风险以与均方误差分解平行的方式分解。在本文中，我们探讨如何条件版本的分布期望（$E^{\dagger}$）可以定义，使分布版本的Rao-Blackwell定理成立。我们定义了分布期望和方差（$V^{\dagger}$），也提供了一个分解的KL风险指数和混合物的家庭。对于指数族，我们证明了最大似然估计（视为一个广义过程）是分布无偏的，是唯一的均匀最小分布方差无偏（UMV $^{\dagger}$ U）估计。此外，我们表明，MLE是强大的对模型规格，如果真的分布不属于指数族，MLE是UMV $^{\dagger}$ U的KL投影的真的分布到指数族提供这两个分布有相同的期望的典型统计量。为了让估计值以外的指数家庭，我们包括KL投影的结果，并定义一个扩展的投影，以适应不存在的MLE的离散样本空间的家庭。提供了说明性的例子。
2015-09-18 math.ST stat.TH
Statistical Inference and Exact Saddle Point Approximations
统计推断可以遵循频率论方法，或者可以遵循贝叶斯方法，或者可以使用最小描述长度原则（MDL）。我们的目标是确定这些不同的统计推断方法一致的情况。证明了对于指数族，MDL和贝叶斯推论一致的充要条件是共轭指数族的重整化鞍点逼近是精确的。对于一维指数族，唯一具有精确重整化鞍点近似的族是高斯位置族、Gamma族和逆高斯族。它们是高斯位置族、Gamma族和泊松指数族的共轭族。前两个家族是自共轭的，这意味着只有对于前两个家族，贝叶斯方法与频率论方法是一致的。在更高的维度中，有更多的例子。
2018-05-06 cs.IT math.IT math.ST
Locally associated graphical models and mixed convex exponential families
多元总正性的概念已被证明在金融和心理学中是有用的，但在其他应用中可能过于局限。在本文中，我们提出了一个概念的局部关联，其中高度连接的组件在一个图形模型是积极的关联，并研究其性质。我们的主要动机来自基因表达数据，其中图形模型已成为一种流行的探索工具。该模型的实例，我们称之为混合凸指数家庭，我们表明，混合双似然估计具有简单的确切性质，这样的家庭以及渐近性质类似的极大似然估计。我们进一步放宽了积极性假设，惩罚负的偏相关性，我们称之为积极的图形套索。最后，我们开发了一个基于块坐标下降的GOLAZO算法，该算法适用于图形模型中出现的一些优化过程，包括上述估计问题。我们得到的结果存在的最佳这类问题。
2022-02-09 math.ST stat.ME stat.TH
Inference on a class of exponential families on permutations
本文研究排列上包含Mallows模型的指数族，证明了自然参数伪似然估计量的渐近正态性并构建置信区间，同时证明MLE的一致性，且在原点处两者渐近方差相同。
2023-04-08 math.PR math.ST stat.TH
Targeted Maximum Likelihood Estimation using Exponential Families
目标极大似然估计（TMLE）是半参数和非参数模型参数估计的一种常用方法。TMLE的每次迭代涉及拟合以感兴趣的参数为目标的参数子模型。我们研究使用指数族来定义参数子模型。TMLE的这种实现给出了一种估计非参数模型中任何光滑参数的一般方法。该方法的计算优点在于TMLE的每次迭代涉及指数族中的参数的估计，这是凸优化问题，对于该凸优化问题存在实现可靠且计算高效的方法的软件。我们说明了三个估计问题的方法，涉及的结果随机缺失的平均值，中位数回归模型的参数，和连续曝光的因果关系，分别。我们进行了一个模拟研究，比较不同的选择参数子模型，集中在这些问题的第一个。据我们所知，这是第一次研究调查的鲁棒性TMLE不同规格的参数子模型。我们发现，子模型的选择可以有一个重要的影响有限样本中的估计的行为。
2014-06-02 stat.ME
Shrinkage Estimation for the Diagonal Multivariate Exponential Families
研究了一类协协方差阵的对角元是均值参数的某个二次函数的多元分布均值参数的收缩估计。这类分布包括对角多元自然指数族。我们提出了两类半参数收缩估计的均值和相应的风险构造无偏估计。我们建立了这些收缩估计的渐近一致性和收敛速度下的平方误差损失的$n$，样本量，和$p$，尺寸，趋于无穷大。接下来，我们将这些结果专门用于对角多元自然指数族，这些自然指数族已被分类为由正态分布、泊松分布、伽玛分布、多项式分布、负多项式分布和混合分布组成。我们建立了我们的估计的一致性，在正常的，伽玛，负多项式的情况下，条件是$p n^{-1/3} (\log{n})^{4/3} \to 0$，并在泊松和多项式的情况下，如果$p n^{-1/2} \to 0$，作为$n,p \to \infty$。模拟研究提供了我们的估计的性能进行评估，我们说明，在伽马和泊松的情况下，我们的估计实现比最大似然估计的风险更低，从而证明了我们的估计的优越性，在最大似然估计。
2022-07-01 math.ST stat.TH
Families of discrete circular distributions with some novel applications
受一些前沿圆形数据（如来自智能家居技术和来自在线和赌场的轮盘赌旋转）的启发，我们在圆形上构建了一些新的丰富的离散分布类。我们给出了四种新的一般构造方法，即（i）最大熵，（ii）中心包裹，（iii）边缘化和（iv）条件化方法。我们激励这些方法上线，然后在圆形的情况下工作，并提供一些属性，以深入了解这些结构。我们主要集中在最后两个方法（iii）和（iv）的背景下，循环位置的家庭，因为他们是服从一般的方法。我们发现，边缘化和条件化离散循环位置的家庭继承了重要的属性，从他们的父母连续的家庭。特别地，对于von Mises分布和Cauchy分布，我们研究了它们的性质，包括极大似然估计，一致性假设检验和序列独立性检验。使用我们的离散圆形分布，我们演示了如何确定变点时，数据出现在一个序列，以及如何适应这种分布的混合物。说明性的例子，引发的工作。例如，对于轮盘数据，我们测试均匀性（无偏性），测试序列相关性，检测流式轮盘旋转数据中的变点，并拟合混合物。我们使用我们的混合物分析智能家居数据。我们研究的影响，忽略离散的基本人口，并讨论边缘化与条件化的方法。我们给出了具有偏度和峰度的流形族到支撑在不规则格上的流形族的各种扩张，并通过给出环面上的一个构造讨论了流形族到一般流形的潜在扩张
2022-04-29 math.ST stat.TH
Bivariate Discrete Generalized Exponential Distribution
在本文中，我们开发了二元离散广义指数分布，其边缘是由Nekoukhou、Alamatsaz和Bidram提出的离散广义指数分布（“Discrete generalized指数分布of a second type”，Statistics，47，876 - 887，2013）。可以看出，提出的二元分布是一个非常灵活的分布和二元几何分布可以得到作为这种分布的特殊情况。所提出的分布可以被看作是由Kundu和Gupta提出的双变量广义指数分布（“Bivariate generalized指数分布“，Journal of Multivariate Analysis，100，581 - 593，2009）的自然离散模拟。我们研究这个分布的不同性质，并探讨其依赖结构。本文提出了一种新的期望最大化算法来计算未知参数的极大似然估计，该算法可以非常有效地实现，并讨论了一些推论问题。一个数据集的分析已被执行，以显示所提出的模型的有效性。最后提出了一些有待解决的问题，并对本文进行了总结.
2017-01-13 stat.AP stat.ME
Deriving Lehmer and Hölder means as maximum weighted likelihood estimates for the multivariate exponential family
Université de Sherbrooke（谢布鲁克大学）
本文将 Lehmer 和 Hölder 均值族与加权最大似然估计的联系从一元指数族推广到多元指数族，为这些均值族提供概率解释并拓展其应用。
2024-05-02 cs.LG math.ST stat.TH
Multidimensional multiscale scanning in Exponential Families: Limit theory and statistical consequences
我们考虑在$d$ -维独立随机变量$\{Y_i\}_{i \in \left\{1,...,n\right\}^d}$域中发现异常的问题，每个独立随机变量都按照一维自然指数族$\mathcal F = \left\{F_θ\right\}_{θ\inΘ}$分布。给定某个基线参数$θ_0 \inΘ$，使用局部似然比检验来扫描该场，以从（大的）给定区域系统$\mathcal{R}$中检测对于某些$i \in R$具有$θ_i \neq θ_0$的那些区域$R \subset \left\{1,...,n\right\}^d$。我们提供了一个统一的方法，控制整体家庭明智的错误（FWER），使错误的检测在给定的错误率。我们的方法的基础是一个高斯近似的基本多尺度检验统计量的分布与显式的收敛速度。由此得到了一个独立的弱极限定理，它可以看作是对非同分布数据的广义弱不变原理。此外，我们给出了一个渐近展开的程序的权力，这产生极大极小最优的高斯观测的情况下。
2019-03-24 math.PR math.ST stat.ME
Computationally efficient likelihood inference in exponential families when the maximum likelihood estimator does not exist
在正则全指数族中，不需要传统意义上的极大似然估计。然而，极大似然估计可能存在于指数族的完备化中。现有的算法，寻找最大似然估计在完成解决许多线性规划，他们是缓慢的小问题和太慢的大问题。我们提供了新的，快速的，可扩展的方法来寻找MLE在指数族的完成。这种方法是基于传统的最大似然计算接近，在某种意义上说，找到MLE在完成的指数家庭。这些传统的计算构造了一个正则参数值的似然极大化序列，该序列在似然函数上上升，直到它们满足收敛准则。在这种情况下，极大似然估计的不存在性是由于指数族的正则统计量的退化，正则统计量在其支持的边界上。在这个边界和Fisher信息矩阵的零特征向量之间存在对应关系。Fisher信息沿似然极大化序列的收敛是由累积量生成函数（CGF）沿似然极大化序列的收敛而来的，给出了CGF收敛的条件。当完井中存在极大似然估计时，这允许为均值参数构建必要的单侧置信区间。我们在正文中的三个例子和附录中的三个附加例子上展示了我们的方法。我们表明，当极大似然估计存在于指数族的完成中时，我们的方法提供了比现有技术快得多的统计推断。
2020-11-25 math.ST stat.TH
Kernel Deformed Exponential Families for Sparse Continuous Attention
Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）
注意力机制采用关于概率权重的数据表示的期望。这将创建侧重于重要功能的汇总统计信息。最近，（Martins et al. 2020，2021）提出了连续注意力机制，重点关注指数和变形指数家族的单峰注意力密度：后者具有稀疏支持。（Farinhas et al. 2021）将其扩展到使用高斯混合注意力密度，这是一个具有密集支持的灵活类。在本文中，我们扩展到两个一般的灵活类：核指数家庭和我们的新的稀疏对应核变形指数家庭。理论上，我们证明了核指数和变形指数族的新的存在性结果，并且变形的情况下具有类似的逼近能力的核指数族。实验表明，核变形指数族可以处理数据域的多个紧凑区域。
2021-11-12 cs.LG stat.ML
Moment-Matching Conditions for Exponential Families with Conditioning or Hidden Data
使用指数族的最大似然学习导致充分统计量的矩匹配，这是一个经典的结果。这可以推广到条件指数族和/或当存在隐藏数据时。本文给出了这些广义矩匹配条件的第一原理解释，以及一个独立的推导。
2020-01-07 cs.LG stat.ML
Vector-Space Markov Random Fields via Exponential Families
我们提出了向量空间马尔可夫随机场（VS-MRFs），一类新的无向图形模型，其中每个变量可以属于一个任意的向量空间。VS-MRF概括了最近关于标量值、单参数指数族和混合图形模型的工作，从而大大拓宽了可用的指数族的类别（例如，允许多项式和Dirichlet分布）。具体而言，VS-MRF是联合图形模型分布，其中节点条件分布属于具有一般向量空间域的一般指数族。我们还提出了一个稀疏的$M$-估计学习我们的类MRF，恢复正确的边缘集的概率很高。我们通过一组合成数据实验以及来自流行的饮食跟踪应用程序MyFitnessApp的超过400万种食物的真实案例研究来验证我们的方法。我们的研究结果表明，我们的算法表现良好的经验和VS-MRF能够捕捉和突出有趣的结构，在复杂的，真实的数据。我们算法的所有代码都是开源的，并且是公开的。
2015-05-19 stat.ML
Harmonic Exponential Families on Manifolds
在包括地球科学、分子生物学、机器人学和计算机视觉在内的一系列领域中，人们会遇到涉及流形上的随机变量的问题。目前，缺乏快速且易于训练的流形上的灵活概率模型。我们定义了一个非常灵活的类指数族分布流形上，如环面，球，旋转组，并表明，对于这些分布的对数似然的梯度可以有效地计算使用非交换的推广的快速傅立叶变换（FFT）。我们讨论应用贝叶斯相机运动估计（谐波指数家庭作为共轭先验），地震的空间分布在地球表面的建模。我们的实验结果表明，谐波密度产生显着更高的可能性比最好的竞争方法，而数量级更快的训练。
2015-05-20 stat.ML
Convolutional Deep Exponential Families
University of California, Riverside（加州大学河滨分校）
我们在本文中描述了卷积深度指数族（CDEF）。CDEF是基于深度指数族构建的，深度概率模型捕捉了潜在变量之间的层次依赖关系。CDEF通过绑定DEF的权重大大减少了自由参数的数量。我们的实验表明，CDEF能够用少量数据揭示时间相关性。
2021-10-27 cs.LG stat.ML
Graphical Models and Exponential Families
Microsoft Research（微软研究院）；Technion（以色列理工学院）
我们提供了一个分类的图形模型，根据其表示为指数族的子族。无隐变量的无向图模型是线性指数族（LEF），无隐变量的有向无环图模型和链图，包括具有多个局部分布族的贝叶斯网络，是弯曲指数族（CEF），而具有隐变量的图模型是分层指数族（SEF）。SEF是满足边界条件的CEF的有限并集。此外，我们说明了如何可以自动生成的独立性和非独立性约束的分布上的可观察变量隐含的贝叶斯网络的隐变量。这些结果的模型选择的相关性进行检查。
2013-01-30 cs.LG stat.ML
Learning Exponential Families in High-Dimensions: Strong Convexity and Sparsity
University of Pennsylvania（宾夕法尼亚大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute（丰田工业大学）
指数族的多功能性，以及它们伴随的凸性，使它们成为一个流行的和有效的统计模型。一个核心问题是在高维中学习这些模型，例如当最佳参数存在某种稀疏模式时。本文刻画了一般指数族的某种强凸性，使其推广能力得到量化。特别是，我们展示了如何使用这个属性来分析L_1正则化下的一般指数族。
2015-05-16 cs.LG stat.ML
Gradient-free Hamiltonian Monte Carlo with Efficient Kernel Exponential Families
提出了一种基于哈密顿蒙特卡罗（HMC）的无梯度自适应MCMC算法--核哈密顿蒙特卡罗（KMC）。在目标密度上，由于难以处理的梯度，经典HMC不是一种选择，KMC通过在再生核希尔伯特空间中拟合指数族模型来自适应地学习目标的梯度结构。计算成本降低了两个新的有效的近似这个梯度。虽然是渐近精确的，但KMC在抽样效率方面模仿了HMC，并提供了比最先进的无梯度采样器更大的混合改进。我们通过对玩具和现实世界应用的实验研究来支持我们的主张，包括近似贝叶斯计算和精确近似MCMC。
2015-11-24 stat.ML
Square Root Graphical Models: Multivariate Generalizations of Univariate Exponential Families that Permit Positive Dependencies
我们开发了平方根图形模型（SQR），一类新的参数图形模型，提供了多变量概括的单变量指数族分布。先前的多变量图形模型[Yang et al. 2015]不允许指数和泊松推广的正相关性。然而，在许多真实世界的数据集中，变量显然具有正相关性。例如，纽约机场的延误时间-被建模为指数分布-与波士顿的延误时间正相关。有了这个动机，我们给出了一个例子，我们的模型类来自单变量指数分布，允许几乎任意的积极和消极的依赖关系，只有一个温和的条件下的参数矩阵-一个条件类似于高斯协方差阵的正定性。我们的泊松推广允许正负依赖，而不对参数值有任何约束。我们还开发了参数估计方法，使用逐节点回归与$\ell_1$正则化和似然近似方法，使用采样。最后，我们证明了我们的指数推广的合成数据集和现实世界的机场延误时间的数据集。
2016-06-10 stat.ML
Learning Networked Exponential Families with Network Lasso
Aalto University（阿尔托大学）
我们提出了网络指数家庭，共同利用拓扑结构中的信息，以及网络数据点的属性（功能）。网络指数族是一种灵活的概率模型，适用于具有内在网络结构的异构数据集。这些模型可以使用网络Lasso有效地学习，该网络Lasso根据内在网络结构和局部似然性隐式地汇集或聚类数据点。由此产生的方法可以制定为一个非光滑的凸优化问题，我们解决使用原始-对偶分裂方法。这种原始-对偶方法对大数据应用程序很有吸引力，因为它可以作为一种高度可扩展的消息传递算法来实现。
2019-09-25 cs.LG stat.ML
Deep Exponential Families
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们描述了\textit{deep exponential families}（DEF），这是一类受深层神经网络中使用的隐藏结构启发的潜在变量模型。DEF捕获潜在变量之间的依赖关系的层次结构，并且很容易通过指数族推广到许多设置。我们使用最近的“黑箱”变分推断技术进行推理。然后，我们评估文本上的各种DEF，并将多个DEF组合成成对推荐数据的模型。在一项广泛的研究中，我们表明，超越一层可以提高对DEF的预测。我们证明了DEF在大型数据集中发现了有趣的探索性结构，并且比最先进的模型具有更好的预测性能。
2014-11-10 cs.LG stat.ML
Boundary Crossing Probabilities for General Exponential Families
我们考虑实直线上维数为$K$的参数指数族。我们研究了一个变种的\textit{boundary crossing probabilities}来自多臂土匪文献，在这种情况下，实值分布形成一个指数族的尺寸$K$。形式上，我们的结果是一个浓度不等式，约束概率$\mathcal{B}^ψ(\hat θ_n,θ^\star)\geq f(t/n)/n$，其中$θ^\star$是一个未知的目标分布的参数，$\hat θ_n$是从$n$观测建立的经验参数估计，$ψ$是对数配分函数的指数族和$\mathcal{B}^ψ$是相应的Bregman分歧。从随机多武装匪徒的角度来看，我们特别注意的情况下，边界函数$f$是对数，因为它是能够分析的最先进的\KLUCB \和\KLUCBp \策略，其分析是开放的，在这样的一般性的遗憾。事实上，以前的结果只适用于$K=1$的情况下，而我们提供的结果为任意有限维$K$，从而大大扩展了现有的结果。也许令人惊讶的是，我们强调，证明技术，以实现这些强大的结果已经存在三十年前的工作，T. L。赖，并显然被遗忘在土匪社会。我们提供了一个现代改写这些美丽的技术，我们相信是有用的应用程序以外的随机多武装土匪。
2017-05-24 stat.ML
Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families
University of California at Berkeley（加州大学伯克利分校）；Queensland University of Technology（昆士兰科技大学）；CWI（荷兰数学与计算机科学研究院）；Copenhagen Business College（哥本哈根商学院）；Poznań University of Technology（波兹南理工大学）
我们研究了对数损失下正则参数模型的在线学习。Hedayati和Bartlett（2012 b）表明，Jeffreys先验贝叶斯预测策略和顺序归一化最大似然（SNML）是一致的，当且仅当后者是可交换的，当且仅当最优策略可以在不知道时间范围的情况下计算。他们提出了一个问题，什么样的家庭有可交换的SNML策略。本文充分回答了一维指数族的这一公开问题。交换只能发生在三类自然指数族分布，即高斯，伽玛和特威迪指数族的顺序3/2。关键词：SNML可交换性，指数族，在线学习，对数损失，贝叶斯策略，Jeffreys先验，Fisher信息1
2013-05-19 cs.LG stat.ML
Generalized Root Models: Beyond Pairwise Graphical Models for Univariate Exponential Families
我们提出了一种新的k路高维图形模型，称为广义根模型（GRM），明确模型之间的依赖关系的大小k > 2-其中k = 2是标准的成对图形模型。该模型基于对具有正充分统计量的任何单变量指数族（包括泊松分布和指数分布）的原始充分统计量取k次方根。与最近使用平方根图形（SQR）模型的工作一样[Inouye et al. 2016]--仅限于成对依赖关系--我们使用类似于成对情况的径向条件给出了归一化所需的参数条件[Inouye et al. 2016]。特别是，我们表明，泊松GRM没有限制的参数和指数GRM只有一个限制类似于负定性。我们开发了一个简单的，但一般的学习算法的基础上L1正则化节点的回归。我们还提出了一种数值近似对数配分函数和GRM单变量节点条件的相关导数的一般方法-与[Inouye et al. 2016]相反，它只提供了估计指数SQR的算法。为了说明GRM，我们用泊松GRM对单词计数进行建模，并显示相关的k大小变量集。最后，我们讨论在各种情况下减少参数空间的方法。
2016-06-02 stat.ML
Almost Free: Self-concordance in Natural Exponential Families and an Application to Bandits
University of Alberta（阿尔伯塔大学）；HEC Paris（巴黎高等商学院）
本文证明单参数自然指数族的自和谐性，并据此给出广义线性老虎机的二阶、无指数依赖遗憾界，覆盖 Poisson、指数和 gamma 等次指数尾部情形。
2024-10-01 cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
私人推理的研究已经引发了对数据分析的日益关注，当它源于敏感的来源。我们提出了第一种方法，私人贝叶斯推断指数家庭，适当占噪声引入的隐私机制。它是有效的，因为它只适用于足够的统计数据，而不是个人数据。与其他方法不同，它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
Exponential Families for Conditional Random Fields
Brown University（布朗大学）；National ICT Australia and ANU（澳大利亚国家信息通信技术中心与澳大利亚国立大学）
本文定义了再生核Hilbert空间中的条件随机场，并给出了它们与高斯过程分类的关系。更具体地说，我们证明了无向图模型的分解结果，我们给出了核的构造。最后，我们提出了有效的手段，解决优化问题，使用降秩分解，我们展示了如何平稳性可以利用有效的优化过程。
2012-07-11 cs.LG stat.ML
Learning Continuous Exponential Families Beyond Gaussian
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
研究了具有无界支持度的连续指数族分布的学习问题。虽然高斯图形模型的学习已经取得了很大的进展，但我们仍然缺乏可扩展的算法来重建一般连续指数族，对超出均值和协方差的数据的高阶矩进行建模。在这里，我们介绍了一种计算效率高的方法来学习连续图形模型的基础上的交互筛选方法。通过一系列的数值实验，我们表明，我们的估计保持类似的要求，在准确性和样本复杂度缩放相比，替代方法，如最大化的条件似然，同时大大提高了算法的运行时间。
2022-02-26 cs.LG physics.data-an stat.ML
VAE Approximation Error: ELBO and Exponential Families
Czech Technical University in Prague（捷克布拉格技术大学）；Dresden University of Technology（德累斯顿工业大学）
变分自编码器的重要性远远超出了独立的生成模型-该方法还用于学习潜在表示，并可以推广到半监督学习。这就需要彻底分析其常见的缺点：后塌陷和逼近误差。本文分析了VAE近似误差的ELBO目标和编码器模型的组合所造成的条件指数的家庭，包括但不限于，常用的条件独立的离散和连续模型。我们的特征生成模型的子类与这些编码器的家庭。我们发现，ELBO优化器被拉离的可能性优化一致的子集，并研究这种效果的实验。重要的是，通过考虑更深的编码器/解码器网络，该子集不能被扩大，并且相应的误差不能被减小。
2022-04-11 cs.CV cs.LG stat.ML
Mixture decompositions of exponential families using a decomposition of their sample spaces
我们研究的问题，找到最小的$m$，使每个元素的指数家庭可以被写入的混合物的$m$元素的另一个指数家庭。我们提出了一种基于相应凸支撑多面体的面格的覆盖和填充以及编码理论的结果的方法。我们表明，$m=q^{N-1}$是最小的数，任何分布的$N$ $q$ -ary变量可以写为混合物的$m$独立$q$ -ary变量。此外，我们表明，任何分布的$N$二进制变量是一个混合物的$m = 2^{N-(k+1)}(1+ 1/(2^k-1))$元素的$k$相互作用指数家庭。
2013-02-25 math.ST stat.ML stat.TH
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families
University of Chicago（芝加哥大学）
贪心算法长期以来一直是学习图形模型的主力，更广泛地说，是学习具有稀疏结构的统计模型的主力。在学习有向无环图的上下文中，贪心算法是流行的，尽管它们的最坏情况下的指数运行时间。但在实践中，它们非常有效。我们提供了新的见解这一现象，通过研究一个通用的贪婪分数为基础的算法学习DAG。与边缘贪心算法，如流行的GES和爬山算法，我们的方法是顶点贪婪，最多需要一个多项式数量的分数评估。然后，我们展示了最近的多项式时间学习DAG模型的算法是这种算法的特例，从而说明了这些基于顺序的算法可以被严格解释为基于分数的算法。这一观察表明，新的得分函数和最优性条件的基础上的二元性Bregman分歧和指数家庭，我们详细探讨。导出了显式的样本和计算复杂性界。最后，我们提供了大量的实验表明，该算法确实优化了在各种设置的分数。
2021-10-28 cs.AI cs.LG stat.ML
Fair Densities via Boosting the Sufficient Statistics of Exponential Families
Australian National University（澳大利亚国立大学）；Amazon（亚马逊）；Google Research（谷歌研究院）
针对公平性数据预处理，本文提出通过提升学习指数族充分统计量的算法，在保证最低表示率与统计率公平性的同时提升拟合，并支持连续特征和不公平来源解释。
2023-08-15 cs.LG stat.ML
Homeomorphic-Invariance of EM: Non-Asymptotic Convergence in KL Divergence for Exponential Families via Mirror Descent
University of British Columbia（不列颠哥伦比亚大学）；Cornell University（康奈尔大学）；Amii（阿尔伯塔机器智能研究所）
期望最大化（EM）是用于拟合具有缺失变量或潜变量的概率模型的默认算法，然而我们缺乏对其非渐近收敛性质的充分理解。以前的作品显示的结果沿着线“EM收敛至少一样快的梯度下降“通过假设的条件适用于EM的梯度下降的收敛。这种方法不仅是松散的，因为它没有捕捉到EM可以比梯度步骤取得更多的进展，而且假设对于像高斯混合的EM的教科书示例不成立。在这项工作中，我们首先表明，对于指数族分布的常见设置，将EM视为镜像下降算法会导致Kullback-Leibler（KL）发散的收敛速度。然后，我们展示了KL分歧是如何通过Bregman分歧与一阶平稳性相关的。与以前的作品相比，分析是不变的参数化的选择，并保持最小的假设。我们还展示了这些想法的应用程序的局部线性（和超线性）收敛速度，广义EM，和非指数族分布。
2022-02-28 cs.LG stat.ML
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
