Graphical Models and Exponential Families
Microsoft Research（微软研究院）；Technion（以色列理工学院）
我们提供了一个分类的图形模型，根据其表示为指数族的子族。无隐变量的无向图模型是线性指数族（LEF），无隐变量的有向无环图模型和链图，包括具有多个局部分布族的贝叶斯网络，是弯曲指数族（CEF），而具有隐变量的图模型是分层指数族（SEF）。SEF是满足边界条件的CEF的有限并集。此外，我们说明了如何可以自动生成的独立性和非独立性约束的分布上的可观察变量隐含的贝叶斯网络的隐变量。这些结果的模型选择的相关性进行检查。
2013-01-30 cs.LG stat.ML
Learning Exponential Families in High-Dimensions: Strong Convexity and Sparsity
University of Pennsylvania（宾夕法尼亚大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute（丰田工业大学）
指数族的多功能性，以及它们伴随的凸性，使它们成为一个流行的和有效的统计模型。一个核心问题是在高维中学习这些模型，例如当最佳参数存在某种稀疏模式时。本文刻画了一般指数族的某种强凸性，使其推广能力得到量化。特别是，我们展示了如何使用这个属性来分析L_1正则化下的一般指数族。
2015-05-16 cs.LG stat.ML
Clustering above Exponential Families with Tempered Exponential Measures
Google Research（谷歌研究院）
与指数家庭的联系，使$k$ -均值聚类被推广到各种各样的数据生成分布在指数家庭和Bregman分歧之间的聚类失真。让框架在指数族之上工作对于消除障碍很重要，比如在公理化中雕刻的一些人口最小化器缺乏鲁棒性。目前的指数族的推广，如$q$ -指数族或甚至变形指数族未能实现该目标。在本文中，我们提供了一个新的尝试，在得到完整的框架，接地在一个新的概括指数家庭，我们介绍，回火指数措施（TEM）。TEM保持了$q$ -指数族的最大熵公理化框架，但不是将度量标准化，而是将称为共分布的对偶标准化。许多有趣的属性出现聚类，如人口最小化的改进和可控的鲁棒性，保持一个简单的分析形式。
2022-11-04 cs.LG
Deep Exponential Families
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们描述了\textit{deep exponential families}（DEF），这是一类受深层神经网络中使用的隐藏结构启发的潜在变量模型。DEF捕获潜在变量之间的依赖关系的层次结构，并且很容易通过指数族推广到许多设置。我们使用最近的“黑箱”变分推断技术进行推理。然后，我们评估文本上的各种DEF，并将多个DEF组合成成对推荐数据的模型。在一项广泛的研究中，我们表明，超越一层可以提高对DEF的预测。我们证明了DEF在大型数据集中发现了有趣的探索性结构，并且比最先进的模型具有更好的预测性能。
2014-11-10 cs.LG stat.ML
Estimating Densities with Non-Parametric Exponential Families
Purdue University（普渡大学）
我们提出了一种新的方法，密度估计与指数家庭的情况下，真密度可能不属于所选择的家庭。我们的方法增加了充分统计量的功能，旨在积累概率质量的观察点附近，从而在一个非参数模型类似于核密度估计。我们表明，在温和的条件下，所得到的模型只使用充分统计量，如果密度是在所选择的指数族，渐近，它近似的密度以外的所选择的指数族。使用所提出的方法，我们修改了指数随机图模型，通常用于建模小尺寸的图形分布，以解决众所周知的问题模型退化。
2012-09-06 cs.LG stat.ML
Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families
University of California at Berkeley（加州大学伯克利分校）；Queensland University of Technology（昆士兰科技大学）；CWI（荷兰数学与计算机科学研究院）；Copenhagen Business College（哥本哈根商学院）；Poznań University of Technology（波兹南理工大学）
我们研究了对数损失下正则参数模型的在线学习。Hedayati和Bartlett（2012 b）表明，Jeffreys先验贝叶斯预测策略和顺序归一化最大似然（SNML）是一致的，当且仅当后者是可交换的，当且仅当最优策略可以在不知道时间范围的情况下计算。他们提出了一个问题，什么样的家庭有可交换的SNML策略。本文充分回答了一维指数族的这一公开问题。交换只能发生在三类自然指数族分布，即高斯，伽玛和特威迪指数族的顺序3/2。关键词：SNML可交换性，指数族，在线学习，对数损失，贝叶斯策略，Jeffreys先验，Fisher信息1
2013-05-19 cs.LG stat.ML
Almost Free: Self-concordance in Natural Exponential Families and an Application to Bandits
University of Alberta（阿尔伯塔大学）；HEC Paris（巴黎高等商学院）
本文证明单参数自然指数族的自和谐性，并据此给出广义线性老虎机的二阶、无指数依赖遗憾界，覆盖 Poisson、指数和 gamma 等次指数尾部情形。
2024-10-01 cs.LG stat.ML
Improved MDL Estimators Using Fiber Bundle of Local Exponential Families for Non-exponential Families
National Institute of Information and Communications Technology（日本国立信息通信技术研究所）；Yale University（耶鲁大学）；Kyushu University（九州大学）
本文针对非指数族场景，提出基于局部指数族纤维丛的两段编码改进MDL估计器，其遗憾值接近极小极大遗憾值，可给出风险与损失的紧上界，且适用于混合族这类典型非指数族。
2023-11-07 cs.IT cs.LG math.IT
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics（查尔斯河分析公司）
高斯过程是概率机器学习的强大模型，但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法，用于导出具有紧凑空间支持的核函数的参数族，从而产生自然稀疏的核矩阵，并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数，例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者，我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时，在精确模型上产生的误差最小，并且在现实世界的信号重建任务中可以优于传统的GP内核，同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
私人推理的研究已经引发了对数据分析的日益关注，当它源于敏感的来源。我们提出了第一种方法，私人贝叶斯推断指数家庭，适当占噪声引入的隐私机制。它是有效的，因为它只适用于足够的统计数据，而不是个人数据。与其他方法不同，它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
Exponential Families for Conditional Random Fields
Brown University（布朗大学）；National ICT Australia and ANU（澳大利亚国家信息通信技术中心与澳大利亚国立大学）
本文定义了再生核Hilbert空间中的条件随机场，并给出了它们与高斯过程分类的关系。更具体地说，我们证明了无向图模型的分解结果，我们给出了核的构造。最后，我们提出了有效的手段，解决优化问题，使用降秩分解，我们展示了如何平稳性可以利用有效的优化过程。
2012-07-11 cs.LG stat.ML
A method to construct exponential families by representation theory
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
本文用表示论给出了一种系统地构造“好”指数族的方法。更准确地说，我们考虑齐性空间$G/H$作为一个样本空间，并通过使用$G$的表示来构造变换群$G$下的指数族不变量。该方法生成广泛使用的指数族，如正常，伽玛，伯努利，分类，Wishart，冯米塞斯，费舍尔-宾汉和双曲面分布。
2022-10-13 cs.LG math.PR math.ST
VAE Approximation Error: ELBO and Exponential Families
Czech Technical University in Prague（捷克布拉格技术大学）；Dresden University of Technology（德累斯顿工业大学）
变分自编码器的重要性远远超出了独立的生成模型-该方法还用于学习潜在表示，并可以推广到半监督学习。这就需要彻底分析其常见的缺点：后塌陷和逼近误差。本文分析了VAE近似误差的ELBO目标和编码器模型的组合所造成的条件指数的家庭，包括但不限于，常用的条件独立的离散和连续模型。我们的特征生成模型的子类与这些编码器的家庭。我们发现，ELBO优化器被拉离的可能性优化一致的子集，并研究这种效果的实验。重要的是，通过考虑更深的编码器/解码器网络，该子集不能被扩大，并且相应的误差不能被减小。
2022-04-11 cs.CV cs.LG stat.ML
On Rényi and Tsallis entropies and divergences for exponential families
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；École Polytechnique（巴黎综合理工学院）；University of Antilles-Guyane（安的列斯-圭亚那大学）
统计学中许多常见的概率分布，如高斯分布、多项分布、贝塔分布或伽玛分布，都可以在指数族的统一框架下进行研究。在本文中，我们证明了属于同一指数族的分布的Rényi和Tsallis发散都允许一个通用的封闭形式的表达式。此外，我们表明，雷尼和Tsallis熵也可以计算在封闭形式的子族，包括高斯或指数分布，等等。
2011-05-17 cs.IT cs.LG math.IT
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center（生物统计学系，范德比尔特大学医学中心）
本文提出通过发布差分隐私充分统计量并进行噪声校准推断，解决DP数据发布中的校准问题，提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
Statistical exponential families: A digest with flash cards
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
本文简明地描述了统计学中普遍存在的指数族分布。第一部分回顾定义和总结主要性质和对偶Bregman分歧（所有的证明被跳过）。第二部分列出了常见指数族分布的分解及相关公式。我们回顾统计流形的Fisher-Rao-Riemann几何和对偶仿射联络信息几何。其目的是通过添加新的分发项目来维护和更新本文档和目录。
2011-05-13 cs.LG
Laws of thermodynamics for exponential families
本文将热力学定律推广到一般指数族，通过最大熵与统计力学框架连接学习问题，为功、热、热力学循环及能量均分提供统计学对应，并用于量化分布偏移。
2025-01-03 cond-mat.stat-mech cs.LG math.ST
Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning
Kavli Institute for Systems Neuroscience, NTNU, Trondheim, Norway；ICTP- International Centre for Theoretical Physics, Trieste, Italy；Department of Mathematics, King's College London, London, UK
本文研究指数族模型在闭环学习下的参数演化，证明最大似然估计导致收敛到放大初始偏差的吸收态，但通过最大后验估计或正则化可避免此结果。
2025-07-09 cond-mat.dis-nn cs.LG physics.data-an
Likelihood Ratio Exponential Families
USC Information Sciences Institute（南加州大学信息科学研究所）；Sony CSL（索尼计算机科学实验室）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
指数族在机器学习和统计物理学中是众所周知的，因为最大熵分布受到一组观察到的约束，而几何混合路径在MCMC方法中很常见，例如退火重要性采样。结合这两个想法，最近的工作已经解释了几何混合路径作为一个指数族的分布来分析热力学变分目标（TVO）。我们扩展这些似然比指数的家庭，包括率失真（RD）优化，信息瓶颈（IB）的方法，并结合RD和IB最近的率失真分类方法的解决方案。这为通过指数族的共轭对偶和假设检验来理解这些方法提供了一个通用的数学框架。此外，我们收集现有的结果，以提供一个变分表示中间RD或TVO分布作为一个最小化的期望KL分歧。该解决方案也对应于使用似然比检验和奈曼皮尔逊引理的大小功率权衡。在热力学积分界限，如TVO，我们确定的中间分布，其预期的充分的统计匹配的日志分配函数。
2021-01-15 cs.IT cs.LG math.IT
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families
University of Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Technische Universität Dortmund（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）
本文研究基于双指数族的扩展广义线性模型中的Dropout正则化，理论证明其偏好稀有重要特征，并应用于B样条自适应平滑，实验表明优于惩罚最大似然方法。
2024-07-28 cs.LG stat.ML
Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families
University of Chicago（芝加哥大学）
贪心算法长期以来一直是学习图形模型的主力，更广泛地说，是学习具有稀疏结构的统计模型的主力。在学习有向无环图的上下文中，贪心算法是流行的，尽管它们的最坏情况下的指数运行时间。但在实践中，它们非常有效。我们提供了新的见解这一现象，通过研究一个通用的贪婪分数为基础的算法学习DAG。与边缘贪心算法，如流行的GES和爬山算法，我们的方法是顶点贪婪，最多需要一个多项式数量的分数评估。然后，我们展示了最近的多项式时间学习DAG模型的算法是这种算法的特例，从而说明了这些基于顺序的算法可以被严格解释为基于分数的算法。这一观察表明，新的得分函数和最优性条件的基础上的二元性Bregman分歧和指数家庭，我们详细探讨。导出了显式的样本和计算复杂性界。最后，我们提供了大量的实验表明，该算法确实优化了在各种设置的分数。
2021-10-28 cs.AI cs.LG stat.ML
Fair Densities via Boosting the Sufficient Statistics of Exponential Families
Australian National University（澳大利亚国立大学）；Amazon（亚马逊）；Google Research（谷歌研究院）
针对公平性数据预处理，本文提出通过提升学习指数族充分统计量的算法，在保证最低表示率与统计率公平性的同时提升拟合，并支持连续特征和不公平来源解释。
2023-08-15 cs.LG stat.ML
On a method to construct exponential families by representation theory
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
指数族在信息几何中占有重要地位。在arXiv：1811.01394中，我们介绍了一种从一对$(V,v_0)$在齐次空间$G/H$上构造指数族$\mathcal{P}=\{p_θ\}_{θ\inΘ}$的方法。这里，$V$是$G$的表示，而$v_0$是$V$中的$H$固定载体.那么下面的问题自然会出现：（Q1）什么时候对应$θ\mapsto p_θ$是内射的？(Q2)什么时候不同的对$(V,v_0)$和$(V',v_0')$生成相同的族？在本文中，我们回答了这两个问题（定理1和2）。此外，在第3节中，我们考虑了在$\mathbb{R}^2$上具有某种表示的情况$(G,H)=(\mathbb{R}_{>0}, \{1\})$。然后，我们看到由我们的方法得到的家庭本质上是广义逆高斯分布（GIG）。
2019-07-06 cs.LG math.RT stat.ML
Bregman Deviations of Generic Exponential Families
Microsoft Research（微软研究院）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Indian Institute of Science（印度科学学院）
本文利用 Laplace 混合法与 Bregman 散度建立一般指数族参数估计的时间一致集中界，并在多类分布和应用中验证其竞争力。
2023-07-13 cs.LG
A Generalised Linear Model Framework for $β$-Variational Autoencoders based on Exponential Dispersion Families
Fraunhofer ITWM（弗劳恩霍夫信息技术与数学研究所）；TU Kaiserslautern（凯撒斯劳滕工业大学）
虽然变分自编码器（VAE）被成功地用于获得高维数据的有意义的低维表示，但是对于一般观测模型的损失函数的临界点的表征还没有完全理解。我们介绍了一个理论框架，是基于$β$ -VAE和广义线性模型（GLM）之间的连接。$β$ -VAE的激活函数和GLM的链接函数的逆之间的等式使我们能够基于观测模型分布属于指数色散族（EDF）的假设提供$β$ -VAE的损失分析的系统化概括。因此，我们可以初始化$β$ -VAE网络的最大似然估计（MLE），提高训练性能的合成和真实世界的数据集。作为进一步的结果，我们分析描述的自动修剪属性固有的$β$ -VAE的目标和原因后崩溃。
2021-10-11 cs.LG stat.ML
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Polynomial Learning of Distribution Families
Ohio State University（俄亥俄州立大学）
概率分布的多项式可学习性问题，特别是高斯混合分布，最近在理论计算机科学和机器学习中受到了极大的关注。然而，尽管取得了重大进展，高斯混合分布的多项式可学习性的一般问题仍然是开放的。目前的工作解决的问题多项式学习高斯混合在高维任意固定数量的组件。学习高斯混合的结果依赖于对属于我们所说的低维“多项式族”的分布的分析。这些族的特征在于它们的矩是参数的多项式，并且包括几乎所有常见的概率分布以及它们的混合和乘积。使用工具，从真正的代数几何，我们表明，属于这样一个家庭的任何分布的参数可以在多项式时间和使用多项式数量的样本点。学习多项式族的结果是相当普遍的，是独立的利益。为了估计高维高斯混合分布的参数，我们提供了一个确定性降维算法。这使我们能够将高维混合的学习减少到低维参数估计的多项式数量。将这种减少与多项式族的结果相结合，得到了我们在高维中学习任意高斯混合的结果。
2010-04-27 cs.DS cs.LG
Divergences induced by dual subtractive and divisive normalizations of exponential families and their convex deformations
Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文研究指数族在减式与除式归一化下诱导的散度关系，证明未归一化密度的α-散度等价于配分函数诱导的缩放α-偏斜Jensen散度，并利用比较凸性构造凸变形下的对偶平坦空间。
2024-01-18 cs.IT cs.LG math.IT
Exponential families from a single KL identity
Scientific Consultant（科学顾问）
本文通过一个简单的指数族KL差恒等式，推导出多项经典结果，包括三点恒等式、I投影定理、对数分区函数的凸性等，无需复杂推导。
2026-04-30 cs.IT cs.LG math.IT
Deriving Lehmer and Hölder means as maximum weighted likelihood estimates for the multivariate exponential family
Université de Sherbrooke（谢布鲁克大学）
本文将 Lehmer 和 Hölder 均值族与加权最大似然估计的联系从一元指数族推广到多元指数族，为这些均值族提供概率解释并拓展其应用。
2024-05-02 cs.LG math.ST stat.TH
