Notes on Kullback-Leibler Divergence and Likelihood
Kullback-Leibler（KL）散度是信息论的一个基本方程，它量化了两个概率分布的接近程度。虽然很难通过检查方程来理解，但KL分歧的直觉和理解来自于它与似然理论的密切关系。我们讨论如何KL分歧产生的似然理论，试图提供一些直觉和保留严格的（但相当简单）推导的附录。最后，我们评论最近的应用KL分歧的神经编码文献，并突出其自然的应用。
2014-04-08 cs.IT math.IT
Higher-Order Kullback-Leibler Aggregation of Markov Chains
我们考虑的问题，减少一个大字母表上的一阶马尔可夫链的高阶马尔可夫链的小字母表。我们提出了信息理论的成本函数，这些成本函数之间的关系，显示可预测性和集总性，并讨论了算法，以尽量减少它们。我们的实验表明，推广到高阶是有用的可靠性分析和自然语言处理的模型约简。
2016-08-16 cs.IT math.IT
Exact Computation of Kullback-Leibler Distance for Hidden Markov Trees and Models
我们提出了新的递归公式来计算两个一般隐马尔可夫树（HMT）之间的Kullback-Leibler距离（KLD）的精确值。对于具有规则拓扑的齐次隐马尔可夫模型，如齐次隐马尔可夫模型（HMM），当没有证据时，我们得到了KLD的封闭形式表达式。我们推广我们的递归公式的情况下，HALTH条件下的可观察变量。我们提出的公式进行了验证，通过几个数值例子中，我们比较精确的KLD值与蒙特卡洛估计。
2012-10-09 cs.IT math.IT
Fluctuation-response theorem for Kullback-Leibler divergences to quantify causation
我们定义了一个新的措施的因果关系的波动响应定理Kullback-Leibler分歧，基于信息理论的扰动成本。这种信息响应既具有信息理论测量所需的不变性，又具有扰动传播的物理解释。在线性系统中，信息响应简化为传递熵，提供了Fisher和互信息之间的联系。
2021-02-13 cond-mat.stat-mech cs.IT math.IT
Guaranteed bounds on the Kullback-Leibler divergence of univariate mixtures using piecewise log-sum-exp inequalities
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
信息论度量，如两个混合模型之间的熵、交叉熵和Kullback-Leibler散度，是许多信号处理任务中的核心基元。由于混合物的库尔贝克-莱布勒分歧可证明不允许封闭形式的公式，因此在实践中，它要么使用昂贵的蒙特卡罗随机积分来估计，要么使用各种技术来近似或限制。我们提出了一种快速和通用的方法，建立算法封闭形式的下限和上限的熵，交叉熵和混合物的Kullback-Leibler发散。我们说明了多功能的方法，通过报告我们的实验近似单变量指数混合物，高斯混合物，瑞利混合物，伽玛混合物之间的Kullback-Leibler发散。
2016-08-17 cs.IT cs.LG math.IT
Robust Kullback-Leibler Divergence and Universal Hypothesis Testing for Continuous Distributions
通用假设检验是指决定样本是来自名义分布还是来自与名义分布不同的未知分布的问题。Hoeffding检验，其检验统计量相当于经验Kullback-Leibler发散（KLD），已知对于有限字母表上定义的分布是渐近最优的。然而，在连续观测的情况下，分布函数中KLD的不连续性导致通用假设检验的显著复杂性。本文介绍了一个强大的版本的经典KLD，定义为KLD从一个分布的L 'evy球的一个已知的分布。这个强大的KLD被证明是连续的基本分布函数的弱收敛。的连续性属性，使一个通用的假设检验的连续观测，被证明是渐近最优的连续分布在同一意义上的Hoeffding的测试离散分布。
2017-11-12 cs.IT math.IT
The Kullback-Leibler Divergence as a Lyapunov Function for Incentive Based Game Dynamics
已有研究表明，Kullback-Leibler发散是复制子方程在演化稳定状态（ESS）下的一个李雅普诺夫函数，本文将这一结果推广到更一般的一类博弈动力学.结果，给出了整类激励动力学的平衡点渐近稳定性的充分条件。以前已知的结果可以作为主要定理的推论。
2014-08-21 cs.GT cs.IT math.DS
Rényi Divergence and Kullback-Leibler Divergence
雷尼发散与雷尼熵有关，就像Kullback-Leibler发散与香农熵有关一样，并且在许多情况下都会出现。它是由Rényi引入的，作为一种信息度量，满足与Kullback-Leibler分歧几乎相同的公理，并且取决于一个称为其阶的参数。特别地，1阶的雷尼发散等于Kullback-Leibler发散。我们回顾和推广了Rényi发散和Kullback-Leibler发散的重要性质，包括$σ$ -代数的凸性、连续性、极限以及特殊阶0与Gauss二分性和邻接性的关系.我们还展示了如何推广的毕达哥拉斯不等式的订单不同1，我们延长了已知的等价之间的信道容量和极大极小冗余连续信道输入（所有订单），并提出了其他几个极大极小的结果。
2014-04-24 cs.IT math.IT math.ST
On the Kullback-Leibler divergence between pairwise isotropic Gaussian-Markov random fields
Kullback-Leibler散度或相对熵是统计模型之间的信息论度量，在测量随机变量之间的距离方面起着重要作用。在复杂系统的研究中，随机场是一种数学结构，它通过逆温度参数来模拟这些变量之间的相互作用，负责控制沿场的空间依赖结构。在本文中，我们推导出封闭形式的表达式之间的两个成对各向同性高斯马尔可夫随机场的Kullback-Leibler分歧在单变量和多变量的情况下。所提出的方程允许在图像处理和机器学习应用中开发新的相似性度量，例如图像去噪和无监督度量学习。
2022-03-24 cs.IT math.IT nlin.AO
Independent Gaussian Distributions Minimize the Kullback-Leibler (KL) Divergence from Independent Gaussian Distributions
New York University（纽约大学）
这个简短的说明是关于Kullback-Leibler（KL）发散的一个性质，它表明独立的高斯分布使给定独立高斯分布的KL发散最小化。本说明的主要目的是为需要全部或部分使用此属性的论文提供参考。
2020-12-03 cs.IT cs.LG cs.SY
Measuring the Influence of Observations in HMMs through the Kullback-Leibler Distance
Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）
我们通过Kullback-Leibler距离（KLD）来度量个体观测对隐马尔可夫模型（HMM）隐状态序列的影响。也就是说，我们考虑的KLD之间的条件分布的隐藏状态的链给定的完整序列的观察和条件分布的隐藏链给定的所有的观察，但在考虑中。我们引入了一个线性复杂度算法来计算所有观测值的影响。作为一个例子，我们调查我们的算法的应用程序的问题，检测HMM数据序列中的离群点。
2012-12-18 cs.IT cs.LG math.IT
Relation between the Kantorovich-Wasserstein metric and the Kullback-Leibler divergence
讨论了Kantorovich-Wasserstein（KW）度量与Kullback-Leibler（KL）散度之间的关系。前者是使用Kantorovich公式中的最优运输问题（OTP）定义的。后者用于定义熵和互信息，它们出现在从率失真和信息论值寻找最优信道的变分问题中。我们发现，OTP是等价于OCP与一个额外的约束固定的输出测量，因此OCP与约束的KL发散给出了一个下界的KW度量。OTP的对偶公式允许我们使用基于余弦定律的KL-发散分解来探索KL-发散和KW-度量之间的关系。这样，我们使用变分原理和几何原理来显示两个发散之间的联系。
2019-08-24 cs.IT math.IT math.OC
Robust Stochastic Outperformance under Kullback-Leibler Ambiguity
本文研究基准分布处于Kullback-Leibler邻域内时随机变量超越基准的最坏情况概率，利用最优传输得到指数倾斜形式的可处理解，并由参数λ控制信息预算，为鲁棒性能评估和情景生成提供基础。
2025-09-01 cs.IT math.IT math.PR
vsgoftest: An Package for Goodness-of-Fit Testing Based on Kullback-Leibler Divergence
R包vsgoftest基于Vasicek（1976）和Song（2002）开发的香农熵和库尔贝克-莱布勒散度，对各种经典分布族执行拟合优度（GOF）检验。总结了所谓的Vasicek-Song（VS）测试的理论框架，然后详细描述了该包的不同功能。通过与其他GOF测试的比较，研究了VS测试的功耗和计算时间性能。实际数据集的应用说明了vsgoftest包的易用功能。
2018-06-19 cs.IT math.IT math.ST
Deformed Statistics Kullback-Leibler Divergence Minimization within a Scaled Bregman Framework
Tsallis统计中的广义Kullback-Leibler发散（K-Ld）[受广义统计的加性对偶（对偶广义K-Ld）的约束]在这里与正态平均定义的期望的Bregman发散理论在测度论框架内相一致。具体地说，它证明了对偶广义K-Ld是一个标度Bregman发散。毕达哥拉斯定理是从最小判别信息原理中推导出来的，它使用对偶广义K-Ld作为不确定性的度量，约束条件由正态平均值定义。对偶广义K-Ld的最小化，正常平均值的约束，表现出明显的独特功能。
2011-09-08 cond-mat.stat-mech cs.IT math-ph
On the Kullback-Leibler divergence between location-scale densities
我们表明，任何两个密度之间的$f$ -分歧的潜在不同的位置尺度家庭可以减少到一个标准密度与另一个位置尺度密度之间的$f$ -分歧的计算。由此可见，两个尺度密度之间的$f$ -发散仅取决于尺度比。然后，我们报告的标准分布的条件，以获得对称的$f$ -分歧：首先，我们证明了所有的$f$ -分歧的位置家庭的密度是对称的，只要标准密度是均匀的，第二，我们说明了一个通用的对称性与计算的Kullback-Leibler分歧之间的规模柯西分布。最后，我们表明，最小$f$发散的任何查询密度的一个位置-尺度家庭的另一个位置-尺度家庭是独立的查询位置-尺度参数。
2021-02-15 cs.IT math.IT math.ST
On the symmetrical Kullback-Leibler Jeffreys centroids
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室）
由于词袋建模范式的成功，聚类直方图已成为现代信息处理的重要组成部分。聚类直方图可以使用著名的$k$ -均值质心算法来执行。从应用的角度来看，通常需要处理对称距离。在这封信中，我们考虑的Jeffreys分歧，对称的Kullback-Leibler分歧，并调查Jeffreys质心的计算。我们首先证明了杰弗里斯质心可以用朗伯$W$函数的正直方图解析表示。然后，我们将展示如何获得一个快速保证近似处理时，频率直方图。最后，我们总结了$k$ -均值直方图聚类的一些评论。
2014-01-22 cs.IT cs.LG math.IT
MMSE Bounds Under Kullback-Leibler Divergence Constraints on the Joint Input-Output Distribution
本文提出了一个新的家庭的下限和上限的最小均方误差（MMSE）。关键的想法是最小化/最大化的MMSE的约束下，联合分布的输入输出统计位于一个Kullback-Leibler发散球中心在一些高斯参考分布。这两个界限是紧的，并通过高斯分布，其平均值是相同的参考分布，其协方差矩阵是由一个标量参数，可以通过找到一个单调函数的根来确定。上界对应于一个极小极大最优估计，并提供性能保证下分布的不确定性。下界为估计理论中的著名不等式提供了一种替代方案，例如Cramér-Rao界，它可能更严格，并且定义为更大的一类分布。信号处理和信息论中的应用实例说明了所提出的界限在实践中的实用性。
2020-06-05 cs.IT math.IT stat.OT
A new group of transformations related to the Kullback-Leibler and Rényi divergences and universal classes of monotone measures of statistical complexity
本文提出了一种新型的分歧变换，通过代数结构实现密度函数的单调性变形，并展示了其在统计复杂度度量中的应用。
2025-12-12 cs.IT math-ph math.IT
A New Lower Bound for Kullback-Leibler Divergence Based on Hammersley-Chapman-Robbins Bound
本文基于Hammersley-Chapman-Robbins界（HCRB），导出了Kullback-Leibler散度（KL-散度）的一个有用的下界. HCRB指出，估计量的方差由卡方散度和估计量的期望值从下到上有界。利用KL-散度与卡方散度之间的关系，证明了KL-散度的下界仅依赖于所选函数的期望值和方差.该下界也可以从信息几何方法导出。此外，我们还证明了该不等式对伯努利分布成立，并证明了当两个分布非常接近时，该不等式收敛于Cramér-Rao界.文中还给出了应用实例和数值计算实例。
2019-11-02 cs.IT math.IT math.ST
Bayesian estimation of the Kullback-Leibler divergence for categorical sytems using mixtures of Dirichlet priors
本文提出基于狄利克雷先验混合的贝叶斯方法估计Kullback-Leibler散度，并扩展至平方Hellinger散度，在类别多和散度值高时优于其他估计技术。
2023-07-09 cs.IT math.IT physics.data-an
Kullback-Leibler divergence between quantum distributions, and its upper-bound
这项工作提出了一个上限值，Kullback-Leibler（KL）分歧可以达到一类称为量子分布（QD）的概率分布。目的是找到一个分布$U$，它在假设$P$和$U$是通过分布一个给定的离散量量子而产生的情况下，使KL与给定分布$P$的发散最大化。量子分布自然代表了在实际应用中使用的广泛的概率分布。此外，这类分布可以作为任何概率分布的近似而获得。本文证明了在所比较的分布是相同量子值上的量子分布的条件下，熵散度的上界的恢复是可能的，因此它们是可比较的。因此，当熵散度应用于可比较的分布时，它获得了更强大的意义。在分歧的未来发展中应考虑到这一方面。理论研究结果用于提出一个概念的归一化KL分歧，经验表明，表现不同，从已知的措施。
2020-12-10 cs.IT cs.LG math.IT
Expansion of the Kullback-Leibler Divergence, and a new class of information metrics
推断和比较复杂的多变量概率密度函数是多个领域问题的基础，包括概率学习，网络理论和数据分析。分类和预测是这类问题的两个方面。我们在这里采取的方法，简化了这些问题的许多方面，提出了一个结构化的，系列扩展的Kullback-Leibler分歧-一个功能的核心信息论-并设计一个距离度量的基础上，这种分歧。使用多变量熵和多变量相互作用信息之间的莫比乌斯反演对偶性，我们将发散表示为相互作用变量数量的加性级数，这提供了一组受限和简化的分布，可用作近似值并用于建模数据。这个系列的截断产生基于交互变量的数量的近似值。前几项的扩展截断的说明和自然导致熟悉的近似，包括著名的柯克伍德叠加近似。截断也可以在多信息和交互信息之间导出一个简单的关系。分布之间的距离的测量，基于Kullback-Leibler发散，然后描述和证明是一个真正的度量，如果适当的限制。的扩展示出生成一个层次结构的度量和连接这项工作的信息几何形式主义。我们给出了一个例子，这些指标的应用程序的图形比较的问题，表明形式主义可以应用于广泛的网络问题，提供了一个一般的方法，系统的相互作用或连接的数量近似，和相关的定量度量。
2017-03-29 cs.IT math.IT q-bio.QM
Kullback-Leibler Principal Component for Tensors is not NP-hard
研究了非负张量的非负秩一逼近问题，证明了可以有效地得到使广义Kullback-Leibler发散最小的全局最优解，即，它不是NP难。这个结果适用于具有任意数量模式的任意非负张量（包括两个，即，矩阵）。我们推导出一个封闭形式的表达式KL主成分，这是很容易计算，并具有直观的概率解释。对于广义KL近似与更高的排名，这个问题是第一次被证明是等价的多项式潜变量建模，并推导出一个迭代算法，类似于期望最大化算法。在Iris数据集上，我们展示了导出的结果如何帮助我们以\emph{unsupervised}的方式学习模型，并获得与监督方法惊人接近的性能。
2017-11-21 cs.IT eess.SP math.IT
A Kullback-Leibler divergence method for input-system-state identification
University of Southampton（南安普顿大学）
本文提出一种基于 Kullback-Leibler 散度的 Kalman filter 框架方法，通过比较先验与后验分布选择最合理的输入-参数-状态估计方案，有效解决初始参数猜测导致的不确定性问题，为系统监测提供强大工具。
2025-11-04 cs.AI cs.CV cs.IT
Tight Lower Bounds for $α$-Divergences Under Moment Constraints and Relations Between Different $α$
$α$ -发散包括著名的Kullback-Leibler发散、Hellinger距离和$χ^2$ -发散。在本文中，我们导出了$α$ -发散之间的微分和积分关系，它们是Kullback-Leibler发散和$χ^2$ -发散之间关系的推广.我们还显示了紧的下界的$α$ -发散给定的手段和方差。特别是，我们证明了一个充分必要条件，使二元分歧，这是在同一$2$点集的概率措施之间的分歧，总是达到下界。Kullback-Leibler散度、Hellinger距离和$χ^2$ -散度满足这个条件。
2022-11-27 cs.IT math.IT math.ST
