A family of statistical symmetric divergences based on Jensen's inequality
Ecole Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
基于凸函数生成元的Jensen不等式，我们引入了一个新的对称信息论距离的参数族。特别是，当选择香农熵发生器时，这个家族将著名的杰弗里斯发散与詹森-香农发散统一起来。然后，我们设计了一个通用算法来计算定义为最小平均发散的唯一质心。这就产生了一个光滑的质心族，将杰弗里斯质心与詹森-香农质心联系起来。最后，我们报告我们的实验结果。
2011-12-19 cs.CV cs.IT math.IT
Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc（索尼计算机科学研究所）；Data61；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
比较凸性是凸性依赖于抽象的平均值概念的一种推广。从比较凸性的角度定义了Jensen散度和Jensen多样性，并给出了广义Bregman散度作为斜Jensen散度的极限情形的证明.特别是，我们报告这些广义Bregman分歧时，考虑准算术平均值的明确公式。最后，我们介绍了一个推广的Bhattacharyya统计距离的基础上比较手段使用相对凸性。
2017-05-03 cs.IT cs.LG math.IT
A Short Note on the Jensen-Shannon Divergence between Simple Mixture Distributions
这篇短文给出了两个离散混合分布$p_1$和$p_2$之间的对称Jensen-Shannon发散的结果。具体地，对于$i=1,2$，$p_i$是公共分布$q$和具有混合比例$λ_i$的分布$\tilde{p}_i$的混合。通常，$\tilde{p}_1\neq \tilde{p}_2$和$λ_1\neqλ_2$。我们提供了实验和理论的洞察$p_1$和$p_2$之间的对称詹森-香农分歧的混合比例或$\tilde{p}_1$和$\tilde{p}_2$之间的分歧的变化的行为。我们还提供了对发行版$\tilde{p}_1$、$\tilde{p}_2$和$q$的支持不一致的场景的深入了解。
2018-12-06 cs.IT math.IT
Nonextensive Generalizations of the Jensen-Shannon Divergence
凸性是信息论中的一个关键概念，即通过Jensen不等式的许多含义，例如Kullback-Leibler散度（KLD）的非负性。詹森不等式也是詹森-香农散度（JSD）概念的基础，JSD是KLD的对称化和平滑化版本。本文引入了新的JSD型分歧，通过扩展其两个积木：凸性和香农熵。特别地，引入了一个新的q-凸性概念，并证明了它满足一个Jensen q-不等式.基于这个Jensen q不等式，建立了Jensen-Tsallis q差，它是JSD的非广延推广，基于Tsallis熵.最后，利用凸性和极值对Jensen-Tsallis q-差分进行了刻画.
2008-04-10 cs.IT math.IT math.ST
Metrization of powers of the Jensen-Shannon divergence
本文针对 Osán 等人关于多项分布间 Jensen-Shannon 散度分数次幂可度量化的猜想给出肯定证明，并将方法推广到 Cauchy 分布间的 $f$-散度幂。
2025-07-04 cs.IT math.IT
A note on the quasiconvex Jensen divergences and the quasiconvex Bregman divergences derived thereof
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文首先介绍了一类严格拟凸和严格拟凹的有向（非对称）距离Jensen发散，并研究了它们的一些性质。然后，我们定义严格拟凸Bregman发散为缩放和斜拟凸Jensen发散的极限情形，并给出一个简单的封闭公式，证明这些发散在生成元的可数个拐点处只是伪发散.为了解决这个问题，我们提出了$δ$ -平均拟凸Bregman分歧，整合的伪分歧在一个小的邻域，以获得一个适当的分歧。$δ$ -平均拟凸Bregman发散公式甚至推广到不可微严格拟凸生成元。这些不同元素之间的拟凸Bregman发散具有总是具有一个方向有限而另一个方向无限的性质。我们表明，这些拟凸Bregman分歧也可以被解释为极限情况下的广义斜Jensen分歧相对于比较凸的使用权力的手段。最后，我们说明了这些拟凸Bregman分歧自然出现的Kullback-Leibler分歧属于一个相同的参数分布族与嵌套支持的概率密度之间的等价分歧。
2019-10-04 cs.IT cs.LG math.IT
On a Variational Definition for the Jensen-Shannon Symmetrization of Distances based on the Information Radius
我们广义的詹森-香农发散考虑一个变分的定义，从而扩展了西布森的信息半径的概念。变分定义适用于任何任意距离，并产生另一种定义距离的詹森-香农对称化的方法。当变分优化被进一步约束为属于指定的概率测度族时，我们得到了相对Jensen-Shannon发散和对称化，推广了信息投影的概念.最后，我们讨论这些变分詹森-香农分歧和多样性指数的聚类和量化任务的概率措施，包括统计混合物的应用。
2021-04-02 cs.IT math.IT
Geometric Jensen-Shannon Divergence Between Gaussian Measures On Hilbert Space
本研究针对无限维希尔伯特空间的高斯测度场景，推导了等价高斯测度间几何Jensen-Shannon散度的闭式表达式，并基于正定算子对数行列式散度定义了适用于任意高斯测度对的正则化版本，丰富了无限维空间的散度理论。
2025-06-12 cs.IT math.IT math.PR
The Representation Jensen-Rényi Divergence
University of Kentucky（肯塔基大学）；University of Delaware（特拉华大学）
本文提出一种基于再生核希尔伯特空间算子和Gram矩阵特征值的表示Jensen-Rényi散度，无需估计概率分布，并在分布比较和不平衡数据分类中取得最先进结果。
2022-06-01 cs.IT cs.LG math.IT
The Representation Jensen-Shannon Divergence
University of Kentucky（肯塔基大学）
本文提出表示 Jensen-Shannon 散度（RJSD），通过 RKHS 协方差算子度量分布差异，并证明其为 JS 散度下界及 MMD 的高阶扩展，在多项任务中优于现有方法。
2024-10-23 cs.IT cs.LG math.IT
Sample complexity bounds for the Jensen-Shannon divergence
Weizmann Institute of Science（魏茨曼科学研究所）
研究詹森-香农散度（JSD），通过分析区分两个分布所需数据量，给出对数似然比和多数投票分类器确定数据生成分布所需样本数量，不同分类器样本数量与JSD倒数关系不同，为JSD值提供操作解读。
2026-07-08 cs.IT math.IT
Two tales for a geometric Jensen--Shannon divergence
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
本文提出一种不归一化几何混合的扩展几何Jensen-Shannon散度，证明其为满足信息单调性的$f$-散度，推导多元Gaussian分布的闭式公式，并揭示其与普通JSD的正则化关系。
2025-09-18 cs.IT cs.LG math.IT
Extrinsic Jensen-Shannon Divergence: Applications to Variable-Length Coding
本文研究了离散无记忆信道（DMC）中带无噪声反馈的变长编码问题。本文提供了一个随机控制的问题，其解决方案进行了分析，通过一个新提出的对称化的分歧，被称为外在的詹森-香农（EJS）分歧。结果表明，严格的正下界EJS发散提供非渐近上界的预期代码长度。本文提出了严格的正下界EJS分歧，因此非渐近上界的预期代码长度，为以下两个编码方案：可变长度的后验匹配和MaxEJS编码方案，这是基于一个贪婪的最大化的EJS分歧。作为主要结果的一个渐近推论，本文还提供了一个率信度检验。保证满足参数$R$和$E$的测试条件的可变长度编码方案实现速率$R$和误差指数$E$。结果专门用于后验匹配和MaxEJS，以获得确定性的单相编码方案，实现容量和最佳误差指数。对于对称二进制输入信道的特殊情况下，更简单的确定性计划的最佳性能的建议和分析。
2015-01-05 cs.IT math.IT math.OC
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（电子与计算机工程系，多伦多大学，多伦多，加拿大）
本文提出SurpMark检测器，通过文本token意外性动态总结，利用广义吉辛森-香农散度衡量测试文本与人类和机器生成文本的差异，验证了其在不同领域和生成器上的鲁棒性。
2026-06-23 cs.IT cs.LG math.IT
Divergences induced by dual subtractive and divisive normalizations of exponential families and their convex deformations
Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文研究指数族在减式与除式归一化下诱导的散度关系，证明未归一化密度的α-散度等价于配分函数诱导的缩放α-偏斜Jensen散度，并利用比较凸性构造凸变形下的对偶平坦空间。
2024-01-18 cs.IT cs.LG math.IT
Reconstruction Error Bounds for Compressed Sensing under Poisson Noise using the Square Root of the Jensen-Shannon Divergence
在压缩感知中，高斯或均匀有界噪声下的重构误差界不容易转化为泊松噪声的情况。其原因包括泊松噪声的信号相关性质，以及泊松分布情况下的负对数似然（NLL）（与广义Kullback-Leibler散度（GKLD）相关）不是度量并且不服从三角不等式的事实。存在先前的理论结果的形式证明的误差界的计算易于处理的估计压缩感知问题下泊松噪声。然而，这些结果并不适用于现实的压缩系统，它必须遵守一些关键的约束，如非负性和通量保持。另一方面，在已发表的文献中，对于这样的现实系统存在可证明的误差界，但它们是用于计算上难以处理的估计量。在本文中，我们开发了一个计算上易于处理的估计，这也适用于现实的压缩系统服从所需的约束的误差界。我们的技术取代GKLD，与信息理论度量-即詹森-香农发散（JSD），这是一个近似的，对称版本的泊松NLL的平方根。我们表明，这允许简单的证明的错误界。我们提出并证明了有趣的统计特性的平方根的JSD和利用其他已知的。数值实验显示使用的技术在信号和图像重建从压缩测量泊松噪声。我们的技术适用于稀疏/可压缩信号在任何正交基，工程与任何随机生成的非负和通量保持传感矩阵的概率很高，并提出了一个估计器，其参数是纯粹的统计动机。
2017-09-25 cs.IT math.IT
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
Some results on a $χ$-divergence, an~extended~Fisher information and~generalized~Cramér-Rao inequalities
我们提出了一个修改后的$χ^β$ -发散，给出了它的一些性质，并表明，这导致广义Fisher信息的定义。我们给出了广义Cramér-Rao不等式，其中包含Fisher信息，Fisher信息矩阵的扩展，以及估计误差的任意范数和幂。在一个位置参数的情况下，我们得到新的广义$q$ -高斯的特征，例如作为一个给定的时刻，最大限度地减少广义Fisher信息的分布。最后，我们指出如何广义Fisher信息可以导致新的不确定性关系。
2013-05-27 cs.IT math.IT stat.ML
The Burbea-Rao and Bhattacharyya centroids
我们研究质心的信息理论的布尔-拉奥分歧，推广了著名的詹森-香农分歧通过测量非负的詹森差引起的严格凸和可微的功能。虽然这些Burbea-Rao分歧在构造上是对称的，但它们不是度量的，因为它们不满足三角不等式。我们首先解释如何一个特定的对称化的Bregman分歧称为詹森-Bregman距离产生正是这些布尔比-拉奥分歧。然后，我们继续通过定义斜布尔-拉奥发散，并表明斜布尔-拉奥发散量在极限情况下计算Bregman发散。然后，我们证明了Burbea-Rao质心是唯一的，可以任意精细近似的一般迭代凹凸优化算法，保证收敛性能。在本文的第二部分中，我们考虑了通常用于测量概率分布重叠程度的Bhattacharyya距离。我们表明，巴塔查里亚距离的成员相同的统计指数家庭金额计算的布尔比-拉奥分歧伪装。因此，我们得到了一个有效的算法计算的Bhattacharyya质心的一组参数分布属于相同的指数家庭，改善了以前的专业方法中发现的文献中，仅限于单变量或“对角”多元高斯。为了说明我们的Bhattacharyya/Burbea-Rao质心算法的性能，我们提出了$k$ -均值和高斯混合模型的层次聚类方法的实验性能结果。
2012-04-19 cs.CG cs.IT math.IT
Generalization of the de Bruijn's identity to general $ϕ$-entropies and $ϕ$-Fisher informations
在本文中，我们提出了推广的de Bruijn的身份的基础上扩展的香农熵，Fisher信息和相关的分歧或相对措施。这些推广的基础是$ϕ$ -熵和发散的Csiszá的类（或Salicrú的类）考虑在一个多维的上下文中，包括一维的情况下，并为几种类型的噪声信道，其特征在于一个更一般的概率分布超出了众所周知的高斯噪声。发现这些熵或发散相对于噪声参数的梯度和/或hessian自然地产生Fisher信息或发散的广义版本，其被命名为$ϕ$ -Fisher信息（发散）。所得到的恒等式可以看作是经典de Bruijn恒等式的进一步推广。类似地，它示出了一个类似的关系之间的$ϕ$发散和扩展的均方误差，命名为$ϕ$均方误差，高斯信道。
2016-11-28 cs.IT math.IT
Sketching, Embedding, and Dimensionality Reduction for Information Spaces
像Hellinger距离和Jensen-Shannon分歧这样的信息距离在信息论和机器学习中有着深刻的根源。它们广泛用于数据分析，特别是当比较的对象是从数据构建的高维经验概率分布时。然而，我们缺乏在应用程序中有效地使用信息距离所需的通用工具，并且具有任何类型的可证明保证。我们不能轻易地勾画出这些距离，或者将它们嵌入到行为更好的空间中，甚至在保持数据概率结构的同时降低空间的维数。在本文中，我们建立这些工具的信息距离-无论是海林格距离和詹森-香农分歧，以及相关的措施，如$χ^2$分歧。我们首先表明，他们可以有效地勾勒（即乘法误差在次线性空间）的聚合流模型。这个结果是指数强于已知的上限，在严格的旋转栅门流模型中绘制这些距离。第二，我们展示了有限维嵌入的结果为詹森-香农和$χ^2$分歧，保持对明智的距离。最后，我们证明了降维结果的Hellinger，詹森-香农，和$χ^2$分歧，保留信息几何的分布（特别是，通过保留单纯形结构的空间）。虽然我们上面的第二个结果已经暗示了这些分歧可以显式地嵌入到欧几里得空间中，但保留单纯形结构是重要的，因为它允许我们继续在约化空间中进行推理。本质上，我们不仅保留了距离结构，而且保留了空间的基本几何结构。
2015-03-17 cs.CG cs.DS cs.IT
Generalized Symmetric Divergence Measures and the Probability of Error
在信息论和统计学的文献中，存在三种经典的分歧度量。这就是Jeffryes-Kullback-Leiber J-发散。Sibson-Burbea-Rao Jensen-Shannon分歧和Taneja算术-几何分歧。这三种措施之间存在着有趣的关系。像海林格歧视，对称卡方发散，三角歧视的分歧措施也是已知的文献。在本文中，我们考虑了广义对称散度测度的特殊情况，上述措施。误差概率的界得到广义对称发散措施。误差概率的界的研究扩展的分歧措施的差异。
2011-03-30 cs.IT math.IT
Fisher Information and Mutual Information Constraints
我们考虑由信道$p(y|x)$处理统计样本$X\sim P_θ$，并且表征来自用于估计参数$θ\in\mathbb{R}^d$的样本的统计信息如何可以与信道的互信息或容量成比例。我们表明，如果统计模型具有亚高斯得分函数，那么用于从$Y$估计$θ$的Fisher信息矩阵的迹可以最多与$X$和$Y$之间的互信息线性地缩放。我们应用这一结果得到了分布统计估计问题的极大极小下界，并得到了高斯均值估计的紧前常数。然后，我们展示了如何我们的Fisher信息界也可以暗示互信息或基于詹森-香农发散的分布式强数据处理不等式。
2021-07-08 cs.IT math.IT math.ST
Trivergence of Probability Distributions, at glance
在本文中，我们介绍了直观的概念，三叉概率分布（TPD）。这个概念允许我们计算三个对象之间的相似性。对于这个计算，我们可以使用众所周知的概率发散的度量，如Kullback-Leibler和Jensen-Shannon。在信息检索任务中可以使用发散度量，如自动文本摘要、文本分类等。
2015-06-20 cs.IT math.IT
Group invariance of $f$-divergences and the Fisher--Rao distance
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室有限公司）；Department of Mathematics, Faculty of Science, Shizuoka University（静冈大学理学部数学系）
研究群作用下统计模型对称性对分布比较的影响，证明$f$-散度在变换模型下具有群不变性，并应用于多维位置-尺度族，表明Fisher-Rao距离也有相同约化。
2026-06-25 cs.IT math.IT math.ST
On Voronoi diagrams and dual Delaunay complexes on the information-geometric Cauchy manifolds
Sony Computer Science Laboratories, Inc（索尼计算机科学实验室公司）
从信息几何的观点出发，通过考虑Fisher-Rao距离、Kullback-Leibler发散、卡方发散以及与Fisher-Rao曲线几何的共形平坦化有关的Tsallis二次熵的平坦发散，研究了有限柯西分布及其对偶复形的沃罗诺伊图.我们证明了Fisher-Rao距离的沃罗诺伊图、卡方发散和Kullback-Leibler发散在相应的Cauchy位置尺度参数下都与双曲Voronoi图重合，并且对偶Cauchy双曲Delaunay复形与Cauchy双曲沃罗诺伊图是Fisher正交的.对偶沃罗诺伊图与对偶正/反向平坦发散的关系相当于对偶Bregman沃罗诺伊图，它们的对偶复形是正则三角剖分。原始Bregman-Tsallis沃罗诺伊图对应于双曲沃罗诺伊图，对偶Bregman-Tsallis沃罗诺伊图与普通欧氏沃罗诺伊图重合。此外，我们证明了柯西分布之间的Kullback-Leibler散度的平方根产生一个度量距离，该距离对于柯西尺度族是希尔伯特的。
2020-06-18 cs.CG cs.IT cs.LG
Fisher information distance: a geometrical reading
本文是一个强几何方法的费舍尔距离，这是一个衡量两个概率分布函数之间的相异性。Fisher距离以及其他发散度量也用于许多应用中，以建立适当的数据平均值。主要目的是扩大范围的可能的解释和关系的Fisher距离及其相关的几何的应用前景。它侧重于统计模型的正常概率分布函数，并利用连接与经典的双曲几何推导出封闭形式的Fisher距离在几种情况下。与著名的库尔贝克-莱布勒散度措施的连接也被设计。
2014-01-10 cs.IT math-ph math.IT
On $f$-divergences between Cauchy distributions
证明了一元Cauchy分布之间的$f$ -散度都是对称的，并且可以表示为对称卡方散度的严格递增标量函数.我们报告相应的标量函数的总变差距离，Kullback-Leibler分歧，平方Hellinger分歧，和詹森-香农分歧等。其次，我们给出了将$f$ -发散展开为收敛的高阶幂χ-发散无穷级数的条件，并给出了表示Cauchy分布之间的$f$ -发散的Taylor级数收敛的判据.然后，我们表明，对称性的$f$ -发散持有规定的矩阵尺度的多元位置-尺度的家庭提供的标准密度是甚至，其中包括多元正常和柯西家庭的情况下。然而，多元柯西密度与不同的尺度矩阵之间的$f$ -分歧是不对称的。最后，我们给出了一元Cauchy分布之间的$f$ -发散的几种度量，并进一步报道了Kullback-Leibler发散的几何嵌入性质.
2021-12-07 cs.IT math.IT math.ST
From f-divergence to quantum quasi-entropies and their use
Csiszar的两个概率分布的f-散度被作者在1985年推广到量子情形。在量子背景下，半正定矩阵代替概率分布，量子推广称为拟熵，它与协方差、二次代价、Fisher信息、Cramer-Rao不等式和测不准关系等重要概念有关。解释了关于Fisher信息几何的标量曲率的一个猜想。所描述的主题概述了详细的矩阵设置，但在最后冯诺依曼代数方法勾勒不久。
2009-09-20 cs.IT math.IT math.ST
Universal Estimation of the Fisher Information for Processes with Memory
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种仅从模拟器输出估计具有记忆过程Fisher信息率的方法，利用KL散度曲率与CTW估计，实现强相合且误差阶为n^{-1/3}，实验验证其精度不随深度下降。
2026-09-15 cs.IT eess.SP math.IT
Fluctuation-response theorem for Kullback-Leibler divergences to quantify causation
我们定义了一个新的措施的因果关系的波动响应定理Kullback-Leibler分歧，基于信息理论的扰动成本。这种信息响应既具有信息理论测量所需的不变性，又具有扰动传播的物理解释。在线性系统中，信息响应简化为传递熵，提供了Fisher和互信息之间的联系。
2021-02-13 cond-mat.stat-mech cs.IT math.IT
Empirical non-parametric estimation of the Fisher Information
费舍尔信息矩阵是统计信号处理中的一个基本概念。该函数依赖于概率分布，假设它属于一个光滑的参数族。传统的估计概率密度的方法需要估计概率分布函数（PDF）或其参数以及其梯度或Hessian。然而，在许多实际情况下，数据的PDF是未知的，但统计人员可以访问任何参数值的观察样本。在这里，我们提出了一种方法，估计直接从采样数据，不需要知识的基础PDF的。该方法基于参数空间局部邻域上的$f$ -散度的非参数估计以及$f$ -散度的曲率与散度之间的关系。因此，我们获得了FIM的经验估计量，该估计量不需要密度估计并且是渐进一致的。我们经验评估我们的方法使用两个实验的有效性。
2014-11-16 cs.IT math.IT stat.CO
Second-Order Asymptotics of Two-Sample Tests
IIT Kharagpur（印度理工学院卡拉格普尔分校）
研究双样本检验中基于任意散度的广义Gutman检验，证明其达到最优一阶指数，且不变散度检验与Gutman检验具有相同二阶渐近性，并建立与鲁棒拟合优度检验的联系。
2026-07-10 cs.IT math.IT
Multi-sensor data fusion based on a generalised belief divergence measure
Southwest University（西南大学）
多传感器数据融合技术在实际应用中发挥着重要作用。由于证据理论在建模和处理不确定信息时不考虑先验概率的灵活性和有效性，因此在信息融合的各个领域得到了广泛的应用。然而，当融合高度冲突的证据时，可能会出现违反直觉的结果。为了解决这一问题，提出了一种基于广义信度测度的多传感器数据融合方法。该方法首先综合考虑证据的充分性和重要性，确定证据的可靠性权重;在此基础上，根据证据的可信度权重，设计了一种新的广义置信度Jensen-Shannon散度（GBJS）来度量多个证据之间的差异和冲突程度，并利用GBJS来度量证据的支持度。然后，在使用Dempster合成规则之前，先用证据的支持度对证据体进行调整。最后通过故障诊断实例验证了该方法的有效性。
2018-06-05 cs.AI cs.IT math.IT
A mathematical study of the excess growth rate
Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）
本文从信息论角度研究超额增长率，建立其性质并给出三个公理刻画定理，同时探讨最大化问题及其与增长最优组合的关系。
2026-06-12 cs.IT math.IT math.PR
Fisher Information and the Fourth Moment Theorem
使用表示的得分函数的发散算子，我们表现出一个充分条件，在Malliavin导数的范数的负矩，根据Fisher信息收敛到标准高斯序列属于一个给定的维纳混沌实际上是等价的收敛只有第四时刻。因此，我们的结果可以被认为是一个进一步的积木相关的最近，但已经丰富的文献致力于Nualart和Peccati的四阶矩定理。为了说明我们的方法的力量，我们证明了一个局部极限定理连同一些速度的正常收敛的标准化版本的二次变分的分数布朗运动的收敛。
2013-12-20 cs.IT math.IT math.PR
A New Family of Bounded Divergence Measures and Application to Signal Detection
我们引入了一个新的单参数族的分歧措施，称为有界Bhattacharyya距离（BBD）措施，量化之间的概率分布的相异性。这些测度是有界的、对称的和半正定的，并且不要求绝对连续。在渐近极限下，BBD测度逼近平方Hellinger距离。本文还介绍了多分布的广义BBD测度。我们证明了一个定理的扩展Bradt和Karlin BBD有关贝叶斯错误概率和分歧排名。我们证明了BBD属于广义Csiszar f-散度类，并得到了一些性质，如曲率和与Fisher信息的关系。对于具有向量值参数的分布，曲率矩阵与Fisher-Rao度量有关。我们得到一定的BBD和著名的措施，如海林格和詹森-香农分歧之间的不平等。我们还推导出贝叶斯错误概率的界限。我们给出了这些措施的应用程序的问题，信号检测，我们比较两个单色信号埋在白噪声和不同的频率和幅度。
2016-04-10 cs.IT math.IT math.PR
The exponential family in abstract information theory
我们介绍了广义的概念的发散函数和Fisher信息矩阵。我们建议推广指数族模型的概念，重新制定它的Fisher信息矩阵。我们的方法是那些信息几何。上下文足够通用，可以包括来自外部统计的应用程序。
2013-02-21 cs.IT math-ph math.IT
Distances between probability distributions of different dimensions
比较概率分布是机器学习和统计学中不可或缺且普遍存在的任务。比较一对波莱尔概率测度最常见的方法是计算它们之间的度量，到目前为止，度量的最广泛使用的概念是瓦瑟斯坦度量和全变差度量。下一个最常见的方法是计算它们之间的散度，在这种情况下，几乎所有已知的散度，如Kullback-Leibler，Jensen-Shannon，Rényi等，都是$f$ -散度的特殊情况。然而，这些度量和偏差可以仅被计算，事实上，仅被定义，当该对概率测度在相同维度的空间上时。比如说，如何量化区间$[-1,1]$上的均匀分布和$\mathbb{R}^3$上的高斯分布之间的KL-发散？我们表明，这些常见的度量和分歧的概念产生了自然的距离之间的Borel概率测度定义在不同的维度，例如，空间，一个在$\mathbb{R}^m$上，另一个在$\mathbb{R}^n$上，其中$m, n$是不同的，以便对前面的问题给出有意义的答案。
2022-01-30 cs.IT math.IT math.PR
A numerical approximation method for the Fisher-Rao distance between multivariate normal distributions
Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文通过离散化正态分布间曲线并用 Jeffreys 散度平方根近似局部 Rao 距离，比较多种参数化插值曲线与 Calvo-Oller 等距嵌入曲线，结合上下界评估近似质量。
2023-03-27 cs.CV cs.IT cs.LG
Least $k$th-Order and Rényi Generative Adversarial Networks
The Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
我们研究了使用参数化的信息论测度族来推广生成对抗网络（GANs）的损失函数，以提高性能。首先引入了一种新的发电机损失函数，称为最小$k$ th阶GAN（L $k$ GAN），通过使用具有$k \geq 1$的$k$ th阶绝对误差失真度量来推广最小二乘GANs（LSGAN）（当$k=2$时恢复LSGAN损失函数）。它表明，最小化这个广义损失函数下（无约束）的最佳的最小化的$k$第阶Pearson-Vajda分歧是等价的。另一种新的GAN生成器损失函数接下来根据具有阶$α>0$，$α\neq 1$的Rényi交叉熵泛函被提出。结果表明，这种Rényi为中心的广义损失函数，它可证明减少到原来的GAN损失函数$α\to1$，保持平衡点所满足的原始GAN的基础上的Jensen-Rényi分歧，一个自然的扩展Jensen-Shannon分歧。实验结果表明，提出的损失函数，应用于MNIST和CelebA数据集，在DCGAN和StyleGAN架构下，分别通过参数$k$和$α$提供的额外自由度赋予性能优势。更具体地说，实验表明，通过Fréchet Inception Distance（FID）评分和训练稳定性测量，生成的图像质量有所改善。虽然它在本研究中被应用于GANs，但所提出的方法是通用的，可以用于信息论在深度学习中的其他应用，例如，人工智能中的公平或隐私问题。
2021-03-11 cs.IT cs.LG math.IT
A note on the $f$-divergences between multivariate location-scale families with either prescribed scale matrices or location parameters
本文推广了 Ali 和 Silvey 关于 $f$-散度与马氏距离关系的经典结果，给出了多元位置族和尺度族密度之间 $f$-散度可由马氏距离或矩阵谱散度刻画的充分条件，使无闭式形式的散度也能精确比较。
2022-05-31 cs.IT math.IT math.ST
A simple probabilistic construction yielding generalized entropies and divergences, escort distributions and q-Gaussians
我们给出了一个简单的概率描述两个国家之间的过渡，导致广义护送分布。当分布的参数变化时，它定义了一条参数曲线，我们称之为护送路径，雷尼发散是这种设置的自然副产品。我们研究了这条路径上的Fisher信息的动力学，并特别表明，热力学的分歧是成比例的杰弗里斯的分歧。接下来，我们考虑的问题推断的护送路径上的分布，受广义矩约束。我们表明，我们的设置自然会导致雷尼信息分歧的最小化的理由。然后，我们得到的最佳分布作为一个广义的q-高斯分布。
2012-06-04 cond-mat.stat-mech cs.IT math-ph
