Seven Means, Generalized Triangular Discrimination, and Generating Divergence Measures
Eve（2003）从几何的角度研究了七种平均数。这些平均值是调和、几何、算术、Heronian、反调和、均方根和质心平均值。我们第一次考虑了一种称为广义三角歧视的新措施。非负差异之间的不平等，由于七个手段和特殊情况下的广义三角歧视被认为是。给出了一些新的生成测度及其指数表示。
2012-03-13 cs.IT math.IT
On Relations Between Tight Bounds for Symmetric $f$-Divergences and Binary Divergences
在约束条件下极小化散度测度是一个重要的问题。在给定三角判别或给定均值和方差的条件下，我们得到了二元发散测度为对称发散测度提供下界的一个充分条件。假设这个充分条件，前一个界总是紧的，当两个概率测度具有相同的方差时，后一个界是紧的。这些结果的非平衡物理的应用。
2022-11-10 cs.IT math.IT math.ST
Bounds on f-Divergences between Distributions within Generalized Quasi-$\varepsilon$-Neighborhood
本文在广义拟-$\varepsilon_{(M,m)}$-邻域框架内建立了概率测度间f-散度的可计算界，通过统一刻画局部分布邻近性、推广一阶可微散度分类及提供更紧的反向Pinsker不等式，在拟合优度检验渐近分析中展现出效力。
2025-08-10 cs.IT math.IT
A family of statistical symmetric divergences based on Jensen's inequality
Ecole Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
基于凸函数生成元的Jensen不等式，我们引入了一个新的对称信息论距离的参数族。特别是，当选择香农熵发生器时，这个家族将著名的杰弗里斯发散与詹森-香农发散统一起来。然后，我们设计了一个通用算法来计算定义为最小平均发散的唯一质心。这就产生了一个光滑的质心族，将杰弗里斯质心与詹森-香农质心联系起来。最后，我们报告我们的实验结果。
2011-12-19 cs.CV cs.IT math.IT
Generalized Pinsker Inequality for Bregman Divergences of Negative Tsallis Entropies
Università Ca’ Foscari Venezia（威尼斯卡福斯卡里大学）；Politecnico di Torino（都灵理工大学）；University of Ottawa（渥太华大学）；Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
本文提出了一种广义pinsker不等式，用于负tsallis熵生成的bregman散度，确定了最优常数并提供了sharp bound。
2026-02-05 cs.IT math.IT
$α$-divergence derived as the generalized rate function in a power-law system
从精确的$q$ -Stirling公式中明确地表达了Tsallis统计量（幂律系统）中的广义二项分布。$α$ -散度（或$q$ -散度）是从广义二项分布唯一导出的，在这个意义上，当$α\rightarrow-1$（即，$q\rightarrow1$），它恢复从标准二项分布获得的KL散度。基于这些组合考虑，证明了$α$ -发散（或$q$ -发散）在Tsallis统计量的大偏差估计中作为广义率函数出现.
2014-05-11 cs.IT math-ph math.IT
Generalized Statistics Framework for Rate Distortion Theory with Bregman Divergences
在Tsallis广义（非广延）统计量的范围内，给出了率失真（RD）理论在Bregman发散下的变分原理.建立了Tsallis-Bregman RD下界。替代最小化方案的广义Bregman RD（GBRD）理论推导。一个计算策略来实现GBRD模型。的GBRD模型的有效性举例说明与数值模拟的帮助。
2007-01-15 cond-mat.stat-mech cs.IT math.IT
Some results on a $χ$-divergence, an~extended~Fisher information and~generalized~Cramér-Rao inequalities
我们提出了一个修改后的$χ^β$ -发散，给出了它的一些性质，并表明，这导致广义Fisher信息的定义。我们给出了广义Cramér-Rao不等式，其中包含Fisher信息，Fisher信息矩阵的扩展，以及估计误差的任意范数和幂。在一个位置参数的情况下，我们得到新的广义$q$ -高斯的特征，例如作为一个给定的时刻，最大限度地减少广义Fisher信息的分布。最后，我们指出如何广义Fisher信息可以导致新的不确定性关系。
2013-05-27 cs.IT math.IT stat.ML
Tight Bounds for Symmetric Divergence Measures and a Refined Bound for Lossless Source Coding
几个对称的发散措施的紧界导出的总变化距离。它示出，这些边界中的每一个是由一对2或3元概率分布。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。这些界限的另一个应用最近由Yardi介绍。等用于信道码检测。
2015-03-11 cs.IT math.IT math.PR
Generalized Bregman and Jensen divergences which include some f-divergences
本文通过推广Bregman发散和斜Jensen发散的定义，引入了新的发散类.这些新的发散类（g-Bregman发散和斜g-Jensen发散）满足一些类似于Bregman发散或斜Jensen发散的性质。我们发现这些g-发散包括属于一类f-发散的发散（Hellinger距离，卡方发散和α-发散除了Kullback-Leibler发散）。此外，我们还得到了g-Bregman发散与斜g-Jensen发散之间的一个不等式，并证明了这个不等式是Lin不等式的推广.
2018-09-20 cs.IT math.IT math.ST
A Short Note on the Jensen-Shannon Divergence between Simple Mixture Distributions
这篇短文给出了两个离散混合分布$p_1$和$p_2$之间的对称Jensen-Shannon发散的结果。具体地，对于$i=1,2$，$p_i$是公共分布$q$和具有混合比例$λ_i$的分布$\tilde{p}_i$的混合。通常，$\tilde{p}_1\neq \tilde{p}_2$和$λ_1\neqλ_2$。我们提供了实验和理论的洞察$p_1$和$p_2$之间的对称詹森-香农分歧的混合比例或$\tilde{p}_1$和$\tilde{p}_2$之间的分歧的变化的行为。我们还提供了对发行版$\tilde{p}_1$、$\tilde{p}_2$和$q$的支持不一致的场景的深入了解。
2018-12-06 cs.IT math.IT
A simple probabilistic construction yielding generalized entropies and divergences, escort distributions and q-Gaussians
我们给出了一个简单的概率描述两个国家之间的过渡，导致广义护送分布。当分布的参数变化时，它定义了一条参数曲线，我们称之为护送路径，雷尼发散是这种设置的自然副产品。我们研究了这条路径上的Fisher信息的动力学，并特别表明，热力学的分歧是成比例的杰弗里斯的分歧。接下来，我们考虑的问题推断的护送路径上的分布，受广义矩约束。我们表明，我们的设置自然会导致雷尼信息分歧的最小化的理由。然后，我们得到的最佳分布作为一个广义的q-高斯分布。
2012-06-04 cond-mat.stat-mech cs.IT math-ph
Maximizing the Bregman divergence from a Bregman family
最大化指数族的信息分歧的问题被推广到设置Bregman分歧和适当定义的Bregman族。
2020-01-23 cs.IT math.IT
Deformed Statistics Kullback-Leibler Divergence Minimization within a Scaled Bregman Framework
Tsallis统计中的广义Kullback-Leibler发散（K-Ld）[受广义统计的加性对偶（对偶广义K-Ld）的约束]在这里与正态平均定义的期望的Bregman发散理论在测度论框架内相一致。具体地说，它证明了对偶广义K-Ld是一个标度Bregman发散。毕达哥拉斯定理是从最小判别信息原理中推导出来的，它使用对偶广义K-Ld作为不确定性的度量，约束条件由正态平均值定义。对偶广义K-Ld的最小化，正常平均值的约束，表现出明显的独特功能。
2011-09-08 cond-mat.stat-mech cs.IT math-ph
On the Kullback-Leibler divergence between location-scale densities
我们表明，任何两个密度之间的$f$ -分歧的潜在不同的位置尺度家庭可以减少到一个标准密度与另一个位置尺度密度之间的$f$ -分歧的计算。由此可见，两个尺度密度之间的$f$ -发散仅取决于尺度比。然后，我们报告的标准分布的条件，以获得对称的$f$ -分歧：首先，我们证明了所有的$f$ -分歧的位置家庭的密度是对称的，只要标准密度是均匀的，第二，我们说明了一个通用的对称性与计算的Kullback-Leibler分歧之间的规模柯西分布。最后，我们表明，最小$f$发散的任何查询密度的一个位置-尺度家庭的另一个位置-尺度家庭是独立的查询位置-尺度参数。
2021-02-15 cs.IT math.IT math.ST
Generalized Bregman Divergence and Gradient of Mutual Information for Vector Poisson Channels
我们调查之间的连接信息理论和估计理论的矢量泊松信道模型的数量。特别是，我们概括的梯度互信息相对于关键系统参数从标量到矢量泊松信道模型。我们还提出，作为另一个贡献，一个泛化的经典Bregman发散，提供了一种手段，封装在一个统一的框架下的梯度的互信息结果的标量和矢量泊松和高斯信道模型。所谓的广义Bregman发散也表现出各种性质类似的经典版本的属性。鉴于其在各个领域中的应用，矢量泊松信道模型引起了相当大的关注：例如，互信息的梯度的可用性可以与梯度下降方法结合使用，以在新兴的X射线和文档分类应用中实现压缩感测投影设计。
2013-05-09 cs.IT math.IT stat.ML
Generalized Score Matching: Bridging $f$-Divergence and Statistical Estimation Under Correlated Noise
本文将score matching扩展至非各向同性Gaussian向量信道，推导出 $f$-散度与解码器失配估计损失的新表示，统一并扩展了现有理论，并将De Bruijn恒等式推广至失配模型以应用于生成模型。
2025-04-27 cs.IT math.IT
Scaled Bregman divergences in a Tsallis scenario
Tsallis统计量中的Kullback-Leibler散度（K-Ld）存在两种不同的形式，即通常的广义K-Ld和广义Bregman K-Ld。在试图调和它们时遇到了问题。借助于Tsallis统计量的可加对偶性，得到了这两种广义K-Ld-形式相容的条件。它还表明，通常的广义K-Ld服从这种加性对偶，称为对偶广义K-Ld，是一个标度Bregman发散。这导致了一个有趣的结论：对偶广义互信息是一个标度Bregman信息。这些结果的效用和影响进行了讨论。
2011-03-08 cond-mat.stat-mech cs.IT math-ph
On $f$-divergences between Cauchy distributions
证明了一元Cauchy分布之间的$f$ -散度都是对称的，并且可以表示为对称卡方散度的严格递增标量函数.我们报告相应的标量函数的总变差距离，Kullback-Leibler分歧，平方Hellinger分歧，和詹森-香农分歧等。其次，我们给出了将$f$ -发散展开为收敛的高阶幂χ-发散无穷级数的条件，并给出了表示Cauchy分布之间的$f$ -发散的Taylor级数收敛的判据.然后，我们表明，对称性的$f$ -发散持有规定的矩阵尺度的多元位置-尺度的家庭提供的标准密度是甚至，其中包括多元正常和柯西家庭的情况下。然而，多元柯西密度与不同的尺度矩阵之间的$f$ -分歧是不对称的。最后，我们给出了一元Cauchy分布之间的$f$ -发散的几种度量，并进一步报道了Kullback-Leibler发散的几何嵌入性质.
2021-12-07 cs.IT math.IT math.ST
Generalized Exponential Concentration Inequality for Rényi Divergence Estimation
在许多机器学习任务中，以一致的方式估计分歧是非常重要的。虽然这是一个基本问题，在非参数统计，据我们所知，一直没有有限样本指数不等式收敛界推导出任何分歧估计。本文的主要贡献是给出了$d$维单位立方体$[0, 1]^d$上光滑Hölder密度类的Rényi-$α$散度估计的一个界.我们还说明了我们的理论结果与数值实验。
2016-03-28 cs.IT math.IT math.ST
Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc（索尼计算机科学研究所）；Data61；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
比较凸性是凸性依赖于抽象的平均值概念的一种推广。从比较凸性的角度定义了Jensen散度和Jensen多样性，并给出了广义Bregman散度作为斜Jensen散度的极限情形的证明.特别是，我们报告这些广义Bregman分歧时，考虑准算术平均值的明确公式。最后，我们介绍了一个推广的Bhattacharyya统计距离的基础上比较手段使用相对凸性。
2017-05-03 cs.IT cs.LG math.IT
Cramér-Rao Lower Bounds Arising from Generalized Csiszár Divergences
本文研究了广义Csiszár $f$ -发散族的概率分布几何。相对$α$ -熵是这个家族的一员，它也是信息论中相对熵的Rényi模拟，在统计学中被称为对数或投影功率发散。我们应用江口的理论推导出Fisher信息度量和对偶仿射连接所产生的这些广义发散函数。这使我们能够得到一个更广泛适用的克拉美-拉奥不等式，它为潜在参数概率分布的护送估计量的方差提供了一个下界。然后，我们扩展Amari-Nagaoka的双平坦结构的指数和混合模型的其他分布相对于上述广义度量。我们表明，这些配方使我们找到无偏和有效的估计护送模型。最后，我们比较了我们的工作与以前的结果，来自非信息几何框架的广义Cramér-Rao不等式。
2020-05-24 cs.IT eess.SP math.IT
Optimal transport with $f$-divergence regularization and generalized Sinkhorn algorithm
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）
熵正则化提供了原来的最优输运问题的推广。它引入了由Kullback-Leibler散度定义的惩罚项，通过著名的Sinkhorn算法使问题更容易处理。用一般的$f$ -发散代替Kullback-Leibler发散，得到自然的推广。由超线性函数定义的发散的情况最近由Di Marino和Gerolin研究。利用凸分析，我们推广了迄今为止发展的理论，使之包括了所有由Legendre型函数定义的$f$ -发散，并证明了在一些温和的条件下，强对偶成立，原问题和对偶问题都能达到最优，$c$ -变换的推广是定义良好的，我们给出了广义Sinkhorn算法收敛到最优解的充分条件.我们提出了一个实用的算法计算的近似解的最优输运问题的$f$ -发散正则化通过广义Sinkhorn算法。最后，我们提出了实验结果的合成2维数据，展示了使用不同的$f$ -发散正则化，影响收敛速度，数值稳定性和稀疏的最佳耦合的效果。
2023-01-03 cs.IT cs.LG math.FA
Nested Inequalities Among Divergence Measures
在本文中，我们考虑了一个不等式有11个已知的分歧措施。这个不等式包括的措施，如：Jeffryes-Kullback-Leiber J-分歧，詹森-香农分歧（Burbea-Rao，1982年），算术-几何平均分歧（Taneja，1995年），Hellinger歧视，对称卡方分歧，三角歧视等所有这些措施是众所周知的文献中的信息论和统计。这一系列的11项措施还包括Kumar和Johnson（2005年）以及Jain和Srivastava（2007年）提出的措施。三个措施所产生的由于一些平均分歧也出现在这个不等式。基于非负的差异所产生的，由于这个单一的不等式的11个措施，我们已经把超过40个发散措施嵌套或顺序的形式。还介绍了反向不等式的思想。
2012-05-05 cs.IT math.IT
Sequences of Inequalities Among New Divergence Measures
在信息论和统计学的文献中，存在三种经典的分歧度量。这就是Jeffryes-Kullback-Leiber J-发散。Sibson-Burbea-Rao Jensen-Shannon散度和Taneja算术-几何平均散度。这三个措施承担一个有趣的相互关系，并基于对数表达式。像海灵格歧视，对称卡方发散，三角歧视的分歧措施也是已知的文献中，并不是基于对数表达式。过去几年Dragomir等人，Kumar、Johnson、Jain和Srivastava研究了不同类型的散度测度。本文提出了一些新的发散测度，得到了与这些新测度有关的不等式，并与以前的结果进行了联系。还介绍了指数发散的概念。
2011-09-26 cs.IT math.IT
Probability Link Models with Symmetric Information Divergence
University of Isfahan（伊斯法罕大学）；Institute for Research in Fundamental Sciences（基础科学研究所）；Fox Chase Cancer Center（福克斯·蔡斯癌症中心）；Temple University Health System（天普大学卫生系统）；Northern Illinois University（北伊利诺伊大学）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；Temple University（天普大学）
本文引入了将一个概率分布转换为另一个的连接函数，使得两个分布之间的Kullback-Leibler和Rényi分歧是对称的。提出了两类通用的链路模型。第一个模型连接了两个生存函数，适用于生存分析和可靠性建模中使用的比例比值和变点等模型。涉及比例优势模型的原型应用程序演示了对称发散措施的优势，非对称措施，用于评估功能的功效和模型平均的目的。其优点包括为模型提供唯一的秩和为模型平均提供唯一的信息权重，其计算量为非对称发散的一半。第二个模型连接两个累积概率分布函数。该模型产生了一个广义的位置模型，它是诸如probit和logit模型的二元概率模型的连续对应物。例如，在生存分析文献中出现的广义probit和logit模型，以及作为与各二进制概率模型对应的生存时间模型的广义Laplace模型和广义Student- $t$模型。最后，生存函数和copula依赖信息的条件之间的对称发散的扩展。
2020-08-10 cs.IT cs.LG math.IT
Diffusion Hypercontractivity via Generalized Density Manifold
我们证明了一个单参数扩散超压缩族，并给出了相关的Log-Sobolev，Poincare和Talagrand不等式。提出了平均场型Bakry-Emery迭代演算和基于体积测度的积分公式（Yano公式）。我们的结果是基于散度泛函、广义扩散过程和广义最优输运度量之间的插值。得到了Pearson散度（P）、负Sobolev度量H^-1和广义Fisher信息泛函（I）之间的一个不等式，称为PH^{-1}I不等式.
2019-10-29 cs.IT math.AP math.IT
Bounds on the Excess Minimum Risk via Generalized Information Divergence Measures
Department of Mathematics and Statistics, Queen’s University（数学与统计学系，皇后大学）
本文针对马尔可夫链下的超额最小风险问题，利用 Rényi 散度等广义信息散度度量推导出上界，放宽了次高斯参数限制，并在特定参数下获得了比互信息更紧的界限。
2025-05-30 cs.IT cs.LG math.IT
On a generalization of the Jensen-Shannon divergence and the JS-symmetrization of distances relying on abstract means
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
Jensen-Shannon散度是无界Kullback-Leibler散度的一个著名的有界对称化，它度量了总Kullback-Leibler散度对平均混合分布的影响。然而，高斯分布之间的詹森-香农发散并没有封闭的形式。为了绕过这个问题，我们提出了一个广义的詹森-香农（JS）的分歧，使用抽象的手段，产生封闭形式的表达式时，平均值是根据参数的分布族选择。更一般地说，我们定义的JS-对称化的任何距离使用广义统计的混合物来自抽象的手段。特别地，我们首先证明了几何平均值非常适合于指数族，并报告了两个封闭形式的公式（i）相同指数族概率密度之间的几何Jensen-Shannon发散，和（ii）反向Kullback-Leibler发散的几何JS对称化。作为第二个说明性的例子，我们表明，调和平均值是非常适合的规模柯西分布，并报告一个封闭形式的公式的调和简森-香农分歧规模柯西分布之间。我们还定义了矩阵之间的广义Jensen-Shannon发散（例如，量子Jensen-Shannon分歧），并考虑这些新的Jensen-Shannon分歧的聚类。
2022-09-20 cs.IT cs.LG math.IT
Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（电子与计算机工程系，多伦多大学，多伦多，加拿大）
本文提出SurpMark检测器，通过文本token意外性动态总结，利用广义吉辛森-香农散度衡量测试文本与人类和机器生成文本的差异，验证了其在不同领域和生成器上的鲁棒性。
2026-06-23 cs.IT cs.LG math.IT
f-divergences and their applications in lossy compression and bounding generalization error
在本文中，我们提供了三个应用$f$ -发散：（i）我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散，并表明，我们的广义Sanov的界严格改善普通的，（ii）我们考虑的有损压缩问题，研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数，使用相互$f$ -信息，并提供新的和严格更好的界限，可实现的速率在有限块长度制度，使用超级模块$f$ -分歧，和（iii）我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限，（对于某些例子）严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Information Geometry and Classical Cramér-Rao Type Inequalities
United States CCDC Army Research Laboratory（美国陆军作战能力发展司令部研究实验室）；Indian Institute of Technology Palakkad（印度理工学院帕拉卡德校区）
我们研究了经典的Cramér-Rao（CR）型不等式的背景下，信息几何的作用。特别是，我们专注于江口的理论，获得二元几何结构的发散函数，然后应用Amari-Nagoaka的理论，以获得CR型不等式。经典的确定性CR不等式是由Kullback-Leibler（KL）-分歧推导出来的。我们证明了这个框架可以推广到其他CR型不等式通过四个例子：$α$ -版本的CR不等式，广义CR不等式，贝叶斯CR不等式，贝叶斯$α$ -CR不等式。这些分别从$I_α$ -散度（或相对$α$ -熵）、广义Csiszár散度、贝叶斯KL散度和贝叶斯$I_α$ -散度获得。
2021-08-22 cs.IT cs.LG eess.SP
A Constructive Approach to $q$-Gaussian Distributions: $α$-Divergence as Rate Function and Generalized de Moivre-Laplace Theorem
Graduate School of Informatics, Chiba University（千叶大学信息科学研究院）；Istituto dei Sistemi Complessi (ISC-CNR) c/o, Politecnico di Torino（都灵理工大学内的复杂系统研究所（ISC-CNR））
本文提出一种构造性方法，通过非线性微分方程dy/dx = y^q推导幂律分布，证明其LDP并展示α-散度作为速率函数，同时推导广义德摩根-拉普拉斯定理，揭示q-高斯分布的渐进行为。
2026-04-01 cond-mat.stat-mech cs.IT math.IT
On a generalization of the Jensen-Shannon divergence
Jensen-Shannon发散是Kullback-Leibler发散的一个著名的有界对称化，它不需要概率密度有匹配的支撑。本文引入了标量$α$ -Jensen-Bregman发散的向量斜推广，并由此导出了向量斜$α$ -Jensen-Shannon发散.我们研究了这些新的分歧的性质，并展示了如何建立参数家庭的对称詹森-香农型分歧。最后，我们报告了一个迭代算法，数值计算的詹森-香农型质心的概率密度属于一个混合物的家庭：这包括的情况下，詹森-香农质心的一组分类分布或归一化直方图。
2019-12-19 cs.IT math.IT math.ST
Escort entropies and divergences and related canonical distribution
我们讨论两个家庭的两个参数的熵和发散，来自标准的Rényi和Tsallis熵和发散。这些分歧和熵被认为是护送分布的分歧或熵。利用非负性的分歧，我们推导出与新的熵和一个观察到的护送平均值的正则分布的表达式。我们表明，这种典型的分布扩展，并顺利连接，在非广延热力学的标准和广义平均值约束的结果。
2011-09-15 cond-mat.stat-mech cs.IT math-ph
On Minimum Divergence for Distribution Reconstruction
ENS de Lyon（里昂高等师范学院）
该研究探讨分布重构的最小散度问题，发现KL散度是唯一满足熵适配性的C²型f-散度，替换为其他光滑f-散度会丧失最佳近似性质，且通过数值示例验证了该结论。
2026-10-16 cs.IT math.IT math.ST
