Geometric Jensen-Shannon Divergence Between Gaussian Measures On Hilbert Space
本研究针对无限维希尔伯特空间的高斯测度场景，推导了等价高斯测度间几何Jensen-Shannon散度的闭式表达式，并基于正定算子对数行列式散度定义了适用于任意高斯测度对的正则化版本，丰富了无限维空间的散度理论。
2025-06-12 cs.IT math.IT math.PR
Sample complexity bounds for the Jensen-Shannon divergence
Weizmann Institute of Science（魏茨曼科学研究所）
研究詹森-香农散度（JSD），通过分析区分两个分布所需数据量，给出对数似然比和多数投票分类器确定数据生成分布所需样本数量，不同分类器样本数量与JSD倒数关系不同，为JSD值提供操作解读。
2026-07-08 cs.IT math.IT
A family of statistical symmetric divergences based on Jensen's inequality
Ecole Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
基于凸函数生成元的Jensen不等式，我们引入了一个新的对称信息论距离的参数族。特别是，当选择香农熵发生器时，这个家族将著名的杰弗里斯发散与詹森-香农发散统一起来。然后，我们设计了一个通用算法来计算定义为最小平均发散的唯一质心。这就产生了一个光滑的质心族，将杰弗里斯质心与詹森-香农质心联系起来。最后，我们报告我们的实验结果。
2011-12-19 cs.CV cs.IT math.IT
Jensen divergence based on Fisher's information
引入了概率分布间Jensen-Fisher散度的度量，建立了其理论基础。与其余的詹森发散相反，这个量对概率分布的波动非常敏感，因为它受（局部）费舍尔信息的控制，这是分布的梯度泛函。因此，在研究分布的相似性时，主要是对于那些具有振荡特征的分布，这是适当的和有益的。新的詹森-费雪发散与詹森-香农发散有以下共同的性质：非负性、适用于任意数量的概率密度时的可加性、在这些密度的交换下的对称性、当且仅当所有密度相等时为零，以及即使这些密度存在非公共零点时也是确定的。此外，Jensen-Fisher散度被示出为表示在相对Fisher信息方面的Jensen-Shannon散度在Kullback-Leibler或相对Shannon熵方面。最后，詹森-香农和詹森-费舍尔的分歧进行了比较，为以下三个大的，非平凡的和定性不同的家庭的概率分布：正弦，广义伽玛样和Rakhmanov-Hermite分布。
2010-12-22 cs.IT math.IT physics.data-an
The Representation Jensen-Shannon Divergence
University of Kentucky（肯塔基大学）
本文提出表示 Jensen-Shannon 散度（RJSD），通过 RKHS 协方差算子度量分布差异，并证明其为 JS 散度下界及 MMD 的高阶扩展，在多项任务中优于现有方法。
2024-10-23 cs.IT cs.LG math.IT
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明，我们的一般界可以专门在各种以前的界限。我们还表明，在某些条件下，我们的一般界限可以专门化为一个新的界限，该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下，我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（电子与计算机工程系，多伦多大学，多伦多，加拿大）
本文提出SurpMark检测器，通过文本token意外性动态总结，利用广义吉辛森-香农散度衡量测试文本与人类和机器生成文本的差异，验证了其在不同领域和生成器上的鲁棒性。
2026-06-23 cs.IT cs.LG math.IT
Two tales for a geometric Jensen--Shannon divergence
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
本文提出一种不归一化几何混合的扩展几何Jensen-Shannon散度，证明其为满足信息单调性的$f$-散度，推导多元Gaussian分布的闭式公式，并揭示其与普通JSD的正则化关系。
2025-09-18 cs.IT cs.LG math.IT
Reconstruction Error Bounds for Compressed Sensing under Poisson Noise using the Square Root of the Jensen-Shannon Divergence
在压缩感知中，高斯或均匀有界噪声下的重构误差界不容易转化为泊松噪声的情况。其原因包括泊松噪声的信号相关性质，以及泊松分布情况下的负对数似然（NLL）（与广义Kullback-Leibler散度（GKLD）相关）不是度量并且不服从三角不等式的事实。存在先前的理论结果的形式证明的误差界的计算易于处理的估计压缩感知问题下泊松噪声。然而，这些结果并不适用于现实的压缩系统，它必须遵守一些关键的约束，如非负性和通量保持。另一方面，在已发表的文献中，对于这样的现实系统存在可证明的误差界，但它们是用于计算上难以处理的估计量。在本文中，我们开发了一个计算上易于处理的估计，这也适用于现实的压缩系统服从所需的约束的误差界。我们的技术取代GKLD，与信息理论度量-即詹森-香农发散（JSD），这是一个近似的，对称版本的泊松NLL的平方根。我们表明，这允许简单的证明的错误界。我们提出并证明了有趣的统计特性的平方根的JSD和利用其他已知的。数值实验显示使用的技术在信号和图像重建从压缩测量泊松噪声。我们的技术适用于稀疏/可压缩信号在任何正交基，工程与任何随机生成的非负和通量保持传感矩阵的概率很高，并提出了一个估计器，其参数是纯粹的统计动机。
2017-09-25 cs.IT math.IT
Extrinsic Jensen-Shannon Divergence: Applications to Variable-Length Coding
本文研究了离散无记忆信道（DMC）中带无噪声反馈的变长编码问题。本文提供了一个随机控制的问题，其解决方案进行了分析，通过一个新提出的对称化的分歧，被称为外在的詹森-香农（EJS）分歧。结果表明，严格的正下界EJS发散提供非渐近上界的预期代码长度。本文提出了严格的正下界EJS分歧，因此非渐近上界的预期代码长度，为以下两个编码方案：可变长度的后验匹配和MaxEJS编码方案，这是基于一个贪婪的最大化的EJS分歧。作为主要结果的一个渐近推论，本文还提供了一个率信度检验。保证满足参数$R$和$E$的测试条件的可变长度编码方案实现速率$R$和误差指数$E$。结果专门用于后验匹配和MaxEJS，以获得确定性的单相编码方案，实现容量和最佳误差指数。对于对称二进制输入信道的特殊情况下，更简单的确定性计划的最佳性能的建议和分析。
2015-01-05 cs.IT math.IT math.OC
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
Sketching, Embedding, and Dimensionality Reduction for Information Spaces
像Hellinger距离和Jensen-Shannon分歧这样的信息距离在信息论和机器学习中有着深刻的根源。它们广泛用于数据分析，特别是当比较的对象是从数据构建的高维经验概率分布时。然而，我们缺乏在应用程序中有效地使用信息距离所需的通用工具，并且具有任何类型的可证明保证。我们不能轻易地勾画出这些距离，或者将它们嵌入到行为更好的空间中，甚至在保持数据概率结构的同时降低空间的维数。在本文中，我们建立这些工具的信息距离-无论是海林格距离和詹森-香农分歧，以及相关的措施，如$χ^2$分歧。我们首先表明，他们可以有效地勾勒（即乘法误差在次线性空间）的聚合流模型。这个结果是指数强于已知的上限，在严格的旋转栅门流模型中绘制这些距离。第二，我们展示了有限维嵌入的结果为詹森-香农和$χ^2$分歧，保持对明智的距离。最后，我们证明了降维结果的Hellinger，詹森-香农，和$χ^2$分歧，保留信息几何的分布（特别是，通过保留单纯形结构的空间）。虽然我们上面的第二个结果已经暗示了这些分歧可以显式地嵌入到欧几里得空间中，但保留单纯形结构是重要的，因为它允许我们继续在约化空间中进行推理。本质上，我们不仅保留了距离结构，而且保留了空间的基本几何结构。
2015-03-17 cs.CG cs.DS cs.IT
The Representation Jensen-Rényi Divergence
University of Kentucky（肯塔基大学）；University of Delaware（特拉华大学）
本文提出一种基于再生核希尔伯特空间算子和Gram矩阵特征值的表示Jensen-Rényi散度，无需估计概率分布，并在分布比较和不平衡数据分类中取得最先进结果。
2022-06-01 cs.IT cs.LG math.IT
Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
Alan Turing Institute（阿兰·图灵研究所）；University College London（伦敦大学学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出辅助分布法，推导适用于监督学习的期望泛化误差新上界，可细化为含α-Jensen-Shannon、α-Rényi信息的有限界，还能推导 excess risk 及分布失配下的泛化误差上界，并给出其更紧的条件。
2024-04-16 cs.IT cs.LG math.IT
The Burbea-Rao and Bhattacharyya centroids
我们研究质心的信息理论的布尔-拉奥分歧，推广了著名的詹森-香农分歧通过测量非负的詹森差引起的严格凸和可微的功能。虽然这些Burbea-Rao分歧在构造上是对称的，但它们不是度量的，因为它们不满足三角不等式。我们首先解释如何一个特定的对称化的Bregman分歧称为詹森-Bregman距离产生正是这些布尔比-拉奥分歧。然后，我们继续通过定义斜布尔-拉奥发散，并表明斜布尔-拉奥发散量在极限情况下计算Bregman发散。然后，我们证明了Burbea-Rao质心是唯一的，可以任意精细近似的一般迭代凹凸优化算法，保证收敛性能。在本文的第二部分中，我们考虑了通常用于测量概率分布重叠程度的Bhattacharyya距离。我们表明，巴塔查里亚距离的成员相同的统计指数家庭金额计算的布尔比-拉奥分歧伪装。因此，我们得到了一个有效的算法计算的Bhattacharyya质心的一组参数分布属于相同的指数家庭，改善了以前的专业方法中发现的文献中，仅限于单变量或“对角”多元高斯。为了说明我们的Bhattacharyya/Burbea-Rao质心算法的性能，我们提出了$k$ -均值和高斯混合模型的层次聚类方法的实验性能结果。
2012-04-19 cs.CG cs.IT math.IT
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布，提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界，包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施，建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上，在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Investigation of Alternative Measures for Mutual Information
互信息$I(X;Y)$是信息论中的一个有用的定义，用于估计随机变量$Y$关于随机变量$X$持有多少信息。定义互信息的一种方式是通过比较$X$和$Y$的联合分布与通过KL-发散的边缘的乘积。如果两个分布彼此接近，则几乎没有$X$从$Y$泄漏，因为两个变量接近于独立。在离散设置中，互信息具有$Y$揭示关于$X$的多少比特的良好解释，并且如果$I(X;Y)=H(X)$（$X$的香农熵），则$X$被完全揭示。然而，在连续的情况下，我们没有同样的推理。例如，在连续情况下，互信息可以是无限的。这一事实使我们能够尝试不同的度量或分歧来定义互信息。在本文中，我们正在评估不同的度量或分歧，如Kullback-Liebler（KL）分歧，Wasserstein距离，Jensen-Shannon分歧和总变异距离，以形成替代的互信息在连续的情况下。我们部署不同的方法来估计或约束这些指标和分歧，并评估其性能。
2022-04-13 cs.CR cs.IT math.IT
