The Representation Jensen-Shannon Divergence
University of Kentucky（肯塔基大学）
本文提出表示 Jensen-Shannon 散度（RJSD），通过 RKHS 协方差算子度量分布差异，并证明其为 JS 散度下界及 MMD 的高阶扩展，在多项任务中优于现有方法。
2024-10-23 cs.IT cs.LG math.IT
Not all Jensen-Shannon Divergence Estimators are Equal
Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid（马德里理工大学电信工程学院信息处理与电信中心）
针对合成表格数据保真度评估中 Jensen-Shannon 散度估计协议不明确的问题，系统研究了不同估计器族、采样协议等因素对估计值的影响，揭示了边际估计器的依赖盲性和分类器估计器的敏感性，并提出了后验校正方法。
2026-06-16 cs.LG
Jensen-Shannon Divergence Message-Passing for Rich-Text Graph Representation Learning
College of Computer and Information Science, Southwest University, Chongqing, China（计算机与信息科学学院，西南大学，重庆，中国）
本文提出JSDMP范式，通过结合结构和文本的相似性与不同性，改进丰富文本图表示学习，提出DMPGCN和DMPPRG两种新型图神经网络，实验表明其优于现有基线。
2025-12-23 cs.LG
HAQJSK: Hierarchical-Aligned Quantum Jensen-Shannon Kernels for Graph Classification
Beijing Normal University（北京师范大学）；Central University of Finance and Economics（中央财经大学）；Zhejiang Normal University（浙江师范大学）；University of York（约克大学）
在这项工作中，我们提出了一个家庭的新的量子内核，即层次对齐的量子詹森-香农核（HAQJSK），非属性图。与大多数现有的经典图核不同，所提出的HAQJSK核可以将图之间的分层对齐结构信息合并，并将随机大小的图转换为固定大小的对齐图结构，即，连续时间量子游走的层次传递对齐邻接矩阵和层次传递对齐密度矩阵。对于手头的一对图，通过测量它们的传递对齐图结构之间的量子詹森-香农发散（QJSD）来定义所得到的HAQJSK内核。我们表明，建议的HAQJSK内核不仅反映了更丰富的内在的全局图的CTQW方面的特点，但也解决了忽略结构对应信息中出现的大多数现有的R-卷积内核的缺点。此外，与QJSD和CTQW相关的量子Jensen-Shannon核不同，HAQJSK核可以同时保证置换不变性和正定性，从而解释了HAQJSK核的理论优势.实验结果表明了所提核函数的有效性。
2022-12-10 cs.AI cs.LG
Nonparametric likelihood-free inference with Jensen-Shannon divergence for simulator-based models with categorical output
Helsinki Institute of Information Technology (HIIT)（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（惠康桑格研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
基于模拟器的统计模型的无可能性推理最近在机器学习和统计社区都引起了极大的兴趣。这些研究领域的主要焦点是通过各种类型的蒙特卡罗采样算法或基于深度神经网络的代理模型来近似模型参数的后验分布。迄今为止，基于模拟器的模型的频率论推理受到的关注要少得多，尽管它特别适用于大数据应用，其中可能性的隐式渐近近似预计是准确的，并且可以利用计算效率高的策略。在这里，我们得出了一组理论结果，使估计，假设检验和置信区间的模型参数使用渐近性质的詹森-香农发散的建设。这样的渐近近似提供了一个快速的替代计算密集型的方法，可以是基于模拟器的模型的各种应用程序的吸引力。61
2022-05-26 cs.LG stat.ME
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore（新加坡科技研究局微电子研究所）
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷，提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法，在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
A generalization of the Jensen divergence: The chord gap divergence
我们引入了一个新的家庭的距离，称为弦隙分歧，推广的詹森分歧（也称为布尔比-饶距离），并研究其性质。它遵循在应用中经常遇到的著名的统计巴塔查里亚距离的概括。我们报告了一个迭代的凹凸程序计算质心，并分析了性能的$k$-均值++聚类相对于新的相异性措施，通过引入泰勒-拉格朗日剩余形式的斜詹森分歧。
2017-11-12 cs.IT cs.LG math.IT
Multiclass Local Calibration with the Jensen-Shannon Distance
University of Trento（特伦托大学）；University of Pisa（比萨大学）；Meta；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出多类局部校准概念，通过 Jensen-Shannon 距离改进神经网络的局部校准能力，解决现有方法在稀疏区域的校准偏差问题。
2026-04-21 cs.AI cs.LG
Likelihood-free Model Choice for Simulator-based Models with the Jensen--Shannon Divergence
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（威康桑格研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
根据数据选择合适的模型结构和参数维数在统计研究中有着丰富的历史，其中第一个开创性的方法是在20世纪70年代开发的，例如Akaike和Schwarz的模型评分标准，这些标准受到信息论的启发，并体现了被称为Occam剃刀的基本原理。在这些开创性的工作之后，模型选择很快被确立为自己的研究领域，在计算机科学和统计学中获得了相当大的关注。然而，到目前为止，已经有有限的尝试，以获得评分标准的模拟器为基础的模型缺乏一个可能性的表达。贝叶斯因素已被认为是这样的模型，但争论已经提出了支持和反对使用它们和周围的问题有关的一致性。在这里，我们使用的渐近性质的詹森-香农发散（JSD），以获得一致的模型评分标准的似然自由设置称为JSD-Razor。分析了JSD-Razor与基于可能性的方法的既定评分标准的关系，并使用合成和真实建模示例展示了我们的标准的有利特性。
2022-06-08 cs.LG stat.ME
Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（电子与计算机工程系，多伦多大学，多伦多，加拿大）
本文提出SurpMark检测器，通过文本token意外性动态总结，利用广义吉辛森-香农散度衡量测试文本与人类和机器生成文本的差异，验证了其在不同领域和生成器上的鲁棒性。
2026-06-23 cs.IT cs.LG math.IT
Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc（索尼计算机科学研究所）；Data61；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
比较凸性是凸性依赖于抽象的平均值概念的一种推广。从比较凸性的角度定义了Jensen散度和Jensen多样性，并给出了广义Bregman散度作为斜Jensen散度的极限情形的证明.特别是，我们报告这些广义Bregman分歧时，考虑准算术平均值的明确公式。最后，我们介绍了一个推广的Bhattacharyya统计距离的基础上比较手段使用相对凸性。
2017-05-03 cs.IT cs.LG math.IT
Two tales for a geometric Jensen--Shannon divergence
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
本文提出一种不归一化几何混合的扩展几何Jensen-Shannon散度，证明其为满足信息单调性的$f$-散度，推导多元Gaussian分布的闭式公式，并揭示其与普通JSD的正则化关系。
2025-09-18 cs.IT cs.LG math.IT
Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Michigan Technological University（密歇根理工大学）
针对贝叶斯神经网络中基于KL散度的变分推断优化不稳定等问题，提出基于改进广义JS散度和几何JS散度的新型损失函数，在含噪或有偏数据集上性能更优，并量化了相关不确定性指标。
2024-12-03 cs.LG
A note on the quasiconvex Jensen divergences and the quasiconvex Bregman divergences derived thereof
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文首先介绍了一类严格拟凸和严格拟凹的有向（非对称）距离Jensen发散，并研究了它们的一些性质。然后，我们定义严格拟凸Bregman发散为缩放和斜拟凸Jensen发散的极限情形，并给出一个简单的封闭公式，证明这些发散在生成元的可数个拐点处只是伪发散.为了解决这个问题，我们提出了$δ$ -平均拟凸Bregman分歧，整合的伪分歧在一个小的邻域，以获得一个适当的分歧。$δ$ -平均拟凸Bregman发散公式甚至推广到不可微严格拟凸生成元。这些不同元素之间的拟凸Bregman发散具有总是具有一个方向有限而另一个方向无限的性质。我们表明，这些拟凸Bregman分歧也可以被解释为极限情况下的广义斜Jensen分歧相对于比较凸的使用权力的手段。最后，我们说明了这些拟凸Bregman分歧自然出现的Kullback-Leibler分歧属于一个相同的参数分布族与嵌套支持的概率密度之间的等价分歧。
2019-10-04 cs.IT cs.LG math.IT
DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay
Griffith University, Australia（澳大利亚格里菲斯大学）；Fudan University, China（复旦大学）；Beijing University of Post（北京邮电大学）；Shanghai Innovation Institute, China（上海创新研究院）；Shanghai Academy of Artificial Intelligence for Science, China（上海人工智能科学研究院）
本文提出DyJR方法，通过动态参考分布和Jensen-Shannon散度正则化，在强化学习中保持多样性，提升数学推理和Text-to-SQL任务性能。
2026-10-14 cs.AI cs.LG
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation
University of Aberdeen（阿伯丁大学）；Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；University of Colorado Anschutz Medical Campus（科罗拉多大学安舒兹医学校区）；University of Sheffield（谢菲尔德大学）
本文提出基于Jensen-Shannon散度的ARC-JSD方法，实现高效准确的上下文归因，提升RAG模型的性能和效率。
2026-02-11 cs.AI cs.CL cs.LG
A Novel Solution for Zero-Day Attack Detection in IDS using Self-Attention and Jensen-Shannon Divergence in WGAN-GP
Institute for Digital Technologies, Loughborough University, London, UK（数字技术研究所，伦敦大学洛夫顿分校）
本文提出SA-WGAN-GP和JS-WGAN-GP模型，通过自注意力机制和詹森-肖恩散度提升IDS对零日攻击的检测能力。
2026-03-19 cs.AI cs.CR cs.LG
The Representation Jensen-Rényi Divergence
University of Kentucky（肯塔基大学）；University of Delaware（特拉华大学）
本文提出一种基于再生核希尔伯特空间算子和Gram矩阵特征值的表示Jensen-Rényi散度，无需估计概率分布，并在分布比较和不平衡数据分类中取得最先进结果。
2022-06-01 cs.IT cs.LG math.IT
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
Bounds on Bayes Factors for Binomial A/B Testing
DELL（戴尔）
在许多情况下，贝叶斯因子已被证明是连接经典的基于值的显著性检验和后验几率的贝叶斯分析的桥梁。本文讨论了在二项式A/B测试设置（适用于例如转换测试）的这种现象。结果表明，贝叶斯因子受两个试验组成功率的\emph{Jensen-Shannon divergence}控制，并进一步受Welch统计量的约束。结果表明，bavelet的样本界几乎与frequenist的样本界相匹配。詹森-香农发散和韦尔奇检验之间的联系以及推导是信息几何工具的一个优雅应用。
2019-02-28 cs.LG stat.OT
Spectral Clustering with Jensen-type kernels and their multi-point extensions
Indian Institute of Science（印度科学院）
多分布的分歧，起源于信息论，我们提出了一个概念的“多点”内核，并研究其应用。我们研究了一类基于詹森型分歧的内核，并表明这些可以扩展到多个点之间的相似性测量。研究了张量平坦化方法，提出了一种多点（核）谱聚类方法。我们进一步强调所提出的内核，这是一个多点扩展的线性（点积）内核的特殊情况下，并显示在这种情况下的立方时间张量平坦算法的存在。最后，我们使用标准数据集和图像分割任务说明了我们的贡献的有用性。
2014-03-18 cs.LG
Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
Alan Turing Institute（阿兰·图灵研究所）；University College London（伦敦大学学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出辅助分布法，推导适用于监督学习的期望泛化误差新上界，可细化为含α-Jensen-Shannon、α-Rényi信息的有限界，还能推导 excess risk 及分布失配下的泛化误差上界，并给出其更紧的条件。
2024-04-16 cs.IT cs.LG math.IT
Divergences induced by dual subtractive and divisive normalizations of exponential families and their convex deformations
Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文研究指数族在减式与除式归一化下诱导的散度关系，证明未归一化密度的α-散度等价于配分函数诱导的缩放α-偏斜Jensen散度，并利用比较凸性构造凸变形下的对偶平坦空间。
2024-01-18 cs.IT cs.LG math.IT
On $w$-mixtures: Finite convex combinations of prescribed component distributions
Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）；Data61；the Australian National University（澳大利亚国立大学）；the University of Sydney（悉尼大学）
我们考虑$w$ -混合空间，它被定义为在凸组合下具有相同指定分量分布的有限统计混合集。由Bregman生成元集诱导的信息几何在这个空间上产生了一个称为混合族流形的对偶平坦空间。我们展示了Kullback-Leibler（KL）发散如何从负熵发生器的相应Bregman发散中恢复：即两个$w$ -混合物之间的KL发散相当于由Shannon负熵发生器引起的Bregman发散（BD）。因此，共享相同高斯分量的两个高斯混合模型（GMM）之间的KL发散等价于Bregman发散。混合族流形上的KL-BD等价性意味着我们可以在没有信息损失的情况下对$w$ -混合物进行最优KL平均聚集。更一般地说，我们证明了$w$ -混合物之间的统计偏Jensen-香农发散等价于它们相应的参数之间的偏Jensen发散。最后，我们陈述了与$w$ -混合有关的几个性质、发散恒等式和不等式。
2021-06-08 cs.LG
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
