Balancing reconstruction error and Kullback-Leibler divergence in Variational Autoencoders
University of Bologna（博洛尼亚大学）；Department of Informatics: Science and Engineering (DISI)（信息学系：科学与工程（DISI））
在变分自编码器的损失函数中，在两个分量之间存在众所周知的张力：重建损失，其提高所得图像的质量，以及Kullback-Leibler发散，其充当潜在空间的正则化器。正确地平衡这两个组成部分是一个微妙的问题，很容易导致不良的生成行为。在最近的工作中，戴和Wipf通过允许网络在训练期间根据合适的损失函数学习平衡因子来获得合理的改进。在这篇文章中，我们展示了学习可以被一个简单的确定性计算所取代，这有助于理解底层机制，并导致更快，更准确的行为。在Cifar和Celeba等典型数据集上，我们的技术明显优于所有以前的VAE架构。
2020-02-18 cs.LG cs.NE
On the Importance of the Kullback-Leibler Divergence Term in Variational Autoencoders for Text Generation
University of Cambridge（剑桥大学）；Microsoft Research Cambridge（微软剑桥研究院）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
已知变分自编码器（VAE）由于诸如近似后向塌陷或潜在空间的纠缠之类的问题而遭受学习输入的无信息潜在表示。我们对VAE目标函数内的Kullback-Leibler（KL）发散项施加了明确的约束。虽然显式约束自然避免后崩溃，我们用它来进一步理解KL项在控制通过VAE通道传输的信息的意义。在这个框架内，我们探索了估计后验分布的不同属性，并强调了训练过程中潜在代码中编码的信息量与模型的生成能力之间的权衡。
2019-09-30 cs.CL cs.LG
Probabilistic learning inference of boundary value problem with uncertainties based on Kullback-Leibler divergence under implicit constraints
Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
在第一部分中，我们提出了一个数学分析的一般方法的概率学习推理，允许估计一个后验概率模型的随机边界值问题的先验概率模型。给定的目标是统计矩，其基本实现不可用。在这些条件下，使用库尔贝克-莱布勒散度最小原理来估计后验概率度量。介绍了一种隐式映射的统计代理模型，它代表了约束条件。MCMC生成器和必要的数值元素，以方便在并行计算框架中的方法的实施。在第二部分中，一个应用程序来说明所提出的理论，也是，因此，在微观尺度和宏观尺度的非分离的情况下，非均匀线弹性介质的三维随机均匀化的贡献。在利用概率学习推理构造后验概率测度时，除了随机有效弹性张量的给定统计矩所定义的约束外，还加入了随机偏微分方程的随机归一化留数的二阶矩作为约束.这个约束保证了算法试图使统计矩更接近它们的目标，同时保留一个小的残差。
2022-02-10 cs.LG stat.ME stat.ML
Kullback-Leibler Principal Component for Tensors is not NP-hard
研究了非负张量的非负秩一逼近问题，证明了可以有效地得到使广义Kullback-Leibler发散最小的全局最优解，即，它不是NP难。这个结果适用于具有任意数量模式的任意非负张量（包括两个，即，矩阵）。我们推导出一个封闭形式的表达式KL主成分，这是很容易计算，并具有直观的概率解释。对于广义KL近似与更高的排名，这个问题是第一次被证明是等价的多项式潜变量建模，并推导出一个迭代算法，类似于期望最大化算法。在Iris数据集上，我们展示了导出的结果如何帮助我们以\emph{unsupervised}的方式学习模型，并获得与监督方法惊人接近的性能。
2017-11-21 cs.IT eess.SP math.IT
A new criterion based on Kullback-Leibler information for space filling designs
试验设计是一种工具，它可以大大减少耗时的计算机代码所需的模拟次数。一个策略选择的投入，其响应是要观察的值，是选择这些值，使它们均匀分布在整个实验区域，根据？空间填充设计？在这篇文章中，我们提出了一个新的标准的基础上的Kullback-Leibler信息的设计建设。其目的是最小化设计点的经验分布与均匀分布之间的差异，这相当于最大化香农熵。用蒙特卡罗方法估计熵，其中用其核密度估计器或通过使用最近邻距离来替换密度函数。
2009-04-16 math.ST stat.TH
On the Interventional Kullback-Leibler Divergence
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；National University of Singapore（新加坡国立大学）
现代机器学习方法在静态设置中表现出色，在静态设置中，大量的i.i.d.训练数据可用于给定任务。然而，在动态环境中，智能代理需要能够跨域传输知识和重用学习的组件。有人认为，这可能是通过因果模型，旨在反映模块化的现实世界中的独立的因果机制。然而，给定数据集的真实因果结构通常是不可识别的，因此期望具有量化模型之间的差异的手段（例如，在观察和干预层面上，地面实况和估计之间）。在目前的工作中，我们引入了干预Kullback-Leibler（IKL）分歧，以量化模型之间的结构和分布差异，这些差异基于一组有限的多环境分布，这些分布是由来自地面真实的干预所产生的。由于我们通常不能量化因果模型之间的所有差异，为每一个有限的干预分布集，我们提出了一个充分条件的干预目标，以确定子集的观察变量上的模型可证明同意或不同意。
2023-02-10 cs.AI cs.LG
Plans D'Experiences D'Information De Kullback-Leibler Minimale
试验设计是一种工具，它可以大大减少耗时的计算机代码所需的模拟次数。因为我们不知道反应和输入之间的真实关系，设计应该允许一个适合各种模型，并应提供有关实验区域的所有部分的信息。根据“空间填充设计”，选择观察响应的输入值的一种策略是选择这些值，使它们均匀分布在整个实验区域。在本文中，我们提出了一种新的方法，该方法基于将设计中点的经验分布与具有Kullback-Leibler信息的均匀分布进行比较。所考虑的方法包括估计这种差异，或者，香农熵。用蒙特卡罗方法估计熵，其中密度函数被其核密度估计器或通过使用最近邻距离代替
2008-11-02 stat.ME
Ratio Divergence Learning Using Target Energy in Restricted Boltzmann Machines: Beyond Kullback--Leibler Divergence Learning
Graduate School of Arts and Sciences, University of Tokyo（东京大学艺术与科学研究生院）
提出比率散度（RD）学习方法，结合前向与反向KL散度优势，用于受限玻尔兹曼机训练，显著提升能量拟合、模式覆盖与稳定性，且高维优势更明显。
2024-09-12 cond-mat.dis-nn cs.LG math.ST
Free energy computations by minimization of Kullback-Leibler divergence: an efficient adaptive biasing potential method for sparse representations
本文提出了一种自适应偏置势计算自由能景观。它的动机是统计学习参数和统一的任务偏置的分子动力学逃离自由能阱和估计的自由能函数，在同一个目标。它提供了严格的收敛诊断，即使历史依赖，非马尔可夫动态。它利用贪婪的优化方案，以获得稀疏表示的自由能函数，这可能是特别有用的多维情况下。它采用基于自适应顺序蒙特卡罗的并行采样方案，可以很容易地与传统的分子动力学模拟器相结合。学习和采样方案的顺序性质使得能够有效地计算由温度参数化的自由能函数。所提出的方法的特点和能力证明在三个数值例子。
2010-11-10 math-ph math.MP physics.comp-ph
Parallelizing MCMC with Machine Learning Classifier and Its Criterion Based on Kullback-Leibler Divergence
University of Toyama（富山大学）
本研究提出基于KL散度的机器学习分类器方法，用于加速MCMC并行计算，通过识别可重构区域近似目标后验分布，简化超参数调整。
2024-11-07 stat.CO
Estimating Kullback-Leibler Divergence Using Kernel Machines
UCLA（加州大学洛杉矶分校）
最近，已经提出了一种使用神经网络的称为互信息神经估计（MINE）的方法来估计两个分布之间的互信息以及更一般地Kullback-Leibler（KL）发散。该方法使用Donsker-Varadhan表示来估计KL散度，并且在可扩展性和灵活性方面优于现有的估计器。MINE算法的输出不能保证是一致的估计量。我们提出了一个新的估计，而不是搜索功能之间的特点，神经网络搜索功能的再生核希尔伯特空间。我们证明了所提出的估计是一致的。我们进行了模拟，并表明，当数据集是小的，建议的估计是更可靠的比MINE估计，当数据集是大的，这两种方法的性能接近。
2019-08-17 cs.LG stat.ML
Guaranteed bounds on the Kullback-Leibler divergence of univariate mixtures using piecewise log-sum-exp inequalities
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
信息论度量，如两个混合模型之间的熵、交叉熵和Kullback-Leibler散度，是许多信号处理任务中的核心基元。由于混合物的库尔贝克-莱布勒分歧可证明不允许封闭形式的公式，因此在实践中，它要么使用昂贵的蒙特卡罗随机积分来估计，要么使用各种技术来近似或限制。我们提出了一种快速和通用的方法，建立算法封闭形式的下限和上限的熵，交叉熵和混合物的Kullback-Leibler发散。我们说明了多功能的方法，通过报告我们的实验近似单变量指数混合物，高斯混合物，瑞利混合物，伽玛混合物之间的Kullback-Leibler发散。
2016-08-17 cs.IT cs.LG math.IT
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）
我们介绍了一种方法，KL-LIME，用于解释贝叶斯预测模型的预测，通过将预测分布中的信息局部投影到一个更简单，可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理（LIME）方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Model Fusion with Kullback--Leibler Divergence
MIT（麻省理工学院）；IBM Research（IBM研究院）
我们提出了一种方法来融合后验分布从异构数据集学习。我们的算法依赖于一个平均场假设的融合模型和个人数据集后验和收益使用一个简单的分配和平均的方法。通过求解分配问题的正则化变体，将数据集后验的分量分配给所提出的全局模型分量。然后，基于这些分配通过它们在KL发散下的平均值来更新全局分量。对于指数族变分分布，我们的配方导致一个有效的非参数算法计算融合模型。我们的算法是易于描述和实现，高效，和最先进的运动捕捉分析，主题建模，和联邦学习的贝叶斯神经网络的竞争力。
2020-07-13 cs.LG stat.ML
Risk Bounds for Mixture Density Estimation on Compact Domains via the $h$-Lifted Kullback--Leibler Divergence
School of Mathematics and Physics（数学与物理学院）；The University of Queensland（昆士兰大学）；Institute of Mathematics for Industry（产业数学研究所）；Kyushu University（九州大学）；School of Computing, Engineering, and Mathematical Sciences（计算、工程与数学科学学院）；La Trobe University（拉筹伯大学）
我们考虑的问题，估计概率密度函数的样本数据的基础上，使用有限的混合密度从一些组件类。为此，我们引入了$h$ -提升Kullback-Leibler（KL）分歧作为标准库尔贝克-莱布勒散度的推广和进行风险最小化的标准。在紧支撑假设下，我们证明了当使用$h$ -提升的库尔贝克-莱布勒散度时，期望估计误差的$\mathcal{O}(1/{\sqrt{n}})$界，推广了Rakhlin等人的结果.（2005年，ESAIM：概率与统计，第9卷）和李和巴伦（1999，Advances in Neural Information ProcessingSystems，Vol.12），以允许不是严格正的密度函数的风险边界。我们开发了一个程序的计算相应的最大$h$ -提升似然估计（$h$ -MLLE）使用的优化最大化框架，并提供实验结果支持我们的理论界。
2024-12-22 cs.LG stat.ML
Simulation-based Inference with the Generalized Kullback-Leibler Divergence
University of Amsterdam（阿姆斯特丹大学）
针对基于模拟的推断中传统神经后验估计难以拟合未归一化代理的问题，提出优化广义Kullback-Leibler散度的方法，统一神经后验与比率估计，并验证了兼具二者优势的混合模型的效果。
2023-10-03 cs.LG stat.CO stat.ML
Learning Multi-Sense Word Distributions using Approximate Kullback-Leibler Divergence
Indian Institute of Technology（印度理工学院）
学习单词表征已经获得了更大的关注，在最近的过去，由于其不同的文本应用。词嵌入封装了句子的句法和语义嵌入。将词嵌入建模为多意义高斯混合分布，将额外地捕获词的不确定性和多义性。我们建议使用基于Kullback-Leibler（KL）发散的目标函数来学习单词的高斯混合表示。基于KL散度的能量函数提供了更好的距离度量，可以有效地捕获词之间的蕴涵和分布相似性。由于混合高斯的KL发散的困难，我们去高斯混合之间的KL近似。我们进行了定性和定量的实验基准词相似度和蕴涵数据集证明了所提出的方法的有效性。
2019-11-12 cs.CL cs.LG stat.ML
Kullback-Leibler Maillard Sampling for Multi-armed Bandits with Bounded Rewards
University of Arizona（亚利桑那大学）
针对[0,1]区间有界奖励的K臂老虎机问题，提出Maillard采样的扩展算法KL-MS，实现KL型依赖间隙的后悔界，伯努利奖励下渐近最优，且保留闭式动作概率可用于离线策略评估。
2024-04-11 cs.LG stat.ML
Kullback-Leibler Penalized Sparse Discriminant Analysis for Event-Related Potential Classification
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, UNL, CONICET, FICH（信号、系统与智能计算研究所，国立利托拉尔大学，国家科学与技术研究理事会，水文与工程系）；Facultad de Ingeniería, Universidad Nacional de Entre Ríos（国立恩特雷里奥斯大学工程学院）；Instituto de Matemática Aplicada del Litoral, UNL, CONICET, FIQ（滨海应用数学研究所，国立利托拉尔大学，国家科学与技术研究理事会，化学工程系）
脑机接口（BCI）是一种仅使用脑活动（EEG）在人的思想和外部世界之间提供直接通信的系统。基于事件相关电位（ERP）的脑机接口问题是一个二元模式识别问题。线性判别分析（LDA）被广泛用于解决这类分类问题，但当特征数量相对于观测数量较大时，它会失败。在这项工作中，我们提出了一个惩罚版本的稀疏判别分析（SDA），称为Kullback-Leibler惩罚稀疏判别分析（KLSDA）。该方法既继承了SDA的判别特征选择和分类特性，又通过加入Kullback-Leibler类差异信息提高了SDA的性能。KLSDA方法被设计为自动选择最佳正则化参数。对两个真实的ERP-EEG数据集的数值实验表明，该方法优于标准SDA。
2016-08-24 cs.CV cs.LG stat.ML
Performance-guaranteed regularization in maximum likelihood method: Gauge symmetry in Kullback -- Leibler divergence
Fukuoka University（福冈大学）
该研究针对最大似然法的过拟合问题，借助Kullback–Leibler散度的规范对称性，提出了一种有理论保证的正则化方法，无需搜索超参数即可获得最优模型。
2023-10-02 cond-mat.dis-nn cs.LG stat.ML
Nearly Minimax Discrete Distribution Estimation in Kullback-Leibler Divergence with High Probability
Leiden University（莱顿大学）；TU Delft（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
本文研究了在Kullback-Leibler散度中以高概率估计离散分布的最小最大速率，发现其速率受双对数因子影响，且比总变差和Hellinger距离更难估计。
2026-02-20 cs.LG stat.ML
Independent Gaussian Distributions Minimize the Kullback-Leibler (KL) Divergence from Independent Gaussian Distributions
New York University（纽约大学）
这个简短的说明是关于Kullback-Leibler（KL）发散的一个性质，它表明独立的高斯分布使给定独立高斯分布的KL发散最小化。本说明的主要目的是为需要全部或部分使用此属性的论文提供参考。
2020-12-03 cs.IT cs.LG cs.SY
CAKD: A Correlation-Aware Knowledge Distillation Framework Based on Decoupling Kullback-Leibler Divergence
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Faculty of Engineering, The University of Sydney（悉尼大学工程学院）；School of Mechanical and Electronic Engineering, Wuhan University of Technology（武汉理工大学机电工程学院）
本文提出CAKD框架，将KL散度解耦为二分类散度、强相关散度和弱相关散度，通过优先关注对预测影响最大的蒸馏成分来优化知识迁移，并在多种模型和数据集上验证其优于基线方法。
2024-10-17 cs.LG stat.ML
On the symmetrical Kullback-Leibler Jeffreys centroids
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室）
由于词袋建模范式的成功，聚类直方图已成为现代信息处理的重要组成部分。聚类直方图可以使用著名的$k$ -均值质心算法来执行。从应用的角度来看，通常需要处理对称距离。在这封信中，我们考虑的Jeffreys分歧，对称的Kullback-Leibler分歧，并调查Jeffreys质心的计算。我们首先证明了杰弗里斯质心可以用朗伯$W$函数的正直方图解析表示。然后，我们将展示如何获得一个快速保证近似处理时，频率直方图。最后，我们总结了$k$ -均值直方图聚类的一些评论。
2014-01-22 cs.IT cs.LG math.IT
Sharper Perturbed-Kullback-Leibler Exponential Tail Bounds for Beta and Dirichlet Distributions
IDEMIA
本文通过引入更大的扰动将Beta分布的均值移近零，改进了基于KL散度的指数尾界，并将该更尖锐的界扩展至Dirichlet分布和Dirichlet过程。
2025-08-11 cs.LG math.PR
Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎IP大学）
本文针对原始核 KL 散度无法处理支撑集不相交分布的问题，提出正则化 KKL 变体，推导偏差与有限样本界、闭式表达式及 Wasserstein 梯度下降方案，并实验验证其传输性质。
2025-03-11 cs.LG math.FA math.OC
The Jacobian and Hessian of the Kullback-Leibler Divergence between Multivariate Gaussian Distributions (Technical Report)
CUNEF Universidad（库内夫大学）
本文档基于一阶和二阶微分，详细推导了两个多元高斯分布间Kullback-Leibler散度的雅可比矩阵与海森矩阵，并分为结果摘要与详细推导两部分以便于教学。
2025-06-30 cs.LG math.OC
Measuring the Influence of Observations in HMMs through the Kullback-Leibler Distance
Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）
我们通过Kullback-Leibler距离（KLD）来度量个体观测对隐马尔可夫模型（HMM）隐状态序列的影响。也就是说，我们考虑的KLD之间的条件分布的隐藏状态的链给定的完整序列的观察和条件分布的隐藏链给定的所有的观察，但在考虑中。我们引入了一个线性复杂度算法来计算所有观测值的影响。作为一个例子，我们调查我们的算法的应用程序的问题，检测HMM数据序列中的离群点。
2012-12-18 cs.IT cs.LG math.IT
Entropy and the Kullback-Leibler Divergence for Bayesian Networks: Computational Complexity and Efficient Implementation
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
本文针对贝叶斯网络缺乏熵与KL散度计算方法的问题，利用其图结构提出高效算法，并将高斯贝叶斯网络的KL散度计算复杂度从三次方降至二次方。
2024-01-15 cs.AI cs.LG stat.CO
Orthogonal Nonnegative Matrix Factorization with the Kullback-Leibler divergence
LURMISTA/ISTA, University of Burundi（卢尔米斯塔/ISTA大学，布隆迪大学）；University of Mons（蒙斯大学）
本文提出KL-ONMF算法，用KL散度替代Frobenius范数进行正交非负矩阵分解，以更好建模泊松分布数据，并在文档分类和高光谱图像解混中取得更优性能。
2024-10-12 cs.IR cs.LG eess.SP
Full Kullback-Leibler-Divergence Loss for Hyperparameter-free Label Distribution Learning
Fraunhofer-Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所（IAIS））；University of Bonn（波恩大学）
标签分布学习（LDL）的概念是一种稳定分类和回归问题的技术，具有模糊和/或不平衡的标签。LDL的一个典型用例是基于轮廓图像的人类年龄估计。关于这个回归问题，已经开发了所谓的深度标签分布学习（DLDL）方法。其主要思想是标签分布及其期望值的联合回归。然而，原始DLDL方法使用具有不同数学动机的损耗分量，因此具有不同的尺度，这就是为什么需要使用超参数。在这项工作中，我们引入了一个损失函数的DLDL的组件是完全定义的Kullback-Leibler（KL）分歧，因此，直接相互比较，而不需要额外的超参数。它将DLDL的概念推广到其他用例，特别是多维或多尺度分布学习任务。
2022-09-05 cs.LG
Algorithms for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence
Université de Mons（蒙斯大学）
非负矩阵分解（NMF）是一种标准的非负数据线性降维技术。Kullback-Leibler（KL）散度是NMF中最常用的目标函数之一，它用于度量输入数据与低秩近似之间的差异。它对应于最大似然估计，当观察到的数据样本的基本统计量遵循泊松分布，KL NMF是特别有意义的计数数据集，如文档或图像。在本文中，我们首先收集的KL目标函数的重要性质是必不可少的研究KL NMF算法的收敛性。其次，在回顾现有求解KL NMF的算法的基础上，提出了三种保证目标函数非增性的新算法。我们还提供了一个整体收敛保证我们提出的算法之一。最后，我们进行了广泛的数值实验，提供了一个全面的图片的KL NMF算法的性能。
2021-04-17 cs.LG eess.SP math.OC
Finite-Time Analysis of Round-Robin Kullback-Leibler Upper Confidence Bounds for Optimal Adaptive Allocation with Multiple Plays and Markovian Rewards
University of California Berkeley（加州大学伯克利分校）
我们研究了经典的随机多臂强盗问题，其中涉及多个播放和马尔可夫奖励休息强盗设置的扩展。为了解决这个问题，我们考虑一个自适应的分配规则，在每个阶段结合的信息从样本均值的所有武器，与Kullback-Leibler上界的一个单一的手臂，这是在循环的方式选择。对于由单参数指数族马尔可夫链产生的报酬，我们给出了这种自适应分配规则所引起的后悔的有限时间上界，揭示了后悔对时间范围的对数依赖性，并且是渐近最优的.对于我们的分析，我们设计了几个浓度的结果，马尔可夫链，包括极大不等式的马尔可夫链，这可能是感兴趣的，在自己的权利。作为我们的分析的副产品，我们还建立了渐近最优，有限时间保证的情况下，多个播放，和独立同分布。从概率密度的单参数指数族中提取的奖励。此外，我们提供的模拟结果表明，计算Kullback-Leibler置信上限在循环的方式，是显着更有效的比计算它们在每一轮的每个手臂，这两种方法的预期遗憾的行为相似。
2020-07-13 cs.LG math.ST stat.ML
Gaussian Mixture Reduction Using Reverse Kullback-Leibler Divergence
Middle East Technical University（中东技术大学）
本文提出一种贪心混合减少算法，基于Kullback-Leibler散度进行混合成分的剪枝与合并，通过分析近似方法提高计算效率，并在模拟和实际数据中验证其性能优于现有方法。
2015-08-22 cs.CV cs.LG cs.RO
Optimism in Reinforcement Learning and Kullback-Leibler Divergence
LTCI（电信与图像处理实验室）；TELECOM ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
我们考虑有限马尔可夫决策过程（MDP）中基于基于模型的强化学习，重点是所谓的乐观策略。在MDP中，乐观可以通过在与估计的模型转换概率一致的约束下执行扩展值迭代来实现。Auer，Jaksch和Ortner（2009）的UCRL 2算法遵循这一策略，最近被证明可以保证接近最优的遗憾界限。在本文中，我们强烈主张使用Kullback-Leibler（KL）分歧。通过研究KL约束下的线性最大化问题，给出了求解KL-乐观延值迭代的一个有效算法KL-UCRL。使用最近的偏差界KL分歧，我们证明，KL-UCRL提供了相同的保证，UCRL 2的遗憾。然而，在经典基准上的数值实验显示出显着改善的行为，特别是当MDP具有减少的连接。为了支持这一观察，我们提供了两种算法之间的几何考虑的COM-AQUITIONS的元素。
2010-10-13 cs.LG math.ST stat.ML
Kullback-Leibler Divergence-Based Out-of-Distribution Detection with Flow-Based Generative Models
Hunan University（湖南大学）；National University of Defense Technology（国防科技大学）；Southwest University（西南大学）；National Research Center of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
最近的研究表明，包括基于流的模型和变分自编码器在内的深度生成模型可能会为分布外（OOD）数据分配比分布内（ID）数据更高的可能性。但是，我们不能从模型中抽取OOD数据。这种违反直觉的现象尚未得到令人满意的解释，并带来了障碍，面向对象的检测与基于流的模型。本文证明了流基模型中Kullback-Leibler发散的一些定理，并对上述现象给出了两种解释。基于我们的理论分析，我们提出了一种新的方法\PADmethod \利用KL散度和局部像素依赖的表示来执行异常检测。在流行的基准测试上的实验结果证明了该方法的有效性和鲁棒性。对于组异常检测，我们的方法平均达到98.1\%AUROC与小批量大小为5。相反，基于基线典型性检验的方法由于其在挑战性问题上的失败，平均仅获得64.6%的AUROC。我们的方法也优于国家的最先进的方法的9.1\% AUROC。对于逐点异常检测，我们的方法平均达到90.7%的AUROC，比基线高出5.2%的AUROC。此外，我们的方法有最少的显着失败，是最强大的。
2023-03-02 cs.CV cs.LG stat.ML
Tsallis Entropy Regularization for Linear Quadratic Regulator and Kullback-Leibler Control
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出基于Tsallis熵的正则化方法用于线性二次调节器和Kullback-Leibler控制，推导出闭式解和高效算法，并展示了其在平衡探索与稀疏性方面的优势。
2026-09-22 cs.LG cs.SY eess.SY
A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows
ESOMAS, University of Turin, Italy & Collegio Carlo Alberto（ESOMAS，都灵大学，意大利 & 卡罗阿尔贝托学院）
针对从概率分布$π$中采样的问题，该研究证明在Bregman散度族中，Kullback-Leibler散度是唯一一种关于多种常用度量的梯度流无需知晓$π$归一化常数的散度，为采样优化提供了理论依据。
2025-07-06 cs.LG math.ST stat.CO
An Efficient Newton Algorithm for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence
ENS de Lyon（里昂高等师范学校）；CNRS and LIP (UMR5668, Université de Lyon - ENS de Lyon - UCBL - CNRS - Inria)（法国国家科学研究中心和里昂信息学实验室（联合研究单位5668，里昂大学 - 里昂高等师范学校 - 里昂中央理工学院 - 法国国家科学研究中心 - 法国国家信息与自动化研究所））
研究非负矩阵分解，针对多数KL-NMF算法用可分离主元找迭代已达极限的问题，提出用损失的二阶泰勒展开，通过推广HALS算法最小化不可分离替代函数，得到高效且收敛的KL-NMF算法，在多数据集上表现良好。
2026-07-16 cs.LG
Decoupled Kullback-Leibler Divergence Loss
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；HIT(SZ)（哈尔滨工业大学（深圳））
本文将 KL 散度损失解耦为 wMSE 与软标签交叉熵，并通过消除非对称优化、引入类别级全局信息提出 IKL 损失，在对抗训练与知识蒸馏中取得先进结果。
2024-10-27 cs.CV cs.LG
Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
University of Arizona（亚利桑那大学）
本文提出Exp-KL-MS算法，同时满足渐近最优性、带对数因子极小极大最优性、Sub-UCB及方差自适应遗憾界，解决多臂老虎机多标准优化问题。
2025-05-26 cs.DS cs.LG
Probabilistic Forecast Reconciliation with Kullback-Leibler Divergence Regularization
AI Lab Lenovo Research（联想研究院AI实验室）；School of Statistics and Mathematics Central University of Finance and Economics（中央财经大学统计与数学学院）；School of Economics and Management Beihang University（北京航空航天大学经济管理学院）
针对概率预测协调中准确性与一致性权衡问题，提出一种将预测与协调步骤融合的深度学习框架，通过引入Kullback-Leibler散度正则化项实现灵活软化协调，在三个分层时间序列数据集上验证了其优越性。
2023-11-21 cs.AI cs.LG
Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
Kullback-Leibler control for discrete-time nonlinear systems on continuous spaces
Kyoto University（京都大学）
Kullback-Leibler（KL）控制使非线性最优控制问题的有效数值方法成为可能。KL控制的关键假设是过渡分布的完全可控性。然而，当动力学在连续空间中演化时，这一假设往往被违反。因此，KL控制应用于连续空间的问题需要一些近似，这导致了最优性的损失。为了避免这种近似，在本文中，我们重新制定连续空间的KL控制问题，使它不需要不切实际的假设。原始KL控制和重新制定的KL控制之间的关键区别在于，前者通过受控和非受控过渡分布之间的KL偏差来衡量控制效果，而后者则通过噪声驱动的过渡来取代非受控过渡。我们表明，重新KL控制承认有效的数值算法，如原来的一个没有不合理的假设。具体地，可以通过使用基于其路径积分表示的蒙特卡罗方法来计算相关联的值函数。
2022-03-24 cs.LG cs.SY eess.SY
Tracking changes using Kullback-Leibler divergence for the continual learning
VŠB-Technical University of Ostrava（俄斯特拉发技术大学）；Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
最近，持续学习受到了广泛的关注。其中一个重要的问题是\emph{concept drift}的发生，它包括传入数据的变化的概率特性。在分类任务的情况下，这种现象使模型的性能不稳定，并对所实现的预测质量产生负面影响。目前大多数方法对原始数据进行统计学习和相似性分析。然而，在流数据的相似性分析仍然是一个复杂的问题，由于时间限制，非精确值，快速决策速度，可扩展性等，本文介绍了一种新的方法来监测多维数据流的概率分布的变化。作为变化速度的衡量标准，我们分析了流行的Kullback-Leibler分歧。在实验研究中，我们展示了如何使用这个度量来预测概念漂移的发生，并了解其性质。所获得的结果鼓励进一步的工作所提出的方法和它的应用在实际任务中的预测未来出现的概念漂移起着至关重要的作用，如预测性维护。
2022-10-10 cs.AI cs.LG
Kullback-Leibler divergence between quantum distributions, and its upper-bound
这项工作提出了一个上限值，Kullback-Leibler（KL）分歧可以达到一类称为量子分布（QD）的概率分布。目的是找到一个分布$U$，它在假设$P$和$U$是通过分布一个给定的离散量量子而产生的情况下，使KL与给定分布$P$的发散最大化。量子分布自然代表了在实际应用中使用的广泛的概率分布。此外，这类分布可以作为任何概率分布的近似而获得。本文证明了在所比较的分布是相同量子值上的量子分布的条件下，熵散度的上界的恢复是可能的，因此它们是可比较的。因此，当熵散度应用于可比较的分布时，它获得了更强大的意义。在分歧的未来发展中应考虑到这一方面。理论研究结果用于提出一个概念的归一化KL分歧，经验表明，表现不同，从已知的措施。
2020-12-10 cs.IT cs.LG math.IT
Primal-Dual Algorithms for Non-negative Matrix Factorization with the Kullback-Leibler Divergence
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
非负矩阵分解（NMF）将给定矩阵近似为两个非负矩阵的乘积。乘法算法提供可靠的结果，但它们对高维数据显示出缓慢的收敛性，并且可能远离局部极小值。梯度下降方法具有更好的性能，但仅适用于平滑损失，如最小二乘损失。在这篇文章中，我们提出了一个一阶原始-对偶算法的非负分解问题（其中一个因子是固定的）与KL散度，基于Chambolle-Pock算法。所有需要的计算可以得到封闭的形式，我们提供了一个有效的启发式的方法来选择步长。通过使用交替优化，我们的算法很容易扩展到NMF，在合成的例子，人脸识别或音乐声源分离数据集，它要么比现有的算法更快，或导致改进的局部最优，或两者兼而有之。
2014-12-04 cs.LG math.OC
Generalized Kullback-Leibler Divergence Loss
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出广义KL散度损失，通过解耦KL损失为加权MSE和交叉熵损失，并引入非对称优化修正和类别全局信息，在对抗训练和知识蒸馏中取得SOTA性能。
2026-06-18 cs.AI cs.CV cs.LG
Probabilistic classification from possibilistic data: computing Kullback-Leibler projection with a possibility distribution
LEMMA, Paris-Panthéon-Assas University（巴黎-先贤祠-阿萨斯大学LEMMA实验室）；Univ. Artois, CNRS, CRIL（阿尔图瓦大学，法国国家科学研究中心，计算机科学、信号与图像处理研究实验室）；Institut Universitaire de France（法国大学研究院）
本文提出基于可能性监督的多类分类方法，通过构造闭凸集并利用Kullback-Leibler投影优化模型，提升预测性能。
2026-04-02 cs.AI cs.LG
Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation
KAIST（韩国科学技术院）
知识蒸馏（KD），将知识从一个笨重的教师模型转移到一个轻量级的学生模型，已被研究设计有效的神经结构。通常，KD的目标函数是教师模型和学生模型的软化概率分布之间的Kullback-Leibler（KL）发散损失，其中温度标度超参数τ。尽管它被广泛使用，但很少有研究讨论这种软化对概括的影响。在这里，我们从理论上表明，KL发散损失集中在logit匹配时，τ增加和标签匹配时，τ去0和经验表明，logit匹配是正相关的性能改善一般。从这个观察，我们考虑一个直观的KD损失函数，即logit向量之间的均方误差（MSE），这样学生模型就可以直接学习教师模型的logit。MSE损失优于KL发散损失，这是由两种损失之间倒数第二层表示的差异解释的。此外，我们表明，顺序蒸馏可以提高性能，KD，特别是当使用KL发散损失与小τ，减轻标签噪声。复制实验的代码可在https://github.com/jhoon-oh/kd_data/在线公开获得。
2021-05-19 cs.CV cs.LG
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston（查尔斯顿大学）；Apple Inc.（苹果公司）；Cerence B. V.（赛轮思公司）
有效的文本数据分布（TDD）对齐和生成是文本分析和NLP中的开放性研究问题。目前，很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布，并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分，通过应用多个监督和无监督的机器学习（ML）方法来探索TDD的行为（i）主题对齐，（ii）情感对齐。此外，我们使用多种文本生成方法，包括微调的GPT-2，按主题和情感生成文本。最后，我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧（KLD）的应用TDD，命名为KL文本分布对比（KL-TDC），以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此，这项研究确定了一种独特的方法，用于生成和验证TDD的主题和情绪，这可以用来帮助解决稀疏数据问题和其他研究，实践和课堂情况下，需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation
Rochester Institute of Technology（罗切斯特理工学院）；Rowan University（罗文大学）
本文提出DRKL，通过消除非目标梯度影响并增强非目标监督，改进了RKL在大规模语言模型蒸馏中的性能与多样性平衡。
2026-03-31 cs.AI cs.LG
Better Estimation of the Kullback--Leibler Divergence Between Language Models
ETH Zürich（苏黎世联邦理工学院）
本文提出一种无偏且方差更低的Rao-Blackwellized估计器来估计语言模型间的KL散度，并在情感控制微调中验证其稳定性，同时推导了梯度估计器以提升训练效果。
2025-10-25 cs.AI cs.CL cs.LG
Online Markov decision processes with Kullback-Leibler control cost
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了在线控制问题，通过离散时间随机游走在有限状态空间中进行决策，采用KL散度作为控制成本，提出了一种计算高效且具有小遗憾的策略，并在目标跟踪任务中验证了其性能。
2014-01-14 cs.LG cs.SY eess.SY
