GANs beyond divergence minimization
Lady Davis Institute（戴维斯夫人研究所）
生成对抗网络（GANs）可以被解释为两个玩家之间的对抗游戏，一个是GAN D，另一个是生成器G，其中D学习从虚假数据中区分真实数据，G通过“愚弄”D认为虚假数据实际上是真实数据来学习生成真实数据。目前，主流观点认为，G实际上是通过最小化发散来学习的，因为当D是最优的时，一般目标函数是发散。然而，由于理论与实践之间的不一致，这一观点受到了挑战。在本文中，我们讨论了与G的大多数损失函数相关的性质（例如，饱和/非饱和f-GAN、LSGAN、WGAN等）。我们证明了这些损失函数不是发散的，并且不具有与发散预期相同的均衡。这表明G不需要最小化与D最大化相同的目标函数，也不需要在用假数据交换真实数据（非饱和GAN）之后最大化D的目标，而是可以使用广泛的可能损失函数来学习生成真实数据。我们通过两个单独且独立的D最大化和G最小化步骤来定义GANs。我们将生成器步骤推广到四类新的损失函数，其中大多数是实际的分歧（而传统的G损失函数不是）。我们测试了各种各样的损失函数，从这四个类的合成数据集和CIFAR-10。我们观察到，大多数损失函数收敛良好，并提供可比的数据生成质量的非饱和GAN，LSGAN和WGAN-GP生成器损失函数，无论我们使用发散或非发散。这些结果表明，GANs不符合发散最小化理论，并且形成了比之前假设的更广泛的模型范围。
2018-09-06 cs.AI cs.LG stat.ML
An Empirical Study on Noisy Data and LLM Pretraining Loss Divergence
University of Oxford（牛津大学）；FAIR at Meta（Meta 的 FAIR）
本研究通过实证分析揭示噪声数据如何导致LLM预训练中的损失发散，并区分噪声与高学习率引起的发散模式。
2026-02-02 cs.LG
Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Michigan Technological University（密歇根理工大学）
针对贝叶斯神经网络中基于KL散度的变分推断优化不稳定等问题，提出基于改进广义JS散度和几何JS散度的新型损失函数，在含噪或有偏数据集上性能更优，并量化了相关不确定性指标。
2024-12-03 cs.LG
Bounds on Lp errors in density ratio estimation via f-divergence loss functions
NTT DATA Mathematical Systems Inc.（NTT DATA数学系统公司）
本文研究基于 f-散度损失的密度比估计，推导适用于 Lipschitz 连续估计器的 Lp 误差上下界，并揭示 KL 散度与 p 增大时误差的显著增长规律。
2025-03-17 cs.LG
Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation
KAIST（韩国科学技术院）
知识蒸馏（KD），将知识从一个笨重的教师模型转移到一个轻量级的学生模型，已被研究设计有效的神经结构。通常，KD的目标函数是教师模型和学生模型的软化概率分布之间的Kullback-Leibler（KL）发散损失，其中温度标度超参数τ。尽管它被广泛使用，但很少有研究讨论这种软化对概括的影响。在这里，我们从理论上表明，KL发散损失集中在logit匹配时，τ增加和标签匹配时，τ去0和经验表明，logit匹配是正相关的性能改善一般。从这个观察，我们考虑一个直观的KD损失函数，即logit向量之间的均方误差（MSE），这样学生模型就可以直接学习教师模型的logit。MSE损失优于KL发散损失，这是由两种损失之间倒数第二层表示的差异解释的。此外，我们表明，顺序蒸馏可以提高性能，KD，特别是当使用KL发散损失与小τ，减轻标签噪声。复制实验的代码可在https://github.com/jhoon-oh/kd_data/在线公开获得。
2021-05-19 cs.CV cs.LG
Two-temperature logistic regression based on the Tsallis divergence
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Google Brain（谷歌大脑）
我们开发了一种多类逻辑回归的变体，它对噪声具有更强的鲁棒性。该算法每个类有一个权重向量，代理损失是线性激活的函数（每个类一个）。具有线性激活向量$\mathbf{a}$和类$c$的示例的代理损失具有$-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$的形式，其中两个温度$t_1$和$t_2$分别“回火”$\log$和$\exp$，并且$G_{t_2}(\mathbf{a})$是推广对数分区函数的标量值。我们使用Tsallis分歧来激发这种损失。我们的方法允许通过选择温度参数在非凸损耗和凸损耗之间过渡。当对数的温度$t_1$变得小于指数的温度$t_2$时，替代损失变为“准凸”。温度的各种调整恢复以前的方法和调整的非凸度的程度是至关重要的实验。特别是，准凸性和有界性的损失提供了显着的鲁棒性离群值。我们解释了这一点，表明$t_1 < 1$上限的替代损失和$t_2 >1$使预测分布有一个沉重的尾巴。我们表明，代理损失是贝叶斯一致的，即使在非凸的情况下。此外，我们提供了有效的迭代算法计算的日志分区值只有在几个迭代次数。我们在大型真实世界数据集上的令人信服的实验结果表明，在有噪声和无噪声的情况下使用双温度变量的优势。
2019-08-03 cs.LG stat.ML
The Bregman-Tweedie Classification Model
This work proposes the Bregman-Tweedie classification model and analyzes the domain structure of the extended exponential function, an extension of the classic generalized exponential function with additional scaling parameter, and related high-level mathematical structures, such as the Bregman-Tweedie loss function and the Bregman-Tweedie divergence. The base function of this divergence is the convex function of Legendre type induced from the extended exponential function. The Bregman-Tweedie loss function of the proposed classification model is the regular Legendre transformation of the Breg…
2019-07-16 cs.LG stat.ML
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Deep Divergence-Based Approach to Clustering
UiT the Arctic University of Norway（挪威北极大学）；University of Exeter（埃克塞特大学）；University of Manitoba（曼尼托巴大学）；Norwegian Computing Center（挪威计算中心）
深度学习研究的一个有前途的方向是学习表示，同时通过优化判别损失函数来发现未标记数据中的聚类结构。与监督式深度学习相反，这一研究领域还处于起步阶段，如何设计和优化合适的损失函数来训练深度神经网络进行聚类仍然是一个悬而未决的问题。我们对这一新兴领域的贡献是一个新的深度聚类网络，它利用了信息理论分歧度量的区分能力，这在传统聚类中已被证明是有效的。我们提出了一种新的损失函数，结合几何正则化约束，从而避免退化结构的聚类分区。在合成基准和真实数据集上的实验表明，该网络与其他最先进的方法相比具有竞争力的性能，可以很好地扩展到大数据集，并且不需要预训练步骤。
2019-02-13 cs.LG stat.ML
Bias-variance decompositions: the exclusive privilege of Bregman divergences
Radboud University（拉德堡德大学）
本文证明了g-Bregman散度是唯一具有干净偏差-方差分解的损失函数，揭示了传统损失函数如0-1和L1损失无法实现此类分解的原因。
2026-09-30 cs.LG
On Weak-to-Strong Generalization and f-Divergence
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）；Li Auto Inc.（力汽车公司）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本文提出将 f-散度作为弱到强泛化中的信息论损失框架，通过理论分析揭示不同 f-散度损失的局限性与等价性，并实验证明其能有效提升强模型的泛化能力和噪声容忍度。
2025-06-03 cs.LG
Learning to Forget with Information Divergence Reweighted Objectives for Noisy Labels
Department of Mathematics（数学系）；Texas State University（德克萨斯州立大学）；School of Information Systems and Management（信息系统与管理学院）；University of South Florida（佛罗里达州立大学）
针对噪声标签学习问题，提出基于信息散度邻域松弛的新目标函数ANTIDOTE，通过凸对偶重构为低计算成本的对抗训练方法，能自适应降低噪声样本影响，在多种噪声下优于同类损失函数。
2025-08-08 cs.LG stat.ML
Full Kullback-Leibler-Divergence Loss for Hyperparameter-free Label Distribution Learning
Fraunhofer-Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所（IAIS））；University of Bonn（波恩大学）
标签分布学习（LDL）的概念是一种稳定分类和回归问题的技术，具有模糊和/或不平衡的标签。LDL的一个典型用例是基于轮廓图像的人类年龄估计。关于这个回归问题，已经开发了所谓的深度标签分布学习（DLDL）方法。其主要思想是标签分布及其期望值的联合回归。然而，原始DLDL方法使用具有不同数学动机的损耗分量，因此具有不同的尺度，这就是为什么需要使用超参数。在这项工作中，我们引入了一个损失函数的DLDL的组件是完全定义的Kullback-Leibler（KL）分歧，因此，直接相互比较，而不需要额外的超参数。它将DLDL的概念推广到其他用例，特别是多维或多尺度分布学习任务。
2022-09-05 cs.LG
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
Generalised Mixability, Constant Regret, and Bayesian Updating
The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Microsoft Research（微软研究院）
当通过使用Vovk的聚合算法在具有专家建议的预测游戏中可以实现恒定的后悔界限时，损失的可混合性是已知的。我们提供了一个新的解释，通过凸分析，突出了Kullback-Leibler分歧在其定义中的作用。这自然地推广到我们称之为$Φ$的混合性，其中Bregman分歧$D_Φ$取代KL分歧。我们证明，损失是$Φ$ -混合也享有恒定的遗憾界通过一个广义的聚合算法，是类似于镜像下降。
2014-03-10 cs.LG stat.ML
f-divergences and their applications in lossy compression and bounding generalization error
在本文中，我们提供了三个应用$f$ -发散：（i）我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散，并表明，我们的广义Sanov的界严格改善普通的，（ii）我们考虑的有损压缩问题，研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数，使用相互$f$ -信息，并提供新的和严格更好的界限，可实现的速率在有限块长度制度，使用超级模块$f$ -分歧，和（iii）我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限，（对于某些例子）严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Decoupled Kullback-Leibler Divergence Loss
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；HIT(SZ)（哈尔滨工业大学（深圳））
本文将 KL 散度损失解耦为 wMSE 与软标签交叉熵，并通过消除非对称优化、引入类别级全局信息提出 IKL 损失，在对抗训练与知识蒸馏中取得先进结果。
2024-10-27 cs.CV cs.LG
Deep Bregman Divergence for Contrastive Learning of Visual Representations
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）
深度Bregman发散使用神经网络来测量数据点的发散，该神经网络超出欧几里得距离并且能够捕获分布上的发散。在本文中，我们提出了深度Bregman分歧，用于视觉表示的对比学习，我们的目标是通过训练基于功能Bregman分歧的额外网络来增强自监督学习中使用的对比损失。传统的对比学习方法仅仅基于单点之间的分歧，相比之下，我们的框架可以捕获分布之间的分歧，提高了学习表示的质量。我们展示了传统对比损失和我们提出的发散损失的组合优于基线和大多数以前的自监督和半监督学习方法，用于多分类和目标检测任务和数据集。此外，学习的表示在转移到其他数据集和任务时具有很好的泛化能力。源代码和我们的模型是补充，并将与纸发布。
2021-11-22 cs.AI cs.CV cs.LG
Advancing Loss Functions in Recommender Systems: A Comparative Study with a Rényi Divergence-Based Solution
针对推荐系统中Softmax损失和余弦对比损失的局限，提出基于Rényi散度的DrRL损失函数，兼顾两者优势，提升推荐准确性与鲁棒性。
2025-06-18 cs.AI cs.IR cs.LG
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.（赛博代理公司）；The University of Tokyo（东京大学）
密度比估计（DRE）是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中，基于Bregman散度（BD）最小化的方法得到了广泛的研究。然而，当BD最小化应用于高度灵活的模型（如深度神经网络）时，往往会遭受我们所说的训练损失黑客攻击，这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中，为了减轻列车损失黑客攻击，我们提出了一个非负校正的经验BD估计。理论上，我们通过一个泛化误差界证实了所提出方法的合理性。通过实验，我们提出的方法表现出良好的性能，在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Regularizing cross entropy loss via minimum entropy and K-L divergence
提出两种基于最小熵和K-L散度正则化的交叉熵损失函数，在EMNIST-Letters上使VGG模型准确率提升至95.933%，跃居排行榜第二。
2025-01-23 cs.CV cs.LG
Generalized Kullback-Leibler Divergence Loss
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出广义KL散度损失，通过解耦KL损失为加权MSE和交叉熵损失，并引入非对称优化修正和类别全局信息，在对抗训练和知识蒸馏中取得SOTA性能。
2026-06-18 cs.AI cs.CV cs.LG
A direct proof of a unified law of robustness for Bregman divergence losses
Tata Institute of Fundamental Research（印度塔塔基础研究机构）
本文通过偏差-方差分解重新表述Bubeck和Sellke的证明技术，直接将鲁棒插值的过参数化定律推广至Bregman散度损失，无需Rademacher复杂度等工具。
2025-04-21 cs.LG
Nonnegative Tucker Decomposition with Beta-divergence for Music Structure Analysis of Audio Signals
Univ. Rennes 1（雷恩第一大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机过程研究所）；Center for Artificial Intelligence Technology (CAIT), Skoltech（斯科尔科沃科学技术研究院人工智能技术中心）；Univ Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；UJM-Saint Etienne（圣艾蒂安让·莫内大学）；Inserm（法国国家健康与医学研究院）；CREATIS UMR 5220（法国国家科学研究中心5220联合研究单元（影像与脑科学实验室））
非负Tucker分解（NTD）是一种张量分解模型，由于其能够盲提取有意义的模式，特别是在音乐信息检索中，近年来受到越来越多的关注。然而，现有的计算NTD的算法大多是针对欧几里得损失设计的。这项工作提出了一种乘法更新算法来计算NTD与β发散损失，通常被认为是一个更好的音频处理损失。我们特别展示了如何使用张量代数有效地实现乘法规则。最后，我们在一个音乐结构分析任务中表明，无监督的NTD与β发散损失相匹配，优于早期的结果与欧几里得损失。
2022-08-02 cs.LG cs.NA cs.SD
Supervised Learning: No Loss No Cry
Google Research（谷歌研究院）
监督学习需要指定一个损失函数来最小化。虽然从计算和统计的角度来看，可容许损失的理论已经发展得很好，但这些理论提供了一整套不同的选择。在实践中，该选择通常以\emph{ad hoc}方式进行。为了使该过程更有原则，针对下游任务的\emph{learning the loss function}问题（例如，分类）最近引起了人们的兴趣。然而，这方面的工作一般都是经验性的。在本文中，我们通过一个新的镜头重新审视了Kakade等人（2011）的{ \sc SLISotron}算法，推导出基于Bregman分歧的推广，并展示了它如何提供学习损失的原则性程序。详细地说，我们将{ \sc SLISotron}转换为从复合平方损失族中学习损失。通过解释这一点，通过镜头的\emph{proper losses}，我们得到了推广的{ \sc SLISotron}的基础上Bregman分歧。所得到的{ \sc BregmanTron}算法与分类器一起共同学习损失。它配备了一个简单的收敛保证，它学习的损失，它的一组可能的输出带有贝叶斯规则的不可知近似性的保证。实验表明，{ \sc BregmanTron}大大优于{ \sc SLISotron}，它学习的损失可以通过其他算法最小化不同的任务，从而打开域之间的有趣的问题\textit{loss transfer}。
2020-02-10 cs.LG stat.ML
Fast Rates for General Unbounded Loss Functions: from ERM to Generalized Bayes
Centrum Wiskunde & Informatica（数学与计算机科学研究中心）；Leiden University（莱顿大学）；University of Victoria（维多利亚大学）
我们提出了新的超额风险界的一般无界损失函数，包括对数损失和平方损失，其中的损失分布可能是重尾的。一般估计的界限，但它们被优化时，应用于$η$ -广义贝叶斯，MDL，和经验风险最小化估计。在对数损失的情况下，只要正确设置学习率$η$，则边界意味着在Hellinger度量的泛化方面的误指定下的广义贝叶斯推断的收敛率。对于一般的损失函数，我们的边界依赖于两个独立的条件：$v$ -GRIP（广义反向信息投影）条件，它控制超额损失的下尾;和新引入的见证条件，它控制上尾。$v$ -GRIP条件中的参数$v$确定可实现的速率，并且类似于Tsybakov裕度条件和Bernstein条件中的指数，用于有界损失，$v$ -GRIP条件将其推广;有利的$v$与小的模型复杂性组合导致$\tilde{O}(1/n)$速率。见证条件允许我们将超额风险连接到其“退火”版本，通过该版本，我们推广了将Hellinger和Rényi分歧连接到KL分歧的几个先前结果。
2019-11-05 cs.LG stat.ML
Balancing reconstruction error and Kullback-Leibler divergence in Variational Autoencoders
University of Bologna（博洛尼亚大学）；Department of Informatics: Science and Engineering (DISI)（信息学系：科学与工程（DISI））
在变分自编码器的损失函数中，在两个分量之间存在众所周知的张力：重建损失，其提高所得图像的质量，以及Kullback-Leibler发散，其充当潜在空间的正则化器。正确地平衡这两个组成部分是一个微妙的问题，很容易导致不良的生成行为。在最近的工作中，戴和Wipf通过允许网络在训练期间根据合适的损失函数学习平衡因子来获得合理的改进。在这篇文章中，我们展示了学习可以被一个简单的确定性计算所取代，这有助于理解底层机制，并导致更快，更准确的行为。在Cifar和Celeba等典型数据集上，我们的技术明显优于所有以前的VAE架构。
2020-02-18 cs.LG cs.NE
Rejection via Learning Density Ratios
Amazon（亚马逊公司）；The Australian National University（澳大利亚国立大学）
本文提出一种基于分布视角的带拒识分类方法，通过优化带α-散度正则化的损失风险寻找理想化数据分布，并利用密度比实现拒识决策，在干净和含噪数据集上验证了框架的有效性。
2025-05-08 cs.LG stat.ML
$α$-divergence Improves the Entropy Production Estimation via Machine Learning
Department of Physics and Astronomy & Center for Theoretical Physics, Seoul National University（首尔国立大学物理与天文学系及理论物理中心）
本文提出基于$α$-散度变分表示的熵产生估计损失函数，发现$-1<α<0$的$α$-NEEP在强驱动和慢动力学下更稳健，且$α=-0.5$通常最优。
2024-01-19 cond-mat.stat-mech cs.LG stat.ML
$f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
Department of Statistics, University College London, UK（伦敦大学学院统计学系）；Valence Labs, London, UK（伦敦Valence实验室）
本文提出一种基于$f$-散度的损失家族，通过on-policy和off-policy数据调整生成模型，提升模型覆盖性和泛化能力。
2026-05-14 cs.AI cs.LG
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore（新加坡科技研究局微电子研究所）
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷，提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法，在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Accuracy is Not Enough: A Divergence-Based Approach to Evaluate Fidelity Loss in Quantized LLMs
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息处理研究所）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；University of Manitoba（曼尼托巴大学）；University of Central Florida（中佛罗里达大学）；Virginia Tech（弗吉尼亚理工大学）
针对量化LLM评估中仅依赖准确性的不足，提出基于预测分布散度的保真度评估框架，通过JSD和TVD量化分布偏移，实验表明散度指标有效补充准确性信号。
2026-09-10 cs.AI cs.LG
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Feature-aligned N-BEATS with Sinkhorn divergence
Seoul National University（首尔大学）；Nanyang Technological University（南洋理工大学）
本文提出特征对齐N-BEATS，通过Sinkhorn散度逐堆叠对齐多源域特征分布，在保留N-BEATS可解释性的同时学习域不变特征，实验验证了其预测与泛化能力。
2024-02-25 cs.AI cs.LG math.OC
Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
Beyond I-Con框架通过探索替代统计散度，改进了表示学习中的对比学习和降维任务，展示了不同散度选择对优化效果的重要性。
2025-12-04 cs.AI cs.CV cs.LG
FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Kuaishou Technology（快手科技）
FlowCPO提出统一散度框架，通过离线前向KL目标同时利用偏好与非偏好样本，无需在线采样，在域内任务上优于FlowDPO等基线。
2026-09-10 cs.AI cs.CV cs.LG
Divergence-Suppressing Couplings for Rectified Flow
Department of Computer Science（计算机科学系）
本文提出了一种修正流的发散抑制耦合方法，通过在耦合生成过程中抑制学习到的速度场中的发散成分，从而减少轨迹的扭曲，提升生成效果。
2026-05-18 cs.AI cs.LG
Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（电子与计算机工程系，多伦多大学，多伦多，加拿大）
本文提出SurpMark检测器，通过文本token意外性动态总结，利用广义吉辛森-香农散度衡量测试文本与人类和机器生成文本的差异，验证了其在不同领域和生成器上的鲁棒性。
2026-06-23 cs.IT cs.LG math.IT
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University（亚利桑那州立大学）
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后，我们专注于$α$ -GAN，通过$α$ -loss定义，它插值几个GANs（Hellinger，vanilla，Total Variation），并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$，$α$ -GAN引起的Arimoto发散等价收敛.然而，在受限学习模型和有限样本下，我们提供了估计界，其指示作为$α$的函数的不同GAN行为。最后，我们提出了一个玩具数据集的实证结果，突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
Learning to hash with semantic similarity metrics and empirical KL divergence
Intuition Machines, Inc.（直觉机器公司）
学习哈希是从海量数据库中进行精确和近似最近邻搜索的有效范例。二进制散列码通常通过舍入来自CNN的输出特征从图像中提取，所述CNN在监督的二进制相似/不相似任务上训练。这种方法的缺点是：（i）得到的代码不一定捕获输入数据的语义相似性（ii）舍入导致信息丢失，表现为检索性能下降，以及（iii）仅使用类相似性作为目标可能导致琐碎的解决方案，简单地编码分类器输出，而不是学习更复杂的关系，这是大多数性能指标检测不到的。我们克服了（i）通过一个新的损失函数，鼓励学习功能的相对哈希码距离，以匹配那些来自他们的目标。我们通过对网络输出和二进制目标分布之间的KL发散的可微估计来解决（ii），当特征四舍五入到二进制时，导致最小的信息损失。最后，我们解决（iii）通过专注于层次精度度量。在CIFAR-100、ImageNet和Conceptual Captions数据集上，使用从WordNet标签层次结构或句子嵌入中推断出的相似性，通过语义图像检索证明了该方法的效率。
2020-05-11 cs.CV cs.IR cs.LG
Addressing GAN Training Instabilities via Tunable Classification Losses
Arizona State University（亚利桑那州立大学）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本文通过可调CPE损失重新表述GAN目标，提出(α_D,α_G)-GAN双目标框架，将训练稳定问题转化为f-散度最小化，并在多个数据集上验证其缓解训练不稳定的效果。
2023-10-27 cs.IT cs.LG math.IT
Least $k$th-Order and Rényi Generative Adversarial Networks
The Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
我们研究了使用参数化的信息论测度族来推广生成对抗网络（GANs）的损失函数，以提高性能。首先引入了一种新的发电机损失函数，称为最小$k$ th阶GAN（L $k$ GAN），通过使用具有$k \geq 1$的$k$ th阶绝对误差失真度量来推广最小二乘GANs（LSGAN）（当$k=2$时恢复LSGAN损失函数）。它表明，最小化这个广义损失函数下（无约束）的最佳的最小化的$k$第阶Pearson-Vajda分歧是等价的。另一种新的GAN生成器损失函数接下来根据具有阶$α>0$，$α\neq 1$的Rényi交叉熵泛函被提出。结果表明，这种Rényi为中心的广义损失函数，它可证明减少到原来的GAN损失函数$α\to1$，保持平衡点所满足的原始GAN的基础上的Jensen-Rényi分歧，一个自然的扩展Jensen-Shannon分歧。实验结果表明，提出的损失函数，应用于MNIST和CelebA数据集，在DCGAN和StyleGAN架构下，分别通过参数$k$和$α$提供的额外自由度赋予性能优势。更具体地说，实验表明，通过Fréchet Inception Distance（FID）评分和训练稳定性测量，生成的图像质量有所改善。虽然它在本研究中被应用于GANs，但所提出的方法是通用的，可以用于信息论在深度学习中的其他应用，例如，人工智能中的公平或隐私问题。
2021-03-11 cs.IT cs.LG math.IT
Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence
Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Institute of Technology（北京理工大学）；Huawei Inc.（华为公司）
现有的旋转对象检测器大多继承自水平检测范式，因为后者已经发展成为一个成熟的领域。然而，由于当前回归损失设计的限制，这些检测器很难在高精度检测中表现突出，特别是对于具有大纵横比的对象。基于水平检测是旋转目标检测的一个特例的观点，根据旋转与水平检测的关系，将旋转回归损失的设计从归纳范式转变为演绎方法。我们发现，一个重要的挑战是如何调制的旋转回归损失的耦合参数，这样的估计参数可以相互影响，在动态联合优化，在自适应和协同的方式。具体来说，我们首先将旋转的限界框转换为2-D高斯分布，然后计算高斯分布之间的Kullback-Leibler散度（KLD）作为回归损失。通过分析每个参数的梯度，我们表明，KLD（及其衍生物）可以动态调整参数梯度根据对象的特性。它将根据纵横比调整角度参数的重要性（梯度权重）。这种机制对于高精度检测至关重要，因为微小的角度误差会导致大纵横比物体的精度严重下降。更重要的是，我们证明了KLD是尺度不变的。我们进一步表明，KLD损失可以退化成流行的$l_{n}$ -范数损失水平检测。使用不同检测器在七个数据集上进行的实验结果表明了其一致的优越性，代码可在https://github.com/yangxue0827/RotationDetection和https://github.com/open-mmlab/mmrotate上获得。
2022-04-18 cs.AI cs.CV cs.LG
Scalar Function Topology Divergence: Comparing Topology of 3D Objects
Skolkovo Institute of Science and Technology（斯克尔科夫科学与技术研究所）；AIRI（AI研究机构）；CNRS, IMJ, Paris Cité University（国家科学研究中心、巴黎城市大学）；AI Foundation and Algorithm Lab（AI基金会与算法实验室）
提出标量函数拓扑散度（SFTD），通过最小化确保拓扑特征定位一致，作为附加损失改善3D重建并识别分割错误，且优于Betti匹配损失。
2026-09-10 cs.CV cs.LG math.AT
Unbiased Estimating Equation on Inverse Divergence and Its Conditions
Media Center Toyohashi University of Technology Toyohashi, Aichi, Japan Email；Department of Computer Science；Engineering Toyohashi University of Technology Toyohashi, Aichi, Japan Email
本文研究由倒数函数定义的逆散度，刻画了逆高斯型及广义逆高斯型混合模型下损失函数中函数$f$的条件，使估计方程无偏，并推广至多维情形。
2024-04-25 cs.IT cs.LG math.IT
