Sharp Inequalities for $f$-divergences
$f$ -发散是概率测度之间的一类一般发散，它包括概率论、数理统计和信息论中的许多常用发散，如Kullback-Leibler发散、卡方发散、平方Hellinger距离、全变差距离等。摘要研究了在有限个$f$ -发散约束条件下，最大化或最小化两个概率测度之间的$f$ -发散的问题。我们表明，这些无限维的最优化问题都可以减少到最优化问题在小的有限维空间是易于处理的。我们的结果导致一个全面和统一的治疗问题，获得尖锐的不等式之间的$f$ -分歧。我们证明了许多现有的结果之间的不等式$f$ -分歧可以得到我们的结果的特殊情况下，我们也改进了一些现有的非尖锐的不等式。
2013-10-15 cs.IT math.IT math.OC
Inequalities related to some types of entropies and divergences
本文的目的是讨论关于某些参数扩展熵和发散的新结果。通过对熵和散度的数学性质的研究，利用Hermite-Hadamard不等式给出了Tsallis拟线性熵和散度的新的界.我们还给出了双参数扩展熵和发散的界，这已在\cite{7}。另外，我们研究了$(r,q)$ -拟线性熵和散度作为替代的双参数扩展熵和散度，并给出了它们的界。最后得到了一个推广的Lin散度不等式以及Fermi-Dirac熵和Bose-Einstein熵的一些刻画。
2019-07-13 cs.IT math.CA math.IT
Mathematical inequalities for some divergences
分歧在情报学研究中往往起着重要的作用，因此研究分歧的基本性质是必不可少的。这些结果也有数学意义。本文引入了由广义对数函数定义的Jeffreys散度和Tsallis熵的参数扩张散度，并由此得到了新的不等式.此外，我们给出了单参数扩展费米-狄拉克和玻色-爱因斯坦发散的下界。最后，利用Young不等式建立了Tsallis熵、Tsallis相对熵的不等式和一些发散性.
2011-10-18 cond-mat.stat-mech cs.IT math.CA
Refinement of Gini-Means Inequalities and Connections with Divergence Measures
1938年，基尼研究了具有两个参数的均值。后来，许多作者研究了这个平均值的性质。它包含作为特殊情况下，著名的手段，如谐波，几何，算术等，它还包含，权力的平均秩序r和莱默平均作为特殊情况。在本文中，我们考虑了由Gini平均和Heron平均引起的不等式，并根据作者最近研究的结果（Taneja，2011）改进了它们。
2011-11-22 cs.IT math.IT
Generalised Pinsker Inequalities
我们概括了经典的Pinsker不等式，其中涉及变分发散Kullback-Liebler分歧在两种方式：我们认为任意f-发散的地方KL分歧，我们假设知识的一个序列的值的广义变分发散。然后，我们开发了一个最好的可能的不等式，这种双重推广的情况。专门我们的结果，经典的情况下，提供了一个新的和紧密的明确的界限KL变分发散（解决问题的Vajda约40年前）。该解决方案依赖于通过积分表示利用学习问题的分歧和贝叶斯风险之间的联系。
2009-06-06 cs.IT math.IT
Entropies, cross-entropies and Rényi divergence: sharp three-term inequalities for probability density functions
Universidad Rey Juan Carlos（雷乌斯·胡安·卡洛斯大学）；Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos（数据、复杂网络与网络安全研究所，雷乌斯·胡安·卡洛斯大学）
本文推导了概率密度函数的尖锐三项不等式，涉及雷尼熵、散度和交叉熵，并展示了其在信息功能界中的应用。
2026-03-09 cs.IT math.IT
On Data-Processing and Majorization Inequalities for $f$-Divergences with Applications
本文主要研究$f$ -分歧的数据处理和优控不等式的推导及其在信息论和统计中的应用。为了便于材料的获取，首先介绍了主要结果，但没有证明，其次是定理的例证，进一步相关的分析结果，解释和信息理论的应用。一个应用程序是指列表解码的性能分析，无论是固定的或可变的列表大小，一些较早的界限上的列表解码错误概率再现在一个统一的方式，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数的质量的研究，由汤斯顿树的叶子引起的，由等概率分布。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。几乎所有的分析都归入附录，构成了这份手稿的主要部分。
2019-11-06 cs.IT math.IT math.PR
$f$-Divergence Inequalities via Functional Domination
Technion-Israel Institute of Technology（以色列理工学院）；Princeton University（普林斯顿大学）
本文利用泛函控制方法研究了$f$ -散度不等式的推导.基于一个或多个其他$f$-发散的$f$-发散的界限被引入，处理定义在任意字母表上的概率测度对。此外，各种界限的相对信息的有界性假设下举行。这篇期刊论文包含了更多推导f-发散不等式的方法和证明，可以在arXiv上找到，网址是https：//arxiv.org/abs/1508.00335，它已经发表在IEEE Trans. on信息论，第62卷，第11期，第11页。5973-6006，2016年11月。
2016-10-28 cs.IT cs.LG math.IT
Some results on a $χ$-divergence, an~extended~Fisher information and~generalized~Cramér-Rao inequalities
我们提出了一个修改后的$χ^β$ -发散，给出了它的一些性质，并表明，这导致广义Fisher信息的定义。我们给出了广义Cramér-Rao不等式，其中包含Fisher信息，Fisher信息矩阵的扩展，以及估计误差的任意范数和幂。在一个位置参数的情况下，我们得到新的广义$q$ -高斯的特征，例如作为一个给定的时刻，最大限度地减少广义Fisher信息的分布。最后，我们指出如何广义Fisher信息可以导致新的不确定性关系。
2013-05-27 cs.IT math.IT stat.ML
On Pinsker's Type Inequalities and Csiszar's f-divergences. Part I: Second and Fourth-Order Inequalities
本文研究了$f$上的$f$ -发散$D_f$满足$D_f \geq c_f V^2$或$D_f \geq c_{2,f} V^2 + c_{4,f} V^4$的条件，其中$V$表示变分距离，系数$c_f$，$c_{2,f}$和$c_{4,f}$是{ \em best possible}.因此，我们获得了许多著名的距离和发散措施的$V$方面的下界。例如，令$D_{(α)} (P,Q) = [α(α-1)]^{-1} [\int q^α p^{1-α} d μ-1]$和${\cal I}_α(P,Q) = (α-1)^{-1} \log [\int p^αq^{1-α} d μ]$分别是{ \em类型的相对信息}（$1-α$）和{ \em Rényi的顺序信息增益} $α$。我们表明，$D_{(α)} \geq {1/2} V^2 + {1/72} (α+1)(2-α) V^4$无论何时$-1 \leq α\leq 2$，$α\not= 0,1$和${\cal I}_α = \fracα{2} V^2 + {1/36} α(1 + 5 α- 5 α^2) V^4$ $0 < α< 1$。Pinsker不等式$D \geq {1/2} V^2$及其扩展$D \geq {1/2} V^2 + {1/36} V^4$是其中每一个的特殊情况。
2006-04-18 cs.IT math.IT
Divergence Inequalities with Applications in Ergodic Theory
本文为二次可微的 $f$-散度提出了基于 $χ^{2}$-散度的一般界限，刻画了时齐 Markov 链的收缩速率与混合时间，并将结果扩展至量子信息论中的 Petz $f$-散度。
2025-04-01 cs.IT math.IT quant-ph
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
Guaranteed bounds on the Kullback-Leibler divergence of univariate mixtures using piecewise log-sum-exp inequalities
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
信息论度量，如两个混合模型之间的熵、交叉熵和Kullback-Leibler散度，是许多信号处理任务中的核心基元。由于混合物的库尔贝克-莱布勒分歧可证明不允许封闭形式的公式，因此在实践中，它要么使用昂贵的蒙特卡罗随机积分来估计，要么使用各种技术来近似或限制。我们提出了一种快速和通用的方法，建立算法封闭形式的下限和上限的熵，交叉熵和混合物的Kullback-Leibler发散。我们说明了多功能的方法，通过报告我们的实验近似单变量指数混合物，高斯混合物，瑞利混合物，伽玛混合物之间的Kullback-Leibler发散。
2016-08-17 cs.IT cs.LG math.IT
Deviation Inequalities for Rényi Divergence Estimators via Variational Expression
本文通过经验过程理论，为Rényi散度的平滑插入估计器和神经估计器建立指数偏差不等式，无需紧支撑假设，并应用于物理层安全与Rényi差分隐私审计。
2025-09-10 cs.IT math.IT
Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
本文提出基于数据处理不等式的一类新测度变换不等式，涵盖f-散度、Rényi散度和α-互信息，并应用于泛化误差、PAC-Bayes、差分隐私和数据记忆化，得到更紧的保证。
2026-05-26 cs.IT cs.LG math.IT
Information Geometry and Classical Cramér-Rao Type Inequalities
United States CCDC Army Research Laboratory（美国陆军作战能力发展司令部研究实验室）；Indian Institute of Technology Palakkad（印度理工学院帕拉卡德校区）
我们研究了经典的Cramér-Rao（CR）型不等式的背景下，信息几何的作用。特别是，我们专注于江口的理论，获得二元几何结构的发散函数，然后应用Amari-Nagoaka的理论，以获得CR型不等式。经典的确定性CR不等式是由Kullback-Leibler（KL）-分歧推导出来的。我们证明了这个框架可以推广到其他CR型不等式通过四个例子：$α$ -版本的CR不等式，广义CR不等式，贝叶斯CR不等式，贝叶斯$α$ -CR不等式。这些分别从$I_α$ -散度（或相对$α$ -熵）、广义Csiszár散度、贝叶斯KL散度和贝叶斯$I_α$ -散度获得。
2021-08-22 cs.IT cs.LG eess.SP
Upper Bounds on the Probability of Error in terms of Mean Divergence Measures
本文将考虑算术平均、调和平均、几何平均、均方根平均等几种著名的平均。其中的一些不平等。有趣的是，所考虑的均值差是凸函数。应用一些性质，本文建立了错误概率的上界。它还表明，所获得的结果是尖锐的比直接应用已知的不等式。
2011-03-27 cs.IT math.IT
