Lower bounds on Information Divergence
在本文中，我们建立的信息发散的下限从一个分布到某些重要的类的分布，如高斯，指数，伽玛，泊松，几何和二项式。这些下界是紧的，并且对于可以计算收敛速度的几个收敛定理，这个速度由本文证明的下界确定。一般技术得到下界的时刻。
2011-02-12 cs.IT math.IT math.PR
Distribution-Dependent Improvements of McDiarmid's Inequality via Rényi Divergence
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；EPFL（洛桑联邦理工学院）
该研究探讨Rényi散度对McDiarmid不等式的分布依赖改进，推导了独立有界随机变量和的集中界，其在伯努利和的偏差阈值范围内优于KL散度诱导的界，还建立了关联总变差与Rényi散度的Gilardoni不等式的分布依赖改进。
2026-10-14 cs.IT math.IT math.PR
Tight Bounds for Symmetric Divergence Measures and a Refined Bound for Lossless Source Coding
几个对称的发散措施的紧界导出的总变化距离。它示出，这些边界中的每一个是由一对2或3元概率分布。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。这些界限的另一个应用最近由Yardi介绍。等用于信道码检测。
2015-03-11 cs.IT math.IT math.PR
New Upper bounds for KL-divergence Based on Integral Norms
该研究推导了基于密度函数$L^1$、$L^2$、$L^\b$范数的KL散度新上界，明确了KL散度收敛与两类范数收敛的层级关系，并将其应用于熵条件中心极限定理的速率分析。
2024-10-30 cs.IT math.IT math.PR
$f$-divergence Inequalities
本文发展了系统的方法来获得$f$ -发散不等式，处理对概率措施定义在任意字母。功能支配是这样一种方法，其中特别强调的是找到最好的可能常数上界的比率$f$ -分歧。用于导出$f$ -发散之间的界限的另一种方法依赖于矩不等式和几何凸性性质，这导致相对熵和巴塔查里亚距离在$χ^2$发散方面的严格界限。各种各样的界限举行有界性假设的相对信息。特别注意的是，总变差距离和它的关系，相对信息和相对熵，包括“反向平斯克不等式”，以及$E_γ$分歧，它概括了总变差距离。对这种$f$ -发散推广了Pinsker不等式，得到了一个联系相对熵和相对信息谱的不等式.积分表达式的Rényi分歧的相对信息谱的推导，导致界的Rényi分歧的变分距离或相对熵。
2016-12-04 cs.IT math.IT math.PR
Upper Bounds on the Relative Entropy and Rényi Divergence as a Function of Total Variation Distance for Finite Alphabets
一个新的上界的相对熵推导出作为一个函数的总变化距离定义在一个共同的有限字母表的概率措施。该约束改进了以前报道的Csiszár和Talata的约束。进一步推广到任意非负阶（包括$\infty$）的Rényi散度作为总变差距离的函数的上界.
2015-10-17 cs.IT math.IT math.PR
Symmetric Bounded Indistinguishability: Hypergeometric Smoothing and Hahn Polynomials
Independent researcher Hong Kong Hong Kong, China；Independent researcher
本文通过超几何平滑和汉恩多项式方法，获得更宽参数范围的上界，改进了多个领域内的已有结果，证明了在特定参数下，c2n阶边际统计距离必须指数级接近。
2026-08-11 cs.CC math.PR
Lower-bounds on the Bayesian Risk in Estimation Procedures via $f$-Divergences
我们认为在贝叶斯设置的参数估计的问题，并提出了一个一般的下限，包括家庭的$f$分歧的一部分。然后将结果应用于感兴趣的特定设置，并与文献中的其他显著结果进行比较。特别是，我们表明，使用互信息的已知界限可以通过使用，例如，最大泄漏，海林格发散，或广义的曲棍球棒发散。
2022-05-18 cs.IT math.IT math.PR
Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
在这项工作中，在某种联合分布下事件的概率是有界的，通过测量它与边际的乘积（这通常更容易分析）以及两个随机变量之间的相关性来衡量。这些结果在自适应数据分析中找到应用，其中引入了多个依赖关系，并且在学习理论中，它们可以用于限制学习算法的泛化误差。根据Sibson互信息、$α-$分歧、Hellinger分歧和$f-$分歧给出了边界。特别感兴趣的情况是最大泄漏（或无穷阶的Sibson互信息），因为该测量对后处理是鲁棒的并且自适应地合成。相应的界可以看作是经典界的推广，如Hoeffding不等式和McDiarmid不等式，对于相依随机变量的情况。
2020-10-21 cs.IT cs.LG math.IT
Linear Bounds between Contraction Coefficients for $f$-Divergences
$f$ -发散的数据处理不等式可以使用称为“收缩系数”的常数来锐化，以产生强的数据处理不等式。对于任何离散源-通道对，$f$ -发散的收缩系数由$χ^2$ -发散的收缩系数下界。在本文中，我们阐明，这个下限可以通过驱动输入$f$ -发散的收缩系数为零。然后，利用$χ^2$ -发散的收缩系数建立了一类$f$-发散的收缩系数的线性上界，并对Kullback-Leibler（KL）发散的显著特殊情况改进了这个上界.此外，我们提出了另一种证明的事实，KL和$χ^2$ -发散的收缩系数是相等的高斯源与加性高斯噪声信道（其中前系数可以是功率约束）。最后，我们推广了著名的结果，即所有$f$ -发散与非线性算子凸$f$的通道收缩系数（在所有可能的源上极值化后）是相等的。特别是，我们证明了所谓的“少噪声”的前序通道可以等价地由任何非线性算子凸$f$发散。
2018-07-16 cs.IT math.IT math.PR
A Lower Bound on Arbitrary $f$--Divergences in Terms of the Total Variation
量化两个概率测度相似性的一个重要工具是f-散度，它在统计学和信息论中有着广泛的应用。一个例子是全变差，它在f-发散中起着特殊的作用。证明了每一个f-散度都是由全变差的单调函数从下而上有界的。在适当的正则性条件下，该函数是单调的。注：主命题的证明相对容易，因此结果很可能是已知的。作者将非常感谢任何有关参考资料或相关工作的信息。
2009-03-10 cs.IT math.IT math.PR
Bounds on Non-Symmetric Divergence Measures in Terms of Symmetric Divergence Measures
在信息论和统计学的文献中，存在着许多信息和分歧度量。其中最著名的是Kullback-Leibler（1951）的相对信息和Jeffreys（1951）的J-散度。Sibson（1969）的Jensen-Shannon发散也在文献中找到了应用。作者（1995）研究了一种新的基于算术平均和几何平均的散度测度。像调和平均散度和三角判别这样的度量在文献中也是已知的。最近，Dragomir等人（2001）也研究了一种类似于J-散度的新度量，我们称之为相对J-散度。Lin（1991）还研究了由于Jensen-Shannon发散而产生的另一种度量。这里我们称之为相对詹森-香农散度。相对算术-几何发散（参考Taneja，2004）也在这里进行了研究。所有这些测度都可以写成Csiszar f-散度的特例。通过对概率分布施加一些条件，这里的目的是获得测量之间的界限。
2005-06-13 math.PR
Bounds On Triangular Discrimination, Harmonic Mean and Symmetric Chi-square Divergences
在信息论和统计学的文献中，存在着许多信息和分歧度量。其中最著名的是Kullback-Leiber相对信息和Jeffreys J-散度。Bhattacharya距离、Hellinger判别法、卡方散度、三角判别法和调和平均散度等测度在统计学文献中也很有名。本文利用Csiszar的f-散度，根据s型的相对信息，得到了三角判别式和对称卡方散度的界。文中还给出了三角判别法与调和平均散度之间的关系。
2005-05-12 math.PR
Concentration Bounds for Discrete Distribution Estimation in KL Divergence
University of Sydney（悉尼大学）；Google Research（谷歌研究院）
该研究针对KL散度下离散分布估计问题，推导Laplace估计器的集中界，将偏差量级从k/n改进为√k/n（n≥k时），并给出匹配下界证明其紧性。
2023-06-13 cs.DM cs.IT cs.LG
Robust bounds on risk-sensitive functionals via Renyi divergence
将指数积分与相对熵之间的对偶性推广到包含Renyi散度的指数积分的变分公式。这个公式描述了风险敏感泛函和相关量的依赖性，这些量由尾部行为决定，以Renyi散度的形式表示。的特征产生的上限和下界是有意义的所有值的一个大偏差缩放参数，允许一个量化的风险敏感成本的鲁棒性在明确的条款。作为应用程序，我们考虑的不确定性量化的问题时，模型的各个方面是不完全已知的，以及它们的使用在绑定尾部属性的一个棘手的模型方面的一个听话的。
2013-10-23 math.PR
