Entropies, cross-entropies and Rényi divergence: sharp three-term inequalities for probability density functions
Universidad Rey Juan Carlos（雷乌斯·胡安·卡洛斯大学）；Data, Complex Networks and Cybersecurity Research Institute, Universidad Rey Juan Carlos（数据、复杂网络与网络安全研究所，雷乌斯·胡安·卡洛斯大学）
本文推导了概率密度函数的尖锐三项不等式，涉及雷尼熵、散度和交叉熵，并展示了其在信息功能界中的应用。
2026-03-09 cs.IT math.IT
On $f$-Divergences: Integral Representations, Local Behavior, and Inequalities
本文的重点是$f$ -分歧，包括三个主要贡献。第一种方法利用相对信息谱给出了一般$f$ -发散的积分表示。第二部分给出了一种新的推导$f$ -散度不等式的方法，并证明了它们在贝叶斯二元假设检验中的应用。本文的最后一部分进一步研究了$f$ -发散的局部行为。
2018-05-17 cs.IT math.IT math.PR
Inequalities related to some types of entropies and divergences
本文的目的是讨论关于某些参数扩展熵和发散的新结果。通过对熵和散度的数学性质的研究，利用Hermite-Hadamard不等式给出了Tsallis拟线性熵和散度的新的界.我们还给出了双参数扩展熵和发散的界，这已在\cite{7}。另外，我们研究了$(r,q)$ -拟线性熵和散度作为替代的双参数扩展熵和散度，并给出了它们的界。最后得到了一个推广的Lin散度不等式以及Fermi-Dirac熵和Bose-Einstein熵的一些刻画。
2019-07-13 cs.IT math.CA math.IT
Mathematical inequalities for some divergences
分歧在情报学研究中往往起着重要的作用，因此研究分歧的基本性质是必不可少的。这些结果也有数学意义。本文引入了由广义对数函数定义的Jeffreys散度和Tsallis熵的参数扩张散度，并由此得到了新的不等式.此外，我们给出了单参数扩展费米-狄拉克和玻色-爱因斯坦发散的下界。最后，利用Young不等式建立了Tsallis熵、Tsallis相对熵的不等式和一些发散性.
2011-10-18 cond-mat.stat-mech cs.IT math.CA
On Pinsker's Type Inequalities and Csiszar's f-divergences. Part I: Second and Fourth-Order Inequalities
本文研究了$f$上的$f$ -发散$D_f$满足$D_f \geq c_f V^2$或$D_f \geq c_{2,f} V^2 + c_{4,f} V^4$的条件，其中$V$表示变分距离，系数$c_f$，$c_{2,f}$和$c_{4,f}$是{ \em best possible}.因此，我们获得了许多著名的距离和发散措施的$V$方面的下界。例如，令$D_{(α)} (P,Q) = [α(α-1)]^{-1} [\int q^α p^{1-α} d μ-1]$和${\cal I}_α(P,Q) = (α-1)^{-1} \log [\int p^αq^{1-α} d μ]$分别是{ \em类型的相对信息}（$1-α$）和{ \em Rényi的顺序信息增益} $α$。我们表明，$D_{(α)} \geq {1/2} V^2 + {1/72} (α+1)(2-α) V^4$无论何时$-1 \leq α\leq 2$，$α\not= 0,1$和${\cal I}_α = \fracα{2} V^2 + {1/36} α(1 + 5 α- 5 α^2) V^4$ $0 < α< 1$。Pinsker不等式$D \geq {1/2} V^2$及其扩展$D \geq {1/2} V^2 + {1/36} V^4$是其中每一个的特殊情况。
2006-04-18 cs.IT math.IT
$f$-divergence Inequalities
本文发展了系统的方法来获得$f$ -发散不等式，处理对概率措施定义在任意字母。功能支配是这样一种方法，其中特别强调的是找到最好的可能常数上界的比率$f$ -分歧。用于导出$f$ -发散之间的界限的另一种方法依赖于矩不等式和几何凸性性质，这导致相对熵和巴塔查里亚距离在$χ^2$发散方面的严格界限。各种各样的界限举行有界性假设的相对信息。特别注意的是，总变差距离和它的关系，相对信息和相对熵，包括“反向平斯克不等式”，以及$E_γ$分歧，它概括了总变差距离。对这种$f$ -发散推广了Pinsker不等式，得到了一个联系相对熵和相对信息谱的不等式.积分表达式的Rényi分歧的相对信息谱的推导，导致界的Rényi分歧的变分距离或相对熵。
2016-12-04 cs.IT math.IT math.PR
Some results on a $χ$-divergence, an~extended~Fisher information and~generalized~Cramér-Rao inequalities
我们提出了一个修改后的$χ^β$ -发散，给出了它的一些性质，并表明，这导致广义Fisher信息的定义。我们给出了广义Cramér-Rao不等式，其中包含Fisher信息，Fisher信息矩阵的扩展，以及估计误差的任意范数和幂。在一个位置参数的情况下，我们得到新的广义$q$ -高斯的特征，例如作为一个给定的时刻，最大限度地减少广义Fisher信息的分布。最后，我们指出如何广义Fisher信息可以导致新的不确定性关系。
2013-05-27 cs.IT math.IT stat.ML
Deviation Inequalities for Rényi Divergence Estimators via Variational Expression
本文通过经验过程理论，为Rényi散度的平滑插入估计器和神经估计器建立指数偏差不等式，无需紧支撑假设，并应用于物理层安全与Rényi差分隐私审计。
2025-09-10 cs.IT math.IT
Sharp Inequalities for $f$-divergences
$f$ -发散是概率测度之间的一类一般发散，它包括概率论、数理统计和信息论中的许多常用发散，如Kullback-Leibler发散、卡方发散、平方Hellinger距离、全变差距离等。摘要研究了在有限个$f$ -发散约束条件下，最大化或最小化两个概率测度之间的$f$ -发散的问题。我们表明，这些无限维的最优化问题都可以减少到最优化问题在小的有限维空间是易于处理的。我们的结果导致一个全面和统一的治疗问题，获得尖锐的不等式之间的$f$ -分歧。我们证明了许多现有的结果之间的不等式$f$ -分歧可以得到我们的结果的特殊情况下，我们也改进了一些现有的非尖锐的不等式。
2013-10-15 cs.IT math.IT math.OC
Divergence Inequalities with Applications in Ergodic Theory
本文为二次可微的 $f$-散度提出了基于 $χ^{2}$-散度的一般界限，刻画了时齐 Markov 链的收缩速率与混合时间，并将结果扩展至量子信息论中的 Petz $f$-散度。
2025-04-01 cs.IT math.IT quant-ph
Upper Bounds on the Probability of Error in terms of Mean Divergence Measures
本文将考虑算术平均、调和平均、几何平均、均方根平均等几种著名的平均。其中的一些不平等。有趣的是，所考虑的均值差是凸函数。应用一些性质，本文建立了错误概率的上界。它还表明，所获得的结果是尖锐的比直接应用已知的不等式。
2011-03-27 cs.IT math.IT
Rényi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations
我们研究量子雷尼熵量，特别是那些来自“三明治”的分歧。这种发散是雷尼提出的量子相对熵的几种概括之一。我们可以根据这种分歧定义量子条件熵和互信息的雷尼推广，它们继承了许多理想的性质。然而，这些量缺乏香农和冯诺依曼对应量的一些方便结构。我们试图弥合这一差距，建立发散不等式的有效组合Rényi秩序复制链和分解规则的香农和冯诺伊曼熵。虽然弱一般，这些不等式恢复等价时，雷尼参数趋于一。为此，我们提出了Rényi互信息分解规则，Rényi条件熵三方链规则和更一般的二分比较的一种新方法。这些结果的推导依赖于一个新的复杂的插值方法一般空间的线性算子。这些新的比较使我们能够使用到目前为止只适用于香农和冯诺伊曼熵熵的技术。因此，我们可以直接应用它们来推导雷尼熵的不确定关系。因此，我们建立了一个家庭的Rényi信息排斥关系，并提供进一步的推广和改进，这个和其他已知的关系，包括Rényi二分不确定性关系。
2021-06-19 cs.IT math.IT quant-ph
Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
本文提出基于数据处理不等式的一类新测度变换不等式，涵盖f-散度、Rényi散度和α-互信息，并应用于泛化误差、PAC-Bayes、差分隐私和数据记忆化，得到更紧的保证。
2026-05-26 cs.IT cs.LG math.IT
Bounds on the privacy amplification of arbitrary channels via the contraction of $f_α$-divergence
通过分析$f_α$-散度的收缩行为，研究任意通道的隐私放大界限，并提出改进的Pinsker不等式，展示稀疏通道在隐私放大中的有效性。
2025-11-25 cs.IT math.IT
Guaranteed bounds on the Kullback-Leibler divergence of univariate mixtures using piecewise log-sum-exp inequalities
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
信息论度量，如两个混合模型之间的熵、交叉熵和Kullback-Leibler散度，是许多信号处理任务中的核心基元。由于混合物的库尔贝克-莱布勒分歧可证明不允许封闭形式的公式，因此在实践中，它要么使用昂贵的蒙特卡罗随机积分来估计，要么使用各种技术来近似或限制。我们提出了一种快速和通用的方法，建立算法封闭形式的下限和上限的熵，交叉熵和混合物的Kullback-Leibler发散。我们说明了多功能的方法，通过报告我们的实验近似单变量指数混合物，高斯混合物，瑞利混合物，伽玛混合物之间的Kullback-Leibler发散。
2016-08-17 cs.IT cs.LG math.IT
$f$-Divergence Inequalities via Functional Domination
Technion-Israel Institute of Technology（以色列理工学院）；Princeton University（普林斯顿大学）
本文利用泛函控制方法研究了$f$ -散度不等式的推导.基于一个或多个其他$f$-发散的$f$-发散的界限被引入，处理定义在任意字母表上的概率测度对。此外，各种界限的相对信息的有界性假设下举行。这篇期刊论文包含了更多推导f-发散不等式的方法和证明，可以在arXiv上找到，网址是https：//arxiv.org/abs/1508.00335，它已经发表在IEEE Trans. on信息论，第62卷，第11期，第11页。5973-6006，2016年11月。
2016-10-28 cs.IT cs.LG math.IT
A Note on Reverse Pinsker Inequalities
一个简单的方法，以提供最佳的变分界$f$ -发散与可能的限制相对信息极值。已知的结果被改进或被证明是最优的特殊情况。
2019-02-03 cs.IT math.IT
Information Geometry and Classical Cramér-Rao Type Inequalities
United States CCDC Army Research Laboratory（美国陆军作战能力发展司令部研究实验室）；Indian Institute of Technology Palakkad（印度理工学院帕拉卡德校区）
我们研究了经典的Cramér-Rao（CR）型不等式的背景下，信息几何的作用。特别是，我们专注于江口的理论，获得二元几何结构的发散函数，然后应用Amari-Nagoaka的理论，以获得CR型不等式。经典的确定性CR不等式是由Kullback-Leibler（KL）-分歧推导出来的。我们证明了这个框架可以推广到其他CR型不等式通过四个例子：$α$ -版本的CR不等式，广义CR不等式，贝叶斯CR不等式，贝叶斯$α$ -CR不等式。这些分别从$I_α$ -散度（或相对$α$ -熵）、广义Csiszár散度、贝叶斯KL散度和贝叶斯$I_α$ -散度获得。
2021-08-22 cs.IT cs.LG eess.SP
Bounds on f-Divergences between Distributions within Generalized Quasi-$\varepsilon$-Neighborhood
本文在广义拟-$\varepsilon_{(M,m)}$-邻域框架内建立了概率测度间f-散度的可计算界，通过统一刻画局部分布邻近性、推广一阶可微散度分类及提供更紧的反向Pinsker不等式，在拟合优度检验渐近分析中展现出效力。
2025-08-10 cs.IT math.IT
On Data-Processing and Majorization Inequalities for $f$-Divergences with Applications
本文主要研究$f$ -分歧的数据处理和优控不等式的推导及其在信息论和统计中的应用。为了便于材料的获取，首先介绍了主要结果，但没有证明，其次是定理的例证，进一步相关的分析结果，解释和信息理论的应用。一个应用程序是指列表解码的性能分析，无论是固定的或可变的列表大小，一些较早的界限上的列表解码错误概率再现在一个统一的方式，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数的质量的研究，由汤斯顿树的叶子引起的，由等概率分布。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。几乎所有的分析都归入附录，构成了这份手稿的主要部分。
2019-11-06 cs.IT math.IT math.PR
Information Contraction under $(\varepsilon,δ)$-Differentially Private Mechanisms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
本文推导了适用于$(\varepsilon,δ)$-LDP机制的曲棍球杆分歧度和$f$-分歧度的线性和非线性强数据处理不等式，改进了信息收缩的界限。
2026-10-28 cs.IT math.IT
Tight Contraction Rates for Primitive Channels under Quantum $f$-Divergences
School of Computing National University of Singapore Singapore 117417, Singapore；Computer Engineering \& Centre for Quantum Technologies National University of Singapore Singapore 117543, Singapore；Centre for Quantum Technologies National University of Singapore Singapore 117543, Singapore
本文研究了量子f-分歧度下的原始通道收缩率，证明了局部反 Pinsker 不等式，并建立了收缩率上界与SDPI常数的关系，进一步通过量子-detailed balance条件得出界紧致性条件，应用于Petz等f-分歧度，获得新结果。
2026-05-07 cs.IT math.IT quant-ph
On Hölder projective divergences
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories（索尼计算机科学研究所）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Geneva（日内瓦大学）
我们描述了一个框架来建立距离测量的紧密性的不平等，并引入适当的统计分歧和不适当的伪分歧的概念。然后，我们考虑的Hölder普通和反向不等式，并提出了两个新的类的Hölder分歧和伪分歧，都封装了柯西-施瓦茨分歧的特殊情况。当考虑属于同一指数族的分布时，我们报告了这些统计不相似性的封闭式公式，前提是自然参数空间是一个圆锥（例如，多变量高斯），或仿射（例如，分类分布）。这些新的霍德尔距离类对于重新标度是不变的，因此不需要对分布进行归一化。最后，我们展示了如何计算统计的霍尔德质心相对于这些分歧，并进行基于中心的聚类玩具实验的一组高斯分布，经验证明，对称霍尔德分歧优于对称柯西-施瓦茨分歧。
2017-01-14 cs.CV cs.IT cs.LG
Concentration Inequalities for the Empirical Distribution
研究了经验分布与真实分布之间Kullback-Leibler（KL）分歧的浓度不等式。应用递归技术，改进了在样本大小$n$和字母大小$k$的所有范围内类型一致绑定的方法，并且当$k$较大时，改进更为显著.我们讨论了我们的结果在获得更严格的浓度不等式的$L_1$偏差的经验分布从真实的分布，和浓度之间的差异周围的期望或零。我们还获得了经验分布和真实分布之间KL分歧方差的渐进紧界，并证明了与字母大小相比，小样本大小和大样本大小之间的定量不同行为。
2019-10-19 cs.IT math.IT math.ST
Shifted Composition I: Harnack and Reverse Transport Inequalities
提出移位复合规则这一信息论新原理，通过辅助移位界定随机过程分布间的散度，借此证明扩散过程的反向传输不等式并蕴含维度无关的 Harnack 不等式，同时连接了连续与离散时间方法。
2023-11-24 cs.IT math.AP math.FA
Entropy bounds on abelian groups and the Ruzsa divergence
在过去的几年里，一个有趣的家庭新的不等式的熵的总和和差异的随机变量已开发的Ruzsa，陶和其他人，动机是类似的结果添加剂组合。目前的工作扩展这些早期的结果的情况下，随机变量取值在$\mathbb{R}^n$，或更一般地说，在任意的局部紧和波兰阿贝尔群。我们隔离和研究一个关键的数量，两个概率分布之间的Ruzsa分歧，我们表明，它的属性可以用来延长以前的不等式，目前的一般设置。建立的新结果包括几个变化的主题，两个独立的随机变量的和和差的熵严重相互约束。虽然设置是相当普遍的，结果已经感兴趣的（和新的）随机向量在$\mathbb{R}^n$。在这种特殊情况下，给出了熵幂不等式等式条件稳定性的定量界;证明了对数凹随机向量的逆熵幂不等式;建立了凸体Rogers-Shephard不等式的信息论模拟;并观察到其中一些结果导致了正定矩阵行列式的新不等式.此外，通过考虑复平面上的乘法子群，得到了非零复值随机变量的乘积和比的微分熵的新不等式。
2015-10-26 cs.IT math.CO math.IT
Metrization of powers of the Jensen-Shannon divergence
本文针对 Osán 等人关于多项分布间 Jensen-Shannon 散度分数次幂可度量化的猜想给出肯定证明，并将方法推广到 Cauchy 分布间的 $f$-散度幂。
2025-07-04 cs.IT math.IT
Martingale Methods for Sequential Estimation of Convex Functionals and Divergences
我们提出了一个统一的技术序贯估计凸分布之间的分歧，包括积分概率距离，如内核的最大均值差异，$φ$ -分歧，如Kullback-Leibler分歧，和最优输运成本，如权力的Wasserstein距离。这是通过观察经验凸发散是关于可交换过滤的（偏序）逆下鞅，再加上这种过程的极大不等式来实现的。这些技术似乎是补充和强大的补充，现有的文献上的置信序列和凸发散。我们构建了一个离线到顺序的设备，将大量现有的离线浓度不等式转换成时间均匀的置信序列，可以连续监测，提供有效的测试或置信区间在任意停时。由此产生的顺序界限只需要在相应的固定时间界限上迭代对数代价，保留对问题参数（如尺寸或字母表大小，如果适用）的相同依赖性。这些结果也适用于更一般的凸泛函-如负微分熵，经验过程的上确界，和V-统计量-和更一般的过程满足一个关键的留一属性。
2023-03-12 cs.IT math.IT math.PR
On power chi expansions of $f$-divergences
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室有限公司）
我们考虑有限和无限的权力chi展开的$f$ -发散来自泰勒展开的顺利发电机，并详细说明的情况下，这些扩展产生封闭形式的公式，有界近似，或解析发散级数表达式的$f$ -发散。
2019-03-14 cs.IT cs.LG math.IT
Two remarks on generalized entropy power inequalities
这一注记有助于对广义熵幂不等式的理解。我们的主要目标是构造一个关于独立同分布对数凹随机变量加权和的单调性和熵比较的反例。我们还提出了一个复杂的模拟最近的依赖熵功率不等式的郝和乔格，并给出了一个非常简单的证明。
2019-04-04 cs.IT math.IT math.PR
$α$-divergence derived as the generalized rate function in a power-law system
从精确的$q$ -Stirling公式中明确地表达了Tsallis统计量（幂律系统）中的广义二项分布。$α$ -散度（或$q$ -散度）是从广义二项分布唯一导出的，在这个意义上，当$α\rightarrow-1$（即，$q\rightarrow1$），它恢复从标准二项分布获得的KL散度。基于这些组合考虑，证明了$α$ -发散（或$q$ -发散）在Tsallis统计量的大偏差估计中作为广义率函数出现.
2014-05-11 cs.IT math-ph math.IT
A Unified Representation of Density-Power-Based Divergences Reducible to M-Estimation
本文提出基于范数的Bregman密度幂散度（NB-DPD），统一了可归约为M-估计的基于密度幂的散度，并证明稳健性关键指标的重降性质仅对$γ$-散度成立。
2025-01-31 cs.IT math.IT math.ST
Relationship between Hölder Divergence and Functional Density Power Divergence: Intersection and Generalization
本研究探讨Hölder散度与函数密度幂散度的交集与推广，定义广义的$\xi$-Hölder散度，并证明其非负性及与复合评分规则的联系。
2025-04-23 cs.IT math.IT math.ST
