Distribution-Dependent Improvements of McDiarmid's Inequality via Rényi Divergence
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；EPFL（洛桑联邦理工学院）
该研究探讨Rényi散度对McDiarmid不等式的分布依赖改进，推导了独立有界随机变量和的集中界，其在伯努利和的偏差阈值范围内优于KL散度诱导的界，还建立了关联总变差与Rényi散度的Gilardoni不等式的分布依赖改进。
2026-10-14 cs.IT math.IT math.PR
Tight Bounds for Symmetric Divergence Measures and a Refined Bound for Lossless Source Coding
几个对称的发散措施的紧界导出的总变化距离。它示出，这些边界中的每一个是由一对2或3元概率分布。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。这些界限的另一个应用最近由Yardi介绍。等用于信道码检测。
2015-03-11 cs.IT math.IT math.PR
New Upper bounds for KL-divergence Based on Integral Norms
该研究推导了基于密度函数$L^1$、$L^2$、$L^\b$范数的KL散度新上界，明确了KL散度收敛与两类范数收敛的层级关系，并将其应用于熵条件中心极限定理的速率分析。
2024-10-30 cs.IT math.IT math.PR
$f$-divergence Inequalities
本文发展了系统的方法来获得$f$ -发散不等式，处理对概率措施定义在任意字母。功能支配是这样一种方法，其中特别强调的是找到最好的可能常数上界的比率$f$ -分歧。用于导出$f$ -发散之间的界限的另一种方法依赖于矩不等式和几何凸性性质，这导致相对熵和巴塔查里亚距离在$χ^2$发散方面的严格界限。各种各样的界限举行有界性假设的相对信息。特别注意的是，总变差距离和它的关系，相对信息和相对熵，包括“反向平斯克不等式”，以及$E_γ$分歧，它概括了总变差距离。对这种$f$ -发散推广了Pinsker不等式，得到了一个联系相对熵和相对信息谱的不等式.积分表达式的Rényi分歧的相对信息谱的推导，导致界的Rényi分歧的变分距离或相对熵。
2016-12-04 cs.IT math.IT math.PR
Upper Bounds on the Relative Entropy and Rényi Divergence as a Function of Total Variation Distance for Finite Alphabets
一个新的上界的相对熵推导出作为一个函数的总变化距离定义在一个共同的有限字母表的概率措施。该约束改进了以前报道的Csiszár和Talata的约束。进一步推广到任意非负阶（包括$\infty$）的Rényi散度作为总变差距离的函数的上界.
2015-10-17 cs.IT math.IT math.PR
Tight Bounds for Symmetric Divergence Measures and a New Inequality Relating $f$-Divergences
介绍了几个对称发散测度的紧界，给出了总变差距离。这些边界中的每一个都是由一对2元或3元概率分布获得的。无损信源编码的这些界限的应用提供了，精炼和改进的Csiszár的某个界限。导出了一个新的与$f$ -发散有关的不等式，并举例说明了它的应用.这篇会议论文的最后一部分没有包含在最近发表在2015年2月版《IEEE Trans. on信息论》上的期刊论文中（参见arXiv：1403.7164），以及贯穿论文的一些新段落中，这些段落链接到新的参考文献。
2015-03-10 cs.IT math.IT
On the Upper Bound of the Kullback-Leibler Divergence and Cross Entropy
这篇存档文章由几篇简短的报告组成，内容涉及两位作者过去两年在牛津和马德里进行的讨论，以及他们在此期间对Kullback-Leibler分歧和交叉熵的上界进行的工作。这项工作的动机是由Chen和Golan [1]提出的成本效益比，以及不太理想的性质，即在测量中使用的Kullback-Leibler（KL）散度是无界的。随后的工作（i）证实了成本效益比中使用的KL-发散应该表现出有界性质，（ii）提出了一个新的发散度量，（iii）将这个新的发散度量与其他一些有界度量进行了比较。
2019-11-19 cs.IT math.IT
Cramér-Rao Lower Bounds Arising from Generalized Csiszár Divergences
本文研究了广义Csiszár $f$ -发散族的概率分布几何。相对$α$ -熵是这个家族的一员，它也是信息论中相对熵的Rényi模拟，在统计学中被称为对数或投影功率发散。我们应用江口的理论推导出Fisher信息度量和对偶仿射连接所产生的这些广义发散函数。这使我们能够得到一个更广泛适用的克拉美-拉奥不等式，它为潜在参数概率分布的护送估计量的方差提供了一个下界。然后，我们扩展Amari-Nagaoka的双平坦结构的指数和混合模型的其他分布相对于上述广义度量。我们表明，这些配方使我们找到无偏和有效的估计护送模型。最后，我们比较了我们的工作与以前的结果，来自非信息几何框架的广义Cramér-Rao不等式。
2020-05-24 cs.IT eess.SP math.IT
Note on bounds for symmetric divergence measures
I. Sason得到了对称散度测度的紧界，并应用G。L.吉拉多尼在这篇文章中，我们将报告上述结果的两种推广，即经典q-推广和非交换推广。
2019-03-20 cs.IT math.IT
Lower Bounds on the Bayesian Risk via Information Measures
Institute of Science and Technology Austria（奥地利科学技术研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文主要研究参数估计问题，提出了一种新的贝叶斯风险下界估计方法。该方法允许使用虚拟的\emph{any}信息测量，包括Rényi的$α$、$φ$ -分歧和Sibson的$α$ -互信息。该方法认为分歧的措施和泛函利用空间的措施和空间的功能之间的对偶。特别是，我们表明，可以通过马尔科夫不等式上界其对偶来降低任何信息度量的风险。因此，我们能够提供独立于估计量的不可能结果，这要归功于发散满足的数据处理不等式。然后将结果应用于涉及离散和连续参数的感兴趣的设置，包括“隐藏和寻找”问题，并与最先进的技术进行比较。一个重要的观察是，样本数量的下限的行为受到信息度量的选择的影响。我们利用这一点，通过引入一个新的分歧的灵感来自“曲棍球棒”的分歧，这是经验证明，提供最大的下限在所有考虑的设置。如果观测值被私有化，则可以通过强数据处理不等式获得更强的不可能性结果。本文还讨论了一些概括和替代方向。
2023-03-24 cs.IT cs.LG math.IT
On Relations Between Tight Bounds for Symmetric $f$-Divergences and Binary Divergences
在约束条件下极小化散度测度是一个重要的问题。在给定三角判别或给定均值和方差的条件下，我们得到了二元发散测度为对称发散测度提供下界的一个充分条件。假设这个充分条件，前一个界总是紧的，当两个概率测度具有相同的方差时，后一个界是紧的。这些结果的非平衡物理的应用。
2022-11-10 cs.IT math.IT math.ST
Neural Computation of Capacity Region of Memoryless Multiple Access Channels
本文提供了一个数值计算框架的无记忆多址接入信道（MAC）的可达速率区与一个连续的字母表从数据。特别是，我们使用最近的结果变分下界互信息和KL-发散计算MAC的速率区域的边界，使用一组参数化的神经网络的功能。我们的方法依赖于一个变分的下限KL-散度和上界KL-散度的基础上的f-散度不等式。与以前的工作，计算估计的互信息，这是既不是一个下限，也不是一个上限，我们的方法估计的下限互信息。我们的数值结果表明，该方法提供了更紧密的估计相比，基于MINE的估计在大信噪比，同时计算更有效。最后，我们将所提出的方法应用于光强度MAC，并获得了一个新的可实现的速率边界比以前的作品更紧。
2021-05-10 cs.IT math.IT
Properties of the Strong Data Processing Constant for Rényi Divergence
本文研究Rényi散度的强数据处理常数，证明其满足卡方散度SDPI常数对应的通用下界，刻画α=2时取上确界的分布并算出一般二元信道下的SDPI常数。
2024-05-14 cs.IT math.IT
Linear Bounds between Contraction Coefficients for $f$-Divergences
$f$ -发散的数据处理不等式可以使用称为“收缩系数”的常数来锐化，以产生强的数据处理不等式。对于任何离散源-通道对，$f$ -发散的收缩系数由$χ^2$ -发散的收缩系数下界。在本文中，我们阐明，这个下限可以通过驱动输入$f$ -发散的收缩系数为零。然后，利用$χ^2$ -发散的收缩系数建立了一类$f$-发散的收缩系数的线性上界，并对Kullback-Leibler（KL）发散的显著特殊情况改进了这个上界.此外，我们提出了另一种证明的事实，KL和$χ^2$ -发散的收缩系数是相等的高斯源与加性高斯噪声信道（其中前系数可以是功率约束）。最后，我们推广了著名的结果，即所有$f$ -发散与非线性算子凸$f$的通道收缩系数（在所有可能的源上极值化后）是相等的。特别是，我们证明了所谓的“少噪声”的前序通道可以等价地由任何非线性算子凸$f$发散。
2018-07-16 cs.IT math.IT math.PR
Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
在这项工作中，在某种联合分布下事件的概率是有界的，通过测量它与边际的乘积（这通常更容易分析）以及两个随机变量之间的相关性来衡量。这些结果在自适应数据分析中找到应用，其中引入了多个依赖关系，并且在学习理论中，它们可以用于限制学习算法的泛化误差。根据Sibson互信息、$α-$分歧、Hellinger分歧和$f-$分歧给出了边界。特别感兴趣的情况是最大泄漏（或无穷阶的Sibson互信息），因为该测量对后处理是鲁棒的并且自适应地合成。相应的界可以看作是经典界的推广，如Hoeffding不等式和McDiarmid不等式，对于相依随机变量的情况。
2020-10-21 cs.IT cs.LG math.IT
Corrections to "Wyner's Common Information under Rényi Divergence Measures"
本文修正了文献[1]中关于$1+s\in(1,2]$阶的Rényi公共信息可重性部分的一个错误结果。Rényi公共信息的新的可验证性结果（上界）不再与Wyner的公共信息一致。我们还提供了一个新的逆结果（下界）在此对应的Rényi公共信息与顺序$1+s\in(1,\infty]$。数值结果表明，对于双对称二元源，新的上、下界对于$1+s\in(1,2]$阶是一致的，并且严格大于Wyner的公共信息.
2020-02-16 cs.IT math.IT
Bounds on f-Divergences between Distributions within Generalized Quasi-$\varepsilon$-Neighborhood
本文在广义拟-$\varepsilon_{(M,m)}$-邻域框架内建立了概率测度间f-散度的可计算界，通过统一刻画局部分布邻近性、推广一阶可微散度分类及提供更紧的反向Pinsker不等式，在拟合优度检验渐近分析中展现出效力。
2025-08-10 cs.IT math.IT
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
Generalized Symmetric Divergence Measures and the Probability of Error
在信息论和统计学的文献中，存在三种经典的分歧度量。这就是Jeffryes-Kullback-Leiber J-发散。Sibson-Burbea-Rao Jensen-Shannon分歧和Taneja算术-几何分歧。这三种措施之间存在着有趣的关系。像海林格歧视，对称卡方发散，三角歧视的分歧措施也是已知的文献。在本文中，我们考虑了广义对称散度测度的特殊情况，上述措施。误差概率的界得到广义对称发散措施。误差概率的界的研究扩展的分歧措施的差异。
2011-03-30 cs.IT math.IT
Informational Divergence and Entropy Rate on Rooted Trees with Probabilities
带概率的有根树被用来分析变长码的性质。一个界限上的差异的熵率的代码和一个无记忆源。该界限是根据标准化的信息分歧。该界用于推导用于精确随机数生成、分辨率编码和分布匹配的转换。
2013-10-10 cs.IT math.IT
Bregman Divergence Bounds and Universality Properties of the Logarithmic Loss
对于给定的数据实例，损失函数测量真实值与其估计拟合之间的差异。在分类问题中，如果期望损失的最小值是真实的潜在概率，则称损失函数是适当的。我们发现，对于二进制分类，与光滑，适当的，凸损失函数的分歧是上限的Kullback-Leibler（KL）分歧，在一个归一化常数。这意味着，通过最小化与KL散度相关的对数损失，我们可以最小化该集合中任何损失选择的上限。因此，对数损失是普遍的意义上提供性能保证方面的广泛类别的准确性措施。重要的是，这种普遍性的概念不是特定于问题的，使其能够用于各种应用，包括预测建模，数据聚类和样本复杂性分析。任意有限字母的推广也被开发。所得不等式推广了几个著名的$f$ -发散结果.
2020-01-02 cs.IT math.IT
Bounds on the privacy amplification of arbitrary channels via the contraction of $f_α$-divergence
通过分析$f_α$-散度的收缩行为，研究任意通道的隐私放大界限，并提出改进的Pinsker不等式，展示稀疏通道在隐私放大中的有效性。
2025-11-25 cs.IT math.IT
Upper Bounds on the Probability of Error in terms of Mean Divergence Measures
本文将考虑算术平均、调和平均、几何平均、均方根平均等几种著名的平均。其中的一些不平等。有趣的是，所考虑的均值差是凸函数。应用一些性质，本文建立了错误概率的上界。它还表明，所获得的结果是尖锐的比直接应用已知的不等式。
2011-03-27 cs.IT math.IT
Inequalities related to some types of entropies and divergences
本文的目的是讨论关于某些参数扩展熵和发散的新结果。通过对熵和散度的数学性质的研究，利用Hermite-Hadamard不等式给出了Tsallis拟线性熵和散度的新的界.我们还给出了双参数扩展熵和发散的界，这已在\cite{7}。另外，我们研究了$(r,q)$ -拟线性熵和散度作为替代的双参数扩展熵和散度，并给出了它们的界。最后得到了一个推广的Lin散度不等式以及Fermi-Dirac熵和Bose-Einstein熵的一些刻画。
2019-07-13 cs.IT math.CA math.IT
f-divergences and their applications in lossy compression and bounding generalization error
在本文中，我们提供了三个应用$f$ -发散：（i）我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散，并表明，我们的广义Sanov的界严格改善普通的，（ii）我们考虑的有损压缩问题，研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数，使用相互$f$ -信息，并提供新的和严格更好的界限，可实现的速率在有限块长度制度，使用超级模块$f$ -分歧，和（iii）我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限，（对于某些例子）严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Minimax Optimal Estimation of KL Divergence for Continuous Distributions
从完全相同且独立分布的样本中估计Kullback-Leibler散度是一个重要的问题。一个简单而有效的估计是基于这些样本之间的k个最近邻距离。在本文中，我们分析了这种估计的偏差和方差的收敛速度。此外，我们推导出了极大极小均方误差的下界，并证明了kNN方法是渐近速率最优的。
2020-02-26 cs.IT math.IT stat.ML
Tight Bounds for Linear and Non-Linear Contraction of Divergences via Duality
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）；Okinawa Institute of Science and Technology (OIST)（冲绳科学技术大学院大学）
本文提出在Orlicz空间中马尔可夫算子的收缩概念，并提供收缩系数的上界，改进了MCMC方法的混合时间和集中界。
2026-09-03 cs.IT math.FA math.IT
Empirically Estimable Classification Bounds Based on a New Divergence Measure
信息发散函数在统计学和信息论中起着重要的作用。在本文中，我们表明，一个非参数f-发散措施，可以用来提供改进的界限时，训练和测试数据是从相同的分布的情况下，训练和测试分布之间存在一些不匹配的最小二进制分类错误概率。我们确认的理论结果，通过设计特征选择算法，使用这些界限的标准，并通过评估一系列的病理语音分类任务的算法。
2015-02-10 cs.IT math.IT stat.ML
Generalization Bounds for Quantum Learning via Rényi Divergences
Indian Statistical Institute, Kolkata（印度统计研究所，加尔各答）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；International Quantum Academy, Futian District, Shenzhen（深圳国际量子 academy，福田区）；Graduate School of Mathematics, Nagoya University（名古屋大学数学研究生院）
本文通过Rényi散度推导了量子学习算法的泛化误差上界，利用Caro等人（2024）的框架和新的期望真实损失定义，提出基于量子和经典Rényi散度的上界，并通过变分方法评估量子Rényi散度，展示了改进的sandwich量子Rényi散度在性能上的优势。
2025-05-16 cs.IT cs.LG math.IT
Generalized Statistics Framework for Rate Distortion Theory with Bregman Divergences
在Tsallis广义（非广延）统计量的范围内，给出了率失真（RD）理论在Bregman发散下的变分原理.建立了Tsallis-Bregman RD下界。替代最小化方案的广义Bregman RD（GBRD）理论推导。一个计算策略来实现GBRD模型。的GBRD模型的有效性举例说明与数值模拟的帮助。
2007-01-15 cond-mat.stat-mech cs.IT math.IT
Concentration Bounds for Discrete Distribution Estimation in KL Divergence
University of Sydney（悉尼大学）；Google Research（谷歌研究院）
该研究针对KL散度下离散分布估计问题，推导Laplace估计器的集中界，将偏差量级从k/n改进为√k/n（n≥k时），并给出匹配下界证明其紧性。
2023-06-13 cs.DM cs.IT cs.LG
A New Family of Bounded Divergence Measures and Application to Signal Detection
我们引入了一个新的单参数族的分歧措施，称为有界Bhattacharyya距离（BBD）措施，量化之间的概率分布的相异性。这些测度是有界的、对称的和半正定的，并且不要求绝对连续。在渐近极限下，BBD测度逼近平方Hellinger距离。本文还介绍了多分布的广义BBD测度。我们证明了一个定理的扩展Bradt和Karlin BBD有关贝叶斯错误概率和分歧排名。我们证明了BBD属于广义Csiszar f-散度类，并得到了一些性质，如曲率和与Fisher信息的关系。对于具有向量值参数的分布，曲率矩阵与Fisher-Rao度量有关。我们得到一定的BBD和著名的措施，如海林格和詹森-香农分歧之间的不平等。我们还推导出贝叶斯错误概率的界限。我们给出了这些措施的应用程序的问题，信号检测，我们比较两个单色信号埋在白噪声和不同的频率和幅度。
2016-04-10 cs.IT math.IT math.PR
Guaranteed bounds on the Kullback-Leibler divergence of univariate mixtures using piecewise log-sum-exp inequalities
École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
信息论度量，如两个混合模型之间的熵、交叉熵和Kullback-Leibler散度，是许多信号处理任务中的核心基元。由于混合物的库尔贝克-莱布勒分歧可证明不允许封闭形式的公式，因此在实践中，它要么使用昂贵的蒙特卡罗随机积分来估计，要么使用各种技术来近似或限制。我们提出了一种快速和通用的方法，建立算法封闭形式的下限和上限的熵，交叉熵和混合物的Kullback-Leibler发散。我们说明了多功能的方法，通过报告我们的实验近似单变量指数混合物，高斯混合物，瑞利混合物，伽玛混合物之间的Kullback-Leibler发散。
2016-08-17 cs.IT cs.LG math.IT
Lovász's Theta Function, Rényi's Divergence and the Sphere-Packing Bound
在经典量子背景下，利用R{é}nyi发散，将图容量的Lovász界和信道编码中错误概率的球填充界统一表示为Csiszár型信息半径.这将编码理论中通常被认为具有非常不同性质的两个结果结合在一起，一个是“组合”结果，另一个是“概率”结果。在量子信息论的背景下，这种差异消失了。
2013-05-20 cs.IT math.IT quant-ph
Kullback-Leibler divergence between quantum distributions, and its upper-bound
这项工作提出了一个上限值，Kullback-Leibler（KL）分歧可以达到一类称为量子分布（QD）的概率分布。目的是找到一个分布$U$，它在假设$P$和$U$是通过分布一个给定的离散量量子而产生的情况下，使KL与给定分布$P$的发散最大化。量子分布自然代表了在实际应用中使用的广泛的概率分布。此外，这类分布可以作为任何概率分布的近似而获得。本文证明了在所比较的分布是相同量子值上的量子分布的条件下，熵散度的上界的恢复是可能的，因此它们是可比较的。因此，当熵散度应用于可比较的分布时，它获得了更强大的意义。在分歧的未来发展中应考虑到这一方面。理论研究结果用于提出一个概念的归一化KL分歧，经验表明，表现不同，从已知的措施。
2020-12-10 cs.IT cs.LG math.IT
Optimal Bounds between $f$-Divergences and Integral Probability Metrics
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
$f$ -发散（例如Kullback-Leibler发散）和积分概率距离（例如全变差距离或最大平均差异）的族广泛用于量化概率分布之间的相似性。本文从凸对偶的角度系统地研究了这两个族之间的关系。从紧变分表示的$f$ -发散，我们推导出一个推广的矩母函数，我们表明正是表征的最佳下界的$f$ -发散作为一个给定的IPM的功能。使用此特征，我们得到新的界限，同时也恢复在一个统一的方式众所周知的结果，如Hoeffding引理，Pinsker的不等式及其扩展到亚高斯函数，和Hammersley查普曼罗宾斯界。这一特征也使我们能够证明新的结果的拓扑性质的分歧，这可能是独立的利益。
2021-06-05 cs.IT cs.LG math.IT
Extrinsic Jensen-Shannon Divergence: Applications to Variable-Length Coding
本文研究了离散无记忆信道（DMC）中带无噪声反馈的变长编码问题。本文提供了一个随机控制的问题，其解决方案进行了分析，通过一个新提出的对称化的分歧，被称为外在的詹森-香农（EJS）分歧。结果表明，严格的正下界EJS发散提供非渐近上界的预期代码长度。本文提出了严格的正下界EJS分歧，因此非渐近上界的预期代码长度，为以下两个编码方案：可变长度的后验匹配和MaxEJS编码方案，这是基于一个贪婪的最大化的EJS分歧。作为主要结果的一个渐近推论，本文还提供了一个率信度检验。保证满足参数$R$和$E$的测试条件的可变长度编码方案实现速率$R$和误差指数$E$。结果专门用于后验匹配和MaxEJS，以获得确定性的单相编码方案，实现容量和最佳误差指数。对于对称二进制输入信道的特殊情况下，更简单的确定性计划的最佳性能的建议和分析。
2015-01-05 cs.IT math.IT math.OC
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
MMSE Bounds Under Kullback-Leibler Divergence Constraints on the Joint Input-Output Distribution
本文提出了一个新的家庭的下限和上限的最小均方误差（MMSE）。关键的想法是最小化/最大化的MMSE的约束下，联合分布的输入输出统计位于一个Kullback-Leibler发散球中心在一些高斯参考分布。这两个界限是紧的，并通过高斯分布，其平均值是相同的参考分布，其协方差矩阵是由一个标量参数，可以通过找到一个单调函数的根来确定。上界对应于一个极小极大最优估计，并提供性能保证下分布的不确定性。下界为估计理论中的著名不等式提供了一种替代方案，例如Cramér-Rao界，它可能更严格，并且定义为更大的一类分布。信号处理和信息论中的应用实例说明了所提出的界限在实践中的实用性。
2020-06-05 cs.IT math.IT stat.OT
On the Complexity of Estimating Renyi Divergences
本文研究了离散分布的Renyi发散估计的复杂性：$p$从样本中观察到的和基线分布$q$已知\emph{a priori}。扩展Acharya等人的结果。（SODA'15）估计Renyi熵，我们提出了改进的估计技术，以及上界和下界的样本复杂性。我们发现，相反，估计Renyi熵的次线性（在字母表大小）的样本数就足够了，样本的复杂性是严重依赖于\emph{events occurring unlikely}在$q$，一般是无界的（无论使用什么估计技术）。对于大于$1$阶的任何发散，我们提供了依赖于$p$和$q$概率的样本数量的上界和下界。我们的结论是，最坏情况下的样本复杂度是多项式的字母表大小当且仅当概率的$q$是不可忽略的。这给出了理论上的见解，在应用论文中使用的算法来处理数值不稳定性，这发生在小概率的$q$。我们的结果解释了小概率应该小心处理，不仅因为数值问题，而且因为在样本复杂性的爆炸。
2017-02-08 cs.CC cs.IT math.IT
From Classical to Quantum: Explicit Classical Distributions Achieving Maximal Quantum $f$-Divergence
本文提出显式经典态实现最大量子$f$-散度，简化Matsumoto定理证明，并系统推广经典不等式到量子情形，改进Pinsker不等式及逆向Pinsker不等式。
2025-01-24 cs.IT math.IT quant-ph
Convergence Rates for Empirical Estimation of Binary Classification Bounds
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
二进制分类问题的最佳可实现错误概率的界与许多应用相关，包括机器学习、信号处理和信息论。贝叶斯二进制分类出错率的许多界限取决于类分布对之间的信息分歧。最近，Henze-Penrose（HP）分歧已被提出用于界定分类错误概率。我们考虑的问题，经验估计的HP分歧从随机样本。我们推导出的HP-发散，这是一个多变量运行统计两个分布之间的测试的Friedman-Rafsky（FR）估计的收敛速度上的界限。FR估计是来自一个多色的欧氏最小生成树（MST），跨越合并的样本。我们得到了Henze-Penrose散度的Friedman-Rafsky估计的一个集中不等式。我们通过实验验证了我们的结果，并说明了它们在真实数据集上的应用。
2018-10-01 cs.IT cs.LG math.IT
A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
我们推导出满足给定Rényi差分隐私（RDP）水平的机制的最佳差分隐私（DP）参数。我们的结果是基于联合范围的两个$f$ -分歧的基础上的近似和Rényi变化的差分隐私。我们将我们的结果的时刻会计框架表征隐私保证的随机梯度下降。与最先进的技术相比，我们的边界可能会导致大约100个以上的随机梯度下降迭代，用于训练相同隐私预算的深度学习模型。
2020-01-16 cs.CR cs.IT cs.LG
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型，观察收集的形式加权邻接矩阵，每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果，表征成功和失败的最大似然估计边缘权重时，从离散分布之间的精确边界，涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时，意味着边缘分布充分分离，最大似然法成功，概率趋于1;当Renyi散度低于阈值时，最大似然法失败，概率远离0。在图形通道的语言中，Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值，专门为未加权块模型，并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上，我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后，我们讨论的后果，我们的界限的相关问题的截尾块模型和子矩阵本地化，这可能被视为特殊情况下，我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Generalized Exponential Concentration Inequality for Rényi Divergence Estimation
在许多机器学习任务中，以一致的方式估计分歧是非常重要的。虽然这是一个基本问题，在非参数统计，据我们所知，一直没有有限样本指数不等式收敛界推导出任何分歧估计。本文的主要贡献是给出了$d$维单位立方体$[0, 1]^d$上光滑Hölder密度类的Rényi-$α$散度估计的一个界.我们还说明了我们的理论结果与数值实验。
2016-03-28 cs.IT math.IT math.ST
