On the Renyi Divergence, Joint Range of Relative Entropies, and a Channel Coding Theorem
本文首先考虑的Renyi散度的最小化的总变化距离的约束。当$P_1, P_2, Q$为任意概率测度且相互绝对连续，且$P_1$和$P_2$之间的总变差距离不小于给定值时，基于该优化问题的解，确定了点$\bigl( D(Q\|P_1), D(Q\|P_2) \bigr)$的精确轨迹.它进一步表明，这个凸区域的所有点是由概率措施，这是定义在一个二进制字母表。这种表征产生的最小的adjacent信息的几何解释的总变化距离的约束。本文还导出了二元线性分组码（或码集成）在最大似然译码下性能的指数上界。它的推导依赖于Gallager边界技术，它再现了Shulman-Feder边界作为一个特例。的约束表示在Renyi发散的规范化的距离谱的代码（或合奏的平均距离谱）的二项式分布的距离谱的能力，实现合奏的随机分组码。该指数界限提供了二进制线性分组码（或码集合）的性能退化的定量测量，作为它们的距离谱与二项分布的偏差的函数。被认为是一个有效的使用这个界限。
2015-10-26 cs.IT math.IT math.PR
On Semi-supervised Estimation of Discrete Distributions under f-divergences
该研究针对双变量联合概率质量函数的半监督估计问题，验证了单变量极小极大估计器组合在1≤p≤2的l^p_p损失及KL、χ²等多种f散度下的极小极大最优性，填补了相关研究空白。
2024-05-15 cs.IT math.IT math.ST
A Connection Between Learning to Reject and Bhattacharyya Divergences
Australian National University（澳大利亚国立大学）；RIKEN AIP（日本理化学研究所）
本文研究学习拒绝与统计散度阈值化的关系，提出基于联合理想分布的拒绝方法，证明其对应偏斜Bhattacharyya散度阈值化，并发现该方法比Chow规则更保守。
2025-05-08 cs.IT cs.LG math.IT
Multiclass Classification, Information, Divergence, and Surrogate Risk
我们提供了一个统一的观点，统计信息的措施，多路贝叶斯假设检验，多类分类问题的损失函数，和多分布$f$ -分歧，阐述所有这些对象之间的等价结果，并扩展现有的结果为二进制结局空间更一般的。我们认为一个泛化的$f$ -分歧多个分布，我们提供了一个建设性的分歧，统计信息（在DeGroot的意义上）之间的等价性，和损失的多类分类。我们的研究结果的一个主要应用是在多类分类问题中，我们必须推断一个判别函数$γ$ -用于从数据$X$对标签$Y$进行预测-和一个数据表示（或者，在假设检验问题的设置中，一个试验设计），表示为一个量化器$\mathsf{q}$从一个家庭的可能的量化器$\mathsf{Q}$。在这种情况下，我们的特点是损失函数之间的等价性，这意味着优化两个损失中的任何一个产生一个最佳的判别式和量化器$\mathsf{q}$，补充和扩展阮等早期的结果。#21453;多类案件。我们的研究结果提供了一个更实质性的基础比标准的分类校准结果比较不同的损失：我们描述的凸损失是一致的，共同选择一个数据表示和最小化（加权）的概率错误的多类分类问题。
2017-09-10 cs.IT math.IT math.ST
Divergence-Minimizing Distribution Matching for Parallel Channels and Channels with Memory
Technical University of Munich（慕尼黑工业大学）
将散度最小化分布匹配扩展到有记忆分布，证明其选择最高概率序列，应用于并行AWGN信道，联合ESS相比乘积DM大幅降低短块长度下的速率损失。
2026-09-29 cs.IT math.IT
On surrogate loss functions and $f$-divergences
二进制分类的目标是从协变量向量和相应的二进制标签的观察估计判别函数$γ$。我们考虑这个问题的详细说明，其中协变量不能直接使用，但变换的降维量化器$Q$。我们提出的条件损失函数，使经验风险最小化产生贝叶斯一致性时，判别函数和量化器的估计。这些条件是由损失函数和一类称为Ali-Silvey或$f$ -发散泛函的泛函之间的一般对应关系来表示的。而这种对应关系是由布莱克威尔[Proc.第二伯克利研讨会。可能吧中央集权主义者1（1951）93- 102。对于0- 1损失，我们将对应关系扩展到更广泛的代理损失函数类，这些函数在二元分类的贝叶斯一致性的一般理论中起着关键作用。我们的研究结果使得有可能挑选出（严格）子集的替代损失函数，产生贝叶斯一致性的判别函数和量化器的联合估计。
2009-04-01 cs.IT math.IT math.ST
Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
Inria（法国国家信息与自动化研究所）
本文通过推导JSD与KLD之间的新下界，揭示了JSD基于信息最大化与互信息之间的关系，并展示了其在表示学习中的应用和有效性。
2026-03-17 cs.IT cs.LG math.IT
Reliability Functions of Quantum Soft Covering and Privacy Amplification via a Mixed-Order Rényi Divergence
Institute for Advanced Study in Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
本文引入新型混合阶Rényi散度，定义对应互信息与条件熵，推导得到α∈[2,∞)夹逼Rényi散度下量子软覆盖与隐私放大的精确可靠性函数，首次完成量子软覆盖可靠性函数的精确表征。
2026-08-13 cs.IT math.FA math.IT
Causal Dependence Tree Approximations of Joint Distributions for Multiple Random Processes
研究了随机过程的联合分布与因果依赖树分布的近似。当过程之间存在因果动态时，这种分布在提供简约表示方面特别有用。通过推广Chow和Liu关于依赖树近似的结果，我们证明了最佳因果依赖树近似是最大化其边缘上的有向信息之和的近似，其中最佳的定义是最小化原始分布和近似分布之间的KL-发散。此外，我们描述了一个低复杂度的算法，有效地挑选这个近似分布。
2011-01-26 cs.IT math.IT
Wyner's Common Information under Rényi Divergence Measures
我们研究了Wyner公共信息问题（也创造了分布式源模拟问题）的广义版本。原始的共同信息问题在于理解共同输入到独立处理器的最小速率，以生成联合分布的近似，当用于量化合成分布和目标分布之间的差异的距离度量是归一化的相对熵时。我们的推广涉及到改变的距离措施的非正规化和正规化的Rényi分歧的顺序$α=1+s\in[0,2]$。我们表明，所需的最小速率，以确保由代码引起的分布和目标分布之间的雷尼分歧消失保持相同的Wyner的设置，除了当顺序$α=1+s=0$。这意味着，Wyner的共同信息是相当强大的距离测量的选择。作为用于建立上述结果的证明的副产品，在全变差距离测度下建立了公共信息问题的指数强逆。
2019-12-03 cs.IT math.IT
Distribution-Dependent Improvements of McDiarmid's Inequality via Rényi Divergence
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；EPFL（洛桑联邦理工学院）
该研究探讨Rényi散度对McDiarmid不等式的分布依赖改进，推导了独立有界随机变量和的集中界，其在伯努利和的偏差阈值范围内优于KL散度诱导的界，还建立了关联总变差与Rényi散度的Gilardoni不等式的分布依赖改进。
2026-10-14 cs.IT math.IT math.PR
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau（物联网智能城市国家重点实验室和澳门大学电子与计算机工程系）；Department of Electrical and Computer Engineering, Cornell Tech, Cornell University（电气与计算机工程系，康奈尔科技，康奈尔大学）；Computing Sciences Research, Lawrence Berkeley National Laboratory（计算科学研究所，劳伦斯伯克利国家实验室）
本文提出通过KL散度度量高斯混合模型发布精度，结合差分隐私机制，在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Investigation of Alternative Measures for Mutual Information
互信息$I(X;Y)$是信息论中的一个有用的定义，用于估计随机变量$Y$关于随机变量$X$持有多少信息。定义互信息的一种方式是通过比较$X$和$Y$的联合分布与通过KL-发散的边缘的乘积。如果两个分布彼此接近，则几乎没有$X$从$Y$泄漏，因为两个变量接近于独立。在离散设置中，互信息具有$Y$揭示关于$X$的多少比特的良好解释，并且如果$I(X;Y)=H(X)$（$X$的香农熵），则$X$被完全揭示。然而，在连续的情况下，我们没有同样的推理。例如，在连续情况下，互信息可以是无限的。这一事实使我们能够尝试不同的度量或分歧来定义互信息。在本文中，我们正在评估不同的度量或分歧，如Kullback-Liebler（KL）分歧，Wasserstein距离，Jensen-Shannon分歧和总变异距离，以形成替代的互信息在连续的情况下。我们部署不同的方法来估计或约束这些指标和分歧，并评估其性能。
2022-04-13 cs.CR cs.IT math.IT
Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
The Alan Turing Institute（阿兰·图灵研究所）；Sharif University of Technology（谢里夫理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文基于 $f$-散度和 $α$-Rényi 散度提出适用于半监督自训练的经验风险函数与正则化方法，提升了对含噪伪标签的鲁棒性，并在特定条件下优于传统自训练方法。
2024-05-01 cs.IT cs.LG math.IT
Kullback-Leibler divergence between quantum distributions, and its upper-bound
这项工作提出了一个上限值，Kullback-Leibler（KL）分歧可以达到一类称为量子分布（QD）的概率分布。目的是找到一个分布$U$，它在假设$P$和$U$是通过分布一个给定的离散量量子而产生的情况下，使KL与给定分布$P$的发散最大化。量子分布自然代表了在实际应用中使用的广泛的概率分布。此外，这类分布可以作为任何概率分布的近似而获得。本文证明了在所比较的分布是相同量子值上的量子分布的条件下，熵散度的上界的恢复是可能的，因此它们是可比较的。因此，当熵散度应用于可比较的分布时，它获得了更强大的意义。在分歧的未来发展中应考虑到这一方面。理论研究结果用于提出一个概念的归一化KL分歧，经验表明，表现不同，从已知的措施。
2020-12-10 cs.IT cs.LG math.IT
Proximity Operators of Discrete Information Divergences
信息分歧允许人们评估两个分布彼此之间的接近程度。在大量的可用测度中，凸$φ$ -发散得到了特别的关注，例如Kullback-Leibler、Jeffreys-Kullback、Hellinger、卡方、Renyi和I $_α$发散。虽然$φ$ -发散在凸分析中得到了广泛的研究，但它们在优化问题中的应用仍然具有挑战性。在这方面，现有方法的主要缺点之一是，$φ$ -分歧的最小化通常是相对于它们的参数之一执行的，可能在交替优化技术内。在本文中，我们克服了这一限制，推导出新的封闭形式的表达式，这样的二元函数的邻近算子。这使得有可能采用标准的近似方法，有效地解决了广泛的凸优化问题，涉及$φ$的分歧。此外，我们表明，这些邻近算子是有用的计算epigraphical投影的几个功能的实际利益。在数据库管理系统中，选择性估计的问题起着核心作用的最佳查询执行的上下文中，建议的近端工具进行数值验证。在小到大规模的场景中进行实验。
2017-04-26 cs.IT math.IT math.OC
Joint Range of Rényi Entropies
确定了几个Rényi熵的联合值的精确范围。该方法是基于拓扑结构，特别强调的方向的对象研究。就像在只研究两阶Rényi熵的情况下，可以参数化上界和下界，但不能给出严格上界或下界的显式公式。
2009-04-16 cs.IT math.IT math.PR
