On Data-Processing and Majorization Inequalities for $f$-Divergences with Applications
本文主要研究$f$ -分歧的数据处理和优控不等式的推导及其在信息论和统计中的应用。为了便于材料的获取，首先介绍了主要结果，但没有证明，其次是定理的例证，进一步相关的分析结果，解释和信息理论的应用。一个应用程序是指列表解码的性能分析，无论是固定的或可变的列表大小，一些较早的界限上的列表解码错误概率再现在一个统一的方式，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数的质量的研究，由汤斯顿树的叶子引起的，由等概率分布。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。几乎所有的分析都归入附录，构成了这份手稿的主要部分。
2019-11-06 cs.IT math.IT math.PR
Maximum Relative Divergence Principle for Grading Functions on Power Sets
本文将分次函数的相对散度的概念从全序链推广到有限事件空间的幂集。将香农熵的概念推广到幂集上的归一化分次函数。最大相对发散原理是最大熵原理的推广，它是确定“最合理”评分函数的工具，并用于某些运筹学应用中，在特定应用的线性约束下，该函数应该是“元素可加”或“基数依赖”的。
2022-07-14 math.PR
Bounds on Non-Symmetric Divergence Measures in Terms of Symmetric Divergence Measures
在信息论和统计学的文献中，存在着许多信息和分歧度量。其中最著名的是Kullback-Leibler（1951）的相对信息和Jeffreys（1951）的J-散度。Sibson（1969）的Jensen-Shannon发散也在文献中找到了应用。作者（1995）研究了一种新的基于算术平均和几何平均的散度测度。像调和平均散度和三角判别这样的度量在文献中也是已知的。最近，Dragomir等人（2001）也研究了一种类似于J-散度的新度量，我们称之为相对J-散度。Lin（1991）还研究了由于Jensen-Shannon发散而产生的另一种度量。这里我们称之为相对詹森-香农散度。相对算术-几何发散（参考Taneja，2004）也在这里进行了研究。所有这些测度都可以写成Csiszar f-散度的特例。通过对概率分布施加一些条件，这里的目的是获得测量之间的界限。
2005-06-13 math.PR
Transportation inequalities for Markov kernels and their applications
本文研究度量空间上马尔可夫核的输运不等式，证明压缩不等式与反向Poincaré、反向对数Sobolev及Wang Harnack不等式等价，并应用于马尔可夫过程收敛和热核测度拟不变性。
2021-03-23 math.FA math.MG math.PR
From Generalisation Error to Transportation-cost Inequalities and Back
EPFL（洛桑联邦理工学院）
在这项工作中，我们连接的问题与运输成本不等式的预期广义误差的边界。揭示这两种方法背后的基本模式，我们能够概括它们，并超越Kullback-Leibler分歧/互信息和亚高斯措施。特别是，我们能够提供一个结果，显示两个家庭之间的等价性的不平等：一个涉及泛函和一个涉及措施。这一结果推广了Bobkov和Götze提出的将运输成本不等式与度量集中联系起来的结果。此外，它使我们能够恢复所有标准的广义误差界涉及互信息，并引入新的，更一般的界限，涉及任意发散措施。
2022-03-25 cs.IT cs.LG math.FA
A trajectorial approach to relative entropy dissipation of McKean$\boldsymbol{-}$Vlasov diffusions: gradient flows and HWBI inequalities
我们制定了一个修正版本的相对熵耗散恒等式的McKean $-$ Vlasov扩散，扩展的结果的文件[FJ16，KST 20 a]，适用于非相互作用扩散。我们的随机分析方法是基于时间反演的扩散和狮子的微分学在Wasserstein空间。它允许我们通过相应的相对熵过程的半鞅分解，显式地计算沿潜在扩散的每个轨迹的相对熵耗散率。作为第一个应用程序，我们得到了一个新的解释的梯度流结构的颗粒介质方程，推广的制定[KST 20 a]开发的线性福克$-$普朗克方程。其次，我们展示了如何通过阶乘方法导出一个新的HWBI不等式，它将相对熵（H）、Wasserstein距离（W）、重心（B）和Fisher信息（I）联系起来。
2021-05-25 math.PR
Stability of parabolic Harnack inequalities on metric measure spaces
设$(X,d,μ)$是具有局部正则Dirichlet型的度量测度空间.给出了一个具有整体时空标度指数$β\ge 2$的抛物型Harnack不等式成立的充要条件.我们证明了这个抛物Harnack不等式在粗糙等距下是稳定的。因此，一旦在度量测度空间上建立了这样的Harnack不等式，那么它对由该空间的图逼近自然定义的流形上的任何散度型一致椭圆算子都成立。
2020-01-22 math.PR
Maximum Relative Divergence Principle for Grading Functions on Direct Products of Chains
本文将概率分布的Shannon熵概念和相应的最大熵原理推广到全序链（链丛）的直积上的分次函数与另一分次函数的相对发散度和分次函数的最大相对发散原理。几个运筹学的应用进行了分析。
2023-03-24 math.OC math.PR
Shifted Composition I: Harnack and Reverse Transport Inequalities
提出移位复合规则这一信息论新原理，通过辅助移位界定随机过程分布间的散度，借此证明扩散过程的反向传输不等式并蕴含维度无关的 Harnack 不等式，同时连接了连续与离散时间方法。
2023-11-24 cs.IT math.AP math.FA
Dimension-free log-Sobolev inequalities for mixture distributions
证明了若${(P_x)}_{x\in \mathscr X}$是满足log-Sobolev不等式的概率测度族，且其两两的卡方发散一致有界，且$μ$是$\mathscr X$上的任意混合分布，则混合分布$\int P_x \, \mathrm{d} μ(x)$满足log-Sobolev不等式.在各种感兴趣的设置中，所得到的log-Sobolev常数是无量纲的。特别地，我们的结果暗示了Zimmermann和Bardet等人的一个猜想，即具有有界支撑的测度的高斯卷积享受无量纲的log-Sobolev不等式。
2021-03-05 math.FA math.PR
Entropy bounds on abelian groups and the Ruzsa divergence
在过去的几年里，一个有趣的家庭新的不等式的熵的总和和差异的随机变量已开发的Ruzsa，陶和其他人，动机是类似的结果添加剂组合。目前的工作扩展这些早期的结果的情况下，随机变量取值在$\mathbb{R}^n$，或更一般地说，在任意的局部紧和波兰阿贝尔群。我们隔离和研究一个关键的数量，两个概率分布之间的Ruzsa分歧，我们表明，它的属性可以用来延长以前的不等式，目前的一般设置。建立的新结果包括几个变化的主题，两个独立的随机变量的和和差的熵严重相互约束。虽然设置是相当普遍的，结果已经感兴趣的（和新的）随机向量在$\mathbb{R}^n$。在这种特殊情况下，给出了熵幂不等式等式条件稳定性的定量界;证明了对数凹随机向量的逆熵幂不等式;建立了凸体Rogers-Shephard不等式的信息论模拟;并观察到其中一些结果导致了正定矩阵行列式的新不等式.此外，通过考虑复平面上的乘法子群，得到了非零复值随机变量的乘积和比的微分熵的新不等式。
2015-10-26 cs.IT math.CO math.IT
Sharp Gaussian divergence and Bernstein-Markov inequalities
Massachusetts Institute of Technology（麻省理工学院）；Yale University（耶鲁大学）；Duke University（杜克大学）
本文证明了高斯空间中两个无维度估计：最优Meyer型散度不等式和Bernstein-Markov不等式，常数阶为$\sqrt{\mathrm{deg}(P)/p}$，适用于$p\geq2$。
2026-09-29 math.CA math.FA math.PR
On Relations Between the Relative entropy and $χ^2$-Divergence, Generalizations and Applications
相对熵和卡方散度是信息论和统计学中的基本散度度量。本文主要研究这两个发散之间的积分关系，这些关系的含义，它们在信息论中的应用，以及与丰富的$f$ -发散类有关的一些推广。本文所研究的应用涉及到无损压缩、型与大偏差方法、强数据处理不等式、压缩系数与最大相关的界以及一类离散时间马氏链的平稳收敛速度。
2020-06-02 cs.IT math.IT math.PR
On the probabilistic rationale of I-divergence and J-divergence minimization
提供了I-散度最小化（相对熵最大化）、非参数似然最大化和J-散度最小化（Jeffres熵最大化）准则的概率原理。
2000-08-04 math.CO math.PR
Principal Feature Detection via $Φ$-Sobolev Inequalities
本文提出利用子空间 $ϕ$-Sobolev 不等式构造高维目标测度的低维近似，通过特征映射与低维轮廓函数获得对 Amari $α$-散度的可验证误差保证，并推广至贝叶斯反问题与非线性特征映射。
2024-01-16 math.PR math.ST stat.CO
Upper Bounds on the Relative Entropy and Rényi Divergence as a Function of Total Variation Distance for Finite Alphabets
一个新的上界的相对熵推导出作为一个函数的总变化距离定义在一个共同的有限字母表的概率措施。该约束改进了以前报道的Csiszár和Talata的约束。进一步推广到任意非负阶（包括$\infty$）的Rényi散度作为总变差距离的函数的上界.
2015-10-17 cs.IT math.IT math.PR
How biased is your model? Concentration Inequalities, Information and Model Bias
我们得出严格的和可计算的界限上的偏差的统计估计，或更一般的数量的利益，当评估的基线模型P，而不是在典型的未知的真实模型Q。我们提出的方法结合了由P. Dupuis，K.Chowdhary，作者及其合作者导出的可扩展信息不等式以及经典的浓度不等式（如Bennett和Hoeffding-Azuma不等式）。我们的界用Kullback-Leibler散度R（Q）表示||此外，浓度不等式，即矩生成函数的界限，为感兴趣的量提供了紧密的和计算上便宜的模型偏差界限。最后，它们使我们能够为统计估计量推导出严格的置信带，这些置信带可以解释模型偏差，并且对任意数量的数据都有效。
2017-06-30 cs.IT math.IT math.PR
A Variational Characterization of Rényi Divergences
Atar，Chowdhary和Dupuis最近给出了一个关于有界可测函数的指数积分的变分公式。本文用相对熵的概念给出了可测空间上两个概率分布之间Rényi发散的变分刻画。当结合有界可测函数的指数积分在相对熵方面的基本变分公式时，这产生Atar，Chowdhary和Dupuis的变分公式作为推论。我们还开发了一个类似的变分表征的Rényi发散率之间的两个平稳有限状态马尔可夫链的相对熵率。当结合Varadhan的变分表征的谱半径的平方矩阵与非负条目的相对熵，这产生了一个模拟的变分公式的Atar，Chowstrom和Dupuis的框架内的有限状态马尔可夫链。
2017-01-26 cs.IT math.IT math.PR
