arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.03427cs.ITmath.FAmath.IT
收藏

热流下的强数据处理不等式

The strong data processing inequality under the heat flow

Bo'az Klartag, Or Ordentlich

AI总结:

本文研究了概率分布在热流下各种散度的衰减率,证明了 Gaussian 通道的强数据处理不等式系数的上下界,推广了 de Brujin 恒等式和 Costa 的微分熵凹性结果,并基于 Poincaré 常数给出了互信息和最小均方误差的新下界。

摘要:

设 $ν$ 和 $μ$ 为 $\mathbb{R}^n$ 上的概率分布,$ν_s,μ_s$ 为它们在热流下的演化,即将其密度与各分量方差为 $s$ 的各向同性 Gaussian 随机向量密度进行卷积所得的概率分布。本文研究了 $s\mapsto D(ν_s\\|μ_s)$ 在各种散度(包括 $χ^2$ 和 Kullback-Leibler (KL) 散度)下的衰减率。我们证明了对应于源 $μ$ 和 Gaussian 通道的强数据处理不等式 (SDPI) 系数的上下界。我们还证明了 de Brujin 恒等式以及 Costa 关于 $ν_s$ 微分熵关于 $s$ 凹性结果的推广。作为分析的副产品,我们得到了 $X$ 与 $Y=X+\sqrt{s} Z$ 之间互信息的新下界(其中 $Z$ 是 $\mathbb{R}^n$ 中独立于 $X$ 的标准 Gaussian 向量),以及基于 $X$ 的 Poincaré 常数从 $Y$ 估计 $X$ 的最小均方误差 (MMSE) 的下界。

英文摘要:

Let $ν$ and $μ$ be probability distributions on $\mathbb{R}^n$, and $ν_s,μ_s$ be their evolution under the heat flow, that is, the probability distributions resulting from convolving their density with the density of an isotropic Gaussian random vector with variance $s$ in each entry. This paper studies the rate of decay of $s\mapsto D(ν_s\|μ_s)$ for various divergences, including the $χ^2$ and Kullback-Leibler (KL) divergences. We prove upper and lower bounds on the strong data-processing inequality (SDPI) coefficients corresponding to the source $μ$ and the Gaussian channel. We also prove generalizations of de Brujin's identity, and Costa's result on the concavity in $s$ of the differential entropy of $ν_s$. As a byproduct of our analysis, we obtain new lower bounds on the mutual information between $X$ and $Y=X+\sqrt{s} Z$, where $Z$ is a standard Gaussian vector in $\mathbb{R}^n$, independent of $X$, and on the minimum mean-square error (MMSE) in estimating $X$ from $Y$, in terms of the Poincaré constant of $X$.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑