发表机构
American University of Beirut; CentraleSupelec, CNRS, University of Paris-Saclay（贝鲁特美国大学; 巴黎萨克雷大学中央苏佩雷克理工学院、法国国家科学研究中心）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文将高斯信息瓶颈推广至稳定变量，提出线性稳定信息瓶颈的闭式解，证明非高斯情形下线性编码器严格次优但大压缩率下渐近最优。
AI 中文摘要
我们考虑将高斯信息瓶颈问题推广到联合稳定变量$X$和$Y$的情形。具体地，对于$X = Y + A$，其中$A$是稳定的且与$Y$独立，我们找到形如$T = kX + N$的最优随机线性编码器，其中$N$是稳定的且与$X$独立。我们以闭式形式刻画了线性稳定信息瓶颈及其临界值。此外，我们证明，除高斯情形外，此类随机线性编码器严格次优，但在大压缩率下渐近最优。我们的线性解在联合高斯变量情形下恢复为高斯信息瓶颈。
英文摘要
We consider a generalization of the Gaussian information bottleneck problem to jointly stable variables $X$ and $Y$. Specifically, for $X = Y + A$, where $A$ is stable and independent of $Y$, we find optimal stochastic linear encoders of the form $T = kX + N$, $N$ being stable and independent of $X$. We characterize the linear stable information bottleneck in closed-form and its critical value. Furthermore, we show that, except for the Gaussian case, such stochastic linear encoders are strictly suboptimal, however asymptotically optimal at large compression rate. Our linear solution recovers the Gaussian information bottleneck for jointly Gaussian variables.
Comments13 pages, 3 figures
