Sharp variance-entropy comparison for nonnegative Gaussian quadratic forms
本文研究了$n$ i.i.d.的加权和。Gamma（$α$）具有非负权重的随机变量。我们证明了对于$n \geq 1/α$，当方差固定时，具有相等系数的和最大化微分熵。因此，我们证明了在$n$独立的标准高斯随机变量的非负二次型中，在固定方差下，具有相等系数的对角型最大化微分熵。这为非负二次型和高斯随机变量之间的相对熵提供了一个尖锐的下界。受$n$独立的加性伽马噪声的传输信道的容量的界限也推导出来。
2021-05-10 cs.IT math.IT math.PR
Entropy-variance inequalities for discrete log-concave random variables via degree of freedom
本文利用离散自由度概念证明整数值对数凹随机变量的精确最小熵-方差不等式，证明几何分布能最小化最小熵，并由此推导出改进的离散 Rényi 熵幂不等式。
2023-09-07 cs.IT math.IT math.PR
A note on Bianchi-Donà's proof to the variance formula of von Neumann entropy
Bianchi和Donà [1]最近报道了von Neumann熵方差公式的一个证明，该公式在[2]中得到了证明，并在[3]中首次得到了证明。这个简短的注释的目的是表明，尽管有不同的起点，但导致结果的后续计算（在[1]中省略）基本上与[3]相同。
2019-06-25 cs.IT math-ph math.IT
Rényi entropy and variance comparison for symmetric log-concave random variables
我们证明了对于任何$α>0$，在所有具有固定方差的对称对数凹随机变量中，无论是均匀分布还是双边指数分布，$α$阶的Rényi熵都是最小的.第一种情况发生在$α\in (0,α^*]$，第二种情况发生在$α\in [α^*,\infty)$，其中$α^*$满足等式$\frac{1}{α^*-1}\log α^*= \frac12 \log 6$，即$α^* \approx 1.241$。利用这些结果，我们证明了单侧指数分布在所有具有固定方差的对数凹随机变量中最小化$α\geq 2$阶Rényi熵.
2021-10-01 cs.IT math.IT math.PR
Three Laws of Multivariable Feedback Systems, Extended Spectral Flatness (Extended Wiener Entropy), 'Uncertainty Principles' in Variance Minimization, and Performance Limitations in Minimum Variance Estimation/Filtering
本文推导了多输入多输出反馈系统的三大定律，分别涉及熵域、频域和时域，并提出了新的概念如扩展频谱平坦度等，探讨了最小方差控制中的不确定性原理及最小方差估计滤波的性能限制。
2014-12-19 cs.IT cs.SY eess.SY
Estimating the variance of Shannon entropy
来自动力系统的数据的统计分析，包括但不限于时间序列，通常依赖于信息理论量的估计，最明显的是香农熵。为了这个目的，可能是最广泛的工具是由所谓的插件估计，其统计性质的偏差和方差的香农的开创性的作品出版后的第一个十年进行了调查。在基础多项分布的情况下，虽然可以通过了解支持度和数据集大小来评估偏差，但方差要难以捉摸得多。本工作的目的是调查，在多项式的情况下，一个参数的估计，描述的方差的插件估计香农熵的统计特性。然后，我们精确地确定使该参数最大化的概率分布。这里提出的结果允许设置上限的熵评估的不确定性的假设下，无记忆的基本随机过程。
2021-08-30 cs.IT math.IT
Three laws of feedback systems: entropy rate never decreases, generalized Bode integral, absolute lower bound in variance minimization, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), Gaussianing-whitening control, and beyond
本文利用信息论研究反馈系统的普遍定律和绝对下界，提出熵率不降、广义波德积分和方差最小化下界等定律，并引入Gaussianity-whiteness度量等新概念，探讨了Gaussianing-whitening控制等方法。
2014-12-19 cs.IT cs.SY eess.SY
Limitations of state estimation: absolute lower bound of minimum variance estimation/filtering, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), and Gaussianing-whitening filter (maximum Gaussianity-whiteness measure principle)
本文通过信息论方法研究状态估计的性能限制，提出高斯性-白性度量等新概念，并讨论高斯化-白化滤波原理。
2014-12-19 cs.IT cs.SY eess.SY
Exact variance of von Neumann entanglement entropy over the Bures-Hall measure
量子态之间的Bures-Hall距离度量是满足量子信息处理的各种有用性质的唯一度量。在这项工作中，我们研究了冯诺伊曼熵测量的Bures-Hall系综上的量子纠缠的统计行为。平均冯诺伊曼熵在这样的合奏最近已经获得，而这项工作的主要结果是一个明确的表达相应的方差，指定其平均值周围的波动。计算的出发点是Bures-Hall系综和Cauchy-Laguerre系综的关联函数之间的联系。导出的方差公式，连同已知的平均值公式，导致一个简单而准确的高斯近似的冯诺伊曼熵的分布的有限尺寸系统。这种高斯近似也被证明是大尺寸系统的极限分布。
2020-06-24 cs.IT hep-th math-ph
Generalized Bayesian Cramér-Rao Inequality via Information Geometry of Relative $α$-Entropy
相对$α$ -熵是相对熵的Rényi类比，在信息论问题中非常突出。最近的信息几何调查这个数量已经使推广的Cramér-Rao不等式，它提供了一个下界的估计方差的护送的基本参数概率分布。然而，这一框架在贝叶斯框架中仍然没有得到检验。本文提出了一种基于相对$α$ -熵的广义黎曼度量，得到了一个推广的Bayesian Cramér-Rao不等式.这建立了从基础分布的无偏估计量开始的$α$ -护送分布的无偏估计量的方差的下限。我们表明，在极限情况下，当熵的顺序接近统一，这个框架减少到传统的贝叶斯Cramér-Rao不等式。此外，在没有先验的情况下，相同的框架产生确定性的Cramér-Rao不等式。
2020-02-11 cs.IT eess.SP math.IT
The use of the logarithm of the variate in the calculation of differential entropy among certain related statistical distributions
本文证明了变量本身的对数的基本统计量（均值、方差）可以用于计算已知为共同基础变量的倍数和幂的随机变量之间的微分熵。对于同一组分布，差分自信息的方差也被证明是对数变量的统计量的函数。然后，熵和它的“方差”可以仅使用对数变量加常数的统计来估计，而不参考变量的传统参数。
2009-01-26 cs.IT math.IT
Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective
University of Tübingen（蒂宾根大学）
熵编码是数据压缩的主干。新颖的基于机器学习的压缩方法通常使用称为非对称数字系统（ANS）的新熵编码器[Duda等人，2015]，其提供非常接近最佳比特率并简化了[Townsend等人，2019]先进的压缩技术，如比特回编码。然而，具有机器学习背景的研究人员通常很难理解ANS的工作原理，这阻碍了他们充分利用其多功能性。本文旨在作为一种教育资源，使ANS更平易近人，从一个新的角度提出的潜在变量模型和所谓的位回技巧。我们将逐步引导读者在Python编程语言中实现ANS的完整实现，然后将其推广到更高级的用例。我们还提出并实证评估了各种熵编码器设计用于研究和生产使用的开源库。相关的教学视频和问题集可在网上获得。
2022-01-10 cs.IT cs.LG math.IT
Information Content and Entropy of Finite Patterns from a Combinatorial Perspective
该研究从组合视角提出有限模式信息量与熵的统一组合定义，推导信息量通用性质，给出基于压缩算法和Kolmogorov复杂度的归一化信息估计方法，重新定义的熵渐近兼容传统熵，突破香农信息的适用局限。
2025-01-18 cs.DM cs.IT math.IT
An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization
New York University（纽约大学）；Meta AI, FAIR（Meta AI FAIR）；National University of Singapore（新加坡国立大学）
本文从信息论视角分析 VICReg 自监督学习机制，推导确定性网络的信息论量与泛化界，并据此提出性能更优的 SSL 方法族。
2024-05-02 cs.AI cs.IT math.IT
A multivariate generalization of Costa's entropy power inequality
证明了Costa熵幂不等式的一个简单的多元形式。特别是，它表明，如果独立的白高斯噪声被添加到一个任意的多元信号，所得到的随机变量的熵功率是一个多维凹函数的信号的组件的个别方差。作为一个副作用，我们还给出了一个表达式的Hessian矩阵的熵和熵功率函数的方差的信号分量，这是一个有趣的结果本身。
2008-04-29 cs.IT math.IT
A Unifying Variational Perspective on Some Fundamental Information Theoretic Inequalities
本文提出了一种统一的变分方法来证明和推广一些基本的信息论不等式。基本的信息论结果，如最大化的微分熵，最小化的Fisher信息（Cramér-Rao不等式），最坏的加性噪声引理，熵功率不等式（EPI），和极值熵不等式（EEI）被解释为功能性问题，并证明变分的框架内。几个应用程序和可能的扩展所提出的结果进行了简要介绍。
2016-02-04 cs.IT math.IT
Entropy fluctuation formulas of fermionic Gaussian states
本文针对费米子高斯态上的二分量子纠缠，在已有平均冯·诺依曼熵公式基础上，推导出带与不带粒子数约束两种情况下方差的精确显式公式，解决了无约束情形的近期猜想，并提出基于虚拟求和与再求和的新简化框架，同时导出超几何函数的新变换公式。
2022-11-30 cs.IT math-ph math.IT
Two-Moment Inequalities for Rényi Entropy and Mutual Information
本文讨论了一个关于函数$r$次幂积分的二阶矩不等式的一些应用，其中$0 < r< 1$ .第一个贡献是随机向量的Rényi熵在两个不同的时刻的上界。当其中一个时刻是零阶矩时，这些边界恢复了以前基于最大熵分布的结果。更一般地说，用两个精心选择的非零矩来评估边界可以导致显着的改进，同时适度增加复杂性。第二个贡献是上界互信息的方法在某些积分相对于方差的条件密度。边界有许多有用的属性产生的方差分解的连接。
2017-02-23 cs.IT math.IT
Entropy-Rank Ratio: A Novel Entropy-Based Perspective for DNA Complexity and Classification
University of Calabria（卡拉布里亚大学）
本文提出熵秩比R，通过序列在全局熵分布中的相对位置度量DNA复杂性，避免香农熵饱和问题，并将其用于CNN数据增强，在病毒和人类基因分类任务中以轻量架构显著提升准确率。
2025-11-07 cs.IT math.IT
Second-order statistics of fermionic Gaussian states
用冯诺伊曼熵和纠缠容量研究了量子双粒子系统在费米子高斯态下的纠缠统计行为。重点讨论了属于二阶统计量的冯诺伊曼熵方差和平均纠缠容量。主要结果是两个被认为是固定的子系统尺寸差异的二阶统计量的确切而明确的公式。我们还推测准确的方差冯诺伊曼熵有效的任意子系统的尺寸。在此基础上，我们分析研究了数值观测到的冯诺伊曼熵的高斯性和平均容量的线性增长现象。
2021-11-16 cs.IT hep-th math-ph
A Tight Lower Bound for the Hellinger Distance with Given Means and Variances
二元分歧是定义在同一个2点集上的概率测度之间的分歧，它有一个有趣的性质。对于卡方散度和相对熵，已知它们的二元散度分别在给定均值和方差的情况下达到下界。本文证明了平方Hellinger距离的二元散度也具有同样的性质，并提出了f-散度满足这一性质所需的条件的问题.
2021-02-07 cs.IT math.IT
Excess entropy in natural language: present state and perspectives
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文综述了自然语言中互信息意义的研究进展。让我们将文本中的单词定义为足够频繁出现的字符串。在以前的几篇论文中，我们已经证明了这样定义的词的幂律分布（a.k.a.如果在长度增加的文本的相邻部分之间存在（算法）互信息的类似幂律增长，则遵守Herdan定律）。此外，如果文本按照类似的幂律分布，以高度重复的方式描述一个复杂的无限（算法上）随机对象，则信息的幂律增长也成立。所描述的对象可能是不可变的（如数学或物理常数），也可能随着时间的推移而缓慢演变（如文化遗产）。在这里，我们以一种不那么技术性的方式来反思各自的数学结果。我们还讨论了决定在何种程度上这些结果适用于实际的人类沟通的可行性。
2011-08-08 cs.CL cs.IT math.IT
