Extremal Relations Between Shannon Entropy and $\ell_α$-Norm
本文研究了$n$元概率向量$n \ge 2$的香农熵和$\ell_α$范数之间的关系.更准确地说，我们调查的紧界的$\ell_α$ -范数与一个固定的香农熵，反之亦然。作为结果的应用，我们得到了Shannon熵与由$\ell_α$ -范数确定的几个信息测度之间的紧界，例如，Rényi熵、Tsallis熵、$R$ -范数信息和一些多样性指数。此外，我们将这些结果应用于均匀聚焦通道。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-01-28 cs.IT math.IT
Shannon entropy for imprecise and under-defined or over-defined information
首先定义了概率分布的Shannon熵，然后将其应用扩展到完全信息系统的知识不确定性度量。本文提出将Shannon熵的应用推广到欠定或过定信息系统。为了能够使用香农熵，通过仿射变换对信息进行归一化。仿射变换的构造分为两个阶段：一个用于相似性，另一个用于平移。此外，这一办法还包括信息有一定程度不准确的情况。此外，本文还介绍了Shannon熵在一些特殊情况下的应用，如：三价和二价的模糊信息、双模糊信息、直觉模糊信息、不精确模糊信息、模糊划分等。
2017-09-14 cs.IT math.IT
Representations of Genetic Tables, Bimagic Squares, Hamming Distances and Shannon Entropy
本文建立了遗传表与幻方和双幻方的关系。与汉明距离，二项式系数的连接。应用了格雷码的思想。计算了4 × 4、8 × 8和16 × 16阶幻方的Shannon熵。还进行了一些比较。还研究了具有四个字母的限制性内切酶之间的对称性。
2012-06-11 cs.IT math.IT
Relations Between Conditional Shannon Entropy and Expectation of $\ell_α$-Norm
本文研究了条件Shannon熵和联合概率分布的$\ell_α$ -范数期望之间的关系。更准确地说，我们研究了$\ell_α$ -范数的期望与一个固定的条件香农熵的紧界，反之亦然。作为结果的应用，我们得到了条件Shannon熵与由$\ell_α$ -范数的期望所确定的几种信息测度之间的紧界，例如，条件Rényi熵和条件$R$ -范数信息。此外，我们将这些结果应用到离散无记忆信道下的均匀输入分布。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-02-15 cs.IT math.IT
New identities for the Shannon function and applications
我们展示了如何香农熵函数H（p，q）是可表示为一个线性组合的其他香农熵函数，涉及多项式在p，q的次数n为任何给定的正整数n。给出了一个在密钥问题上的应用。
2021-02-25 cs.IT math.IT
Estimating the variance of Shannon entropy
来自动力系统的数据的统计分析，包括但不限于时间序列，通常依赖于信息理论量的估计，最明显的是香农熵。为了这个目的，可能是最广泛的工具是由所谓的插件估计，其统计性质的偏差和方差的香农的开创性的作品出版后的第一个十年进行了调查。在基础多项分布的情况下，虽然可以通过了解支持度和数据集大小来评估偏差，但方差要难以捉摸得多。本工作的目的是调查，在多项式的情况下，一个参数的估计，描述的方差的插件估计香农熵的统计特性。然后，我们精确地确定使该参数最大化的概率分布。这里提出的结果允许设置上限的熵评估的不确定性的假设下，无记忆的基本随机过程。
2021-08-30 cs.IT math.IT
Shannon and Renyi Entropy of Wavelets
本文报道了一种新的阅读小波，这是基于经典的“德布罗意”原则。波粒二象性原理适用于小波。每个连续的基本小波都与一个适当的概率密度相关联，允许定义小波的香农熵。进一步熵的定义被认为是，如Jumarie或Renyi熵的小波。证明了同一族的任意小波都具有相同的母小波的Shannon熵。最后，确定了几个标准小波族的Shannon熵。
2015-04-04 cs.IT math.CA math.IT
Shannon Revisited: Considering a More Tractable Expression to Measure and Manage Intractability, Uncertainty, Risk, Ignorance, and Entropy
在香农的基础上，让我们考虑一个更具延展性的表达式来跟踪不确定性，以及“可用知识”与“知识缺失”的状态，以更好地实践创新，改善风险管理，并成功地衡量棘手任务的进展。香农公式及其常见的替代品（Renyi，Tsallis）计算增加的知识，无论两个竞争的选择，但边际，交换概率措施。通过将知识锚定到参考挑战来校正这种和其他扭曲。熵则表示在迎接这一挑战方面的进展。我们引入了一个“感兴趣的区间”，在这个区间之外，所有的概率变化都应该被忽略。缺失可获取相关知识（MARK）的合成公式可作为优化涉及知识获取的棘手活动（如研究、开发、风险管理和机会利用）的一种手段。
2010-06-05 cs.IT math.IT
On Convergence Properties of Shannon Entropy
研究了Shannon熵的收敛性质。在微分设置，它表明，弱收敛的概率措施，或收敛的分布，是不够的相关的微分熵的收敛。所需的微分熵收敛的一般结果提供，同时考虑到紧和非紧支持的密度。收敛的微分熵的特点也是在Kullback-Liebler判别的密度与相当普遍的支持，它表明，收敛的概率措施的变化，保证这种收敛下一个适当的有界性条件的密度。离散设置的结果也提供了，允许无限支持的概率措施，利用弱收敛和收敛之间的等价性在此设置中的变化。
2007-10-05 cs.IT math.IT
Guesswork, large deviations and Shannon entropy
猜一个密码有多难？梅西表明，选择密码的分布的香农熵是预期猜测次数的下界，但一般来说并不严格。在随后的一系列论文中，在限制性更小的随机假设下，随着密码长度的增长，猜测的缩放矩和特定的雷尼熵之间的渐近关系被确定。在这里，我们表明，当适当的缩放，随着密码长度的增长的猜测的对数满足大偏差原则（LDP），提供直接估计的猜测分布时，密码很长。支配LDP的速率函数具有特定的、限制性的形式，该形式以猜测的性质封装了底层结构。回到Massey最初的观察，LDP的推论表明猜测的对数的期望是密码选择过程的特定香农熵。
2012-06-21 cs.IT math.IT
On the computation of Shannon Entropy from Counting Bloom Filters
在这个简短的说明中，将介绍一种从计数布隆过滤器计算离散熵的朴素插件估计器的方法。只要布隆过滤器中的冲突概率保持较低，该方法就能合理地工作。
2018-02-19 cs.IT eess.SP math.IT
Asymptotic Normality for Plug-in Estimators of Generalized Shannon's Entropy
香农熵是信息论的基石之一，也是机器学习方法的一个重要方面（例如，随机森林）。然而，它仅被定义为可数字母表上具有快速衰减尾部的分布。香农熵在字母表上所有分布的一般类上的无界性阻止了其潜在的效用被完全实现。为了填补信息论基础的空白，Zhang（2020）提出了广义香农熵，它在任何地方都是严格定义的。几乎所有基于熵的ML方法包都采用了插件估计器，这是估计香农熵的最流行方法之一。已有文献对Shannon熵插入估计量的渐近分布进行了深入研究。本文研究可数字母表上广义Shannon熵的插入式估计的渐近性质。开发的渐近性质不需要对原始分布的假设。所提出的渐近性质允许区间估计和广义香农熵的统计检验。
2022-05-02 cs.IT math.IT math.ST
Shannon entropy for intuitionistic fuzzy information
Research Center for Electronics and Information Technology（电子与信息技术研究中心）；Valahia University（瓦拉几亚大学）
本文将Shannon模糊熵推广到直觉模糊熵。首先给出了一个新的直觉模糊信息距离和相似度计算公式。然后，我们构建了信息特征，如得分，确定性和不确定性的措施。引入了护送模糊信息的概念。然后，利用护送模糊信息，得到了直觉模糊信息的Shannon公式.应该强调的是，直觉模糊信息的香农熵验证了直觉模糊不确定性的四个定义条件。它的两个组成部分的措施也被确定：模糊性（模糊性）和不完整性（无知）。
2018-07-06 cs.AI cs.IT math.IT
Uniqueness of Nonextensive entropy under Renyi's Recipe
通过用Kolmogorov-Nagumo平均（KN-平均）或拟线性平均代替香农熵中的线性平均，并进一步施加可加性约束，雷尼提出了香农熵的第一个正式推广。使用雷尼的方法，我们只能准备两个信息测度：香农熵和雷尼熵。事实上，雷尼使用这种形式主义，用拟线性平均公理来刻画这些加性熵。由于可加性是香农熵的特征性质，所以形式为$x \oplus_{q} y = x + y + (1-q)x y$的伪可加性是非广延（或Tsallis）熵的特征性质。在非广延情况下，我们可以应用雷尼的方法，用KN-平均代替察利斯熵中的线性平均，从而施加伪可加性的约束。本文证明了非广延熵在Rényi公式下是唯一的，并由此给出了一个刻画。
2005-11-21 cs.IT math.IT
Symmetry in Shannon's Noiseless Coding Theorem
陈述香农的无噪编码定理的各种作者，包括原来的，审查和澄清。关于这个定理的传统陈述往往不清楚它何时适用。介绍了一种新的符号，并阐明了应用领域。检查的界限定理导致一个新的对称重述。证明了推广的上界是一个可达上界，从而使定理具有对称性，并说明了信息熵与Gibbs和Boltmann的物理熵的关系。因此，香农熵的研究与物理学密切相关，并且存在信息的物理理论。本文是试图澄清这些关系的开始。
2010-10-29 cs.IT math.IT
Properties of the Shannon, Rényi and other entropies: dependence in parameters, robustness in distributions and extremes
本文系统计算并分析了多种概率分布下Shannon、Rényi、Tsallis等熵测度的参数依赖性与收敛性质，并确定了高斯向量Shannon熵的极值。
2024-11-24 cs.IT math.IT math.PR
Information Decomposition Diagrams Applied beyond Shannon Entropy: A Generalization of Hu's Theorem
本研究将随机变量与联合运算视为作用于信息函数的幺半群，证明了Hu定理的推广形式，其适用于多种信息度量，还揭示了柯尔莫哥洛夫交互复杂度与香农交互信息的渐近一致性，搭建了算法与经典信息论的桥梁。
2025-02-12 cs.IT math.IT
The Shannon Lower Bound is Asymptotically Tight
香农下界是率失真函数的少数几个下界之一，适用于一大类源。在本文中，它的间隙率失真函数消失的允许失真趋于零的所有源具有有限的微分熵，其整数部分是有限的。相反，它表明，如果源的整数部分有一个无穷大的熵，那么它的率失真函数是无限的每一个有限的失真。因此，香农下界提供了一个渐近紧界的率失真函数，当且仅当，整数部分的源有一个有限的熵。
2016-02-22 cs.IT math.IT
Introduction to Logical Entropy and its Relationship to Shannon Entropy
我们生活在信息时代。克劳德·香农，作为信息时代之父，给了我们一个量化“信息量”的通信理论，但是，正如他所指出的，“没有定义信息本身的概念。“逻辑熵提供了这个定义。逻辑熵是基于区别、差异、可解释性和多样性的信息概念的自然度量。它是一个集合上划分的区别的（归一化）定量度量-就像布尔-拉普拉斯逻辑概率是集合子集元素的归一化定量度量一样。划分和子集是数学上的对偶概念--所以划分的逻辑在这个意义上与通常的子集布尔逻辑是对偶的，因此得名“逻辑熵”。“划分的逻辑熵有一个简单的解释，即在两个独立的抽取中从底层集合中获得区别或dit（不同块中的元素）的概率。香农熵也是基于这种信息作为区别的概念;它是需要连接的二进制分区（位）的平均最小数量，以使给定分区具有所有相同的区别。因此，所有的概念简单，联合，条件，和互逻辑熵可以转化为相应的概念香农熵的一个统一的非线性dit-bit变换。最后，逻辑熵自然地线性化到相应的量子概念。应用于一个状态的可观测量的量子逻辑熵是在该状态上的可观测量的两个独立投影测量中获得两个不同本征值的概率。关键词：逻辑熵，香农熵，分区，最大熵，量子逻辑熵，冯诺依曼熵
2021-12-03 cs.IT math.IT quant-ph
Worst-Case Optimal Adaptive Prefix Coding
关于自适应前缀编码的一个常见抱怨是它比静态前缀编码慢得多。Karpinski和Nekrich最近在解决这个问题上迈出了重要的一步：他们给出了一种自适应香农编码算法，该算法在（O（1））摊销时间内对每个字符进行编码，并在（O（\log H））摊销时间内对其进行解码，其中$H$是输入字符串$s$的经验熵。为了比较，Gagie的自适应Shannon编码器以及Knuth和Vitter的自适应Huffman编码器都对每个字符使用（θ（H））摊销时间。在本文中，我们给出了一个自适应香农编码器，编码和解码每个字符在（O（1））的最坏情况下的时间。与先前的两个自适应香农编码器一样，我们将$s$存储在至多（（H +1）|s| + o（|s|））个位中。我们还表明，这种编码长度是最坏情况下最优的低阶项。
2008-12-17 cs.IT math.IT
The Tsallis entropy and the Shannon entropy of a universal probability
从算法随机性的角度研究了Tsallis熵和Shannon熵的性质。在算法信息论中，有两种等价的方法来定义给定的有限二进制串s的程序大小复杂度K（s）。在标准方式中，K（s）被定义为通用自定界图灵机输出s的最短输入串的长度。另一种方法是先引入所谓的普适概率m，然后在不考虑程序大小的情况下定义K（s）为-log_2m（s）。在本文中，我们研究的香农熵，功率和，Tsallis熵的一个普遍的概率通过程序大小的复杂性的概念的性质。我们确定这三个量中的每一个的收敛或发散，并在收敛时评估其随机程度。
2008-05-01 cs.CC cs.IT math.IT
An Effective Bernstein-type Bound on Shannon Entropy over Countably Infinite Alphabets
我们证明了一个Bernstein型界之间的差异的平均值的负对数似然独立的离散随机变量和香农熵，都定义在一个可数无限的字母表。这一结果适用于尾部比离散幂律分布轻或与离散幂律分布同阶的离散随机变量。大多数常用的离散分布，如泊松分布，负二项分布和幂律分布本身都属于这一类。该界是有效的，因为我们提供了一种方法来计算其中的常数。
2021-06-23 cs.IT math.IT math.PR
On the analysis of signals in a permutation Lempel-Ziv complexity - permutation Shannon entropy plane
本文的目的是引入Lempel-Ziv置换复杂度与置换熵平面作为分析不同性质时间序列的工具。这两个量利用Bandt和Pompe表示来量化连续状态时间序列。这个平面的优势在于结合两个不同的视角来分析信号，一个是统计的（排列熵），另一个是确定性的（Lempel-Ziv复杂度）。这种表示适用于（i）非线性混沌映射的特征，（ii）区分确定性随机过程和（iii）分析和区分分数布朗运动的分数高斯噪声和K噪声给定相同的（平均）频谱。结果可以得出结论，该平面是“强大的”，以区分混沌信号从随机信号，以及区分不同的高斯和非高斯噪声。
2017-07-17 cs.IT math.IT
Shannon Entropy Estimation in $\infty$-Alphabets from Convergence Results
Department of Electrical Engineering（电气工程系）；Information and Decision System Group（信息与决策系统小组）；University of Chile（智利大学）
在可数无限字母表中的Shannon熵估计问题是从熵泛函的收敛结果的研究和使用中解决的，这是已知的是不连续的总变异距离在$\infty$ -字母表。熵的收敛的充分条件，包括与分布上的无限和无限支持的假设的情况。从这个新的角度来看，四个插件直方图为基础的估计进行了研究表明，收敛结果是有助于获得新的强一致性和收敛速度的结果。在估计量和底层分布上使用不同的场景和条件，例如考虑有限和未知的支持假设以及可求和的尾有界条件。
2018-04-02 cs.IT cs.LG math.IT
A Note on the Shannon Entropy of Short Sequences
对于长度为L符号的源序列，我们建议使用一个更现实的值，以通常的基准代码字母的数量由源字母。我们的想法是基于一个量词的信息波动的源，F（U），它对应于第二个中心矩的随机变量，测量的信息内容的源符号。通过这种方法还提供了典型序列的另一种解释。
2018-07-07 cs.IT math.IT stat.ME
Transfer Entropy: where Shannon meets Turing
ASML Netherlands B.V.（阿斯麦荷兰有限公司）
转移熵能够捕捉多变量时间序列之间的非线性源-目的地关系。它是源数据之间的关联性的度量，这些源数据经由它们的概率质量函数之间的一组线性变换而被变换成目的地数据。由此产生的张量形式主义是用来表明，在特定情况下，例如，在系统由三个随机过程组成的情况下，双变量分析足以区分真关系和假关系。这使我们能够确定编码在噪声数据的概率质量函数中的因果结构。利用张量理论推导了传递熵的数据处理不等式。
2019-05-25 cs.IT cs.LG math.IT
Properties of Shannon and Rényi entropies of the Poisson distribution as the functions of intensity parameter
本文证明了泊松分布的Shannon熵和Rényi熵均随强度参数单调递增，其中Rényi熵的证明依赖于Karamata不等式，具有非平凡性。
2024-02-06 cs.IT math.IT math.PR
Shannon Information Entropy in Heavy-ion Collisions
介绍了C.E. Shannon信息熵是一种基于信息熵的方法，它从本质上量化了具有特定分布的量的信息，基于信息熵的方法在物理学等许多科学领域得到了深入的发展。重离子碰撞（HIC）过程的动力学特性使得核物质及其演化的研究变得困难和复杂，Shannon信息熵理论可以为理解这一物理现象提供新的方法和观测量。为了更好地理解HIC的过程，简要介绍了典型模型的主要特点，包括量子分子动力学模型、热力学模型和统计模型等。收集了Shannon信息论在HIC中的典型应用，包括强子碰撞分支过程中的混沌行为、HIC中的液-气相变以及丰中子系统HIC中产生的中等质量碎片的等压差标度现象。尽管目前在重离子碰撞物理中的应用还比较简单，但它将有助于我们探索一些关键问题。建议进一步发展核反应模型中的信息熵方法，并发展新的分析方法来研究HIC中核物质的性质，特别是动力学系统的演化。
2018-01-07 cs.IT math.IT nucl-th
Scalable Precise Computation of Shannon Entropy
Key Laboratory of Symbolic Computation and Knowledge Engineering Ministry of Education, Jilin University, China（符号计算与知识工程教育部重点实验室，吉林大学）；College of Computer Science and Technology, Jilin University, China（计算机科学与技术学院，吉林大学）；School of Computer Science and Information Technology, Northeast Normal University, China（计算机科学与信息工程学院，东北师范大学）
本文提出PSE工具，通过优化香农熵计算的两个阶段，实现了对布尔约束程序的可扩展精确计算，比现有工具更高效。
2026-02-18 cs.AI cs.IT math.IT
Geometrical Interpretation of Shannon's Entropy Based on the Born Rule
在本文中，我们将分析离散概率分布，其中某些实验（微观状态）的特定结果的概率可以由自然数的比率表示（换句话说，概率由有限表示长度的数字表示）。我们将介绍几个基于最近提出的操纵杆概率的结果，它代表了基于玻恩规则的概率的几何解释。引入了离散分布的类空间、类维数以及有效维数等概念。它将显示如何这个简单的几何表示可以导致一个最佳的代码长度编码的信号序列。然后，我们将给出一个新的，几何，解释的香农熵的离散分布。我们将建议香农熵表示分布的有效维数的对数。提出的香农熵的几何解释可以用来初等地证明一些信息不等式。
2009-09-28 cs.IT cs.NE math.IT
On the Shannon entropy of the number of vertices with zero in-degree in randomly oriented hypergraphs
假设您有$n$颜色和$m$相互独立的骰子，每个骰子都有$r$边。每个骰子以相等的概率落在任何一面。你可以用任何你喜欢的方式给每个骰子的侧面上色，但是有一个限制：你不能在一个骰子的侧面上使用同一种颜色超过一次。任何其他颜色都是允许的。设$X$为掷骰子后看到的不同颜色的数量。为了使$X$的香农熵最大化，你应该如何给骰子的两边上色？在这篇文章中，我们调查这个问题。我们表明，$X$的熵是最多$\frac{1}{2} \log(n) + O(1)$和界是紧的，直到一个常数的加法因子，在有同样多的硬币和颜色的情况下。我们的证明采用了离散熵的微分熵界，以及二项式随机变量的熵的下界，其结果是条件为一个偶数。我们推测，当颜色尽可能均匀地分布在骰子的两侧时，熵最大化。
2018-08-13 cs.IT math.IT math.PR
Reflections on Shannon Information: In search of a natural information-entropy for images
Nontrivialzeros Research（非平凡零点研究所）
如何将香农的原始信息熵扩展到更高的维度并不明显，并且已经尝试了许多不同的方法。我们取代英文文本符号序列最初用于说明理论的离散，带限信号。利用香农后来的采样理论，我们得到了一个新的和对称的版本的二阶熵在一维。新的理论然后自然地延伸到2D和更高的维度，其中自然地我们意味着简单，对称，各向同性和简约。简单性产生于香农的联合熵等式和不等式的梯度（del）向量场图像体现的标量图像的二阶关系的直接应用。通过使用Papoulis的广义采样扩展将矢量数据率减半来保证简约性。新的2D熵度量，我们称之为delentropy，由一个可计算的概率密度函数（我们称之为deldensity）支撑。deldensity捕获底层空间图像结构和像素同现。它实现了这一点，因为每个标量图像像素值是非局部相关的整个梯度向量场。deldensity和delentropy都是非常容易处理的，并产生许多有趣的联系和有用的不等式。新的措施明确定义了一个可实现的编码算法和相应的重建。初步测试表明，delentropy与传统的基于强度的直方图熵和无损图像编码器（GIF，PNG，WEBP，JP 2K-LS和JPG-LS）的压缩数据率相比，对于选择的图像。对称的方法可以应用到更高的维度和图像的复杂性措施的问题。
2016-09-05 cs.CV cs.IT math.IT
To Reduce Gross NPA and Classify Defaulters Using Shannon Entropy
Vishwakarma Institute of Technology（Vishwakarma 技术学院）；Vellore Institute of Technology（韦洛尔技术学院）
不良资产问题近年来一直受到银行业的高度重视。不良资产给银行造成巨大损失，因此，决定哪些贷款有能力成为不良资产，从而决定哪些贷款可以批准，哪些贷款可以拒绝，这是一个非常关键的步骤。在本文中，我们提出了一种算法，该算法旨在非常细致地处理财务数据，以非常高的准确性预测特定贷款是否会被归类为未来的NPA。而不是传统的不太准确的分类器用来决定哪些贷款可以变成NPA，我们建立自己的分类模型使用熵为基础。我们使用Shannon熵创建了一个基于熵的分类器。分类器模型将我们的数据点分为接受或拒绝两类。我们利用局部熵和全局熵来帮助我们确定输出。熵分类器模型，然后与现有的分类器进行比较，用于预测NPA，从而给我们一个想法的性能。
2020-04-29 cs.IT cs.LG math.IT
Entropy Measures vs. Algorithmic Information
数学熵和香农熵是两种概念上不同的信息度量，前者基于程序的大小，后者基于概率分布。然而，众所周知，对于任何递归概率分布，算法熵的期望值等于其香农熵，直到一个仅取决于分布的常数。我们研究了$α$阶的Rényi和Tsallis熵是否存在类似的关系，表明它只适用于1阶的Rényi和Tsallis熵（即，Shannon entropy）。关于时间有界的模拟关系，我们表明，对于分布，使累积概率分布是可计算的时间$t(n)$，时间有界的算法熵（其中分配的时间是$nt(n)\log (nt(n))$）的预期值是在同一范围内的无界版本。因此，对于这些分布，香农熵捕获了计算可访问信息的概念。证明了对于普适时间有界分布$\m^t(x)$，Tsallis熵和Rényi熵收敛当且仅当$α$大于1.
2010-06-02 cs.CC cs.IT math.IT
Shannon Weights for binary dynamical recurrent sources of zero entropy
本文研究零熵二元动态递归源的Shannon权重序列，利用解析组合学和转移算子等工具，为满足特定渐进行为的源提供了显式构造，并揭示了其与具有无差异不动点动态系统的联系。
2025-04-04 cs.IT math.DS math.IT
A strengthened entropy power inequality for log-concave densities
我们证明，在密度为对数凹的情况下，香农熵-幂不等式存在一个加强版本。在这种情况下，事实上，人们可以扩展Blachman-Stam参数，以获得关于热半群的香农熵泛函的二阶导数的尖锐不等式。
2014-08-18 cs.IT math.FA math.IT
Feature selection in machine learning: Rényi min-entropy vs Shannon entropy
Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；Università di Siena（锡耶纳大学）
在机器学习的上下文中，特征选择是将高度预测的特征与那些可能不相关或冗余的特征分离的过程。信息论已经被认为是用于该任务的有用概念，因为预测能力源于相关性，即，特征和标签之间的互信息。许多文献中的特征选择算法都采用了基于Shannon熵的互信息。在本文中，我们探讨了使用Rényi最小熵代替的可能性。特别是，我们提出了一个算法的基础上的概念，最近已通过在安全和隐私领域的条件Rényi最小熵，这是严格相关的贝叶斯错误。我们证明，在一般情况下，这两种方法是不可比的，在这个意义上，我们表明，我们可以构建数据集上的Rényi算法比相应的Shannon算法的性能更好，和数据集上的情况是相反的。然而，在实践中，当考虑真实数据的数据集时，似乎基于Rényi的算法往往优于另一种算法。我们已经在BASEHOCK，SEMEION和GISETTE数据集上进行了几次实验，在所有这些实验中，我们确实观察到基于Rényi的算法给出了更好的结果。
2020-01-27 cs.IT cs.LG math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的（私有）熵（在新的网络编码意义上）以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同，并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明，每个特定的多个单播网络的网络编码的可解性是完全确定的熵（以及由最短的索引代码）的有向图，通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近，一些新的所谓的非香农型信息不等式族已被发现。它已被证明，存在通信网络的能力严格小于所需的可解性，但这一事实不能使用香农的经典信息不等式。基于这一结果，我们表明，存在图的熵，不能只使用香农的经典信息不等式计算，并表明，更好的估计，可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Shannon Entropy based Randomness Measurement and Test for Image Encryption
图像加密的质量通常通过密文图像的香农熵来衡量。然而，这种度量没有考虑局部图像块的随机性，并且不适合基于置乱的图像加密方法。本文提出了一种新的基于信息熵的图像加密随机性度量方法，首次回答了密文图像是否具有充分的类随机性的问题。它通过计算整个测试图像中一系列小图像块的平均熵，以更公平的方式测量密文的随机性。为了实现定量和定性测量，严格推导了真随机图像的平均块熵的期望和方差，并提供了相应的数值参考表。此外，在显著性水平的假设检验，以帮助接受或拒绝的假设，测试图像是理想的加密/随机的。仿真结果表明，该方法能够有效地对图像加密给出定量和定性的结果。同样的想法也可以应用于测量其他数字数据，如音频和视频。
2011-03-29 cs.CR cs.IT math.IT
Limitations of state estimation: absolute lower bound of minimum variance estimation/filtering, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), and Gaussianing-whitening filter (maximum Gaussianity-whiteness measure principle)
本文通过信息论方法研究状态估计的性能限制，提出高斯性-白性度量等新概念，并讨论高斯化-白化滤波原理。
2014-12-19 cs.IT cs.SY eess.SY
A generalization of majorization that characterizes Shannon entropy
我们引入了一个二元关系的有限离散概率分布，概括了已在量子信息论研究的优势化的概念。在热力学问题的启发下，我们的关系描述的过渡引起的双随机映射中存在的额外的辅助系统，可能成为相关的过程中。我们表明，这种关系是完全特征的香农熵H，产生的解释H在资源理论方面，并承认一个特别简单的证明H的一个已知的表征自然信息理论的属性。
2016-04-11 cs.IT math-ph math.IT
Three laws of feedback systems: entropy rate never decreases, generalized Bode integral, absolute lower bound in variance minimization, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), Gaussianing-whitening control, and beyond
本文利用信息论研究反馈系统的普遍定律和绝对下界，提出熵率不降、广义波德积分和方差最小化下界等定律，并引入Gaussianity-whiteness度量等新概念，探讨了Gaussianing-whitening控制等方法。
2014-12-19 cs.IT cs.SY eess.SY
Information Measure Similarity Theory: Message Importance Measure via Shannon Entropy
在异常检测、安全系统等大数据应用场景中，罕见事件引起了人们的广泛关注。为了从概率的角度刻画稀有事件的重要性，提出了消息重要性度量（MIM）作为一种语义分析工具。与Shannon熵相似，MIM在信息处理中有其特殊的功能，其中MIM的参数$\varpi$起着至关重要的作用。实际上，参数$\varpi$支配MIM的性质，基于此，MIM具有三个工作区域，其中对应的参数分别满足$ 0 \le \varpi \le 2/\max\{p(x_i)\}$、$\varpi > 2/\max\{p(x_i)\}$和$\varpi < 0$。此外，在$ 0 \le \varpi \le 2/\max\{p(x_i)\}$的情况下，MIM和Shannon熵在信息压缩和传输方面具有相似性，这为信息论提供了一个新的视角。本文首先构建了一个具有消息重要性度量的系统模型，提出了消息重要性损失的概念，丰富了信息处理策略。此外，我们提出了消息重要性损失容量来衡量信息的重要性收获在传输。此外，提出了消息重要性失真函数，给出了基于消息重要性测度的信息压缩的上界。此外，研究了信息重要性损失约束下的比特率传输问题，拓宽了Shannon信息论的适用范围。
2019-01-04 cs.IT math.IT math.ST
An entropy functional bounded from above by one
香农熵被广泛用于量化离散随机变量的不确定性。但是，当归一化到单位区间时，正如实践中经常做的那样，它不再传达所研究的随机变量的字母大小。这项工作介绍了一个熵泛函的基础上詹森-香农发散，自然界从上面的一个。不同于归一化香农熵，这个新的功能是严格增加的字母大小下的均匀性，因此非常适合离散随机变量的表征。
2022-07-25 cs.IT math.IT math.PR
Shannon Entropy Rate of Hidden Markov Processes
隐马尔可夫链是随机过程的广泛应用的统计模型，从基础物理和化学到金融，健康和人工智能。然而，即使链是有限状态，它们产生的隐马尔可夫过程也是非常复杂的：它们的香农熵率不存在有限表达式，因为它们的预测特征集一般是无限的。因此，到目前为止，人们不能对它们的随机性和结构性做出一般性的陈述。在这里，我们通过展示如何有效和准确地计算它们的熵率来解决这一挑战的第一部分。我们还展示了这种方法如何给出无限预测特征的最小集合。续集解决了挑战的第二部分结构。
2020-08-29 cond-mat.stat-mech cs.IT math.DS
Stability of the Shannon-Stam inequality via the Föllmer process
我们证明了对数凹随机向量的Shannon-Stam不等式（也称为熵幂不等式）在熵和运输距离方面的稳定性估计。特别地，我们给出了一般对数凹随机向量的第一个稳定性估计，其形式如下：对于对数凹随机向量$X,Y \in \mathbb{R}^d$，Shannon-Stam不等式中的赤字由表达式$$ C \left(\mathrm{D}\left(X||G\right) + \mathrm{D}\left(Y||G\right)\right), $$从下有界，其中$\mathrm{D}\left( \cdot ~ ||G\right)$表示相对于标准高斯的相对熵，常数$C$仅取决于$X$和$Y$的协方差结构和谱间隙。在一致对数凹向量的情况下，我们的分析给出了无量纲界。我们的证明是基于一种新的方法，它使用了随机控制理论的熵最小化过程。
2019-03-17 cs.IT math.FA math.IT
Utilizing Shannon's Entropy to Create Privacy Aware Architectures
隐私是个人的选择，以确定哪些个人信息可以被收集，使用和共享。个人同意和透明度是赢得客户信任的核心原则，这促使组织在创建系统时采用隐私增强实践。隐私感知设计的目标是以一种不会增加对手对个人的现有知识的方式保护信息。当这些数据元素可以与系统外的大量辅助信息联系起来以识别个人时，这一点就变得至关重要。世界各地的隐私法规都提供了保护个人隐私的指令，但通常都很复杂和模糊，这使得将其转化为可操作的技术隐私友好型架构具有挑战性。在本文中，我们利用香农熵创建一个客观的度量，可以帮助简化国家的最先进的隐私设计策略，在文献中提出，并帮助我们的关键技术设计决策，以创建隐私感知架构。
2021-09-13 cs.CR cs.DB cs.IT
Jaynes & Shannon's Constrained Ignorance and Surprise
在这篇简单的文章中，在理论和应用物理中可能的应用，我们提出了一个原始的方法来推导香农熵的表达从一个纯粹的变分方法，使用约束。在Edwin T. Jaynes，我们的结果从根本上说并不是新的，但是它们导出的背景可能会导致一个非常一致的形式主义，其中最大熵原理自然出现。在此框架中给出了“无知”的一般定义之后，我们使用两种方法推导出熵的某种一般预期表达式。在第一种情况下，人们是有偏见的，对熵函数的形状有一个模糊的概念。在第二种情况下，我们考虑的一般情况下，没有什么是先验已知的。比较了两种思维方式的优点。
2021-07-11 cond-mat.stat-mech cs.IT math.IT
Syntropy in complex systems: A complement to Shannon's Entropy
本研究提出同熵函数和期望函数作为香农熵的补充，用于检测局部相干事件和概括系统预期行为，为理解复杂系统动力学提供新框架，并暗示有序与混沌的深层关联。
2024-03-18 cond-mat.stat-mech cs.IT math-ph
Erasing Classical Memory with Quantum Fluctuations: Shannon Information Entropy of Reverse Quantum Annealing
在三个超导量子退火器上通过逆向量子退火实验，利用磁畴壁分布的Shannon信息熵，研究了量子涨落导致的经典记忆丢失与保留的转变，确立了探测量子涨落与记忆相互作用的通用探针。
2025-09-13 cond-mat.stat-mech cond-mat.str-el cs.IT
The Shannon-McMillan Theorem for Ergodic Quantum Lattice Systems
我们制定和证明量子香农-麦克米伦定理。该定理证明了n维格子上平移不变遍历量子自旋系统的冯诺依曼熵的重要性：熵给出了大盒子上系统本征向量的本质数的对数。一维的情况下，覆盖量子信源，是编码定理的基础。
2002-11-20 cs.DS cs.IT math-ph
