New identities for the Shannon function and applications
Aiden A Bruen
我们展示了如何香农熵函数H（p，q）是可表示为一个线性组合的其他香农熵函数，涉及多项式在p，q的次数n为任何给定的正整数n。给出了一个在密钥问题上的应用。
We show how the Shannon entropy function H(p,q)is expressible as a linear combination of other Shannon entropy functions involving quotients of polynomials in p,q of degree n for any given positive integer n. An application to cryptographic keys is presented.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Proving Information Inequalities and Identities with Symbolic Computation
证明Shannon信息测度的线性不等式和恒等式（可能带有线性约束）是信息论中的一个重要问题。为此，ITIP和其他变体算法已经开发和实现，这都是基于解决线性规划（LP）。具体地，通过求解两个LP来验证身份$f = 0$，一个LP用于$f \ge 0$，一个LP用于$f \le 0$。在本文中，我们开发了一套算法，可以实现的符号计算。基于这些算法，设计了线性信息不等式和恒等式的验证过程。与基于LP的算法相比，我们的程序可以产生分析证明，既人类可验证的和免费的数值错误。我们的程序在计算上也更有效。对于约束不等式，通过利用问题的代数结构，可以显著减小需要求解的LP的大小。对于恒等式，不需要求解两个LP，可以直接验证恒等式，只需很少的计算。
Nested Polar Codes Achieve the Shannon Rate-Distortion Function and the Shannon Capacity
结果表明，嵌套极化码实现了任意（二进制或非二进制）离散无记忆信源的香农率失真函数和任意离散无记忆信道的香农容量.
The Shannon Lower Bound is Asymptotically Tight
香农下界是率失真函数的少数几个下界之一，适用于一大类源。在本文中，它的间隙率失真函数消失的允许失真趋于零的所有源具有有限的微分熵，其整数部分是有限的。相反，它表明，如果源的整数部分有一个无穷大的熵，那么它的率失真函数是无限的每一个有限的失真。因此，香农下界提供了一个渐近紧界的率失真函数，当且仅当，整数部分的源有一个有限的熵。
Convergence Analysis of the Gaussian Regularized Shannon Sampling Formula
我们考虑从有限局部化样本数据重构带限函数。由于sinc函数的缓慢衰减，截断经典的香农采样序列导致不令人满意的收敛速度。为了克服这一缺点，工程上提出了一种简单而高效的方法--香农级数的高斯正则化方法，并受到了广泛的关注。它的工作原理是将香农级数中的sinc函数乘以正则化的高斯函数。L. Qian（Proc. Amer. Math. Soc.，2003）为该方法建立了$O(\sqrt{n}\exp(-\frac{π-δ}2n))$的收敛速度，其中$δ<π$是带宽，$n$是样本数据的数量。C. Micchelli { \it等} (J. Complexity，2009）提出了不同的正则化方法，并得到了$O(\frac1{\sqrt{n}}\exp(-\frac{π-δ}2n))$相应的收敛速度。后者的速度是迄今为止最好的所有正规化方法的香农级数。然而，他们的正则化方法涉及线性系统的求解，并且是隐式的和更复杂的。本文的主要目的是证明Shannon级数的高斯正则化也能达到与C. Micchelli { \it et al}.我们还表明，高斯正则化方法可以提高有用的平均采样的收敛速度。最后，数值实验的出色表现证明了我们的结果。
Properties of Shannon and Rényi entropies of the Poisson distribution as the functions of intensity parameter
本文证明了泊松分布的Shannon熵和Rényi熵均随强度参数单调递增，其中Rényi熵的证明依赖于Karamata不等式，具有非平凡性。
Extremal Relations Between Shannon Entropy and $\ell_α$-Norm
本文研究了$n$元概率向量$n \ge 2$的香农熵和$\ell_α$范数之间的关系.更准确地说，我们调查的紧界的$\ell_α$ -范数与一个固定的香农熵，反之亦然。作为结果的应用，我们得到了Shannon熵与由$\ell_α$ -范数确定的几个信息测度之间的紧界，例如，Rényi熵、Tsallis熵、$R$ -范数信息和一些多样性指数。此外，我们将这些结果应用于均匀聚焦通道。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
On Nyquist-Shannon Theorem with one-sided half of sampling sequence
经典的采样Nyquist-Shannon-Kotelnikov定理指出，带限连续时间函数可以从具有足够频率的无限双边采样序列中唯一地恢复而没有误差。这个简短的说明表明，该函数可以从任何过采样级数的任何单侧半无限半中恢复，与经典定理中的容许频率具有相同的边界。
Relations Between Conditional Shannon Entropy and Expectation of $\ell_α$-Norm
本文研究了条件Shannon熵和联合概率分布的$\ell_α$ -范数期望之间的关系。更准确地说，我们研究了$\ell_α$ -范数的期望与一个固定的条件香农熵的紧界，反之亦然。作为结果的应用，我们得到了条件Shannon熵与由$\ell_α$ -范数的期望所确定的几种信息测度之间的紧界，例如，条件Rényi熵和条件$R$ -范数信息。此外，我们将这些结果应用到离散无记忆信道下的均匀输入分布。然后，我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
Information Decomposition Diagrams Applied beyond Shannon Entropy: A Generalization of Hu's Theorem
本研究将随机变量与联合运算视为作用于信息函数的幺半群，证明了Hu定理的推广形式，其适用于多种信息度量，还揭示了柯尔莫哥洛夫交互复杂度与香农交互信息的渐近一致性，搭建了算法与经典信息论的桥梁。
A Shannon Approach to Secure Multi-party Computations
在安全多方计算（SMC）中，各方希望在其私有数据上计算函数，而不会透露比函数所透露的更多关于其数据的信息。在本文中，我们研究了两个Shannon型问题上这个问题。首先，我们考虑传统的单次模型SMC不假设一个概率先验的数据。在这个模型中，私有通信和随机性是安全计算的关键使能因素，我们研究了随机性成本和容量的概念。然后，我们移动到一个概率模型的数据，并提出了一个香农模型的离散无记忆SMC。在这个模型中，数据之间的相关性是安全计算的关键使能因素，我们研究了依赖关系的概念，它允许函数的安全计算。虽然模型和问题是通用的，但本文重点关注求和函数，并依赖于极化码构造。
Extracting analytic proofs from numerically solved Shannon-type Inequalities
一类信息不等式，称为香农型不等式（STI），可以通过一个名为ITIP的计算机软件证明。在以前的工作中，我们已经展示了如何利用这种技术，傅立叶-Motzkin消除算法的信息论不等式。在这里，我们提供了一个算法提取信息不等式的\emph{analytic}证明。通过求解一个最优化问题证明了Shannon型不等式。我们将展示如何提取数字解决信息不等式的\emph{formal}证明。这种证明可能会变得有用时，不等式是隐含的几个约束，由于PMF，证明是不容易的。更复杂的情况是，由于PMF的约束和统计模型产生的其他约束，不等式成立。这种情况包括信息理论容量区域、率失真函数和无损压缩率。首先给出了Shannon型信息不等式的形式定义。然后，我们审查的优化问题的最佳解决方案，以及如何提取的证明，是可读的用户。
Guesswork, large deviations and Shannon entropy
猜一个密码有多难？梅西表明，选择密码的分布的香农熵是预期猜测次数的下界，但一般来说并不严格。在随后的一系列论文中，在限制性更小的随机假设下，随着密码长度的增长，猜测的缩放矩和特定的雷尼熵之间的渐近关系被确定。在这里，我们表明，当适当的缩放，随着密码长度的增长的猜测的对数满足大偏差原则（LDP），提供直接估计的猜测分布时，密码很长。支配LDP的速率函数具有特定的、限制性的形式，该形式以猜测的性质封装了底层结构。回到Massey最初的观察，LDP的推论表明猜测的对数的期望是密码选择过程的特定香农熵。
Rate-Distortion Bounds for an Epsilon-Insensitive Distortion Measure
率失真函数的直接评估很少实现时，它是严格大于其香农下限。在本文中，我们考虑率失真函数的失真测量定义的ε不敏感的损失函数。我们首先提出了适用于任何源分布有限微分熵的香农下界。然后，重点对拉普拉斯和高斯源，我们证明了这些源的率失真函数严格大于其香农下界，并获得解析评估的率失真函数的上界。小失真限制和数值评估的界限表明，香农下限提供了一个很好的近似率失真函数的ε不敏感的失真措施。
Linear Shannon Capacity of Cayley Graphs
图的香农容量是零误差信息论中的一个基本量，用来度量图的幂中独立集的增长率。尽管研究得很好，但这个数量仍然有几个谜团。Lovász通过他的theta函数证明了$C_5$（5圈）的香农容量至多为$\sqrt{5}$。这个界限是通过一个简单的线性代码在$\mathbb{F}_5$映射$x \mapsto 2x$。这激发了图的线性香农容量的概念，这是当将自己限制为线性码时可实现的最大速率。基于多项式方法给出了$C_5$的线性Shannon容量为$\sqrt{5}$的简单证明。我们的方法适用于更一般的凯莱图添加剂组的有限域$\mathbb{F}_q$，给出了上界的线性香农容量。我们将此界限与Lovász theta函数进行比较，表明它们匹配自补Cayley图（如$C_5$），并且在某些情况下界限较小。我们还表现出线性和一般香农容量的一些图之间的二次差距。
An example showing that Schrijver's $\vartheta$-function need not upper bound the Shannon capacity of a graph
本文通过一个 32 顶点 Tanner 图的显式反例，证明 Schrijver 的 $\vartheta$-函数变体不一定是 Shannon 容量的上界，从而澄清了其与 Lovász $\vartheta$ 函数的重要区别。
De-randomizing Shannon: The Design and Analysis of a Capacity-Achieving Rateless Code
本文分析了最近提出的一类无码率码--脊髓码。我们证明了脊髓码实现香农容量的二进制对称信道（BSC）和加性高斯白噪声（AWGN）信道与一个有效的多项式时间的编码器和解码器。它们是第一个证明BSC和AWGN这些性质的无比率码。脊髓码的关键思想是在消息位上顺序应用哈希函数。代码的顺序结构对于有效解码至关重要。此外，反对在良好的代码中具有扩展器结构的智慧，我们表明，尽管其顺序结构，但脊柱代码实现了容量。由散列函数提供的伪随机性足以用于此目的。我们的证明引入了一个变种的Gallager的结果表征的错误指数的随机码的任何无记忆通道。我们提出了一个新的应用程序，这些错误指数的结果在一个有效的顺序码的框架内。在消息比特上应用散列函数提供了一种方法和有效的方式来去随机化香农的随机码本构造。
Semantic Channel and Shannon's Channel Mutually Match for Multi-Label Classification
一组转移概率函数形成香农通道，而一组真值函数形成语义通道。标签学习是让语义通道匹配Shannon通道，标签选择是让Shannon通道匹配语义通道。信道匹配（CM）算法被提供用于多标签分类。该算法遵循最大语义信息准则，与最大似然准则和正则化最小二乘准则兼容。当样本量很大时，可以利用第三类贝叶斯定理直接将Shannon通道转换为语义通道;当样本量很大时，可以利用采样分布训练带参数的真值函数。标签可以是一些原子标签的布尔函数。为了简化学习，我们可以只获得一些原子标签的真值函数。对于一个给定的标签，实例分为三种（积极，消极，不清楚），而不是在流行的研究中的两种，这样的问题与二元相关性是避免的。对于每个实例，分类器选择具有最多语义信息或最丰富内涵的复合标签。作为一种预测模型，语义通道不随实例的先验概率分布（源）而改变。当源发生变化时，它仍然有效。分类器随信源的变化而变化，从而克服了类不平衡问题。研究表明，老年人口的增加会改变“老”的量词，并推动“老”的语义演变。介绍了未知实例分类的CM迭代算法。
Transfer Entropy: where Shannon meets Turing
转移熵能够捕捉多变量时间序列之间的非线性源-目的地关系。它是源数据之间的关联性的度量，这些源数据经由它们的概率质量函数之间的一组线性变换而被变换成目的地数据。由此产生的张量形式主义是用来表明，在特定情况下，例如，在系统由三个随机过程组成的情况下，双变量分析足以区分真关系和假关系。这使我们能够确定编码在噪声数据的概率质量函数中的因果结构。利用张量理论推导了传递熵的数据处理不等式。
Shannon Capacity and Related Graph Invariants for Lexicographic Products
该研究分析图字典积下的Lovász θ函数、分数Haemers数和香农容量，证明相关乘性、超乘性性质，确定多类图乘积的香农容量并提出开放问题。
Shannon Entropy Estimation in $\infty$-Alphabets from Convergence Results
在可数无限字母表中的Shannon熵估计问题是从熵泛函的收敛结果的研究和使用中解决的，这是已知的是不连续的总变异距离在$\infty$ -字母表。熵的收敛的充分条件，包括与分布上的无限和无限支持的假设的情况。从这个新的角度来看，四个插件直方图为基础的估计进行了研究表明，收敛结果是有助于获得新的强一致性和收敛速度的结果。在估计量和底层分布上使用不同的场景和条件，例如考虑有限和未知的支持假设以及可求和的尾有界条件。
An entropy functional bounded from above by one
香农熵被广泛用于量化离散随机变量的不确定性。但是，当归一化到单位区间时，正如实践中经常做的那样，它不再传达所研究的随机变量的字母大小。这项工作介绍了一个熵泛函的基础上詹森-香农发散，自然界从上面的一个。不同于归一化香农熵，这个新的功能是严格增加的字母大小下的均匀性，因此非常适合离散随机变量的表征。
On a new multivariate sampling paradigm and a polyspline Shannon function
本文提出一种基于多元多项式样条理论的新的多元采样范式，并推导出香农型公式。
Information Measure Similarity Theory: Message Importance Measure via Shannon Entropy
在异常检测、安全系统等大数据应用场景中，罕见事件引起了人们的广泛关注。为了从概率的角度刻画稀有事件的重要性，提出了消息重要性度量（MIM）作为一种语义分析工具。与Shannon熵相似，MIM在信息处理中有其特殊的功能，其中MIM的参数$\varpi$起着至关重要的作用。实际上，参数$\varpi$支配MIM的性质，基于此，MIM具有三个工作区域，其中对应的参数分别满足$ 0 \le \varpi \le 2/\max\{p(x_i)\}$、$\varpi > 2/\max\{p(x_i)\}$和$\varpi < 0$。此外，在$ 0 \le \varpi \le 2/\max\{p(x_i)\}$的情况下，MIM和Shannon熵在信息压缩和传输方面具有相似性，这为信息论提供了一个新的视角。本文首先构建了一个具有消息重要性度量的系统模型，提出了消息重要性损失的概念，丰富了信息处理策略。此外，我们提出了消息重要性损失容量来衡量信息的重要性收获在传输。此外，提出了消息重要性失真函数，给出了基于消息重要性测度的信息压缩的上界。此外，研究了信息重要性损失约束下的比特率传输问题，拓宽了Shannon信息论的适用范围。
Syntropy in complex systems: A complement to Shannon's Entropy
本研究提出同熵函数和期望函数作为香农熵的补充，用于检测局部相干事件和概括系统预期行为，为理解复杂系统动力学提供新框架，并暗示有序与混沌的深层关联。
Jaynes & Shannon's Constrained Ignorance and Surprise
在这篇简单的文章中，在理论和应用物理中可能的应用，我们提出了一个原始的方法来推导香农熵的表达从一个纯粹的变分方法，使用约束。在Edwin T. Jaynes，我们的结果从根本上说并不是新的，但是它们导出的背景可能会导致一个非常一致的形式主义，其中最大熵原理自然出现。在此框架中给出了“无知”的一般定义之后，我们使用两种方法推导出熵的某种一般预期表达式。在第一种情况下，人们是有偏见的，对熵函数的形状有一个模糊的概念。在第二种情况下，我们考虑的一般情况下，没有什么是先验已知的。比较了两种思维方式的优点。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。