Successive Refinement of Shannon Cipher System Under Maximal Leakage
该研究将Shannon密码系统的点对点率失真威胁模型推广到多终端逐次细化场景，刻画了两种可靠性约束下的渐近最优归一化最大泄露区域，证明了特定条件下两类约束的泄露区域一致。
2024-04-18 cs.IT math.IT
Reduction of the secret key length in the perfect cipher by data compression and randomisation
针对完美密码密钥长度这一关键应用参数，本文提出一种基于数据压缩与随机化的密钥长度缩减方法，可实现完美密码且平均密钥长度接近Shannon熵，能有效利用现成数据压缩器。
2023-07-19 cs.CR cs.IT math.IT
Source-Channel Secrecy for Shannon Cipher System
最近，已经提出了基于列表重构的保密措施[2]，其中窃听器被允许产生$2^{mR_{L}}$重构序列的列表，并且保密性通过在整个列表上的最小失真来测量。在本文中，我们证明了这个列表保密问题等价于用一个新的量\emph{lossy-equivocation}来度量保密性的问题，这个量被证明是最小乐观1-可达信源编码率（对于\emph{infinitely many blocklengths}，在目标失真内以正概率重构源所需的最小编码速率），并且也可以被看作是常规含糊性的有损扩展。在此（或列表）保密措施下，研究了具有\emph{noisy}窃听信道的离散无记忆Shannon密码系统的信源信道保密问题。给出了秘密密钥速率、列表速率、窃听失真和合法用户失真的可达域的两个内界和一个外界。分别使用未编码的方案和（操作上）分离的方案导出内界。由于损失含糊保密与列表保密的等价性，利用信息谱方法证明了其外界。作为特殊情况，窃听信道退化或合法用户的无损通信的情况下的容许区域已被完全特征化。对于这两种情况，单独的方案被证明是最佳的。然而，有趣的是，在其他某些情况下，分离确实会遭受性能损失。此外，我们还扩展了我们的结果来描述高斯通信情况下的可达区域。作为副产品，乐观有损信源编码也已得到解决。
2017-02-10 cs.CR cs.IT math.IT
Information Leakage of Correlated Source Coded Sequences over Channel with an Eavesdropper
研究了一种新的窃听网络中多个相关源的通用方法。一个基本的模型，包括两个相关的来源，每个产生一个组件的共同信息进行了初步研究。有几种情况下，考虑在传输链路上的窃听症状，并基于这些情况下的一个新的量，在源/S的信息泄漏被确定。本文描述的模型的一个有趣的特点是信息泄漏量化。在两个相关源模型中引入了Shannon的具有窃听者的密码体制，以最小化密钥长度。这些方面的量化信息泄漏和减少使用香农密码系统的密钥长度也被认为是一个多相关源网络的方法。一个新的计划，采用共同的信息组合，以减少密钥长度的掩蔽，并适用于多个源的广义模型。
2014-10-02 cs.IT math.IT
Universal Encryption of Individual Sequences Under Maximal Leakage
在个体序列和有限状态加密器框架下研究Shannon密码系统的信息最大泄露，推导出泄露的上下界，证明Lempel-Ziv压缩结合一次性密码本加密可实现渐近最小泄露。
2025-04-30 cs.IT math.IT
Further improving security of Vector Stream Cipher
向量流密码是一种由模$2^w$环上的置换多项式构成的流密码。密钥流生成算法简单，加密速度快.自2004年VSC被发明以来，已经报道了一些针对VSC的理论攻击。在此基础上，作者提出了一些改进措施，并开发出了“矢量流密码2.0（VSC 2.0）”，使其能够抵抗理论上的攻击。本文提出了对VSC 2.0的进一步改进，并将其作为一种新的混沌密码“矢量流密码2.1（VSC 2.1）”发布。VSC 2.1比VSC 2.0更快、更安全。我们的结果表明，置换多项式模$2^w$环上是有用的密码学。
2016-11-06 cs.IT math.IT nlin.CD
Information Leakage of Heterogeneous Encoded Correlated Sequences over Eavesdropped Channel
相关源存在于通信系统中，其中协议确保存在源的某些预定信息。在这里，相关的源跨窃听信道，包括一个异构的编码方案和它们的影响时，一些信道信息和源已被窃听的信息泄漏进行了研究。Slepian-Wolf场景的信息泄漏界限。此后，香农密码系统的方法。此外，描述了使用矩阵划分方法的实现方法。
2015-01-23 cs.IT math.IT
On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener
我们讨论了为什么MMSE估计出现在基于格的计划接近线性高斯信道的容量，并评论其性质。
2004-09-26 cs.IT math.IT
Shannon Theoretic Limits on Noisy Compressive Sampling
在本文中，我们研究了在存在噪声的情况下，从压缩样本中恢复具有$L$非零系数的${\mathbb C}^M$中的稀疏信号所需的测量次数。对于一些不同的恢复标准，我们证明了$O(L)$（一个渐进的线性多个$L$）测量是必要的和充分的，如果$L$线性增长的函数$M$。这改进了现有文献，其主要集中在基于凸规划的特定恢复算法的变体上，为此需要$O(L\log(M-L))$测量。我们还表明，$O(L\log(M-L))$测量需要在次线性政权（$L = o(M)$）。
2007-11-02 cs.IT math.IT
Extending the Shannon Upper Bound Using Spiral Modulation
香农上界对噪声信道的无差错信息传输速率（容量）进行了限制。它已经存在了60多年，是电信行业理论和实践工作的基础。这个上限来自香农-哈特利定律，该定律有两个参数：可用带宽和信噪比。然而，除了这些明确的参数，香农-哈特利定律也依赖于某些假设。其中之一是信道是线性的：最近的工作表明，非线性信道不受香农上限的限制。第二个假设来自于证明中使用的数学工具，即信号是周期性的。令人惊讶的是，与非周期性信号相关的容量限制以前没有被检查过。在这里，我们表明，无论是理论上和建设，使用非周期性信号，基于复杂的螺旋，允许香农上限扩展。
2017-05-05 cs.IT math.IT
A Shannon-Theoretic Approach to the Storage-Retrieval Tradeoff in PIR Systems
我们认为，在私人信息检索（PIR）系统的存储检索率权衡使用香农理论的方法。我们的重点主要是规范的两个消息两个数据库的情况下，提出了一种基于随机码本生成和合并技术的编码方案。这种编码方案揭示了PIR和经典的多描述信源编码问题之间的隐藏联系。我们首先表明，当检索率保持最佳，所提出的非线性计划可以实现更好的性能超过任何线性计划。此外，一个非平凡的存储检索率的权衡，可以实现超越这个极端点和其他最佳极端点之间的空间共享，实现检索一切的策略。我们进一步表明，与一种类似的方法的净化技术，可以提取零错误的PIR码的随机码。外边界也进行了研究和比较，以建立优于线性码的非线性码。
2023-01-05 cs.IT math.IT
Perfectly Secure Index Coding
在本文中，我们研究了存在窃听者的索引编码问题。消息将从一个发送器发送到多个合法的接收器，这些接收器具有关于消息的边信息，并与发送器共享一组密钥。我们假设完全保密，这意味着窃听者不应该能够检索到有关消息集的任何信息。研究了零错误且完全安全的索引编码问题的最小密钥长度。一方面，这个问题是索引编码问题的推广（因此是一个困难的问题）。另一方面，它是香农密码体制的推广。我们表明，香农的一次垫策略的推广是最佳的乘法常数，这意味着它获得了整个边界的圆锥体形成的安全率区域从原点看。最后，我们考虑放松完美的保密性和零错误的限制，弱保密性和渐近消失的错误概率，并提供了一个安全的版本的结果，由Langberg和Effros，在传统的索引编码问题的零错误和$ε$ -错误区域的等价性。
2015-12-30 cs.IT math.IT
Extracting analytic proofs from numerically solved Shannon-type Inequalities
一类信息不等式，称为香农型不等式（STI），可以通过一个名为ITIP的计算机软件证明。在以前的工作中，我们已经展示了如何利用这种技术，傅立叶-Motzkin消除算法的信息论不等式。在这里，我们提供了一个算法提取信息不等式的\emph{analytic}证明。通过求解一个最优化问题证明了Shannon型不等式。我们将展示如何提取数字解决信息不等式的\emph{formal}证明。这种证明可能会变得有用时，不等式是隐含的几个约束，由于PMF，证明是不容易的。更复杂的情况是，由于PMF的约束和统计模型产生的其他约束，不等式成立。这种情况包括信息理论容量区域、率失真函数和无损压缩率。首先给出了Shannon型信息不等式的形式定义。然后，我们审查的优化问题的最佳解决方案，以及如何提取的证明，是可读的用户。
2017-07-06 cs.IT math.IT
A short-key one-time pad cipher
提出了一种用于数据的安全传输的过程，该过程在一定程度上具有一次性密码（OTP）的优点，即简单、速度和信息理论上的安全性，但克服了其根本弱点，即必须安全地交换与消息一样长的密钥。对于每次传输，生成专用的一次性密码本以用于加密和解密明文消息。这个一次性密码本是从公共图书馆随机选择的一组基本密钥构建的。由于基本密钥可以被多次选择和使用，这种方法被称为多次密码（MTP）。关于选择基本密钥的信息被编码在通过安全手段传输的简短关键字中。通过附加的设计元素，该过程可以安全地抵抗已知明文攻击。该过程对于高速传输大量数据和视频或音频流特别有用。
2016-08-18 cs.CR cs.IT math.IT
FSMI: Fast computation of Shannon Mutual Information for information-theoretic mapping
1 Department of Electrical Engineering；Computer Science, MIT, Cambridge, MA, USA 2 Department of Aeronautics；Astronautics, MIT, Cambridge, MA, USA
探索任务嵌入在许多机器人应用中，例如搜索和救援以及太空探索。基于信息的探索算法旨在通过最大化信息理论度量（诸如地图和潜在的未来测量之间的互信息）来找到信息量最大的轨迹。不幸的是，大多数现有的基于信息的探索算法的计算困难的香农互信息度量评估的困扰。在本文中，我们考虑的基本问题，评估香农互信息之间的地图和距离测量。首先，我们考虑2D环境。我们提出了一种新的算法，称为快速香农互信息（FSMI）。该算法背后的关键见解是，某个积分可以解析计算，从而节省大量的计算。其次，我们考虑由高效数据结构表示的3D环境，例如，一个可压缩映射，使得测量值被行程长度编码（RLE）压缩。我们提出了一种新的算法，称为FSMI-RLE，有效地评估香农互信息的测量时，使用RLE压缩。对于FSMI和FSMI-RLE，我们还提出了对传感器噪声分布进行不同假设的变体，以进一步节省计算。我们在广泛的实验中评估所提出的算法。特别是，我们表明，所提出的算法优于现有的算法，计算香农互信息以及其他算法，计算柯西-施瓦茨二次互信息（CSQMI）。此外，我们证明了香农互信息的计算在一个三维地图上的第一次。
2019-05-06 cs.IT cs.RO math.IT
A Novel Latin Square Image Cipher
在本文中，我们介绍了一个数字密钥拉丁方图像密码（LSIC）的灰度和彩色图像。我们对图像加密领域的贡献包括：1）开发了新的拉丁方图像加密原语，包括拉丁方白化、拉丁方S盒和拉丁方P盒; 2）通过在图像最低有效位平面中嵌入随机噪声，提出了一种将概率加密与图像加密相结合的新方法; 3）在一个新的类似织布机的替代-置换网络中，将这些拉丁方图像加密原语全部集中在一个带密钥的拉丁方上，构造出最小二乘相似变换（LSIC）。因此，建议的LSIC实现了许多安全密码所需的属性，包括大的密钥空间，高密钥灵敏度，均匀分布的密文，优良的混淆和扩散特性，语义安全，以及对信道噪声的鲁棒性。理论分析表明，该算法对蛮干攻击、纯密文攻击、已知明文攻击和选择明文攻击都有较好的抵抗能力。使用完整的USC-SIPI Miscellaneous图像数据集进行的大量仿真结果下的实验分析表明，LSIC优于或达到许多同行算法所建议的最先进水平。所有这些分析和结果表明，LSIC是非常适合数字图像加密。最后，我们在网页https://sites.google.com/site/tuftsyuewu/source-code下开源了LSIC MATLAB代码。
2012-04-11 cs.CR cs.IT math.IT
An information-theoretic proof of the Shannon-Hagelbarger theorem
本文利用高斯自由场理论，以信息论方法证明了Shannon-Hagelbarger定理，即有效电阻是边电阻的凹函数，并推广至交叉有效电阻矩阵的行列式。
2024-02-06 cs.DM cs.IT math.CO
Orthogonal Cocktail BPSK: Exceeding Shannon Capacity of QPSK Input
加性高斯白噪声信道的香农（Shannon）信道容量是在任意小错误概率下的最高可靠传输比特率（RTBR）。然而，作者发现，这一概念是正确的，只有当通道的输入和输出被视为一个单一的信号流。因此，这项工作揭示了一种可能性，进一步增加RTBR的并行方式传输两个独立的信号流。通过在接收机处分离两个信号而没有任何流间干扰来获得增益。为此，我们借用QPSK星座图对两个独立的信号进行分层，并创建部分解码方法来处理从汉明空间到欧几里得空间的信号分离。理论推导证明，该方法可以超过传统的QPSK的RTBR。
2019-06-11 cs.IT math.IT
Physics of the Shannon Limits
我们提供了一个简单的物理解释，在热力学第二定律的背景下，信息不等式（a.k.a.）。吉布斯不等式，也等价于对数和不等式），断言两个概率分布之间的相对熵不能为负。由于这个不等式是数据处理定理（DPT）的基础，而DPT又是香农理论中大多数（如果不是全部）逆定理证明的核心，因此可以观察到，在概念上，信息论的基本极限的根源实际上可以归因于物理定律，特别是热力学第二定律，至少间接地，也是能量守恒定律。同样，从另一个方向来看：人们可以把第二定律看作是源于信息论原理。
2009-03-29 cs.IT math.IT
On the Computation of the Shannon Capacity of a Discrete Channel with Noise
Muroga [M52]展示了如何将具有噪声的离散信道的香农信道容量[S49]表示为转移概率的显式函数。他的方法适用于任何有限数量的输入符号，任何有限数量的输出符号和任何转移概率矩阵的信道。Silverman [S55]在双星通道的特殊情况下进行了Muroga的方法（并继续分析了几个这样的双星通道的“级联”）。这篇文章是关于单个二进制信道的容量C（a，c）的结果公式的注记。我们的目的是澄清一些论点，并纠正一个小错误。为了达到这个目的，我们首先用离散测度论概率论的方法，给出了香农的几个定义和证明。我们提供了一个替代的证据西尔弗曼的，最佳的二进制通道的输入分布的可行性。为了方便起见，我们还在一个表达式中表示C（a，c），该表达式仅显式依赖于a和c，Silverman没有这样做。
2017-01-31 cs.IT math.IT
Towards a Framework for Observational Causality From Time Series: When Shannon Meets Turing
我们提出了一种新的基于张量的形式主义推断因果结构的时间序列。对传递熵的信息论分析表明，传递熵是信息在一组通信信道上传输的结果。张量是这些多通道因果通道的数学等价物。多通道因果通道是离散无记忆通道的推广。由三个变量组成的系统的调查表明，在我们的形式主义，双变量分析足以区分直接和间接的关系。要做到这一点，我们必须将多通道因果通道的输出与单通道因果通道的输出相结合。当我们考虑噪声的作用时，我们可以理解这个结果。在噪声信道上的信息的后续传输永远不会导致总的噪声较少的传输。这意味着传递熵存在数据处理不等式。
2020-02-05 cs.IT math.IT
Graph Guessing Games and non-Shannon Information Inequalities
Riis为了研究多个单播网络编码问题，引入了有向图的猜测游戏。在一个猜谜游戏中，玩家掷一般化的骰子，并可以看到一些其他的结果，这取决于一个潜在的有向图的结构。他们后来同时猜测自己死亡的结果。他们的目标是找到一个策略，使他们都猜对的概率最大化。最优策略的性能通过有向图的猜测数来衡量。Christofides和Markström研究了无向图的猜测数，并定义了一个他们认为是最优的策略。本文的主要结果之一是对这一猜想的一个反证。到目前为止，计算图的猜测数的主要工具是信息论不等式。在本文中，我们表明，香农的信息不等式，特别适用于广泛的图形类，是不足以计算的猜测数。最后，我们提出了一些更有趣的问题，其中一些我们可以回答，一些我们留下的开放问题。
2014-11-02 cs.IT math.IT
Shannon Meets Nash on the Interference Channel
干扰信道是多个自主用户竞争共享资源的最简单的通信场景。我们结合博弈论和信息论来定义干扰信道的纳什均衡区域的概念。这个概念是博弈论的：它捕捉到每个用户在竞争时的自私行为。这个概念也是信息论的：它允许每个用户在优化自己的性能时使用任意的通信策略。本文给出了两用户线性确定性干扰信道的纳什均衡区域的精确刻画和两用户高斯干扰信道的纳什均衡区域的近似刻画，其精确度在1 bit/s/Hz以内。
2010-07-13 cs.GT cs.IT math.IT
Symmetric Cryptography via Dirichlet Convolution
University of Saskatchewan（萨斯喀彻温大学）
本文提出一种基于有限域广义狄利克雷卷积的新型对称密钥密码，其实现高效且可抵御多类攻击，在$p>2$的有限域上可实现密钥重用下的信息论安全，在$\boldsymbol{F}_2$上则存在有限密钥重用预算。
2026-10-14 cs.CR cs.IT math.IT
Semantic Information in MC: Chemotaxis Beyond Shannon
本文首次将Kolchinsky和Wolpert的语义信息框架应用于细菌趋化性这一自然分子通信系统，通过智能体建模量化趋化细菌在动态环境中利用的信息量，揭示信息流与通信有效性及环境条件的关系，为未来纳米尺度MC系统设计开辟新方向。
2024-04-04 cs.IT math.IT
The Henchman Problem: Measuring Secrecy by the Minimum Distortion in a List
本文基于率失真理论提出了一种新的信息理论保密措施，并在Shannon密码系统的背景下对其进行了研究。而率失真理论是传统上关注一个单一的重建序列，在这项工作中，我们假设一个窃听者产生一个列表的$2^{nR_{\sf L}}$重建序列和测量保密的最小失真在整个列表。我们表明，这种设置是相当于一个窃听者必须重建一个单一的序列，但也收到侧信息的源序列和公共消息从一个速率有限的追随者（一个助手的对手）。我们刻画了秘密密钥速率、列表速率和窃听者失真的最佳折衷。解决方案取决于一个独立的兴趣问题：有损压缩的码字均匀地从随机码本。我们还描述了有损通信版本的问题，其中失真是允许在合法的接收器的解决方案。在这两种设置的分析是大大有助于最近的技术证明信源编码的结果与使用的似然编码器。
2014-11-24 cs.IT math.IT
A generalization of majorization that characterizes Shannon entropy
我们引入了一个二元关系的有限离散概率分布，概括了已在量子信息论研究的优势化的概念。在热力学问题的启发下，我们的关系描述的过渡引起的双随机映射中存在的额外的辅助系统，可能成为相关的过程中。我们表明，这种关系是完全特征的香农熵H，产生的解释H在资源理论方面，并承认一个特别简单的证明H的一个已知的表征自然信息理论的属性。
2016-04-11 cs.IT math-ph math.IT
Secure Event-triggered MolecularvCommunication - Information Theoretic Perspective and Optimal Performance
Technical University of Munich（慕尼黑工业大学）；Technische Universität Braunschweig（布伦瑞克工业大学）
本文从信息论角度研究了安全事件触发分子通信的最优性能，提出并分析了安全随机识别方法，推导了其容量公式以提升安全性和效率。
2025-12-18 cs.IT math.IT
Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence
在迁移学习中，训练和测试数据集来自不同的数据分布。迁移泛化间隙是目标数据分布上的种群损失与训练损失之间的差异。训练数据集通常包括从源分布和目标分布两者提取的数据。本文提出了一种新的平均传输推广间隙的信息论上界，该上界通过广义$(α_1,α_2)$ -Jensen-Shannon（JS）发散的双参数族捕获$(i)$，即目标数据分布$P'_Z$和源分布$P_Z$之间的域移位;以及$(ii)$迁移学习器输出$W$经由交互信息对数据集$Z_i$的每个单独样本的灵敏度$I(W;Z_i)$。对于$α_1 \in (0,1)$，即使当$P_Z$的支持不包括在$P'_Z$的支持中时，$(α_1,α_2)$ -JS分歧也可以是有界的。这与Wu等人[1]的基于Kullback-Leibler（KL）散度$D_{KL}(P_Z||P'_Z)$的界限形成对比，在此假设下，该界限是空洞的。此外，所获得的界对于具有有界累积量生成函数的无界损失函数成立，不像Wu等人[1]的基于$ϕ$发散的界。我们还获得了新的上界的平均转移超额风险的经验加权风险最小化（EWRM），最小化源和目标数据集的加权平均训练损失的$(α_1,α_2)$ -JS分歧。最后，我们提供了一个数值例子来说明引进的界限的优点。
2021-01-25 cs.IT cs.LG eess.SP
Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding
虽然Shannon互信息得到了广泛的应用，但对于许多实际问题，包括神经种群编码问题，其有效计算往往是困难的。基于Fisher信息的渐近公式有时提供对互信息的精确近似，但是这种方法限于连续变量，因为Fisher信息的计算需要关于编码变量的导数。本文考虑了基于Kullback-Leibler散度和Rényi散度的互信息的信息论界和近似。我们提出了几个信息度量近似香农互信息的神经种群编码的上下文中。虽然我们的渐近公式都适用于离散变量，但无论编码变量是离散的还是连续的，其中一个都具有一致的性能和高精度。我们进行了数值模拟，并证实我们的近似公式是高度准确的近似之间的互信息的刺激和反应的一个大的神经种群。这些近似公式可能为信息论在许多实际和理论问题中的应用带来潜在的方便。
2019-03-04 cs.IT math.IT math.ST
Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon
University of Michigan（密歇根大学）
本文提出FiSh数度量数据草图效率，证明Fishmonger草图在基数估计中达到理论最优，且H₀/I₀为可合并草图的最优FiSh数。
2026-02-14 cs.DS cs.IT math.IT
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明，我们的一般界可以专门在各种以前的界限。我们还表明，在某些条件下，我们的一般界限可以专门化为一个新的界限，该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下，我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
Jumping champions and prime gaps using information-theoretic tools
我们使用信息论的方法研究素数的间距。在信息论中，信息的连续和离散表示的等价性是由Shannon抽样论建立的。在这里，我们使用香农采样方法来构造连续函数，其变化的带宽遵循素数的分布。这些信号的傅里叶变换在素数之间频繁出现的间距处尖峰。我们发现了明显的尖峰，特别是在原始的。在此之前，素数被认为是随后素数之间最频繁的间隔，即所谓的“跳跃冠军”。在这里，我们发现一个伏笔的原始的角色作为跳跃冠军的意义上，傅立叶尖峰的原始的出现早得多的数轴上的原始问题，预计将统治作为跳跃冠军。
2018-08-01 cs.IT math.IT math.NT
Shannon Information Entropy in Heavy-ion Collisions
介绍了C.E. Shannon信息熵是一种基于信息熵的方法，它从本质上量化了具有特定分布的量的信息，基于信息熵的方法在物理学等许多科学领域得到了深入的发展。重离子碰撞（HIC）过程的动力学特性使得核物质及其演化的研究变得困难和复杂，Shannon信息熵理论可以为理解这一物理现象提供新的方法和观测量。为了更好地理解HIC的过程，简要介绍了典型模型的主要特点，包括量子分子动力学模型、热力学模型和统计模型等。收集了Shannon信息论在HIC中的典型应用，包括强子碰撞分支过程中的混沌行为、HIC中的液-气相变以及丰中子系统HIC中产生的中等质量碎片的等压差标度现象。尽管目前在重离子碰撞物理中的应用还比较简单，但它将有助于我们探索一些关键问题。建议进一步发展核反应模型中的信息熵方法，并发展新的分析方法来研究HIC中核物质的性质，特别是动力学系统的演化。
2018-01-07 cs.IT math.IT nucl-th
Arıkan meets Shannon: Polar codes with near-optimal convergence to channel capacity
令$W$是具有香农容量$I(W)$的二进制输入无记忆对称（BMS）信道，并且固定任何$α> 0$。我们构造，对于任何足够小的$δ> 0$，二进制线性码的块长度$O(1/δ^{2+α})$和速率$I(W)-δ$，使可靠的通信$W$与准线性时间编码和解码。香农的噪声编码定理建立了具有块长度$O(1/δ^2)$的这种码（没有有效的构造或解码）的\emph{existence}。已知间隙$δ$与容量的这种二次相关性是最可能的。因此，我们的结果产生一个建设性的版本香农定理与近最佳收敛能力作为块长度的函数。这解决了与香农容量的实现相关的中心理论挑战。以前，这样的结果仅为擦除信道所知。我们的代码是Arıkan极化码的变体，基于多个精心构造的局部内核，每个内核用于解码中出现的每个中间通道。在分析中的一个关键因素是一个强有力的逆噪声编码定理时，使用随机线性码在任意BMS信道通信。我们的逆定理表明，在略高于容量的速率下，即使是单个消息比特的随机编码也具有极端的不可预测性。
2022-01-24 cs.CC cs.DS cs.IT
Information-theoretic Physical Layer Security for Satellite Channels
本文从卫星信道视角回顾窃听编码及更强的无密钥无条件保密概念，分析其一般构造在典型卫星信道中的适用性，并探讨物理层安全潜力与多协议协同的系统设计启示。
2017-01-07 cs.CR cs.IT math.IT
Sparse Signal Processing with Linear and Nonlinear Observations: A Unified Shannon-Theoretic Approach
我们推导出基本的样本复杂性界恢复稀疏和结构化信号的线性和非线性观测模型，包括稀疏回归，组测试，多元回归和缺失功能的问题。一般来说，稀疏信号处理问题可以用下面的马尔可夫性质来表征。我们给出一组$N$变量$X_1,X_2,\ldots,X_N$，并且存在与预测结果$Y$相关的未知变量子集$S \subset \{1,\ldots,N\}$。更具体地说，当$Y$以$\{X_n\}_{n\in S}$为条件时，它有条件地独立于其他变量$\{X_n\}_{n \not \in S}$。我们的目标是从变量$X$和相关结果$Y$的样本中识别$S$集。我们把这个问题描述为有噪声的信道编码问题的一个版本。使用渐近信息理论分析，我们建立了互信息公式，成功地恢复显着的变量所需的样本数提供了充分和必要的条件。这些互信息表达式统一了线性和非线性观测的条件。然后，我们计算上述模型的样本复杂度界，基于互信息表达式，以证明我们的结果在一般稀疏信号处理模型的适用性和灵活性。
2016-08-25 cs.IT cs.LG math.IT
Shannon invariants: A scalable approach to information decomposition
Georg-August University Göttingen（哥廷根大学）；Institute for Dynamics of Biological Networks（生物网络动力学研究所）；Max Planck Institute for Dynamics and Self-Organization（动态与自组织Max Planck研究所）；University of Sussex（Sussex大学）；Department of Informatics（信息学院）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）；Principles of Intelligent Behaviour in Biological and Social Systems (PIBBSS)（生物和社会系统智能行为原理（PIBBSS））
本文提出基于Shannon不变量的新框架，实现可扩展的高阶信息分解，解决多变量信息度量解释歧义，并揭示深度学习架构的信息处理特征。
2025-04-22 cs.AI cs.IT cs.LG
Higher-Order Interactions and Their Duals Reveal Synergy and Logical Dependence beyond Shannon-Information
针对香农信息论无法区分部分本质不同系统、高阶互信息推广无共识的问题，该研究证明无模型高阶相互作用是布尔代数上惊奇度的莫比乌斯反演，提出其对偶形式，可唯一识别香农信息相同的不同逻辑门、分布与因果动力学。
2023-05-08 cond-mat.stat-mech cs.IT math.IT
The fitness value of information
生物学家以不同的方式测量信息。神经生物学家和生物信息学的研究人员经常使用信息论的方法来测量信息，如香农熵或互信息。行为生物学家和进化生态学家更常使用决策理论的措施，如信息的价值，评估信息对决策者的价值。在这里，我们表明，这两种措施是密切相关的生物进化的背景下。我们提出了一个简单的模型，在一个不确定的环境中的进化，并计算达尔文的健身，这是可能的环境状态的信息的增加。这种适应度的增加--信息的适应度值--是香农互信息和决策理论信息值的合成。此外，我们表明，在某些情况下，响应于线索的适应度值是完全相等的线索和环境之间的互信息。总的来说，环境的香农熵似乎没有考虑到生物体的适应性，但却给信息的适应性值规定了一个上限。
2005-10-03 cs.IT math.IT q-bio.NC
Bayesian estimation of information-theoretic metrics for sparsely sampled distributions
估计离散分布的香农熵，我们只观察到一个小样本是具有挑战性的。估计其他信息理论度量，如两个稀疏采样离散分布之间的Kullback-Leibler散度，甚至更难。现有的方法来解决这些问题有缺点：他们是有偏见的，启发式的，只适用于某些分布，和/或不能应用于所有的信息理论的指标。在这里，我们提出了一个快速的，半解析估计稀疏采样分布，是有效的，精确的，和一般的。它的推导基于概率考虑，并使用分层贝叶斯方法从可用的少数观测中提取尽可能多的信息。我们的方法提供了香农熵的估计精度至少相当于最先进的，而且往往更好。它也可以用来获得任何其他信息理论度量的准确估计，包括众所周知的具有挑战性的Kullback-Leibler分歧。在这里，再次，我们的方法始终优于现有的估计。
2023-02-22 cs.IT math.IT physics.data-an
LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
University of Virginia（弗吉尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
针对现有缩放定律无法解释非单调性能退化的问题，提出基于香农-哈特利定理的香农缩放定律，将LLM训练建模为噪声信道上的信息传输，通过信号噪声比解释模型规模与数据量对性能的影响。
2026-05-22 cs.AI cs.IT cs.LG
An information-theoretic proof of Nash's inequality
我们表明，信息理论的香农的熵功率，被称为熵功率，可以卓有成效地证明尖锐形式的不等式。特别地，熵功率的平方包含对数Sobolev不等式和带sharp常数的Nash不等式。
2012-07-12 cs.IT math-ph math.FA
A two-parameter entropy and its fundamental properties
本文提出一种可退化为Tsallis熵和Shannon熵的双参数广义熵，系统研究其信息论与信息几何性质，并证明其满足次可加性、强次可加性、联合凸性和信息单调性。
2024-05-01 cs.IT math-ph math.IT
Shannon meets von Neumann: A Minimax Theorem for Channel Coding in the Presence of a Jammer
Indian Institute of Technology Bombay（印度孟买理工学院）
本文研究了在存在对抗性干扰者的情况下，由一组信道组成的信道编码问题，将其视为编码器-解码器团队与干扰者之间的零和博弈。编码器-解码器团队选择随机的编码和解码策略以最小化传输的平均错误概率，而干扰者则选择状态空间上的分布以最大化此概率。该博弈的极小极大值等同于复合信道的信道编码，我们称之为该问题的香农解。极大极小值对应于寻找具有最大最小可实现错误概率的混合信道。当极小极大和极大极小值相等时，问题被称为具有鞍点或冯·诺依曼解。尽管香农解总是存在的，但冯·诺依曼解可能不存在，因为通信团队的问题具有内在的非凸性。然而，我们证明在大块长极限下，对于所有但有限多个速率，极小极大和极大极小值会趋于相等。我们明确地将此极限值作为速率函数进行表征，并获得了极小极大和极大极小值的紧有限块长界。作为推论，我们得到了在随机码下复合信道的ε-容量的显式表达式——据我们所知，这是首次此类结果。我们的结果展示了复合信道与混合信道之间更深层次的关系，也表明传统的信息论观点，通过香农解表达，最终与通过冯·诺依曼解表达的游戏论观点一致。
2018-11-18 cs.GT cs.IT cs.SY
