On the Shannon Cipher System With a Wiretapper Guessing Subject to Distortion and Reliability Requirements
本文讨论了具有离散无记忆信源和猜测窃听器的Shannon密码系统的过程。窃听器在公共信道中观察密码消息的$N$ -向量的密码,并尝试在给定失真水平$Δ$和小于$\exp \{-NE\}$的小错误概率内连续猜测具有正可靠性指标$E$的消息向量。系统的安全性是通过窃听者近似重构源消息向量所需的猜测次数来衡量的。失真,可靠性标准和上限的猜测次数的可能性扩展的方法研究Merhav和Arikan。根据密钥速率$R_K$、失真水平$Δ$和可靠性$E$,给出了对$(R_L,R)$(最大猜测次数$L(N)$的速率$R_L$和平均猜测次数的速率$R$)的区域的单字母表征。
2010-08-05 cs.IT math.IT
Shannon's entropy revisited
我认为一个有限的样本大小的独立事件的样本的熵的影响。提出了满足香农公理的熵公式,并在样本容量为无穷大的情况下,简化为香农熵。我讨论了两个公式之间的差异的物理意义,包括一些实际的影响,如最大可实现的信道利用率,和最小可实现的通信协议开销,对于一个给定的消息大小。
2015-03-18 cs.IT math.IT
Introduction to Quantum Message Space
本文发展了经典信息论的信息系综的量子模拟。主要的数学工具是两个生成元的自由群上的调和分析。
2005-11-04 cs.IT math.IT math.OA
A Brief Introduction to Shannon's Information Theory
本文是对香农信息论的简要介绍。主要介绍了信息量、香农熵和信道容量的概念。所有这些概念都是在一个完全组合的味道。一些文献中通常没有涉及的问题也在这里讨论。特别是,我们表明,似乎我们可以定义不同的信道容量,这使我们能够潜在地在一个固定的足够长的时间内发送更多的消息。然而,对于携带有限数量的字母的信道,不幸的是,信道容量保持与香农极限相同。
2021-04-23 cs.IT math.CO math.IT
Non-parametric Message Important Measure: Storage Code Design and Transmission Planning for Big Data
本文讨论了大数据的存储和传输,其中考虑到消息的重要性。与Shannon熵和Renyi熵类似,我们定义了非参数消息重要性测度(NMIM)作为大数据场景下消息重要性的度量,它可以表征随机事件的不确定性。实验结果表明,该模型能够充分描述大数据的两个关键特征:稀有事件发现和大事件分布。基于NMIM,我们首先提出了一种有效的数据存储压缩编码方式,然后讨论了几种典型信道模型下的信道传输。数值仿真结果表明,该策略在不损失消息重要性的前提下,占用较少的存储空间,且存在最大传输量的增长区和饱和区,有助于设计更好的实用通信系统。
2017-09-29 cs.IT math.IT math.ST
Approximate message-passing decoder and capacity-achieving sparse superposition codes
本文研究了加性高斯白噪声信道下稀疏叠加编码的近似消息传递译码器,推广了我们的前期工作。我们使用启发式的物理为基础的工具,如腔和副本的方法进行统计分析的计划。虽然叠加码渐近达到香农容量,我们表明,我们的迭代解码器是有限的相变类似于发生在低密度奇偶检验码。我们考虑两个解决方案,这个问题,都允许达到香农容量:i)功率分配策略和ii)使用空间耦合,这些代码的新颖性,似乎是有前途的。我们特别提出的模拟表明,空间耦合是更强大的,并允许在有限的代码长度更好的重建。最后,我们的经验表明,使用一个快速的Hadamard为基础的运营商允许一个有效的重建,无论是在计算时间和内存,以及处理非常大的消息的能力。
2016-09-29 cs.IT math.IT
On the Shannon capacity and queueing stability of random access multicast
我们研究和比较的香农容量区域和稳定的吞吐量区域的随机接入系统中,源节点组播他们的消息到多个目的节点。擦除信道模型下,占干扰,并允许多包接收,我们首先表征香农容量区域。然后,我们考虑了一个稳定的吞吐量理论制定和表征两种不同的传输策略:重传策略和随机线性编码的区域。我们的研究结果表明,对于大的块长度,随机线性编码策略提供了更高的稳定吞吐量比重传策略。此外,我们的研究结果提供了一个例子的传输策略,香农容量区域严格的稳定吞吐量区域的外部边界,这与一个未经证实的猜想,香农容量和稳定的吞吐量相吻合的随机接入系统。
2007-09-20 cs.IT math.IT
Violating the Shannon capacity of metric graphs with entanglement
图G的香农容量是指在具有混淆性图G的噪声信道中,消息以零错误概率发送的最大渐近速率。这个被广泛研究的图形参数忽略了这样一个事实,即在原子尺度上,自然界的行为符合量子力学。纠缠,可以说是该理论中最违反直觉的特征,结果是在嘈杂的信道中进行通信的有用资源。最近,Leung,Mancinska,Matthews,Ozols和Roy [Comm. Math. Phys. 311,2012]给出了两个图的例子,其香农容量严格小于发送者和接收者具有纠缠量子系统时可达到的容量。在这里,我们给新的,可能是无限的,家庭的图形的纠缠能力超过香农容量。
2012-07-07 cs.IT math.CO math.IT
Shannon entropy for intuitionistic fuzzy information
Research Center for Electronics and Information Technology(电子与信息技术研究中心);Valahia University(瓦拉几亚大学)
本文将Shannon模糊熵推广到直觉模糊熵。首先给出了一个新的直觉模糊信息距离和相似度计算公式。然后,我们构建了信息特征,如得分,确定性和不确定性的措施。引入了护送模糊信息的概念。然后,利用护送模糊信息,得到了直觉模糊信息的Shannon公式.应该强调的是,直觉模糊信息的香农熵验证了直觉模糊不确定性的四个定义条件。它的两个组成部分的措施也被确定:模糊性(模糊性)和不完整性(无知)。
2018-07-06 cs.AI cs.IT math.IT
Message Importance Measure and Its Application to Minority Subset Detection in Big Data
消息重要性度量(MIM)是描述大数据场景下消息重要性的重要指标。类似于Shannon熵和Renyi熵,MIM需要表征随机过程的不确定性和一些相关的统计特征。此外,MIM还需要突出那些发生概率相对较小的事件的重要性,因此特别适用于大数据。本文首先从信息论的角度定义了一个参数MIM测度,然后研究了它的性质。我们还提出了一个参数选择原则,提供了答案的少数子集检测问题在大数据的统计处理。
2016-07-06 cs.IT math.IT
The Information Theory of Similarity
Independent Researcher(独立研究者)
该研究将相似性搜索系统与信息论统一,揭示了相似性排名的最优复杂度和信息论基础。
2025-11-29 cs.DS cs.IR cs.IT
Semantic Communication: From Philosophical Conceptions Towards a Mathematical Framework
本文提出一种基于哲学概念和抽象层次的语义通信概率模型,将问题正交化为子问题,证明 Shannon 框架为其特例,并推导了物理噪声下语义容量的下界及可达速率。
2025-05-02 cs.IT math.IT
Identification over Additive Noise Channels in the Presence of Feedback
我们分析了确定性的消息识别通过信道与非离散加性白噪声和无噪声反馈链路下的平均功率和峰值功率的限制。识别任务是后香农理论的一部分。为了提高某些应用的信息传输效率,考虑香农方法之外的通信系统是有用的。我们提出了一个编码方案,首先产生无限的共同随机发送者和接收者之间。如果信道具有正的消息传输反馈能力,对于给定的错误阈值和足够大的块长度,则使用该公共随机性来构造任意大的确定性识别码。特别是,确定性识别反馈能力是无限的,无论缩放(指数,双指数等)。选择能力定义。显然,如果除了使用反馈之外还允许随机编码,则这些结果继续保持。
2022-02-17 cs.IT math.IT
On the Storage Cost of Private Information Retrieval
我们认为,在私人信息检索系统的存储成本和下载成本之间的根本权衡,没有任何明确的结构限制的存储代码,如最大距离可分离的代码或未编码的存储。提供了两个新的外边界,这具有以下含义。当消息在数据库之间没有任何冗余的情况下存储时,最佳PIR策略是下载所有消息;另一方面,对于PIR容量实现代码,每个数据库可以从存储所有消息中减少存储成本,平均不超过一个消息。然后,我们专注于两个消息的两个数据库的情况下,并表明,可以通过一种新的伪消息技术得到一个更强的外边界。这个更强的外边界表明,存储-下载权衡的精确表征可能需要非香农型不等式,或者至少需要更复杂的边界技术。
2019-10-26 cs.IT math.IT
Aligning random graphs with a sub-tree similarity message-passing algorithm
对齐Erdös-Rényi随机图的问题是图同构问题的一个有噪声的平均情况版本,其中一对相关的随机图通过它们的顶点的随机排列来观察。我们研究了一个多项式时间的消息传递算法,旨在解决部分恢复隐藏的置换的推理问题,在稀疏制度与恒定的平均度。我们进行了广泛的数值模拟,以确定该算法实现部分恢复的参数范围。我们还介绍了一个广义的相关随机图的集成度分布,并将算法扩展到这种情况。
2022-05-04 cond-mat.dis-nn cs.DM cs.IT
Joint Identification and Sensing for Discrete Memoryless Channels
本研究针对带独立同分布状态序列的离散无记忆信道,研究联合识别与信道状态估计问题,给出了ID容量-失真函数的完整表征,拓展了ID方案的应用优势。
2025-01-21 cs.IT math.IT
State-Dependent Relay Channel with Private Messages with Partial Causal and Non-Causal Channel State Information
在本文中,我们介绍了一个离散的无记忆的状态相关的中继信道与私人消息(SD-RCPM)作为一个推广的状态相关中继信道。我们研究两种主要情况:SD-RCPM与非因果信道状态信息(CSI),和SD-RCPM与因果CSI。在每种情况下,假设部分CSI在源和中继处可用。对于非因果的情况下,我们建立了一个可实现的速率区域,使用Gel'fand-Pinsker类型的编码方案在节点通知CSI,和压缩和转发(CF)计划在中继。使用香农策略和CF方案,因果情况下的可达速率区域。作为示例,考虑了SD-RCPM的高斯版本,并且导出了仅在源处具有非因果完美CSI的高斯SD-RCPM的可实现速率区域。提供数值例子,我们说明了使用CF和解码和转发(DF)计划得出的可实现的速率区域之间的比较。
2010-06-13 cs.IT math.IT
Combinatorial Entropy Encoding
本文提出了一种新的熵编码技术用于无损数据压缩。通过其符号排列中的词典索引来表示消息字符串会导致与消息的香农熵匹配的压缩版本。商业数据压缩标准在压缩过程的某个阶段使用霍夫曼或算术编码。在所提出的方法中,像算术编码一样,整个字符串被映射到整数,但不是基于分数。与算术和霍夫曼编码不同,不需要源的先验熵模型。提出了一种基于多项式系数的简单直观的熵编码算法,该算法采用较低的比特数对较频繁的符号进行编码。通过实例验证了算法的正确性。
2017-03-23 cs.IT math.IT
Boltzmann-Shannon Index: A Geometric-Aware Measure of Clustering Balance
Embry-Riddle Aeronautical University(埃默里-里德航空大学)
Boltzmann-Shannon指数通过量化聚类密度相似性,提供了一种考虑几何因素的聚类平衡度量,适用于资源分配和复杂动态系统分析。
2025-12-17 cs.IT math.IT
Jensen divergence based on Fisher's information
引入了概率分布间Jensen-Fisher散度的度量,建立了其理论基础。与其余的詹森发散相反,这个量对概率分布的波动非常敏感,因为它受(局部)费舍尔信息的控制,这是分布的梯度泛函。因此,在研究分布的相似性时,主要是对于那些具有振荡特征的分布,这是适当的和有益的。新的詹森-费雪发散与詹森-香农发散有以下共同的性质:非负性、适用于任意数量的概率密度时的可加性、在这些密度的交换下的对称性、当且仅当所有密度相等时为零,以及即使这些密度存在非公共零点时也是确定的。此外,Jensen-Fisher散度被示出为表示在相对Fisher信息方面的Jensen-Shannon散度在Kullback-Leibler或相对Shannon熵方面。最后,詹森-香农和詹森-费舍尔的分歧进行了比较,为以下三个大的,非平凡的和定性不同的家庭的概率分布:正弦,广义伽玛样和Rakhmanov-Hermite分布。
2010-12-22 cs.IT math.IT physics.data-an
Quantum enigma machines and the locking capacity of a quantum channel
锁定效应是量子信息理论所特有的现象,并且代表了经典信息理论和量子理论之间最强的分离之一。Fawzi-Hayden-Sen(FHS)锁定协议在加密上下文中利用了这种效应,其中一方可以在仅使用恒定大小的密钥的情况下将n位编码为n个量子位。然后,编码的消息对于窃听者在试图恢复消息时可能执行的任何测量都是安全的,但是该协议不一定满足量子密钥分发应用中所需的可组合性要求。在任何情况下,锁定效应都代表了对香农经典定理的极端违反,该定理指出,当且仅当密钥与消息大小相同时,信息论安全在经典情况下成立。考虑到这一有趣的现象,研究存在噪声时的效果具有实际意义,噪声可能发生在合法接收者和窃听者的系统中。本文将量子信道的锁定容量定义为通过利用量子信道的多次独立使用和密钥数量与信道使用次数呈次线性关系而能够可靠地传输到合法接收者的锁定信息的最大量。我们提供了一般的操作范围的锁定能力在量子香农理论的其他众所周知的能力。我们还研究了玻色子通道的重要情况下,发现这些通道的锁定能力的限制时,采用相干状态编码和特定的锁定协议,这些通道,可能是物理上可实现的。
2013-11-09 cs.IT math.IT quant-ph
A Novel Dual of Shannon Information and Weighting Scheme
Jayoo Technology LLC(Jayoo科技有限责任公司);Brandeis University(布兰迪斯大学)
本文提出 Shannon 信息的对偶量 troenpy,并据此设计 PCF 加权与 ECIB 特征,在文本分类实验中优于 TF-IDF 和词移动距离方法。
2023-04-25 cs.CL cs.IR cs.IT
Revisiting Shannon's Source Coding Theorem with Distributional Uncertainty under the Nonlinear Expectation Theory
National Center for Mathematics and Interdisciplinary Sciences, Academy of Mathematics and Systems Science, CAS(中国科学院数学与系统科学研究院交叉科学中心);School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(北京邮电大学信息与通信工程学院);University of Chinese Academy of Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Science(中国科学院大学数学与系统科学研究院)
本文基于非线性期望理论,针对分布不确定的信源建立非线性信源编码定理,推广了信息熵概念,为通信网络中信源的分析提供了更全面的理论框架。
2026-11-05 cs.IT math.IT
Error Free Perfect Secrecy Systems
香农的完美保密的基本界限说,秘密消息的熵不能大于发送者和合法接收者最初共享的秘密密钥的熵。Massey给出了这个结果的信息论证明,但是这个证明不需要密钥和密文的独立性。通过进一步假设独立性,我们得到了一个更严格的下限,即密钥熵不小于任何密码实现完美保密的消息样本大小的对数,即使源分布是固定的。同样的界限也适用于密文的熵。如果秘密消息在加密之前已被压缩,则边界仍然有效。本文还说明了该下界仅给出了预共享秘密密钥的最小长度。当密码系统被多次使用时,这不再是每轮消耗的密钥部分的合理度量。相反,本文提出并证明了一种新的衡量关键消费率。预期的密钥消费和用于传送密文的信道使用的数量之间的基本权衡的存在。设计了最优和近最优安全码。
2012-07-08 cs.IT math.IT
Which Similarity-Sensitive Entropy (Sentropy)?
Department of Pathology, Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心病理学系);Department of Medicine, UCSF(加州大学旧金山分校医学系);Bakar Institute for Computational Health Sciences, UCSF(加州大学旧金山分校巴卡尔计算健康科学研究所);Center for Intelligent Imaging, UCSF(加州大学旧金山分校智能成像中心);Harvard Medical School(哈佛医学院)
本文探讨了在机器学习数据集中,除了香农熵外的相似性敏感熵(Sentropy)的应用,比较了LCR和VS两种方法的优劣,并提出在不同情况下应选择不同的方法。
2026-03-30 cs.IT cs.LG math.IT
Cooperative Multiple-Access Channels with Distributed State Information
本文研究了一种无记忆的状态相关多址接入信道(MAC),其中两个发射机希望在发射机处的信道状态信息(CSIT)和接收机处的信道状态信息(CSIR)具有因果关系和不完全性的假设下向接收机传送消息。为了强调物理上分布的节点之间的发射机合作的限制,我们专注于所谓的分布式CSIT假设,即每个发射机有其各自的信道知识,而消息可以被假设为部分或全部共享先验发射机之间通过利用一些板载存储器。在这种设置下,本文的第一部分描述了任意CSIT和CSIR结构的共同消息容量的信道在手。最优方案建立在香农策略上,即通过让信道输入仅是当前CSIT的函数来构造最优码。对于CSIT是CSIR的确定性函数的特殊情况,所考虑的方案也实现了一个公共消息和两个私有消息的容量区域。第二部分解决了一个重要的实例,以前的一般结果的上下文中的合作多天线高斯信道下i.i.d.在频分双工模式中操作的衰落,使得经由完美CSIR的显式反馈来获取CSIT。通过应用于高斯码的分布式线性预编码来实现当前信道的容量。令人惊讶的是,我们证明,它是次优的发送由发射天线的数量为界的数据流的数量,通常认为在一个集中的CSIT设置。最后,数值例子来评估的总和容量的二进制MAC与二进制状态,以及高斯MAC与i.i.d.衰落
2021-06-17 cs.IT math.IT
Secure Event-triggered MolecularvCommunication - Information Theoretic Perspective and Optimal Performance
Technical University of Munich(慕尼黑工业大学);Technische Universität Braunschweig(布伦瑞克工业大学)
本文从信息论角度研究了安全事件触发分子通信的最优性能,提出并分析了安全随机识别方法,推导了其容量公式以提升安全性和效率。
2025-12-18 cs.IT math.IT
An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning
元学习的目的是通过对来自多个相关任务的数据的观察来优化模型类或训练算法的超参数。在Baxter [1]的设置之后,假设任务属于相同的任务环境,该任务环境由任务空间上的分布和每个任务的数据分布定义。因此,任务环境的统计特性决定了任务的相似性。元学习器的目标是确保超参数在应用于从任务环境采样的新任务的训练时获得小的损失。由此产生的平均损失(称为元种群损失)与从相关任务中获得的可用数据测量的相应经验损失(称为元泛化差距)之间的差异是元学习者泛化能力的度量。在本文中,我们提出了新的信息理论界的平均绝对值的元泛化差距。与以前的工作不同[2],我们的边界明确地捕获了任务相关性,任务数量和每个任务的数据样本数量对元泛化差距的影响。任务相似性通过Kullback-Leibler(KL)和Jensen-Shannon(JS)分歧来衡量。我们以具有元学习偏差的岭回归为例说明了拟议的界限。
2021-05-08 cs.IT cs.LG eess.SP
Joint error correction enhancement of the fountain codes concept
像LT或Raptor码这样的喷泉码(也称为无比率擦除码)允许将消息编码为一定数量的数据包,使得这些数据包的任何足够大的子集都足以完全重建消息。它需要未损坏的数据包,而未丢失的数据包通常在实际场景中损坏。因此,通常需要额外的纠错层:为每个数据包添加一定程度的冗余,以便能够修复最终的损坏。这种方法需要每个数据包的最终损坏程度的先验知识-冗余不足会导致数据包丢失,过度保护意味着次优的信道速率。然而,发送者可能具有不准确的或甚至没有关于最终损坏级别的先验信息,例如在像广播、存储介质的劣化或图片水印的损坏的应用中。本文介绍了联合重构码(Joint Reconstruction Codes,JRC)的设置方法,该方法的目的是消除由于过度保护和丢弃保护不足的数据包而引起的对损伤程度和次优性的先验知识的需求。它是通过结合两个过程获得的:从多个数据包的重建和前向纠错。解码器根据它们的实际噪声水平组合所有接收到的分组的结果信息内容,该实际噪声水平可以针对每个分组单独地进行后验估计。假设二进制对称信道(BSC)的$ε$比特翻转概率,每个潜在损坏的比特携带$R_0(ε)=1-h_1(ε)$比特的信息,其中$h_1$是香农熵。完全重构消息的最低要求是所有比特上的速率$R_0(ε)$之和至少是消息的大小。我们将讨论用于重建目的的顺序解码,其统计行为可以使用Renyi熵来估计。
2015-08-18 cs.IT math.IT
Vendi Information Gain: An Alternative To Mutual Information For Science And Machine Learning
针对互信息难计算、对称且不考虑样本相似性的缺陷,提出基于Vendi分数的Vendi信息增益,它推广了互信息且仅需样本,可应用于主动数据获取、认知科学建模、流行病分析等场景。
2025-05-16 cs.IT math.IT
On Empirical Entropy
University of Amsterdam(阿姆斯特丹大学)
我们提出了一个基于压缩的版本的经验熵的有限字符串在有限的字母表。而以前考虑裸熵(可能更高阶)马尔可夫过程,我们考虑的总和的描述的随机变量加上熵,它诱导。我们仅假设所涉及的分布是可计算的。为了测试新的概念,我们比较了归一化信息距离(相似性度量)与香农框架中基于互信息的相关度量。这样,后两个概念的相似性和差异就暴露出来了。
2011-03-30 cs.IT cs.LG math.IT
Learning Semantics: An Opportunity for Effective 6G Communications
CEA-Leti;Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
最近,语义通信被设想为未来6G网络的关键使能器。回到香农的信息论,长期以来,通信的目标一直是保证正确接收传输的信息,而不管它们的含义。然而,一般来说,每当通信发生传达一个意思,重要的是接收者的理解所传输的信息,而不一定是正确的重建。因此,语义通信引入了一种新的范式:只传输足够的相关信息,接收器捕获的意图可以节省显着的通信带宽。因此,这项工作探索了语义通信为超越5G网络提供的机会。特别是,我们专注于语义压缩的好处。我们把语义信息称为从“意义”底层数据中学习到的一系列格式良好的符号,这些符号必须在接收者处进行解释。这需要一个推理单元,这里是人工的,在知识库上:一个特定应用的符号知识表示。因此,我们提出并详细介绍了一种新的架构,使有效的语义通信的语义符号的表示学习。我们首先讨论理论方面,并成功地设计目标函数,这有助于学习有效的语义编码器和解码器。最后,我们展示了文本传输场景的有希望的数值结果,特别是当发送者和接收者说不同的语言时。
2021-10-14 cs.AI cs.CL cs.IT
Interference Channels with Strong Secrecy
已知给定来自相同嵌套格码本的两个独立均匀分布的格点的实和,窃听者可以获得关于格点之一的值的每个信道至多1比特的信息。在这项工作中,我们研究了这1位信息对三种常用信息理论测量中表达的含糊度的影响,即,Shannon熵Renyi熵和最小熵然后,我们展示了它的应用程序中的干扰信道的机密消息。在我们以前的工作中,我们表明,嵌套格码可以优于高斯码在此信道下实现的速率与弱保密概念测量。在这里,与Renyi熵和最小熵测度,我们证明了同样的安全自由度是可以实现的强保密性的概念。新的编码方案的一个主要优点是,强保密性是从一个单一的格点,而不是一个序列的格点。因此,机密消息和窃听者的观察之间的互信息随着信道使用的数量的减少比先前已知的用于嵌套格码的强保密编码方法快得多。
2009-10-14 cs.IT math.IT
Common information revisited
信息论的主要概念之一是两个信息中的互信息(香农信息论中的两个随机变量或算法信息论中的两个二进制字符串)。$x$和$y$中的互信息测量如果发送方和接收方都预先知道$y$,则$x$的传输可以被简化多少。Gács和Körner给出了一个例子,其中互信息不能作为公共信息(可以从$x$和$y$中轻松提取的第三个信息)。在此基础上,An. Muchnik和A. Romashchenko发现了许多这种类型的其他例子。K.马卡雷切夫和于。Makarychev发现了一个新的证明Gács-Körner结果通过条件独立的随机变量。关于互信息和公共信息之间的差异的问题可以定量地研究:对于给定的$x$和$y$,我们寻找三个消息$a$、$b$、$c$,使得$a$和$c$足以重建$x$,而$b$和$c$足以重建$y$。在本文中:我们的状态和证明(使用产品空间的超压缩性)的Gács-Körner定理的一个定量版本;我们研究之间的权衡$\abs{a}, \abs{b}, \abs{c}$的随机对$(x, y)$,$x$和$y$之间的汉明距离是$\eps n$(我们的界限几乎是紧的);我们构造“最坏的可能”分布$(x, y)$之间的权衡$\abs{a}, \abs{b}, \abs{c}$。
2012-06-18 cs.DM cs.IT math.CO
The use of ideas of Information Theory for studying "language" and intelligence in ants
Siberian State University of Telecommunications and Informatics(西伯利亚国立电信与信息大学);Institute of Computational Technologies of Siberian Branch Russian Academy of Science(俄罗斯科学院西伯利亚分院计算技术研究所);Institute for Animal Systematics and Ecology, Siberian Branch RAS(俄罗斯科学院西伯利亚分院动物分类与生态研究所);Novosibirsk State University(新西伯利亚国立大学)
在这篇综述中,我们整合了长期的实验研究结果,蚂蚁的“语言”和智能,这是完全基于信息论的基本思想,如香农熵,柯尔莫哥洛夫复杂性,香农方程连接的长度的消息($l$)和它的频率$(p)$,即$l = - \log p$合理的通信系统。这是研究生物通讯系统的一种新方法,它使我们在蚂蚁的通讯和智力方面获得了以下重要结果:(1)揭示了蚂蚁的“远距离归巢”,即它们传递有关远距离事件的信息的能力;(2)估计了信息传递的速率;(3)揭示了蚂蚁能够掌握信息并利用它们来“压缩”信息; iv)揭示蚂蚁能够相互传递关于物体数量的信息; v)发现蚂蚁可以添加和减去小数字。结果表明,信息论不仅是一种奇妙的数学理论,而且它的许多结果可以看作是自然规律。
2009-12-23 cs.AI cs.IT math.IT
Information theory with finite vector spaces
而香农熵的增长率的多项式系数,我们表明,二次熵(Tsallis 2-熵)连接到他们的$q$ -变形;当$q$是一个素数的权力,这些$q$ -多项式系数计数标志的有限向量空间具有规定的长度和尺寸。特别地,$q$ -二项式系数计数给定维度的向量子空间。我们获得这种方式的组合解释的非可加性的二次熵,这是从递归计数的标志。我们表明,统计系统的配置所描述的旗帜提供了一个频率论的理由与Tsallis统计的最大熵原理。然后,我们介绍了一个离散时间随机过程相关联的$q$ -二项式概率分布,在时间$n$生成一个向量子空间的$\mathbb{F}_q^n$(这里$\mathbb{F}_q$是有限域的顺序$q$)。测度在某些“典型子空间”上的集中使我们能够将渐进均分性质扩展到这种设置。典型集的大小由二次熵量化。我们讨论应用香农理论,特别是信源编码,当消息对应于向量空间。
2020-03-25 cs.IT math-ph math.IT
On the Similarity between von Neumann Graph Entropy and Structural Information: Interpretation, Computation, and Applications
冯·诺依曼图熵是基于拉普拉斯谱的图复杂度的度量。它最近在网络数据驱动的各种学习任务中找到了应用。然而,它是计算要求高,很难解释使用简单的结构模式。由于Lapalcian谱和度序列之间的密切关系,我们推测,结构信息,定义为归一化度序列的香农熵,可能是一个很好的近似的冯诺依曼图熵,是可扩展的和可解释的。在这项工作中,我们从而研究之间的差异的结构信息和冯诺依曼图熵命名为{ \em熵差距}。基于度序列被Laplacian谱优化的知识,首次证明了任意无向赋权图的$0$和$\log_2 e$之间存在熵差.因此,我们证明,结构信息是一个很好的近似冯诺依曼图熵,同时实现可证明的准确性,可扩展性和可解释性。这种近似进一步应用到两个熵相关的任务:网络设计和图相似性度量,其中新的图相似性度量和快速算法被提出。我们在不同尺度和类型的图上的实验结果表明,非常小的熵差距很容易适用于广泛的图和加权图。作为冯诺依曼图熵的近似,结构信息是唯一一个实现高效率和高精度的突出方法。它至少比SLaQ快两个数量级,精度相当。我们的结构信息为基础的方法也表现出优越的性能在两个熵相关的任务。
2022-01-06 cs.IT cs.SI math.IT
Semantic Information Recovery in Wireless Networks
Gauss-Olbers Space Technology Transfer Center(高斯-奥尔伯斯空间技术转移中心);University of Bremen(不来梅大学)
本文将语义建模扩展至完整通信 Markov 链,提出端到端 Information Bottleneck 框架及基于 ML 的 SINFONY,用于分布式多点语义恢复,图像实验显示速率归一化 SNR 最高提升20 dB。
2023-06-12 cs.AI cs.IT cs.LG