Universal Compression of a Mixture of Parametric Sources with Side Information
本文研究了边信息对混合$K$参数源序列通用压缩的好处。混合源的输出序列是根据概率向量$\mathbf{w} = (w_1,\ldots,w_K)$从具有$d_i$维参数向量的源$i \in \{1,\ldots ,K\}$中随机选择的。当编码器和解码器具有由混合源独立生成的$T$序列的共同边信息时,导出了长度为$n$的新随机序列的通用压缩的平均极小极大冗余。关于分布$\mathbf{w}$和混合参数维度$\mathbf{d} = (d_1,\ldots,d_K)$的充分必要条件被确定,使得由先前序列提供的边信息导致与没有边信息的通用压缩相比平均码字长度的一阶项的减少。进一步证明了带边信息的最优压缩对应于混合源边信息序列的聚类。然后,提出了一种聚类技术,通过对混合源的数据序列进行分类来更好地利用边信息。最后,利用计算机模拟对实际网络数据轨迹进行了仿真,验证了聚类算法在带边信息的通用压缩算法上的性能。
2014-11-27 cs.IT math.IT
Secure Lossless Compression with Side Information
安全的数据压缩在合法的接收器和窃听者的边信息的存在进行了探讨。假设源和接收器之间的无噪声、有限速率链路,其输出可以被窃听者完全观察到。与窃听信道模型相反,在窃听信道模型中,可以通过利用信道中的噪声来建立安全通信,这里使用接收器处的边信息的存在。编码和未编码的边信息都被考虑。在编码边信息的情况下,给出了压缩模糊率区域的内界和外界。在未编码的边信息的情况下,在编码器处的合法接收器的和窃听者的边信息的可用性被考虑,并且压缩模糊率区域被表征为这些情况。结果表明,在编码器的边信息可以增加在窃听器的含糊率。因此,编码器处的边信息被示出为在安全性方面是有用的;这与纯无损数据压缩的情况形成对比,在纯无损数据压缩的情况下,编码器处的边信息将没有帮助。
2008-03-08 cs.IT math.IT
Importance Matching Lemma for Lossy Compression with Side Information
该研究对基于重要性采样的有损压缩方法做两项扩展,提出有序随机编码变体与重要性匹配引理,结合深度学习给出解码器带边信息的分布式有损压缩新方案,并通过多组实验验证其有效性。
2024-03-08 cs.IT math.IT
An Efficient Compression Method for Sign Information of DCT Coefficients via Sign Retrieval
针对DCT系数符号位等概率导致压缩困难的问题,提出基于相位检索的符号检索压缩方法,编码端省略AC分量符号位、解码端恢复,率失真性能优于现有技术,已开源Python实现。
2024-05-21 cs.IT math.IT
Information Compression in the AI Era: Recent Advances and Future Challenges
本文综述机器学习与数据压缩的新兴联系,梳理面向任务压缩、率失真-感知理论、深度学习压缩及LLM文本压缩等进展,并展望未来方向。
2024-06-14 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv(LZ)算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息,Willems算法的动机,并证明了任何平稳过程的最优性。此外,我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进,并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
Semantic Compression with Side Information: A Rate-Distortion Perspective
我们考虑面向任务的视频压缩的语义率失真问题。对应于任务的语义信息,这是不可观察的编码器,通过联合概率分布显示对观察的影响。在视频压缩中帧内片段和帧间片段之间的相似性被公式化为在编码器和解码器两者处可用的边信息。解码器感兴趣的是恢复的观察,并作出一定的失真约束下的语义信息的推断。我们建立了压缩率和失真之间的权衡充分表征率失真函数的信息理论的限制。我们进一步评估了三种情况下的特定马尔可夫条件下的率失真函数:i)任务和观察都是二进制源; ii)任务是一个整数观测的偶数和奇数的二进制分类; iii)高斯相关的任务和观察。我们还通过数值结果说明,恢复只有语义信息可以降低编码率相比,恢复源观察。
2022-08-12 cs.IT math.IT
Compression for Distributed Optimization and Timely Updates
本论文的目的是系统地研究分布式计算中的压缩问题。在论文的第一部分,我们研究了分布式一阶优化的梯度压缩。我们首先建立信息理论的下限优化精度时,只有有限的精度梯度。此外,我们开发了快速量化梯度压缩,当使用标准的一阶优化算法,匹配上述下限。在论文的第二部分中,我们研究了分布式优化算法的一个重要基础--分布式均值估计。我们开发了有效的估计,提高了国家的最先进的有效地利用边信息存在于中心。我们还重新审视了高斯率失真问题,并在边信息和无边信息设置中为这个问题开发了有效的量化器。最后,我们研究了信息物理系统中常见的由边缘设备向中心传输的符号的熵压缩问题。我们的目标是设计熵压缩方案,使信息以“及时”的方式传输,这反过来又使中心能够访问最新的信息进行计算。我们阐明了最佳熵压缩方案的结构,并使用这种结构,我们开发了有效的算法来计算这种最佳压缩方案。
2023-01-11 cs.IT math.IT
Information-Theoretic Limits on Compression of Semantic Information
针对 Bayesian network 描述的相关语义信源,本文推导其无损与有损压缩的信息论极限,并利用条件独立性提出低复杂度编码及边信息下的最优码结构。
2023-06-04 cs.IT math.IT
A Compression Algorithm Using Mis-aligned Side-information
我们研究的问题压缩源序列的存在下,边信息是相关的源通过插入,删除和替换。我们提出了一个简单的算法来压缩源序列时,边信息存在于编码器和解码器。该算法的一个关键属性是它分别对不同范围的运行中包含的编辑进行编码。对于小的插入和删除概率,该算法的压缩率是渐近最优的。
2012-02-04 cs.IT math.IT
Fundamental Limits of Lossless Data Compression with Side Information
考虑了边信息对编码器和解码器都可用的无损数据压缩问题。有限块长度的基本限制的最佳可实现的性能被定义,在两个不同版本的问题:基于参考的压缩,当一个单一的侧信息字符串被重复使用在压缩不同的源消息,和基于对的压缩,其中不同的侧信息字符串用于每个源消息。对于任意的源端信息对,建立了一般的可解性和逆定理。非渐近正态近似扩展证明了最佳速率在基于参考和基于对的设置,无记忆源。这些都是明确的,有限块长度的界限,这是紧到三阶项。扩展显着超出类的无记忆源获得。识别了相关源频散,并建立了其与条件变熵率的关系。有趣的是,基于参考和基于对的压缩中的色散是不同的,并且证明了基于参考的色散通常较小。
2021-02-21 cs.IT math.IT
Evaluating the Impact of Information Distortion on Normalized Compression Distance
在本文中,我们应用不同的技术信息失真的一套经典的英文书籍。我们研究的影响,这些失真后的柯尔莫哥洛夫复杂性和压缩技术(后者基于归一化压缩距离,NCD)的聚类。我们将展示如何降低所考虑的书籍的复杂性,在其中引入几个修改。我们测量如何包含在每本书中的信息是使用聚类误差测量维护。我们发现实验,保持聚类误差的最佳方法是通过修改最频繁的单词。我们解释这些信息失真的细节,我们比较与其他种类的修改,如随机字失真和不频繁的字失真。最后,从不同的经验结果,已经进行了一些唯象解释。
2008-05-09 cs.IT math.IT
A Lossless Compression Technique for the Downlink Control Information Message
本文提出基于transformer模型与Arithmetic coding的无损压缩方法,利用DCI消息的时空相关性,在单小区调度场景下比Huffman coding压缩比提升21.7%,有效提升5G控制平面容量与可靠性。
2024-07-23 cs.IT math.IT
Polar Decomposition of Mutual Information over Complex-Valued Channels
对于幅度和相位相互独立的输入,提出了复值信道输入和输出之间的互信息的极坐标分解。互信息被对称地分解为三个项:幅度项、相位项和交叉项,由此交叉项在高信噪比下可以忽略。对于高斯输入的加性高斯白噪声信道,导出了幅度项和相位项的理论界。这种分解,然后应用到最近提出的幅度相移键控与产品星座(产品APSK)的输入。从信息论的角度表明,使用积APSK的编码调制方案能够优于使用常规正交幅度调制(QAM)的编码调制方案,同时保持低复杂度。
2013-03-31 cs.IT math.IT
Single-shot lossy compression: mutual information bounds
California Institute of Technology(加州理工学院)
本文提出通过互信息上界来优化数据压缩,证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
Sharp Second-Order Pointwise Asymptotics for Lossless Compression with Side Information
当相关边信息在编码器和解码器都可用时,确定任意无损压缩算法的最佳可实现性能的问题被检查。对于任意的源端信息对,条件信息密度示出为任意序列的压缩器实现的描述长度提供了一个尖锐的渐近下界。这意味着,对于遍历的源端信息对,条件熵率是该速率的最佳可实现的渐近下界,不仅在期望中,而且概率为1。在适当的混合条件下,证明了中心极限定理和重对数律,描述了二阶渐近最佳可能速率的不可避免的波动。一个理想化的版本Lempel-Ziv编码与边信息是普遍的第一和第二阶渐近最优,在相同的条件下。这些结果的一部分是基于一个新的几乎肯定的不变性原则的条件信息密度,这可能是独立的利益。
2020-05-21 cs.IT math.IT
Improving The Scalability By Contact Information Compression In Routing
可扩展性和交付能力下降的存在导致了通过联系信息压缩来开发可扩展路由的发展。对DTN分层路由(DHR)的性能进行了一致性分析。它随着源到目的地距离的增加而增加,同时路由性能降低。本文重点研究了通过联系信息压缩算法来提高网络的可扩展性和传输能力,并提出了功率感知路由问题,以增加整个网络的生命周期。因此,实现联系信息压缩(CIC)算法的估计最短路径(ESP)的动态检测。多径多播将信息从源端同时发送到多个目标端,提高了可扩展性和可释放性
2013-11-14 cs.IT cs.NI math.IT
Compression and Quantitative Analysis of Buffer Map Message in P2P Streaming System
BM压缩是一种直接和可操作的方法,以减少缓冲区消息长度以及提高系统性能。本文深入讨论了各种压缩方案的原理和协议流程,并首次提出了一种新颖的压缩方案,该方案几乎可以去除缓冲区消息中的所有冗余信息。从信息论的角度推导了压缩率的理论极限。通过对UUSee的信息量分析和实验仿真,从压缩比的角度验证了该压缩方案的有效性和优越性。
2011-09-01 cs.IT cs.MM math.IT
Optimal Compression for Minimizing Classification Error Probability: an Information-Theoretic Approach
我们制定的约束下,压缩数据可以用于机器学习中的准确分类进行最佳数据压缩的问题。我们表明,这转化为一个问题,最小化数据和压缩版本之间的互信息的约束下的分类错误概率是小的,当使用压缩数据进行机器学习。然后,我们提供了分析和计算方法来表征数据压缩和分类错误概率之间的最佳权衡。首先,我们提供了一个分析表征的最佳压缩策略的数据与二进制标签。其次,对于具有多个标签的数据,我们制定了一组凸优化问题来表征最佳权衡,通过数值求解制定的优化问题,可以获得分类错误和压缩效率之间的最佳权衡。我们进一步展示了我们的配方在分类性能的信息瓶颈方法的改进。
2022-11-03 cs.IT eess.SP math.IT
Information flows of diverse autoencoders
Seoul National University(首尔国立大学);Korea Institute for Advanced Study(韩国高等研究院)
深度学习在各个领域的出色表现一直是一个基本的问题,可以使用信息论进行潜在的检查,该理论将学习过程解释为信息的传输和压缩。输入-隐藏-输出层之间的互信息的信息平面分析展示了拟合和压缩两个不同的学习阶段。压缩阶段是否有必要对从训练数据中提取的输入-输出关系进行概括是有争议的。在这项研究中,我们调查了这一点,通过实验与各种自动编码器和评估其信息处理阶段与一个准确的基于核的估计互信息。如果有足够的训练数据,vanilla自动编码器演示了压缩阶段,在对隐藏活动进行稀疏正则化后,压缩阶段被放大。然而,我们发现,压缩阶段并不普遍观察到不同种类的自编码器,包括变分自编码器,有特殊的约束网络权重或流形的隐藏空间。这些类型的自编码器表现出完美的泛化能力的测试数据,而不需要压缩阶段。因此,我们得出结论,压缩阶段是不必要的推广表示学习。
2021-07-16 cs.IT cs.LG math.IT
Centralised multi link measurement compression with side information
University of Tennessee at Knoxville(田纳西诺克斯维尔大学);Tata Institute of Fundamental Research(塔塔基础研究所)
本文提出带量子边信息的集中式多链路测量压缩问题,给出无需催化随机性的近最优一次性可达性界,并推广至渐近iid情形,核心工具是新颖的序贯经典量子多部分覆盖引理。
2026-09-17 cs.IT math.IT quant-ph
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy
Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);North Carolina State University(北卡罗来纳州立大学)
该研究基于$f$-差分隐私分析离散取值机制的隐私保障,提出三元随机压缩器利用压缩实现隐私放大,打破了联邦数据分析中隐私、通信与准确率的三方权衡,并探讨了其拜占庭容错性与联邦学习应用。
2024-02-01 cs.CR cs.IT cs.LG
A statistical-mechanical view on source coding: physical compression and data compression
我们在无记忆信息源的有损数据压缩(源编码)的经典信息理论问题与连接粒子链的特定模型的统计力学行为(例如,聚合物)受到收缩力的作用。与这种收缩有关的自由能差与模拟数据压缩模型中的率失真函数成比例,并且收缩力与该函数的导数成比例。除了这个类比本身可能很有趣的事实之外,它还可以提供关于有损数据压缩的最佳方案的行为的物理观点(也许还可以提供关于某些物理系统模型的信息论观点)。此外,它触发的有损压缩性能的系统与内存的推导,使用分析工具和统计力学的见解。
2010-11-15 cond-mat.stat-mech cs.IT math.IT
An Information-theoretic Framework for the Lossy Compression of Link Streams
Centre national de la recherche scientifique(法国国家科学研究中心);Laboratoire d’informatique de Paris 6(巴黎第六大学计算机实验室)
图压缩是一种数据分析技术,包括用更一般的结构模式替换图的部分,以减少其描述长度。它为研究真实的、大规模的和复杂的图形提供了有趣的探索工具,而这些图形是乍一看无法掌握的。本文提出了一个时间图压缩的框架,即压缩随时间演化的图。这个框架首先建立在一个简单的和有限的计划,利用结构等价的静态图的无损压缩,然后将其推广到有损压缩的链接流,最近的形式主义的时间图的研究。这种概括依赖于(二维)关系数据的自然扩展,通过添加第三个时间维度。此外,我们引入了一个信息理论的措施来量化和控制在压缩过程中丢失的信息,以及可能的压缩模式的空间的代数表征,以提高初始压缩方案的表现力。这些贡献导致定义的组合优化问题,即有损多流压缩问题,我们提供了一个精确的算法。
2018-07-18 cs.AI cs.DS cs.IT
The Bioelectrical Information Theory: Investigating the theoretical compression limit of bioelectrical signals under artificial intelligence
College of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室);Fudan University(复旦大学)
提出生物电压缩的三级层次框架,将压缩极限重构为模型和任务条件量,而非波形的固定属性。
2026-06-07 cs.AI cs.IT math.IT
Distributed compression through the lens of algorithmic information theory: a primer
分布式压缩是由多个参与方压缩相关数据的任务,每个参与方拥有一段数据并单独行动。经典的Slepian-Wolf定理(D. Slepian,J.K. Wolf,IEEE Transactions on Inf. Theory,1973)表明,如果数据是由来自联合分布的独立抽取生成的,即由无记忆随机过程生成的,则当各方一起行动时,分布式压缩可以实现与集中式压缩相同的压缩率。最近,作者(M。Zimand,STOC 2017)在数学信息论(也称为Kolmogorov复杂性)的框架中获得了Slepian-Wolf定理的模拟版本。与经典定理相比,AIT版本适用于单个字符串,没有任何关于生成过程的假设。唯一的要求是各方知道输入字符串的复杂性概况,这是数据相关性的简单定量度量。本文的目标是以一种可访问的形式呈现,省略了参考文献(M。Zimand,STOC 2017)。
2017-06-26 cs.CC cs.IT math.IT
Deep CSI Compression for Massive MIMO: A Self-information Model-driven Neural Network
为了充分发挥大规模多输入多输出(mMIMO)的优势,发射端准确获取信道状态信息(CSI)至关重要。已经提出了基于深度学习(DL)的方法用于CSI压缩和向发射机的反馈。尽管大多数现有的基于DL的方法将CSI矩阵视为图像,但在神经网络设计中很少利用CSI图像的结构特征。因此,我们提出了一个模型的自我信息,动态测量的信息量包含在每个补丁的CSI图像的结构特征的角度。然后,通过应用自信息模型,我们提出了一个模型和数据驱动的CSI压缩和反馈网络,即IdasNet。IdasNet包括自信息删除和选择(IDAS)模块、信息特征压缩(IFC)编码器和信息特征恢复(IFR)解码器的设计。具体地,IDAS的模型驱动模块通过去除自信息方面的信息冗余来预压缩CSI图像。IFC的编码器然后对预压缩的CSI图像进行特征压缩,并生成包含两个分量的特征码字,即,码字值和码字值的位置索引。随后,IFR解码器对码字值以及位置索引进行交织以恢复CSI图像。实验结果表明,该方法在不同压缩比下的性能明显优于现有的基于DL的网络,同时与现有的各种方法相比,网络参数的数量减少了几个数量级。
2022-04-25 cs.IT eess.SP math.IT
Information-Theoretic Understanding of Population Risk Improvement with Model Compression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
我们通过研究模型压缩下泛化误差的降低和经验风险的增加之间的权衡,证明了模型压缩可以提高预训练模型的群体风险。我们首先证明,模型压缩减少了信息理论界的泛化误差,这允许解释模型压缩作为一种正则化技术,以避免过度拟合。然后,我们用率失真理论描述了模型压缩的经验风险的增加。这些结果意味着,如果泛化误差的减少超过经验风险的增加,则模型压缩可以改善总体风险。我们通过一个线性回归的例子表明,由于模型压缩,这种人口风险的降低确实是可能的。我们的理论结果进一步表明,Hessian加权$K$ -均值聚类压缩方法可以通过正则化聚类中心之间的距离来改进。我们提供了神经网络的实验来支持我们的理论主张。
2019-01-27 cs.IT cs.LG math.IT
Sparse Multi-layer Image Approximation: Facial Image Compression
University of Geneva(日内瓦大学)
我们提出了一个方案,多层表示的图像。首先从信息理论的角度来处理这个问题,我们分析了多层数据压缩框架下不同信息源的行为,并将其与单级(浅)结构进行比较。然后,我们认为图像数据的信息源,并链接到视觉数据的多层字典学习的问题所提出的表示方案。对于目前的工作,我们专注于一类特殊的图像的图像压缩的问题,我们报告了相当大的性能提升方面的PSNR在高压缩比的JPEG 2000编解码器相比。
2015-06-12 cs.CV cs.IT math.IT
Entanglement-Assisted Quantum Data Compression
询问纠缠的可用性如何影响纯态集合的量子压缩,以及编码器可以访问边信息的设置。我们找到了最佳的渐近量子速率和量子和纠缠速率的最佳折衷(速率区域)。结果是量子速率超过舒马赫极限的量,即源的熵,正好是可以从源和副信息状态中提取的经典信息熵的一半,而不会对它们产生任何干扰(“经典信息的可逆提取”)。在编码器没有边信息的特殊情况下,或者她可以访问状态的身份,这个问题分别减少到盲和可见舒马赫压缩的已知设置,尽管这里另外有纠缠辅助。我们评论连接到以前的研究和进一步的速率权衡时,也被认为是经典的信息。
2019-01-18 cs.IT math.IT quant-ph
Learned Distributed Image Compression with Multi-Scale Patch Matching in Feature Domain
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));HUAWEI Technologies Co., Ltd.(华为技术有限公司);Peng Cheng Laboratory(鹏城实验室);Shenzhen University(深圳大学)
除了实现比经典图像压缩编解码器更高的压缩效率之外,深度图像压缩预计将利用附加的边信息来改进,例如,从同一场景的不同角度拍摄的另一张照片。为了更好地利用分布式压缩场景下的边信息,现有方法(Ayzik and Avidan 2020)仅在图像域实现补丁匹配,以解决由视点差异引起的视差问题。然而,图像域的块匹配对不同视角引起的尺度、形状和光照变化鲁棒性差,不能充分利用边信息图像丰富的纹理信息。为了解决这个问题,我们提出了多尺度特征域补丁匹配(MSFRENT),充分利用边信息在分布式图像压缩模型的解码器。具体地说,MSFNN由边信息特征提取器、多尺度特征域块匹配模块和多尺度特征融合网络组成。此外,我们重新利用浅层的区块间相关性来加速深层的区块匹配。最后,我们发现,与图像域的补丁匹配方法相比,我们在多尺度特征域中的补丁匹配进一步提高了约20%的压缩率(Ayzik和Avidan 2020)。
2022-11-28 cs.CV cs.IT math.IT
Fisher Information and Logarithmic Sobolev Inequality for Matrix Valued Functions
利用非交换几何的工具证明了紧致黎曼流形上从属次拉普拉斯算子的Talagrand集中不等式的一个版本。作为应用,受量子信息论的启发,我们证明了有限维矩阵代数上满足张量稳定的修正对数Sobolev不等式的自伴生成元的集合是稠密的.
2018-07-23 cs.IT math.FA math.IT
Learning to Compress: Local Rank and Information Compression in Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学)
本文研究深度多层感知机(MLPs)中特征流形的局部秩,证明其在训练后期下降,并揭示了降低表示秩能压缩输入与中间层互信息,从而在特征流形秩与信息瓶颈(IB)理论间建立联系。
2024-10-10 cs.IT cs.LG math.IT
Non-Asymptotic Classical Data Compression with Quantum Side Information
在本文中,我们分析了经典的数据压缩与量子边信息(也被称为经典量子Slepian-Wolf协议)在所谓的大偏差和中等偏差制度。在非渐近设置中,该协议涉及压缩有限长度的经典序列$n$,并在量子边信息的帮助下对其进行解码。在大偏差制度,压缩率是固定的,我们得到的误差指数函数,其特征在于作为一个函数的速率的错误的最小概率上的界限。Devetak和Winter表明,该协议的渐近数据压缩极限由条件熵给出。对于任何协议的速率低于这个数量,错误的概率渐近收敛到1,其收敛速度是由强逆指数函数。我们得到了这个函数的有限块长界,并精确地确定了它的渐近值。在压缩率的中等偏差范围内,后者不再被认为是固定的。允许它依赖于块长度$n$,但假设它缓慢衰减到渐近数据压缩极限。从这个限制以上的速率开始,我们确定收敛速度的误差概率为零,并表明它是在条件信息方差。我们的研究结果补充了Tomamichel和Hayashi的早期结果,他们分析了该协议的所谓小偏差机制。
2018-03-26 cs.IT math.IT quant-ph
Quantum Probability as an Application of Data Compression Principles
量子力学的现实主义的、非坍缩的解释,如埃弗雷特的,面临着概率问题:如何从波函数单独证明范数平方(玻恩)规则。虽然任何基无关的测度只能是范数平方(由于格里森-布施定理),但这一事实与各种流行的、非波函数为基础的现象学测度(如观察者、结果或世界计数)相冲突,这些测度经常被埃弗雷特学派要求。然而,这些替代方案与埃弗雷特的方法所依赖的波函数现实主义相冲突,这似乎需要一个客观的,仅基于波函数振幅的独立测量。然而,量子概率相互破坏性干扰的能力,使得我们很难看到概率如何以直观吸引人的方式仅从振幅导出。我认为使用算法概率可以解决这个问题,因为波函数现实主义所要求的客观的、单一情况的概率测度正是算法信息论的设计目的。其结果是一个直观的帐户的复值振幅,在一个最佳的有损数据压缩的系数,使算法的信息内容(熵增量)的变化与现象的转变。
2016-06-22 cs.IT math.IT quant-ph
Information cohomology of classical vector-valued observables
我们在这里提供了一个新的代数表征的两个信息措施与向量值随机变量,其微分熵和基本空间的维数,纯粹基于其递归性质(链规则和零秩定理,分别)。更确切地说,我们计算博多和Bennequin的信息上同调系数在一个模块的连续概率泛函的一个类别,混合离散可观测量和连续向量值可观测量,完全表征1-上循环;连续的法律评估,这些上循环是线性组合的微分熵和维数。
2021-07-09 cs.IT math.CT math.IT
Self-information Domain-based Neural CSI Compression with Feature Coupling
针对CSI压缩中忽略信息量度量的问题,提出基于自信息域的特征耦合网络SD-CsiNet,在压缩比1/8和1/16下分别取得7.17 dB和3.68 dB的性能提升。
2023-04-30 cs.IT cs.LG eess.SP
Entropy, neutro-entropy and anti-entropy for neutrosophic information
Tarom Information Technology(塔罗姆信息技术公司)
这种方法提出了一个多值的表示的语义信息。它突出了双模糊信息和模糊信息之间的联系。所构造的十值结构体现了语义信息的复杂性。这种十值结构导致了两个新的概念的构造的哲学信息:熵和反熵。这两个概念是在现有的两个概念:熵和非熵的基础上增加的。因此,我们得到了以下三元组:熵、正熵和反熵。
2017-06-18 cs.AI cs.IT math.IT
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University(ITMO大学)
本文提出基于链式神经预测器的概率估计架构,利用信息继承机制提升压缩效率,实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Source Compression with a Quantum Helper
我们研究了具有量子边信息的经典信源编码,其中量子边信息由辅助者观察并通过经典信道发送到解码器。我们推导出一个单字母表征的可实现的速率区域这个问题。结果的直接部分由Winter的测量压缩理论证明。我们的结果表明,一个助手的计划,分别进行测量和压缩是次优的,测量压缩是从根本上需要实现最佳速率区域。
2015-01-18 cs.IT math.IT quant-ph
Robust Distributed Compression with Learned Heegard-Berger Scheme
本文针对Heegard-Berger问题提出基于学习的分布式压缩方案,使神经压缩器能根据边信息可用性自适应地模拟点对点与Wyner-Ziv编码策略,并接近信息论界限。
2024-05-06 cs.IT eess.SP math.IT
A conditional compression distance that unveils insights of the genomic evolution
我们描述了一个基于压缩的距离基因组序列。它不像经典的归一化压缩距离(NCD)那样使用通常的联合信息内容,而是使用条件信息内容。为了计算这个归一化条件压缩距离(NCCD),我们需要一个正常的条件压缩器,我们使用静态和动态有限上下文模型的混合构建。使用这种方法,我们测量了人科灵长类动物之间的染色体距离,也Muroidea(大鼠和小鼠),观察到一些见解的进化,到目前为止还没有在文献中报道。
2014-01-16 cs.IT math.IT q-bio.GN
Data compression limit for an information source of interacting qubits
一个相互作用的量子比特系统可以被看作是一个非独立的量子信息源。量子自旋系统提供了一个可能的模型,其中自旋为1/2的粒子位于晶格的位置,彼此相互作用。我们建立了这样一个源的信息压缩的限制,并表明它是渐近的冯诺伊曼熵率。我们的结果可以看作是Shannon的无噪声编码定理的一个量子模拟。量子信息源。
2002-08-09 cs.IT math-ph math.IT
Equivalence of three classical algorithms with quantum side information: Privacy amplification, error correction, and data compression
隐私放大(PA)是经典密码和量子密码中不可或缺的组成部分。纠错和数据压缩算法在经典和量子信息理论中也是必不可少的。我们在这里研究这三种算法(PA,EC和DC)在量子边信息的存在下,并表明它们在一次性场景中都是等价的。作为这个等价性的一个应用,我们把以前已知的PA的安全界,并将它们转化为EC和DC的编码定理,这是以前没有得到的。进一步,我们应用这些结果简化和改进了我们以前的结果,即量子密钥分发(QKD)的安全性证明的两种流行的方法是等价的。我们还提出了一种新的方法来简化QKD的安全性证明。
2021-11-05 cs.IT math.IT quant-ph
Generative Diffusion Model-based Compression of MIMO CSI
The University of Texas at Austin(德克萨斯大学奥斯汀分校);InterDigital Communications(InterDigital通信公司)
针对MIMO通信中结合边信息的CSI压缩任务,提出一种基于后向扩散过程的解码框架,采用可训练码本进行固定速率编码,实验证明其在特定场景下以不到一半的数据速率实现相当失真,性能提升超两倍。
2025-02-07 cs.AI cs.IT eess.SP
MINT: Deep Network Compression via Mutual Information-based Neuron Trimming
EECS University of Michigan(密歇根大学EECS学院);CSE University of Maine(缅因大学计算机科学与工程学院)
大多数通过修剪进行深度神经网络压缩的方法要么使用过滤器的权重来评估过滤器的重要性,要么使用稀疏约束来优化替代目标函数。虽然这些方法提供了一种有用的方法来近似类似过滤器的贡献,但它们通常忽略层之间的依赖关系,或者解决比标准交叉熵更困难的优化目标。我们的方法,互信息为基础的神经元修剪(MINT),通过加强稀疏性的基础上相邻层的过滤器之间的关系的强度,跨每一对层,通过修剪接近深度压缩。该关系使用条件几何互信息来计算,该条件几何互信息使用基于图形的标准来评估过滤器之间交换的相似信息的量。在修剪网络时,我们确保保留的过滤器将大部分信息贡献给后续层,从而确保高性能。我们的新方法优于现有的国家的最先进的压缩通过修剪方法的标准基准为这项任务:MNIST,CIFAR-10,ILSVRC 2012,在各种网络架构。此外,我们还讨论了我们的修剪方法对对抗攻击的响应和与原始网络相比的校准统计数据之间的共同点。
2020-03-18 cs.CV cs.IT cs.LG
Approximating Human-Like Few-shot Learning with GPT-based Compression
University of Waterloo(滑铁卢大学)
该研究将学习视为信息压缩,用GPT逼近Kolmogorov复杂度与信息距离,并在enwik9及多项NLP任务上验证其压缩和少样本学习效果。
2023-08-14 cs.AI cs.CL cs.IT
AlphaZip: Neural Network-Enhanced Lossless Text Compression
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
本文提出一种基于LLM的无损文本压缩方法AlphaZip,通过transformer块预测并结合标准压缩算法处理预测排名,实验证明其性能优于传统信息论基线。
2024-09-23 cs.AI cs.IT cs.LG
An Information-Theoretic Justification for Model Pruning
Stanford University(斯坦福大学);Hongik University(弘益大学)
本文从率失真理论的角度研究了神经网络的压缩问题,考察了压缩比与神经网络性能之间的矛盾。我们选择一个失真度量,反映了NN压缩对模型输出的影响,并得出率(压缩)和失真之间的权衡。除了表征NN压缩的理论极限之外,该公式还表明,\emph{pruning}(隐式或显式)必须是良好压缩算法的一部分。这一观察弥合了有关NN和数据压缩的文献部分之间的差距,分别提供洞察模型修剪的经验成功。最后,我们提出了一种新的修剪策略,该策略来自我们的信息理论公式,并表明它在CIFAR-10和ImageNet数据集上的性能优于相关基线。
2022-02-09 cs.IT cs.LG eess.SP
Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究学院)
本文提出InfoPrune框架,通过信息论驱动的自适应结构压缩方法,在保持性能的同时显著提升视觉语言模型的效率。
2025-11-24 cs.AI cs.CV cs.IT
Decentralized Uplink Adaptive Compression for Cell-Free MIMO with Limited Fronthaul
针对前传容量受限的无蜂窝MIMO上行压缩问题,提出基于速率的自适应压缩方法,可动态调整维度与压缩参数,通过解耦容量表达式实现低开销分布式部署,性能接近集中式方案。
2025-06-12 cs.IT cs.NI cs.SY