Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Renmin University of China(中国人民大学)
通过将熵编解码器应用于学习的数据分布,神经压缩器在压缩比方面明显优于传统编解码器。然而,神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中,我们提出了整数只离散流(IODF),一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流,其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门,以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF,与现有最快的神经压缩器相比,实现了10倍的推理加速,同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
Lossless compression catalyst based on binary allocation via modular arithmetic
提出了一种基于模运算的二进制(比特级)无损压缩催化方法--也就是说,BAMA适用于二进制序列、数字信号、图像和视频的存储和传输,也适用于流媒体和各种数字传输。如前所述,我们的方法并不压缩,但有助于实际压缩器的动作,在我们的情况下,任何无损压缩算法(行程长度编码,Lempel-Ziv-Welch,Huffman,Arithmetic等),也就是说,它充当压缩催化剂。最后,这种催化剂允许显着提高二进制序列的压缩性能等。
2014-08-15 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv(LZ)算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息,Willems算法的动机,并证明了任何平稳过程的最优性。此外,我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进,并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);Ant Group(蚂蚁集团)
本文提出L3TC方法,利用RWKV骨干网络、异常值感知分词器和高秩重参数化策略,在保持压缩性能的同时实现低复杂度、快解码的学习型无损文本压缩。
2024-12-24 cs.AI cs.CL cs.IT
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University(ITMO大学)
本文提出基于链式神经预测器的概率估计架构,利用信息继承机制提升压缩效率,实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Test-Time Steering for Lossless Text Compression via Weighted Product of Experts
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);University of Michigan(密歇根大学)
针对传统通用压缩器压缩率低、神经压缩器泛化性差的问题,提出基于加权专家乘积的测试时引导框架,无需微调即可自适应结合两类模型,提升跨分布文本压缩性能。
2025-11-04 cs.AI cs.CL cs.IT
An Implementable Scheme for Universal Lossy Compression of Discrete Markov Sources
提出了一种新的离散信源有损压缩器。为了对源序列$x^n$进行编码,编码器通过向每个重构序列分配特定成本来开始。然后找到最小化此成本的重建,并通过通用无损压缩器将其有损地描述给解码器。序列的代价由其某阶经验概率$k+1$及其相对于源序列的失真的线性组合给出。经验计数矩阵中的成本的线性结构允许编码器采用Viterbi类算法来简单地获得最小化重建序列。我们确定了一个选择的系数的线性组合的成本函数,确保该算法普遍实现最佳率失真性能的任何马尔可夫源的限制大$n$,提供$k$增加为$o(\log n)$。
2009-01-18 cs.IT math.IT
Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression
该研究针对无损文本压缩的吞吐量瓶颈,首次引入扩散语言模型(DLM)替代自回归LLM,设计策略解决算法挑战,在enwik8数据集上推进了无损文本压缩的现有技术水平。
2026-08-13 cs.AI cs.CL cs.IT
Lossy compression of discrete sources via Viterbi algorithm
提出了一种新的离散信源有损压缩器。为了对序列$x^n$进行编码,编码器通过向每个可能的重构序列分配特定成本来开始。然后,它找到一个最小化这个成本,并通过一个通用的无损压缩器描述它的解码器。每个序列的成本是其与序列$x^n$的距离和其$k^{\rm th}$阶经验分布的线性函数的线性组合。成本函数的结构允许编码器采用维特比算法来恢复成本的最小值。我们确定了一个选择的系数,包括在成本函数中使用的经验分布的线性函数,确保该算法普遍实现最佳率失真性能的任何固定遍历源在大$n$的限制,只要$k$发散为$o(\log n)$。迭代技术近似的系数,这减轻了计算负担,找到最佳的系数,提出和研究。
2010-11-21 cs.IT math.IT
Sharp Second-Order Pointwise Asymptotics for Lossless Compression with Side Information
当相关边信息在编码器和解码器都可用时,确定任意无损压缩算法的最佳可实现性能的问题被检查。对于任意的源端信息对,条件信息密度示出为任意序列的压缩器实现的描述长度提供了一个尖锐的渐近下界。这意味着,对于遍历的源端信息对,条件熵率是该速率的最佳可实现的渐近下界,不仅在期望中,而且概率为1。在适当的混合条件下,证明了中心极限定理和重对数律,描述了二阶渐近最佳可能速率的不可避免的波动。一个理想化的版本Lempel-Ziv编码与边信息是普遍的第一和第二阶渐近最优,在相同的条件下。这些结果的一部分是基于一个新的几乎肯定的不变性原则的条件信息密度,这可能是独立的利益。
2020-05-21 cs.IT math.IT
Lossless Data Compression at Finite Blocklengths
本文对变长无损压缩中的最佳可达速率(以及其他相关的基本限制)的行为进行了广泛的研究。在非渐近制度中,固定到变量的无损压缩与前缀的约束和没有的基本限制被证明是紧密耦合。几个精确的,定量的界限推导出,连接的最佳codelestrant的源信息谱的分布,并给出了任意源的最佳可实现的速率的精确分析。精细的渐近结果证明任意(不一定前缀)压缩一般混合源。非渐近的,明确的高斯近似界建立的最佳可达速率的马尔可夫源。定义并表征了源色散和源变熵率。与熵率一起,变熵率用于紧密地近似固定到可变压缩的基本非渐近极限,除了非常小的块长度。
2012-12-11 cs.IT math.IT math.PR
New Uniform Bounds for Almost Lossless Analog Compression
Wu和Verdú开发了一种几乎无损的模拟压缩理论,其中一个对压缩器和解压缩器施加各种规则性条件,输入信号由(通常是无限熵)平稳随机过程建模。在这项工作中,我们考虑所有平稳随机过程的轨迹在一个规定的一组$\mathcal{S} \subset [0,1]^\mathbb{Z}$的(双)无穷序列,并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。
2019-06-18 cs.IT math.DS math.IT
Pushdown Compression
XML文档高效压缩方案的迫切需求最近集中在堆栈计算上[6,9],特别是要求制定信息无损堆栈或下推压缩器,允许对其性能进行正式分析,并在XML压缩中更雄心勃勃地使用堆栈,到目前为止,它主要与解析机制有关。在本文中,我们介绍了下推压缩器的模型,下推传感器计算一个单内射函数,同时保持最广泛的通用性,关于堆栈计算的基础上。著名的Lempel-Ziv算法LZ 78 [10]是作为一种通用压缩算法引入的,它在所有序列上都优于有限状态压缩器。我们比较的Lempel-Ziv算法的下推压缩器,或压缩算法,可以实现下推换能器的性能。这种比较是在没有任何先验假设的数据的来源,并考虑到无限序列的渐近压缩比。我们证明了Lempel-Ziv是不可比拟的下推压缩。
2007-09-17 cs.CC cs.IT math.IT
Synchronizing Probabilities in Model-Driven Lossless Compression
Analog Garage(模拟车库);Analog Devices, Inc.(亚德诺半导体)
本文提出PMATIC算法,通过同步概率缓解模型驱动压缩中的预测不匹配问题,实现更高效的压缩性能。
2026-03-07 cs.IT math.IT
Universal almost optimal compression and Slepian-Wolf coding in probabilistic polynomial time
在具有目标长度的无损压缩系统中,压缩器${\cal C}$将整数$m$和二进制串$x$映射到$m$位代码$p$,并且如果$m$足够大,则解压缩器${\cal D}$从$p$重构$x$.如果该重建成功,则我们将一对$(m,x)$称为$\textit{achievable}$,用于$({\cal C},{\cal D})$。我们通过以下普适性属性引入最佳压缩器${\cal C}_\text{opt}$的概念:对于任何压缩器-解压缩器对$({\cal C}, {\cal D})$,存在解压缩器${\cal D}'$,使得如果$(m,x)$对于$({\cal C},{\cal D})$是可实现的,则$(m+Δ, x)$对于$({\cal C}_\text{opt}, {\cal D}')$是可实现的,其中$Δ$是称为开销的某个小值。我们发现,存在一个最佳的压缩机,只有多对数开销和工作在概率多项式时间。坦率地说,对于任何一对$({\cal C}, {\cal D})$,无论${\cal C}$有多慢,或者即使${\cal C}$是不可计算的,${\cal C}_{\text{opt}}$都是一个固定的压缩器,它在多项式时间内产生的代码几乎与${\cal C}$的代码一样短。代价是相应的解压缩器更慢。我们还表明,每个这样的最佳压缩机可以用于分布式压缩,在这种情况下,它可以实现最佳的压缩率,在S…
2019-11-11 cs.IT math.IT
The 2026 Algorithmic Information Theory Data Compression Challenge
University of Aveiro(阿威罗大学);IEETA - Institute of Electronics and Informatics Engineering of Aveiro(阿威罗电子与信息技术研究所);LASI - Intelligent Systems Associate Laboratory(智能系统联合实验室);DoV - Department of Virology, University of Helsinki(赫尔辛基大学生物病毒学系)
提出2026年算法信息论数据压缩挑战赛,通过公共训练和隐藏测试数据集评估117个通用无损压缩器,发现性能强烈依赖优化标准,并验证了概率建模、隐藏测试和外部数据集的重要性。
2026-06-17 cs.DS cs.IT math.IT
Learned Wyner-Ziv Compressors Recover Binning
提出基于神经网络的数据驱动Wyner-Ziv压缩方法,首次观察到分箱结构从学习中涌现,并恢复线性解码行为。
2023-05-07 cs.IT eess.SP math.IT
Black-Box Statistical Prediction of Lossy Compression Ratios for Scientific Data
针对科学数据有损压缩比缺乏量化方法的问题,提出基于空间相关性和量化熵的统计预测框架,在6个数据集上对8种以上压缩器预测中位误差小于12%,并实现搜索加速。
2023-05-15 cs.DC cs.IT math.IT
A Universal 4D Model for Double-Efficient Lossless Data Compressions
本文讨论了一种用于8位字符的无损数据压缩和解压缩的组合模糊二进制与或(FBAR)算法的理论、模型、实现和性能。一个组合的成对标志被用作新的零/非零,不纯/纯位对运算符,其中它们的组合形成一个4D超立方体来压缩字节序列。压缩后的序列存储在一个固定大小的网格文件中。解压缩是通过在I/O数据转换期间使用固定大小的转换表(TT)来访问网格文件。与其他LDC算法相比,双效率(DE)熵表示50%的压缩与合理的比特率进行了观察。在代码中双重扩展TT组件的使用,通过其对LDCs > 87.5%压缩的熵的负增长表现出普适可预测性,对于扩展数据库和网络通信非常重要。该算法在加密、二进制、模糊和概率等信息论方法上都是新颖的。因此,信息理论家,计算机科学家和工程师可能会发现该算法对其逻辑和应用有用。
2012-02-12 cs.IT math.CO math.IT
Challenges and Solutions in Selecting Optimal Lossless Data Compression Algorithms
Department of Computer Science and Engineering(计算机科学与工程系);East West University(东西方大学);Bangladesh University of Business and Technology (BUBT)(孟加拉国商业技术大学)
本文提出整合压缩比、编码与解码时间的加权评分框架,以在多指标约束下客观选择最优无损压缩算法。
2025-09-23 cs.CV cs.IT math.IT
Neural Distributed Compressor Discovers Binning
针对Wyner-Ziv分布式有损压缩问题缺乏实用方案的现状,提出基于变分矢量量化的神经网络压缩方法,首次观测到分箱等最优理论原理从数据驱动学习中自发涌现。
2023-10-25 cs.IT eess.SP math.IT
Two-Dimensional Source Coding by Means of Subblock Enumeration
一种经由子串枚举(CSE)的无损压缩技术获得压缩比以及用于一维(1D)源的流行无损压缩器。CSE利用从输入源的圆形串构建的概率模型来对源进行编码,CSE通过将二维(2D)源的一行像素处理为扩展字母表的符号而适用于诸如图像的2D源。在CSE编码过程的初始步骤中,我们需要输出扩展字母表中所有符号的出现次数,因此当源的大小变大时,时间复杂度呈指数增长。为了降低时间复杂度,我们提出了一种新的CSE,它可以编码一个二维源在逐块,而不是逐行。所提出的CSE利用输入2D源的平坦环面作为用于编码源的概率模型,而不是源的圆形串。此外,我们分析了建议的CSE一般源的平均码字长度的限制。
2017-01-24 cs.IT math.IT
Language Modeling Is Compression
Google DeepMind(谷歌DeepMind);Meta AI;Inria(法国国家信息与自动化研究所)
本文通过压缩视角评估大型语言模型的预测能力,证明其作为通用压缩器的有效性,并利用预测-压缩等价性构建条件生成模型。
2024-03-18 cs.AI cs.CL cs.IT
The Sample Complexity of Lossless Data Compression
Statistical Laboratory, Centre for Mathematical Sciences, University of Cambridge(剑桥大学数学科学中心统计实验室)
提出非渐近框架研究无损压缩的基本极限,定义样本复杂度为在给定速率和超概率约束下所需的最小块长,证明无记忆源的样本复杂度由1/2阶Rényi熵决定,并推广至马尔可夫源和通用压缩。
2026-06-09 cs.IT math.IT math.ST
Frequency-Ordered Tokenization for Better Text Compression
基于频率顺序的标记化通过优化词汇表结构提升文本压缩效率,适用于多种压缩算法,显著提高压缩速度和效率。
2026-10-14 cs.CL cs.IT math.IT
Aperiodic Structures Never Collapse: Fibonacci Hierarchies for Lossless Compression
研究非周期层级在无损压缩中的优势,证明斐波那契准晶体铺砌避免了周期性层级的有限深度崩溃,提升字典复用效率。
2026-03-23 cs.IT math.CO math.DS
LLM-based Source Code Compression via Thresholded Symbol Ranking
University of Pisa(比萨大学);Scuola Superiore Sant’Anna(圣安娜高等学校)
研究基于大语言模型的源代码无损压缩问题,提出两种阈值符号排序变体,将预测限制在前\(T\)个排名,通过通用压缩器联合压缩阈值外符号。实验表明该方法在压缩率和吞吐量上优于此前方法,在压缩速度频谱中提供新权衡点。
2026-07-30 cs.CL cs.IT cs.LG
Universal Graph Compression: Stochastic Block Models
针对随机块模型图数据,本文通过二维变换与Krichevsky–Trofimov压缩器提出多项式时间的通用无损压缩方案,在四个基准数据集上显著优于现有算法。
2024-05-21 cs.DB cs.IT math.IT
RAGE for the Machine: Image Compression with Low-Cost Random Access for Embedded Applications
Aarhus University(奥胡斯大学)
RAGE是一种图像压缩框架,利用广义去重实现无损和有损压缩,支持像素级随机访问,在ARM平台上测试,压缩比与最先进无损压缩器相当,有损变体RAGE-Q在嵌入式图形中优于JPEG。
2024-02-07 cs.CV cs.GR cs.IT
Bit-Optimal Lempel-Ziv compression
Lempel和Ziv在40年前提出的无损数据压缩方案是最著名和研究最多的方案之一。这种压缩方案被称为“基于字典的压缩”,包括通过用(较短的)码字替换输入字符串的一些子串来压缩输入字符串,码字实际上是指向在处理字符串时构建的短语字典的指针。令人惊讶的是,尽管现在已知关于该压缩过程的速度和有效性的上限的许多基本结果以及其中的参考文献,但是“我们不知道当在对码字的任何约束下使用LZ 77字典时实现最优性的任何解析方案,而不是长度相等”[N]。Rajpoot和C.萨希纳尔普无损数据压缩手册,基于字典的数据压缩一章。中国科学出版社,2002年.页。159]。在这里,最优性意味着在压缩每个单独的输入字符串时实现最少的比特数,而不对其生成源做任何假设。在本文中,我们提供了第一个基于LZ的压缩机,计算任何输入字符串的位最优解析在有效的时间和最佳空间,一般类的可变长度码字编码,其中包括大多数通常用于数据压缩和搜索引擎和压缩索引的设计。
2008-02-06 cs.DS cs.IT math.IT
Nacrith: Neural Lossless Compression via Ensemble Context Modeling and High-Precision CDF Coding
Independent Researcher(独立研究者)
Nacrith通过集成上下文建模和高精度CDF编码,实现高效的神经无损压缩,优于现有方法并适用于任意二进制文件。
2026-02-24 cs.CL cs.IT math.IT
Bicriteria data compression
大规模数据集的出现(以及随之而来的高性能分布式存储系统的设计)重新点燃了科学和工程界对无损数据压缩器的设计的兴趣,这些压缩器可以实现有效的压缩比和非常有效的解压缩速度。Lempel-Ziv的LZ 77算法是这种情况下的实际选择,因为它的解压缩速度和它在解压缩速度与压缩空间效率之间的灵活性。现有的每种实现都在空间占用和解压缩速度之间进行权衡,因此软件工程师必须通过选择更接近其应用程序要求的实现来满足自己。从这些前提出发,并在文献中首次,我们在本文中解决的问题,交易最佳,并在一个原则性的方式,这两个资源的消耗,通过引入Bicriteria LZ 77-解析问题,这正式在一个原则性的方式什么数据压缩器传统上接近的方法,通过语法。我们的目标是确定一个LZ 77解析,它最大限度地减少压缩文件的位空间占用,前提是解压缩时间由一个固定的量限制(反之亦然)。通过这种方式,软件工程师可以设置其空间(或时间)要求,然后导出优化解压缩速度(或空间占用)的LZ 77解析。我们有效地解决了这个问题,在O(n log^2 n)的时间和最佳线性空间内的一个小的,添加剂的近似,通过证明和部署一些特定的结构性质的加权图来自可能的LZ 77-解析的输入文件。初步的实验表明,我们的新方案优于所有高度工程化的竞争对手,因此在理论和实践中提供了一个双赢的局面。
2013-07-15 cs.DS cs.IT math.IT
Micro-Diffusion Compression - Binary Tree Tweedie Denoising for Online Probability Estimation
Independent Researcher(独立研究者)
Midicoth通过微扩散去噪层和二叉树校准技术,改进在线概率估计,解决稀疏观察导致的分布平坦问题,提升压缩效率。
2026-03-12 cs.IT cs.LG math.IT
ROIX-Comp: Optimizing X-ray Computed Tomography Imaging Strategy for Data Reduction and Reconstruction
The University of Electro-Communications, RIKEN (R-CCS)(电子通信大学,RIKEN(R-CCS));Japan Synchrotron Radiation Research Institute(日本同步辐射研究中心);RIKEN SPring-8 Center(RIKEN SPring-8研究中心)
ROIX-Comp通过基于ROI的提取框架,结合无损和有损压缩技术,实现X-CT数据的高效压缩,压缩比提升达12.34倍。
2026-02-17 cs.CV cs.DC cs.IT
Partition and Code: learning how to compress graphs
Imperial College London(帝国理工学院);EPFL(洛桑联邦理工学院);Twitter(推特(Twitter)公司)
本文提出可学习的无损图压缩框架“Partition and Code”,通过分区、字典映射与熵编码三阶段以梯度下降联合训练,在理论上证明其压缩增益随顶点数线性或二次增长,并在真实网络数据上取得显著改进。
2021-11-03 cs.IT cs.LG cs.SI