LLM-based Source Code Compression via Thresholded Symbol Ranking
University of Pisa（比萨大学）；Scuola Superiore Sant’Anna（圣安娜高等学校）
研究基于大语言模型的源代码无损压缩问题，提出两种阈值符号排序变体，将预测限制在前\(T\)个排名，通过通用压缩器联合压缩阈值外符号。实验表明该方法在压缩率和吞吐量上优于此前方法，在压缩速度频谱中提供新权衡点。
2026-07-30 cs.CL cs.IT cs.LG
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中，我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的（如Slepian-Wolf设置中那样）。相反，这两个序列是相关的，因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念，其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时，解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明，通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时，足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
Universal Lossless Compression with Unknown Alphabets - The Average Case
独立同分布序列模式的通用压缩研究具有未知的、可能较大的字母表的源。模式是一个索引序列，它包含所有连续的索引，这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的，则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。它表明，如果字母表的大小$k$基本上是小的，那么平均极大极小和极大极小冗余以及几乎每个源的每个码的冗余，当压缩模式时，由每个未知概率参数至少0.5 log（n/k^3）比特组成，并且如果所有字母表字母都可能出现，存在这样的码，其冗余度对于每个未知概率参数至多为0.5log（n/k^2）比特，其中n是数据序列的长度。否则，如果字母表很大，则这些冗余基本上是每个符号至少O（n^{-2/3}）比特，并且存在实现每个符号基本上O（n^{-1/2}）比特的冗余的代码。提出了两种次优的低复杂度的模式压缩顺序算法，并分析了它们的描述长度，指出模式的平均通用描述长度可以减小到低于I.I.D.足够大的字母表的熵。
2006-03-17 cs.IT math.IT
Combinatorial Entropy Encoding
本文提出了一种新的熵编码技术用于无损数据压缩。通过其符号排列中的词典索引来表示消息字符串会导致与消息的香农熵匹配的压缩版本。商业数据压缩标准在压缩过程的某个阶段使用霍夫曼或算术编码。在所提出的方法中，像算术编码一样，整个字符串被映射到整数，但不是基于分数。与算术和霍夫曼编码不同，不需要源的先验熵模型。提出了一种基于多项式系数的简单直观的熵编码算法，该算法采用较低的比特数对较频繁的符号进行编码。通过实例验证了算法的正确性。
2017-03-23 cs.IT math.IT
Symbol-wise Puncturing for HARQ Integration with Probabilistic Amplitude Shaping
在这封信中，我们提出了一个符号式打孔方案，以支持混合自动重传请求（HARQ）集成概率幅度整形（PAS）。为了防止传统的顺序打孔造成的概率分布失真，实现PAS的承诺的增益，我们执行符号的标签序列的形状的调制符号进行打孔。我们的仿真结果表明，所提出的打孔方案实现了稳定的成形增益在整个信号噪声比至少为0.6 dB相比，在相同的吞吐量下的均匀的情况下，而顺序打孔的增益迅速下降与重传。此外，在每次传输中，所提出的方案能够减少分布失真，在${10^{-3}}$的出错率（BLER）下实现超过1.2 dB的增益。相比之下，对于顺序打孔，分布严重失真，并且在重传中的BLER性能甚至比均匀情况下的更差。
2022-07-23 cs.IT math.IT
Multihead Finite-State Compression
Swarthmore College（斯沃斯莫尔学院）
本文提出多头有限状态压缩模型，并证明 h 头信息无损压缩器的最优压缩比下确界等于序列的 h 头有限状态预维数，从而刻画其多头有限状态维数。
2025-10-20 cs.FL cs.IT math.IT
Asymmetrical two-level scalar quantizer with extended Huffman coding for compression of Laplacian source
本文提出了一种新的扩展霍夫曼编码的两级标量量化器模型。它被设计为使平均比特率尽可能接近源熵，前提是信号量化噪声比（SQNR）值从最佳SQNR值减小不超过1dB。假设对称拉普拉斯概率密度函数的表示水平的不对称性，得到表示水平的不相等概率，即，为进一步实现无损压缩技术提供了适当的基础。在本文中，我们关注的扩展霍夫曼编码技术，提供了最短的码字长度的两个或两个以上的符号块。对于建议的量化器与扩展霍夫曼编码的平均比特率的源熵的收敛检查的情况下，2至5个符号块。结果表明，更高的SQNR是由建议的非对称量化器与扩展霍夫曼编码相比，对称量化器与扩展霍夫曼编码具有相同的平均比特率。
2012-12-20 cs.IT math.IT
Accelerating Lossless Data Compression with GPUs
Huffman压缩是一种统计的、无损的数据压缩算法，它通过给符号分配可变长度的代码来压缩数据，频繁出现的符号被赋予比较少出现的符号更短的代码。这项工作是Huffman算法的一个修改，它允许未压缩的数据被分解成独立的可压缩和可解压缩的块，允许在多个处理器上并行压缩和解压缩。我们使用CUDA API在当前NVIDIA GPU上以及在当前Intel芯片上创建此修改后的算法的实现，并对性能结果进行比较，几乎所有测试都显示出良好的GPU性能。最后，我们讨论了高性能数据压缩在当今的超级计算生态系统的必要性。
2011-06-21 cs.GR cs.IT cs.PF
Compression of enumerations and gain
该研究在柯尔莫哥洛夫复杂度框架下探讨枚举的可压缩性，证明任意c.e.集存在强压缩与无弱增益压缩，并将c.e.集的前缀复杂度密度问题归约为其良好可压缩性问题，通过枚举博弈开展研究。
2025-06-17 cs.CL cs.IT math.IT
Combining non-stationary prediction, optimization and mixing for data compression
本文提出了一种非平稳二元序列的建模方法，预测即将到来的符号的概率。在研究了预测模型之后，我们在两个非人工测试案例中评估了其性能。首先，该模型进行了比较，拉普拉斯和Krichevsky-Trofimov估计。其次，提出了一种压缩Burrows-Wheeler变换输出的统计集成模型，并对其进行了评价。提出了一种系统的个体模式和集合模式参数优化方法。
2013-02-12 cs.IT math.IT
Entropy estimation of symbol sequences
我们讨论的算法估计的Shannon熵h的有限符号序列与长程相关。特别是，我们考虑根据某些压缩算法产生的代码长度来估计h的算法。我们的兴趣是在描述他们的收敛与序列长度，假设没有限制的空间和时间复杂性的压缩算法。提出了一个标度律外推从有限的样本长度。这是适用于序列的动力系统在非平凡的混沌制度，1-D元胞自动机，并书面英语文本。
2002-03-21 cond-mat.stat-mech cs.CL cs.IT
Hybrid MAP and PIC Detection for OTFS Modulation
正交时频空间（OTFS）调制由于其在高移动性场景中提供可靠通信的巨大潜力，最近引起了大量关注。本文提出了一种新的OTFS调制混合信号检测算法。通过刻画OTFS调制的输入输出关系，推导出OTFS调制的近似最优符号级最大后验概率（MAP）检测算法，其目的是根据相应的相关接收符号提取每个发送符号的信息。此外，为了降低检测的复杂度，我们提出了一个分区规则，相关的接收符号分为两个子集检测每个发送的符号，根据相应的路径增益。然后，我们引入了一种混合检测算法，利用每个子集的功率差异，其中MAP检测应用于具有较大信道增益的子集，而并行干扰消除（PIC）检测应用于具有较小信道增益的子集。仿真结果表明，所提算法不仅能逼近符号级MAP算法的性能，而且与现有算法相比，性能有较大提高。
2020-10-25 cs.IT math.IT
Greedy Adaptive Compression in Signal-Plus-Noise Models
本文的目的是研究贪婪的自适应测量政策的上下文中的线性高斯测量模型的优化标准的基础上的信息增益。在连续标量测量的特殊情况下，我们提供了充分的条件下，贪婪的政策实际上是最佳的意义上最大化的净信息增益。在一般情况下，我们还讨论了贪婪策略不是最优的情况。
2012-08-17 cs.IT math.IT
Results on the Fundamental Gain of Memory-Assisted Universal Source Coding
许多应用需要对具有有限大小的各个数据片段执行数据处理，例如，云存储单元中的文件和数据网中的分组。然而，传统的通用压缩解决方案在有限长度的序列上表现不佳。最近，我们提出了一个框架，称为内存辅助的通用压缩，持有一个显着的承诺，从有限长度的序列减少冗余数据量。所提出的压缩方案是基于这样的观察，即可以在一些中间实体处学习源统计（通过记忆来自源的先前序列），然后利用所记忆的上下文来减少有限长度序列的通用压缩的冗余。我们首先提出了一个单一的参数源的建议的记忆辅助通用信源编码的基本增益超过传统的通用压缩（无记忆）。然后，我们扩展和调查的好处的记忆辅助通用信源编码的数据序列时，产生的复合源，这是一个混合的参数源。我们进一步开发了一种聚类技术内的内存辅助压缩框架，以更好地利用内存的参数源的混合物中的观察到的数据序列进行分类。最后，我们证明，通过计算机模拟，建议的联合记忆和聚类技术可以实现6倍的改进，比传统的通用压缩技术时，混合的非二进制马尔可夫源被认为是。
2012-05-19 cs.IT math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
Interference Alignment (IA) and Coordinated Multi-Point (CoMP) with IEEE802.11ac feedback compression: testbed results
我们已经实现了干扰对齐（IA）和联合传输协调多点（CoMP）的无线测试平台上使用新的802.11ac标准的反馈压缩方案。作为频域粒度的函数的性能进行评估。通过用十种不同的编码和调制方案探测每个空间调制流来获得现实的吞吐量增益。在稳态条件下，IA和CoMP在TDMA MIMO上的增益分别为26%和71%。在我们密集的室内办公室部署中，反馈的频域粒度可以降低到每8个子载波（2.5MHz），而不会牺牲性能。
2014-02-19 cs.IT math.IT
Optimal alphabet for single text compression
Alikhanyan National Laboratory (Yerevan Physics Institute)（阿里哈尼扬国家实验室（埃里温物理研究所））；Envoy Media Group（Envoy传媒集团）
使用来自给定字母表的符号书写的文本可以使用霍夫曼代码压缩，这最小化了编码文本的长度。然而，有必要采用文本特定的码本，即符号-码字字典来解码原始文本。因此，压缩性能应该通过完整的码长来评估，即编码文本的长度加上码本的长度。我们研究了几种用于压缩文本的字母表--字母、字母的n-gram、音节、单词和短语。如果只保留足够短的文本，则字母表或两克字母是最佳的。对于大多数古腾堡计划文本，最佳字母表（最小化完整代码长度的字母表）由音节或单词给出，这取决于码本的表示。字母3和4-gram的平均长度与音节/单词相当，表现明显不如音节或单词。单词2-grams也从来都不是最好的字母表，因为它有一个非常大的密码本。我们还表明，码本表示是重要的-从一个天真的表示切换到一个紧凑的显着改善了大量的符号，最显着的话，字母表的事项。因此，语言中表达意义的元素（音节或单词）提供了最好的压缩字母表。
2022-07-31 cs.CL cs.IT math.IT
Entropy Polarization-Based Data Compression Without Frozen Set Construction
本文提出一种免冻结集构造的极化压缩方案，通过基于解码器行为最优选择输出符号，提升灵活性并显著改善压缩率，数值实验验证其优于现有方法。
2025-01-22 cs.IT eess.SP math.IT
Haiku to Opus in Just 10 bits: LLMs Unlock Large Compression Gains
Harvard University（哈佛大学）；University of Cambridge（剑桥大学）；Anthropic
研究LLM生成文本的无损和有损压缩，提出问答压缩（QA）交互协议，用少量二进制问题实现超100倍压缩比，高效传递知识。
2026-06-16 cs.AI cs.IT cs.LG
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
Compression Performance Analysis of Different File Formats
该研究针对不同文件格式压缩性能差异的问题，基于22种格式、约178GB的数据开展Zlib算法压缩对比实验，明确不同类型文件的压缩增益差异，为后续按需选择压缩策略实现收益最大化提供依据。
2023-07-08 cs.IT cs.OH math.IT
Local Decode and Update for Big Data Compression
本文研究同时允许局部解码和局部更新的数据压缩。主要结果是一个通用的压缩方案，无记忆源具有以下特点。可以使速率任意地接近底层源的熵，可以通过探测或修改在片段的大小上平均线性的码字比特的数量来恢复或更新源的连续片段，并且总体编码和解码复杂度在源的块长度上是准线性的。具体地，可以通过探测或修改恒定数量的码字比特来执行单个消息符号的本地解码或更新。这后一部分改善了以前最知名的结果，本地解码或更新效率随块长度的增长而增长。
2019-10-14 cs.DS cs.IT math.IT
Lossless Data Compression with Error Detection using Cantor Set
2009年，一种基于一维混沌映射的无损压缩算法被提出，称为广义Luröth级数（或GLS）。该算法（GLS编码）将输入信息编码为一个适当的一维混沌映射（GLS）上的符号序列，并通过在映射上向后迭代获得压缩文件作为初始值。对于各态历经的源，它表明，GLS编码实现了最好的可能的无损压缩（在无噪声设置）的香农熵的限制。然而，在存在噪声的情况下，由于对初始值的敏感依赖性，即使压缩文件中的小错误也会导致灾难性的解码错误。本文首先证明了重复码$\mathcal{R}_n$（每个符号重复$n$次，其中$n$为正奇数），是文献中最古老、最基本的纠错码和检错码，实际上位于一个Cantor集上，其分形维数为$\frac{1}{n}$，也就是码的码率.受此启发，我们将错误检测能力的GLS编码，确保压缩文件（在地图上的初始值）在于康托集的措施零。即使初始值中的1位错误也会将其抛出到解码时可以检测到的康托集之外。错误检测性能（以及码的速率）可以通过康托集的分形维数来控制，并且可以根据通信信道的噪声水平来适当地调整。
2013-08-10 cs.IT math.IT nlin.CD
Entropy Conserving Binarization Scheme for Video and Image Compression
本文提出了一种二进制化方案，将非二进制数据转换为一组二进制字符串。目前，有许多二值化算法，但它们仅适用于数据源的特定概率分布。克服了这个问题，本文表明，所提出的二值化方案保存的原始数据的熵具有任何概率分布的$m$ -ary源。该方案的主要优点是在不知道信源和信源符号概率分布的情况下保持了熵。该方案的复杂度与输入数据的长度成线性关系。二进制化方案可以在用于视频和图像压缩的基于上下文的自适应二进制算术编码（CABAC）中实现。它还可以被各种通用的数据压缩算法利用，这些算法在压缩非二进制数据时具有高复杂度，并且还可以被二进制数据压缩算法利用来最佳地压缩非二进制数据。
2014-08-13 cs.IT cs.MM math.IT
A New Technique for Text Data Compression
在本文中，我们使用三进制表示的数字压缩文本数据。我们使用一个二进制映射的三进制数字，并介绍了一种方法来使用二进制11对，这从来没有被用于编码数据之前，我们进一步使用4位数的三进制表示的字母表与和与一些额外的符号，是最常用的日常生活。我们找到了一种方法来最大限度地减少位串的长度，这只可能在三进制表示，从而大大减少了代码的长度。我们还发现这种编码数据和斐波那契数的技术之间的一些联系。
2010-12-20 cs.CR cs.IT math.IT
One-shot lossy quantum data compression
我们提供了一个单次量子率失真编码的框架，其中的目标是确定压缩量子信息所需的量子比特的最小数量作为解压缩时引起的失真超过一些指定水平的概率的函数。我们得到了一个一次性的最小量子比特压缩大小的纠缠辅助量子率失真码的平滑最大信息，以前在一次性量子反向香农定理中使用的量。接下来，我们展示了这种表征如何收敛到已知的表达式的纠缠辅助量子率失真函数的渐近许多副本的无记忆量子信息源。最后，我们给出了一个严格的，有限的块长度表征的纠缠辅助的最小量子比特压缩尺寸的无记忆各向同性量子比特源的平均符号的失真约束。
2013-09-17 cs.IT math.IT quant-ph
MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models
Uber Advanced Technologies Group（优步先进技术集团）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
我们提出了一种新的压缩算法，以减少存储的激光雷达传感器数据流。我们的模型利用多个LiDAR扫描的时空关系来降低几何和强度值的比特率。为了实现这一目标，我们提出了一种新的条件熵模型，该模型通过同时考虑粗级几何和先前扫描的几何和强度信息来模拟八叉树符号的概率。然后，我们使用学习的概率将完整的数据流编码为紧凑的数据流。我们的实验表明，我们的方法与现有的最先进的LiDAR压缩方法相比，显着降低了联合几何和强度比特率，在UrbanCity和SemanticKITTI数据集上分别降低了7-17%和15-35%。
2021-01-08 cs.CV cs.IT eess.IV
Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University（早稻田大学）
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题，推导出标签复杂性和泛化误差的理论下界，为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Selective Run-Length Encoding
针对游程编码在缺乏连续元素时压缩率下降及尺寸膨胀问题，提出基于组合数学的自动符号识别与选择性编码算法，在保持效率的同时缓解膨胀。
2023-12-28 cs.DS cs.IT eess.IV
Deep Convolutional Compression for Massive MIMO CSI Feedback
Imperial College London（帝国理工学院）
编码缓存通过在不同的请求之间创建多播机会，比传统的未编码缓存提供了显着的收益。大规模多输入多输出（MIMO）系统需要在基站（BS）处的下行链路信道状态信息（CSI）以更好地利用可用的空间分集和复用增益。然而，在频分双工（FDD）大规模MIMO系统中，巨大的CSI反馈开销变得受限并且降低了整体频谱效率。在本文中，我们提出了一种基于深度学习的信道状态矩阵压缩方案，称为DeepCMC，由卷积层，然后是量化和熵编码块组成。与以前的工作相比，DeepCMC的主要贡献是两方面的：i）DeepCMC是完全卷积的，并且它可以在具有各种数量的子信道和发射天线的广泛场景中使用; ii）DeepCMC包括量化和熵编码块，并且最小化成本函数，该成本函数考虑BS处的信道矩阵的压缩速率和重构质量。仿真结果表明，DeepCMC在相同压缩率的信道状态矩阵的重构质量方面明显优于最先进的压缩方案，以每个信道维度的比特为单位进行测量。
2019-07-02 cs.IT cs.LG eess.SP
Neural Network-Aided BCJR Algorithm for Joint Symbol Detection and Channel Decoding
National Taiwan University（台湾大学）
近年来，深度学习辅助通信系统取得了许多令人瞩目的成果，吸引了越来越多的研究者关注这一新兴领域。为了结合BCJR算法和神经网络的优点，提出了一种BCJR网络符号检测的混合方式，而不是用神经网络完全取代通信系统的功能模块。然而，它的分块设计不仅降低了系统性能，而且还导致额外的硬件复杂度。在这项工作中，我们提出了一个BCJR接收机联合符号检测和信道解码。它可以同时利用网格图和信道状态信息进行更精确的分支概率计算，从而实现全局最优，比单独的块设计增益为2.3 dB。此外，提出了一种专用的神经网络模型来代替BCJR接收机中基于信道模型的计算，避免了对理想CSI的要求，并且在1.0 dB增益的CSI不确定性下具有更强的鲁棒性。
2020-07-21 cs.IT cs.LG eess.SP
On nonlinear compression costs: when Shannon meets Rényi
本文将 Arithmetic Coding 推广到最小化指数平均码字长度的框架，证明其在独立同分布数据上可任意接近 Rényi 熵，并在真实数据上显著优于经典 Shannon 式压缩，同时揭示指数平均与码字超长概率及大偏差理论之间的联系。
2023-10-27 cs.DS cs.IT math.IT
