Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Compressing combinatorial objects
目前世界上大多数数字数据都是以序列形式编码的，并且序列的压缩方法已经得到了广泛的研究。然而，有许多类型的非顺序数据，其良好的压缩技术仍然在很大程度上未被探索。本文贡献的见解和具体的技术，通过算术编码压缩各种非顺序数据，并从相当通用的结构假设推导出可重用的概率数据模型。近最佳的压缩方法描述了某些类型的排列，组合和多重集，并明确为每种方法的最优性的条件。
2016-01-14 cs.IT math.CO math.IT
On Self-Adaptive Perception Loss Function for Sequential Lossy Compression
University of Manitoba（曼尼托巴大学）；University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
针对序列有损压缩的重建真实感与误差累积问题，提出考虑当前源帧与先前重建帧联合分布的自适应感知损失函数PLF-SA，建立理论率-失真-感知函数并验证其避免误差累积、利用时间相关性的优势。
2025-02-15 cs.IT cs.LG math.IT
Graph Compression with Application to Model Selection
许多多变量数据，如社会和生物数据，表现出复杂的依赖关系，最好用图来表征。与顺序数据不同，图通常是无序结构。这意味着我们不能再对这些基于图形的数据使用经典的、基于顺序的压缩方法。因此，有必要开发新的图形压缩方法。在本文中，我们提出了通用的信源编码方法的无损压缩的无权，无向，无标号图。我们的编码分为两步：1）将图转换成一个有根二叉树，2）使用图的统计编码的根二叉树。我们的编码器表现出更好的压缩性能比其他信源编码方法的合成和现实世界的图形。然后，我们应用我们的图编码方法的高斯图模型的模型选择使用最小描述长度（MDL）的原则，找到条件独立图的描述长度。在合成数据上的实验表明，该方法比常用的模型选择方法具有更好的性能。我们还将我们的方法应用于心电图（ECG）数据，以探讨两组受试者的图形模型之间的差异。
2021-10-02 cs.IT math.IT
A Family of LZ78-based Universal Sequential Probability Assignments
本文提出了一种基于LZ78算法增量解析过程的通用序列概率分配模型，证明其在压缩、生成和分类任务中的有效性。
2025-12-12 cs.IT math.IT
Greedy Adaptive Compression in Signal-Plus-Noise Models
本文的目的是研究贪婪的自适应测量政策的上下文中的线性高斯测量模型的优化标准的基础上的信息增益。在连续标量测量的特殊情况下，我们提供了充分的条件下，贪婪的政策实际上是最佳的意义上最大化的净信息增益。在一般情况下，我们还讨论了贪婪策略不是最优的情况。
2012-08-17 cs.IT math.IT
LZMidi: Compression-Based Symbolic Music Generation
Stanford University（斯坦福大学）
针对现有符号音乐生成深度学习模型计算成本高的问题，提出基于LZ78序列概率分配的轻量框架LZMidi，在CPU上即可高效运行，理论上有收敛保证，性能媲美前沿扩散模型且计算开销大幅降低。
2025-03-22 cs.IT cs.SD math.IT
Sequential Change Detection through Empirical Distribution and Universal Codes
通用的压缩算法已经在过去的顺序变化检测，在那里他们已经被用来估计后的变化分布在修改版本的累积和（Cumulative Sum，Cumulative Sum）测试进行了研究。在本文中，我们引入了一个修改后的CRACUUM测试，其中的变化前的分布也是未知的，并使用经验版本的变化前的分布来实现该算法。我们提出了一个研究的各种特点，这种修改的CumberUM测试，然后证明其渐近最优性。
2021-12-14 cs.IT math.IT
Target-Oriented Statistical Compression: Sufficiency, Reverse Martingales, and Sequential Monitoring
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
本文提出“面向目标的统计压缩”统一框架，通过逆鞅和条件目标过程量化压缩损失，并应用于序贯边界监测问题。
2026-05-26 cs.IT math.IT math.ST
Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit
faculty.ienyc.edu（伊恩耶克大学教员）
本文提出序列KV压缩方法，通过概率前缀去重和预测delta编码，实现超越每向量香农极限的压缩，理论压缩比达914000倍。
2026-04-10 cs.AI cs.IT cs.LG
Random Permutation Codes: Lossless Source Coding of Non-Sequential Data
本文提出随机置换码（RPC）框架，将非顺序数据建模为组合随机变量，并给出其最优无损压缩速率及面向多重集、图和划分的编码算法。
2024-11-18 cs.IT eess.SP math.IT
A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition
Indian Institute of Technology Delhi（德里印度理工学院）；Samsung R&D Institute India - Delhi（三星印度德里研发中心）
在过去的几年里，深度神经网络的压缩已经成为机器学习和计算机视觉研究的重要组成部分。深度模型需要相当大的计算复杂性和存储，例如用于视频中的人类动作识别（HAR），这使得它们不适合部署在边缘设备上。在本文中，我们解决了这个问题，并提出了一种方法来有效地压缩递归神经网络（RNN），如门控递归单元（GRU）和长短期记忆单元（LSTM），用于HAR。我们使用基于变分信息瓶颈（VIB）理论的修剪方法来限制通过RNN的顺序单元的信息流到一个小的子集。此外，我们将我们的修剪方法与一个特定的组套索正则化技术相结合，显着提高压缩。所提出的技术减少了潜在表示的模型参数和内存占用，验证精度几乎没有降低，同时将推理速度提高了几倍。我们在三个广泛使用的动作识别数据集上进行实验，即UCF 11，HMDB 51和UCF 101，以验证我们的方法。结果表明，我们的方法实现了超过70倍的压缩比最接近的竞争对手具有可比的准确性的任务的动作识别UCF 11。
2020-11-09 cs.CV cs.IT cs.LG
Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression
Independent Researcher（独立研究者）
研究自回归语言模型中在线KV缓存压缩的率失真极限，将其建模为序列Wyner-Ziv信源编码，发现下一词分布对上下文截断的敏感性呈多项式衰减，并推导了仅后缀缓存策略的每词内存需求。
2026-06-07 cs.AI cs.IT cs.LG
Centralised multi link measurement compression with side information
University of Tennessee at Knoxville（田纳西诺克斯维尔大学）；Tata Institute of Fundamental Research（塔塔基础研究所）
本文提出带量子边信息的集中式多链路测量压缩问题，给出无需催化随机性的近最优一次性可达性界，并推广至渐近iid情形，核心工具是新颖的序贯经典量子多部分覆盖引理。
2026-09-17 cs.IT math.IT quant-ph
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而，比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中，我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用，我们的计划将需要更多的初始位比标准的位回编码器，但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时，我们的编码器可以实现比比特回退更好的速率，而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置，特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
Context-Aware Markov VAE for CSI Compression in Wireless Systems
Ericsson Research（爱立信研究）；Knut and Alice Wallenberg Foundation（克努特和阿莉斯·瓦伦贝格基金会）；ELLIIT；Lund University（隆德大学）
提出基于k-记忆马尔可夫变分自编码器的上下文感知压缩框架，利用有限时间窗口捕捉CSI在潜在空间中的演化，在低中压缩率下显著提升重构性能。
2026-06-16 cs.IT cs.LG eess.SP
A Fast Transformer-based General-Purpose Lossless Compressor
City University of Hong Kong（香港城市大学）；National Taiwan University（台湾大学）
基于深度学习的压缩机由于压缩比的大幅提高而受到关注。然而，现代方法遭受长的执行时间。为了解决这个问题，本文的目标是减少基于深度学习的压缩器的执行时间。顺序地构建历史依赖性（例如，递归神经网络）负责长的推理延迟。相反，我们将Transformer引入深度学习压缩器，以并行构建历史依赖关系。然而，现有的Transformer计算量太大，与压缩任务不兼容。提出了一种基于单层Transformer的快速通用无损压缩器TRACE。首先，我们设计了一个新的度量建议压缩模型结构的选择部分。为了充分利用单层Transformer的容量，进一步提出了字节分组和Shared-ffn方案。这些功能使TRACE能够实现具有竞争力的压缩比和更快的速度。此外，我们进一步加快压缩过程中，通过设计一个控制器，以减少参数更新的开销。实验表明，TRACE实现了整体$\sim$ 3倍的加速，同时保持了与最先进的压缩机相当的压缩比。TRACE的源代码和数据集的链接可在https://github.com/mynotwo/A-Fast-Transformer-based-General-Purpose-LosslessCompressor上获得。
2022-04-01 cs.IT cs.LG math.IT
DZip: improved general-purpose lossless compression based on novel neural network modeling
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；TECNUN, University of Navarra（纳瓦拉大学TECNUN）；Stanford University（斯坦福大学）
我们考虑基于统计数据建模的无损压缩，然后基于预测的编码，其中输入数据的准确统计模型导致压缩的实质性改进。我们提出了DZip，一个通用的压缩机的顺序数据，利用众所周知的建模能力的神经网络（NN）的预测，其次是算术编码。Dzip使用了一种基于自适应和半自适应训练的新型混合架构。与大多数基于NN的压缩器不同，DZip不需要额外的训练数据，也不限于特定的数据类型，只需要输入数据的字母大小。该压缩器在各种真实数据集上的性能优于通用压缩器，如Gzip（平均减少26%），在合成数据集上实现了接近最佳的压缩，并且在没有任何人工输入的情况下，对于大序列长度，其性能接近专用压缩器。DZip在其当前实现中的主要限制是编码/解码时间，这限制了其实用性。尽管如此，研究结果显示了开发基于神经网络和混合建模的改进的通用压缩机的潜力。
2020-09-18 cs.IT cs.LG math.IT
