Binary linear code weight distribution estimation by random bit stream compression
本文提出了一种基于线性码的生成矩阵作为随机位串压缩函数的线性码权值分布的统计估计算法。
2018-06-06 cs.IT math.IT
Ablation, Statistical Inference, and Validation for KV-Cache Compression
Advanced Micro Devices, Inc.（超威半导体公司）
研究对Turbo-Quant和SpectralQuant KV缓存压缩进行系统比较，用统计验证方法评估非支配方案，发现基于特征基的方法在重尾数据上因协方差不稳定失败，在结构化模式下表现出色，有效语义维度适应校准预算。
2026-07-14 cs.AI cs.IT cs.LG
IDEALEM: Statistical Similarity Based Data Reduction
科学仿真、传感和电网监控等许多应用往往会产生大量数据，这些数据在存储和传输之前应首先进行压缩。这些数据大多由浮点值组成，已知难以使用无损压缩进行压缩。为了压缩这种看似不可压缩的数据，已经提出了几种基于有损压缩的压缩方法。不幸的是，它们都是为了最小化原始数据和解压缩数据之间的欧几里得距离而设计的，这从根本上限制了压缩性能。我们最近提出了一类新的有损压缩的基础上的统计相似性，称为IDEALEM，这也是作为一个软件包提供。IDEALEM已经证明了它的性能，它比最先进的压缩方法减少了更多的数据量，同时保留了独特的数据模式。根据输入数据的稳定性，IDEALEM可以在两种不同的模式下工作。本文分析了这两种模式的压缩性能，并研究了两种变换技术针对非平稳数据的差异。本文还讨论了数据重建质量的IDEALEM使用频谱分析，并表明在应用领域的重要频率成分被很好地保留。我们扩大了IDEALEM的能力，增加了一个新的最小/最大值检查，有利于保持显着的模式持续时间很短，以前很难捕捉。这种最小值/最大值检查也显著加速了编码过程。实验结果表明，IDEALEM在更快的编码时间内保留了原始数据中的重要模式。
2019-11-16 cs.DB cs.IT math.IT
A statistical mechanical interpretation of algorithmic information theory
我们开发了一个统计力学的解释算法信息论通过引入热力学量的概念，如自由能，能量，统计力学熵，比热，到算法信息论。我们调查这些数量的属性，通过程序大小的复杂性，从算法的随机性的角度来看。然后发现，在解释中，温度起着所有这些热力学量的值的压缩率的作用，其中包括温度本身。反映这种自参考性质的压缩率的温度，我们得到不动点定理的压缩率。
2008-01-28 cs.CC cs.IT math.IT
Compressed sensing with l0-norm: statistical physics analysis and algorithms for signal recovery
本文用统计物理方法分析l0范数压缩感知的解结构，提出两种消息传递算法，在更高压缩率下高效恢复信号，优于LASSO。
2023-04-24 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Improving Statistical Fidelity for Neural Image Compression with Implicit Local Likelihood Models
Meta AI；Inria（法国国家信息与自动化研究所）
本文针对神经图像压缩中低比特率下重建图像统计失真问题，提出一种以VQ-VAE量化局部表示为条件的非二值判别器，在CLIC2020等数据集上以比HiFiC少30-40%比特数实现相同FID。
2023-08-11 cs.AI cs.CV cs.IT
TOPIQ: Statistical Error Propagation for Quantity-of-Interest Prediction under Lossy Compression
Temple University（天普大学）；Argonne National Laboratory（阿贡国家实验室）
针对有损压缩下逐元素误差边界无法转化为下游关注量边界的问题，提出TOPIQ框架，通过分解关注量为基础算子的统计误差传播方法，实现高效且校准良好的关注量偏差与不确定性预测，可集成至AI分析流水线。
2026-08-28 cs.IT cs.NA cs.PF
Federated Neural Compression Under Heterogeneous Data
University of Pennsylvania（宾夕法尼亚大学）
本文研究统计异构联邦场景下的学习式压缩问题，提出共享分析/合成变换并个性化熵模型的联邦神经压缩方法，实验表明其优于纯本地方法。
2023-05-25 cs.IT cs.LG math.IT
Context binning, model clustering and adaptivity for data compression of genetic data
基因数据库的快速增长意味着通过改进其数据压缩可以节省大量资金，这需要更好的廉价统计模型。这篇文章提出了自动化的优化，例如马尔可夫类模型，特别是上下文分箱和模型聚类。虽然只删除上下文的低位是很流行的，但提出的上下文分箱自动优化了这种简化，如表：state=bin[context]确定概率分布，这种方式也从非常大的上下文中提取几乎所有有用的信息，进入相对较少的状态。第二种拟议办法：模型聚类在一般统计模型的空间中使用k均值聚类，允许优化例如为每个读段单独选择的几个模型（作为聚类质心）。还简要讨论了一些自适应技术，包括数据的非平稳性。
2022-05-03 cs.IT math.IT q-bio.GN
Target-Oriented Statistical Compression: Sufficiency, Reverse Martingales, and Sequential Monitoring
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
本文提出“面向目标的统计压缩”统一框架，通过逆鞅和条件目标过程量化压缩损失，并应用于序贯边界监测问题。
2026-05-26 cs.IT math.IT math.ST
Combining non-stationary prediction, optimization and mixing for data compression
本文提出了一种非平稳二元序列的建模方法，预测即将到来的符号的概率。在研究了预测模型之后，我们在两个非人工测试案例中评估了其性能。首先，该模型进行了比较，拉普拉斯和Krichevsky-Trofimov估计。其次，提出了一种压缩Burrows-Wheeler变换输出的统计集成模型，并对其进行了评价。提出了一种系统的个体模式和集合模式参数优化方法。
2013-02-12 cs.IT math.IT
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习和压缩是由识别和利用统计数据的共同目标驱动的，这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然（NML）编码，它提供了强有力的保证，压缩小数据集-相比之下，更流行的估计，其保证只在渐近极限。在这里，我们考虑一个基于NML的决策策略的监督分类问题，并表明它达到启发式PAC学习时，适用于各种各样的模型。此外，我们表明，我们的方法的误分类率是上限的最大泄漏，最近提出的度量，以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
DZip: improved general-purpose lossless compression based on novel neural network modeling
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；TECNUN, University of Navarra（纳瓦拉大学TECNUN）；Stanford University（斯坦福大学）
我们考虑基于统计数据建模的无损压缩，然后基于预测的编码，其中输入数据的准确统计模型导致压缩的实质性改进。我们提出了DZip，一个通用的压缩机的顺序数据，利用众所周知的建模能力的神经网络（NN）的预测，其次是算术编码。Dzip使用了一种基于自适应和半自适应训练的新型混合架构。与大多数基于NN的压缩器不同，DZip不需要额外的训练数据，也不限于特定的数据类型，只需要输入数据的字母大小。该压缩器在各种真实数据集上的性能优于通用压缩器，如Gzip（平均减少26%），在合成数据集上实现了接近最佳的压缩，并且在没有任何人工输入的情况下，对于大序列长度，其性能接近专用压缩器。DZip在其当前实现中的主要限制是编码/解码时间，这限制了其实用性。尽管如此，研究结果显示了开发基于神经网络和混合建模的改进的通用压缩机的潜力。
2020-09-18 cs.IT cs.LG math.IT
Physics-Aware, Shannon-Optimal Compression via Arithmetic Coding for Distributional Fidelity
School of Computing, Data Sciences, and Physics, William & Mary（威廉与玛丽学院计算、数据科学与物理学院）
本文提出一种基于信息论的方法，利用无损压缩评估数据集的分布一致性，通过物理指导的概率表示提供绝对的信度标准，同时提升压缩效率。
2026-03-21 cs.IT math.IT physics.data-an
Application of Lossless Data Compression Techniques to Radio Astronomy Data flows
射电天文学的现代实践的特点是极端的数据量和速率，主要是因为可以实现的信噪比和需要奈奎斯特采样的支持方式所需的RF带宽之间的直接关系。这些数据流的传输成本高昂。通过研究典型数据流的统计性质并应用信息论领域的公知技术，以下工作表明，典型射电天文学数据流的无损压缩在理论上是可能的。确定可能压缩程度的关键参数是数据的标准差。压缩的实际应用可以证明有利于降低新一代仪器（如平方公里阵列）的数据传输和（可以说）存储成本。
2014-05-22 astro-ph.IM cs.IT math.IT
Designing dedicated data compression for physics experiments within FPGA already used for data acquisition
物理实验每天产生大量的原始数据，以PB计。因此，主要通过使用一些过滤器来减少这个量是很大的努力。这种情况可以通过另外应用一些数据压缩技术来改善：去除冗余和对实际信息进行最佳编码。优选地，滤波和数据压缩两者都应当适合于已经用于数据采集的FPGA，从而减少对数据存储和联网架构两者的要求。我们将简要地解释和讨论一些基本技术，更好地集中应用于设计一个专用的数据压缩系统的基础上，从一个跟踪探测器的原型：10000事件为48通道。这里我们将关注时间数据，在忽略报头并应用数据过滤之后，使用当前编码平均需要1170位/事件。编码相对时间（差异）和按通道分组数据，将这个数字减少到798位/通道，仍然使用固定长度编码：用于给定值的固定位数。使用可变长度霍夫曼编码来编码用于信道的数字脉冲的数量和值的最高有效位（简单的合并）进一步将该数量减少到552位/事件。使用自适应分箱：更密集的频繁值，和一个准确的熵编码器，我们得到进一步下降到455位/事件-这个选项可以很容易地适应FPGA的未使用的资源，目前用于数据采集。最后，对于不同的信道使用单独的概率分布，这可以由软件压缩器完成，导致437比特/事件，这比原始的1170比特/事件小2.67倍。
2015-11-03 cs.IT math.IT
GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
University of Technology Sydney（悉尼大学）
GeoIB通过统计流形压缩方法，结合分布级和几何级正则化，实现信息瓶颈的优化，提升模型的不变性和稳定性。
2026-02-03 cs.AI cs.IT cs.LG
Accelerating Lossless Data Compression with GPUs
Huffman压缩是一种统计的、无损的数据压缩算法，它通过给符号分配可变长度的代码来压缩数据，频繁出现的符号被赋予比较少出现的符号更短的代码。这项工作是Huffman算法的一个修改，它允许未压缩的数据被分解成独立的可压缩和可解压缩的块，允许在多个处理器上并行压缩和解压缩。我们使用CUDA API在当前NVIDIA GPU上以及在当前Intel芯片上创建此修改后的算法的实现，并对性能结果进行比较，几乎所有测试都显示出良好的GPU性能。最后，我们讨论了高性能数据压缩在当今的超级计算生态系统的必要性。
2011-06-21 cs.GR cs.IT cs.PF
Statistical mechanical analysis of a hierarchical random code ensemble in signal processing
本文研究了一种具有分层结构的随机码系综，它与具有离散能量值的广义随机能量模型密切相关。基于这种对应关系，我们在有损数据压缩和信道编码两种情况下，使用副本方法分析了分层随机码系综。对于这两种情况，表征系综性能的大偏差分析的指数，有损数据压缩的失真率和Gallager形式化的信道编码的误差指数，可以通过广义随机能量模型的生成函数来获得。我们讨论了在前面的工作中观察到的这些指数的转变可以被解释为相对于副本数的相变。我们还表明，复本对称性破缺在这些转变中起着至关重要的作用。
2011-02-02 cond-mat.dis-nn cs.IT math.IT
Compression, Regularity, Randomness and Emergent Structure: Rethinking Physical Complexity in the Data-Driven Era
McGovern Institute for Brain Research（麦戈文脑科学研究所）；MIT（麻省理工学院）
本文提出沿规律性、随机性和复杂性三轴统一组织统计、算法与动力学复杂性度量的框架，并阐明数据驱动方法如何作为经典复杂性理想的可计算近似。
2025-05-12 cond-mat.stat-mech cs.IT cs.LG
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
An Enhanced Static Data Compression Scheme Of Bengali Short Message
本文提出了一种适用于小型设备的孟加拉语短信压缩方法。这项研究技术的主要目标是建立一个低复杂度的压缩方案，适用于具有小内存和相对较低的处理速度的小型设备。其基本目标不是在没有空间和时间限制的情况下将任何大小的文本压缩到其最大水平，而不是主要目标是将短消息压缩到需要最小空间、消耗更少时间和处理器要求更低的最佳水平。我们已经实现了字符掩码，字典匹配，数据采掘的关联规则和基于音节的压缩分字算法在分层步骤，以实现低复杂度的任何移动设备的文本消息的无损压缩。在扩展统计模型的基础上进行了图的选择方案，并通过相同的上下文进行了静态霍夫曼编码。
2009-09-08 cs.IT math.IT
An Introduction to Neural Data Compression
University of California, Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
本文介绍神经数据压缩领域，梳理统计学习进展带来的端到端压缩新路径，补充信息论与计算机视觉基础，为机器学习受众提供该领域核心方法的精选导读。
2023-08-16 cs.IT cs.LG eess.IV
Assembly Theory is an approximation to algorithmic complexity based on LZ compression that does not explain selection or evolution
本文证明装配理论等价于基于LZ压缩的香农熵近似，其装配指数可归入算法复杂度理论，且无法提供超越香农熵或经典信息论的选择与演化解释。
2024-04-01 cs.IT math.IT q-bio.BM
Redundancy of Exchangeable Estimators
可交换随机划分过程是贝叶斯方法的基础，在大字母表设置的统计推断。另一方面，序列模式的概念为大字母表场景中的数据压缩提供了信息理论框架。由于数据压缩和参数估计密切相关，因此我们研究了来自Poisson-Dirichlet先验（或“中餐馆过程”）和Pitman-Yor先验的贝叶斯估计量的冗余度。这提供了从通用压缩的角度在未知离散字母表的设置中对这些估计量的理解。特别是，我们确定字母表的大小和样本量之间的关系，冗余度小，从而表征这些估计有用的制度。
2014-10-21 cs.IT math.IT
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University（ITMO大学）
本文提出基于链式神经预测器的概率估计架构，利用信息继承机制提升压缩效率，实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
A Computable Measure of Algorithmic Probability by Finite Approximations with an Application to Integer Sequences
鉴于广泛使用的无损压缩算法近似算法（Kolmogorov-Chaitin）的复杂性，以及无损压缩算法在表征模式以外的统计模式没有不同的熵估计，在这里，我们探索一种替代和补充的方法。本文研究了由小型图灵机的输出分布计算的Levin测度$m$的形式性质。我们介绍和证明有限的近似$m_k$，已被用于在某些应用中作为替代无损压缩算法近似算法（柯尔莫哥洛夫-柴廷）的复杂性。我们提供的相关性质的$m$和$m_k$的证明，并比较他们莱文的普遍分布。给出了$m_k$相对于$m$的误差估计。最后，我们提出了一个应用程序的整数序列的在线百科全书的序列，这表明我们的AP为基础的措施可能会表征非统计模式，我们报告有趣的相关性与文字，功能和程序描述长度的序列。
2017-08-14 cs.CC cs.FL cs.IT
Seq2Seq2Seq: Lossless Data Compression via Discrete Latent Transformers and Reinforcement Learning
Department of Computer Engineering（计算机工程系）；University of Guilan（加兹万大学）
Seq2Seq2Seq利用强化学习和T5模型实现高效无损数据压缩，通过保留token结构提升压缩比和语义完整性。
2026-02-12 cs.AI cs.CL cs.IT
