Statistical Mechanical Analysis of Compressed Sensing Utilizing Correlated Compression Matrix
本文利用统计力学方法研究了基于L1范数最小化的压缩感知重构方案的重构极限。本文重点研究了多输入多输出无线通信系统中的压缩矩阵，该压缩矩阵被建模为Kronecker型随机矩阵。我们发现，原始信息的扩展基础之间的强一维相关性稍微降低重建性能。
2010-07-07 cond-mat.dis-nn cs.IT math.IT
Statistical mechanics of lossy compression for non-monotonic multilayer perceptrons
利用统计力学方法研究了均匀偏置布尔消息的有损数据压缩方案。我们利用树状委员会机（委员会树）和树状奇偶机（奇偶树），其传递函数是非单调的。利用副本方法分析了该方案在无限码长限制下的性能。委员会和奇偶校验树状网络饱和香农界。分析了非单调对称解的AT稳定性，并讨论了非单调传递函数的可调性。
2008-07-25 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Black-Box Statistical Prediction of Lossy Compression Ratios for Scientific Data
针对科学数据有损压缩比缺乏量化方法的问题，提出基于空间相关性和量化熵的统计预测框架，在6个数据集上对8种以上压缩器预测中位误差小于12%，并实现搜索加速。
2023-05-15 cs.DC cs.IT math.IT
Efficient data compression from statistical physics of codes over finite fields
本文讨论了一种新的基于q阶伽罗瓦域上腔方法的二元对称信源的数据压缩技术。我们提出了一个低复杂度和接近最佳的经验性能的计划。压缩步骤基于GF（q）上稀疏低密度奇偶检验码的减少，并且通过所谓的增强置信传播方程来完成。这些减少的代码似乎有一个非平凡的几何修改的空间的码字，使这种压缩计算上可行的。每次迭代的计算复杂性为O（d.n.q.log（q）），其中d是校验节点的平均度，n是位数。对于我们的代码集成，解压缩可以在一个时间线性的代码的长度通过一个简单的叶删除算法。
2011-10-13 cond-mat.stat-mech cs.IT math.IT
Binary linear code weight distribution estimation by random bit stream compression
本文提出了一种基于线性码的生成矩阵作为随机位串压缩函数的线性码权值分布的统计估计算法。
2018-06-06 cs.IT math.IT
A Computable Measure of Algorithmic Probability by Finite Approximations with an Application to Integer Sequences
鉴于广泛使用的无损压缩算法近似算法（Kolmogorov-Chaitin）的复杂性，以及无损压缩算法在表征模式以外的统计模式没有不同的熵估计，在这里，我们探索一种替代和补充的方法。本文研究了由小型图灵机的输出分布计算的Levin测度$m$的形式性质。我们介绍和证明有限的近似$m_k$，已被用于在某些应用中作为替代无损压缩算法近似算法（柯尔莫哥洛夫-柴廷）的复杂性。我们提供的相关性质的$m$和$m_k$的证明，并比较他们莱文的普遍分布。给出了$m_k$相对于$m$的误差估计。最后，我们提出了一个应用程序的整数序列的在线百科全书的序列，这表明我们的AP为基础的措施可能会表征非统计模式，我们报告有趣的相关性与文字，功能和程序描述长度的序列。
2017-08-14 cs.CC cs.FL cs.IT
Ablation, Statistical Inference, and Validation for KV-Cache Compression
Advanced Micro Devices, Inc.（超威半导体公司）
研究对Turbo-Quant和SpectralQuant KV缓存压缩进行系统比较，用统计验证方法评估非支配方案，发现基于特征基的方法在重尾数据上因协方差不稳定失败，在结构化模式下表现出色，有效语义维度适应校准预算。
2026-07-14 cs.AI cs.IT cs.LG
Integer-Forcing Architectures for Uplink Cloud Radio Access Networks
考虑上行链路云无线电接入网络，其中用户由多个基站同时观察，每个基站具有到中央处理器的速率受限链路，中央处理器希望解码所有发送的消息。最近的努力已经证明了基于压缩的策略的优点，该策略将量化的信道观测发送到中央处理器，而不是尝试本地解码。我们研究的设置中，信道状态信息是不可用的发射机，但已知的全部或部分在基站。我们提出了一个端到端的基于压缩的上行链路云无线电接入的整数强制框架，并表明，如果信道状态信息在基站完全可用，它在一个恒定的间隙内从最佳中断概率。我们通过模拟证明，我们的框架是具有竞争力的国家的最先进的Wyner-Ziv为基础的战略。
2020-01-06 cs.IT math.IT
IDEALEM: Statistical Similarity Based Data Reduction
科学仿真、传感和电网监控等许多应用往往会产生大量数据，这些数据在存储和传输之前应首先进行压缩。这些数据大多由浮点值组成，已知难以使用无损压缩进行压缩。为了压缩这种看似不可压缩的数据，已经提出了几种基于有损压缩的压缩方法。不幸的是，它们都是为了最小化原始数据和解压缩数据之间的欧几里得距离而设计的，这从根本上限制了压缩性能。我们最近提出了一类新的有损压缩的基础上的统计相似性，称为IDEALEM，这也是作为一个软件包提供。IDEALEM已经证明了它的性能，它比最先进的压缩方法减少了更多的数据量，同时保留了独特的数据模式。根据输入数据的稳定性，IDEALEM可以在两种不同的模式下工作。本文分析了这两种模式的压缩性能，并研究了两种变换技术针对非平稳数据的差异。本文还讨论了数据重建质量的IDEALEM使用频谱分析，并表明在应用领域的重要频率成分被很好地保留。我们扩大了IDEALEM的能力，增加了一个新的最小/最大值检查，有利于保持显着的模式持续时间很短，以前很难捕捉。这种最小值/最大值检查也显著加速了编码过程。实验结果表明，IDEALEM在更快的编码时间内保留了原始数据中的重要模式。
2019-11-16 cs.DB cs.IT math.IT
A statistical mechanical interpretation of algorithmic information theory
我们开发了一个统计力学的解释算法信息论通过引入热力学量的概念，如自由能，能量，统计力学熵，比热，到算法信息论。我们调查这些数量的属性，通过程序大小的复杂性，从算法的随机性的角度来看。然后发现，在解释中，温度起着所有这些热力学量的值的压缩率的作用，其中包括温度本身。反映这种自参考性质的压缩率的温度，我们得到不动点定理的压缩率。
2008-01-28 cs.CC cs.IT math.IT
Compressing integer lists with Contextual Arithmetic Trits
本文提出结合上下文方法的trit编码来构建倒排索引，在压缩大小上持续优于基准Binary Interpolative Method，并公开了源码与数据集。
2025-05-05 cs.DB cs.IT math.IT
Improving Statistical Fidelity for Neural Image Compression with Implicit Local Likelihood Models
Meta AI；Inria（法国国家信息与自动化研究所）
本文针对神经图像压缩中低比特率下重建图像统计失真问题，提出一种以VQ-VAE量化局部表示为条件的非二值判别器，在CLIC2020等数据集上以比HiFiC少30-40%比特数实现相同FID。
2023-08-11 cs.AI cs.CV cs.IT
TOPIQ: Statistical Error Propagation for Quantity-of-Interest Prediction under Lossy Compression
Temple University（天普大学）；Argonne National Laboratory（阿贡国家实验室）
针对有损压缩下逐元素误差边界无法转化为下游关注量边界的问题，提出TOPIQ框架，通过分解关注量为基础算子的统计误差传播方法，实现高效且校准良好的关注量偏差与不确定性预测，可集成至AI分析流水线。
2026-08-28 cs.IT cs.NA cs.PF
Context binning, model clustering and adaptivity for data compression of genetic data
基因数据库的快速增长意味着通过改进其数据压缩可以节省大量资金，这需要更好的廉价统计模型。这篇文章提出了自动化的优化，例如马尔可夫类模型，特别是上下文分箱和模型聚类。虽然只删除上下文的低位是很流行的，但提出的上下文分箱自动优化了这种简化，如表：state=bin[context]确定概率分布，这种方式也从非常大的上下文中提取几乎所有有用的信息，进入相对较少的状态。第二种拟议办法：模型聚类在一般统计模型的空间中使用k均值聚类，允许优化例如为每个读段单独选择的几个模型（作为聚类质心）。还简要讨论了一些自适应技术，包括数据的非平稳性。
2022-05-03 cs.IT math.IT q-bio.GN
Target-Oriented Statistical Compression: Sufficiency, Reverse Martingales, and Sequential Monitoring
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
本文提出“面向目标的统计压缩”统一框架，通过逆鞅和条件目标过程量化压缩损失，并应用于序贯边界监测问题。
2026-05-26 cs.IT math.IT math.ST
Compressed sensing with l0-norm: statistical physics analysis and algorithms for signal recovery
本文用统计物理方法分析l0范数压缩感知的解结构，提出两种消息传递算法，在更高压缩率下高效恢复信号，优于LASSO。
2023-04-24 cond-mat.dis-nn cond-mat.stat-mech cs.IT
DZip: improved general-purpose lossless compression based on novel neural network modeling
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；TECNUN, University of Navarra（纳瓦拉大学TECNUN）；Stanford University（斯坦福大学）
我们考虑基于统计数据建模的无损压缩，然后基于预测的编码，其中输入数据的准确统计模型导致压缩的实质性改进。我们提出了DZip，一个通用的压缩机的顺序数据，利用众所周知的建模能力的神经网络（NN）的预测，其次是算术编码。Dzip使用了一种基于自适应和半自适应训练的新型混合架构。与大多数基于NN的压缩器不同，DZip不需要额外的训练数据，也不限于特定的数据类型，只需要输入数据的字母大小。该压缩器在各种真实数据集上的性能优于通用压缩器，如Gzip（平均减少26%），在合成数据集上实现了接近最佳的压缩，并且在没有任何人工输入的情况下，对于大序列长度，其性能接近专用压缩器。DZip在其当前实现中的主要限制是编码/解码时间，这限制了其实用性。尽管如此，研究结果显示了开发基于神经网络和混合建模的改进的通用压缩机的潜力。
2020-09-18 cs.IT cs.LG math.IT
Statistical Physics of Coding for the Integers
研究利用zeta分布对自然数进行编码的范式，提出基于Hagedorn系统和玻色气体的统计物理解释，并设计近似达到理想编码长度的编码方案，推导微正则熵函数并展示其渐近线性特性。
2026-11-10 cond-mat.stat-mech cs.IT math.IT
GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
University of Technology Sydney（悉尼大学）
GeoIB通过统计流形压缩方法，结合分布级和几何级正则化，实现信息瓶颈的优化，提升模型的不变性和稳定性。
2026-02-03 cs.AI cs.IT cs.LG
Compression, Regularity, Randomness and Emergent Structure: Rethinking Physical Complexity in the Data-Driven Era
McGovern Institute for Brain Research（麦戈文脑科学研究所）；MIT（麻省理工学院）
本文提出沿规律性、随机性和复杂性三轴统一组织统计、算法与动力学复杂性度量的框架，并阐明数据驱动方法如何作为经典复杂性理想的可计算近似。
2025-05-12 cond-mat.stat-mech cs.IT cs.LG
