The Optimal Compression Rate of Variable-to-Fixed Length Source Coding with a Non-Vanishing Excess-Distortion Probability
我们考虑可变到固定长度的有损信源编码（VFSC）问题。可变到固定信源编码的平均长度的最佳压缩率，允许过度失真$\varepsilon$的非零概率，被示出为等于$(1-\varepsilon)R(D)$，其中$R(D)$是源的率失真函数。与Koga和Yamamoto以及Kostina、Polyanskiy和Verdú关于固定到可变长度信源编码的相关结果相比，我们的结果证明了一个有趣的特征，即可变到固定长度信源编码具有与固定到可变长度信源编码相同的一阶压缩率。
2018-03-19 cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施，只透露给编码器，只有在运行时，以及它的扩展，其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析，并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法，第二种编码方案使用失真度量空间的适当量化，第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
Universality of Logarithmic Loss in Lossy Compression
我们建立了两个强烈的意义上的普遍性的对数损失作为有损压缩的失真标准：对于任何固定长度的有损压缩问题下的任意失真标准，我们表明，有一个等价的有损压缩问题下的对数损失。在连续细化问题中，如果第一个解码器操作下的对数损失，我们表明，任何离散的无记忆源连续细化下的任意失真准则的第二个解码器。
2017-09-01 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架，通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡，理论证明高斯源下可覆盖全部权衡区域，实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
A Large Deviations Approach to Secure Lossy Compression
我们考虑一个香农密码系统的无记忆源，其中失真是允许在合法的解码器。使用由共享密钥保护的率失真码来压缩源，所述共享密钥满足对压缩率的约束，以及对合法解码器处的过量失真概率的指数率的约束。秘密性是通过窃听者处的微小失真概率的指数率来测量的，而不是通过传统的含糊性测量。我们定义的完美保密指数的最大微小失真指数时，密钥速率是无限的。在有限的密钥速率下，对一类相当一般的变密钥速率码，证明了最大可实现的弱失真指数等于平均密钥速率与完美保密指数之间的最小值.
2015-04-22 cs.IT math.IT
Rate-Distortion Analysis of Optically Passive Vision Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出了一种基于光学生成余弦变换的视觉压缩方法，通过模拟对比发现其率-失真性能优于传统事件相机
2026-02-02 cs.IT math.IT
Compression in the Space of Permutations
我们研究了以置换形式的数据的有损压缩（信源编码）。这个问题在有序数据或排序的存储以及排序算法的分析中有直接的应用。分析了均匀分布下置换空间的率失真特性，以及恢复后允许有界失真的最小可达压缩率。我们的分析是关于不同的实际和有用的失真措施，包括肯德尔-陶距离，斯皮尔曼的foottrule，切比雪夫距离和反演- $\ell_1$距离。我们建立等价的源代码设计在一定的失真，并显示简单的显式代码设计，产生低编码/解码的复杂性和渐近最优。最后，我们表明，对于Mallow模型，一个流行的非均匀排列模型的置换空间，熵和最大失真在零速率是远远低于均匀的同行，这激励了未来的设计高效的压缩方案，这种模式。
2015-10-17 cs.IT math.IT
Single-Shot Lossy Compression for Joint Inference and Reconstruction
本文研究解码器同时完成数据重建与推理的单次有损压缩问题，将其建模为直接-间接信源编码并推导超额失真概率的上下界，还在对数损失下给出易计算的可达界。
2023-09-30 cs.IT math.IT
The Lack of Convexity of the Relevance-Compression Function
本文研究了信息瓶颈和信息失真问题中相关压缩函数的凸性。该曲线是率失真曲线的模拟，其是凸的。在本文讨论的问题中，失真函数不是量化器的线性函数，相关压缩函数不一定是凸（凹）的，但可以改变其凸性。我们将这种现象与存在的一阶相变在相应的拉格朗日作为退火参数的函数。
2022-04-22 cs.IT math.IT
A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
本文基于率-失真-感知-分类（RDPC）框架，受通用RDP编码器启发，研究通过单个固定编码器结合多解码器实现多样失真-分类权衡的通用表示，理论与实验验证其在高斯源及MNIST、SVHN数据集上的有效性与实用性。
2025-04-14 cs.IT math.IT
Joint Lossy Compression for a Vector Gaussian Source under Individual Distortion Criteria
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）；Pengcheng Laboratory（鹏城实验室）；Technische Universität Berlin（柏林工业大学）；Princeton University（普林斯顿大学）
本文研究了向量高斯源在个体失真准则下的联合损失压缩，推导了包含相关性的显式RDF，并揭示了相关性与失真约束之间的权衡。
2026-02-06 cs.IT math.IT
Cumulant Generating Function of Codeword Lengths in Variable-Length Lossy Compression Allowing Positive Excess Distortion Probability
本文研究可变长有损信源编码，以超额失真概率和码字长度累积量生成函数为准则，推导了允许正超额失真概率的非渐近基本极限，由Rényi熵刻画，并给出显式码构造及平稳无记忆信源的渐近单字母刻画。
2018-01-11 cs.IT math.IT
CSI Compression for Massive MIMO-OFDM: Mismatch-Aware Rate-Distortion Trade-offs
POSTECH（韩国科学技术院）
本文研究了在基站使用不完美的协方差模型重建CSI时，宽频频分复用大规模MIMO的CSI压缩问题。提出了一种基于Gaussian测试信道和不匹配MMSE重建规则的可实现不匹配Gaussian率-失真特性，通过共享特征向量域实现鲁棒的反向水填充分配。
2026-04-19 cs.IT math.IT
On lossy Compression of Directed Graphs
由Csiszar和Korner提出的类型方法是一种用于开发和分析有限字母表上数据序列的基本属性和约束的核心工具。使用这些工具所考虑的中心问题是数据压缩的问题，并且特别是有损数据压缩的问题。在这项工作中，我们考虑这个问题，但是，而不是序列的数据，我们考虑有向图。我们表明，给定一个更自然的失真措施，拟合的数据结构的有向图，类型的方法不能应用。所建议的失真度量旨在保持有向图的局部结构。我们建立在Barvinok最近的工作和扩展的方法类型的二维的设置的有向图。我们看到，这种延伸在许多方面都是很自然的。鉴于此扩展，我们提供了一个下限和上限的率失真问题的有损压缩给定的失真措施。
2021-11-27 cs.IT math.IT
Variable-Length Lossy Compression Allowing Positive Overflow and Excess Distortion Probabilities
本文研究了码字长度允许正的过度失真概率和溢出概率的变长有损信源编码问题。基于光滑最大熵（零阶光滑Rényi熵）的新量，建立了新的单次可逼近性和最优速率的逆界.为了推导出可扩展性界，我们给出了一个显式的代码构造的基础上的失真球，而不是使用随机编码参数。码构造的基本思想类似于变长无损信源编码中的最优码构造。我们的可重复性界限略有不同，这取决于编码器是随机的还是确定性的。一次性结果产生了块长度$n$的最佳速率的一般公式。此外，我们的一般公式适用于渐近分析的平稳无记忆源。因此，我们通过使用率失真和率分散函数来获得最佳速率的单字母表征。
2018-12-14 cs.IT math.IT
System-Aware Compression
许多信息系统采用有损压缩作为其它处理组件之间的关键中间阶段。虽然重要的失真由系统的输入和输出信号定义，但压缩通常忽略系统结构，因此导致总体次优率失真性能。在本文中，我们提出了一种压缩方法，考虑到一个已知的系统布局，使用线性算子和噪声建模的操作率失真优化。使用交替方向乘法器（ADMM）技术，我们表明，新的全球优化压缩的设计减少到一个标准的压缩的“系统调整”的信号。本质上，所提出的框架利用标准压缩技术来解决噪声信源编码问题的实际设置。我们进一步解释我们的方法的主要思想，通过理论研究的情况下，循环平稳高斯信号。我们提出了一维信号的编码和使用HEVC标准的视频压缩的实验结果，通过对采集-渲染系统的调整显示出显著的增益。
2018-05-11 cs.IT math.IT
Fundamental Distortion Limits of Analog-to-Digital Compression
用一组样本来表示连续时间信号是信号处理中的一个经典问题。我们研究这个问题的额外约束下，在有限的比特率预算下，以有损的方式量化或压缩的样本。为此，我们考虑一个组合的采样和信源编码的问题，其中一个模拟的平稳高斯信号是从其编码样本重建。这些样本是通过连续时间路径的一组有界线性泛函获得的，并且对该设置中每单位时间获得的平均样本数量有限制。我们提供了一个完整的表征的采样频率，比特率和信号的频谱方面的最小失真。假设信号的能量不是均匀分布在其频谱支持，我们表明，对于每个压缩比特率存在一个临界采样频率小于奈奎斯特速率，使得在此频率下采样时，信号重构的失真是最小的。我们的结果可以被看作是一个扩展的经典采样定理的带限随机过程的意义上，它描述了最小量的过度失真的重建，由于有损压缩的样本，并提供了所需的最小采样频率，以实现这种失真。最后，我们比较的基本限制相结合的信源编码和采样问题的脉冲编码调制（PCM）的性能，其中每个样本是由一个标量量化器使用一个固定的比特数进行量化。
2018-04-10 cs.IT math.IT
On the Suboptimality of Rate--Distortion-Optimal Compression: Fundamental Accuracy Limits for Distributed Localization
The Alexander Kofkin Faculty of Engineering, Bar-Ilan University（巴伊兰大学亚历山大·科夫金工程学院）
研究在仅能获取独立速率-失真最优压缩多传感器观测的情况下，分布式定位的基本精度限制，通过高斯RD测试信道模型和Whittle频谱Fisher信息特性，推导出频域Cramér-Rao下限，并揭示速率诱导的性能转变。
2026-03-24 cs.IT eess.SP math.IT
Universal Rate-Distortion-Perception Representations for Lossy Compression
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
在有损压缩的背景下，Blau & Michaeli（2019）采用了感知质量的数学概念，并定义了信息率失真感知函数，概括了经典的率失真权衡。我们考虑的概念，其中一个可以固定的编码器和不同的解码器，以实现任何点内的失真和感知约束的集合的通用表示。我们证明了相应的信息理论的通用率失真感知功能是可操作的近似意义上。在MSE失真下，我们证明了高斯信源的整个失真感知折衷可以由相同速率的单个编码器渐近地实现。然后，我们的特点是可实现的失真感知区域为一个固定的代表在任意分布的情况下，确定条件下，上述结果继续保持近似，并研究的情况下，当速率是不固定的。这激发了对在RDP权衡中近似通用的实际构造的研究，从而减轻了为每个目标设计新编码器的需要。我们提供的MNIST和SVHN的实验结果表明，在图像压缩任务，操作的权衡与固定编码器的机器学习模型相比，他们的可变编码器对应时，只遭受一个小的惩罚。
2021-12-22 cs.IT cs.LG math.IT
Robust Distributed Compression of Symmetrically Correlated Gaussian Sources
考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源，并将压缩数据转发到解码器，用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和，这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数，该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置，其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是，我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时，基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征，该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。
2018-07-18 cs.IT math.IT
A Theoretical Framework for Rate-Distortion Limits in Learned Image Compression
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种理论框架，用于分析学习图像压缩的率-失真极限，通过分解性能损失的三个关键组成部分，提供结构化视角和可操作的近似值。
2026-01-14 cs.IT math.IT
Online Conformal Compression for Zero-Delay Communication with Distortion Guarantees
本文提出在线共形压缩（OCC），在编码器和解码器均配备预训练预测器的零时延有损压缩场景下，利用在线共形预测为任意时刻提供确定性的逐序列失真上界保证，并在实验中达到接近事后最优子集选择的压缩率。
2025-03-11 cs.IT eess.SP math.IT
TACTIC: Joint Rate-Distortion-Accuracy Optimisation for Low Bitrate Compression
University of Surrey（萨里大学）
TACTIC：Task-Aware Compression Through Intelligent Coding。我们的有损压缩模型基于特定任务的速率-失真-精度权衡进行学习。通过考虑哪些信息对于后续问题是重要的，系统在低比特率下权衡视觉保真度以获得良好的任务性能。与相同比特率的JPEG相比，我们的方法能够将ImageNet子集分类的准确性提高4.5%。我们还证明了我们的方法对其他问题的适用性，提供了一个3.4%的准确性和4.9%的平均IoU的性能提高任务无关的压缩语义分割。
2021-09-22 cs.CV cs.IT eess.IV
On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework
Shanghai Jiao Tong University（上海交通大学）
有损压缩算法通常被设计成在给定比特率下实现最低可能失真。然而，最近的研究表明，追求高感知质量将导致最低可实现失真的增加（例如，MSE）。本文从理论上提供了重要的结果，揭示了，\textit{1}）实现完美感知质量的成本恰好是最低可实现MSE失真的两倍，\textit{2}）对于“经典”率失真问题的最佳编码器也是最佳的感知压缩问题，\textit{3}）失真损失对于训练感知解码器是不必要的。此外，我们提出了一种新的训练框架，以实现最低的MSE失真在完美的感知约束下，在给定的比特率。该框架使用了一个GAN，其具有以MSE优化编码器为条件的SNR，这优于使用失真加对抗性损失的传统框架。实验结果验证了理论分析的正确性，并证明了该训练框架的优越性。
2021-06-05 cs.AI cs.IT math.IT
Nonapproximablity of the Normalized Information Distance
标准化信息距离（NID）使用柯尔莫哥洛夫复杂度的理论概念，实际上是使用真实世界的压缩程序，通过所涉及文件的压缩版本的长度来近似计算。这种实际应用被称为“归一化压缩距离”，并且它是可平凡计算的。它是一种基于压缩的无参数相似性度量，用于模式识别、数据采掘、遗传学、聚类和分类。它的理论先驱NID的复杂性属性已经公开。我们表明，NID既不是上半可计算的，也不是下半可计算的任何合理的精度。
2009-10-23 cs.CC cs.IT math.IT
Optimal Compression of Unit Norm Vectors in the High Distortion Regime
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对分布式学习中单位范数向量的高效压缩，本文在高失真最坏情形下，允许随机化映射，确定了有偏与无偏压缩的最优率，并证明简单方案近乎最优。
2024-02-05 cs.DC cs.IT cs.LG
Single-shot lossy compression: mutual information bounds
California Institute of Technology（加州理工学院）
本文提出通过互信息上界来优化数据压缩，证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
Rate-Distortion Theory for Mixed States
本文研究带边信息的混合量子态系综压缩的率失真问题，推导了不同纠缠辅助场景下的率失真函数与完整率区域，压缩方案可适配多种压缩模型。
2024-06-20 cs.IT math.IT quant-ph
Rate-Distortion Modeling for Bit Rate Constrained Point Cloud Compression
点云作为三维真实世界的主要表现形式之一，非常适合虚拟现实和增强现实应用，得到了广泛的应用。为了减少庞大的数据量，人们对点云数据压缩进行了大量的研究。然而，给定目标比特率，如何正确选择颜色和几何量化参数来压缩点云仍然是一个悬而未决的问题。提出了一种基于率失真模型的点云压缩量化参数选择方法。首先，为了克服点云畸变测量中的不确定性，提出了一种将几何畸变和颜色畸变相结合的统一模型。在这个模型中，我们考虑到点云的几何和颜色变量之间的相关性，并推导出一个无量纲的量来表示整体质量下降。然后，我们推导出总失真和比特率与量化参数的关系。最后，我们制定的比特率约束的点云压缩作为一个约束最小化问题，使用派生的多项式模型，并推导出通过迭代数值方法的解决方案。实验结果表明，该算法在不同的目标比特率下都能获得最佳的解码点云质量，且性能明显优于基于视频率失真模型的点云压缩方案。
2022-11-19 cs.IT cs.MM eess.IV
Rate Distortion For Model Compression: From Theory To Practice
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Inc.（谷歌公司）；Allen School of Computer Science and Engineering（艾伦计算机科学与工程学院）
现代深度神经网络的巨大规模使得在内存和通信受限的场景中部署这些模型具有挑战性。因此，在不显著损失性能的情况下压缩训练模型已成为越来越重要的任务。最近已经取得了巨大的进步，其中主要的技术构建块是参数修剪，参数共享（量化）和低秩因子分解。在本文中，我们提出了原则性的方法，以改善在这些积木，即修剪和量化中使用的常见算法。我们首先从率失真理论出发，研究了模型压缩的基本极限。我们把率失真函数从数据压缩到模型压缩来量化这个基本限制。我们证明了率失真函数的一个下界，并证明了其线性模型的可扩展性。虽然这种可实现的压缩方案在实践中是棘手的，这种分析激发了一种新的模型压缩框架。该框架为模型压缩提供了一种新的目标函数，可以与其他类型的模型压缩器（如修剪或量化）一起应用。理论上，我们证明了所提出的方案是压缩单隐藏层ReLU神经网络的最佳方案。从经验上讲，我们表明，所提出的方案提高了基线的压缩精度的权衡。
2019-01-23 cs.IT cs.LG math.IT
Fixed-length lossy compression in the finite blocklength regime
本文研究了最小可达信源编码速率作为块长度$n$和失真超过给定水平$d$的概率$ε$的函数。紧一般的可扩展性和逆界推导出，持有在任意固定的块长度。对于固定的可分离失真的无记忆源，可实现的最小速率被证明是密切近似的$R(d) + \sqrt{\frac{V(d)}{n}} Q^{-1}(ε)$，其中$R(d)$是率失真函数，$V(d)$是速率分散，源的一个特性，它测量其随机变化，和$Q^{-1}(ε)$是标准的高斯互补CDF的逆。
2014-02-04 cs.IT math.IT
Network Control: A Rate-Distortion Perspective
今天的网络是假设预压缩和分组化数据来控制的。对于视频，数据分组的这种假设抽象出了一个关键方面-有损压缩问题。因此，首先，本文开发了一个网络控制框架，结合源速率和源失真。然后将网络控制问题分解为应用层压缩控制、传输层拥塞控制和网络层调度。结果表明，这种分解是凹效用函数的最佳。最后，本文得出进一步的见解，从发达国家的率失真框架，专注于具体问题。
2011-06-01 cs.IT math.IT
One-shot lossy quantum data compression
我们提供了一个单次量子率失真编码的框架，其中的目标是确定压缩量子信息所需的量子比特的最小数量作为解压缩时引起的失真超过一些指定水平的概率的函数。我们得到了一个一次性的最小量子比特压缩大小的纠缠辅助量子率失真码的平滑最大信息，以前在一次性量子反向香农定理中使用的量。接下来，我们展示了这种表征如何收敛到已知的表达式的纠缠辅助量子率失真函数的渐近许多副本的无记忆量子信息源。最后，我们给出了一个严格的，有限的块长度表征的纠缠辅助的最小量子比特压缩尺寸的无记忆各向同性量子比特源的平均符号的失真约束。
2013-09-17 cs.IT math.IT quant-ph
Data compression with low distortion and finite blocklength
本文考虑有损信源编码的$n$维无记忆源，并显示了一个显式近似的最小信源编码率维持超过失真的概率$d$不大于$ε$，这是简单的比已知的色散为基础的近似。我们的方法从著名的经典结果中得到启发，该结果表明率失真函数的香农下限在极限$d \to 0$中变得很紧。我们制定了一个抽象版本的香农下界，恢复经典的香农下界和率失真函数本身作为特殊情况。同样，我们表明，一个非渐近版本的抽象香农下界恢复所有以前已知的非渐近转换。给出了精确达到Shannon下界的一个充分必要条件。它表明，只要满足该条件，速率色散函数是简单地由源的熵。值得注意的是，所有有限字母源与平衡失真措施满足该条件的范围内的低失真。大多数连续源都违反了这一条件。尽管如此，我们表明，格量化器密切接近非渐近香农下界，提供的源密度是足够光滑和失真是低的。这意味着即使在有限的$n$上，精细的多维晶格覆盖在率失真意义上也是接近最优的。的可扩展性证明技术是基于一个新的约束格量化器的输出熵的差分熵的源，格细胞的大小和平滑参数的源密度。该技术避免了通常的随机编码参数和简化假设的抖动信号的存在。
2017-02-25 cs.IT math.IT
Lossy Compression via Sparse Regression Codes: Generalized Construction and Finite-length Bounds
Duke University（杜克大学）；University of Cambridge（剑桥大学）
该研究针对有损压缩问题，广义化了稀疏回归码（SPARCs）的构造，推导了平方误差失真的非渐近界，优化功率分配提升了SPARCs的有限长度性能，为其低复杂度变体提供了失真保证。
2026-08-17 cs.IT math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码，以便表示使用尽可能少的比特。压缩可以是无损的：即，编码数据可以从其表示中精确地恢复），或者是有损的，其中数据比无损情况压缩得更多，但是仍然可以恢复到预定的失真度量内。在本文中，我们证明了Codelet解析，一个准线性时间算法的有损压缩的比特序列是独立和相同的分布（\iid）和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$，使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语，用codelet表示每个短语，codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度，并且像无损Lempel Ziv算法一样，码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
A Rate-Distortion-Classification Approach for Lossy Image Compression
Beijing Institute of Computer Technology and Application（北京计算机技术及应用研究所）
针对有损图像压缩需兼顾视觉分析语义失真的需求，提出率-失真-分类（RDC）统一优化框架，经统计分析和MNIST实验验证其具备理想特性，为人机友好压缩及VCM发展提供新思路。
2024-05-06 cs.AI cs.CV cs.IT
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University（俄勒冈州立大学）
本文探索通用表示，开发单个编码器以在各种失真和分类（或感知）约束下实现多个解码目标，避免为每个操作点重训练编码器，在MNIST数据集验证其在感知压缩任务中性能下降小，但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Subset-Universal Lossy Compression
如果对于每个$0<R'< R$，其码字的$2^{nR'}$的几乎每个子集都实现接近源的失真率函数$D(R')$的平均失真，则对于离散无记忆源$S$的具有速率$R$的有损源代码$\mathcal{C}$被称为子集泛的。本文证明了这类码的渐近存在性。此外，我们证明了一个代码的渐近存在性，是子集普遍的所有来源具有相同的字母表。
2015-03-12 cs.IT math.IT
The Likelihood Encoder for Lossy Compression
在有损信源压缩的背景下研究了似然编码器。似然编码器的分析是基于软覆盖引理。它表明，使用的似然编码器与软覆盖引理产生简单的可扩展性证明经典的信源编码问题。本文研究了点到点率失真函数、解码端带边信息率失真函数（即Wyner-Ziv问题）和多终端信源编码内界（即Berger-Tung问题）的情况。此外，一个非渐近分析用于点到点的情况下，检查由这种方法提供的过度失真的上限。似然编码器还涉及到最近的替代技术，使用随机分箱的属性。
2016-04-05 cs.IT math.IT
Compression-Based Compressed Sensing
现代压缩算法利用信号中存在的复杂结构来非常有效地描述它们。另一方面，压缩感知领域建立在观察到“结构化”信号可以从其欠定的线性投影集合中恢复的基础上。目前，在压缩感知领域中研究的结构的复杂性与最先进的压缩编码所采用的结构的复杂性之间存在很大的差距。确定性信号的文献中的最新结果旨在通过设计采用压缩码的压缩感知解码器来弥合这一差距。本文以结构化随机过程为研究对象，研究率失真编码在此类信号压缩感知中的应用。在这种随机环境下，研究了以前提出的可压缩信号追踪（CSP）算法的性能。它被证明，在非常低的失真制度，作为块长度增长到无穷大，CSP算法可靠和鲁棒地恢复$n$实例的平稳过程从随机线性投影，只要他们的计数是略大于$n$倍的率失真维数（RDD）的来源。在一定的正则性条件下，平稳过程的RDD等于它的信息维（ID）。这种连接建立了CSP算法的最优性，至少对于无记忆平稳源，其基本限制是已知的。最后，它表明，CSP算法结合了一个家庭的通用变长固定失真压缩码产生一个家庭的通用压缩感知恢复算法。
2016-01-07 cs.IT math.IT
Comments on "Approximate Characterizations for the Gaussian Source Broadcast Distortion Region"
最近，Tian等人[1]考虑了在$K$ -用户高斯广播信道上发送高斯信源的联合信源-信道编码，并导出了可容许失真区域的外界。在[1]中，他们指出“由于其非线性形式，似乎难以确定它是否总是比带宽压缩的所有失真状态中的平凡外边界更宽松”。然而，在这种对应关系中，我们解决了这个问题，并证明，对于带宽扩展的情况下（$K\geq2$），这个外边界是严格紧于平凡的外边界，每个用户是最佳的点对点设置，而对于带宽压缩或带宽匹配的情况下，这个外边界实际上退化到平凡的外边界。因此，我们的结果意味着，一方面，在[1]中给出的外界是非平凡的，只有高斯广播通信（$K\geq2$）与带宽扩展;另一方面，不幸的是，没有非平凡的外界存在到目前为止，高斯广播通信（$K\geq2$）与带宽压缩。
2016-07-28 cs.IT math.IT
Generalized Compression Dictionary Distance as Universal Similarity Measure
SKIL Telecom Italia Lab, University of Trento（特伦托大学SKIL意大利电信实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种新的相似性度量的基础上的信息论措施，这是优于归一化压缩距离聚类问题，并继承了条件柯尔莫哥洛夫复杂性的有用属性。我们表明，归一化压缩字典大小和归一化压缩字典熵的计算效率更高，因为需要执行压缩本身被淘汰。此外，它们随着指数向量大小的增长而线性扩展，并且与内容无关。我们表明，归一化的压缩字典距离是压缩机独立的，如果限于无损压缩器，这为实时和大数据应用程序的优化和实现速度的提高提供了空间。该方法适用于无参数无监督聚类、分类和回归等监督学习、特征选择等机器学习任务，也适用于速度增加数量级的大数据问题。
2014-10-21 cs.AI cs.CC cs.IT
Distributed Binary Detection with Lossy Data Compression
考虑这样一个问题：在一个两节点系统中，一个统计学家从一个发送器接收到关于一个无记忆过程的边际观测的速率受限信息，该过程是从两个可能的分布中生成的。使用它自己的观察，这个接收器需要首先通过声明过程的联合分布来识别其发送者的合法性，然后根据这种认证，它生成满足平均每个字母失真的观察的适当重建。通过相应的速率-误差-失真区域来研究该设置的性能，该区域描述了通信速率、由检测引起的误差指数和由源重构引起的失真之间的权衡。在独立性测试的特殊情况下，替代假设意味着源是独立的，最佳率误差失真区域的特点。最后给出了该方法在二进制对称信源中的应用实例，并给出了率误差失真域的显式表达式。“一般假设”的情况下也进行了调查。一个新的可实现的率误差失真区域的基础上，使用非渐近分箱，提高质量的通信描述。进一步提高性能的一般情况下，被证明是可能的，当源重建的要求放宽，这与一般假设的情况下。
2017-03-01 cs.IT math.IT
Information Compression in the AI Era: Recent Advances and Future Challenges
本文综述机器学习与数据压缩的新兴联系，梳理面向任务压缩、率失真-感知理论、深度学习压缩及LLM文本压缩等进展，并展望未来方向。
2024-06-14 cs.IT math.IT
Network Compression: Worst-Case Analysis
本文研究了在二次失真约束下，无记忆网络中分布式相关无记忆源从源节点到目的节点的通信问题。我们建立了以下两个互补的结果：（a）对于任意无记忆网络，在给定相关性的所有分布式无记忆源中，高斯源是最小可压缩的，也就是说，它们允许可实现的失真元组的最小集合，以及（b）对于通过无记忆加性噪声网络通信的任何无记忆源，在给定相关性的所有噪声过程中，高斯噪声容许最小可实现的失真元组集。我们建设性地建立这些结果，显示如何计划相应的高斯问题可以应用到实现类似的性能（源或噪声）分布，不一定是高斯，但具有相同的协方差。
2013-04-05 cs.IT math.IT
Lossy Compression of Exponential and Laplacian Sources using Expansion Coding
本文提出了一种通用的信源编码过扩展方法，它使压缩模拟（连续值信源）的问题简化为一组更简单的问题，即压缩离散信源。具体而言，重点是指数和拉普拉斯源的有损压缩，其随后在被量化之前使用有限字母表扩展。由于这种源的可分解性，所得到的随机变量后扩展是独立的和离散的。因此，每个扩展级别对应于独立的离散信源编码问题，并且原始问题被简化为在具有总失真约束的这些并行信源上进行编码。优化问题的任何可行解都是原始连续值源压缩问题的可实现率失真对。虽然找到这个优化问题的解决方案，在每一个失真是困难的，我们表明，我们的扩展编码方案提出了一个很好的解决方案，在低distrotion制度。此外，通过采用为离散信源编码设计的低复杂度码，总编码复杂度在实践中可以是易处理的。
2013-08-10 cs.IT math.IT
Adaptive Rate Control for Deep Video Compression with Rate-Distortion Prediction
Nanjing University（南京大学）；T-Head Semiconductor Co., Ltd.（T-Head半导体有限公司）
本文提出一种基于神经网络的λ域码率控制方案，通过从未压缩帧直接学习R-D-λ关系，为深度视频压缩实现无需预编码的高精度自适应码率控制，并有效缓解帧间质量波动。
2025-05-08 cs.CV cs.IT cs.MM
Using the Semantic Information G Measure to Explain and Extend Rate-Distortion Functions and Maximum Entropy Distributions
In the rate-distortion function and the Maximum Entropy (ME) method, Minimum Mutual In-formation (MMI) distributions and ME distributions are expressed by Bayes-like formulas, in-cluding Negative Exponential Functions (NEFs) and partition functions. Why do these non-probability functions exist in Bayes-like formulas? On the other hand, the rate-distortion function has three disadvantages: (1) the distortion function is subjectively defined; (2) the defi-nition of the distortion function between instances and labels is often difficult; (3) it cannot be used for data compression according to the…
2021-09-07 cs.IT math.IT
f-divergences and their applications in lossy compression and bounding generalization error
在本文中，我们提供了三个应用$f$ -发散：（i）我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散，并表明，我们的广义Sanov的界严格改善普通的，（ii）我们考虑的有损压缩问题，研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数，使用相互$f$ -信息，并提供新的和严格更好的界限，可实现的速率在有限块长度制度，使用超级模块$f$ -分歧，和（iii）我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限，（对于某些例子）严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models
UT Austin（德克萨斯大学奥斯汀分校）；EPFL（洛桑联邦理工学院）
该研究形式化大语言模型提示压缩问题，提出率失真框架推导其基本极限，发现现有方法与最优策略存在差距，并提出感知查询的Adaptive QuerySelect方法缩小差距，经合成与自然语言数据集验证结论。
2024-12-11 cs.CL cs.IT cs.LG
Polar Lattices for Lossy Compression
最近，由极化码构造的极化格被证明能够实现加性高斯白噪声（AWGN）信道的容量。在这项工作中，我们提出了一种新的构造极格来解决对偶问题，即，实现无记忆高斯源的率失真界限，这意味着极坐标也可以用于连续源的有损压缩。所提出的极格子的结构使我们能够将后熵编码过程集成到格子量化器中，这简化了量化过程。对于亚指数衰减的过量失真，编码和解码复杂度的总体复杂度是$O(N \log^2 N)$。此外，极格的嵌套结构进一步为一些多端编码问题提供了解决方案。高斯源的Wyner-Ziv编码问题可以通过嵌套在实现率失真界中的AWGN容量实现极格来解决，并且Gelfand-Pinsker问题可以以相反的方式解决。
2021-05-15 cs.IT math.IT
Lossy Compression via Sparse Linear Regression: Computationally Efficient Encoding and Decoding
我们提出了计算效率的编码器和解码器的有损压缩使用稀疏回归码。码本由设计矩阵定义，并且码字是该矩阵的列的结构化线性组合。所提出的编码算法顺序地选择设计矩阵的列来连续地近似源序列。它示出，以实现最佳的失真率函数独立同分布高斯源下的平方误差失真准则。对于给定的速率，可以改变设计矩阵的参数以在失真性能与编码复杂度之间进行权衡。作为块长度n的函数的这种折衷的示例如下。对于每个源样本的计算资源（空间或时间）为O（（n/ \log n）^2），对于高斯失真率函数以上的固定失真水平，过度失真的概率在n中呈指数衰减。稀疏回归码在以下意义上是鲁棒的：对于任何遍历源，所提出的编码器实现了具有相同方差的i.i.d高斯源的最佳失真率函数。仿真结果表明，该编码器具有良好的经验性能，特别是在低速率和中等速率。
2014-03-28 cs.IT math.IT stat.ML
Analysis of LDGM and compound codes for lossy compression and binning
最近的工作表明，低密度生成矩阵（LDGM）码可能是有效的有损信源编码的问题。我们推导出严格的上界的有效率失真函数的LDGM码的二进制对称源，表明他们迅速接近率失真函数的程度增加。我们还将标准LDGM结构与我们之前工作中引入的复合LDPC/LDGM结构进行比较和对比，该结构可证明以有限度饱和率失真界限。此外，这种复合结构可用于产生同时作为信源和信道码的嵌套码，因此非常适合于具有辅助信息的信源/信道编码。我们构造的稀疏和高围长的图形结构使它们非常适合消息传递编码。
2006-02-13 cs.IT math.IT
