Rate Distortion For Model Compression: From Theory To Practice
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Inc.(谷歌公司);Allen School of Computer Science and Engineering(艾伦计算机科学与工程学院)
现代深度神经网络的巨大规模使得在内存和通信受限的场景中部署这些模型具有挑战性。因此,在不显著损失性能的情况下压缩训练模型已成为越来越重要的任务。最近已经取得了巨大的进步,其中主要的技术构建块是参数修剪,参数共享(量化)和低秩因子分解。在本文中,我们提出了原则性的方法,以改善在这些积木,即修剪和量化中使用的常见算法。我们首先从率失真理论出发,研究了模型压缩的基本极限。我们把率失真函数从数据压缩到模型压缩来量化这个基本限制。我们证明了率失真函数的一个下界,并证明了其线性模型的可扩展性。虽然这种可实现的压缩方案在实践中是棘手的,这种分析激发了一种新的模型压缩框架。该框架为模型压缩提供了一种新的目标函数,可以与其他类型的模型压缩器(如修剪或量化)一起应用。理论上,我们证明了所提出的方案是压缩单隐藏层ReLU神经网络的最佳方案。从经验上讲,我们表明,所提出的方案提高了基线的压缩精度的权衡。
2019-01-23 cs.IT cs.LG math.IT
Semantic Compression with Side Information: A Rate-Distortion Perspective
我们考虑面向任务的视频压缩的语义率失真问题。对应于任务的语义信息,这是不可观察的编码器,通过联合概率分布显示对观察的影响。在视频压缩中帧内片段和帧间片段之间的相似性被公式化为在编码器和解码器两者处可用的边信息。解码器感兴趣的是恢复的观察,并作出一定的失真约束下的语义信息的推断。我们建立了压缩率和失真之间的权衡充分表征率失真函数的信息理论的限制。我们进一步评估了三种情况下的特定马尔可夫条件下的率失真函数:i)任务和观察都是二进制源; ii)任务是一个整数观测的偶数和奇数的二进制分类; iii)高斯相关的任务和观察。我们还通过数值结果说明,恢复只有语义信息可以降低编码率相比,恢复源观察。
2022-08-12 cs.IT math.IT
The Optimal Compression Rate of Variable-to-Fixed Length Source Coding with a Non-Vanishing Excess-Distortion Probability
我们考虑可变到固定长度的有损信源编码(VFSC)问题。可变到固定信源编码的平均长度的最佳压缩率,允许过度失真$\varepsilon$的非零概率,被示出为等于$(1-\varepsilon)R(D)$,其中$R(D)$是源的率失真函数。与Koga和Yamamoto以及Kostina、Polyanskiy和Verdú关于固定到可变长度信源编码的相关结果相比,我们的结果证明了一个有趣的特征,即可变到固定长度信源编码具有与固定到可变长度信源编码相同的一阶压缩率。
2018-03-19 cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施,只透露给编码器,只有在运行时,以及它的扩展,其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析,并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法,第二种编码方案使用失真度量空间的适当量化,第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
Universality of Logarithmic Loss in Lossy Compression
我们建立了两个强烈的意义上的普遍性的对数损失作为有损压缩的失真标准:对于任何固定长度的有损压缩问题下的任意失真标准,我们表明,有一个等价的有损压缩问题下的对数损失。在连续细化问题中,如果第一个解码器操作下的对数损失,我们表明,任何离散的无记忆源连续细化下的任意失真准则的第二个解码器。
2017-09-01 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架,通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡,理论证明高斯源下可覆盖全部权衡区域,实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
TACTIC: Joint Rate-Distortion-Accuracy Optimisation for Low Bitrate Compression
University of Surrey(萨里大学)
TACTIC:Task-Aware Compression Through Intelligent Coding。我们的有损压缩模型基于特定任务的速率-失真-精度权衡进行学习。通过考虑哪些信息对于后续问题是重要的,系统在低比特率下权衡视觉保真度以获得良好的任务性能。与相同比特率的JPEG相比,我们的方法能够将ImageNet子集分类的准确性提高4.5%。我们还证明了我们的方法对其他问题的适用性,提供了一个3.4%的准确性和4.9%的平均IoU的性能提高任务无关的压缩语义分割。
2021-09-22 cs.CV cs.IT eess.IV
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models
UT Austin(德克萨斯大学奥斯汀分校);EPFL(洛桑联邦理工学院)
该研究形式化大语言模型提示压缩问题,提出率失真框架推导其基本极限,发现现有方法与最优策略存在差距,并提出感知查询的Adaptive QuerySelect方法缩小差距,经合成与自然语言数据集验证结论。
2024-12-11 cs.CL cs.IT cs.LG
f-divergences and their applications in lossy compression and bounding generalization error
在本文中,我们提供了三个应用$f$ -发散:(i)我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散,并表明,我们的广义Sanov的界严格改善普通的,(ii)我们考虑的有损压缩问题,研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数,使用相互$f$ -信息,并提供新的和严格更好的界限,可实现的速率在有限块长度制度,使用超级模块$f$ -分歧,和(iii)我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限,(对于某些例子)严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
A Large Deviations Approach to Secure Lossy Compression
我们考虑一个香农密码系统的无记忆源,其中失真是允许在合法的解码器。使用由共享密钥保护的率失真码来压缩源,所述共享密钥满足对压缩率的约束,以及对合法解码器处的过量失真概率的指数率的约束。秘密性是通过窃听者处的微小失真概率的指数率来测量的,而不是通过传统的含糊性测量。我们定义的完美保密指数的最大微小失真指数时,密钥速率是无限的。在有限的密钥速率下,对一类相当一般的变密钥速率码,证明了最大可实现的弱失真指数等于平均密钥速率与完美保密指数之间的最小值.
2015-04-22 cs.IT math.IT
Rate-Distortion Analysis of Optically Passive Vision Compression
University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于光学生成余弦变换的视觉压缩方法,通过模拟对比发现其率-失真性能优于传统事件相机
2026-02-02 cs.IT math.IT
Compression in the Space of Permutations
我们研究了以置换形式的数据的有损压缩(信源编码)。这个问题在有序数据或排序的存储以及排序算法的分析中有直接的应用。分析了均匀分布下置换空间的率失真特性,以及恢复后允许有界失真的最小可达压缩率。我们的分析是关于不同的实际和有用的失真措施,包括肯德尔-陶距离,斯皮尔曼的foottrule,切比雪夫距离和反演- $\ell_1$距离。我们建立等价的源代码设计在一定的失真,并显示简单的显式代码设计,产生低编码/解码的复杂性和渐近最优。最后,我们表明,对于Mallow模型,一个流行的非均匀排列模型的置换空间,熵和最大失真在零速率是远远低于均匀的同行,这激励了未来的设计高效的压缩方案,这种模式。
2015-10-17 cs.IT math.IT
On the Suboptimality of Rate--Distortion-Optimal Compression: Fundamental Accuracy Limits for Distributed Localization
The Alexander Kofkin Faculty of Engineering, Bar-Ilan University(巴伊兰大学亚历山大·科夫金工程学院)
研究在仅能获取独立速率-失真最优压缩多传感器观测的情况下,分布式定位的基本精度限制,通过高斯RD测试信道模型和Whittle频谱Fisher信息特性,推导出频域Cramér-Rao下限,并揭示速率诱导的性能转变。
2026-03-24 cs.IT eess.SP math.IT
Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff
Technion--Israel Institute of Technology(以色列理工学院)
有损压缩算法通常通过香农(Shannon)的率失真理论的透镜来设计和分析,其中目标是实现最低可能失真(例如,低MSE或高SSIM)。然而,近年来,人们越来越多地接受“低失真”并不是“高感知质量”的同义词,事实上,一个的优化往往是以牺牲另一个为代价的。根据这种理解,很自然地寻求将感知质量考虑在内的率失真理论的推广。在本文中,我们采用了Blau & Michaeli(2018)最近提出的感知质量的数学定义,并使用它来研究速率,失真和感知之间的三方面权衡。我们表明,限制的感知质量是高的,通常会导致率失真曲线的海拔,从而需要牺牲率或失真。我们证明了这个三重权衡的几个基本属性,计算它在封闭形式的伯努利源,并说明它在一个玩具MNIST的例子。
2019-07-30 cs.CV cs.IT cs.LG
Rate-Distortion Modeling for Bit Rate Constrained Point Cloud Compression
点云作为三维真实世界的主要表现形式之一,非常适合虚拟现实和增强现实应用,得到了广泛的应用。为了减少庞大的数据量,人们对点云数据压缩进行了大量的研究。然而,给定目标比特率,如何正确选择颜色和几何量化参数来压缩点云仍然是一个悬而未决的问题。提出了一种基于率失真模型的点云压缩量化参数选择方法。首先,为了克服点云畸变测量中的不确定性,提出了一种将几何畸变和颜色畸变相结合的统一模型。在这个模型中,我们考虑到点云的几何和颜色变量之间的相关性,并推导出一个无量纲的量来表示整体质量下降。然后,我们推导出总失真和比特率与量化参数的关系。最后,我们制定的比特率约束的点云压缩作为一个约束最小化问题,使用派生的多项式模型,并推导出通过迭代数值方法的解决方案。实验结果表明,该算法在不同的目标比特率下都能获得最佳的解码点云质量,且性能明显优于基于视频率失真模型的点云压缩方案。
2022-11-19 cs.IT cs.MM eess.IV
A Rate-Distortion-Classification Approach for Lossy Image Compression
Beijing Institute of Computer Technology and Application(北京计算机技术及应用研究所)
针对有损图像压缩需兼顾视觉分析语义失真的需求,提出率-失真-分类(RDC)统一优化框架,经统计分析和MNIST实验验证其具备理想特性,为人机友好压缩及VCM发展提供新思路。
2024-05-06 cs.AI cs.CV cs.IT
Online Conformal Compression for Zero-Delay Communication with Distortion Guarantees
本文提出在线共形压缩(OCC),在编码器和解码器均配备预训练预测器的零时延有损压缩场景下,利用在线共形预测为任意时刻提供确定性的逐序列失真上界保证,并在实验中达到接近事后最优子集选择的压缩率。
2025-03-11 cs.IT eess.SP math.IT
Single-Shot Lossy Compression for Joint Inference and Reconstruction
本文研究解码器同时完成数据重建与推理的单次有损压缩问题,将其建模为直接-间接信源编码并推导超额失真概率的上下界,还在对数损失下给出易计算的可达界。
2023-09-30 cs.IT math.IT
The Lack of Convexity of the Relevance-Compression Function
本文研究了信息瓶颈和信息失真问题中相关压缩函数的凸性。该曲线是率失真曲线的模拟,其是凸的。在本文讨论的问题中,失真函数不是量化器的线性函数,相关压缩函数不一定是凸(凹)的,但可以改变其凸性。我们将这种现象与存在的一阶相变在相应的拉格朗日作为退火参数的函数。
2022-04-22 cs.IT math.IT
Resource Allocation for Compression-aided Federated Learning with High Distortion Rate
Sejong University(世宗大学);Pusan National University(釜山国立大学)
最近,已经进行了大量的工作来解决联邦学习(FL)中的通信负担(例如,模型量化、数据稀疏化和模型压缩)。然而,现有的方法,提高FL的通信效率,导致通信效率和全局收敛速度之间的相当大的权衡。我们为压缩辅助FL制定了一个优化问题,该问题捕获了失真率、参与物联网设备数量和收敛率之间的关系。然后,目标函数是最小化FL收敛的总传输时间。由于问题是非凸的,我们建议将其分解成子问题。基于FL模型的属性,我们首先确定参与FL过程的IoT设备的数量。然后,通过基于联盟游戏有效地分配无线资源来优化IoT设备和服务器之间的通信。我们的理论分析表明,通过主动控制参与物联网设备的数量,我们可以避免压缩辅助FL的训练发散,同时保持通信效率。
2022-06-02 cs.AI cs.IT cs.LG
A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
本文基于率-失真-感知-分类(RDPC)框架,受通用RDP编码器启发,研究通过单个固定编码器结合多解码器实现多样失真-分类权衡的通用表示,理论与实验验证其在高斯源及MNIST、SVHN数据集上的有效性与实用性。
2025-04-14 cs.IT math.IT
On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework
Shanghai Jiao Tong University(上海交通大学)
有损压缩算法通常被设计成在给定比特率下实现最低可能失真。然而,最近的研究表明,追求高感知质量将导致最低可实现失真的增加(例如,MSE)。本文从理论上提供了重要的结果,揭示了,\textit{1})实现完美感知质量的成本恰好是最低可实现MSE失真的两倍,\textit{2})对于“经典”率失真问题的最佳编码器也是最佳的感知压缩问题,\textit{3})失真损失对于训练感知解码器是不必要的。此外,我们提出了一种新的训练框架,以实现最低的MSE失真在完美的感知约束下,在给定的比特率。该框架使用了一个GAN,其具有以MSE优化编码器为条件的SNR,这优于使用失真加对抗性损失的传统框架。实验结果验证了理论分析的正确性,并证明了该训练框架的优越性。
2021-06-05 cs.AI cs.IT math.IT
Joint Lossy Compression for a Vector Gaussian Source under Individual Distortion Criteria
Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学);Pengcheng Laboratory(鹏城实验室);Technische Universität Berlin(柏林工业大学);Princeton University(普林斯顿大学)
本文研究了向量高斯源在个体失真准则下的联合损失压缩,推导了包含相关性的显式RDF,并揭示了相关性与失真约束之间的权衡。
2026-02-06 cs.IT math.IT
Cumulant Generating Function of Codeword Lengths in Variable-Length Lossy Compression Allowing Positive Excess Distortion Probability
本文研究可变长有损信源编码,以超额失真概率和码字长度累积量生成函数为准则,推导了允许正超额失真概率的非渐近基本极限,由Rényi熵刻画,并给出显式码构造及平稳无记忆信源的渐近单字母刻画。
2018-01-11 cs.IT math.IT
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University(俄勒冈州立大学)
本文探索通用表示,开发单个编码器以在各种失真和分类(或感知)约束下实现多个解码目标,避免为每个操作点重训练编码器,在MNIST数据集验证其在感知压缩任务中性能下降小,但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
CSI Compression for Massive MIMO-OFDM: Mismatch-Aware Rate-Distortion Trade-offs
POSTECH(韩国科学技术院)
本文研究了在基站使用不完美的协方差模型重建CSI时,宽频频分复用大规模MIMO的CSI压缩问题。提出了一种基于Gaussian测试信道和不匹配MMSE重建规则的可实现不匹配Gaussian率-失真特性,通过共享特征向量域实现鲁棒的反向水填充分配。
2026-04-19 cs.IT math.IT
Rate-Distortion Theory for Mixed States
本文研究带边信息的混合量子态系综压缩的率失真问题,推导了不同纠缠辅助场景下的率失真函数与完整率区域,压缩方案可适配多种压缩模型。
2024-06-20 cs.IT math.IT quant-ph
On lossy Compression of Directed Graphs
由Csiszar和Korner提出的类型方法是一种用于开发和分析有限字母表上数据序列的基本属性和约束的核心工具。使用这些工具所考虑的中心问题是数据压缩的问题,并且特别是有损数据压缩的问题。在这项工作中,我们考虑这个问题,但是,而不是序列的数据,我们考虑有向图。我们表明,给定一个更自然的失真措施,拟合的数据结构的有向图,类型的方法不能应用。所建议的失真度量旨在保持有向图的局部结构。我们建立在Barvinok最近的工作和扩展的方法类型的二维的设置的有向图。我们看到,这种延伸在许多方面都是很自然的。鉴于此扩展,我们提供了一个下限和上限的率失真问题的有损压缩给定的失真措施。
2021-11-27 cs.IT math.IT
Approaching Rate-Distortion Limits in Neural Compression with Lattice Transform Coding
Department of Electrical and Systems Engineering, University of Pennsylvania(电气与系统工程系,宾夕法尼亚大学)
本文提出格变换编码(LTC),通过在潜在空间中用格量化替代标量量化,以合理复杂度近似恢复最优向量量化,从而改进标准神经压缩器,逼近率失真极限。
2025-07-13 cs.IT cs.LG eess.SP
Variable-Length Lossy Compression Allowing Positive Overflow and Excess Distortion Probabilities
本文研究了码字长度允许正的过度失真概率和溢出概率的变长有损信源编码问题。基于光滑最大熵(零阶光滑Rényi熵)的新量,建立了新的单次可逼近性和最优速率的逆界.为了推导出可扩展性界,我们给出了一个显式的代码构造的基础上的失真球,而不是使用随机编码参数。码构造的基本思想类似于变长无损信源编码中的最优码构造。我们的可重复性界限略有不同,这取决于编码器是随机的还是确定性的。一次性结果产生了块长度$n$的最佳速率的一般公式。此外,我们的一般公式适用于渐近分析的平稳无记忆源。因此,我们通过使用率失真和率分散函数来获得最佳速率的单字母表征。
2018-12-14 cs.IT math.IT
A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing
Intel Labs(英特尔实验室)
拆分计算已经成为实现基于DNN的AI工作负载的最新范例,其中DNN模型被分成两部分,其中一部分在移动/客户端设备上执行,另一部分在边缘服务器(或云)上执行。将数据压缩应用于来自DNN的需要传输的中间张量,从而解决优化速率-准确度-复杂度权衡的挑战。现有的分裂计算方法采用基于ML的数据压缩,但需要针对不同的压缩级别重新训练整个DNN模型或其中的重要部分的参数。这会带来很高的计算和存储负担:从头开始训练完整的DNN模型在计算上要求很高,维护DNN参数的多个副本会增加存储需求,并且在推理期间切换完整的权重集会增加内存带宽。在本文中,我们提出了一种解决所有这些挑战的方法。它涉及瓶颈单元的系统设计和训练--简单、低成本的神经网络--可以在分裂点插入。我们的方法是非常轻量级的,无论是在训练和推理,非常有效,并实现了出色的率失真性能在一小部分的计算和存储开销相比,现有的方法。
2022-08-24 cs.IT cs.LG math.IT
One-shot lossy quantum data compression
我们提供了一个单次量子率失真编码的框架,其中的目标是确定压缩量子信息所需的量子比特的最小数量作为解压缩时引起的失真超过一些指定水平的概率的函数。我们得到了一个一次性的最小量子比特压缩大小的纠缠辅助量子率失真码的平滑最大信息,以前在一次性量子反向香农定理中使用的量。接下来,我们展示了这种表征如何收敛到已知的表达式的纠缠辅助量子率失真函数的渐近许多副本的无记忆量子信息源。最后,我们给出了一个严格的,有限的块长度表征的纠缠辅助的最小量子比特压缩尺寸的无记忆各向同性量子比特源的平均符号的失真约束。
2013-09-17 cs.IT math.IT quant-ph
System-Aware Compression
许多信息系统采用有损压缩作为其它处理组件之间的关键中间阶段。虽然重要的失真由系统的输入和输出信号定义,但压缩通常忽略系统结构,因此导致总体次优率失真性能。在本文中,我们提出了一种压缩方法,考虑到一个已知的系统布局,使用线性算子和噪声建模的操作率失真优化。使用交替方向乘法器(ADMM)技术,我们表明,新的全球优化压缩的设计减少到一个标准的压缩的“系统调整”的信号。本质上,所提出的框架利用标准压缩技术来解决噪声信源编码问题的实际设置。我们进一步解释我们的方法的主要思想,通过理论研究的情况下,循环平稳高斯信号。我们提出了一维信号的编码和使用HEVC标准的视频压缩的实验结果,通过对采集-渲染系统的调整显示出显著的增益。
2018-05-11 cs.IT math.IT
Fundamental Distortion Limits of Analog-to-Digital Compression
用一组样本来表示连续时间信号是信号处理中的一个经典问题。我们研究这个问题的额外约束下,在有限的比特率预算下,以有损的方式量化或压缩的样本。为此,我们考虑一个组合的采样和信源编码的问题,其中一个模拟的平稳高斯信号是从其编码样本重建。这些样本是通过连续时间路径的一组有界线性泛函获得的,并且对该设置中每单位时间获得的平均样本数量有限制。我们提供了一个完整的表征的采样频率,比特率和信号的频谱方面的最小失真。假设信号的能量不是均匀分布在其频谱支持,我们表明,对于每个压缩比特率存在一个临界采样频率小于奈奎斯特速率,使得在此频率下采样时,信号重构的失真是最小的。我们的结果可以被看作是一个扩展的经典采样定理的带限随机过程的意义上,它描述了最小量的过度失真的重建,由于有损压缩的样本,并提供了所需的最小采样频率,以实现这种失真。最后,我们比较的基本限制相结合的信源编码和采样问题的脉冲编码调制(PCM)的性能,其中每个样本是由一个标量量化器使用一个固定的比特数进行量化。
2018-04-10 cs.IT math.IT
Adaptive Rate Control for Deep Video Compression with Rate-Distortion Prediction
Nanjing University(南京大学);T-Head Semiconductor Co., Ltd.(T-Head半导体有限公司)
本文提出一种基于神经网络的λ域码率控制方案,通过从未压缩帧直接学习R-D-λ关系,为深度视频压缩实现无需预编码的高精度自适应码率控制,并有效缓解帧间质量波动。
2025-05-08 cs.CV cs.IT cs.MM
Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression
University of Science and Technology of China(中国科学技术大学)
本文系统研究神经图像压缩中的率-失真-复杂度(RDC)优化,通过将解码复杂度纳入优化目标,设计可变复杂度编解码器以自适应利用空间依赖性,实现细粒度复杂度调整,兼顾率失真性能与解码效率。
2023-05-12 cs.IT cs.LG eess.IV
Robust Distributed Compression of Symmetrically Correlated Gaussian Sources
考虑具有$\ell$分布式编码器和集中式解码器的有损压缩系统。每个编码器压缩其观测源,并将压缩数据转发到解码器,用于在均方误差失真约束下联合重建目标信号。假设观测源可以表示为目标信号和破坏性噪声之和,这两个破坏性噪声独立地产生于两个对称的多元高斯分布。取决于这样的分布的参数,该系统的率失真极限的特征在于完全或至少足够低的失真。结果被进一步扩展到鲁棒分布式压缩设置,其中编码器的子集的输出也可以用于产生对应的目标信号的非平凡重构。特别是,我们在高-当所有$\ell$编码器中的每个$k$共同以相同模式操作时,基于$k+1$或更多编码器的输出的最小可实现重构失真的精确表征,该模式在最小化由相应$k$目标信号的重构引起的失真相对于这些目标信号的平均速率的意义上是贪婪的$k$编码器。
2018-07-18 cs.IT math.IT
A Theoretical Framework for Rate-Distortion Limits in Learned Image Compression
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出了一种理论框架,用于分析学习图像压缩的率-失真极限,通过分解性能损失的三个关键组成部分,提供结构化视角和可操作的近似值。
2026-01-14 cs.IT math.IT
Universal Sampling Rate Distortion
Department of Electrical and Computer Engineering and the Institute for Systems Research, University of Maryland, College Park(马里兰大学帕克分校电气与计算机工程系及系统研究所)
我们研究了协调和普遍的速率有效的采样相关的离散无记忆源的一个子集,其次是有损压缩的采样源。目标是在指定的失真水平内重建预先指定的源子集。组合的采样机制和率失真码是通用的,因为它们被设计为在没有源的潜在联合概率分布的确切知识的情况下鲁棒地执行。在贝叶斯和非贝叶斯设置中,为固定集采样、独立随机采样和无记忆随机采样的通用采样率失真函数提供了单字母特征。它说明了如何这些采样机制是越来越好。我们的可压缩性证明带来了新的方案,联合源分布学习和有损压缩。
2017-06-22 cs.IT cs.LG math.IT
Measuring Information Distortion in Hierarchical Ultra long Novel Reconstruction:The Optimal Expansion Ratio
Stevens Institute of Technology(史蒂文斯理工学院)
本文针对层级式超长小说重建,基于 LLMZip 与 LLM2Vec 进行信息论分析,研究大纲长度及压缩-扩展比率对语义失真的影响,并通过实验验证最优比率可显著减少信息失真。
2025-07-27 cs.AI cs.CL cs.IT
Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection
Advanced Center for Electrical and Electronic Engineering(先进电子电气工程中心);University of Chile(智利大学)
提出了一种新的用于异常检测的有损因果时间卷积神经网络自编码器。我们的框架使用率失真损失和熵瓶颈来学习任务的压缩潜在表示。使用率失真损失的主要思想是引入表示的灵活性,忽略或变得鲁棒的不太可能的事件与独特的模式,如异常。这些异常表现为独特的失真特征,可以在测试条件下准确检测。这种新的架构允许我们训练一个完全无监督的模型,该模型在从失真分数检测异常时具有很高的准确性,尽管是用一些未标记的异常数据进行训练的。这种设置与许多最先进的无监督方法形成鲜明对比,这些方法要求模型仅在“正常数据”上进行训练。我们认为,这部分违反了异常检测的无监督训练的概念,因为模型使用了一个明智的决策,从异常中选择正常的训练。此外,有证据表明,它也影响模型的泛化能力。我们证明了,在只对正常数据进行训练的范例中取得成功的模型在异常数据注入训练时无法保持稳健。相比之下,我们的基于压缩的方法收敛到一个强大的表示,容忍一些异常失真。通过使用率失真损失的模型实现的鲁棒表示可以用于更现实的无监督异常检测方案中。
2022-12-05 cs.IT cs.LG math.IT
Single-shot lossy compression: mutual information bounds
California Institute of Technology(加州理工学院)
本文提出通过互信息上界来优化数据压缩,证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
Towards Empirical Sandwich Bounds on the Rate-Distortion Function
UC Irvine(加州大学欧文分校)
率失真(R-D)函数是信息论中的一个重要量,它描述了在满足保真度要求的前提下,任何压缩算法对数据源的压缩程度的基本极限。随着研究人员不断提高压缩性能,建立给定数据源的R-D函数不仅具有科学意义,而且还揭示了改进压缩算法的可能空间。以前关于这个问题的工作依赖于对数据源的分布假设(Gibson,2017)或仅适用于离散数据(Blahut,1972; Arimoto,1972)。相比之下,本文首次尝试了一种算法,用于计算一般(不一定是离散的)源的R-D函数,只需要i.i.d.。数据样本。我们在远远超出任何已知方法的可行性的设置中估计了各种人工和真实世界数据源的R-D三明治界限,并阐明了神经数据压缩的最优性(Ballé等人,2021年; Yang等人,2022年)。我们对自然图像的R-D上限表明,在各种比特率下,最先进的图像压缩方法的PSNR至少有一个dB的理论空间。我们的数据和代码可以在https://github.com/mandt-lab/empirical-RD-sandwich上找到。
2022-03-11 cs.IT cs.LG math.IT
UniTAC: Universal Task-Aware Compression via Weighted Distortion Measures
Nokia Bell Labs(诺基亚贝尔实验室)
UniTAC是一种无需重新训练的通用任务感知图像编解码器,通过任务重要性向量调节,在0.034 bpp时准确率达91.4%,优于通用编解码器,接近任务专用编解码器。
2026-09-14 cs.AI cs.IT cs.LG
Lossy Compression via Sparse Linear Regression: Computationally Efficient Encoding and Decoding
我们提出了计算效率的编码器和解码器的有损压缩使用稀疏回归码。码本由设计矩阵定义,并且码字是该矩阵的列的结构化线性组合。所提出的编码算法顺序地选择设计矩阵的列来连续地近似源序列。它示出,以实现最佳的失真率函数独立同分布高斯源下的平方误差失真准则。对于给定的速率,可以改变设计矩阵的参数以在失真性能与编码复杂度之间进行权衡。作为块长度n的函数的这种折衷的示例如下。对于每个源样本的计算资源(空间或时间)为O((n/ \log n)^2),对于高斯失真率函数以上的固定失真水平,过度失真的概率在n中呈指数衰减。稀疏回归码在以下意义上是鲁棒的:对于任何遍历源,所提出的编码器实现了具有相同方差的i.i.d高斯源的最佳失真率函数。仿真结果表明,该编码器具有良好的经验性能,特别是在低速率和中等速率。
2014-03-28 cs.IT math.IT stat.ML
Same Compression Principle, Different Geometry: Rate-Distortion Signatures Dissociate Biological and Artificial Visual Systems
Windreich Department of AI;Human Health, Icahn School of Medicine at Mount Sinai, New York, NY, USA;Department of Computing, Imperial College London, London, UK;Department of Psychiatry, Icahn School of Medicine at Mount Sinai, New York, NY, USA;Department of Neuroscience, Icahn School of Medicine at Mount Sinai, New York, NY, USA;Berkman Klein Center for Internet \& Society, Harvard University, Cambridge, MA, USA
本文提出率-失真理论框架,通过斜率和曲率签名分析系统泛化与鲁棒性权衡,揭示生物与人工系统在RD空间中的不同表现。
2026-07-15 cs.CV cs.IT cs.LG
An Information-Theoretic Justification for Model Pruning
Stanford University(斯坦福大学);Hongik University(弘益大学)
本文从率失真理论的角度研究了神经网络的压缩问题,考察了压缩比与神经网络性能之间的矛盾。我们选择一个失真度量,反映了NN压缩对模型输出的影响,并得出率(压缩)和失真之间的权衡。除了表征NN压缩的理论极限之外,该公式还表明,\emph{pruning}(隐式或显式)必须是良好压缩算法的一部分。这一观察弥合了有关NN和数据压缩的文献部分之间的差距,分别提供洞察模型修剪的经验成功。最后,我们提出了一种新的修剪策略,该策略来自我们的信息理论公式,并表明它在CIFAR-10和ImageNet数据集上的性能优于相关基线。
2022-02-09 cs.IT cs.LG eess.SP
Fixed-length lossy compression in the finite blocklength regime
本文研究了最小可达信源编码速率作为块长度$n$和失真超过给定水平$d$的概率$ε$的函数。紧一般的可扩展性和逆界推导出,持有在任意固定的块长度。对于固定的可分离失真的无记忆源,可实现的最小速率被证明是密切近似的$R(d) + \sqrt{\frac{V(d)}{n}} Q^{-1}(ε)$,其中$R(d)$是率失真函数,$V(d)$是速率分散,源的一个特性,它测量其随机变化,和$Q^{-1}(ε)$是标准的高斯互补CDF的逆。
2014-02-04 cs.IT math.IT
Network Control: A Rate-Distortion Perspective
今天的网络是假设预压缩和分组化数据来控制的。对于视频,数据分组的这种假设抽象出了一个关键方面-有损压缩问题。因此,首先,本文开发了一个网络控制框架,结合源速率和源失真。然后将网络控制问题分解为应用层压缩控制、传输层拥塞控制和网络层调度。结果表明,这种分解是凹效用函数的最佳。最后,本文得出进一步的见解,从发达国家的率失真框架,专注于具体问题。
2011-06-01 cs.IT math.IT
Data compression with low distortion and finite blocklength
本文考虑有损信源编码的$n$维无记忆源,并显示了一个显式近似的最小信源编码率维持超过失真的概率$d$不大于$ε$,这是简单的比已知的色散为基础的近似。我们的方法从著名的经典结果中得到启发,该结果表明率失真函数的香农下限在极限$d \to 0$中变得很紧。我们制定了一个抽象版本的香农下界,恢复经典的香农下界和率失真函数本身作为特殊情况。同样,我们表明,一个非渐近版本的抽象香农下界恢复所有以前已知的非渐近转换。给出了精确达到Shannon下界的一个充分必要条件。它表明,只要满足该条件,速率色散函数是简单地由源的熵。值得注意的是,所有有限字母源与平衡失真措施满足该条件的范围内的低失真。大多数连续源都违反了这一条件。尽管如此,我们表明,格量化器密切接近非渐近香农下界,提供的源密度是足够光滑和失真是低的。这意味着即使在有限的$n$上,精细的多维晶格覆盖在率失真意义上也是接近最优的。的可扩展性证明技术是基于一个新的约束格量化器的输出熵的差分熵的源,格细胞的大小和平滑参数的源密度。该技术避免了通常的随机编码参数和简化假设的抖动信号的存在。
2017-02-25 cs.IT math.IT
Lossy Compression via Sparse Regression Codes: Generalized Construction and Finite-length Bounds
Duke University(杜克大学);University of Cambridge(剑桥大学)
该研究针对有损压缩问题,广义化了稀疏回归码(SPARCs)的构造,推导了平方误差失真的非渐近界,优化功率分配提升了SPARCs的有限长度性能,为其低复杂度变体提供了失真保证。
2026-08-17 cs.IT math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码,以便表示使用尽可能少的比特。压缩可以是无损的:即,编码数据可以从其表示中精确地恢复),或者是有损的,其中数据比无损情况压缩得更多,但是仍然可以恢复到预定的失真度量内。在本文中,我们证明了Codelet解析,一个准线性时间算法的有损压缩的比特序列是独立和相同的分布(\iid)和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$,使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语,用codelet表示每个短语,codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度,并且像无损Lempel Ziv算法一样,码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
Modeling Image Quantization Tradeoffs for Optimal Compression
University of California, Berkeley(加州大学伯克利分校)
所有的有损压缩算法都采用类似的压缩方案--频域变换后进行量化和无损编码方案。他们的目标是通过量化高频数据来提高压缩率,这是以更高的图像失真为代价的。我们提出了一种使用深度学习和极大极小损失函数来优化量化表的新方法,该方法比以前的方法更准确地测量速率和失真参数(RD)之间的权衡。我们设计了一个卷积神经网络(CNN),它以无监督的方式学习图像块和量化表之间的映射。通过同时处理所有通道的图像,我们可以通过测量不同通道之间的信息损失来实现更强的性能。我们最初针对JPEG图像进行优化,但觉得这可以扩展到任何有损压缩器。
2021-12-14 cs.CV cs.IT cs.LG
Exact Rate-Distortion in Autoencoders via Echo Noise
Information Sciences Institute(信息科学研究所);University of Southern California(南加利福尼亚大学)
压缩是有效的表示学习的核心。然而,有损压缩通常通过简单的参数模型(如高斯噪声)来实现,以保持分析的易处理性,并且这对学习的限制在很大程度上未被探索。此外,诸如变分自编码器(VAE)的模型中的高斯先验假设通常仅提供压缩率的上限。我们引入了一个新的噪声信道,\emph{Echo noise},承认一个简单的,精确的表达式为任意输入分布的互信息。噪声是以数据驱动的方式构建的,不需要限制性的分布假设。由于其复杂的编码机制和精确的速率正则化,Echo导致改进的对数似然边界,并在可实现的速率失真权衡范围内主导$β$ -VAE。此外,我们表明,回声噪声可以优于基于流的方法,而不需要训练额外的分布变换。
2019-11-14 cs.IT cs.LG math.IT