Computation of the optimal error exponent function for fixed-length lossy source coding in discrete memoryless sources
针对有损信源编码中Marton最优误差指数因非凸特性难以高效计算的问题，本文提出与Marton指数反函数完全一致的双层参数化表达式，并基于此给出计算方法。
2024-09-12 cs.IT math.IT
SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks
University of California, Riverside（加州大学河滨分校）；Argonne National Laboratory（阿贡国家实验室）；University of Kentucky（肯塔基大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Florida State University（佛罗里达州立大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
针对现有科学误差有界有损压缩器对部分数据集压缩效果差、AI类压缩方案压缩比有限或效率低的问题，提出基于超分辨率网络HAT的SRN-SZ压缩器，无需逐数据训练，压缩比显著优于前沿方案。
2023-11-06 cs.DC cs.IT cs.LG
The Reliability Function of Lossy Source-Channel Coding of Variable-Length Codes with Feedback
我们考虑传输的离散无记忆源（DMS）跨越离散无记忆信道（DMC）使用可变长度的有损源信道反馈码。示出的可靠性函数（最佳误差指数）是等于$\max\{0, B(1-R(D)/C)\},$其中$R(D)$是源的率失真函数，$B$是DMC的输出分布之间的最大相对熵，和$C$是信道的香农容量。我们表明，在这种情况下，在这种渐近制度，单独的源信道编码，事实上，最佳的。
2019-04-07 cs.IT math.IT
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下，考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度，证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布，满足适当的平滑度和Vapnik-Chervonenkis学习条件，承认一个联合计划的通用有损块编码和参数估计，这样，当块长度$n$趋于无穷大，开销每字母率和失真冗余收敛到零，分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外，有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球，在变距离中，渐近地几乎肯定。该系统具有有限的内存长度等于块的长度，并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案，其中不包括参数估计明确的比较，并概述了无限失真措施的扩展。最后，有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Fixed-PSNR Lossy Compression for Scientific Data
错误控制的有损压缩已经研究了多年，因为今天的科学模拟产生了非常大量的数据。然而，现有的有损压缩器都不允许用户在压缩期间固定峰值信噪比（PSNR），尽管PSNR已被认为是评估压缩质量的最重要指标之一。在本文中，我们提出了一种新的技术，提供一个固定的峰值信噪比有损压缩的科学数据集。我们实现我们提出的方法的基础上SZ有损压缩框架和释放的代码作为一个开源工具包。我们评估我们的固定PSNR压缩器上三个真实世界的高性能计算数据集。实验结果表明，该方法具有较高的PSNR控制精度，在测试数据集上的平均偏差为0.1 ~ 5.0dB。
2018-07-13 cs.DC cs.IT math.IT
Computing the optimal error exponential function for fixed-length lossy coding in discrete memoryless sources
针对定长有损源编码中 Marton 误差指数因率失真函数关于 P 非凸而难以计算的问题，本文提出与其逆函数精确匹配的参数化表示，并结合 Arimoto 算法与非凸参数优化求得最优分布。
2023-04-23 cs.IT math.IT
An Implementable Scheme for Universal Lossy Compression of Discrete Markov Sources
提出了一种新的离散信源有损压缩器。为了对源序列$x^n$进行编码，编码器通过向每个重构序列分配特定成本来开始。然后找到最小化此成本的重建，并通过通用无损压缩器将其有损地描述给解码器。序列的代价由其某阶经验概率$k+1$及其相对于源序列的失真的线性组合给出。经验计数矩阵中的成本的线性结构允许编码器采用Viterbi类算法来简单地获得最小化重建序列。我们确定了一个选择的系数的线性组合的成本函数，确保该算法普遍实现最佳率失真性能的任何马尔可夫源的限制大$n$，提供$k$增加为$o(\log n)$。
2009-01-18 cs.IT math.IT
Exploration of Pattern-Matching Techniques for Lossy Compression on Cosmology Simulation Data Sets
由于当今的科学模拟产生了大量数据，因此允许用户控制信息丢失的有损压缩可以显著减少数据大小和I/O负担。然而，对于大规模宇宙学模拟，例如硬件/混合加速宇宙学代码（HACC），其中存储器开销约束将压缩限制为一次仅一个快照，由于数据的相当低的空间相干性和高的不规则性，有损压缩比极其有限。在这项工作中，我们提出了一种模式匹配（相似性搜索）技术，以优化预测精度和压缩比的SZ有损压缩器上的HACC数据集。我们评估我们提出的方法与不同的配置，并比较它与最先进的有损压缩机。实验结果表明，与SZ算法相比，该优化算法不仅提高了预测精度，而且减小了量化码的压缩尺寸。我们提出了几个经验教训，为今后的研究涉及模式匹配技术的有损压缩。
2017-08-06 astro-ph.IM cs.IT math.IT
Universality of Logarithmic Loss in Lossy Compression
我们建立了两个强烈的意义上的普遍性的对数损失作为有损压缩的失真标准：对于任何固定长度的有损压缩问题下的任意失真标准，我们表明，有一个等价的有损压缩问题下的对数损失。在连续细化问题中，如果第一个解码器操作下的对数损失，我们表明，任何离散的无记忆源连续细化下的任意失真准则的第二个解码器。
2017-09-01 cs.IT math.IT
Lossy compression of discrete sources via Viterbi algorithm
提出了一种新的离散信源有损压缩器。为了对序列$x^n$进行编码，编码器通过向每个可能的重构序列分配特定成本来开始。然后，它找到一个最小化这个成本，并通过一个通用的无损压缩器描述它的解码器。每个序列的成本是其与序列$x^n$的距离和其$k^{\rm th}$阶经验分布的线性函数的线性组合。成本函数的结构允许编码器采用维特比算法来恢复成本的最小值。我们确定了一个选择的系数，包括在成本函数中使用的经验分布的线性函数，确保该算法普遍实现最佳率失真性能的任何固定遍历源在大$n$的限制，只要$k$发散为$o(\log n)$。迭代技术近似的系数，这减轻了计算负担，找到最佳的系数，提出和研究。
2010-11-21 cs.IT math.IT
Rateless Lossy Compression via the Extremes
首先，我们提出了一个简单的有损压缩器工作在近零速率：编码器只描述了几个最大的源组件的索引，而解码器的重建是一个自然的估计源组件的基础上，这个信息。该方案在实现其失真率函数的零速率斜率的意义上被证明是接近最佳的无记忆高斯源。出于这一发现，我们提出了一种方案，包括迭代上述有损压缩器的源和它的重建从以前的迭代之间的差异的适当变换的版本。该方案实现了率失真函数的高斯无记忆源（下平方误差失真）时，采用任何有限方差遍历源。它还具有理想的性质，我们分别称之为无穷小连续可加细性，无比率性和完全可分性。其存储和计算要求在编码器和解码器处对于$β>0$来说是每个源符号不超过$\frac{n^2}{\log^β n}$的量级。虽然它的推导，建设和分析的细节有很大的不同，我们讨论了建议的计划和最近推出的稀疏回归码（RENS）的Venkataramanan等人之间的相似之处。
2016-03-08 cs.IT math.IT
Significantly Improving Lossy Compression for Scientific Data Sets Based on Multidimensional Prediction and Error-Controlled Quantization
当今的HPC应用程序正在产生极其大量的数据，因此数据存储和分析对于科学研究来说变得越来越具有挑战性。在这项工作中，我们设计了一个新的错误控制的有损压缩算法的大规模科学数据。我们的主要贡献是根据每个数据点附近的多维数据值，显着提高每个数据点的预测命中率（或预测精度）。在数据压缩的前提下，导出了一系列多层预测公式及其统一公式。一个严重的挑战是，数据预测必须在压缩期间基于先前的解压缩值来执行，以便保证误差界限，这又可能降低预测精度。我们通过考虑压缩误差对预测精度的影响来探索预测的最佳层。此外，我们提出了一个自适应误差控制量化编码器，它可以进一步提高预测命中率显着。由于量化编码器产生的不均匀分布，在执行可变长度编码后，数据大小可以显著减小。我们根据生产科学数据集对新压缩机进行评估，并将其与许多其他最先进的压缩机进行比较：GZIP，FPZIP，ZFP，SZ-1.1和ISABELA。实验表明，我们的压缩器是同类产品中最好的，特别是在压缩因子（或比特率）和压缩错误（包括RMSE，NRMSE和PSNR）。我们的解决方案优于第二个最好的解决方案，压缩因子增加了2倍以上，平均归一化均方根误差减少了3.8倍，具有合理的误差范围和用户所需的比特率。
2017-06-12 cs.IT math.IT
Subset-Universal Lossy Compression
如果对于每个$0<R'< R$，其码字的$2^{nR'}$的几乎每个子集都实现接近源的失真率函数$D(R')$的平均失真，则对于离散无记忆源$S$的具有速率$R$的有损源代码$\mathcal{C}$被称为子集泛的。本文证明了这类码的渐近存在性。此外，我们证明了一个代码的渐近存在性，是子集普遍的所有来源具有相同的字母表。
2015-03-12 cs.IT math.IT
Critical Behavior in Lossy Source Coding
最近发现了以下关键现象。当使用可变长度固定失真码压缩无记忆信源时，（逐点）压缩比到最佳$R(D)$比特/符号的最快收敛速度是$O(\sqrt{n})$或$O(\log n)$。我们表明，它总是$O(\sqrt{n})$，除了离散的，均匀分布的源。
2000-09-01 cs.IT math.IT math.PR
An Error-Bounded Lossy Compression Method with Bit-Adaptive Quantization for Particle Data
针对大规模科学粒子数据压缩比受限问题，提出基于 k-d 树分区与位盒的位自适应量化误差有界有损压缩方法，并在多类数据集上对比评估。
2024-04-04 astro-ph.IM cs.GR cs.IT
$D$-semifaithful codes that are universal over both memoryless sources and distortion measures
我们证明了存在的d-半忠实有损压缩，同时是普遍的有限字母表的无记忆源类和类的所有有界附加失真措施的码书。通过应用独立的随机选择的码字根据所有的无记忆源的混合物，我们实现了冗余率是在O（log n/n）接近的经验率失真函数的每个给定的源向量相对于每个有界失真措施。正如上一节所述，主要思想还可以扩展到无记忆源之外，即设置由有限状态机编码的单个序列。
2022-03-07 cs.IT math.IT
Polar Codes are Optimal for Lossy Source Coding
我们考虑使用极化码和低复杂度连续编码算法对二进制对称源进行有损源压缩。Arikan最近指出，极化码在连续解码策略下实现了任意对称二进制输入离散无记忆信道的容量。我们给出了有损源压缩的等效结果，即，我们表明，这种组合实现了二进制对称源的速率失真界。我们进一步证明了极化码对各种问题的最优性，包括二进制Wyner-Ziv和二进制Gelfand-Pinsker问题
2009-03-02 cs.IT math.IT
Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases
研究了基于随机码本或随机数据库的有损压缩算法的压缩复杂度权衡问题。受Gupta-Verdú-Weissman（GVW）最近的结果及其与Kontoyiannis的有损Lempel-Ziv算法的模式匹配方案的潜在联系的启发，我们引入了有损Lempel-Ziv方法的非通用版本（称为LLZ）。LLZ的最优无记忆源的建立，其性能相比，GVW分而治之的方法。实验结果表明，GVW方法通常比LLZ产生更好的压缩，但代价是更高的内存需求。为了结合两者的优点，我们引入了一种混合算法（HYB），它利用了GVW的分治思想和LLZ的单数据库结构。证明了HYB与GVW共享完全相同的率失真性能和实现复杂度，而像LLZ一样，需要较少的内存，通过一个可能成为无界的因素，取决于选择或相关的设计参数。实验结果也被提出，说明所有三种方法的性能上产生的数据由简单的离散无记忆源。特别是，HYB算法优于现有的计划，一些简单的离散源的压缩相对于汉明失真准则。
2009-04-21 cs.IT math.IT
Adaptive Coding for Two-Way Lossy Source-Channel Communication
提出了一种自适应联合信源-信道编码（JSCC）方案，用于在失真受限的离散无记忆双向信道上传输相关信源。所提出的JSCC方案利用先前发送和接收的信道信号以及源的相关性来促进终端之间的协调。它表明，自适应方案严格包含先前的有损编码方法的双向同时传输，并产生一个新的自适应分离的源信道编码的结果。最后给出了两个例子来说明该方案的优越性。
2020-08-12 cs.IT math.IT
Lossy Broadcasting in Two-Way Relay Networks with Common Reconstructions
在信源编码和联合信源-信道编码设置下，研究了双向中继网络的广播阶段（下行传输）。可靠通信所需的速率的特点是一些特殊情况下，包括：小失真，确定性失真措施，并联合高斯源与二次失真措施。广播问题也研究了共同重建解码约束，和可靠的通信所需的速率的特点是所有离散的无记忆源和每字母失真的措施。
2010-11-22 cs.IT math.IT
Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表，这是用来解析的源流。一旦源子序列在字典码字的指定失真内，码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典，我们推导出我们的编码方案的ε-编码率（直到三阶项）的渐近性。
2022-11-22 cs.IT math.IT
Efficient LDPC Codes over GF(q) for Lossy Data Compression
本文研究了二进制对称信源的有损压缩。我们提出了一个方案，提供了一个低复杂度的有损压缩机与接近最佳的经验性能。该方案基于GF（q）上的b-约简超稀疏LDPC码。编码是由增强的信念传播算法，信念传播的变体。编码器的计算复杂性为O（<d>.n.q.log q），其中<d>是校验节点的平均度。对于我们的代码集成，解码可以迭代地执行叶去除算法的逆步骤。对于一个稀疏的奇偶校验矩阵，所需的操作数为O（n）。
2011-10-07 cs.IT math.IT
Lossy Compression with Near-uniform Encoder Outputs
众所周知，当且仅当编码器被随机化时，具有接近均匀的编码器输出的离散无记忆源的无损压缩以高于其熵的速率是可能的。本文主要研究Wyner-Ziv算法中编码器输出接近均匀的条件和分布式有损压缩问题。我们表明，在Wyner-Ziv问题，近均匀的编码器输出和操作接近的WZ速率限制是同时可能的，而在分布式有损压缩问题，联合近均匀的输出是可以实现的内部的分布式有损压缩速率区域，如果源共享非平凡的Gács-Körner共同信息。
2016-07-09 cs.IT math.IT
Moderate-Deviations of Lossy Source Coding for Discrete and Gaussian Sources
研究了平稳无记忆信源有损信源编码的中偏差设置。更具体地说，我们得出的基本压缩极限的源代码的速率是$R(D) \pm ε_n$，其中$R(D)$是率失真函数和$ε_n$是一个序列，占主导地位的$\sqrt{1/n}$。该MD设置是对大偏差和中心极限设置的补充，Altug和Wagner针对信道编码设置进行了研究。我们表明，有限字母表和高斯源，在中央限制型的结果，所谓的分散体的有损信源编码中起着根本性的作用，在MD设置的有损信源编码问题。
2012-05-10 cs.IT math.IT
One-shot lossy quantum data compression
我们提供了一个单次量子率失真编码的框架，其中的目标是确定压缩量子信息所需的量子比特的最小数量作为解压缩时引起的失真超过一些指定水平的概率的函数。我们得到了一个一次性的最小量子比特压缩大小的纠缠辅助量子率失真码的平滑最大信息，以前在一次性量子反向香农定理中使用的量。接下来，我们展示了这种表征如何收敛到已知的表达式的纠缠辅助量子率失真函数的渐近许多副本的无记忆量子信息源。最后，我们给出了一个严格的，有限的块长度表征的纠缠辅助的最小量子比特压缩尺寸的无记忆各向同性量子比特源的平均符号的失真约束。
2013-09-17 cs.IT math.IT quant-ph
Statistical Mechanical Approach to Lossy Data Compression:Theory and Practice
基于一种特殊类型的非单调感知器，设计了二进制无记忆信源有损数据压缩的编码器和解码器。统计力学分析表明，在大多数情况下，基于感知器的代码的潜在能力饱和的理论上可实现的限制，虽然精确地执行压缩是计算上困难的。为了解决这个困难，我们提供了一个计算上易处理的近似算法使用置信传播（BP），这是一个当前的标准算法的概率推理。介绍了几个近似和算法，基于BP算法表现出的性能，接近可实现的限制，在一个实际的时间尺度在最佳情况下。
2005-09-28 cs.IT math.IT
TCLNet: A Hybrid Transformer-CNN Framework Leveraging Language Models as Lossless Compressors for CSI Feedback
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；Peng Cheng Laboratory（鹏城实验室）
TCLNet通过结合Transformer-CNN架构和语言模型，实现CSI的高效无损压缩，提升压缩效率和传输性能。
2026-01-10 cs.IT math.IT physics.comp-ph
Do Neural Networks Compress Manifolds Optimally?
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
基于人工神经网络的有损压缩器最近在几个源上获得了惊人的结果。他们的成功可能归因于一种能力，以确定结构的低维流形在高维环境空间。事实上，先前的工作已经表明，基于人工神经网络的压缩器可以实现一些这样的源的最佳熵失真曲线。相比之下，我们确定了两个低维流形与圆形结构的最佳熵失真权衡，并表明，国家的最先进的基于人工神经网络的压缩机无法最佳地压缩它们。
2022-09-10 cs.CV cs.IT cs.LG
FeatureZ: A General Framework for Feature-Preserving Compression via Pointwise Bounds and Star Classification
University of Utah（犹他大学）；Oregon State University（俄勒冈州立大学）；Ohio State University（俄亥俄州立大学）
FeatureZ是针对结构化体标量场的有损压缩通用框架，通过保留逐点界与一致星形分类实现多样特征保留，开销极小，压缩比优于或相当于专用方法。
2026-10-09 cs.GR cs.IT math.IT
Channel Coding and Lossy Source Coding Using a Constrained Random Number Generator
引入了用于信道编码和有损信源编码的随机编码器，其速率接近基本极限，其中唯一的限制是有损信源编码的信道输入字母表和再现字母表是有限的。随机数，满足一个条件所规定的功能和它的值，用于构建随机编码器。定理的证明是基于函数系综的散列性质，其中的结果被扩展到一般的信道/源和替代公式引入信道容量和率失真区域。由于稀疏矩阵的集合具有散列属性，因此我们可以通过使用稀疏矩阵来构造代码，其中通过假设信道/源是无记忆的，可以使用和积算法来进行编码和解码。
2013-02-05 cs.IT math.IT
Fixed-length lossy compression in the finite blocklength regime
本文研究了最小可达信源编码速率作为块长度$n$和失真超过给定水平$d$的概率$ε$的函数。紧一般的可扩展性和逆界推导出，持有在任意固定的块长度。对于固定的可分离失真的无记忆源，可实现的最小速率被证明是密切近似的$R(d) + \sqrt{\frac{V(d)}{n}} Q^{-1}(ε)$，其中$R(d)$是率失真函数，$V(d)$是速率分散，源的一个特性，它测量其随机变化，和$Q^{-1}(ε)$是标准的高斯互补CDF的逆。
2014-02-04 cs.IT math.IT
Neural Estimation of the Rate-Distortion Function With Applications to Operational Source Coding
University of Pennsylvania（宾夕法尼亚大学）
本文提出基于神经网络的率失真函数估计器 NERD，用于评估 DNN 压缩器与理论极限的差距，并据此构造具有速率和失真保证的单轮有损压缩方案。
2023-02-01 cs.IT cs.LG math.IT
A Symbolic Dynamical System Approach to Lossy Source Coding with Feedforward
已知的是，在一般条件下，通过在单位间隔上演化的符号动力系统对信息源进行建模，导致获得源的熵率的自然无损压缩方案。我们扩展这一概念的有损压缩制度，假设一个前馈链路是可用的，通过一个二维符号动力系统，其中一个组件对应于压缩信号，和其他基本上对应于前馈信号的源建模。对于无记忆源和任意有界失真测度，我们表明这种方法导致一个家庭的简单的确定性压缩方案，达到率失真函数的源。该结构是对偶的最近的最佳方案的信道编码与反馈。
2010-01-20 cs.IT math.IT
Cumulant Generating Function of Codeword Lengths in Variable-Length Lossy Compression Allowing Positive Excess Distortion Probability
本文研究可变长有损信源编码，以超额失真概率和码字长度累积量生成函数为准则，推导了允许正超额失真概率的非渐近基本极限，由Rényi熵刻画，并给出显式码构造及平稳无记忆信源的渐近单字母刻画。
2018-01-11 cs.IT math.IT
Non-Asymptotic Converse Bounds and Refined Asymptotics for Two Lossy Source Coding Problems
在本文中，我们重新审视两个多终端有损信源编码问题：在编码器和两个解码器之一的侧信息可用的有损信源编码问题，我们称之为Kaspi问题（Kaspi，1994），和一个半确定性失真度量的多描述编码问题，我们称之为Fu-Yeung问题（Fu and Yeung，2002）。对于Kaspi问题，我们首先给出了最优测试通道的性质。随后，我们将有损信源编码问题的失真倾斜信息密度的概念推广到Kaspi问题，并利用最优测试信道的性质和定义良好的失真倾斜信息密度证明了一个非渐近逆界.最后，对于离散无记忆源，我们得到了精细渐近，其中包括二阶，大，中偏差渐近。在二阶渐近性的逆证明中，我们将Berry-Esseen定理应用于导出的非渐近逆界。首先证明一个适合于Kaspi问题的类型覆盖引理，然后适当地泰勒展开定义良好的扭曲倾斜信息密度，最后应用Berry-Esseen定理。然后，我们将Kaspi问题中使用的方法推广到Fu-Yeung问题。得到了最小和率函数的最优测试通道的性质、离散无记忆信源的非渐近逆界和精细渐近性。由于逐次加细问题是Fu-Yeung问题的一个特例，作为副产品，我们获得了逐次加细问题的非渐近逆界，这是逐次加细源的非渐近逆界的严格推广（Zhou，Tan和Motani，2017）。
2017-08-18 cs.IT math.IT
Output Constrained Lossy Source Coding with Limited Common Randomness
本文研究了广义分布保持量化问题的香农理论版本，其中一个固定的和无记忆的源被编码的失真约束和额外的要求，再现也是固定的和无记忆的给定的分布。编码器和解码器是随机的，并且被假设可以访问独立的公共随机性。最近的工作的特点是在给定的失真水平时，无限的共同随机性是可用的最小可实现的编码率。在这里，我们考虑的一般情况下，可用的共同随机性可能是速率受限的。我们的主要结果完全特征的可实现的编码和常见的随机率对在任何失真水平，从而提供了这两个率量之间的最佳权衡。我们还考虑这个问题的两个变化，我们调查放松严格的输出分布约束的效果和“私人随机性”的解码器上使用的速率区域的作用。我们的研究结果有很强的连接与袖口的分布式信道合成的最近的工作。特别是，我们的可扩展性证明结合了耦合参数与Cuff开发的方法，其中不是显式构建编码器-解码器对，而是构建联合分布，从该分布中建立所需的编码器-解码器对。然而，我们表明，对于我们的问题，分离的解决方案，首先找到一个最佳的信道，然后合成此信道的结果在一个次优速率区域。
2015-07-08 cs.IT math.IT
On the Separation of Lossy Source-Network Coding and Channel Coding in Wireline Networks
本文证明了在有噪声、离散、无记忆信道的网络中信源-网络编码与信道编码的分离。我们表明，在提供一个家庭的依赖源在这样一个网络中的可实现的失真矩阵的集合等于一组可实现的失真矩阵提供相同的源在一个不同的网络，这是通过替换每个通道由一个无噪声的，点对点的比特管道相应的容量。因此，通过在每个链路上应用独立的信道编码而使链路几乎无损地跨链路应用源网络编码的代码在整个网络上渐进地实现最佳性能。
2010-05-02 cs.IT math.IT
Lossy Source Transmission over the Relay Channel
考虑了中继信道上的有损传输，其中中继可以访问相关的边信息。首先，针对一般离散无记忆信源和信道，提出了一种信源信道联合译码转发方案。然后分析了源和边信息均为高斯分布的高斯中继信道。针对这种高斯模型，介绍了几种新的信源信道协作方案，并从接收端的平方误差失真角度进行了分析。给出了建议的上限与割集下限的比较，可以看出，联合源信道合作显着提高重建质量。此外，联合码的性能接近失真的下限，对于宽范围的源和信道参数。
2008-05-20 cs.IT math.IT
Large Language Models are Shannon Lossy Compressors Not Solomonoff Induction Estimators: Self-improvement and Singularity Are Not Near Without Symbolic Model Synthesis
Algorithmic Dynamics Lab（算法动力实验室）；Department of Biomedical Computing（生物医学计算系）；School of Biomedical Engineering and Imaging Sciences（生物医学工程与成像科学学院）；King’s Institute for AI（国王人工智能研究所）；King’s College London（伦敦国王学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Oxford University Innovation（牛津大学创新中心）；London Institute for Healthcare Engineering（伦敦医疗工程研究所）
研究指出大型语言模型在缺乏外部信号时自我改进会退化，提出神经符号整合方法以突破这一限制。
2026-09-21 cs.AI cs.IT cs.LG
The Dispersion of Lossy Source Coding
在这项工作中，我们调查的行为所需的最小速率，以保证一个给定的概率，失真超过规定的阈值，在一些固定的有限量化块长度。我们表明，以上的率失真函数的过量编码率是成反比的（一阶）块长度的平方根。我们给出了一个明确的表达比例常数，这是由允许的过度失真概率的逆Q函数，乘以常数的平方根，称为过度失真色散。该结果是对应的信道编码结果的对偶，其中上述色散是信道色散的对偶。这项工作对待离散无记忆源，以及二次高斯的情况下。
2011-02-13 cs.IT math.IT
Universal Sampling Rate Distortion
Department of Electrical and Computer Engineering and the Institute for Systems Research, University of Maryland, College Park（马里兰大学帕克分校电气与计算机工程系及系统研究所）
我们研究了协调和普遍的速率有效的采样相关的离散无记忆源的一个子集，其次是有损压缩的采样源。目标是在指定的失真水平内重建预先指定的源子集。组合的采样机制和率失真码是通用的，因为它们被设计为在没有源的潜在联合概率分布的确切知识的情况下鲁棒地执行。在贝叶斯和非贝叶斯设置中，为固定集采样、独立随机采样和无记忆随机采样的通用采样率失真函数提供了单字母特征。它说明了如何这些采样机制是越来越好。我们的可压缩性证明带来了新的方案，联合源分布学习和有损压缩。
2017-06-22 cs.IT cs.LG math.IT
Joint universal lossy coding and identification of i.i.d. vector sources
联合通用信源编码和建模的问题，解决了由Rissanen在无损编码的上下文中，被推广到固定速率的连续字母表无记忆源的有损编码。我们表明，有界失真措施，任何companitary参数化家庭的i.i.d.具有绝对连续边缘的实矢量源（满足适当的光滑性和Vapnik-Chervonenkis可学习性条件）允许通用有损块编码和参数估计的联合方案，并给出失真冗余和活动源与估计源之间的变距离的收敛速度的非渐近估计。我们还提出了明确的例子参数源承认这样的联合通用压缩和建模方案。
2006-05-11 cs.IT cs.LG math.IT
A Large Deviations Approach to Secure Lossy Compression
我们考虑一个香农密码系统的无记忆源，其中失真是允许在合法的解码器。使用由共享密钥保护的率失真码来压缩源，所述共享密钥满足对压缩率的约束，以及对合法解码器处的过量失真概率的指数率的约束。秘密性是通过窃听者处的微小失真概率的指数率来测量的，而不是通过传统的含糊性测量。我们定义的完美保密指数的最大微小失真指数时，密钥速率是无限的。在有限的密钥速率下，对一类相当一般的变密钥速率码，证明了最大可实现的弱失真指数等于平均密钥速率与完美保密指数之间的最小值.
2015-04-22 cs.IT math.IT
Variable-Length Lossy Compression Allowing Positive Overflow and Excess Distortion Probabilities
本文研究了码字长度允许正的过度失真概率和溢出概率的变长有损信源编码问题。基于光滑最大熵（零阶光滑Rényi熵）的新量，建立了新的单次可逼近性和最优速率的逆界.为了推导出可扩展性界，我们给出了一个显式的代码构造的基础上的失真球，而不是使用随机编码参数。码构造的基本思想类似于变长无损信源编码中的最优码构造。我们的可重复性界限略有不同，这取决于编码器是随机的还是确定性的。一次性结果产生了块长度$n$的最佳速率的一般公式。此外，我们的一般公式适用于渐近分析的平稳无记忆源。因此，我们通过使用率失真和率分散函数来获得最佳速率的单字母表征。
2018-12-14 cs.IT math.IT
Successive Refinement for Lossy Compression of Individual Sequences
该研究针对单个序列有损压缩的逐次细化问题，在编码器为有限状态机的限定下建立了码率区域外边界，并将思路拓展至多描述编码，提出对应可达性方案。
2025-02-24 cs.IT math.IT
TopoSZ: Preserving Topology in Error-Bounded Lossy Compression
本文提出 TopoSZ，一种误差有界有损压缩方法，通过结合等高线树诱导的拓扑约束与 SZ 压缩器的误差控制量化策略，在 2D 和 3D 标量场中保留局部极值类型、位置及临界点水平集关系，同时允许用户通过全局误差界和持久性阈值控制点误差与拓扑损失。
2023-07-28 cs.IT math.IT
Lossy Gradient Compression: How Much Accuracy Can One Bit Buy?
McMaster University（麦克马斯特大学）；National Yang-Ming Chiao-Tung University（阳明交通大学）
在联邦学习（FL）中，通过聚合从多个远程学习者获得的模型更新来在参数服务器（PS）处训练全局模型。通常，远程用户和PS之间的通信是速率受限的，而从PS到远程用户的传输是不受约束的。FL设置引起分布式学习场景，其中来自远程学习者的更新必须被压缩，以便满足朝向PS的上行链路传输中的通信速率约束。对于这个问题，人们希望压缩模型更新，以便最小化由压缩误差导致的准确性损失。在本文中，我们采用率失真方法来解决深度神经网络（DNN）分布式训练的压缩器设计问题。特别是，我们定义了一个衡量的压缩性能下的通信速率约束-的\emph{per-bit accuracy} -这解决了最终的精度提高，一个位的通信带来的集中式模型。为了最大化每比特的准确性，我们考虑将远程学习者的DNN梯度更新建模为广义正态分布。在DNN梯度分布的假设下，我们提出了一类失真度量，以帮助设计用于压缩模型更新的量化器。我们认为，这个家庭的失真措施，我们称为“$M$ -幅度加权$L_2$“规范，抓住了从业者的直觉在梯度压缩机的选择。数值模拟提供CIFAR-10数据集验证所提出的方法。
2022-06-03 cs.IT cs.LG math.IT
A General Framework for Error-controlled Unstructured Scientific Data Compression
针对传统有损压缩方法无法利用非结构化网格空间相干性导致压缩比低的问题，提出多分量误差有界通用压缩框架，通过插值转网格再分别压缩插值结果与残差，在多数据集上实现压缩比2.3-3.5倍的平均提升。
2025-01-12 cs.IT math.IT
Polar Lattices for Lossy Compression
最近，由极化码构造的极化格被证明能够实现加性高斯白噪声（AWGN）信道的容量。在这项工作中，我们提出了一种新的构造极格来解决对偶问题，即，实现无记忆高斯源的率失真界限，这意味着极坐标也可以用于连续源的有损压缩。所提出的极格子的结构使我们能够将后熵编码过程集成到格子量化器中，这简化了量化过程。对于亚指数衰减的过量失真，编码和解码复杂度的总体复杂度是$O(N \log^2 N)$。此外，极格的嵌套结构进一步为一些多端编码问题提供了解决方案。高斯源的Wyner-Ziv编码问题可以通过嵌套在实现率失真界中的AWGN容量实现极格来解决，并且Gelfand-Pinsker问题可以以相反的方式解决。
2021-05-15 cs.IT math.IT
On the Joint Source-Channel Coding Error Exponent for Discrete Memoryless Systems: Computation and Comparison with Separate Coding
研究了由离散无记忆信源和离散无记忆信道组成的通信系统的联合信源-信道编码（JSCC）误差指数E_J的Csiszar界的计算.我们提供了这些界限的等价表达式，并推导出明确的公式，达到界限的速度。这些等价表示可以很容易地计算任意源通道对通过Arimoto的算法。当信道的分布满足对称性时，边界允许封闭形式的参数表达式。然后，我们使用我们的结果提供了一个系统的JSCC误差指数E_J和串联编码误差指数E_T之间的比较，这适用于如果源和信道分别编码。证明了E_T <= E_J <= 2E_T。我们建立了E_J > E_T和E_J = 2 E_T的条件。数值例子表明，对于许多源-通道对，E_J接近于2E_T。对于在加性高斯白噪声信道和具有有限输出量化的瑞利衰落信道上传输的二进制源，该增益转化为大于2dB的功率节省。最后，我们研究了在汉明失真测度下有损JSCC误差指数的计算。
2006-01-04 cs.IT math.IT
Two-Way Source-Channel Coding
提出了一种自适应有损联合信源-信道编码（JSCC）方案，用于在两端离散无记忆双向信道（DM-TWC）上发送相关信源。其主要思想是通过自适应编码机制耦合终端的独立操作，该机制可以减轻由同时信道传输引起的交叉干扰，并同时利用信源的相关性来减少端到端重构失真。我们的自适应JSCC方案不仅包含现有的有损编码方法的双向同时通信，但也提高了它们的性能。此外，我们推导出我们的双向有损传输问题的外边界，并建立在一些特殊的设置完整的JSCC定理。在这些特殊情况下，一种非自适应的分离信源-信道编码（SSCC）方案获得了最佳性能，从而简化了信源-信道通信系统的设计。
2020-06-26 cs.IT math.IT
Sequential Lossy Compression With Causal Conditional Perception
EURECOM（欧洲通信研究所）
本文提出因果条件感知下的序列有损压缩框架，针对马尔可夫和高斯-马尔可夫源建立率失真感知函数界，并证明高斯最优性及闭式解。
2026-09-09 cs.IT eess.SP math.IT
Learned Wyner-Ziv Compressors Recover Binning
提出基于神经网络的数据驱动Wyner-Ziv压缩方法，首次观察到分箱结构从学习中涌现，并恢复线性解码行为。
2023-05-07 cs.IT eess.SP math.IT
The Performance of Compression-Based Denoisers
Stanford University（斯坦福大学）
本文通过将损失压缩的失真度量与信道条件分布匹配，将压缩去噪框架推广到一般离散无记忆信道，并精确刻画了去噪器的损失。
2026-06-08 cs.IT math.IT
