Pointwise Redundancy in One-Shot Lossy Compression via Poisson Functional Representation
本研究探讨变长有损信源编码中不同的逐点冗余度概念,提出基于泊松泛函表示的一次性编码方案并给出冗余度界,可精确描述编码长度分布,且结果可推广至一次性有损Gray-Wyner系统。
2024-01-26 cs.IT math.IT
Statistical Mechanical Approach to Lossy Data Compression:Theory and Practice
基于一种特殊类型的非单调感知器,设计了二进制无记忆信源有损数据压缩的编码器和解码器。统计力学分析表明,在大多数情况下,基于感知器的代码的潜在能力饱和的理论上可实现的限制,虽然精确地执行压缩是计算上困难的。为了解决这个困难,我们提供了一个计算上易处理的近似算法使用置信传播(BP),这是一个当前的标准算法的概率推理。介绍了几个近似和算法,基于BP算法表现出的性能,接近可实现的限制,在一个实际的时间尺度在最佳情况下。
2005-09-28 cs.IT math.IT
FastqZip: An Improved Reference-Based Genome Sequence Lossy Compression Framework
针对NGS基因组FASTQ文件存储负担,提出基于参考映射、reads重排序、质量分数有损及BSC/ZPAQ压缩的FastqZip,压缩率较Genozip提升约10%。
2024-02-22 cs.IT math.IT
Bounding Lossy Compression using Lossless Codes at Reduced Precision
提出了一种两部分“临界压缩”的替代方法。而以前的结果是基于减少精度的无损码与有损压缩的误差或噪声项求和,本方法使用减少精度的类似无损码来建立绝对界限,其约束应用于原始数据的任意有损数据压缩算法。
2012-12-31 cs.IT cs.MM math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码,以便表示使用尽可能少的比特。压缩可以是无损的:即,编码数据可以从其表示中精确地恢复),或者是有损的,其中数据比无损情况压缩得更多,但是仍然可以恢复到预定的失真度量内。在本文中,我们证明了Codelet解析,一个准线性时间算法的有损压缩的比特序列是独立和相同的分布(\iid)和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$,使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语,用codelet表示每个短语,codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度,并且像无损Lempel Ziv算法一样,码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表,这是用来解析的源流。一旦源子序列在字典码字的指定失真内,码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典,我们推导出我们的编码方案的ε-编码率(直到三阶项)的渐近性。
2022-11-22 cs.IT math.IT
Subset-Universal Lossy Compression
如果对于每个$0<R'< R$,其码字的$2^{nR'}$的几乎每个子集都实现接近源的失真率函数$D(R')$的平均失真,则对于离散无记忆源$S$的具有速率$R$的有损源代码$\mathcal{C}$被称为子集泛的。本文证明了这类码的渐近存在性。此外,我们证明了一个代码的渐近存在性,是子集普遍的所有来源具有相同的字母表。
2015-03-12 cs.IT math.IT
The Likelihood Encoder for Lossy Source Compression
在这项工作中,似然编码器的有损信源压缩的背景下进行了研究。似然编码器的分析是基于软覆盖引理。它表明,使用的似然编码器与软覆盖引理提供了替代的可扩展性证明经典的信源编码问题。率失真函数与边信息在解码器(即Wyner-Ziv问题)的情况下仔细检查和似然编码器的应用程序的多终端信源编码内界(即Berger-Tung区域)的概述。
2014-04-23 cs.IT math.IT
An MCMC Approach to Universal Lossy Compression of Analog Sources
基于Jalali和Weissman提出的离散信源压缩的马尔可夫链蒙特卡罗(MCMC)方法,提出了一种基于有限再生字母表的模拟信源有损压缩算法,该算法随着输入长度的增加而增加。该算法实现,在适当的渐近意义上,最佳香农理论的速率和失真之间的权衡,普遍平稳遍历连续幅度源。我们进一步提出了一个MCMC为基础的算法,采取减少再生字母时,这种减少并不妨碍实现香农限。后一种算法是有利的,由于其降低的复杂性和改进的收敛速度时,采用的源与一个有限的和小的最佳再现字母。
2011-07-15 cs.IT math.IT
On lossy Compression of Directed Graphs
由Csiszar和Korner提出的类型方法是一种用于开发和分析有限字母表上数据序列的基本属性和约束的核心工具。使用这些工具所考虑的中心问题是数据压缩的问题,并且特别是有损数据压缩的问题。在这项工作中,我们考虑这个问题,但是,而不是序列的数据,我们考虑有向图。我们表明,给定一个更自然的失真措施,拟合的数据结构的有向图,类型的方法不能应用。所建议的失真度量旨在保持有向图的局部结构。我们建立在Barvinok最近的工作和扩展的方法类型的二维的设置的有向图。我们看到,这种延伸在许多方面都是很自然的。鉴于此扩展,我们提供了一个下限和上限的率失真问题的有损压缩给定的失真措施。
2021-11-27 cs.IT math.IT
Efficient LDPC Codes over GF(q) for Lossy Data Compression
本文研究了二进制对称信源的有损压缩。我们提出了一个方案,提供了一个低复杂度的有损压缩机与接近最佳的经验性能。该方案基于GF(q)上的b-约简超稀疏LDPC码。编码是由增强的信念传播算法,信念传播的变体。编码器的计算复杂性为O(<d>.n.q.log q),其中<d>是校验节点的平均度。对于我们的代码集成,解码可以迭代地执行叶去除算法的逆步骤。对于一个稀疏的奇偶校验矩阵,所需的操作数为O(n)。
2011-10-07 cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施,只透露给编码器,只有在运行时,以及它的扩展,其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析,并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法,第二种编码方案使用失真度量空间的适当量化,第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
Lossy Source Compression of Non-Uniform Binary Sources Using GQ-LDGM Codes
本文研究了GF(q)量化LDGM码在二进制信源编码中的应用。通过采用量化,可以获得具有非均匀分布的二进制码字。因此,所获得的统计适合于非均匀伯努利源的最佳,直接量化。我们采用了一个消息传递算法结合了抽取过程,以执行压缩。基于具有规则度分布的GF(q)-LDGM码的实验结果产生的性能非常接近理论率失真界。
2010-07-08 cs.IT math.IT
Typical Performance of Irregular Low-Density Generator-Matrix Codes for Lossy Compression
我们评估的典型性能的不规则低密度生成矩阵(LDGM)码,这是由稀疏矩阵定义的任意不规则比特度分布和任意检查度分布,用于有损压缩。我们应用一步复本对称性破缺(1 RSB)下的副本方法来解决这个问题。
2009-02-16 cond-mat.dis-nn cs.IT math.IT
TopoSZ: Preserving Topology in Error-Bounded Lossy Compression
本文提出 TopoSZ,一种误差有界有损压缩方法,通过结合等高线树诱导的拓扑约束与 SZ 压缩器的误差控制量化策略,在 2D 和 3D 标量场中保留局部极值类型、位置及临界点水平集关系,同时允许用户通过全局误差界和持久性阈值控制点误差与拓扑损失。
2023-07-28 cs.IT math.IT
Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases
研究了基于随机码本或随机数据库的有损压缩算法的压缩复杂度权衡问题。受Gupta-Verdú-Weissman(GVW)最近的结果及其与Kontoyiannis的有损Lempel-Ziv算法的模式匹配方案的潜在联系的启发,我们引入了有损Lempel-Ziv方法的非通用版本(称为LLZ)。LLZ的最优无记忆源的建立,其性能相比,GVW分而治之的方法。实验结果表明,GVW方法通常比LLZ产生更好的压缩,但代价是更高的内存需求。为了结合两者的优点,我们引入了一种混合算法(HYB),它利用了GVW的分治思想和LLZ的单数据库结构。证明了HYB与GVW共享完全相同的率失真性能和实现复杂度,而像LLZ一样,需要较少的内存,通过一个可能成为无界的因素,取决于选择或相关的设计参数。实验结果也被提出,说明所有三种方法的性能上产生的数据由简单的离散无记忆源。特别是,HYB算法优于现有的计划,一些简单的离散源的压缩相对于汉明失真准则。
2009-04-21 cs.IT math.IT
Fixed-PSNR Lossy Compression for Scientific Data
错误控制的有损压缩已经研究了多年,因为今天的科学模拟产生了非常大量的数据。然而,现有的有损压缩器都不允许用户在压缩期间固定峰值信噪比(PSNR),尽管PSNR已被认为是评估压缩质量的最重要指标之一。在本文中,我们提出了一种新的技术,提供一个固定的峰值信噪比有损压缩的科学数据集。我们实现我们提出的方法的基础上SZ有损压缩框架和释放的代码作为一个开源工具包。我们评估我们的固定PSNR压缩器上三个真实世界的高性能计算数据集。实验结果表明,该方法具有较高的PSNR控制精度,在测试数据集上的平均偏差为0.1 ~ 5.0dB。
2018-07-13 cs.DC cs.IT math.IT
Exploration of Pattern-Matching Techniques for Lossy Compression on Cosmology Simulation Data Sets
由于当今的科学模拟产生了大量数据,因此允许用户控制信息丢失的有损压缩可以显著减少数据大小和I/O负担。然而,对于大规模宇宙学模拟,例如硬件/混合加速宇宙学代码(HACC),其中存储器开销约束将压缩限制为一次仅一个快照,由于数据的相当低的空间相干性和高的不规则性,有损压缩比极其有限。在这项工作中,我们提出了一种模式匹配(相似性搜索)技术,以优化预测精度和压缩比的SZ有损压缩器上的HACC数据集。我们评估我们提出的方法与不同的配置,并比较它与最先进的有损压缩机。实验结果表明,与SZ算法相比,该优化算法不仅提高了预测精度,而且减小了量化码的压缩尺寸。我们提出了几个经验教训,为今后的研究涉及模式匹配技术的有损压缩。
2017-08-06 astro-ph.IM cs.IT math.IT
Lossy Compression via Sparse Regression Codes: Generalized Construction and Finite-length Bounds
Duke University(杜克大学);University of Cambridge(剑桥大学)
该研究针对有损压缩问题,广义化了稀疏回归码(SPARCs)的构造,推导了平方误差失真的非渐近界,优化功率分配提升了SPARCs的有限长度性能,为其低复杂度变体提供了失真保证。
2026-08-17 cs.IT math.IT
Lossy Compression with Privacy Constraints: Optimality of Polar Codes
研究了一种带隐私约束的有损信源编码问题,即将两个相关的离散信源$X$和$Y$压缩成一个具有一定失真度的重构$\hat{X}$($D$).此外,隐私约束被指定为有损重构$\hat{X}$和$Y$之间的模糊性。这对来自一个用户的一定量的源信息作为效用(由其重构的保真度给出)提供给另一个用户或公众的情况进行建模,而源信息的某些其他相关部分$Y$必须保持私有。在这项工作中,我们表明,极化码能够,可能与分时的帮助下,实现山本确定的最佳率失真模糊区域中的任何点,从而提供了一个建设性的计划,在这个框架中获得效用和隐私之间的最佳权衡。
2015-04-21 cs.IT math.IT
Multiple-Output Channel Simulation and Lossy Compression of Probability Distributions
我们考虑具有单输入和多输出的信道模拟问题的变体,其中Alice从一组规定的概率分布$\mathbb{\mathcal{P}}$观察概率分布$P$,并且向Bob发送无前缀码字$W$以允许他生成$n$ i.i.d.随机变量$X_{1},X_{2,}...,X_{n}$遵循分布$P$。这也可以被认为是概率分布的有损压缩设置。本文描述了三种情况下的$P$的编码方案:$P$是一个分布在正整数,$P$是一个连续分布在$[0,1]$与非递增的PDF,和$P$是一个连续分布在$[0,\infty)$与非递增的PDF。我们表明,在$n$的期望码字长度的增长率是次线性时,满足幂律约束。多输出信道模拟的一个应用是概率分布的压缩。
2021-09-04 cs.IT math.IT
Black-Box Statistical Prediction of Lossy Compression Ratios for Scientific Data
针对科学数据有损压缩比缺乏量化方法的问题,提出基于空间相关性和量化熵的统计预测框架,在6个数据集上对8种以上压缩器预测中位误差小于12%,并实现搜索加速。
2023-05-15 cs.DC cs.IT math.IT
Successive Refinement for Lossy Compression of Individual Sequences
该研究针对单个序列有损压缩的逐次细化问题,在编码器为有限状态机的限定下建立了码率区域外边界,并将思路拓展至多描述编码,提出对应可达性方案。
2025-02-24 cs.IT math.IT
Context-Tree-Based Lossy Compression and Its Application to CSI Representation
针对无线通信中的时变信道状态信息,提出了一种新的压缩算法。该方案结合了(有损)矢量量化和(无损)压缩。首先,新的矢量量化技术是基于应用于归一化CSI矢量的每个分量上的一类参数化压缩扩展器。我们的算法选择一个合适的压扩器在一个直观的简单的方式,只要经验数据。然后,使用基于上下文树的方法压缩量化索引的序列。本质上,我们在每个时刻更新源的条件分布的估计,并使用估计的分布对当前符号进行编码。该算法具有低复杂度,在空间维度和持续时间上都是线性时间的,并且可以以在线方式实现。我们运行模拟来证明所提出的算法在这种情况下的有效性。
2022-05-05 cs.IT math.IT
The Likelihood Encoder for Lossy Compression
在有损信源压缩的背景下研究了似然编码器。似然编码器的分析是基于软覆盖引理。它表明,使用的似然编码器与软覆盖引理产生简单的可扩展性证明经典的信源编码问题。本文研究了点到点率失真函数、解码端带边信息率失真函数(即Wyner-Ziv问题)和多终端信源编码内界(即Berger-Tung问题)的情况。此外,一个非渐近分析用于点到点的情况下,检查由这种方法提供的过度失真的上限。似然编码器还涉及到最近的替代技术,使用随机分箱的属性。
2016-04-05 cs.IT math.IT
Lossy Compression of Individual Sequences Revisited: Fundamental Limits of Finite-State Encoders
本文将Ziv和Lempel的有限状态编码器模型扩展至个体序列的有损压缩,推导出取决于无损编码器状态数的两个渐近可达压缩比下界,并证明当状态数足够大时,可利用通用的随机编码集成显著提升性能。
2024-01-03 cs.IT math.IT
Single-shot lossy compression: mutual information bounds
California Institute of Technology(加州理工学院)
本文提出通过互信息上界来优化数据压缩,证明在保真度约束下最小化互信息可作为数据最小描述长度的合理代理。
2026-02-07 cs.IT math.IT
Cumulant Generating Function of Codeword Lengths in Variable-Length Lossy Compression Allowing Positive Excess Distortion Probability
本文研究可变长有损信源编码,以超额失真概率和码字长度累积量生成函数为准则,推导了允许正超额失真概率的非渐近基本极限,由Rényi熵刻画,并给出显式码构造及平稳无记忆信源的渐近单字母刻画。
2018-01-11 cs.IT math.IT
Joint Data and Semantics Lossy Compression: Nonasymptotic Converse Bounds and Second-Order Asymptotics
本文研究数据与语义联合有损压缩问题,推导通用非渐近逆界与紧的二阶逆界,给出擦除均匀硬币翻转场景的对应界,验证了二阶近似对最优码率的有效逼近。
2024-02-04 cs.IT math.IT
Lossy Compression of Exponential and Laplacian Sources using Expansion Coding
本文提出了一种通用的信源编码过扩展方法,它使压缩模拟(连续值信源)的问题简化为一组更简单的问题,即压缩离散信源。具体而言,重点是指数和拉普拉斯源的有损压缩,其随后在被量化之前使用有限字母表扩展。由于这种源的可分解性,所得到的随机变量后扩展是独立的和离散的。因此,每个扩展级别对应于独立的离散信源编码问题,并且原始问题被简化为在具有总失真约束的这些并行信源上进行编码。优化问题的任何可行解都是原始连续值源压缩问题的可实现率失真对。虽然找到这个优化问题的解决方案,在每一个失真是困难的,我们表明,我们的扩展编码方案提出了一个很好的解决方案,在低distrotion制度。此外,通过采用为离散信源编码设计的低复杂度码,总编码复杂度在实践中可以是易处理的。
2013-08-10 cs.IT math.IT
Fixed-length lossy compression in the finite blocklength regime
本文研究了最小可达信源编码速率作为块长度$n$和失真超过给定水平$d$的概率$ε$的函数。紧一般的可扩展性和逆界推导出,持有在任意固定的块长度。对于固定的可分离失真的无记忆源,可实现的最小速率被证明是密切近似的$R(d) + \sqrt{\frac{V(d)}{n}} Q^{-1}(ε)$,其中$R(d)$是率失真函数,$V(d)$是速率分散,源的一个特性,它测量其随机变化,和$Q^{-1}(ε)$是标准的高斯互补CDF的逆。
2014-02-04 cs.IT math.IT
Polar Lattices for Lossy Compression
最近,由极化码构造的极化格被证明能够实现加性高斯白噪声(AWGN)信道的容量。在这项工作中,我们提出了一种新的构造极格来解决对偶问题,即,实现无记忆高斯源的率失真界限,这意味着极坐标也可以用于连续源的有损压缩。所提出的极格子的结构使我们能够将后熵编码过程集成到格子量化器中,这简化了量化过程。对于亚指数衰减的过量失真,编码和解码复杂度的总体复杂度是$O(N \log^2 N)$。此外,极格的嵌套结构进一步为一些多端编码问题提供了解决方案。高斯源的Wyner-Ziv编码问题可以通过嵌套在实现率失真界中的AWGN容量实现极格来解决,并且Gelfand-Pinsker问题可以以相反的方式解决。
2021-05-15 cs.IT math.IT
Multi-Processor Approximate Message Passing Using Lossy Compression
本文提出了一种基于近似消息传递算法的通信高效的多处理器压缩感知框架。我们执行有损压缩的处理器之间进行通信的数据,从而降低了通信成本,恢复质量略有下降。在所提出的框架中,一个新的状态演化公式考虑到量化误差,并解析地确定在每次迭代所需的编码速率。用于分配编码速率的两种方法,在线回溯启发式和基于动态规划的最优分配方案,提供了通信成本的显著降低。
2016-01-18 cs.DC cs.IT math.IT
Analysis of LDGM and compound codes for lossy compression and binning
最近的工作表明,低密度生成矩阵(LDGM)码可能是有效的有损信源编码的问题。我们推导出严格的上界的有效率失真函数的LDGM码的二进制对称源,表明他们迅速接近率失真函数的程度增加。我们还将标准LDGM结构与我们之前工作中引入的复合LDPC/LDGM结构进行比较和对比,该结构可证明以有限度饱和率失真界限。此外,这种复合结构可用于产生同时作为信源和信道码的嵌套码,因此非常适合于具有辅助信息的信源/信道编码。我们构造的稀疏和高围长的图形结构使它们非常适合消息传递编码。
2006-02-13 cs.IT math.IT
Belief Propagation for Error Correcting Codes and Lossy Compression Using Multilayer Perceptrons
研究了基于置信传播(BP)算法作为纠错码和有损压缩解码器的可能性,这两种编码器都是基于非单调树状多层感知器编码器的。讨论了BP算法在这些方案中是否能给出实用的算法。不幸的是,BP算法在这类全连接网络中的实现显示出很强的局限性,而理论结果似乎有点有希望。相反,它揭示了它可能有一个丰富而复杂的结构的解决方案空间通过基于BP算法。
2011-03-10 cs.IT math.IT physics.data-an
A Large Deviations Approach to Secure Lossy Compression
我们考虑一个香农密码系统的无记忆源,其中失真是允许在合法的解码器。使用由共享密钥保护的率失真码来压缩源,所述共享密钥满足对压缩率的约束,以及对合法解码器处的过量失真概率的指数率的约束。秘密性是通过窃听者处的微小失真概率的指数率来测量的,而不是通过传统的含糊性测量。我们定义的完美保密指数的最大微小失真指数时,密钥速率是无限的。在有限的密钥速率下,对一类相当一般的变密钥速率码,证明了最大可实现的弱失真指数等于平均密钥速率与完美保密指数之间的最小值.
2015-04-22 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架,通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡,理论证明高斯源下可覆盖全部权衡区域,实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
Lossy Compression, Realism, and Coordination
Imperial College London(伦敦帝国理工学院)
本文概述带真实性约束的有损压缩领域,揭示其与速率受限分布式协调的深层关联,综述真实性形式化进展并提出将相关范式转移至协调领域以催生新问题。
2026-08-13 cs.IT math.IT
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology(维特比电气工程与计算机科学学院,技术学院–以色列理工学院);Department of Electrical Engineering-Systems, Tel Aviv University(电气工程-系统系,特拉维夫大学)
将通用有损压缩的序列模式重构为多臂老虎机问题,研究探索与利用的权衡,提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Polar Codes are Optimal for Lossy Source Coding
我们考虑使用极化码和低复杂度连续编码算法对二进制对称源进行有损源压缩。Arikan最近指出,极化码在连续解码策略下实现了任意对称二进制输入离散无记忆信道的容量。我们给出了有损源压缩的等效结果,即,我们表明,这种组合实现了二进制对称源的速率失真界。我们进一步证明了极化码对各种问题的最优性,包括二进制Wyner-Ziv和二进制Gelfand-Pinsker问题
2009-03-02 cs.IT math.IT
CAMEO: Autocorrelation-Preserving Line Simplification for Lossy Time Series Compression
提出CAMEO,一种保持自相关特性的有损时间序列压缩方法,利用线简化技术,平均压缩比提升2倍,最高54倍,并保持或提升预测精度。
2025-01-24 cs.DB cs.IR cs.IT
The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)
Cranfield University(克兰菲尔德大学)
本文提出误差有界预测编码(EPC),利用掩码语言模型作为解压器,通过存储最小修正实现有损文本压缩,在率失真性能上优于预测掩码基线,以更低比特率提供更高保真度。
2025-10-25 cs.CL cs.IT cs.LG
Statistical mechanics of lossy compression for non-monotonic multilayer perceptrons
利用统计力学方法研究了均匀偏置布尔消息的有损数据压缩方案。我们利用树状委员会机(委员会树)和树状奇偶机(奇偶树),其传递函数是非单调的。利用副本方法分析了该方案在无限码长限制下的性能。委员会和奇偶校验树状网络饱和香农界。分析了非单调对称解的AT稳定性,并讨论了非单调传递函数的可调性。
2008-07-25 cond-mat.dis-nn cond-mat.stat-mech cs.IT
An Information-theoretic Framework for the Lossy Compression of Link Streams
Centre national de la recherche scientifique(法国国家科学研究中心);Laboratoire d’informatique de Paris 6(巴黎第六大学计算机实验室)
图压缩是一种数据分析技术,包括用更一般的结构模式替换图的部分,以减少其描述长度。它为研究真实的、大规模的和复杂的图形提供了有趣的探索工具,而这些图形是乍一看无法掌握的。本文提出了一个时间图压缩的框架,即压缩随时间演化的图。这个框架首先建立在一个简单的和有限的计划,利用结构等价的静态图的无损压缩,然后将其推广到有损压缩的链接流,最近的形式主义的时间图的研究。这种概括依赖于(二维)关系数据的自然扩展,通过添加第三个时间维度。此外,我们引入了一个信息理论的措施来量化和控制在压缩过程中丢失的信息,以及可能的压缩模式的空间的代数表征,以提高初始压缩方案的表现力。这些贡献导致定义的组合优化问题,即有损多流压缩问题,我们提供了一个精确的算法。
2018-07-18 cs.AI cs.DS cs.IT
An Error-Bounded Lossy Compression Method with Bit-Adaptive Quantization for Particle Data
针对大规模科学粒子数据压缩比受限问题,提出基于 k-d 树分区与位盒的位自适应量化误差有界有损压缩方法,并在多类数据集上对比评估。
2024-04-04 astro-ph.IM cs.GR cs.IT
Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题,推导出标签复杂性和泛化误差的理论下界,为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Lossy Compression of General Random Variables
针对一般可测空间上随机变量的有损压缩问题,本文基于满足小球概率正则条件的参考测度,给出率失真函数与量化误差的一般性界,并推广到流形及自相似集。
2023-06-02 cs.IT math.IT math.PR
Lossy compression of weighted graph adjacency matrices by transform coding
The University of Osaka(大阪大学);Kansai University(关西大学);University of Southern California(南加州大学)
研究加权图邻接矩阵的有损压缩,核心方法是先将无加权图转换为线图,再用图滤波器组变换边权值向量并量化编码,还提出边平滑度衡量压缩难度,实验验证了该方法相较于现有方法的有效性。
2026-07-17 cs.IT eess.SP math.IT
On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework
Shanghai Jiao Tong University(上海交通大学)
有损压缩算法通常被设计成在给定比特率下实现最低可能失真。然而,最近的研究表明,追求高感知质量将导致最低可实现失真的增加(例如,MSE)。本文从理论上提供了重要的结果,揭示了,\textit{1})实现完美感知质量的成本恰好是最低可实现MSE失真的两倍,\textit{2})对于“经典”率失真问题的最佳编码器也是最佳的感知压缩问题,\textit{3})失真损失对于训练感知解码器是不必要的。此外,我们提出了一种新的训练框架,以实现最低的MSE失真在完美的感知约束下,在给定的比特率。该框架使用了一个GAN,其具有以MSE优化编码器为条件的SNR,这优于使用失真加对抗性损失的传统框架。实验结果验证了理论分析的正确性,并证明了该训练框架的优越性。
2021-06-05 cs.AI cs.IT math.IT
On privacy amplification, lossy compression, and their duality to channel coding
我们从信息论和编码论的角度来研究隐私放大的任务。在前者中,我们给出了一个一次性的特征的最佳速率的隐私放大对经典的对手在最佳的第二类错误的非对称假设检验。这个公式可以很容易地计算,以给出有限块长度的界限,并证明等价于Renner和Wolf [Asiacrypt 2005]以及Watanabe和Hayashi [ISIT 2013]的平滑最小熵界限,以及Yang,Schaefer和Poor [arXiv:1706.03866 [cs.IT]]的$E_γ$发散方面的界限。在后者中,我们表明,基于线性码的隐私放大协议可以很容易地重新用于信道模拟。结合信道模拟和有损信源编码之间的已知关系,这意味着隐私放大可以被理解为信道模拟和有损压缩两者的基本原语。应用于对称信道或有损压缩设置,我们的建设导致proto-promise的最佳速率在渐近i.i.d.极限最后,呼吁信道对偶的概念,最近详细介绍了我们在[IEEE trans.info。理论64,577(2018)],我们证明了具有量子输出的对称信道的线性纠错码可以转换为用于从双信道产生的经典变量的线性有损信源编码方案。这解释了Martinian和Yedidia [Allerton 2003; arXiv:cs/0408008]观察到的(自对偶)擦除信道的这些问题中的“奇怪的对偶性”,并且部分地预期了关于通过极性和低密度生成矩阵码的最佳有损压缩的最近…
2018-05-14 cs.IT math.IT quant-ph
Sequential Lossy Compression With Causal Conditional Perception
EURECOM(欧洲通信研究所)
本文提出因果条件感知下的序列有损压缩框架,针对马尔可夫和高斯-马尔可夫源建立率失真感知函数界,并证明高斯最优性及闭式解。
2026-09-09 cs.IT eess.SP math.IT
Towards improved lossy image compression: Human image reconstruction with public-domain images
Palo Alto High School(帕洛阿尔托高中);Monta Vista High School(蒙塔维斯塔高中);Saint Francis High School(圣弗朗西斯高中);Stanford University(斯坦福大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
有损图像压缩已经在诸如RMSE、MS-SSIM等典型损失函数的上下文中被广泛研究。然而,在低比特率下的压缩通常产生不令人满意的结果。此外,大量公共图像数据集的可用性似乎在图像压缩中几乎没有被利用。在这里,我们提出了一个范例,用于引发人类图像重建,以执行有损图像压缩。在这个范例中,一个人向第二个人描述图像,第二个人的任务是使用公共可用的图像和文本指令重建目标图像。然后,人工评分员在Amazon Mechanical Turk平台上对重建结果进行评估,并将其与使用最先进的压缩机WebP获得的重建结果进行比较。我们的研究结果表明,优先考虑语义视觉元素可能是实现图像压缩显着改善的关键,我们的范例可以用来开发一个更以人为中心的损失函数。图像、结果和其他数据可在https://compression.stanford.edu/human-compression上获得
2019-06-25 cs.CV cs.IT cs.MM
Lossy Compression with Gaussian Diffusion
Google Research(谷歌研究院)
我们考虑一种新的有损压缩方法的基础上无条件扩散生成模型,我们称之为DiffC。与依赖于变换编码和量化来限制传输信息的现代压缩方案不同,DiffC依赖于被高斯噪声破坏的像素的有效通信。我们实现了一个概念验证,发现尽管缺乏编码器变换,它的效果出奇的好,在ImageNet 64x64上的表现优于最先进的生成压缩方法HiFiC。DiffC仅使用单个模型以任意比特率对损坏的像素进行编码和去噪。该方法还提供了对渐进编码的支持,即,从部分比特流进行解码。我们进行率失真分析,以获得更深入的了解其性能,提供多元高斯数据的分析结果以及一般分布的理论界。此外,我们证明了基于流的重建实现了3 dB的增益在高比特率的祖先采样。
2022-12-31 cs.IT cs.LG math.IT
SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks
University of California, Riverside(加州大学河滨分校);Argonne National Laboratory(阿贡国家实验室);University of Kentucky(肯塔基大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Florida State University(佛罗里达州立大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
针对现有科学误差有界有损压缩器对部分数据集压缩效果差、AI类压缩方案压缩比有限或效率低的问题,提出基于超分辨率网络HAT的SRN-SZ压缩器,无需逐数据训练,压缩比显著优于前沿方案。
2023-11-06 cs.DC cs.IT cs.LG