An MCMC Approach to Universal Lossy Compression of Analog Sources
基于Jalali和Weissman提出的离散信源压缩的马尔可夫链蒙特卡罗（MCMC）方法，提出了一种基于有限再生字母表的模拟信源有损压缩算法，该算法随着输入长度的增加而增加。该算法实现，在适当的渐近意义上，最佳香农理论的速率和失真之间的权衡，普遍平稳遍历连续幅度源。我们进一步提出了一个MCMC为基础的算法，采取减少再生字母时，这种减少并不妨碍实现香农限。后一种算法是有利的，由于其降低的复杂性和改进的收敛速度时，采用的源与一个有限的和小的最佳再现字母。
2011-07-15 cs.IT math.IT
A nearly tight memory-redundancy trade-off for one-pass compression
令$s$是长度为$n$的字符串，其在长度为恒定的$σ$的字母表上，并且令$c$和$ε$是具有（1 \geq c \geq 0）和（ε> 0）的常数。使用（O（n））时间，（O（n^c））位存储器和一次通过，我们总是可以同时对所有整数（k \geq 0）以（n H_k（s）+ O（σ^k n^{1 - c + ε}））位编码$s$。另一方面，即使在无限时间的情况下，使用（O（n^c））位的存储器和一遍，我们也不能总是在（O（n H_k（s）+ σ^k n^{1 - c - ε}））位中对$s$进行编码，例如，（k = \lceil（c + ε/ 2）\log_σ n \rceil）。
2007-08-14 cs.IT math.IT
A Universal Grammar-Based Code For Lossless Compression of Binary Trees
我们考虑的问题，无损压缩的二进制树，目的是减少存储或传输这样的树所需的代码位数。提出了一种基于无损文法的编码方法，它将每棵二叉树分两步编码成一个二进制码字。在第一步中，树被转换成上下文无关文法，从该文法可以重建树。在第二步骤中，将上下文无关文法编码成二进制码字。基于语法的代码的解码器通过颠倒两个编码步骤来从原始树的码字解码原始树。结果表明，所得到的基于语法的二叉树压缩码是一个通用的代码上的一个家庭的概率二叉树源模型满足一定的弱限制。
2013-04-27 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架，通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡，理论证明高斯源下可覆盖全部权衡区域，实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
Quantum entropy-typical subspace and universal data compression
介绍了量子熵-典型子空间理论。证明了任意冯诺伊曼熵小于h的混合态都可以近似地被熵= h的熵典型子空间所保持。这一结果意味着在信源的冯诺伊曼熵不超过h的情况下，存在一个普适的压缩方案。
2014-10-21 cs.IT math.IT quant-ph
Results on the Fundamental Gain of Memory-Assisted Universal Source Coding
许多应用需要对具有有限大小的各个数据片段执行数据处理，例如，云存储单元中的文件和数据网中的分组。然而，传统的通用压缩解决方案在有限长度的序列上表现不佳。最近，我们提出了一个框架，称为内存辅助的通用压缩，持有一个显着的承诺，从有限长度的序列减少冗余数据量。所提出的压缩方案是基于这样的观察，即可以在一些中间实体处学习源统计（通过记忆来自源的先前序列），然后利用所记忆的上下文来减少有限长度序列的通用压缩的冗余。我们首先提出了一个单一的参数源的建议的记忆辅助通用信源编码的基本增益超过传统的通用压缩（无记忆）。然后，我们扩展和调查的好处的记忆辅助通用信源编码的数据序列时，产生的复合源，这是一个混合的参数源。我们进一步开发了一种聚类技术内的内存辅助压缩框架，以更好地利用内存的参数源的混合物中的观察到的数据序列进行分类。最后，我们证明，通过计算机模拟，建议的联合记忆和聚类技术可以实现6倍的改进，比传统的通用压缩技术时，混合的非二进制马尔可夫源被认为是。
2012-05-19 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
A Universal Parallel Two-Pass MDL Context Tree Compression Algorithm
提出一种并行两遍 MDL 上下文树无损压缩算法，先全局估计源模型再并行编码各块，在保持低冗余的同时实现 $O(N/B)$ 复杂度和更优压缩-吞吐权衡。
2015-03-21 cs.IT math.IT
An Efficient Technique for Text Compression
为了存储一个单词或整个文本段，我们需要一个巨大的存储空间。通常，一个字符需要1个字节来存储在内存中。存储器的压缩对于数据管理是非常重要的。在对文本数据进行内存需求压缩的情况下，需要进行无损内存压缩。我们提出了一种用于文本数据压缩的无损内存需求压缩方法。该压缩方法将对文本段或文本文件进行压缩，首先进行压缩，然后进行压缩。将使用单词查找表（不使用传统索引系统）进行缩减，然后使用当前可用的压缩方法进行压缩。字查找表将是操作系统的一部分，并且缩减将由操作系统完成。根据这种方法，每个字将被一个地址值替换。这种方法可以非常有效地减少文本数据所需的持久内存的大小。在使用字查找表的第一级压缩结束时，将生成包含地址的二进制文件。由于所提出的方法在第一级中不使用任何压缩算法，因此可以使用流行的压缩算法来压缩该文件，并且最终将对纯英文文本数据提供大量的数据压缩。
2010-09-25 cs.IR cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施，只透露给编码器，只有在运行时，以及它的扩展，其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析，并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法，第二种编码方案使用失真度量空间的适当量化，第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
A Universal Low Complexity Compression Algorithm for Sparse Marked Graphs
许多现代应用程序涉及访问和处理图形数据，即由图形自然索引的数据。例子来自互联网图表、社交网络、基因组学和蛋白质组学以及其他来源。这种数据的典型的大尺寸激励寻求有效的方法来对其进行压缩和解压缩。目前的压缩方法通常是针对特定的模型，或不提供理论保证。本文提出了一种适用于稀疏标记图（即由稀疏图索引的图形数据）的低复杂度的无损压缩算法，该算法能够在精确定义的意义下普遍获得最优压缩率。为了定义普遍性，我们采用了局部弱收敛的框架，它允许人们理解稀疏图的随机过程的概念。此外，我们研究了我们的算法的性能，通过一些实验结果的合成和真实世界的数据。
2023-01-13 cs.IT math.IT math.PR
Results on the Redundancy of Universal Compression for Finite-Length Sequences
在本文中，我们研究了有限长度范围内光滑参数信源的通用编码方案的冗余性。我们推导出一个事件的概率上界的序列长度$n$，选择使用Jeffreys'事先从家庭的参数源与$d$未知参数，被压缩的冗余小于$(1-ε)\frac{d}{2}\log n$的任何$ε>0$。我们的研究结果还证实，对于足够大的$n$和$d$，平均极大极小冗余提供了一个很好的估计大多数源的冗余。我们的结果可以用来评估通用信源编码方案在有限长序列上的性能。此外，我们精确地描述了两阶段码的极大极小冗余。我们证明了两阶段的假设引起的冗余可以忽略不计，特别是当源参数的数量是大的。最后，我们表明，冗余是显着的小序列的压缩。
2011-10-26 cs.IT math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码，以便表示使用尽可能少的比特。压缩可以是无损的：即，编码数据可以从其表示中精确地恢复），或者是有损的，其中数据比无损情况压缩得更多，但是仍然可以恢复到预定的失真度量内。在本文中，我们证明了Codelet解析，一个准线性时间算法的有损压缩的比特序列是独立和相同的分布（\iid）和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$，使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语，用codelet表示每个短语，codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度，并且像无损Lempel Ziv算法一样，码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
Fine Asymptotics for Universal One-to-One Compression of Parametric Sources
在短块长度的通用信源编码被认为是一个指数族的分布。\emph{Type Size}码以前已被证明是最佳的三阶速率的所有无记忆源的通用压缩有限的字母表。类型大小代码将基于其类型类大小排序的序列分配给按字典顺序排序的二进制字符串。为了将这种类型类方法推广到参数源，一个自然的方案是定义两个序列在同一类型类中，当且仅当它们在参数类中的任何模型下都是等概率的。然而，这种自然的方法是次优的。引入了类型大小代码的变体，其中类型类是基于最小充分统计的邻域定义的。这种变化的溢出率的渐近推导和逆结果建立其最优性的三阶项。这些结果来自参数家庭的$i.i.d.$源以及马尔可夫源。
2016-12-19 cs.IT math.IT
Memory-Assisted Universal Source Coding
在许多实际情况下，如存储数据和互联网流量的压缩，出现了从一个图书馆的几个小到中等长度的序列，从类似的背景下的序列的通用压缩的问题。在这种情况下，通常需要单独压缩和重新编码每个序列。然而，各个序列的通用压缩遭受显著的冗余开销。在本文中，我们的目的是回答是否有一个内存单元在中间可以导致一个基本的增益在通用压缩。我们在由服务器节点$S$、中继节点$R$（即，存储器单元）和客户端节点$C$。我们假设服务器$S$希望将序列$x^n$发送到客户端$C$，该客户端从未与服务器进行过任何先前的通信，因此不能记忆源上下文。然而，$R$先前已经与$S$通信以将先前序列从$S$转发到除$C$之外的客户端，因此，$R$已经存储了与$S$共享的上下文$y^m$。注意，如果中继节点不存在，则源可能将通用压缩应用于$x^n$并发送到$C$，而在$R$处存储的上下文的存在可能减少$S$ - $R$链路中的通信开销。在本文中，我们调查的基本增益的上下文记忆在存储器辅助的通用压缩序列$x^n$在传统的通用信源编码的记忆辅助信源编码的增益提供了一个下界。
2012-01-10 cs.IT math.IT
Universal Lossless Data Compression Via Binary Decision Diagrams
长度为$2^k$的二进制字符串导出$k$变量的布尔函数，其香农展开式是给定的二进制字符串。这个布尔函数可以通过一个唯一的降序二元决策图（ROBDD）来表示。给定的二进制字符串可以从这个ROBDD中完全恢复。我们展示了一种无损数据压缩算法，其中长度为2的幂的二进制串通过如上所述的与其相关联的ROBDD的压缩来压缩。我们表明，当二进制字符串的长度$n$ 2的幂通过该算法压缩，最大逐点冗余/样本相对于任何s-状态的二进制信息源的上界$(4\log_2s+16+o(1))/\log_2n $。为了建立这个结果，我们利用Liaw和Lin的结果，指出$k$变量的布尔函数的ROBDD表示包含$(2+o(1))2^{k}/k$阶的多个顶点。
2011-11-06 cs.IT math.IT
New Algorithms and Lower Bounds for Sequential-Access Data Compression
本论文研究的是顺序存取数据压缩技术，通过从头到尾读取输入一次或多次的算法。在一章中，我们考虑自适应前缀编码，对于这种编码，我们必须逐个字符地读取输入字符，在读取下一个字符之前输出每个字符的自定界码字。我们展示了如何在恒定的最坏情况下的时间编码和解码每个字符，同时产生一个编码的长度是最坏情况下的最佳。在另一章中，我们考虑一次通过压缩与内存的字母表大小和上下文长度的限制，并证明了一个几乎紧密的权衡之间的内存量，我们可以使用和压缩的质量，我们可以实现。在第三章中，我们考虑在读/写流模型中的压缩，它允许我们在输入的大小上传递和存储多对数。我们首先展示如何实现通用压缩，只使用一个通过一个流。然后，我们表明，一个流是不足以实现良好的基于语法的压缩。最后，我们表明，两个流是必要的和充分的实现熵的唯一界限。
2009-02-01 cs.IT math.IT
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习和压缩是由识别和利用统计数据的共同目标驱动的，这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然（NML）编码，它提供了强有力的保证，压缩小数据集-相比之下，更流行的估计，其保证只在渐近极限。在这里，我们考虑一个基于NML的决策策略的监督分类问题，并表明它达到启发式PAC学习时，适用于各种各样的模型。此外，我们表明，我们的方法的误分类率是上限的最大泄漏，最近提出的度量，以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
LLR Compression for BICM Systems Using Large Constellations
数字视频广播（DVB-C2）和其他现代通信标准借助于跨越若干码字的符号级交织器来增加分集。在接收器处的解交织需要大的存储器，这对实现成本具有显著影响。在本文中，我们提出了一种技术，减少解交织器的内存大小。通过使用比特特定量化器量化对数似然比并压缩量化输出，我们可以显著减少存储器大小，而计算复杂性的增加可以忽略不计。量化器和压缩器都是通过基于GMI的最大化过程设计的。对于一个典型的DVB-C2场景，数值结果表明，所提出的解决方案，使内存节省高达30%。
2013-04-16 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
Thermal Efficiency of Quantum Memory Compression
量子相干性允许经典过程的内存减少的模拟器。使用最近的结果在单次量子热力学，我们推导出一个最小的工作成本率的量子模拟器，是准静态可达到的极限渐近无限并行模拟。比较这个成本与经典政权表明，量化经典模拟器不仅导致内存压缩，但也在减少耗散。我们通过一系列有代表性的例子来探讨这一优势。
2020-03-22 cond-mat.stat-mech cs.IT math.IT
A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
本文基于率-失真-感知-分类（RDPC）框架，受通用RDP编码器启发，研究通过单个固定编码器结合多解码器实现多样失真-分类权衡的通用表示，理论与实验验证其在高斯源及MNIST、SVHN数据集上的有效性与实用性。
2025-04-14 cs.IT math.IT
An Implementable Scheme for Universal Lossy Compression of Discrete Markov Sources
提出了一种新的离散信源有损压缩器。为了对源序列$x^n$进行编码，编码器通过向每个重构序列分配特定成本来开始。然后找到最小化此成本的重建，并通过通用无损压缩器将其有损地描述给解码器。序列的代价由其某阶经验概率$k+1$及其相对于源序列的失真的线性组合给出。经验计数矩阵中的成本的线性结构允许编码器采用Viterbi类算法来简单地获得最小化重建序列。我们确定了一个选择的系数的线性组合的成本函数，确保该算法普遍实现最佳率失真性能的任何马尔可夫源的限制大$n$，提供$k$增加为$o(\log n)$。
2009-01-18 cs.IT math.IT
Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases
研究了基于随机码本或随机数据库的有损压缩算法的压缩复杂度权衡问题。受Gupta-Verdú-Weissman（GVW）最近的结果及其与Kontoyiannis的有损Lempel-Ziv算法的模式匹配方案的潜在联系的启发，我们引入了有损Lempel-Ziv方法的非通用版本（称为LLZ）。LLZ的最优无记忆源的建立，其性能相比，GVW分而治之的方法。实验结果表明，GVW方法通常比LLZ产生更好的压缩，但代价是更高的内存需求。为了结合两者的优点，我们引入了一种混合算法（HYB），它利用了GVW的分治思想和LLZ的单数据库结构。证明了HYB与GVW共享完全相同的率失真性能和实现复杂度，而像LLZ一样，需要较少的内存，通过一个可能成为无界的因素，取决于选择或相关的设计参数。实验结果也被提出，说明所有三种方法的性能上产生的数据由简单的离散无记忆源。特别是，HYB算法优于现有的计划，一些简单的离散源的压缩相对于汉明失真准则。
2009-04-21 cs.IT math.IT
Memory-Assisted Universal Compression of Network Flows
近年来，互联网流量中大量冗余的存在促使了网络中冗余消除技术的发展。这些技术通常基于分组级冗余消除（RE）或内容中心网络（CCN）。然而，这些技术不能利用子分组冗余。此外，诸如端到端通用压缩解决方案的其他替代技术在互联网业务上也不会表现良好，因为这样的技术需要无限长度的业务来有效地去除冗余。本文提出了一种内存辅助的通用压缩技术，具有显着的承诺，减少网络中的流量。建议的工作是基于这样的观察，如果一个源被压缩，并通过网络发送，相关的通用代码需要大量的开销在传输中，由于有限长度的流量。然而，中间结点可以学习源统计，并且这可以用于降低描述源统计的成本，从而降低这种业务的传输开销。本文提出了两种基于记忆辅助的信息源通用无损压缩算法（基于统计的和基于字典的）。这些计划是普遍的意义上，他们不需要任何先验知识的交通的统计分布。我们证明了这两种算法的有效性，并使用真正的互联网痕迹的记忆增益的特点。此外，我们将这些压缩方案应用到互联网的幂律图，并解决压缩流的路由问题。
2012-03-30 cs.IT cs.NI math.IT
A Universal Lossless Compression Method applicable to Sparse Graphs and Heavy-Tailed Sparse Graphs
图形数据自然地出现在若干现代应用中，包括但不限于互联网图、社交网络、基因组学和蛋白质组学。图形数据的典型大尺寸论证了为此类数据设计通用压缩方法的重要性。在大多数应用中，图形数据是稀疏的，这意味着图中边的数量比$n^2$缩放得更慢，其中$n$表示顶点的数量。尽管在某些应用中，边的数量与$n$成线性比例，但在其它应用中，边的数量远小于$n^2$，但看起来与$n$成超线性比例。我们称前者为稀疏图，后者为重尾稀疏图。本文介绍了一种同时适用于这两类的通用无损压缩方法。我们这样做，采用局部弱收敛框架稀疏图和稀疏图子框架重尾稀疏图。
2021-07-18 cs.IT math.IT math.PR
Study On Universal Lossless Data Compression by using Context Dependence Multilevel Pattern Matching Grammar Transform
本文提出了上下文相关多级模式匹配（context dependence multilevel pattern matching，简称CDMPM）文法变换，并在此文法变换的基础上，提出了一种通用的无损数据压缩算法--CDMPM码。此外，我们得到了该算法的最坏情况下的冗余度的上界之间的所有个人序列的长度为n的有限字母表。
2013-03-20 cs.DM cs.IT math.IT
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Universal Lossless Compression of Graphical Data
图形数据由在其边和顶点上具有标记的图组成。该标记指示与相应边或顶点相关联的某些属性的值。这种数据的例子出现在社交网络、分子和系统生物学、网络图以及其他几个应用领域。我们的目标是设计方案，可以有效地压缩这种图形数据，而不对它的随机特性的假设。也就是说，我们希望开发一个通用的压缩算法的图形数据源。为了形式化这一目标，我们采用的框架，局部弱收敛，也被称为客观的方法，它提供了一种技术，认为一个标记图作为一种平稳的随机过程，相对于图的顶点之间的运动是平稳的。在最近的工作中，我们已经推广了熵的概念，在这个框架中，由于Bordenave和Caputo，标记图的情况下，未标记的图形。我们使用这个概念来评估压缩方案的效率。我们提出的无损压缩方案，在本文中，然后被证明是普遍最优的，在一个精确的技术意义。它还能够以压缩形式执行本地数据查询。
2019-09-21 cs.IT math.IT math.PR
Non-random structures in universal compression and the Fermi paradox
我们研究的假设信息胚分配最近可能的解决方案之间的费米悖论（“在哪里的外国人？").它表明，费用的外来信令可以显着减少，如果他们的消息包含压缩的信息。为此，我们考虑通用的压缩和解码机制（例如Lempel-Ziv-Welch算法），可以揭示压缩位串中的非随机结构。柯尔莫哥洛夫随机性参数检测的非随机性的效率示出，随着齐普夫定律。这些方法的通用性，即对数据细节的独立性，在搜索智能消息时可以是主要的。
2016-02-07 astro-ph.IM cs.IT math.IT
Time and Memory Efficient Lempel-Ziv Compression Using Suffix Arrays
众所周知的基于字典的Lempel-Ziv（LZ）77系列算法是几种通用无损压缩技术的基础。这些算法在编码/解码时间和存储器要求方面是不对称的，前者要求更高。在过去的几年中，相当多的注意力已经致力于寻找有效的数据结构，以支持这些搜索的问题，旨在优化编码器的速度和内存。哈希表、二叉搜索树和后缀树已被广泛用于此目的，因为它们允许以牺牲存储器为代价的快速搜索。最近的一些研究集中在后缀数组（SA），由于其低内存需求和线性构造算法。先前的工作已经展示了如何使用单个SA或具有最长公共前缀信息的辅助阵列的SA来计算LZ 77分解。基于SA的算法比基于树的编码器使用更少的内存，分配严格必要的内存量，而不管要搜索/编码的文本的内容。在本文中，我们提出了更快的SA为基础的算法LZ 77编码和子串搜索，保持其低的内存需求，以前的工作进行改进。对于一些压缩设置，在一个大型基准测试文件集上，我们的低内存SA编码器也比基于树的编码器更快。这提供了时间和存储器高效的LZ 77编码，是对像LZMA这样的公知编码器上的树的可能替代。我们的算法也适用于文本分类，因为它提供了一种紧凑的方式来描述文本的词袋表示，以及一个快速的索引机制，允许快速找到所有的单词集，以一个给定的符号开始，在一个静态字典。
2009-12-30 cs.DS cs.IT math.IT
Thermodynamically-Efficient Local Computation and the Inefficiency of Quantum Memory Compression
模块化耗散确定了本地实现的计算如何需要超出Landauer的热力学计算所需的成本。我们建立了一个有效的局部计算的一般定理，给出了一个局部运算具有零模块性代价的充分必要条件。应用于随机生成过程，它证实了一个猜想，即经典的发电机是有效的，当且仅当他们满足追溯，这使得最小的内存需求的发电机。这立即扩展到量子计算：任何采用量子内存压缩的量子模拟器都不可能具有高效率。
2020-02-01 cond-mat.stat-mech cs.IT math.IT
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University（俄勒冈州立大学）
本文探索通用表示，开发单个编码器以在各种失真和分类（或感知）约束下实现多个解码目标，避免为每个操作点重训练编码器，在MNIST数据集验证其在感知压缩任务中性能下降小，但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Memory size bounds of prefix DAGs
在这份报告中，熵界的内存大小的叶标记树的压缩方法。压缩通过合并同构子树将树转换为有向无环图（DAG）。
2013-05-24 cs.DS cs.IT math.IT
Universal Rate-Distortion-Perception Representations for Lossy Compression
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
在有损压缩的背景下，Blau & Michaeli（2019）采用了感知质量的数学概念，并定义了信息率失真感知函数，概括了经典的率失真权衡。我们考虑的概念，其中一个可以固定的编码器和不同的解码器，以实现任何点内的失真和感知约束的集合的通用表示。我们证明了相应的信息理论的通用率失真感知功能是可操作的近似意义上。在MSE失真下，我们证明了高斯信源的整个失真感知折衷可以由相同速率的单个编码器渐近地实现。然后，我们的特点是可实现的失真感知区域为一个固定的代表在任意分布的情况下，确定条件下，上述结果继续保持近似，并研究的情况下，当速率是不固定的。这激发了对在RDP权衡中近似通用的实际构造的研究，从而减轻了为每个目标设计新编码器的需要。我们提供的MNIST和SVHN的实验结果表明，在图像压缩任务，操作的权衡与固定编码器的机器学习模型相比，他们的可变编码器对应时，只遭受一个小的惩罚。
2021-12-22 cs.IT cs.LG math.IT
Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；CY Université（CY塞尔吉巴黎大学）；ENSEA（ENSEA工程师学院）；CNRS（法国国家科学研究中心）
本文介绍了一种增量训练框架，用于压缩流行的基于深度神经网络（DNN）的展开多输入多输出（MIMO）检测算法，如DetNet。探索增量训练的思想，以选择最佳的深度，而训练。为了减少计算要求或浮点运算（FLOPs）的数量，并加强稀疏的权重，结构化正则化的概念，探索使用组LASSO和稀疏组LASSO。我们的方法导致了惊人的$98.9\%$减少内存需求和$81.63\%$减少FLOPs相比，DetNet不影响BER性能。
2021-04-16 cs.IT cs.LG eess.SP
Universal Compression of Envelope Classes: Tight Characterization via Poisson Sampling
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
泊松采样技术消除了随机序列中符号外观之间的依赖性。它已被用来简化分析和加强随机算法的性能保证。将这种方法应用于通用压缩，我们将固定长度和泊松采样序列的冗余度联系起来，利用这种关系推导出一个简单的单字母公式，该公式将任何包络类的冗余度近似到一个加性对数项内。作为第一个应用，我们考虑i.i.d.分布在一个小的字母作为一个步骤包络类，并提供了一个简短的证明，确定冗余的离散分布在一个小的字母表的一阶项。然后，我们展示了我们的方法的力量，通过应用该公式来收紧现有的指数和幂律类的冗余界限，特别是回答Boucheron，Garivier和Gassiat提出的问题。
2014-05-29 cs.IT cs.LG math.IT
MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation
University of Virginia（弗吉尼亚大学）；National University of Singapore（新加坡国立大学）；Meta；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出MLorc方法，通过压缩和重建矩阵参数动量以降低内存消耗，相比LoRA和GaLore在内存效率和训练动态保留方面更优，理论和实验均验证其有效性。
2026-04-25 cs.IT cs.LG math.IT
Universal Graph Compression: Stochastic Block Models
针对随机块模型图数据，本文通过二维变换与Krichevsky–Trofimov压缩器提出多项式时间的通用无损压缩方案，在四个基准数据集上显著优于现有算法。
2024-05-21 cs.DB cs.IT math.IT
Generalized Compression Dictionary Distance as Universal Similarity Measure
SKIL Telecom Italia Lab, University of Trento（特伦托大学SKIL意大利电信实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种新的相似性度量的基础上的信息论措施，这是优于归一化压缩距离聚类问题，并继承了条件柯尔莫哥洛夫复杂性的有用属性。我们表明，归一化压缩字典大小和归一化压缩字典熵的计算效率更高，因为需要执行压缩本身被淘汰。此外，它们随着指数向量大小的增长而线性扩展，并且与内容无关。我们表明，归一化的压缩字典距离是压缩机独立的，如果限于无损压缩器，这为实时和大数据应用程序的优化和实现速度的提高提供了空间。该方法适用于无参数无监督聚类、分类和回归等监督学习、特征选择等机器学习任务，也适用于速度增加数量级的大数据问题。
2014-10-21 cs.AI cs.CC cs.IT
DeepCABAC: A Universal Compression Algorithm for Deep Neural Networks
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究借鉴视频编码的CABAC技术，提出兼顾率失真优化与网络精度的DeepCABAC神经网络压缩算法，实验显示其压缩率优于现有方法，可实现VGG16模型63.6倍无损压缩。
2019-07-27 cs.IT cs.LG math.IT
Memory compression and thermal efficiency of quantum implementations of non-deterministic hidden Markov models
Imperial College London（伦敦帝国学院）
随机建模是定量科学的一个重要组成部分，隐马尔可夫模型（HMRM）通常起着核心作用。与此同时，量子技术的兴起在计算问题上带来了许多优势，通常是在时间和内存等必要资源的扩展方面。Hysteresis也不例外，最近的结果突出了确定性Hysteresis的量子实现，相对于经典的Hysteresis表现出更好的存储和热效率。然而，在许多情况下，非确定性的阻碍是可行的替代方案;与它们相比，当前量子实现的优势并不总是保持不变。在这里，我们提供了一个系统的处方，构建量子实现的非确定性的阻碍，重新建立量子优势对这个更广泛的类。至关重要的是，我们表明，无论何时经典实现由于需要以时间本地方式处理信息而遭受热耗散，我们的量子实现都将减轻一些这种耗散，并在内存压缩方面取得优势。
2021-06-21 cond-mat.stat-mech cs.IT cs.LG
Compression challenges in large scale PDE solvers
偏微分方程（PDE）的求解是计算科学的基石之一。对于大型问题，它们涉及需要在内存层次结构的所有级别上存储和传输的大量数据。通常，由于相对较小的运算强度，带宽是限制因素，并且由于计算能力和带宽之间的差距越来越大，带宽越来越成为限制因素。因此，在过去的几十年中，数据压缩技术已经被研究并针对PDE求解器的特定要求进行了定制。本文调查数据压缩的挑战和相应的解决方案PDE问题的方法，涵盖所有级别的内存层次结构，从大容量存储器到主存。举例来说，我们说明在特定的方法的概念，并提供参考的替代品。
2019-09-18 cs.DC cs.IT cs.NA
Universal Compression of Power-Law Distributions
众所周知，英语单词和许多其他自然过程的输出都遵循Zipf分布。然而，这种完全确定的性质从未被证明有助于压缩或预测这些重要的过程。我们发现，Zipf分布的顺序$α>1$的预期冗余大致是$1/α$功率的预期冗余的无限制分布。因此，对于这些阶，Zipf分布可以比以前已知的更好地压缩和预测。与预期的情况不同，我们表明，最坏情况下的冗余是大致相同的Zipf和无限制的分布。因此，Zipf分布具有显着不同的最坏情况和预期冗余，使其成为第一个具有这种差异的自然分布类。
2015-05-01 cs.IT math.IT math.ST
