Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表，这是用来解析的源流。一旦源子序列在字典码字的指定失真内，码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典，我们推导出我们的编码方案的ε-编码率（直到三阶项）的渐近性。
2022-11-22 cs.IT math.IT
A Universal Low Complexity Compression Algorithm for Sparse Marked Graphs
许多现代应用程序涉及访问和处理图形数据，即由图形自然索引的数据。例子来自互联网图表、社交网络、基因组学和蛋白质组学以及其他来源。这种数据的典型的大尺寸激励寻求有效的方法来对其进行压缩和解压缩。目前的压缩方法通常是针对特定的模型，或不提供理论保证。本文提出了一种适用于稀疏标记图（即由稀疏图索引的图形数据）的低复杂度的无损压缩算法，该算法能够在精确定义的意义下普遍获得最优压缩率。为了定义普遍性，我们采用了局部弱收敛的框架，它允许人们理解稀疏图的随机过程的概念。此外，我们研究了我们的算法的性能，通过一些实验结果的合成和真实世界的数据。
2023-01-13 cs.IT math.IT math.PR
An MCMC Approach to Universal Lossy Compression of Analog Sources
基于Jalali和Weissman提出的离散信源压缩的马尔可夫链蒙特卡罗（MCMC）方法，提出了一种基于有限再生字母表的模拟信源有损压缩算法，该算法随着输入长度的增加而增加。该算法实现，在适当的渐近意义上，最佳香农理论的速率和失真之间的权衡，普遍平稳遍历连续幅度源。我们进一步提出了一个MCMC为基础的算法，采取减少再生字母时，这种减少并不妨碍实现香农限。后一种算法是有利的，由于其降低的复杂性和改进的收敛速度时，采用的源与一个有限的和小的最佳再现字母。
2011-07-15 cs.IT math.IT
On Finite Memory Universal Data Compression and Classification of Individual Sequences
考虑这样一种情况，其中有限字母表上的半无限个体序列X的N个字母的连续块通过某种一对一映射被压缩成二进制序列。在编码器中没有关于X的先验信息，因此必须采用通用的数据压缩算法。众所周知，如果通用的LZ 77数据压缩算法被连续地应用于N个块，则对于特定的单个序列X实现了最佳的无差错压缩，因为$N$趋于无穷大。本文讨论了有限N块的通用数据压缩算法所能达到的最佳压缩效果。接下来，考虑一种称为分类器（或称分类器）的设备，它观察一个单独的训练序列X。分类器的任务是检查长度为N的各个测试序列，并根据一些适当的准则来决定测试N序列是否具有与训练序列X捕获的特征相同的特征，或者是否充分不同。这里再次证明，具有在N中为线性的存储空间复杂度的特定通用上下文分类器本质上是最优的。这可能有助于在学习理论和计算生物学中的概率后缀树（PST）方法的理论“个体序列”的理由。
2013-01-24 cs.IT math.IT
A Universal Grammar-Based Code For Lossless Compression of Binary Trees
我们考虑的问题，无损压缩的二进制树，目的是减少存储或传输这样的树所需的代码位数。提出了一种基于无损文法的编码方法，它将每棵二叉树分两步编码成一个二进制码字。在第一步中，树被转换成上下文无关文法，从该文法可以重建树。在第二步骤中，将上下文无关文法编码成二进制码字。基于语法的代码的解码器通过颠倒两个编码步骤来从原始树的码字解码原始树。结果表明，所得到的基于语法的二叉树压缩码是一个通用的代码上的一个家庭的概率二叉树源模型满足一定的弱限制。
2013-04-27 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架，通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡，理论证明高斯源下可覆盖全部权衡区域，实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习和压缩是由识别和利用统计数据的共同目标驱动的，这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然（NML）编码，它提供了强有力的保证，压缩小数据集-相比之下，更流行的估计，其保证只在渐近极限。在这里，我们考虑一个基于NML的决策策略的监督分类问题，并表明它达到启发式PAC学习时，适用于各种各样的模型。此外，我们表明，我们的方法的误分类率是上限的最大泄漏，最近提出的度量，以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
Results on the Fundamental Gain of Memory-Assisted Universal Source Coding
许多应用需要对具有有限大小的各个数据片段执行数据处理，例如，云存储单元中的文件和数据网中的分组。然而，传统的通用压缩解决方案在有限长度的序列上表现不佳。最近，我们提出了一个框架，称为内存辅助的通用压缩，持有一个显着的承诺，从有限长度的序列减少冗余数据量。所提出的压缩方案是基于这样的观察，即可以在一些中间实体处学习源统计（通过记忆来自源的先前序列），然后利用所记忆的上下文来减少有限长度序列的通用压缩的冗余。我们首先提出了一个单一的参数源的建议的记忆辅助通用信源编码的基本增益超过传统的通用压缩（无记忆）。然后，我们扩展和调查的好处的记忆辅助通用信源编码的数据序列时，产生的复合源，这是一个混合的参数源。我们进一步开发了一种聚类技术内的内存辅助压缩框架，以更好地利用内存的参数源的混合物中的观察到的数据序列进行分类。最后，我们证明，通过计算机模拟，建议的联合记忆和聚类技术可以实现6倍的改进，比传统的通用压缩技术时，混合的非二进制马尔可夫源被认为是。
2012-05-19 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
Tail redundancy and its characterization of compression of memoryless sources
我们正式的尾部冗余的分布在一个可数无限字母的集合，并表明，这个基本的数量特征的渐近每符号冗余的普遍压缩序列产生的IID从一个集合$\mathcal P$的分布在一个可数无限字母。与通用压缩的最坏情况公式相反，$\mathcal P$的有限单个字母（平均情况）冗余并不自动暗示从$\mathcal P$采样的iid描述长度- $n$字符串的预期冗余随着$n$次线性地增长。相反，我们证明了通用的压缩长度$n$ \iid序列从$\mathcal P$的特点是如何以及分布在$\mathcal P$的尾部可以普遍描述，表明渐近每符号冗余的iid字符串是等于尾部冗余。
2022-05-02 cs.IT math.IT
Memory-Assisted Universal Compression of Network Flows
近年来，互联网流量中大量冗余的存在促使了网络中冗余消除技术的发展。这些技术通常基于分组级冗余消除（RE）或内容中心网络（CCN）。然而，这些技术不能利用子分组冗余。此外，诸如端到端通用压缩解决方案的其他替代技术在互联网业务上也不会表现良好，因为这样的技术需要无限长度的业务来有效地去除冗余。本文提出了一种内存辅助的通用压缩技术，具有显着的承诺，减少网络中的流量。建议的工作是基于这样的观察，如果一个源被压缩，并通过网络发送，相关的通用代码需要大量的开销在传输中，由于有限长度的流量。然而，中间结点可以学习源统计，并且这可以用于降低描述源统计的成本，从而降低这种业务的传输开销。本文提出了两种基于记忆辅助的信息源通用无损压缩算法（基于统计的和基于字典的）。这些计划是普遍的意义上，他们不需要任何先验知识的交通的统计分布。我们证明了这两种算法的有效性，并使用真正的互联网痕迹的记忆增益的特点。此外，我们将这些压缩方案应用到互联网的幂律图，并解决压缩流的路由问题。
2012-03-30 cs.IT cs.NI math.IT
Non-random structures in universal compression and the Fermi paradox
我们研究的假设信息胚分配最近可能的解决方案之间的费米悖论（“在哪里的外国人？").它表明，费用的外来信令可以显着减少，如果他们的消息包含压缩的信息。为此，我们考虑通用的压缩和解码机制（例如Lempel-Ziv-Welch算法），可以揭示压缩位串中的非随机结构。柯尔莫哥洛夫随机性参数检测的非随机性的效率示出，随着齐普夫定律。这些方法的通用性，即对数据细节的独立性，在搜索智能消息时可以是主要的。
2016-02-07 astro-ph.IM cs.IT math.IT
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中，我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的（如Slepian-Wolf设置中那样）。相反，这两个序列是相关的，因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念，其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时，解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明，通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时，足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
A Universal Lossless Compression Method applicable to Sparse Graphs and Heavy-Tailed Sparse Graphs
图形数据自然地出现在若干现代应用中，包括但不限于互联网图、社交网络、基因组学和蛋白质组学。图形数据的典型大尺寸论证了为此类数据设计通用压缩方法的重要性。在大多数应用中，图形数据是稀疏的，这意味着图中边的数量比$n^2$缩放得更慢，其中$n$表示顶点的数量。尽管在某些应用中，边的数量与$n$成线性比例，但在其它应用中，边的数量远小于$n^2$，但看起来与$n$成超线性比例。我们称前者为稀疏图，后者为重尾稀疏图。本文介绍了一种同时适用于这两类的通用无损压缩方法。我们这样做，采用局部弱收敛框架稀疏图和稀疏图子框架重尾稀疏图。
2021-07-18 cs.IT math.IT math.PR
A Universal Parallel Two-Pass MDL Context Tree Compression Algorithm
提出一种并行两遍 MDL 上下文树无损压缩算法，先全局估计源模型再并行编码各块，在保持低冗余的同时实现 $O(N/B)$ 复杂度和更优压缩-吞吐权衡。
2015-03-21 cs.IT math.IT
Study On Universal Lossless Data Compression by using Context Dependence Multilevel Pattern Matching Grammar Transform
本文提出了上下文相关多级模式匹配（context dependence multilevel pattern matching，简称CDMPM）文法变换，并在此文法变换的基础上，提出了一种通用的无损数据压缩算法--CDMPM码。此外，我们得到了该算法的最坏情况下的冗余度的上界之间的所有个人序列的长度为n的有限字母表。
2013-03-20 cs.DM cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施，只透露给编码器，只有在运行时，以及它的扩展，其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析，并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法，第二种编码方案使用失真度量空间的适当量化，第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University（俄勒冈州立大学）
本文探索通用表示，开发单个编码器以在各种失真和分类（或感知）约束下实现多个解码目标，避免为每个操作点重训练编码器，在MNIST数据集验证其在感知压缩任务中性能下降小，但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Results on the Redundancy of Universal Compression for Finite-Length Sequences
在本文中，我们研究了有限长度范围内光滑参数信源的通用编码方案的冗余性。我们推导出一个事件的概率上界的序列长度$n$，选择使用Jeffreys'事先从家庭的参数源与$d$未知参数，被压缩的冗余小于$(1-ε)\frac{d}{2}\log n$的任何$ε>0$。我们的研究结果还证实，对于足够大的$n$和$d$，平均极大极小冗余提供了一个很好的估计大多数源的冗余。我们的结果可以用来评估通用信源编码方案在有限长序列上的性能。此外，我们精确地描述了两阶段码的极大极小冗余。我们证明了两阶段的假设引起的冗余可以忽略不计，特别是当源参数的数量是大的。最后，我们表明，冗余是显着的小序列的压缩。
2011-10-26 cs.IT math.IT
Universal Lossless Compression of Graphical Data
图形数据由在其边和顶点上具有标记的图组成。该标记指示与相应边或顶点相关联的某些属性的值。这种数据的例子出现在社交网络、分子和系统生物学、网络图以及其他几个应用领域。我们的目标是设计方案，可以有效地压缩这种图形数据，而不对它的随机特性的假设。也就是说，我们希望开发一个通用的压缩算法的图形数据源。为了形式化这一目标，我们采用的框架，局部弱收敛，也被称为客观的方法，它提供了一种技术，认为一个标记图作为一种平稳的随机过程，相对于图的顶点之间的运动是平稳的。在最近的工作中，我们已经推广了熵的概念，在这个框架中，由于Bordenave和Caputo，标记图的情况下，未标记的图形。我们使用这个概念来评估压缩方案的效率。我们提出的无损压缩方案，在本文中，然后被证明是普遍最优的，在一个精确的技术意义。它还能够以压缩形式执行本地数据查询。
2019-09-21 cs.IT math.IT math.PR
Fine Asymptotics for Universal One-to-One Compression of Parametric Sources
在短块长度的通用信源编码被认为是一个指数族的分布。\emph{Type Size}码以前已被证明是最佳的三阶速率的所有无记忆源的通用压缩有限的字母表。类型大小代码将基于其类型类大小排序的序列分配给按字典顺序排序的二进制字符串。为了将这种类型类方法推广到参数源，一个自然的方案是定义两个序列在同一类型类中，当且仅当它们在参数类中的任何模型下都是等概率的。然而，这种自然的方法是次优的。引入了类型大小代码的变体，其中类型类是基于最小充分统计的邻域定义的。这种变化的溢出率的渐近推导和逆结果建立其最优性的三阶项。这些结果来自参数家庭的$i.i.d.$源以及马尔可夫源。
2016-12-19 cs.IT math.IT
Memory-Assisted Universal Source Coding
在许多实际情况下，如存储数据和互联网流量的压缩，出现了从一个图书馆的几个小到中等长度的序列，从类似的背景下的序列的通用压缩的问题。在这种情况下，通常需要单独压缩和重新编码每个序列。然而，各个序列的通用压缩遭受显著的冗余开销。在本文中，我们的目的是回答是否有一个内存单元在中间可以导致一个基本的增益在通用压缩。我们在由服务器节点$S$、中继节点$R$（即，存储器单元）和客户端节点$C$。我们假设服务器$S$希望将序列$x^n$发送到客户端$C$，该客户端从未与服务器进行过任何先前的通信，因此不能记忆源上下文。然而，$R$先前已经与$S$通信以将先前序列从$S$转发到除$C$之外的客户端，因此，$R$已经存储了与$S$共享的上下文$y^m$。注意，如果中继节点不存在，则源可能将通用压缩应用于$x^n$并发送到$C$，而在$R$处存储的上下文的存在可能减少$S$ - $R$链路中的通信开销。在本文中，我们调查的基本增益的上下文记忆在存储器辅助的通用压缩序列$x^n$在传统的通用信源编码的记忆辅助信源编码的增益提供了一个下界。
2012-01-10 cs.IT math.IT
Generalized Compression Dictionary Distance as Universal Similarity Measure
SKIL Telecom Italia Lab, University of Trento（特伦托大学SKIL意大利电信实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种新的相似性度量的基础上的信息论措施，这是优于归一化压缩距离聚类问题，并继承了条件柯尔莫哥洛夫复杂性的有用属性。我们表明，归一化压缩字典大小和归一化压缩字典熵的计算效率更高，因为需要执行压缩本身被淘汰。此外，它们随着指数向量大小的增长而线性扩展，并且与内容无关。我们表明，归一化的压缩字典距离是压缩机独立的，如果限于无损压缩器，这为实时和大数据应用程序的优化和实现速度的提高提供了空间。该方法适用于无参数无监督聚类、分类和回归等监督学习、特征选择等机器学习任务，也适用于速度增加数量级的大数据问题。
2014-10-21 cs.AI cs.CC cs.IT
Universal Lossless Data Compression Via Binary Decision Diagrams
长度为$2^k$的二进制字符串导出$k$变量的布尔函数，其香农展开式是给定的二进制字符串。这个布尔函数可以通过一个唯一的降序二元决策图（ROBDD）来表示。给定的二进制字符串可以从这个ROBDD中完全恢复。我们展示了一种无损数据压缩算法，其中长度为2的幂的二进制串通过如上所述的与其相关联的ROBDD的压缩来压缩。我们表明，当二进制字符串的长度$n$ 2的幂通过该算法压缩，最大逐点冗余/样本相对于任何s-状态的二进制信息源的上界$(4\log_2s+16+o(1))/\log_2n $。为了建立这个结果，我们利用Liaw和Lin的结果，指出$k$变量的布尔函数的ROBDD表示包含$(2+o(1))2^{k}/k$阶的多个顶点。
2011-11-06 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
Universally Quantized Neural Compression
Google Research（谷歌研究院）
学习编码器进行有损压缩的一种流行方法是在训练期间使用加性均匀噪声作为测试时间量化的可微近似。我们证明了一个均匀的噪声通道也可以在测试时使用通用量化（Ziv，1985）。这使我们能够消除训练和测试阶段之间的不匹配，同时保持完全可微的损失函数。实现均匀噪声信道是一个特殊的情况下，更一般的问题，沟通的样本，我们证明是计算困难，如果我们不做假设，其分布。然而，统一的特殊情况下，是有效的，以及易于实现，因此从实践的角度来看，极大的兴趣。最后，我们表明，量化可以得到作为一个限制的情况下，软量化器适用于均匀的噪声信道，桥接压缩和不量化。
2020-10-21 cs.CV cs.IT cs.LG
A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
本文基于率-失真-感知-分类（RDPC）框架，受通用RDP编码器启发，研究通过单个固定编码器结合多解码器实现多样失真-分类权衡的通用表示，理论与实验验证其在高斯源及MNIST、SVHN数据集上的有效性与实用性。
2025-04-14 cs.IT math.IT
An Implementable Scheme for Universal Lossy Compression of Discrete Markov Sources
提出了一种新的离散信源有损压缩器。为了对源序列$x^n$进行编码，编码器通过向每个重构序列分配特定成本来开始。然后找到最小化此成本的重建，并通过通用无损压缩器将其有损地描述给解码器。序列的代价由其某阶经验概率$k+1$及其相对于源序列的失真的线性组合给出。经验计数矩阵中的成本的线性结构允许编码器采用Viterbi类算法来简单地获得最小化重建序列。我们确定了一个选择的系数的线性组合的成本函数，确保该算法普遍实现最佳率失真性能的任何马尔可夫源的限制大$n$，提供$k$增加为$o(\log n)$。
2009-01-18 cs.IT math.IT
Universal Rate-Distortion-Perception Representations for Lossy Compression
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
在有损压缩的背景下，Blau & Michaeli（2019）采用了感知质量的数学概念，并定义了信息率失真感知函数，概括了经典的率失真权衡。我们考虑的概念，其中一个可以固定的编码器和不同的解码器，以实现任何点内的失真和感知约束的集合的通用表示。我们证明了相应的信息理论的通用率失真感知功能是可操作的近似意义上。在MSE失真下，我们证明了高斯信源的整个失真感知折衷可以由相同速率的单个编码器渐近地实现。然后，我们的特点是可实现的失真感知区域为一个固定的代表在任意分布的情况下，确定条件下，上述结果继续保持近似，并研究的情况下，当速率是不固定的。这激发了对在RDP权衡中近似通用的实际构造的研究，从而减轻了为每个目标设计新编码器的需要。我们提供的MNIST和SVHN的实验结果表明，在图像压缩任务，操作的权衡与固定编码器的机器学习模型相比，他们的可变编码器对应时，只遭受一个小的惩罚。
2021-12-22 cs.IT cs.LG math.IT
Universal Compression of Envelope Classes: Tight Characterization via Poisson Sampling
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
泊松采样技术消除了随机序列中符号外观之间的依赖性。它已被用来简化分析和加强随机算法的性能保证。将这种方法应用于通用压缩，我们将固定长度和泊松采样序列的冗余度联系起来，利用这种关系推导出一个简单的单字母公式，该公式将任何包络类的冗余度近似到一个加性对数项内。作为第一个应用，我们考虑i.i.d.分布在一个小的字母作为一个步骤包络类，并提供了一个简短的证明，确定冗余的离散分布在一个小的字母表的一阶项。然后，我们展示了我们的方法的力量，通过应用该公式来收紧现有的指数和幂律类的冗余界限，特别是回答Boucheron，Garivier和Gassiat提出的问题。
2014-05-29 cs.IT cs.LG math.IT
Universal Lossless Compression with Unknown Alphabets - The Average Case
独立同分布序列模式的通用压缩研究具有未知的、可能较大的字母表的源。模式是一个索引序列，它包含所有连续的索引，这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的，则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。它表明，如果字母表的大小$k$基本上是小的，那么平均极大极小和极大极小冗余以及几乎每个源的每个码的冗余，当压缩模式时，由每个未知概率参数至少0.5 log（n/k^3）比特组成，并且如果所有字母表字母都可能出现，存在这样的码，其冗余度对于每个未知概率参数至多为0.5log（n/k^2）比特，其中n是数据序列的长度。否则，如果字母表很大，则这些冗余基本上是每个符号至少O（n^{-2/3}）比特，并且存在实现每个符号基本上O（n^{-1/2}）比特的冗余的代码。提出了两种次优的低复杂度的模式压缩顺序算法，并分析了它们的描述长度，指出模式的平均通用描述长度可以减小到低于I.I.D.足够大的字母表的熵。
2006-03-17 cs.IT math.IT
DeepCABAC: A Universal Compression Algorithm for Deep Neural Networks
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究借鉴视频编码的CABAC技术，提出兼顾率失真优化与网络精度的DeepCABAC神经网络压缩算法，实验显示其压缩率优于现有方法，可实现VGG16模型63.6倍无损压缩。
2019-07-27 cs.IT cs.LG math.IT
A Universal Random Coding Ensemble for Sample-wise Lossy Compression
我们提出了一个通用的合奏随机选择率失真码，这是渐近最优的样本明智的意义。根据该系综，在与$2^{-LZ(\hbx)}$成比例的概率分布下随机独立地选择每个再现矢量$\hbx$，其中$LZ(\hbx)$是属于Lempel-Ziv（LZ）算法的1978版本的$\hbx$的码长。我们表明，与高概率，由此产生的码本产生的渐近最佳可变速率有损压缩计划下的任意失真措施，在这个意义上，匹配的逆定理也成立。根据逆定理，即使解码器预先知道源向量的$\ell$阶类型（$\ell$是大的但固定的正整数），对于表示相同类型的所有源向量的绝大多数码字，上述码的性能也不能得到本质上的改善。最后，我们提供了一个讨论我们的结果，其中包括，除其他事项外，一个比较的编码方案，选择再生矢量中的所有向量，在允许的失真从源向量的LZ码长度最短。
2022-12-23 cs.IT math.IT
Universal almost optimal compression and Slepian-Wolf coding in probabilistic polynomial time
在具有目标长度的无损压缩系统中，压缩器${\cal C}$将整数$m$和二进制串$x$映射到$m$位代码$p$，并且如果$m$足够大，则解压缩器${\cal D}$从$p$重构$x$.如果该重建成功，则我们将一对$(m,x)$称为$\textit{achievable}$，用于$({\cal C},{\cal D})$。我们通过以下普适性属性引入最佳压缩器${\cal C}_\text{opt}$的概念：对于任何压缩器-解压缩器对$({\cal C}, {\cal D})$，存在解压缩器${\cal D}'$，使得如果$(m,x)$对于$({\cal C},{\cal D})$是可实现的，则$(m+Δ, x)$对于$({\cal C}_\text{opt}, {\cal D}')$是可实现的，其中$Δ$是称为开销的某个小值。我们发现，存在一个最佳的压缩机，只有多对数开销和工作在概率多项式时间。坦率地说，对于任何一对$({\cal C}, {\cal D})$，无论${\cal C}$有多慢，或者即使${\cal C}$是不可计算的，${\cal C}_{\text{opt}}$都是一个固定的压缩器，它在多项式时间内产生的代码几乎与${\cal C}$的代码一样短。代价是相应的解压缩器更慢。我们还表明，每个这样的最佳压缩机可以用于分布式压缩，在这种情况下，它可以实现最佳的压缩率，在S…
2019-11-11 cs.IT math.IT
Time-universal data compression and prediction
假设有一个大的文件应该被传输（或存储），有几个（比如说，m）可接受的数据压缩器。尝试所有的压缩器，然后选择最好的压缩器，即提供最短压缩文件的压缩器，这似乎很自然。然后传输（或存储）最佳压缩器的索引号（它需要log m位）和压缩文件。唯一的问题是时间，由于需要压缩文件m次（为了找到最佳压缩器），时间基本上增加了。我们提出了一种使用最佳压缩器对文件进行编码的方法，但使用相对较小的额外时间：此额外时间与计算总时间的比率可以由任意正常数限制。一般来说，在许多情况下，可能需要从给定集合中找到最佳数据压缩器，这通常是通过经验比较来完成的。这项工作的目标之一是把这样的选择过程的一部分，数据压缩方法，自动化和优化。
2018-09-09 cs.IT math.IT
A Universal 4D Model for Double-Efficient Lossless Data Compressions
本文讨论了一种用于8位字符的无损数据压缩和解压缩的组合模糊二进制与或（FBAR）算法的理论、模型、实现和性能。一个组合的成对标志被用作新的零/非零，不纯/纯位对运算符，其中它们的组合形成一个4D超立方体来压缩字节序列。压缩后的序列存储在一个固定大小的网格文件中。解压缩是通过在I/O数据转换期间使用固定大小的转换表（TT）来访问网格文件。与其他LDC算法相比，双效率（DE）熵表示50%的压缩与合理的比特率进行了观察。在代码中双重扩展TT组件的使用，通过其对LDCs > 87.5%压缩的熵的负增长表现出普适可预测性，对于扩展数据库和网络通信非常重要。该算法在加密、二进制、模糊和概率等信息论方法上都是新颖的。因此，信息理论家，计算机科学家和工程师可能会发现该算法对其逻辑和应用有用。
2012-02-12 cs.IT math.CO math.IT
Universal compression of Gaussian sources with unknown parameters
对于可数支撑集上的分布集合，Shtarkov的最坏情况通用压缩公式试图在支撑集上分配一个通用分布。这一提法旨在确保普遍分布不会低估支持集合中任何元素相对于集合中分布的概率。当字母表是不可数的，而我们有一个勒贝格连续测度的集合$\cal P$时，我们问是否有一个相应的普适概率密度函数（pdf），它不会低估相对于$\cal P$中pdf的支持中任何点的密度函数的值。类似于可数字母表上分布集合的最坏情况冗余，我们定义一个类的\textit{attenuation}为$A$，当最坏情况下的最佳通用pdf在任何点$x$的支持总是至少值集合中的任何pdf $\cal P$分配给$x$除以$A$。我们分析了最差的最优通用pdf在长度上的衰减- $n$样本从高斯分布生成\textit{i.i.d.}，高斯分布的均值可以是$-α/2$到$α/2$之间的任何值，方差可以是$σ_m^2$和$σ_M^2$之间的任何值。我们表明，这种衰减是有限的，增长的样本数为${\cal O}(n)$，也指定衰减完全没有近似。当只允许一个参数变化时，我们表明衰减增长为${\cal O}(\sqrt{n})$，再次与先前文献的结果保持一致，该文献将数量级固定为每个参数的$\sqrt{n}$因子。此外，我们还指定衰减精确没有近似时，只有平均值或只有方差允许变化。
2014-10-16 cs.IT math.IT
Sequential Universal Modeling for Non-Binary Sequences with Constrained Distributions
顺序概率分配和通用压缩齐头并进。我们提出了顺序概率分配的非二进制（和大字母表）序列的经验分布，其参数是已知的有限区间内有界的。序列概率分配算法在许多需要快速准确地估计最大序列概率的应用中是必不可少的。这些应用包括学习、回归、信道估计和解码、预测和通用压缩。另一方面，约束分布引入有趣的理论扭曲，必须克服，以提出有效的顺序算法。在这里，我们专注于无记忆源的通用压缩，并提出了精确的分析最大极小极大和平均极小极大约束分布。我们表明，我们的顺序算法的基础上修改Krichevsky-Trofimov（KT）估计是渐近最优的$O(1)$的最大和平均冗余。本文遵循并解决了\cite{stw08}中提出的挑战，即“二进制情况下的结果为研究更大的字母表奠定了基础”。
2021-02-06 cs.IT math.IT
Compression-based methods for nonparametric density estimation, on-line prediction, regression and classification for time series
我们解决平稳和遍历时间序列的特征的非参数估计问题。我们考虑有限字母表时间序列和实值时间序列以及以下四个问题：i）（极限）概率的估计（或实值时间序列密度的估计），ii）在线预测，iii）回归和iv）分类（或所谓的边信息问题）。我们表明，所谓的存档（或数据压缩器）可以用作解决这些问题的工具。特别是，首先，它被证明，任何所谓的通用代码（或通用数据压缩器）可以被用来作为一个基础，为上述问题构造渐近最优方法。(By定义，通用码可以渐近地“压缩”由平稳和遍历源生成的任何序列，直到源的香农熵。其次，我们通过实验表明，基于实际使用的数据压缩方法的估计具有合理的精度。
2007-11-01 cs.IT math.IT
A multi-layer network based on Sparse Ternary Codes for universal vector compression
University of Geneva（日内瓦大学）
我们提出了多层扩展的稀疏三进制码（STC）的快速相似性搜索，我们专注于重建的数据库向量的三进制码。为了考虑STC的紧凑性和重构矢量的质量之间的权衡，我们研究了这些码在不同设置下的率失真行为。我们表明，单层代码不能在高速率下取得令人满意的结果。因此，我们将STC的概念扩展到多层，并设计了ML-STC，这是一种无码本的系统，它可以连续地细化先前层的残差的重建。而ML-STC保持稀疏的三进制结构的单层STC，因此是适合于快速相似性搜索在大规模数据库中，我们显示其优越的率失真性能基于模型的合成数据和公共的大规模数据库，相比，几个二进制哈希方法。
2017-10-31 cs.CV cs.IT math.IT
Universal Exact Compression of Differentially Private Mechanisms
本文提出泊松私有表示（PPR），精确压缩差分隐私机制，保留统计性质，压缩接近理论下界，并在分布式均值估计中优于坐标子采样高斯机制。
2024-11-10 cs.CR cs.IT math.IT
Compression and the origins of Zipf's law of abbreviation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Cambridge（剑桥大学）
世界各地的语言都表现出齐普夫的缩写定律，即更频繁的单词往往更短。该定律的广义版本--单位频率与其大小之间的反比关系--也适用于其他物种的行为和遗传密码。这种模式在人类语言中的普遍性以及在其他领域的普遍性要求对其起源进行理论上的理解。为此，我们概括了信息理论的概念，平均码长的平均能量成本函数的概率和大小的类型的剧目。我们表明，该成本函数的最小化和负相关的概率和大小的类型是密切相关的。
2016-05-04 cs.CL cs.IT cs.SI
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案，并分析了其性能。该方案包括一个源独立的随机码本（通常_mismatched_to_source分布），其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下，在给定的失真下，推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化，它表明，它可以是任意大的。在"几乎统一"码本的特殊情况下（例如，身份证高斯码本与大方差）和差分失真措施，一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外，它证明了一个强大的概念的普遍性，其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression
POSTECH（POSTECH大学）
FibQuant通过引入通用固定速率向量量化器，改进了传统标量编码器在KV缓存压缩中的性能，实现了更高的压缩率和更优的精度。
2026-05-12 cs.AI cs.IT math.IT
Universal Source Polarization and an Application to a Multi-User Problem
我们提出了一种方案，普遍实现最小可能的压缩率为一类源边信息，并开发了一个应用程序的联合源信道编码问题在广播信道上的这一结果。
2014-09-26 cs.IT math.IT
Reliability of universal decoding based on vector-quantized codewords
出于生物识别和内容识别系统的应用，我们考虑的问题，随机编码的通道，其中每个码字进行有损压缩（矢量量化），解码器的基础上，其决定只对压缩的码字和信道输出，这又是一个原始码字的传输，在压缩之前，信道的响应。对于有限字母表的无记忆信源和无记忆信道，我们提出了一种新的通用解码器，并分析了其误差指数，这改进了Dasarathy和Draper（2011）的早期结果，他们使用经典的最大互信息（MMI）通用解码器。此外，我们表明，我们的通用解码器提供了相同的错误指数的最佳，最大似然（ML）解码器，至少只要所有的单字母的通道的转移概率是积极的。我们猜想，即使没有这个积极性条件，同样的论证也是正确的。
2016-09-28 cs.IT math.IT
UniTAC: Universal Task-Aware Compression via Weighted Distortion Measures
Nokia Bell Labs（诺基亚贝尔实验室）
UniTAC是一种无需重新训练的通用任务感知图像编解码器，通过任务重要性向量调节，在0.034 bpp时准确率达91.4%，优于通用编解码器，接近任务专用编解码器。
2026-09-14 cs.AI cs.IT cs.LG
A Family of LZ78-based Universal Sequential Probability Assignments
本文提出了一种基于LZ78算法增量解析过程的通用序列概率分配模型，证明其在压缩、生成和分类任务中的有效性。
2025-12-12 cs.IT math.IT
Universal polar coding and sparse recovery
本文研究了通用的极化编码方案。特别地，在概率分布之间引入了排序的概念（称为卷积路径），以确定为一个分布设计的极性压缩（或通信）方案何时也可以成功用于另一个分布。原始极化解码算法也被推广到允许使用检查器的思想来学习关于源分布的信息的算法。这些工具被用来构建一个通用的压缩算法的二进制源，操作在最低的可实现的速率（熵），具有低复杂性和保证小的错误概率。在本文的第二部分中，通过极化技术来处理稀疏的高维离散信号的绘制问题。结果表明，完美恢复所需的测量数与$O(k \log (n/k))$界（二进制信号的最佳常数）是有竞争力的，同时提供了一个确定性的低复杂度的测量矩阵。
2010-12-02 cs.IT math.IT
Prefix Codes for Power Laws with Countable Support
在无限字母表上的前缀编码中，考虑特定分布的方法通常考虑比幂律下降更快的那些分布（例如，Golomb编码）。然而，特定的幂律分布模拟了实践中遇到的许多随机变量。对于这样的随机变量，压缩性能通过估计每个输入符号的期望比特来判断。这种对应关系介绍了一个家庭的前缀码的眼睛对近最佳编码的已知分布。压缩性能是精确估计为众所周知的概率分布，使用这些代码和使用以前已知的前缀码。这些近似最优码的一个应用是改进的有理数表示。
2007-06-21 cs.IT math.IT
Scaling Training Data with Lossy Image Compression
Granica
提出“存储缩放定律”描述测试误差随样本量和每图像比特数的联合演变，优化有损压缩级别以在给定存储下显著降低模型测试误差。
2024-07-25 cs.CV cs.IT cs.LG
Compression as a universal principle of animal behavior
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat de Barcelona（巴塞罗那大学）；University of Aberdeen（阿伯丁大学）；Tajen University（大仁科技大学）；University of Roehampton（罗汉普顿大学）
生物学和心理学的一个关键目标是确定支持动物（包括人类）行为的基本原则。对人类语言和一系列非人类动物物种行为的分析为不同行为现象的共同模式提供了证据：单词遵循齐普夫简洁定律（更频繁使用的单词倾向于更短），并且在许多其他动物的行为中也看到了这种普遍模式。有人认为，这条定律的存在是信息论意义上的有效编码的标志。然而，没有强有力的直接联系已被证明之间的法律和压缩，信息理论的原则，最大限度地减少预期长度的代码。在这里，我们表明，最小化预期的代码长度意味着一个字的长度不能增加，因为它的频率增加。此外，我们还发现，人类语言的平均代码长度或持续时间显着较小，在所有符合简洁定律的情况下，其他物种的行为也是如此。我们认为压缩是动物行为的一般原则，反映了对编码效率的选择。
2013-03-25 cs.CL cs.IT math.IT
A universal compression theory for lottery ticket hypothesis and neural scaling laws
Princeton University（普林斯顿大学）；NTT Research（NTT研究所）；Tsinghua University（清华大学）；UCLA（加州大学洛杉矶分校）；MIT（麻省理工学院）
本研究提出了一种通用压缩理论，证明了大规模模型可以被压缩到 polylog 宽度并保持学习动态，同时数据集可压缩到 polylog 大小而保持损失景观不变。
2026-03-02 cond-mat.dis-nn cs.IT cs.LG
