Subset-Universal Lossy Compression
如果对于每个$0<R'< R$，其码字的$2^{nR'}$的几乎每个子集都实现接近源的失真率函数$D(R')$的平均失真，则对于离散无记忆源$S$的具有速率$R$的有损源代码$\mathcal{C}$被称为子集泛的。本文证明了这类码的渐近存在性。此外，我们证明了一个代码的渐近存在性，是子集普遍的所有来源具有相同的字母表。
2015-03-12 cs.IT math.IT
A Universal Low Complexity Compression Algorithm for Sparse Marked Graphs
许多现代应用程序涉及访问和处理图形数据，即由图形自然索引的数据。例子来自互联网图表、社交网络、基因组学和蛋白质组学以及其他来源。这种数据的典型的大尺寸激励寻求有效的方法来对其进行压缩和解压缩。目前的压缩方法通常是针对特定的模型，或不提供理论保证。本文提出了一种适用于稀疏标记图（即由稀疏图索引的图形数据）的低复杂度的无损压缩算法，该算法能够在精确定义的意义下普遍获得最优压缩率。为了定义普遍性，我们采用了局部弱收敛的框架，它允许人们理解稀疏图的随机过程的概念。此外，我们研究了我们的算法的性能，通过一些实验结果的合成和真实世界的数据。
2023-01-13 cs.IT math.IT math.PR
Universal Compression of a Mixture of Parametric Sources with Side Information
本文研究了边信息对混合$K$参数源序列通用压缩的好处。混合源的输出序列是根据概率向量$\mathbf{w} = (w_1,\ldots,w_K)$从具有$d_i$维参数向量的源$i \in \{1,\ldots ,K\}$中随机选择的。当编码器和解码器具有由混合源独立生成的$T$序列的共同边信息时，导出了长度为$n$的新随机序列的通用压缩的平均极小极大冗余。关于分布$\mathbf{w}$和混合参数维度$\mathbf{d} = (d_1,\ldots,d_K)$的充分必要条件被确定，使得由先前序列提供的边信息导致与没有边信息的通用压缩相比平均码字长度的一阶项的减少。进一步证明了带边信息的最优压缩对应于混合源边信息序列的聚类。然后，提出了一种聚类技术，通过对混合源的数据序列进行分类来更好地利用边信息。最后，利用计算机模拟对实际网络数据轨迹进行了仿真，验证了聚类算法在带边信息的通用压缩算法上的性能。
2014-11-27 cs.IT math.IT
Lossless Data Compression at Finite Blocklengths
本文对变长无损压缩中的最佳可达速率（以及其他相关的基本限制）的行为进行了广泛的研究。在非渐近制度中，固定到变量的无损压缩与前缀的约束和没有的基本限制被证明是紧密耦合。几个精确的，定量的界限推导出，连接的最佳codelestrant的源信息谱的分布，并给出了任意源的最佳可实现的速率的精确分析。精细的渐近结果证明任意（不一定前缀）压缩一般混合源。非渐近的，明确的高斯近似界建立的最佳可达速率的马尔可夫源。定义并表征了源色散和源变熵率。与熵率一起，变熵率用于紧密地近似固定到可变压缩的基本非渐近极限，除了非常小的块长度。
2012-12-11 cs.IT math.IT math.PR
An MCMC Approach to Universal Lossy Compression of Analog Sources
基于Jalali和Weissman提出的离散信源压缩的马尔可夫链蒙特卡罗（MCMC）方法，提出了一种基于有限再生字母表的模拟信源有损压缩算法，该算法随着输入长度的增加而增加。该算法实现，在适当的渐近意义上，最佳香农理论的速率和失真之间的权衡，普遍平稳遍历连续幅度源。我们进一步提出了一个MCMC为基础的算法，采取减少再生字母时，这种减少并不妨碍实现香农限。后一种算法是有利的，由于其降低的复杂性和改进的收敛速度时，采用的源与一个有限的和小的最佳再现字母。
2011-07-15 cs.IT math.IT
On Finite Memory Universal Data Compression and Classification of Individual Sequences
考虑这样一种情况，其中有限字母表上的半无限个体序列X的N个字母的连续块通过某种一对一映射被压缩成二进制序列。在编码器中没有关于X的先验信息，因此必须采用通用的数据压缩算法。众所周知，如果通用的LZ 77数据压缩算法被连续地应用于N个块，则对于特定的单个序列X实现了最佳的无差错压缩，因为$N$趋于无穷大。本文讨论了有限N块的通用数据压缩算法所能达到的最佳压缩效果。接下来，考虑一种称为分类器（或称分类器）的设备，它观察一个单独的训练序列X。分类器的任务是检查长度为N的各个测试序列，并根据一些适当的准则来决定测试N序列是否具有与训练序列X捕获的特征相同的特征，或者是否充分不同。这里再次证明，具有在N中为线性的存储空间复杂度的特定通用上下文分类器本质上是最优的。这可能有助于在学习理论和计算生物学中的概率后缀树（PST）方法的理论“个体序列”的理由。
2013-01-24 cs.IT math.IT
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习和压缩是由识别和利用统计数据的共同目标驱动的，这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然（NML）编码，它提供了强有力的保证，压缩小数据集-相比之下，更流行的估计，其保证只在渐近极限。在这里，我们考虑一个基于NML的决策策略的监督分类问题，并表明它达到启发式PAC学习时，适用于各种各样的模型。此外，我们表明，我们的方法的误分类率是上限的最大泄漏，最近提出的度量，以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
A Universal Grammar-Based Code For Lossless Compression of Binary Trees
我们考虑的问题，无损压缩的二进制树，目的是减少存储或传输这样的树所需的代码位数。提出了一种基于无损文法的编码方法，它将每棵二叉树分两步编码成一个二进制码字。在第一步中，树被转换成上下文无关文法，从该文法可以重建树。在第二步骤中，将上下文无关文法编码成二进制码字。基于语法的代码的解码器通过颠倒两个编码步骤来从原始树的码字解码原始树。结果表明，所得到的基于语法的二叉树压缩码是一个通用的代码上的一个家庭的概率二叉树源模型满足一定的弱限制。
2013-04-27 cs.IT math.IT
Universal Rate-Distortion-Classification Representations for Lossy Compression
本研究提出通用编码器框架，通过单共享编码器配合多任务解码器实现有损压缩中的率失真分类权衡，理论证明高斯源下可覆盖全部权衡区域，实验验证其性能与专用编码器相当。
2025-04-22 cs.IT math.IT
Results on the Fundamental Gain of Memory-Assisted Universal Source Coding
许多应用需要对具有有限大小的各个数据片段执行数据处理，例如，云存储单元中的文件和数据网中的分组。然而，传统的通用压缩解决方案在有限长度的序列上表现不佳。最近，我们提出了一个框架，称为内存辅助的通用压缩，持有一个显着的承诺，从有限长度的序列减少冗余数据量。所提出的压缩方案是基于这样的观察，即可以在一些中间实体处学习源统计（通过记忆来自源的先前序列），然后利用所记忆的上下文来减少有限长度序列的通用压缩的冗余。我们首先提出了一个单一的参数源的建议的记忆辅助通用信源编码的基本增益超过传统的通用压缩（无记忆）。然后，我们扩展和调查的好处的记忆辅助通用信源编码的数据序列时，产生的复合源，这是一个混合的参数源。我们进一步开发了一种聚类技术内的内存辅助压缩框架，以更好地利用内存的参数源的混合物中的观察到的数据序列进行分类。最后，我们证明，通过计算机模拟，建议的联合记忆和聚类技术可以实现6倍的改进，比传统的通用压缩技术时，混合的非二进制马尔可夫源被认为是。
2012-05-19 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
Non-random structures in universal compression and the Fermi paradox
我们研究的假设信息胚分配最近可能的解决方案之间的费米悖论（“在哪里的外国人？").它表明，费用的外来信令可以显着减少，如果他们的消息包含压缩的信息。为此，我们考虑通用的压缩和解码机制（例如Lempel-Ziv-Welch算法），可以揭示压缩位串中的非随机结构。柯尔莫哥洛夫随机性参数检测的非随机性的效率示出，随着齐普夫定律。这些方法的通用性，即对数据细节的独立性，在搜索智能消息时可以是主要的。
2016-02-07 astro-ph.IM cs.IT math.IT
Memory-Assisted Universal Compression of Network Flows
近年来，互联网流量中大量冗余的存在促使了网络中冗余消除技术的发展。这些技术通常基于分组级冗余消除（RE）或内容中心网络（CCN）。然而，这些技术不能利用子分组冗余。此外，诸如端到端通用压缩解决方案的其他替代技术在互联网业务上也不会表现良好，因为这样的技术需要无限长度的业务来有效地去除冗余。本文提出了一种内存辅助的通用压缩技术，具有显着的承诺，减少网络中的流量。建议的工作是基于这样的观察，如果一个源被压缩，并通过网络发送，相关的通用代码需要大量的开销在传输中，由于有限长度的流量。然而，中间结点可以学习源统计，并且这可以用于降低描述源统计的成本，从而降低这种业务的传输开销。本文提出了两种基于记忆辅助的信息源通用无损压缩算法（基于统计的和基于字典的）。这些计划是普遍的意义上，他们不需要任何先验知识的交通的统计分布。我们证明了这两种算法的有效性，并使用真正的互联网痕迹的记忆增益的特点。此外，我们将这些压缩方案应用到互联网的幂律图，并解决压缩流的路由问题。
2012-03-30 cs.IT cs.NI math.IT
A Universal Lossless Compression Method applicable to Sparse Graphs and Heavy-Tailed Sparse Graphs
图形数据自然地出现在若干现代应用中，包括但不限于互联网图、社交网络、基因组学和蛋白质组学。图形数据的典型大尺寸论证了为此类数据设计通用压缩方法的重要性。在大多数应用中，图形数据是稀疏的，这意味着图中边的数量比$n^2$缩放得更慢，其中$n$表示顶点的数量。尽管在某些应用中，边的数量与$n$成线性比例，但在其它应用中，边的数量远小于$n^2$，但看起来与$n$成超线性比例。我们称前者为稀疏图，后者为重尾稀疏图。本文介绍了一种同时适用于这两类的通用无损压缩方法。我们这样做，采用局部弱收敛框架稀疏图和稀疏图子框架重尾稀疏图。
2021-07-18 cs.IT math.IT math.PR
Study On Universal Lossless Data Compression by using Context Dependence Multilevel Pattern Matching Grammar Transform
本文提出了上下文相关多级模式匹配（context dependence multilevel pattern matching，简称CDMPM）文法变换，并在此文法变换的基础上，提出了一种通用的无损数据压缩算法--CDMPM码。此外，我们得到了该算法的最坏情况下的冗余度的上界之间的所有个人序列的长度为n的有限字母表。
2013-03-20 cs.DM cs.IT math.IT
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University（俄勒冈州立大学）
本文探索通用表示，开发单个编码器以在各种失真和分类（或感知）约束下实现多个解码目标，避免为每个操作点重训练编码器，在MNIST数据集验证其在感知压缩任务中性能下降小，但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中，我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的（如Slepian-Wolf设置中那样）。相反，这两个序列是相关的，因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念，其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时，解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明，通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时，足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
A Universal Parallel Two-Pass MDL Context Tree Compression Algorithm
提出一种并行两遍 MDL 上下文树无损压缩算法，先全局估计源模型再并行编码各块，在保持低冗余的同时实现 $O(N/B)$ 复杂度和更优压缩-吞吐权衡。
2015-03-21 cs.IT math.IT
Lossy Compression with Universal Distortion
我们考虑一种新的变体的$d$ -半忠实有损编码中的失真措施，只透露给编码器，只有在运行时，以及它的扩展，其中的失真约束$d$也透露在运行时。两种形式的速率冗余的性能进行了分析，并证明了逐点和极大极小性质的可并行性结果。第一种编码方案使用来自VC维度和增长函数的想法，第二种编码方案使用失真度量空间的适当量化，第三种编码方案依赖于随机编码参数。
2022-10-04 cs.IT math.IT
Universal Lossless Compression of Graphical Data
图形数据由在其边和顶点上具有标记的图组成。该标记指示与相应边或顶点相关联的某些属性的值。这种数据的例子出现在社交网络、分子和系统生物学、网络图以及其他几个应用领域。我们的目标是设计方案，可以有效地压缩这种图形数据，而不对它的随机特性的假设。也就是说，我们希望开发一个通用的压缩算法的图形数据源。为了形式化这一目标，我们采用的框架，局部弱收敛，也被称为客观的方法，它提供了一种技术，认为一个标记图作为一种平稳的随机过程，相对于图的顶点之间的运动是平稳的。在最近的工作中，我们已经推广了熵的概念，在这个框架中，由于Bordenave和Caputo，标记图的情况下，未标记的图形。我们使用这个概念来评估压缩方案的效率。我们提出的无损压缩方案，在本文中，然后被证明是普遍最优的，在一个精确的技术意义。它还能够以压缩形式执行本地数据查询。
2019-09-21 cs.IT math.IT math.PR
Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University（早稻田大学）
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题，推导出标签复杂性和泛化误差的理论下界，为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Generalized Compression Dictionary Distance as Universal Similarity Measure
SKIL Telecom Italia Lab, University of Trento（特伦托大学SKIL意大利电信实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种新的相似性度量的基础上的信息论措施，这是优于归一化压缩距离聚类问题，并继承了条件柯尔莫哥洛夫复杂性的有用属性。我们表明，归一化压缩字典大小和归一化压缩字典熵的计算效率更高，因为需要执行压缩本身被淘汰。此外，它们随着指数向量大小的增长而线性扩展，并且与内容无关。我们表明，归一化的压缩字典距离是压缩机独立的，如果限于无损压缩器，这为实时和大数据应用程序的优化和实现速度的提高提供了空间。该方法适用于无参数无监督聚类、分类和回归等监督学习、特征选择等机器学习任务，也适用于速度增加数量级的大数据问题。
2014-10-21 cs.AI cs.CC cs.IT
Results on the Redundancy of Universal Compression for Finite-Length Sequences
在本文中，我们研究了有限长度范围内光滑参数信源的通用编码方案的冗余性。我们推导出一个事件的概率上界的序列长度$n$，选择使用Jeffreys'事先从家庭的参数源与$d$未知参数，被压缩的冗余小于$(1-ε)\frac{d}{2}\log n$的任何$ε>0$。我们的研究结果还证实，对于足够大的$n$和$d$，平均极大极小冗余提供了一个很好的估计大多数源的冗余。我们的结果可以用来评估通用信源编码方案在有限长序列上的性能。此外，我们精确地描述了两阶段码的极大极小冗余。我们证明了两阶段的假设引起的冗余可以忽略不计，特别是当源参数的数量是大的。最后，我们表明，冗余是显着的小序列的压缩。
2011-10-26 cs.IT math.IT
Fine Asymptotics for Universal One-to-One Compression of Parametric Sources
在短块长度的通用信源编码被认为是一个指数族的分布。\emph{Type Size}码以前已被证明是最佳的三阶速率的所有无记忆源的通用压缩有限的字母表。类型大小代码将基于其类型类大小排序的序列分配给按字典顺序排序的二进制字符串。为了将这种类型类方法推广到参数源，一个自然的方案是定义两个序列在同一类型类中，当且仅当它们在参数类中的任何模型下都是等概率的。然而，这种自然的方法是次优的。引入了类型大小代码的变体，其中类型类是基于最小充分统计的邻域定义的。这种变化的溢出率的渐近推导和逆结果建立其最优性的三阶项。这些结果来自参数家庭的$i.i.d.$源以及马尔可夫源。
2016-12-19 cs.IT math.IT
Memory-Assisted Universal Source Coding
在许多实际情况下，如存储数据和互联网流量的压缩，出现了从一个图书馆的几个小到中等长度的序列，从类似的背景下的序列的通用压缩的问题。在这种情况下，通常需要单独压缩和重新编码每个序列。然而，各个序列的通用压缩遭受显著的冗余开销。在本文中，我们的目的是回答是否有一个内存单元在中间可以导致一个基本的增益在通用压缩。我们在由服务器节点$S$、中继节点$R$（即，存储器单元）和客户端节点$C$。我们假设服务器$S$希望将序列$x^n$发送到客户端$C$，该客户端从未与服务器进行过任何先前的通信，因此不能记忆源上下文。然而，$R$先前已经与$S$通信以将先前序列从$S$转发到除$C$之外的客户端，因此，$R$已经存储了与$S$共享的上下文$y^m$。注意，如果中继节点不存在，则源可能将通用压缩应用于$x^n$并发送到$C$，而在$R$处存储的上下文的存在可能减少$S$ - $R$链路中的通信开销。在本文中，我们调查的基本增益的上下文记忆在存储器辅助的通用压缩序列$x^n$在传统的通用信源编码的记忆辅助信源编码的增益提供了一个下界。
2012-01-10 cs.IT math.IT
Universal Lossless Data Compression Via Binary Decision Diagrams
长度为$2^k$的二进制字符串导出$k$变量的布尔函数，其香农展开式是给定的二进制字符串。这个布尔函数可以通过一个唯一的降序二元决策图（ROBDD）来表示。给定的二进制字符串可以从这个ROBDD中完全恢复。我们展示了一种无损数据压缩算法，其中长度为2的幂的二进制串通过如上所述的与其相关联的ROBDD的压缩来压缩。我们表明，当二进制字符串的长度$n$ 2的幂通过该算法压缩，最大逐点冗余/样本相对于任何s-状态的二进制信息源的上界$(4\log_2s+16+o(1))/\log_2n $。为了建立这个结果，我们利用Liaw和Lin的结果，指出$k$变量的布尔函数的ROBDD表示包含$(2+o(1))2^{k}/k$阶的多个顶点。
2011-11-06 cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
Universal Rate-Distortion-Perception Representations for Lossy Compression
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
在有损压缩的背景下，Blau & Michaeli（2019）采用了感知质量的数学概念，并定义了信息率失真感知函数，概括了经典的率失真权衡。我们考虑的概念，其中一个可以固定的编码器和不同的解码器，以实现任何点内的失真和感知约束的集合的通用表示。我们证明了相应的信息理论的通用率失真感知功能是可操作的近似意义上。在MSE失真下，我们证明了高斯信源的整个失真感知折衷可以由相同速率的单个编码器渐近地实现。然后，我们的特点是可实现的失真感知区域为一个固定的代表在任意分布的情况下，确定条件下，上述结果继续保持近似，并研究的情况下，当速率是不固定的。这激发了对在RDP权衡中近似通用的实际构造的研究，从而减轻了为每个目标设计新编码器的需要。我们提供的MNIST和SVHN的实验结果表明，在图像压缩任务，操作的权衡与固定编码器的机器学习模型相比，他们的可变编码器对应时，只遭受一个小的惩罚。
2021-12-22 cs.IT cs.LG math.IT
A Theory of Universal Rate-Distortion-Classification Representations for Lossy Compression
本文基于率-失真-感知-分类（RDPC）框架，受通用RDP编码器启发，研究通过单个固定编码器结合多解码器实现多样失真-分类权衡的通用表示，理论与实验验证其在高斯源及MNIST、SVHN数据集上的有效性与实用性。
2025-04-14 cs.IT math.IT
An Implementable Scheme for Universal Lossy Compression of Discrete Markov Sources
提出了一种新的离散信源有损压缩器。为了对源序列$x^n$进行编码，编码器通过向每个重构序列分配特定成本来开始。然后找到最小化此成本的重建，并通过通用无损压缩器将其有损地描述给解码器。序列的代价由其某阶经验概率$k+1$及其相对于源序列的失真的线性组合给出。经验计数矩阵中的成本的线性结构允许编码器采用Viterbi类算法来简单地获得最小化重建序列。我们确定了一个选择的系数的线性组合的成本函数，确保该算法普遍实现最佳率失真性能的任何马尔可夫源的限制大$n$，提供$k$增加为$o(\log n)$。
2009-01-18 cs.IT math.IT
A measure of compression gain for new symbols in data-compression
霍夫曼编码通常通过使用分组码来改进，例如3-block将是由三个字符的每个可能组合组成的字母表。我们采取的方法是从一个基本的字母表开始，并将其扩展到包括频繁出现的符号集合。我们证明了压缩消息长度的变化，通过引入一个新的聚合符号可以表示为两个熵的差异，仅依赖于引入的符号的概率和长度。该表达式独立于字母表中所有其他符号的概率。对于一个新的符号，这种信息增益的测量可以应用于数据压缩方法中。我们还表明，聚合符号字母表，而不是相互排斥的字母表有可能提供良好的压缩水平，一个简单的实验。最后，本文中定义的压缩增益也可用于特征选择。
2016-11-06 cs.IT math.IT
Universal Compression of Envelope Classes: Tight Characterization via Poisson Sampling
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
泊松采样技术消除了随机序列中符号外观之间的依赖性。它已被用来简化分析和加强随机算法的性能保证。将这种方法应用于通用压缩，我们将固定长度和泊松采样序列的冗余度联系起来，利用这种关系推导出一个简单的单字母公式，该公式将任何包络类的冗余度近似到一个加性对数项内。作为第一个应用，我们考虑i.i.d.分布在一个小的字母作为一个步骤包络类，并提供了一个简短的证明，确定冗余的离散分布在一个小的字母表的一阶项。然后，我们展示了我们的方法的力量，通过应用该公式来收紧现有的指数和幂律类的冗余界限，特别是回答Boucheron，Garivier和Gassiat提出的问题。
2014-05-29 cs.IT cs.LG math.IT
Structural Entropy of the Stochastic Block Models
随着图形和网络的快速扩展以及来自所有科学领域的数据量的不断增长，对上下文相关数据的有效处理和压缩方案是极其需要的。一个特别有趣的方向是压缩数据，同时只保留“结构信息”而忽略具体的标签。在这个方向下，Choi和Szpankowski引入了结构（无标号图），使他们能够计算Erdens-Rényi随机图模型的结构熵。此外，他们还提供了一种渐进最优压缩算法，该算法（渐进地）达到了这个熵极限，并在线性时间内按预期运行。本文研究了具有任意个数部件的随机区组模型。事实上，我们定义了一个分区的随机块模型的结构熵，它推广了无标签图的结构熵，并编码的分区信息。然后，我们计算的随机块模型的分区结构熵，并提供了一个压缩方案，渐近达到这个熵的限制。
2021-11-29 cs.IT math.IT
DeepCABAC: A Universal Compression Algorithm for Deep Neural Networks
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究借鉴视频编码的CABAC技术，提出兼顾率失真优化与网络精度的DeepCABAC神经网络压缩算法，实验显示其压缩率优于现有方法，可实现VGG16模型63.6倍无损压缩。
2019-07-27 cs.IT cs.LG math.IT
An Upper Limit of AC Huffman Code Length in JPEG Compression
Olympus Imaging Corporation（奥林巴斯影像公司）
提出了一种计算JPEG基线编码中8 × 8块AC霍夫曼码码长上限的策略。该方法是基于DCT的几何解释，计算的限制是接近14%的最大码长。所提出的策略可以适用于其他变换编码方法，例如，MPEG 2和4视频压缩，以计算相应处理块的接近的代码长度上限。
2009-01-19 cs.CC cs.CE cs.CV
Universal Lossless Compression with Unknown Alphabets - The Average Case
独立同分布序列模式的通用压缩研究具有未知的、可能较大的字母表的源。模式是一个索引序列，它包含所有连续的索引，这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的，则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。它表明，如果字母表的大小$k$基本上是小的，那么平均极大极小和极大极小冗余以及几乎每个源的每个码的冗余，当压缩模式时，由每个未知概率参数至少0.5 log（n/k^3）比特组成，并且如果所有字母表字母都可能出现，存在这样的码，其冗余度对于每个未知概率参数至多为0.5log（n/k^2）比特，其中n是数据序列的长度。否则，如果字母表很大，则这些冗余基本上是每个符号至少O（n^{-2/3}）比特，并且存在实现每个符号基本上O（n^{-1/2}）比特的冗余的代码。提出了两种次优的低复杂度的模式压缩顺序算法，并分析了它们的描述长度，指出模式的平均通用描述长度可以减小到低于I.I.D.足够大的字母表的熵。
2006-03-17 cs.IT math.IT
A Universal 4D Model for Double-Efficient Lossless Data Compressions
本文讨论了一种用于8位字符的无损数据压缩和解压缩的组合模糊二进制与或（FBAR）算法的理论、模型、实现和性能。一个组合的成对标志被用作新的零/非零，不纯/纯位对运算符，其中它们的组合形成一个4D超立方体来压缩字节序列。压缩后的序列存储在一个固定大小的网格文件中。解压缩是通过在I/O数据转换期间使用固定大小的转换表（TT）来访问网格文件。与其他LDC算法相比，双效率（DE）熵表示50%的压缩与合理的比特率进行了观察。在代码中双重扩展TT组件的使用，通过其对LDCs > 87.5%压缩的熵的负增长表现出普适可预测性，对于扩展数据库和网络通信非常重要。该算法在加密、二进制、模糊和概率等信息论方法上都是新颖的。因此，信息理论家，计算机科学家和工程师可能会发现该算法对其逻辑和应用有用。
2012-02-12 cs.IT math.CO math.IT
A Universal Random Coding Ensemble for Sample-wise Lossy Compression
我们提出了一个通用的合奏随机选择率失真码，这是渐近最优的样本明智的意义。根据该系综，在与$2^{-LZ(\hbx)}$成比例的概率分布下随机独立地选择每个再现矢量$\hbx$，其中$LZ(\hbx)$是属于Lempel-Ziv（LZ）算法的1978版本的$\hbx$的码长。我们表明，与高概率，由此产生的码本产生的渐近最佳可变速率有损压缩计划下的任意失真措施，在这个意义上，匹配的逆定理也成立。根据逆定理，即使解码器预先知道源向量的$\ell$阶类型（$\ell$是大的但固定的正整数），对于表示相同类型的所有源向量的绝大多数码字，上述码的性能也不能得到本质上的改善。最后，我们提供了一个讨论我们的结果，其中包括，除其他事项外，一个比较的编码方案，选择再生矢量中的所有向量，在允许的失真从源向量的LZ码长度最短。
2022-12-23 cs.IT math.IT
Universal almost optimal compression and Slepian-Wolf coding in probabilistic polynomial time
在具有目标长度的无损压缩系统中，压缩器${\cal C}$将整数$m$和二进制串$x$映射到$m$位代码$p$，并且如果$m$足够大，则解压缩器${\cal D}$从$p$重构$x$.如果该重建成功，则我们将一对$(m,x)$称为$\textit{achievable}$，用于$({\cal C},{\cal D})$。我们通过以下普适性属性引入最佳压缩器${\cal C}_\text{opt}$的概念：对于任何压缩器-解压缩器对$({\cal C}, {\cal D})$，存在解压缩器${\cal D}'$，使得如果$(m,x)$对于$({\cal C},{\cal D})$是可实现的，则$(m+Δ, x)$对于$({\cal C}_\text{opt}, {\cal D}')$是可实现的，其中$Δ$是称为开销的某个小值。我们发现，存在一个最佳的压缩机，只有多对数开销和工作在概率多项式时间。坦率地说，对于任何一对$({\cal C}, {\cal D})$，无论${\cal C}$有多慢，或者即使${\cal C}$是不可计算的，${\cal C}_{\text{opt}}$都是一个固定的压缩器，它在多项式时间内产生的代码几乎与${\cal C}$的代码一样短。代价是相应的解压缩器更慢。我们还表明，每个这样的最佳压缩机可以用于分布式压缩，在这种情况下，它可以实现最佳的压缩率，在S…
2019-11-11 cs.IT math.IT
Time-universal data compression and prediction
假设有一个大的文件应该被传输（或存储），有几个（比如说，m）可接受的数据压缩器。尝试所有的压缩器，然后选择最好的压缩器，即提供最短压缩文件的压缩器，这似乎很自然。然后传输（或存储）最佳压缩器的索引号（它需要log m位）和压缩文件。唯一的问题是时间，由于需要压缩文件m次（为了找到最佳压缩器），时间基本上增加了。我们提出了一种使用最佳压缩器对文件进行编码的方法，但使用相对较小的额外时间：此额外时间与计算总时间的比率可以由任意正常数限制。一般来说，在许多情况下，可能需要从给定集合中找到最佳数据压缩器，这通常是通过经验比较来完成的。这项工作的目标之一是把这样的选择过程的一部分，数据压缩方法，自动化和优化。
2018-09-09 cs.IT math.IT
Universal compression of Gaussian sources with unknown parameters
对于可数支撑集上的分布集合，Shtarkov的最坏情况通用压缩公式试图在支撑集上分配一个通用分布。这一提法旨在确保普遍分布不会低估支持集合中任何元素相对于集合中分布的概率。当字母表是不可数的，而我们有一个勒贝格连续测度的集合$\cal P$时，我们问是否有一个相应的普适概率密度函数（pdf），它不会低估相对于$\cal P$中pdf的支持中任何点的密度函数的值。类似于可数字母表上分布集合的最坏情况冗余，我们定义一个类的\textit{attenuation}为$A$，当最坏情况下的最佳通用pdf在任何点$x$的支持总是至少值集合中的任何pdf $\cal P$分配给$x$除以$A$。我们分析了最差的最优通用pdf在长度上的衰减- $n$样本从高斯分布生成\textit{i.i.d.}，高斯分布的均值可以是$-α/2$到$α/2$之间的任何值，方差可以是$σ_m^2$和$σ_M^2$之间的任何值。我们表明，这种衰减是有限的，增长的样本数为${\cal O}(n)$，也指定衰减完全没有近似。当只允许一个参数变化时，我们表明衰减增长为${\cal O}(\sqrt{n})$，再次与先前文献的结果保持一致，该文献将数量级固定为每个参数的$\sqrt{n}$因子。此外，我们还指定衰减精确没有近似时，只有平均值或只有方差允许变化。
2014-10-16 cs.IT math.IT
Joint Retransmission, Compression and Channel Coding for Data Fidelity under Energy Constraints
我们考虑一个监测应用程序，传感器定期报告数据，以时分复用的方式在一个共同的接收器。传感器受到能量收集（EH）提供的有限和不可预测的能量可用性以及信道损伤的约束。为了最大化所报告数据的质量，所传输的分组包含新生成的数据块以及多达$r - 1$的先前未成功传送的数据块，其中$r$是设计参数;这些数据块被压缩、连接并使用信道码编码。该方案应用了有损压缩，使得各个块的保真度与信道码提供的可靠性相权衡。我们表明，所提出的策略优于不允许重传的策略。我们还调查之间的权衡值的$r$，压缩和编码速率，在能量可用性的约束下，并且，一旦$r$已决定，使用马尔可夫决策过程（MDP），以优化压缩/编码速率。最后，我们实现了一个强化学习算法，通过该算法，设备可以学习最佳传输策略，而无需事先知道EH过程的统计数据，并表明它确实达到了通过MDP获得的性能。
2017-06-28 cs.IT math.IT
Sequential Universal Modeling for Non-Binary Sequences with Constrained Distributions
顺序概率分配和通用压缩齐头并进。我们提出了顺序概率分配的非二进制（和大字母表）序列的经验分布，其参数是已知的有限区间内有界的。序列概率分配算法在许多需要快速准确地估计最大序列概率的应用中是必不可少的。这些应用包括学习、回归、信道估计和解码、预测和通用压缩。另一方面，约束分布引入有趣的理论扭曲，必须克服，以提出有效的顺序算法。在这里，我们专注于无记忆源的通用压缩，并提出了精确的分析最大极小极大和平均极小极大约束分布。我们表明，我们的顺序算法的基础上修改Krichevsky-Trofimov（KT）估计是渐近最优的$O(1)$的最大和平均冗余。本文遵循并解决了\cite{stw08}中提出的挑战，即“二进制情况下的结果为研究更大的字母表奠定了基础”。
2021-02-06 cs.IT math.IT
Local Decode and Update for Big Data Compression
本文研究同时允许局部解码和局部更新的数据压缩。主要结果是一个通用的压缩方案，无记忆源具有以下特点。可以使速率任意地接近底层源的熵，可以通过探测或修改在片段的大小上平均线性的码字比特的数量来恢复或更新源的连续片段，并且总体编码和解码复杂度在源的块长度上是准线性的。具体地，可以通过探测或修改恒定数量的码字比特来执行单个消息符号的本地解码或更新。这后一部分改善了以前最知名的结果，本地解码或更新效率随块长度的增长而增长。
2019-10-14 cs.DS cs.IT math.IT
Universal Exact Compression of Differentially Private Mechanisms
本文提出泊松私有表示（PPR），精确压缩差分隐私机制，保留统计性质，压缩接近理论下界，并在分布式均值估计中优于坐标子采样高斯机制。
2024-11-10 cs.CR cs.IT math.IT
