A Survey of Data Compression Algorithms and their Applications
本综述针对信息存储与传输需求增长下数据压缩的重要性,梳理了多种重要数据压缩算法的性能评估、应用场景,以及现存问题与最新研究方向。
2025-02-20 cs.IT math.IT
Approximating Rate-Distortion Graphs of Individual Data: Experiments in Lossy Compression and Denoising
经典的率失真理论需要一个难以捉摸的源分布的知识。相反,我们使用最近开发的算法率失真理论分析个别对象的率失真特性。后者基于Kolmogorov复杂性的不可计算概念。为了应用该理论,我们近似Kolmogorov复杂度的标准数据压缩技术,并进行了大量的实验与有损压缩和去噪的对象从不同的域。我们还介绍了一个自然的推广有损压缩与边信息。为了保持完全的通用性,我们需要解决一个困难的搜索问题。虽然我们的解决方案因此不具有时间效率,但我们确实观察到良好的去噪和压缩性能。
2006-09-21 cs.IT math.IT
A statistical-mechanical view on source coding: physical compression and data compression
我们在无记忆信息源的有损数据压缩(源编码)的经典信息理论问题与连接粒子链的特定模型的统计力学行为(例如,聚合物)受到收缩力的作用。与这种收缩有关的自由能差与模拟数据压缩模型中的率失真函数成比例,并且收缩力与该函数的导数成比例。除了这个类比本身可能很有趣的事实之外,它还可以提供关于有损数据压缩的最佳方案的行为的物理观点(也许还可以提供关于某些物理系统模型的信息论观点)。此外,它触发的有损压缩性能的系统与内存的推导,使用分析工具和统计力学的见解。
2010-11-15 cond-mat.stat-mech cs.IT math.IT
Compression Performance Analysis of Different File Formats
该研究针对不同文件格式压缩性能差异的问题,基于22种格式、约178GB的数据开展Zlib算法压缩对比实验,明确不同类型文件的压缩增益差异,为后续按需选择压缩策略实现收益最大化提供依据。
2023-07-08 cs.IT cs.OH math.IT
Information Compression in the AI Era: Recent Advances and Future Challenges
本文综述机器学习与数据压缩的新兴联系,梳理面向任务压缩、率失真-感知理论、深度学习压缩及LLM文本压缩等进展,并展望未来方向。
2024-06-14 cs.IT math.IT
Compression of dynamic fuzzy relation information systems
本文进一步研究了模糊关系信息系统的数据压缩问题。首先介绍了一种构造模糊关系信息系统之间同态的算法。然后讨论了如何利用原系统的压缩特性对动态模糊关系信息系统进行压缩。最后,通过几个实例说明,本文提出的方法可以大大简化模糊关系信息系统和动态模糊关系信息系统的数据压缩
2015-02-22 cs.IT math.IT
An Efficient Technique for Text Compression
为了存储一个单词或整个文本段,我们需要一个巨大的存储空间。通常,一个字符需要1个字节来存储在内存中。存储器的压缩对于数据管理是非常重要的。在对文本数据进行内存需求压缩的情况下,需要进行无损内存压缩。我们提出了一种用于文本数据压缩的无损内存需求压缩方法。该压缩方法将对文本段或文本文件进行压缩,首先进行压缩,然后进行压缩。将使用单词查找表(不使用传统索引系统)进行缩减,然后使用当前可用的压缩方法进行压缩。字查找表将是操作系统的一部分,并且缩减将由操作系统完成。根据这种方法,每个字将被一个地址值替换。这种方法可以非常有效地减少文本数据所需的持久内存的大小。在使用字查找表的第一级压缩结束时,将生成包含地址的二进制文件。由于所提出的方法在第一级中不使用任何压缩算法,因此可以使用流行的压缩算法来压缩该文件,并且最终将对纯英文文本数据提供大量的数据压缩。
2010-09-25 cs.IR cs.IT math.IT
Joint Data compression and Computation offloading in Hierarchical Fog-Cloud Systems
数据压缩具有显著提高分层雾云系统计算卸载性能的潜力。然而,如何最佳地确定压缩比以及计算卸载决策和资源分配仍然是未知的。在当前的文件中,我们的目标是最大限度地减少加权能量和服务延迟成本(WEDC)的所有用户的联合优化问题进行了研究。首先,我们考虑仅在移动用户处执行数据压缩的情形。我们证明了最优卸载决策有一个阈值结构。此外,一种新的三步方法,采用凸化技术,以优化压缩比和资源分配。然后,我们解决了更一般的设计,其中数据压缩在移动用户和雾服务器。我们提出了三种有效的算法来克服卸载决策和资源分配之间的强耦合。我们表明,所提出的最佳算法数据压缩,只有移动用户可以减少百分之几百的WEDC相比,不利用数据压缩或使用次优优化方法的计算卸载策略。此外,在雾服务器上进行额外的数据压缩的算法可以进一步降低WEDC。
2019-07-20 cs.IT math.IT math.OC
FastqZip: An Improved Reference-Based Genome Sequence Lossy Compression Framework
针对NGS基因组FASTQ文件存储负担,提出基于参考映射、reads重排序、质量分数有损及BSC/ZPAQ压缩的FastqZip,压缩率较Genozip提升约10%。
2024-02-22 cs.IT math.IT
Effects of Sequence Partitioning on Compression Rate
本文从理论上研究了数据序列分解成数据集包的效果。我们证明了数据序列的划分是可能的,这样的熵率在每个子序列是低于源的熵率。基于划分统计量,讨论了序列划分对整体压缩率的影响,并定义了一个最优划分的优化问题,以提高序列的整体压缩率。
2010-11-03 cs.IT math.IT
A Coder-Decoder model for use in Lossless Data Compression
本文描述了一种使用三角函数和组合计算来编码或转换任何长度的二进制数(0和1)的任何有限序列为一组唯一的三个实数的技术。相反,这三个实数可以独立地用于精确地重建原始的二进制序列。这种技术的主要原则,然后应用在一个高效率的无损数据压缩模型的建议。
2010-11-23 cs.IT math.IT
New Algorithms and Lower Bounds for Sequential-Access Data Compression
本论文研究的是顺序存取数据压缩技术,通过从头到尾读取输入一次或多次的算法。在一章中,我们考虑自适应前缀编码,对于这种编码,我们必须逐个字符地读取输入字符,在读取下一个字符之前输出每个字符的自定界码字。我们展示了如何在恒定的最坏情况下的时间编码和解码每个字符,同时产生一个编码的长度是最坏情况下的最佳。在另一章中,我们考虑一次通过压缩与内存的字母表大小和上下文长度的限制,并证明了一个几乎紧密的权衡之间的内存量,我们可以使用和压缩的质量,我们可以实现。在第三章中,我们考虑在读/写流模型中的压缩,它允许我们在输入的大小上传递和存储多对数。我们首先展示如何实现通用压缩,只使用一个通过一个流。然后,我们表明,一个流是不足以实现良好的基于语法的压缩。最后,我们表明,两个流是必要的和充分的实现熵的唯一界限。
2009-02-01 cs.IT math.IT
Data Discovery Using Lossless Compression-Based Sparse Representation
稀疏表示在数据压缩、信号和图像去噪、降维、计算机视觉等领域有着广泛的应用。虽然多维数据的稀疏表示需要过完备字典,但正交基可以很好地表示一维数据。在本文中,我们提出了一个数据驱动的稀疏表示使用正交基无损压缩约束下。我们表明,施加这样的约束下的最小描述长度(MDL)的原则,导致一个独特的和最佳的稀疏表示一维数据,这导致在数据发现有用的判别功能。
2021-03-17 cs.IT eess.SP math.IT
Fixed-PSNR Lossy Compression for Scientific Data
错误控制的有损压缩已经研究了多年,因为今天的科学模拟产生了非常大量的数据。然而,现有的有损压缩器都不允许用户在压缩期间固定峰值信噪比(PSNR),尽管PSNR已被认为是评估压缩质量的最重要指标之一。在本文中,我们提出了一种新的技术,提供一个固定的峰值信噪比有损压缩的科学数据集。我们实现我们提出的方法的基础上SZ有损压缩框架和释放的代码作为一个开源工具包。我们评估我们的固定PSNR压缩器上三个真实世界的高性能计算数据集。实验结果表明,该方法具有较高的PSNR控制精度,在测试数据集上的平均偏差为0.1 ~ 5.0dB。
2018-07-13 cs.DC cs.IT math.IT
Near Lossless Time Series Data Compression Methods using Statistics and Deviation
在过去的二十年里,由于最新技术的实现,包括物联网(IoT),电子健康,工业物联网4.0,自动驾驶汽车等,数据汇集取得了巨大的增长。数据传输和存储的挑战可以通过利用最先进的数据压缩方法来解决。最近的数据压缩方法是使用深度学习方法提出的,其性能优于传统方法。然而,这些方法需要大量的数据和资源进行训练。此外,由于IoT设备的资源受限性质,难以在IoT设备上实现这些基于深度学习的解决方案。本文提出了基于数据统计和偏差的轻量级数据压缩方法。所提出的方法在压缩比(CR)方面比深度学习方法表现更好。我们模拟和比较了各种时间序列信号的拟议数据压缩方法,例如,特别地,观察到所提出的方法对于GYS、Gactive和ACM数据集分别比深度学习方法实现高250.8\%、94.3\%和205\%的CR。代码和数据可在https://github.com/vidhi0206/data-compression上获得。
2022-09-30 cs.IT eess.SP math.IT
Entropy Polarization-Based Data Compression Without Frozen Set Construction
本文提出一种免冻结集构造的极化压缩方案,通过基于解码器行为最优选择输出符号,提升灵活性并显著改善压缩率,数值实验验证其优于现有方法。
2025-01-22 cs.IT eess.SP math.IT
Quantum entropy-typical subspace and universal data compression
介绍了量子熵-典型子空间理论。证明了任意冯诺伊曼熵小于h的混合态都可以近似地被熵= h的熵典型子空间所保持。这一结果意味着在信源的冯诺伊曼熵不超过h的情况下,存在一个普适的压缩方案。
2014-10-21 cs.IT math.IT quant-ph
Application of Lossless Data Compression Techniques to Radio Astronomy Data flows
射电天文学的现代实践的特点是极端的数据量和速率,主要是因为可以实现的信噪比和需要奈奎斯特采样的支持方式所需的RF带宽之间的直接关系。这些数据流的传输成本高昂。通过研究典型数据流的统计性质并应用信息论领域的公知技术,以下工作表明,典型射电天文学数据流的无损压缩在理论上是可能的。确定可能压缩程度的关键参数是数据的标准差。压缩的实际应用可以证明有利于降低新一代仪器(如平方公里阵列)的数据传输和(可以说)存储成本。
2014-05-22 astro-ph.IM cs.IT math.IT
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
学习和压缩是由识别和利用统计数据的共同目标驱动的,这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然(NML)编码,它提供了强有力的保证,压缩小数据集-相比之下,更流行的估计,其保证只在渐近极限。在这里,我们考虑一个基于NML的决策策略的监督分类问题,并表明它达到启发式PAC学习时,适用于各种各样的模型。此外,我们表明,我们的方法的误分类率是上限的最大泄漏,最近提出的度量,以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
Efficient Compression Technique for Sparse Sets
PICT, Pune(浦那PICT);Chennai Mathematical Institute(金奈数学研究所)
最近的技术进步已经导致在网络上产生大量数据,例如文本、图像、音频和视频。这些数据中的大多数是高维和稀疏的,例如,用于表示文本的词袋表示。通常,在许多应用中需要对相似的数据点进行有效的搜索,如聚类,最近邻搜索,排名和索引。尽管计算能力有了显著的提高,但在这样的数据集上进行简单的蛮力相似性搜索是低效的,有时甚至是不可能的。因此,期望得到保留数据点之间的相似性的压缩表示。在这项工作中,我们认为数据点集和使用Jaccard相似性作为相似性度量。压缩技术通常根据下列参数进行评价:1)压缩所需的随机性,2)压缩所需的时间,3)压缩后数据的维数,以及4)存储压缩数据所需的空间。理想情况下,数据的压缩表示应该保持每对数据点之间的相似性,同时保持压缩所需的时间和随机性尽可能低。我们表明,Pratap和Kulkarni建议的压缩技术也适用于Jaccard相似性。我们提出了同样的理论证明,并补充它与严格的实验合成以及现实世界的数据集。我们还比较了我们的结果与最先进的“最小独立置换”,并表明,我们的压缩算法达到几乎相同的精度,同时显着减少压缩时间和随机性。
2017-08-16 cs.IT cs.LG math.IT
Exploration of Pattern-Matching Techniques for Lossy Compression on Cosmology Simulation Data Sets
由于当今的科学模拟产生了大量数据,因此允许用户控制信息丢失的有损压缩可以显著减少数据大小和I/O负担。然而,对于大规模宇宙学模拟,例如硬件/混合加速宇宙学代码(HACC),其中存储器开销约束将压缩限制为一次仅一个快照,由于数据的相当低的空间相干性和高的不规则性,有损压缩比极其有限。在这项工作中,我们提出了一种模式匹配(相似性搜索)技术,以优化预测精度和压缩比的SZ有损压缩器上的HACC数据集。我们评估我们提出的方法与不同的配置,并比较它与最先进的有损压缩机。实验结果表明,与SZ算法相比,该优化算法不仅提高了预测精度,而且减小了量化码的压缩尺寸。我们提出了几个经验教训,为今后的研究涉及模式匹配技术的有损压缩。
2017-08-06 astro-ph.IM cs.IT math.IT
Bounding Lossy Compression using Lossless Codes at Reduced Precision
提出了一种两部分“临界压缩”的替代方法。而以前的结果是基于减少精度的无损码与有损压缩的误差或噪声项求和,本方法使用减少精度的类似无损码来建立绝对界限,其约束应用于原始数据的任意有损数据压缩算法。
2012-12-31 cs.IT cs.MM math.IT
HiHa: Introducing Hierarchical Harmonic Decomposition to Implicit Neural Compression for Atmospheric Data
Jilin University(吉林大学);Institute of Atmospheric Physics(大气物理研究所)
针对大气数据压缩难题,提出HiHa方法,通过分层谐波分解和多尺度隐式神经表示实现高保真高压缩率,实验证明其优于现有方法且压缩数据不影响下游模型精度。
2024-11-09 cs.IT cs.LG math.IT
On Compression of Data Encrypted with Block Ciphers
本文研究了用分组密码(如高级加密标准(AES))加密的数据的压缩。它表明,这样的数据可以是可行的压缩没有知识的秘密密钥。被认为是在各种链接模式下操作的块密码,它示出了如何压缩可以实现而不损害加密方案的安全性。此外,它表明,存在一个基本的限制,块密码的实际压缩性时,没有链接块之间使用。一些实际的代码结构用于压缩二进制源的性能结果。
2010-09-09 cs.CR cs.IT math.IT
Seq2Seq2Seq: Lossless Data Compression via Discrete Latent Transformers and Reinforcement Learning
Department of Computer Engineering(计算机工程系);University of Guilan(加兹万大学)
Seq2Seq2Seq利用强化学习和T5模型实现高效无损数据压缩,通过保留token结构提升压缩比和语义完整性。
2026-02-12 cs.AI cs.CL cs.IT
Optimal Compression for Minimizing Classification Error Probability: an Information-Theoretic Approach
我们制定的约束下,压缩数据可以用于机器学习中的准确分类进行最佳数据压缩的问题。我们表明,这转化为一个问题,最小化数据和压缩版本之间的互信息的约束下的分类错误概率是小的,当使用压缩数据进行机器学习。然后,我们提供了分析和计算方法来表征数据压缩和分类错误概率之间的最佳权衡。首先,我们提供了一个分析表征的最佳压缩策略的数据与二进制标签。其次,对于具有多个标签的数据,我们制定了一组凸优化问题来表征最佳权衡,通过数值求解制定的优化问题,可以获得分类错误和压缩效率之间的最佳权衡。我们进一步展示了我们的配方在分类性能的信息瓶颈方法的改进。
2022-11-03 cs.IT eess.SP math.IT
A Universal Low Complexity Compression Algorithm for Sparse Marked Graphs
许多现代应用程序涉及访问和处理图形数据,即由图形自然索引的数据。例子来自互联网图表、社交网络、基因组学和蛋白质组学以及其他来源。这种数据的典型的大尺寸激励寻求有效的方法来对其进行压缩和解压缩。目前的压缩方法通常是针对特定的模型,或不提供理论保证。本文提出了一种适用于稀疏标记图(即由稀疏图索引的图形数据)的低复杂度的无损压缩算法,该算法能够在精确定义的意义下普遍获得最优压缩率。为了定义普遍性,我们采用了局部弱收敛的框架,它允许人们理解稀疏图的随机过程的概念。此外,我们研究了我们的算法的性能,通过一些实验结果的合成和真实世界的数据。
2023-01-13 cs.IT math.IT math.PR
Accelerating Lossless Data Compression with GPUs
Huffman压缩是一种统计的、无损的数据压缩算法,它通过给符号分配可变长度的代码来压缩数据,频繁出现的符号被赋予比较少出现的符号更短的代码。这项工作是Huffman算法的一个修改,它允许未压缩的数据被分解成独立的可压缩和可解压缩的块,允许在多个处理器上并行压缩和解压缩。我们使用CUDA API在当前NVIDIA GPU上以及在当前Intel芯片上创建此修改后的算法的实现,并对性能结果进行比较,几乎所有测试都显示出良好的GPU性能。最后,我们讨论了高性能数据压缩在当今的超级计算生态系统的必要性。
2011-06-21 cs.GR cs.IT cs.PF
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
在最近的研究[1][13][14]中,循环神经网络被用于生成过程,其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外,数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的,那么问题就归结为确定在与人类语言相关的特定任务中,压缩算法是否比神经网络更智能。在我们的旅程中,我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
An Introduction to Neural Data Compression
University of California, Irvine(加州大学欧文分校);Google Research(谷歌研究院)
本文介绍神经数据压缩领域,梳理统计学习进展带来的端到端压缩新路径,补充信息论与计算机视觉基础,为机器学习受众提供该领域核心方法的精选导读。
2023-08-16 cs.IT cs.LG eess.IV
An Error-Bounded Lossy Compression Method with Bit-Adaptive Quantization for Particle Data
针对大规模科学粒子数据压缩比受限问题,提出基于 k-d 树分区与位盒的位自适应量化误差有界有损压缩方法,并在多类数据集上对比评估。
2024-04-04 astro-ph.IM cs.GR cs.IT