Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto(多伦多大学);Vector Institute(向量研究所);Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院);University of Oxford(牛津大学)
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而,比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中,我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用,我们的计划将需要更多的初始位比标准的位回编码器,但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时,我们的编码器可以实现比比特回退更好的速率,而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置,特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
Rate-Distortion Modeling for Bit Rate Constrained Point Cloud Compression
点云作为三维真实世界的主要表现形式之一,非常适合虚拟现实和增强现实应用,得到了广泛的应用。为了减少庞大的数据量,人们对点云数据压缩进行了大量的研究。然而,给定目标比特率,如何正确选择颜色和几何量化参数来压缩点云仍然是一个悬而未决的问题。提出了一种基于率失真模型的点云压缩量化参数选择方法。首先,为了克服点云畸变测量中的不确定性,提出了一种将几何畸变和颜色畸变相结合的统一模型。在这个模型中,我们考虑到点云的几何和颜色变量之间的相关性,并推导出一个无量纲的量来表示整体质量下降。然后,我们推导出总失真和比特率与量化参数的关系。最后,我们制定的比特率约束的点云压缩作为一个约束最小化问题,使用派生的多项式模型,并推导出通过迭代数值方法的解决方案。实验结果表明,该算法在不同的目标比特率下都能获得最佳的解码点云质量,且性能明显优于基于视频率失真模型的点云压缩方案。
2022-11-19 cs.IT cs.MM eess.IV
Compression with Flows via Local Bits-Back Coding
UC Berkeley(加州大学伯克利分校)
基于似然的生成模型是无损压缩的基础,因为它保证了长度接近负对数似然的码的存在。然而,无法保证存在实现这些长度的计算高效代码,并且编码算法必须针对特定类型的生成模型进行手工定制以确保计算效率。这种编码算法对于自回归模型和变分自编码器是已知的,但对于一般类型的流模型不是已知的。为了填补这一空白,我们引入了本地位回编码,一种新的压缩技术流模型。我们提出了有效的算法,实例化我们的技术,许多流行类型的流,我们证明了我们的算法密切实现理论codelastness的国家的最先进的流模型的高维数据。
2020-01-06 cs.IT cs.LG math.IT
A Bit of Secrecy for Gaussian Source Compression
本文研究了独立同分布高斯信源序列在不安全网络中的压缩问题。在一个三方无噪声通信网络(发送方Alice,合法接收方Bob和窃听者Eve)的博弈论环境中,研究了如何有效地压缩具有有限秘密密钥的高斯信源,以保证Bob能够以高保真度重建,同时防止Eve估计准确的重建。假设Alice和Bob共享具有有限速率的秘密密钥。三种情况下进行了研究,其中窃听者的范围从弱到强的因果边信息,她。结果表明,在高斯平方误差下,每个源符号一比特的秘密密钥就足以达到理想的保密性能,并且联合高斯随机变量不能优化信息论域.
2013-07-28 cs.CR cs.IT math.IT
Gaussian Compression Stream: Principle and Preliminary Results
Univ. Littoral Côte d’Opale(滨海奥帕尔海岸大学)
随机预测成为处理大数据的流行工具。特别是,当应用于非负矩阵分解(NMF)时,结构化随机投影比基于高斯压缩的经典策略更有效。然而,它们仍然昂贵,并且可能无法从最近的快速随机投影技术中完全受益。因此,在本文中,我们研究了一种替代结构化的ran-om投影命名为高斯压缩流,它(i)是基于高斯压缩,(ii)可以受益于上述快速技术,(iii)被证明是非常适合NMF。
2020-11-12 cs.IT cs.LG eess.SP
Streaming Algorithms for Optimal Generation of Random Bits
从有偏硬币源生成随机比特(有偏是未知的)是一个经典问题,最初由冯·诺依曼研究。有许多已知的算法,具有渐近最佳的信息效率,即,每个输入比特的生成的随机比特的期望数量渐近接近于源的熵。然而,只有原始的冯·诺依曼算法具有“流特性”-它一次对单个输入位进行操作,并且在可能的情况下生成随机位,唉,它没有最佳的信息效率。本文的主要贡献是一个算法,产生随机比特流从偏置硬币,使用有界空间和预期的线性时间运行。随着分配空间大小的增加,算法的效率接近信息论上限。此外,我们还讨论了如何扩展该算法,从m边骰子或相关的源,如马尔可夫链产生随机比特流。
2012-09-04 cs.DS cs.IT math.IT
ROI-based Deep Image Compression with Implicit Bit Allocation
School of Microelectronics, Tianjin University(天津大学微电子学院);Hong Kong University of Science and Technology(香港科技大学)
针对现有ROI图像压缩显式比特分配策略限制编码性能的问题,提出含MGFE模块和双解码器的隐式比特分配模型,在COCO2017上率失真性能优于显式方法且背景质量良好。
2025-11-12 cs.CV cs.IT cs.MM
Reduced bit median quantization: A middle process for Efficient Image Compression
本文提出中间处理压缩方法 RBMQ,通过中值量化、像素冗余及将 8 位降至 5 位表示,在保持视觉质量的同时进一步减小 JPEG 等图像文件体积。
2024-10-25 cs.IT eess.IV math.IT
Lossy Gradient Compression: How Much Accuracy Can One Bit Buy?
McMaster University(麦克马斯特大学);National Yang-Ming Chiao-Tung University(阳明交通大学)
在联邦学习(FL)中,通过聚合从多个远程学习者获得的模型更新来在参数服务器(PS)处训练全局模型。通常,远程用户和PS之间的通信是速率受限的,而从PS到远程用户的传输是不受约束的。FL设置引起分布式学习场景,其中来自远程学习者的更新必须被压缩,以便满足朝向PS的上行链路传输中的通信速率约束。对于这个问题,人们希望压缩模型更新,以便最小化由压缩误差导致的准确性损失。在本文中,我们采用率失真方法来解决深度神经网络(DNN)分布式训练的压缩器设计问题。特别是,我们定义了一个衡量的压缩性能下的通信速率约束-的\emph{per-bit accuracy} -这解决了最终的精度提高,一个位的通信带来的集中式模型。为了最大化每比特的准确性,我们考虑将远程学习者的DNN梯度更新建模为广义正态分布。在DNN梯度分布的假设下,我们提出了一类失真度量,以帮助设计用于压缩模型更新的量化器。我们认为,这个家庭的失真措施,我们称为“$M$ -幅度加权$L_2$“规范,抓住了从业者的直觉在梯度压缩机的选择。数值模拟提供CIFAR-10数据集验证所提出的方法。
2022-06-03 cs.IT cs.LG math.IT
An Information-theoretic Framework for the Lossy Compression of Link Streams
Centre national de la recherche scientifique(法国国家科学研究中心);Laboratoire d’informatique de Paris 6(巴黎第六大学计算机实验室)
图压缩是一种数据分析技术,包括用更一般的结构模式替换图的部分,以减少其描述长度。它为研究真实的、大规模的和复杂的图形提供了有趣的探索工具,而这些图形是乍一看无法掌握的。本文提出了一个时间图压缩的框架,即压缩随时间演化的图。这个框架首先建立在一个简单的和有限的计划,利用结构等价的静态图的无损压缩,然后将其推广到有损压缩的链接流,最近的形式主义的时间图的研究。这种概括依赖于(二维)关系数据的自然扩展,通过添加第三个时间维度。此外,我们引入了一个信息理论的措施来量化和控制在压缩过程中丢失的信息,以及可能的压缩模式的空间的代数表征,以提高初始压缩方案的表现力。这些贡献导致定义的组合优化问题,即有损多流压缩问题,我们提供了一个精确的算法。
2018-07-18 cs.AI cs.DS cs.IT
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology(国防科技大学);Army Engineering University of PLA(中国人民解放军陆军工程大学)
受深度神经网络(DNN)在语音处理中的成功启发,本文提出了一种带深度自动编码器(DAE)的直接端到端低比特率语音压缩方法--深度声码器(Deep Vocoder)。在深度声码器中,DAE用于提取语音的潜在代表特征(LRF),然后通过合成分析矢量量化(AbS VQ)方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真,而不是LRF向量本身的失真。此外,提出了一种次优码本搜索技术,以进一步降低计算复杂性。实验结果表明,与传统的基于SQ或VQ的编解码器的输出相比,深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码,在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
Efficient Learned Data Compression via Dual-Stream Feature Decoupling
College of Computer Science, TMCC, SysNet, DISSec, GTIISC, Nankai University(南开大学计算机学院,TMCC,SysNet,DISSec,GTIISC);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Beijing Institute of Technology(北京理工大学)
本文提出双流多尺度解耦器,通过解耦局部和全局上下文,替代深度串行处理,实现浅层并行流,并结合分层门控细化器,提升压缩效率与精度。
2026-04-08 cs.CL cs.IT cs.LG
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
在本文中,我们压缩卷积神经网络(CNN)的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计,从而在给定的量化比特率下产生次优的CNN性能,或者仅在训练期间考虑它们的联合统计,并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换(解相关)和重构,以在任何给定的量化比特率下提高压缩。变换量化将量化和降维(去相关)技术统一在一个框架中,以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论,并将最佳量化作为率失真优化问题。然后,我们表明,这个问题可以解决使用最佳的位深度分配后,解相关的最佳端到端学习变换(ELT),我们在本文中推导出。实验表明,变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地,我们发现具有再训练的变换量化能够将CNN模型(例如AlexNet、ResNet和DenseNet)压缩到非常低的比特率(1-2比特)。
2021-11-07 cs.CV cs.IT cs.LG