Communication Beyond Transmitting Bits: Semantics-Guided Source and Channel Coding
Beijing University of Posts and Telecommunications（北京邮电大学）
经典的通信模式专注于在有噪声的信道上准确地传输比特，香农理论为可靠通信的速率提供了基本的理论限制。在这种方法中，比特被平等对待，并且通信系统不知道这些比特传达什么含义或者它们将如何被使用。可以预见的是，未来的通信朝着智能和简洁的方向发展将发挥主导作用，连接智能代理的扩散需要对编码传输范式进行彻底的重新思考，以支持即将出现的新通信形态。最近提出的“语义通信”概念提供了一个很有前途的研究方向。在编码传输设计中引入语义指导，实现语义感知的通信，在有效性和可靠性方面有很大的突破潜力。本文提出了一种基于语义的信源编码和信道编码的语义通信传输模式，它利用了数据语义的多样性和无线信道的多样性来提高整个系统的性能。我们提出了一般的系统架构和关键技术，并指出了一些开放的问题，在这个主题。
2022-08-04 cs.AI cs.IT cs.LG
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来，已经提出了几种利用先进的深度学习技术的点云几何压缩方法，但在属性压缩，特别是无损压缩方面的工作有限。在这项工作中，我们建立了一个端到端的多尺度点云属性编码方法（MNeT），逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文，从而使用单个网络预测最小化编码比特率。此外，我们的方法允许可伸缩的编码，较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG，并表明我们的方法优于最近提出的方法，并与最新的G-PCC版本14。此外，我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
Random Cycle Coding: Lossless Compression of Cluster Assignments via Bits-Back Coding
University of Toronto（多伦多大学）
提出无需训练的 Random Cycle Coding，通过排列循环无损编码簇分配，以准线性复杂度实现更低比特率，并在向量数据库相似性搜索中显著节省存储与资源。
2024-11-30 cs.LG
Random Edge Coding: One-Shot Bits-Back Coding of Large Labeled Graphs
University of Toronto（多伦多大学）；Vector Institute for Artificial Inteligence（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种名为Random Edge Coding的大型标记图一次性压缩方法，结合Pólya's Urn无参数模型实现准线性计算和线性内存复杂度，利用回退比特编码保留图结构，并在真实数据集上展现出竞争力的压缩性能和良好扩展性。
2023-05-16 cs.IT cs.LG math.IT
Compression with Flows via Local Bits-Back Coding
UC Berkeley（加州大学伯克利分校）
基于似然的生成模型是无损压缩的基础，因为它保证了长度接近负对数似然的码的存在。然而，无法保证存在实现这些长度的计算高效代码，并且编码算法必须针对特定类型的生成模型进行手工定制以确保计算效率。这种编码算法对于自回归模型和变分自编码器是已知的，但对于一般类型的流模型不是已知的。为了填补这一空白，我们引入了本地位回编码，一种新的压缩技术流模型。我们提出了有效的算法，实例化我们的技术，许多流行类型的流，我们证明了我们的算法密切实现理论codelastness的国家的最先进的流模型的高维数据。
2020-01-06 cs.IT cs.LG math.IT
Statistically-Lossless Quantization of Large Language Models
ETH Zürich（苏黎世联邦理工学院）；Red Hat AI（红帽人工智能部门）；ISTA（奥地利科学技术研究所）
本文提出统计无损压缩的中间路径，定义任务无损与分布无损的量化标准，证明对称与非对称量化的方差差异，通过SLQ方法实现大语言模型的任务无损、分布无损压缩及1.7-3.7倍推理加速。
2026-08-11 cs.LG
TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
LLMs Research Inc.（LLMs研究公司）
本文提出通过在快速沃尔什- Hadamard域中量化角度来压缩KV缓存条目，采用随机对角旋转使连续元素对在单位圆上近似均匀分布。通过每层早期提升技术，独立配置每层K和V代码本大小，为模型特定的关键层分配更高精度，实现四模型无损压缩和六模型近无损质量压缩。
2026-03-29 cs.AI cs.LG
Lossless Coding of Point Cloud Geometry using a Deep Generative Model
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupelec（巴黎中央理工-高等电力学院）
提出了一种利用神经网络估计体素占用概率分布的无损点云几何压缩方法。首先，考虑到PC稀疏性，我们的方法自适应地将点云划分为多个体素块大小。这种划分是通过八叉树来表示的。其次，我们采用深度自回归生成模型来估计给定先前编码的每个体素的占用概率。然后，我们采用估计的概率有效地使用基于上下文的算术编码器的块进行编码。我们的上下文大小可变，可以扩展到当前块之外，以学习更准确的概率。我们还考虑使用数据增强技术来提高学习概率模型的泛化能力，特别是在存在噪声和低密度点云的情况下。实验评估，从四个不同的数据集和不同的特性进行的各种点云，表明我们的方法大大降低（高达30%）的速率相比，最先进的MPEG编解码器的无损编码。
2021-07-01 cs.CV cs.LG eess.IV
Coding for Random Projections
Rutgers University（罗格斯大学）；Harvard University（哈佛大学）；Cornell University（康奈尔大学）
随机投影方法在统计学习、信息检索、生物信息学等领域有着广泛的应用。对投影数据使用设计良好的编码方案，该编码方案确定每个投影值所需的比特数以及如何分配这些比特，可以显着提高算法的有效性、存储成本以及计算速度。在本文中，我们研究了一些简单的编码方案，侧重于任务的相似性估计和应用程序训练线性分类器。我们证明，均匀量化优于标准现有的有影响力的方法（Datar et. 2004）。事实上，我们认为，在许多情况下，只用少量的位编码就足够了。此外，我们还开发了一个非均匀的2位编码方案，一般在实践中表现良好，我们的训练线性支持向量机（SVM）的实验证实。
2013-08-09 cs.DS cs.IT cs.LG
Compressing Multisets with Large Alphabets using Bits-Back Coding
Meta AI；University of Toronto（多伦多大学）；Vector Institute for AI（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
当前以最佳速率压缩多集合的方法具有与字母表大小线性缩放的计算复杂性，使得它们在许多现实世界设置中太慢而不实用。我们将展示如何将序列的压缩算法转换为一个多集，以换取一个额外的复杂性，是准线性的序列长度。这使我们能够以最佳速率压缩多组可交换符号，同时计算复杂性与字母表大小解耦。关键的见解是避免直接编码多集，而是压缩代理序列，使用一种称为“位回编码”的技术。我们证明了实验上的任务，这是棘手的最优速率的方法：压缩多组图像和JavaScript对象表示法（JSON）文件的方法。我们的实验代码可以在https://github.com/facebookresearch/multiset-compression上找到。
2023-02-27 cs.IT cs.LG eess.SP
Lossless Compression with Probabilistic Circuits
UCLA（加州大学洛杉矶分校）；University of California, Irvine（加州大学欧文分校）
尽管在图像生成方面取得了广泛的进展，但常见的深度生成模型架构并不容易应用于无损压缩。例如，VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案，如比特回编码，往往导致单样本压缩率差。为了克服这些问题，我们建立了一类新的易处理的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是涉及$|p|$计算单元的一类神经网络，其支持对$D$特征维度的任意子集的有效边缘化，从而实现有效的算术编码。我们得到有效的编码和解码方案，都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$，其中一个天真的计划将在$D$和$|p|$的线性成本，使该方法高度可扩展。根据经验，我们基于PC的（解）压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道，我们在MNIST等图像数据集上获得了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
iVPF: Numerical Invertible Volume Preserving Flow for Efficient Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
如今，存储快速增长的大数据是不平凡的，这需要高性能的无损压缩技术。基于似然的生成模型已经证明了它们在无损压缩上的成功，其中基于流的模型在允许利用双射映射的精确数据似然优化方面是期望的。然而，常见的连续流与编码方案的离散性相矛盾，这需要1）对流模型施加严格的约束，这降低了性能，或者2）编码大量的双射映射错误，这降低了效率。本文研究了无损压缩的保体积流，证明了无误差的双射映射是可能的。本文在一般保体积流的基础上，提出了数值可逆保体积流（iVPF）。通过在流模型上引入新的计算算法，实现了精确的双射映射，而没有任何数值误差。本文还提出了一种基于iVPF的无损压缩算法。在不同数据集上的实验表明，基于iVPF的算法在轻量级压缩算法中达到了最先进的压缩比。
2021-11-01 cs.LG
HiLLoC: Lossless Image Compression with Hierarchical Latent Variable Models
University College London（伦敦大学学院）
我们做出了以下惊人的观察：在32 x32 ImageNet上训练的完全卷积VAE模型可以很好地泛化，不仅可以泛化到64 x64，还可以泛化到更大的照片，而模型没有变化。我们使用这个属性，将完全卷积模型应用于无损压缩，展示了一种方法，可以将基于VAE的“Bits-Back with ANS”算法扩展到大型彩色照片的无损压缩，并实现最先进的全尺寸ImageNet图像压缩。我们发布了Craystack，这是一个开源库，用于使用概率模型方便地进行无损压缩原型设计，以及我们所有压缩结果的完整实现。
2019-12-20 cs.CV cs.LG eess.IV
Learning Better Lossless Compression Using Lossy Compression
ETH Zurich（苏黎世联邦理工学院）；Google Research, Brain Team（谷歌研究院（大脑团队））
我们利用强大的有损图像压缩算法BPG来构建一个无损图像压缩系统。具体地说，原始图像首先分解成后得到的有损重建与BPG压缩和相应的残差。然后，我们用基于卷积神经网络的概率模型对残差的分布进行建模，该概率模型以BPG重建为条件，并将其与熵编码相结合以对残差进行有损压缩编码。最后，使用由BPG和学习的残差编码器产生的比特流的级联来存储图像。由此产生的压缩系统在学习无损全分辨率图像压缩方面实现了最先进的性能，优于以前学习的方法以及PNG，WebP和JPEG 2000。
2020-03-23 cs.CV cs.LG eess.IV
Lossless Image Compression through Super-Resolution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单有效的无损图像压缩算法。我们将图像的低分辨率版本存储为原始像素，然后进行几次无损超分辨率迭代。对于无损超分辨率，我们预测的高分辨率图像的概率，在低分辨率输入的条件下，并使用熵编码压缩这个超分辨率算子。基于超分辨率的压缩（SReC）能够在大型数据集上实现最先进的压缩率和实际运行时间。代码可在https://github.com/caoscott/SReC在线获得。
2020-04-06 cs.CV cs.LG eess.IV
Joint universal lossy coding and identification of stationary mixing sources
Beckman Institute（贝克曼研究所）；University of Illinois（伊利诺伊大学）
联合通用信源编码和建模的问题，在无损编码的上下文中处理的Rissanen，最近被推广到固定速率的有损编码的连续字母表i.i.d.源我们将这些结果扩展到可变速率的有损块编码的平稳遍历源，并表明，有界度量失真措施，满足适当的混合，平滑度和Vapnik-Chervonenkis学习条件的平稳源的任何一个参数化家庭承认联合有损信源编码和识别的通用计划。我们还给出了几个明确的例子参数源满足正则性条件。
2007-04-20 cs.IT cs.LG math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
DNN gradient lossless compression: Can GenNorm be the answer?
NYCU, Taiwan（台湾阳明交通大学）
本文考虑深度神经网络（DNN）训练中的最优梯度无损压缩问题。梯度压缩在许多分布式DNN训练场景中是相关的，包括最近流行的联邦学习（FL）场景，其中每个远程用户通过无噪声但速率受限的信道连接到参数服务器（PS）。在分布式DNN训练中，如果底层梯度分布可用，则可以使用经典的无损压缩方法来减少传送梯度条目所需的比特数。平均场分析表明，梯度更新可以被认为是独立的随机变量，而拉普拉斯近似可以用来证明梯度在某些情况下具有近似正态分布的分布。在本文中，我们认为，对于一些实际感兴趣的网络，梯度项可以很好地建模为具有广义正态（GenNorm）分布。我们提供数值评估来验证假设GenNorm建模提供了DNN梯度尾部分布的更准确预测。另外，当将经典的固定到变量无损编码算法（例如霍夫曼编码）应用于量化的梯度更新时，这种建模选择在梯度的无损压缩方面提供了具体的改进。后一结果确实提供了具有低存储器和计算复杂性的有效压缩策略，其在分布式DNN训练场景中具有很大的实际相关性。
2021-11-15 cs.LG
Point Cloud Compression with Bits-back Coding
School of Electrical and Data Engineering, University of Technology Sydney（悉尼科技大学电气与数据工程学院）；Fraunhofer FOKUS（弗劳恩霍夫FOKUS研究院）
提出利用 CVAE 潜变量模型与 bits-back 编码无损压缩点云几何属性的方法，在降低编解码器开销的同时取得 1.56 bpp，优于 Draco 的 1.83 bpp。
2024-10-09 cs.AI cs.CV cs.LG
End-to-End Image Compression with Segmentation Guided Dual Coding for Wind Turbines
Wind Power LAB（风电实验室）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人研究所，西班牙国家研究委员会-加泰罗尼亚理工大学）；Department of Photonics Engineering, Technical University of Denmark (DTU)（丹麦技术大学光子工程系）
本文提出端到端深度学习框架，结合分割与双模式压缩，提升风力涡轮机图像压缩效率，确保缺陷检测精度。
2026-03-31 cs.AI cs.CV cs.LG
Learning-based lossless compression of 3D point cloud geometry
CNRS（法国国家科学研究中心）
提出了一种基于上下文自适应算术编码的静态点云几何数据的学习无损压缩方法。与大多数现有的方法在八叉树域工作，我们的编码器在混合模式下工作，混合八叉树和基于体素的编码。根据点云的结构自适应地将点云划分为多分辨率的体素块，并使用八叉树来表示划分。一方面，八叉树表示可以消除点云数据的稀疏性。另一方面，在体素域中，卷积可以被自然地表达，并且几何信息（即，平面、曲面等）是由神经网络明确处理的。我们的上下文模型受益于这些属性，并使用具有掩码过滤器的深度卷积神经网络（称为VoxelDNN）学习体素的概率分布。实验表明，我们的方法优于国家的最先进的MPEG G-PCC标准，平均节省28%的点云从微软体素化上半身（MVUB）和MPEG的不同集合。该实现可在https://github.com/Weafre/VoxelDNN上获得。
2021-04-20 cs.CV cs.LG eess.IV
ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
University of Waterloo（滑铁卢大学）
ULPack是一种基于参考条件的无损编解码器，利用参考权重指数预测位移位长度，在三类浮点轨迹上相比ZipNN、zstd-19、FM-Delta实现了显著的存储压缩提升。
2026-10-14 cs.LG
Integer Discrete Flows and Lossless Compression
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Google（谷歌）
无损压缩方法使用统计模型来缩短数据的预期表示大小而不丢失信息。在这种情况下，基于流的模型是有吸引力的，因为它们允许精确的似然优化，这相当于最小化每个消息的预期比特数。然而，传统的流假设连续数据，这可能导致在量化以用于压缩时的重构误差。出于这个原因，我们为有序离散数据引入了一个基于流的生成模型，称为离散流（IDF）：一个双射整数映射，可以学习高维数据的丰富转换。作为IDFs的构建模块，我们引入了一个灵活的转换层，称为整数离散耦合。我们的实验表明，IDFs与其他基于流的生成模型具有竞争力。此外，我们证明了基于IDF的压缩在CIFAR10、ImageNet32和ImageNet64上实现了最先进的无损压缩率。据我们所知，这是第一个使用可逆神经网络的无损压缩方法。
2019-12-06 cs.CV cs.LG stat.ML
Split Hierarchical Variational Compression
Huawei Technologies R&D UK（华为英国研发部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分自动编码器（VAE）在图像数据集压缩方面取得了巨大的成功。这一成功，使比特回编码框架成为可能，在许多基准测试中产生了有竞争力的压缩性能。然而，尽管如此，VAE架构目前受到编码实用性和压缩比的组合的限制。也就是说，不仅最先进的方法（例如标准化流）通常表现出超出性能的情况，而且编码中所需的初始位使得单个和并行图像压缩具有挑战性。为了解决这个问题，我们引入了分裂分层变分压缩（SHVC）。SHVC引入了两个新特性。首先，我们提出了一个有效的自回归先验，自回归子像素卷积，它允许每像素自回归和全因子概率模型之间的泛化。其次，我们定义了我们的编码框架，自回归初始位，灵活地支持并行编码，并避免-第一次-许多常见的实用性与位回编码。在我们的实验中，我们证明了SHVC能够在全分辨率无损图像压缩任务中实现最先进的压缩性能，模型参数比竞争VAE方法少100倍。
2022-04-05 cs.CV cs.LG eess.IV
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
University of Washington（华盛顿大学）；HSE University（高等经济大学）；Yandex（扬德克斯）；Skoltech（斯科尔科沃科学技术研究院）；IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；NeuralMagic（神经魔法公司）
本文提出 SpQR 稀疏量化格式，通过隔离高精度异常权重并将其余权重量化至 3–4 比特，实现跨规模 LLM 近无损压缩与超过 4 倍内存节省。
2023-06-05 cs.CL cs.LG
Learning Lossless Compression for High Bit-Depth Volumetric Medical Image
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）
本文提出BD-LVIC框架，将高位深医学体数据划分为最高和最低有效位体，结合传统编解码器与基于Transformer和并行自回归编码的学习模型，实现高效无损压缩并取得领先性能。
2024-10-23 cs.CV cs.LG eess.IV
Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
Estimation of Rate Control Parameters for Video Coding Using CNN
Queen Mary University of London（伦敦玛丽女王大学）；British Broadcasting Corporation（英国广播公司）
速率控制对于确保高效的视频传输至关重要。典型的速率控制算法依赖于比特分配策略，以在帧之间适当地分配比特。由于参考帧对于利用时间冗余是必不可少的，因此帧内帧通常被分配较大部分的可用比特。本文提出了一种精确估计帧内比特数和帧内质量的方法，可用于码率控制方案中的比特分配。该算法基于深度学习，其中使用原始帧作为输入来训练网络，而编码后压缩帧的失真和大小被用作地面真值。提出了两种方法，无论是本地或全球的失真预测。
2020-03-13 cs.LG cs.MM eess.IV
