Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Coding for Random Projections
Rutgers University（罗格斯大学）；Harvard University（哈佛大学）；Cornell University（康奈尔大学）
随机投影方法在统计学习、信息检索、生物信息学等领域有着广泛的应用。对投影数据使用设计良好的编码方案，该编码方案确定每个投影值所需的比特数以及如何分配这些比特，可以显着提高算法的有效性、存储成本以及计算速度。在本文中，我们研究了一些简单的编码方案，侧重于任务的相似性估计和应用程序训练线性分类器。我们证明，均匀量化优于标准现有的有影响力的方法（Datar et. 2004）。事实上，我们认为，在许多情况下，只用少量的位编码就足够了。此外，我们还开发了一个非均匀的2位编码方案，一般在实践中表现良好，我们的训练线性支持向量机（SVM）的实验证实。
2013-08-09 cs.DS cs.IT cs.LG
Random Cycle Coding: Lossless Compression of Cluster Assignments via Bits-Back Coding
University of Toronto（多伦多大学）
提出无需训练的 Random Cycle Coding，通过排列循环无损编码簇分配，以准线性复杂度实现更低比特率，并在向量数据库相似性搜索中显著节省存储与资源。
2024-11-30 cs.LG
Point Cloud Compression with Bits-back Coding
School of Electrical and Data Engineering, University of Technology Sydney（悉尼科技大学电气与数据工程学院）；Fraunhofer FOKUS（弗劳恩霍夫FOKUS研究院）
提出利用 CVAE 潜变量模型与 bits-back 编码无损压缩点云几何属性的方法，在降低编解码器开销的同时取得 1.56 bpp，优于 Draco 的 1.83 bpp。
2024-10-09 cs.AI cs.CV cs.LG
Split Hierarchical Variational Compression
Huawei Technologies R&D UK（华为英国研发部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分自动编码器（VAE）在图像数据集压缩方面取得了巨大的成功。这一成功，使比特回编码框架成为可能，在许多基准测试中产生了有竞争力的压缩性能。然而，尽管如此，VAE架构目前受到编码实用性和压缩比的组合的限制。也就是说，不仅最先进的方法（例如标准化流）通常表现出超出性能的情况，而且编码中所需的初始位使得单个和并行图像压缩具有挑战性。为了解决这个问题，我们引入了分裂分层变分压缩（SHVC）。SHVC引入了两个新特性。首先，我们提出了一个有效的自回归先验，自回归子像素卷积，它允许每像素自回归和全因子概率模型之间的泛化。其次，我们定义了我们的编码框架，自回归初始位，灵活地支持并行编码，并避免-第一次-许多常见的实用性与位回编码。在我们的实验中，我们证明了SHVC能够在全分辨率无损图像压缩任务中实现最先进的压缩性能，模型参数比竞争VAE方法少100倍。
2022-04-05 cs.CV cs.LG eess.IV
Getting Free Bits Back from Rotational Symmetries in LLMs
University of Cambridge（剑桥大学）
针对 LLM 权重压缩忽视旋转对称性导致冗余编码的问题，提出基于 bits-back coding 的 Transformer 权重存储格式，在 SliceGPT 剪枝模型上免费减少 3–5% 比特用量且不损性能。
2024-10-02 cs.IT cs.LG math.IT
Semi-Supervised Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
稀疏编码将数据样本近似为一些基本码字的稀疏线性组合，并使用稀疏码作为新的表示。在本文中，我们研究学习的区别稀疏码稀疏编码在半监督的方式，其中只有少量的训练样本被标记。通过使用标记和未标记样本的数据集所跨越的流形结构以及标记样本的标签所提供的约束，我们学习所有样本的变量类标签。此外，为了提高学习的稀疏代码的区分能力，我们假设可以直接使用线性分类器从稀疏代码预测类标签。通过在一个统一的目标函数中同时求解码本、稀疏码、类别标签和分类器参数，提出了一种半监督稀疏编码算法。两个真实世界的模式识别问题的实验表明，所提出的方法的优势，监督稀疏编码方法的部分标记的数据集。
2015-01-16 cs.LG stat.ML
Entropy Coding of Unordered Data Structures
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Amsterdam（阿姆斯特丹大学）
本研究提出可对无序对象序列实现最优压缩的通用方法shuffle coding，可适配多重集、图等多种数据结构，发布的开源实现可在多类图数据集上取得当前最优压缩率。
2024-08-16 cs.DS cs.IT cs.LG
Estimation of Rate Control Parameters for Video Coding Using CNN
Queen Mary University of London（伦敦玛丽女王大学）；British Broadcasting Corporation（英国广播公司）
速率控制对于确保高效的视频传输至关重要。典型的速率控制算法依赖于比特分配策略，以在帧之间适当地分配比特。由于参考帧对于利用时间冗余是必不可少的，因此帧内帧通常被分配较大部分的可用比特。本文提出了一种精确估计帧内比特数和帧内质量的方法，可用于码率控制方案中的比特分配。该算法基于深度学习，其中使用原始帧作为输入来训练网络，而编码后压缩帧的失真和大小被用作地面真值。提出了两种方法，无论是本地或全球的失真预测。
2020-03-13 cs.LG cs.MM eess.IV
End-to-End Image Compression with Segmentation Guided Dual Coding for Wind Turbines
Wind Power LAB（风电实验室）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人研究所，西班牙国家研究委员会-加泰罗尼亚理工大学）；Department of Photonics Engineering, Technical University of Denmark (DTU)（丹麦技术大学光子工程系）
本文提出端到端深度学习框架，结合分割与双模式压缩，提升风力涡轮机图像压缩效率，确保缺陷检测精度。
2026-03-31 cs.AI cs.CV cs.LG
Construction of FuzzyFind Dictionary using Golay Coding Transformation for Searching Applications
The George Washington University（乔治华盛顿大学）；Exprentis, Inc（Exprentis公司）
由于时间复杂度和存储器复杂度，搜索大量数据对于公司、科学家和搜索引擎应用程序来说是非常关键的。本文介绍了一种新的文本挖掘中的模糊查找词典生成技术。我们简单地将23位的英文字母映射到一个FuzzyFind字典中，或者通过使用更多的FuzzyFind字典来映射超过23位的英文字母，并反映特定字母的存在或不存在。该表示在2个偏差的汉明距离内所创建的二进制向量的接近度方面保留了单词失真的接近度。本文讨论了Golay编码变换哈希表以及如何将其用于FuzzyFind Dictionary作为一种新技术用于搜索大数据。该方法通过字典生成的线性时间复杂度和新数据集访问和更新的恒定时间复杂度来引入，并且新数据集的更新是线性时间依赖于新数据点的。这种技术是基于只搜索英文字母，每个片段有23位，我们也有超过23位，它也可以与更多的片段作为参考表。
2015-03-22 cs.AI cs.DB cs.DS
ICQuant: Index Coding enables Low-bit LLM Quantization
University of California, Los Angeles（加州大学洛杉矶分校）；Meta, GenAI（Meta）
针对大语言模型低比特量化中异常值导致范围膨胀和误差大的问题，提出ICQuant框架，利用索引编码实现高效异常值感知仅权重量化，在低比特开销下大幅提升量化准确率，无需微调即可媲美最优微调量化器。
2025-08-24 cs.AI cs.LG
AI/ML based Joint Source and Channel Coding for HARQ-ACK Payload
Qualcomm Technologies, Inc（高通技术公司）
本文提出基于AI/ML的联合源信道编码方法，用于优化HARQ-ACK有效载荷的传输性能，通过深度学习技术实现更高效的功率利用和误码率控制。
2026-02-19 cs.AI cs.LG eess.SP
Minimal Random Code Learning: Getting Bits Back from Compressed Model Parameters
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
虽然深度神经网络是一个非常成功的模型类，但它们的大内存占用对能源消耗、通信带宽和存储需求造成了相当大的压力。因此，减少模型大小已成为深度学习的终极目标。一种典型的方法是训练一组确定性权重，同时应用某些技术，如修剪和量化，以便经验权重分布变得符合香农式编码方案。然而，如本文所示，放松权重确定性并在权重上使用全变分分布可以实现更有效的编码方案，从而实现更高的压缩率。特别地，遵循经典的位回参数，我们使用随机样本对网络权重进行编码，仅需要与采样变分分布和编码分布之间的库尔贝克-莱布勒散度对应的位数。通过对库尔贝克-莱布勒散度施加约束，我们能够显式地控制压缩率，同时优化训练集上的预期损失。所采用的编码方案可以被证明是接近最佳的信息理论的下限，相对于所采用的变分家庭。我们的方法在神经网络压缩中设置了新的最先进的技术，因为它在Pareto意义上严格优于以前的方法：在基准LeNet-5/MNIST和VGG-16/CIFAR-10上，我们的方法在固定内存预算下产生了最佳的测试性能，反之亦然，它在固定的测试性能下实现了最高的压缩率。
2018-09-30 cs.LG stat.ML
