LCQ: Low-Rank Codebook based Quantization for Large Language Models
Nanjing University(南京大学)
针对大语言模型部署中高存储计算成本问题,提出基于低秩码本的量化方法LCQ,采用秩大于一的码本,在额外存储成本可忽略时精度优于现有秩一码本量化方法。
2025-02-10 cs.CL cs.LG
BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
Nanjing University of Science and Technology(南京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Huawei(华为)
研究大语言模型部署时的压缩问题,提出BiSCo-LLM框架,通过将局部权重块映射到超球面二值化、编码重建误差、进行类别恢复蒸馏及设置保护通道路径等方法,实现极低比特权重压缩并减少存储开销。
2026-07-10 cs.LG
Model compression as constrained optimization, with application to neural nets. Part II: quantization
University of California, Merced(加州大学默塞德分校)
我们考虑通过量化进行深度神经网络压缩的问题:给定一个大的参考网络,我们希望使用具有$K$条目的码本来计算其实值权重,以便量化网络的训练损失最小。对于二值化或三值化方法,码本可以最佳地与网络联合学习,或者固定。以前的工作已经量化了参考网络的权重,或者在反向传播算法中引入了舍入操作,但这并不能保证收敛到损失最优的量化网络。我们描述了一种新的方法的基础上,最近提出的框架模型压缩约束优化\citep{Carreir17a}。这导致了一个简单的迭代“学习-压缩”算法,该算法交替学习连续权重的网络的步骤和量化(或二进制化/三进制化)权重的步骤,并且保证收敛到量化网络的损失的局部最优值。我们开发的自适应码本或(部分)固定码本的算法。后者包括二值化、三值化、二的幂和其他重要的特殊情况。我们的实验表明,我们可以实现更高的压缩率比以前的量化工作(即使只使用1位每重量),可以忽略不计的损失退化。
2017-07-13 cs.LG cs.NE math.OC
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
Key Laboratory of Multimedia Trusted Perception(多媒体可信感知关键实验室);Efficient Computing, Ministry of Education of China, Xiamen University, Xiamen, China(高效计算,中华人民共和国教育部,厦门大学,厦门,中国)
本文提出RQ-MoE框架,结合双层专家混合与双流量化,实现输入依赖的代码本自适应,提升向量量化效率,并在解码速度上优于现有方法。
2026-05-14 cs.AI cs.LG
Kernel Quantization for Efficient Network Compression
Columbia University(哥伦比亚大学);Peking University(北京大学);Deepwise AI Lab(深度智耀人工智能实验室);The University of Hong Kong(香港大学)
本文提出了一种新的网络压缩框架核量化(KQ),旨在有效地将任何预训练的全精度卷积神经网络(CNN)模型转换为低精度版本,而不会造成显着的性能损失。与现有的方法与重量位长度的斗争,KQ有潜力提高压缩比,通过考虑卷积核作为量化单元。受权重剪枝到滤波器剪枝的演变的启发,我们提出了在核和权重两个层次上进行剪枝。我们不是用低位索引来表示每个权重参数,而是学习一个内核码本,并用相应的低位索引替换卷积层中的所有内核。因此,KQ可以用低比特索引和具有有限大小的核码本来表示卷积层中的权重张量,这使得KQ能够实现显著的压缩比。然后,我们进行一个6位的参数量化的核心码本,以进一步减少冗余。在ImageNet分类任务上进行的大量实验证明,KQ在VGG和ResNet18中平均分别需要1.05和1.62位来表示卷积层中的每个参数,并在几乎没有精度损失的情况下实现了最先进的压缩比。
2020-03-11 cs.LG stat.ML
PocketLLM: Ultimate Compression of Large Language Models via Meta Networks
University of Science and Technology of China(中国科学技术大学)
本文提出PocketLLM,通过元网络在潜在空间压缩大语言模型,利用编码器和解码器实现高效压缩,实验表明在高压缩比下仍保持高精度。
2025-11-19 cs.CL cs.LG
Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出速率自适应量化(RAQ)框架,通过数据驱动方法从单一基线VQ模型生成多速率码本,实现压缩与重建保真度的灵活权衡,并支持无需重训练的聚类适配,有效提升了基于向量量化生成模型的多比特率适应能力。
2025-01-31 cs.CV cs.LG eess.IV
IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
Independent Researcher(独立研究者)
本文提出IVF-TQ,一种基于数据无关残差压缩层的倒排文件索引,通过固定随机旋转和预计算Lloyd-Max标量量化器实现流式向量搜索的稳定性能,无需码本训练或逐数据集位预算调整。
2026-05-22 cs.AI cs.DB cs.IR
The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling
Shibattic Inc.
本文探讨了在视觉-语言-动作模型中,离散标记化导致的压缩间隙问题,指出信息瓶颈的位置决定了模型扩展效果,而非统一增加模型或数据规模。
2026-04-03 cs.CV cs.LG cs.RO
Initialisation Determines the Basin: Efficient Codebook Optimisation for Extreme LLM Quantization
University of Sheffield(谢菲尔德大学)
本文提出OA-EM方法,通过Hessian加权马氏距离改进代码本初始化,解决极端LLM量化中初始化不足导致的性能问题,提升压缩模型的优化效果。
2026-04-09 cs.CL cs.LG
Leech Lattice Vector Quantization for Efficient LLM Compression
本文提出Leech晶格向量量化方法,通过高维晶格结构实现高效LLM压缩,优于现有量化方法。
2026-07-08 cs.LG
BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook
The Hong Kong University of Science and Technology(香港科技大学);City University of Hong Kong(香港城市大学);University of Electronic Science and Technology of China(电子科技大学)
BTC-LLM通过二进制模式聚类和权重转换克服传统二值化限制,实现亚1位LLM量化,在极端压缩下达到1.11-0.7 bits的压缩率,同时保持高性能和高效推理。
2026-04-09 cs.AI cs.CV cs.LG
RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations
University of Cambridge(剑桥大学);University of Science and Technology of China(中国科学技术大学)
针对现有基于贝叶斯隐式神经表征的压缩方法COMBINER的三项局限,提出RECOMBINER方法,通过权重重参数化、可学习位置编码、分块与分层先验优化性能,在多模态实验中效果优异,低比特率低分辨率图像任务优于自编码器编解码器。
2024-03-07 cs.LG
Implicit Neural Video Compression
Qualcomm AI Research(高通人工智能研究院)
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入,这使得帧之间的有效运动补偿。与一个小的残差网络一起,这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法,我们称之为隐式像素流(IPF),在已建立的神经视频编解码器上提供了几个简化:它不需要接收器访问预训练的神经网络,不使用昂贵的基于插值的扭曲操作,并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
Extreme Compression of Large Language Models via Additive Quantization
HSE University(高等经济大学);Yandex Research(Yandex研究院);Skoltech(斯科尔科沃科学技术研究院);IST Austria(奥地利科学技术研究所);NeuralMagic(NeuralMagic公司)
本研究针对大语言模型极致压缩需求,提出AQLM算法,通过输入自适应可学习加性量化与Transformer块码本联合优化,在2-3比特/参数的低比特压缩下实现准确率与尺寸的帕累托最优,且运行速度快、内存占用小。
2024-09-11 cs.CL cs.LG
Compressing 3D Gaussian Splatting by Noise-Substituted Vector Quantization
Aalto University(阿尔托大学)
本文提出通过噪声替代向量量化技术压缩3D高斯散射,有效减少内存消耗并保持重建质量,适用于实际应用。
2025-04-08 cs.CV cs.LG
Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models
Microsoft Research Asia(微软亚洲研究院);University of Cambridge(剑桥大学)
提出一种将视觉信号编码为函数的新框架,通过冻结的视觉生成模型附加低秩适应参数实现隐式表示,并进一步哈希为紧凑向量,在极低比特率下实现强感知视频压缩,同时支持推理时缩放和调控,统一了视觉压缩与生成。
2026-05-22 cs.CV cs.LG
Quantum Implicit Neural Compression
Osaka University(大阪大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出量子隐式神经表示(quINR),利用量子神经网络的高表达力提升INR压缩效率,在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局资讯通信研究院);College of Computer Science, Sichuan University(四川大学计算机学院);Nanyang Technological University(南洋理工大学)
由于深度神经网络(DNN)通常被过度参数化并且具有数百万个权重参数,因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的,例如,智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小,其中关键是找到合适的压缩分配(例如,修剪稀疏性和量化码本)。现有的解决方案以迭代/手动的方式获得压缩分配,同时微调压缩模型,因此存在效率问题。与现有技术不同的是,本文提出了一种新的单次剪枝量化(OPQ)算法,该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间,压缩模块是固定的,并且仅更新权重参数。据我们所知,OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作,而无需在微调阶段进行任何复杂的迭代/手动优化。此外,我们提出了一个统一的信道级量化方法,强制每一层的所有通道共享一个共同的码本,这导致低比特率分配,而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明,与现有技术相比,我们的方法提高了准确性和训练效率,同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
Residual vector quantization for KV cache compression in large language model
本文提出将残差向量量化用于LLM的KV缓存压缩,通过标准差缩放、通道分组和指数移动平均学习码本,在残差深度8时恢复大部分性能,实现5.5倍压缩且方法简单。
2024-10-21 cs.LG
ConceptMoE: Adaptive Token-to-Concept Compression for Implicit Compute Allocation
ByteDance Seed(字节跳动种子)
ConceptMoE通过动态合并语义相似令牌实现隐式计算分配,提升语言和视觉语言任务性能,同时减少计算开销。
2026-01-29 cs.LG
Siamese SIREN: Audio Compression with Implicit Neural Representations
ETH Zurich(苏黎世联邦理工学院)
本文提出Siamese SIREN,一种基于SIREN架构的隐式神经表示方法,用于音频压缩,以更少的网络参数实现更高的音频重建保真度。
2023-06-22 cs.AI cs.LG cs.SD
Deep Learning-based Implicit CSI Feedback in Massive MIMO
National Mobile Communications Research Laboratory, Southeast University(东南大学国家移动通信重点实验室);Institute of Communications Engineering, National Sun Yat-sen University(国立中山大学通信工程研究所);Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电气与电子工程系);vivo Communication Research Institute(vivo通信研究院)
针对5G隐式CSI反馈机制,本文提出用神经网络替代PMI编解码模块并利用环境信息与子带相关性,显著降低单RB和宽带系统的反馈开销。
2021-05-21 cs.IT cs.LG eess.SP
Tailoring the Quantization Space for 1-Bit KV Cache Compression
Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对长上下文推理中KV缓存的内存瓶颈,提出TaSQ方法,通过查询引导通道加权、跨头归一化和协方差感知通道分组定制VQ量化空间,在1比特压缩下显著优于现有基线,并支持更大批处理与更高吞吐量。
2026-10-05 cs.AI cs.CL cs.LG
Implicit Neural Representations for Image Compression
ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
近年来,隐式神经表征(INRs)作为一种新颖有效的数据表征方法受到了广泛关注。到目前为止,以前的工作主要集中在优化其重建性能。这项工作从一个新的角度研究INR,即,作为图像压缩的工具。为此,我们提出了第一个全面的压缩管道的基础上,包括量化,量化意识的再训练和熵编码的INR。用INR编码,即过拟合到数据样本,通常慢几个数量级。为了缓解这一缺点,我们利用基于MAML的元学习初始化,以更少的梯度更新实现编码,这通常也会提高INR的率失真性能。我们发现,我们使用INR进行源压缩的方法大大优于类似的先前工作,与专门为图像设计的常见压缩算法相比具有竞争力,并缩小了与基于率失真自动编码器的最先进学习方法的差距。此外,我们提供了一个广泛的消融研究的重要性,我们的方法,我们希望有利于这种新的方法,图像压缩未来的研究。
2022-08-03 cs.CV cs.LG eess.IV
Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach
IT4Innovations, VSB – Technical University of Ostrava(IT4Innovations,奥斯特拉瓦技术大学)
提出一种结合傅里叶特征编码与选择性体素采样的无结构神经压缩方法,通过形态学膨胀动态选择体素,在保持高压缩率与质量的同时大幅减少训练时间。
2025-08-12 cs.CV cs.LG
HiHa: Introducing Hierarchical Harmonic Decomposition to Implicit Neural Compression for Atmospheric Data
Jilin University(吉林大学);Institute of Atmospheric Physics(大气物理研究所)
针对大气数据压缩难题,提出HiHa方法,通过分层谐波分解和多尺度隐式神经表示实现高保真高压缩率,实验证明其优于现有方法且压缩数据不影响下游模型精度。
2024-11-09 cs.IT cs.LG math.IT
Entropy And Vision
在矢量量化中,用于构造码本的矢量的数量总是一个未定义的问题,在矢量的数量和压缩期间丢失的信息量之间总是存在折衷。在本文中,我们提出了一个最小熵的原则,给出了解决这一妥协,并代表了熵的观点,信号压缩一般。此外,我们提出了一种新的自适应对象量化技术,是相同的压缩和感知。
2006-07-18 cs.CV cs.DB cs.DM
MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, OR, U.S(电气工程与计算机科学学院,俄勒冈州立大学,科瓦里斯,OR,美国)
MetaCluster通过元学习器和聚类技术实现KANs的深度压缩,减少参数存储达80倍且不损失准确率。
2026-02-08 cs.CV cs.LG
Implicit Neural Representation for Hyperspectral Video Compression
本研究提出一种基于隐式神经表示的高光谱视频压缩扩展方法,相比传统逐帧压缩,显著提升重建质量与下游目标跟踪性能。
2026-09-28 cs.AI cs.CV cs.LG
COIN: COmpression with Implicit Neural representations
University of Oxford(牛津大学)
我们提出了一种新的简单的方法来进行图像压缩:我们存储过拟合到图像的神经网络的权重,而不是存储图像的每个像素的RGB值。具体来说,为了对图像进行编码,我们将其与将像素位置映射到RGB值的MLP相匹配。然后,我们将该MLP的权重存储为图像的代码。为了解码图像,我们简单地评估每个像素位置的MLP。我们发现,这种简单的方法在低比特率下优于JPEG,即使没有熵编码或学习权重分布。虽然我们的框架还没有竞争力的最先进的压缩方法,我们表明,它具有各种有吸引力的属性,这可能使它成为一个可行的替代其他神经数据压缩方法。
2021-04-10 cs.CV cs.LG eess.IV
Modality-Agnostic Variational Compression of Implicit Neural Representations
DeepMind(深度思维);University College London(伦敦大学学院);KAIST(韩国科学技术院);POSTECH(浦项科技大学)
提出模态无关的隐式神经表示变分压缩算法VC-INR,通过软门控机制和子网络选择优化率/失真权衡,在图像、音频、视频等多种模态上超越JPEG 2000、MP3和AVC/HEVC等知名编解码器。
2023-04-07 cs.AI cs.LG stat.ML
Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study
University of Toronto(多伦多大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Boston College(波士顿学院);Lehigh University(莱特大学);Southern University of Science and Technology(南方科技大学)
针对向量量化中的训练不稳定与码本崩溃问题,提出用Wasserstein距离对齐特征与码向量分布,实现近100%码本利用率并降低量化误差,经理论与实证验证。
2025-06-18 cs.CV cs.LG
QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks
Cornell University(康奈尔大学)
本文提出QuIP#,一种仅权重的PTQ方法,通过随机化Hadamard变换、基于E8格的向量量化和微调,在每权重$\le$4比特的极端压缩下实现最先进性能,支持快速推理。
2024-06-04 cs.AI cs.CL cs.LG
EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture
Duke University(杜克大学)
针对大语言模型解码阶段内存瓶颈和计算利用率低的问题,提出EVA架构,将GEMV计算转化为GEMM并消除内存冲突,实现最高11.17倍加速和7.17倍能效提升。
2026-05-22 cs.AR cs.LG
MoEC: Mixture of Experts Implicit Neural Compression
Peking University(北京大学)
本文提出 MoEC 隐式神经压缩方法,通过门控网络自动学习场景划分并联合训练多个 INR,在生物医学数据上取得领先结果,尤其在 6000 倍极端压缩比下仍保持 48.16 PSNR。
2023-12-03 cs.CV cs.LG eess.IV
On Problems of Implicit Context Compression for Software Engineering Agents
JetBrains Research(JetBrains研究院);Technical University of Munich, Germany(慕尼黑技术大学,德国)
研究软件工程代理在长周期任务中因上下文长度限制导致的失败问题,探讨连续嵌入编码方法的适用性及多步骤编码任务中的性能不足。
2026-05-11 cs.AI cs.CL cs.LG
Balanced Co-Clustering of Users and Items for Embedding Table Compression in Recommender Systems
Hong Kong Baptist University(香港 Baptist 大学);The Chinese University of Hong Kong(香港中文大学)
本文提出BACO框架,通过协同信号对用户和物品进行聚类,减少嵌入表参数,提升推荐系统效率,实验显示参数减少75%且召回率下降仅1.85%。
2026-04-20 cs.IR cs.LG
Is Hierarchical Quantization Essential for Optimal Reconstruction?
Institute for Neural Computation (INI), Faculty of Computer Science, Ruhr University Bochum, Germany(神经计算研究所(INI),计算机科学学院,博德姆鲁尔大学)
本文通过比较双层VQ-VAE和匹配容量的单层模型,探讨单层VQ-VAE在抑制代码书崩溃后能否达到层次结构模型的重建保真度。
2026-03-19 cs.CV cs.LG
Implicit Neural Compression of Point Clouds
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院)
本文提出NeRC³框架,利用隐式神经表示实现点云的高效压缩,通过坐标基神经网络编码几何与属性,并扩展至动态点云压缩,实验验证其在静态和动态点云压缩中的优越性能。
2025-10-21 cs.CV cs.LG eess.SP
Deep Implicit Volume Compression
Google(谷歌)
我们描述了一种新的方法,用于压缩截断符号距离场(TSDF)存储在三维体素网格,及其相应的纹理。为了压缩TSDF,我们的方法依赖于端到端训练的基于块的神经网络架构,实现了最先进的率失真权衡。为了防止拓扑错误,我们对TSDF的符号进行有损压缩,这也通过体素大小来上限重建误差。为了压缩相应的纹理,我们设计了一个快速的基于块的UV参数化,生成连贯的纹理图,可以有效地使用现有的视频压缩算法压缩。我们在两个4D性能捕获数据集上展示了我们的算法的性能,与最先进的技术相比,对于相同的失真,将比特率降低了66%,或者对于相同的比特率,将失真降低了50%。
2020-05-18 cs.CV cs.LG eess.IV
TORQUE: Optimizing What (not) to Quantize Before and After Rotation
University College London(伦敦大学学院);Harvard University(哈佛大学);VMware Research by Broadcom(博通旗下威睿研究院)
TORQUE通过联合优化旋转前后高精度保留的坐标数量与选择,在固定比特预算下改进随机旋转量化,实现更优的重建精度与存储成本权衡。
2026-09-30 cs.AI cs.IT cs.LG
SHACIRA: Scalable HAsh-grid Compression for Implicit Neural Representations
University of Maryland(马里兰大学)
本文提出SHACIRA框架,通过量化潜权重重参数化与潜空间熵正则化压缩Instant-NGP式特征网格,在图像、视频和辐射场上以更少内存取得优于现有INR方法的效果。
2023-09-27 cs.AI cs.CV cs.LG
SINR: Sparsity Driven Compressed Implicit Neural Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SINR,一种利用字典内高维稀疏编码压缩隐式神经表示权重的算法,无需学习或传输字典原子,可集成于现有压缩技术,显著降低存储需求并保持高质量解码。
2025-03-25 cs.CV cs.LG
Finite Scalar Quantization: VQ-VAE Made Simple
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出有限标量量化(FSQ)替代VQ-VAE中的向量量化,通过低维标量量化获得隐式码本,在图像生成、深度估计等任务上取得与VQ相当的性能,且无需复杂机制,避免码本崩溃。
2023-10-12 cs.CV cs.LG
UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Hospital(301医院)
UniCompress首次用单个隐式神经表示网络压缩多个医学图像块,结合小波变换、量化码本和知识蒸馏,在CT和EM数据集上超越传统INR及HEVC,压缩速度提升4至5倍。
2024-05-27 cs.CV cs.LG eess.IV
Compression with Bayesian Implicit Neural Representations
University of Cambridge(剑桥大学)
本文提出用变分贝叶斯神经网络过拟合数据并结合相对熵编码进行压缩,通过最小化β-ELBO直接优化率失真性能,在图像和音频压缩上表现优异。
2023-10-29 cs.IT cs.LG math.IT
Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization
UC Berkeley(加州大学伯克利分校);Microsoft Azure AI(微软Azure人工智能)
针对VQ的码本坍缩、不可微和有损压缩问题,本文提出作为DCO层的软凸量化SCQ及其可扩展松弛,并在多个数据集上证明其显著优于VQ架构。
2023-10-04 cs.AI cs.CV cs.LG
COIN++: Neural Compression Across Modalities
University of Oxford(牛津大学)
神经压缩算法通常基于自动编码器,其需要针对不同数据模态的专用编码器和解码器架构。在本文中,我们提出了COIN++,这是一个神经压缩框架,可以无缝处理各种数据模式。我们的方法基于将数据转换为隐式神经表示,即将坐标(如像素位置)映射到特征(如RGB值)的神经函数。然后,我们不是直接存储隐式神经表示的权重,而是将应用于元学习基础网络的调制存储为数据的压缩代码。我们进一步对这些调制进行编码和熵编码,从而获得较大的压缩增益,同时与基线相比将编码时间减少了两个数量级。我们通过压缩各种数据模式,从图像和音频到医疗和气候数据,实证证明了我们方法的可行性。
2022-12-08 cs.CV cs.LG eess.IV
Unsupervised Neural Quantization for Compressed-Domain Similarity Search
Yandex(扬达克斯);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
我们解决的问题,无监督的视觉描述符压缩,这是一个关键组成部分的大规模图像检索系统。虽然深度学习机器实际上已经使所有计算机视觉管道受益,但现有的最先进的压缩方法采用浅层架构,我们的目标是通过我们的论文缩小这一差距。更详细地说,我们介绍了DNN架构的无监督压缩域检索,基于多码本量化。所提出的架构的目的是将快速的数据编码和有效的距离计算通过查找表。我们证明了我们的方案在现有的量化方法的视觉描述符的几个数据集上通过优于以前的国家的最先进的一个大的利润率的特殊优势。
2019-08-11 cs.CV cs.LG stat.ML
Two-Dimensional Quantization for Geometry-Aware Audio Coding
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel(电气与计算机工程学院,内盖夫本· Gurion大学,贝尔谢巴,以色列)
本文提出了一种二维量化方法Q2D2,通过将特征对投影到结构化的2D网格上,提高了音频压缩效率,同时保持了最先进的重建质量。
2026-05-18 cs.AI cs.IT cs.LG