Finite Scalar Quantization: VQ-VAE Made Simple
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出有限标量量化(FSQ)替代VQ-VAE中的向量量化,通过低维标量量化获得隐式码本,在图像生成、深度估计等任务上取得与VQ相当的性能,且无需复杂机制,避免码本崩溃。
2023-10-12 cs.CV cs.LG
Lossy Image Compression with Quantized Hierarchical VAEs
Nanjing University(南京大学);Purdue University(普渡大学)
最近的研究表明,变分自编码器(VAE)和率失真理论之间有很强的理论联系。受此启发,我们从生成式建模的角度考虑有损图像压缩问题。从最初为数据(图像)分布建模而设计的ResNet VAE开始,我们使用量化感知的后验和先验来重新设计其潜变量模型,从而在测试时实现轻松的量化和熵编码。随着改进的神经网络架构,我们提出了一个强大而有效的模型,优于以前的方法对自然图像的有损压缩。我们的模型以从粗到细的方式压缩图像,并支持并行编码和解码,从而在GPU上快速执行。代码可在https://github.com/duanzhiihao/lossy-vae上获得。
2023-03-25 cs.CV cs.LG eess.IV
Quantize-then-Rectify: Efficient VQ-VAE Training
Department of Automation, Tsinghua University(自动化系,清华大学)
本文提出 ReVQ 框架,利用预训练 VAE 实现高效 VQ-VAE 训练,通过通道多组量化和后校正器在保持重建质量的同时大幅降低训练成本。
2025-07-14 cs.CV cs.LG
Is Hierarchical Quantization Essential for Optimal Reconstruction?
Institute for Neural Computation (INI), Faculty of Computer Science, Ruhr University Bochum, Germany(神经计算研究所(INI),计算机科学学院,博德姆鲁尔大学)
本文通过比较双层VQ-VAE和匹配容量的单层模型,探讨单层VQ-VAE在抑制代码书崩溃后能否达到层次结构模型的重建保真度。
2026-03-19 cs.CV cs.LG
VQ-DRAW: A Sequential Discrete VAE
在本文中,我提出了VQ-DRAW,学习紧凑的离散表示的数据的算法。VQ-DRAW利用矢量量化效应使DRAW的顺序生成方案适应离散潜变量。我证明了VQ-DRAW可以有效地学习压缩来自各种常见数据集的图像,以及从这些数据集生成真实的样本,而无需自回归先验的帮助。
2020-03-03 cs.LG stat.ML
Autoregressive Image Generation using Residual Quantization
POSTECH(浦项科技大学);Kakao Brain
对于高分辨率图像的自回归(AR)建模,矢量量化(VQ)将图像表示为离散代码序列。短序列长度对于AR模型降低其计算成本以考虑代码的长程相互作用是重要的。然而,我们假设,以前的矢量量化不能缩短代码序列,并产生高保真度的图像在率失真权衡。在这项研究中,我们提出了两个阶段的框架,其中包括残余量化VAE(RQ VAE)和RQ变压器,有效地产生高分辨率的图像。给定一个固定的码书大小,RQ-VAE可以精确地近似图像的特征图,并表示为离散码的堆叠图的图像。然后,RQ-Transformer通过预测下一个代码堆栈来学习预测下一个位置的量化特征向量。由于RQ-VAE的精确近似,我们可以将256 $\times$ 256图像表示为8 $\times$ 8分辨率的特征图,并且RQ-Transformer可以有效地降低计算成本。因此,我们的框架优于现有的AR模型在各种基准的无条件和有条件的图像生成。我们的方法还具有比以前的AR模型更快的采样速度,以生成高质量的图像。
2022-03-09 cs.CV cs.LG
Restructuring Vector Quantization with the Rotation Trick
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
针对 VQ-VAE 直通估计丢失量化信息的问题,本文提出用旋转与重缩放线性变换重构量化层,使梯度携带相对大小和角度信息,并在 11 种训练范式中提升重建、码本利用率与量化误差。
2025-03-16 cs.CV cs.LG
Balance of Number of Embedding and their Dimensions in Vector Quantization
BeiJing JiaoTong University(北京交通大学);Indian Institute of Technology(印度理工学院);National University of Singapore(新加坡国立大学)
本文研究向量量化中码本大小与嵌入维度的平衡问题,提出基于Gumbel-Softmax的自适应动态量化方法,使VQ-VAE能够为每个数据实例自主选择最优码本配置,并在多个基准数据集上验证了其显著性能提升。
2024-07-06 cs.CV cs.LG
HQ-VAE: Hierarchical Discrete Representation Learning with Variational Bayes
SonyAI(索尼AI);Sony Group Corporation(索尼集团公司)
本文提出 HQ-VAE 框架,在变分贝叶斯基础上随机学习层次离散表示,以解决 VQ-VAE 层次扩展中的码本坍缩问题,并在图像和音频数据上验证了其提升码本利用率和重建性能的效果。
2024-03-28 cs.AI cs.CV cs.LG
Rethinking Molecular Design: Integrating Latent Variable and Auto-Regressive Models for Goal Directed Generation
ETH, Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);ETH AI Center(苏黎世联邦理工学院AI中心)
本文针对目标导向分子生成,提出融合 VAE 与自回归模型优势的新型正则化混合模型,以提升分子序列有效性、条件生成与风格迁移,并反思经典模型的隐含假设。
2024-09-06 cs.LG q-bio.BM
Robust Vector Quantized-Variational Autoencoder
图像生成模型可以学习训练数据的分布,从而通过从这些分布中采样来生成示例。然而,当训练数据集被离群值破坏时,生成模型可能会产生与离群值相似的示例。事实上,一小部分异常值可能会导致现有技术的生成模型,例如矢量量化-变分自编码器(VQ-VAE),从异常值中学习有效模式。为了缓解这个问题,我们提出了一个强大的生成模型的基础上VQ-VAE,我们称之为鲁棒VQ-VAE(RVQ-VAE)。为了实现鲁棒性,RVQ-VAE使用两个单独的码本用于内点和离群点。为了确保码本嵌入正确的组件,我们在每个训练时期迭代更新内点和离群点的集合。为了确保编码后的数据点与正确的码本相匹配,我们使用加权欧几里得距离进行匹配,其权重由码本的方向方差确定。两个码本,连同编码器和解码器,根据重建损失和量化损失联合训练。我们的实验表明,RVQ-VAE是能够从内点生成的例子,即使大部分的训练数据点损坏。
2022-09-20 cs.AI cs.LG
Variational Bayesian Quantization
University of California, Irvine(加州大学尔湾分校)
我们提出了一种新的算法,用于量化训练模型中的连续潜在表示。我们的方法适用于深度概率模型,如变分自编码器(VAE),并支持数据和模型压缩。与当前的端到端神经压缩方法不同,该方法将模型迎合固定的量化方案,我们的算法将模型设计和训练与量化分离。因此,我们的算法使“即插即用”压缩与可变率失真的权衡,使用一个单一的训练模型。我们的算法可以被看作是一种新的扩展算术编码的连续域,并使用自适应量化精度的基础上估计的后验不确定性。我们的实验结果表明,考虑到后验不确定性的重要性,并表明,图像压缩与所提出的算法优于JPEG在很宽的范围内的比特率,只使用一个标准的VAE。贝叶斯神经词嵌入的进一步实验证明了所提出的方法的通用性。
2020-09-07 cs.CV cs.LG eess.IV
Vector Quantization for Deep-Learning-Based CSI Feedback in Massive MIMO Systems
POSTECH(浦项科技大学)
本文提出基于VQ-VAE和形状-增益向量量化的有限速率CSI反馈方法,通过非均匀标量码本和可训练格拉斯曼码本量化潜在向量,并设计多速率码本,在降低计算复杂度的同时提升CSI重建性能。
2024-03-13 cs.AI cs.CV eess.SP
Homology-constrained vector quantization entropy regularizer
本文在分析矢量量化(VQ)嵌入的持续同调性的基础上,提出了一种熵正则化项。更高的嵌入熵与更高的码本利用率正相关,减轻了基于矢量量化的自编码器中的身份和码本崩溃的过拟合[1]。我们表明,同源约束正则化是一种有效的方式来增加熵的VQ过程(近似输入熵),同时保持近似的拓扑结构的量化的潜在空间,平均超过小批量。本文进一步探讨了矢量量化所形成的隐子的持久同源图的一些模式。我们实现和测试所提出的算法作为一个模块集成到一个样本VQ-VAE。链接代码库提供了一个功能实现的建议架构,称为同源约束矢量量化(HC-VQ)在这项工作中进一步。
2022-11-25 cs.LG
Task-Driven Semantic Quantization and Imitation Learning for Goal-Oriented Communications
University of California at Davis(加州大学戴维斯分校);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本文提出GOS-VAE框架,结合VQ-VAE压缩与模仿学习,提取任务关键语义,实现目标导向通信的带宽高效传输。
2025-02-28 cs.LG cs.NI
CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with Application to Disk Shape Analysis from Lumbar Spine MRI Images
University of Miami(迈阿密大学)
模糊性在医学图像中是不可避免的,这通常导致来自不同人类专家的不同图像判读(例如,对象边界或分割图)。因此,学习模糊性并输出目标的概率分布的模型对于评估诊断的不确定性的医学应用将是有价值的。在本文中,我们提出了一个功能强大的生成模型来学习歧义的表示,并生成概率输出。我们的模型,命名为坐标量化变分自编码器(CQ-VAE)采用了一个离散的潜在空间与内部的离散概率分布,通过量化的坐标的连续潜在空间。因此,CQ-VAE的输出分布是离散的。在训练过程中,Gumbel-Softmax采样用于通过离散潜在空间进行反向传播。匹配算法用于建立模型生成的样本和“地面实况”样本之间的对应关系,这使得在生成新样本的能力和表示训练样本的能力之间进行权衡。除了这些生成可能输出的概率分量之外,我们的模型还有一个确定性路径来输出最佳估计。我们在腰椎间盘图像数据集上演示了我们的方法,结果表明我们的CQ-VAE可以学习腰椎间盘形状的变化和不确定性。
2020-10-20 cs.CV cs.LG
Synthetic Aircraft Trajectory Generation Using Time-Based VQ-VAE
SINTEF Digital(SINTEF数字部门);Norwegian University of Science and Technology(挪威科技大学)
针对现代空中交通管理中数据稀缺等问题,本文提出适配TimeVQVAE的合成飞机轨迹生成方法,通过时频域处理等技术捕捉飞行动态,经评估其性能优于基线模型,生成轨迹具备良好可行性与代表性。
2025-04-12 cs.AI cs.LG
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
本文提出基于高斯混合的向量量化框架GM-VQ,利用隐变量均值与自适应方差捕获复杂数据分布,避免VQ-VAE的启发式假设,并引入ALBO优化目标,有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick
ELLIS Institute Finland & Department of Computer Science, Aalto University, Finland(芬兰ELLIS研究所及阿尔托大学计算机科学系);Department of Information and Communications Engineering, Aalto University, Finland(芬兰阿尔托大学信息与通信工程系)
提出DiVeQ方法,通过重参数化技巧将量化视为添加模拟量化失真的误差向量,实现前向传播硬量化而梯度可流动,并引入空间填充变体SF-DiVeQ减少量化误差并充分利用码本,在VQ-VAE、VQGAN和DAC任务中提升重建质量和样本质量。
2026-05-26 cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales(新南威尔士大学)
本文提出VAE-MLP僵尸网络检测框架,并系统评估QAT与PTQ两种量化策略,证明PTQ在保持准确率的同时实现6倍加速和21倍压缩,适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs
Peking University(北京大学);Stanford University(斯坦福大学);Ant Group(蚂蚁集团)
针对现有GNN到MLP蒸馏中类别空间表达不足的问题,提出VQGraph框架,通过VQ-VAE变体学习结构感知离散码本,以软码分配为蒸馏目标迁移结构知识,实现性能与推理效率的双重提升。
2024-03-06 cs.AI cs.CV cs.LG
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain(谷歌大脑)
最近的神经文本转语音(TTS)模型与细粒度的潜在功能,使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器(VAE)结构,提取每个输入令牌处的潜在特征(例如,音素)。然而,使用标准VAE先验生成样本通常会导致不自然和不连续的语音,令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验,可以生成更自然的声音样本。这是通过使用矢量量化(VQ)对潜在特征进行离散化,并针对结果单独训练自回归(AR)先验模型来实现的。我们评估的方法,使用听力测试,客观指标的自动语音识别(ASR)的性能,和韵律属性的测量。实验结果表明,该模型显著提高了随机样本生成的自然度。此外,初步的实验表明,从所提出的模型中随机采样可以作为数据增强,以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Efficient-VDVAE: Less is more
Cash App Labs(Cash App实验室)
近年来,分层VAE已成为最大似然估计的可靠选择。然而,不稳定性问题和苛刻的计算要求阻碍了该领域的研究进展。我们对Very Deep VAE进行了简单的修改,使其更快地收敛到$2.6\times$,在内存负载中节省$20\times$,并提高训练过程中的稳定性。尽管有这些变化,我们的模型实现了可比或更好的负对数似然性能比当前国家的最先进的模型上的所有$7$常用的图像datasets,我们evaluatedon. We还反对使用5位的基准作为一种方式来衡量分层VAE的性能,由于5位量化所造成的不良偏差的参数。此外,我们的经验表明,大致$3\%$的分层VAE的潜在空间尺寸是足够的编码的图像信息,而不损失性能,打开大门,有效地利用分层VAE的潜在空间在下游任务。我们在https://github.com/Rayhane-mamah/Efficient-VDVAE上发布源代码和模型。
2022-04-28 cs.CV cs.LG
Unconditional Image-Text Pair Generation with Multimodal Cross Quantizer
KAIST(韩国科学技术院);Google Research(谷歌研究院);Seoul National University(首尔国立大学)
虽然深度生成模型已经获得了很多关注,但大多数现有的作品都是为单峰生成而设计的。在本文中,我们探索了一种新的方法,无条件的图像-文本对生成。我们设计了多模态交叉量化VAE(MXQ-VAE),一种新的联合图像-文本表示的矢量量化器,我们发现,一个联合图像-文本表示空间是有效的语义一致的图像-文本对生成。为了在量化空间中学习多模态语义相关性,我们将VQ-VAE与Transformer编码器相结合,并应用输入掩蔽策略。具体地说,MXQ-VAE接受一个掩码的图像-文本对作为输入,并学习一个量化的联合表示空间,从而将输入转换为一个统一的代码序列,然后利用该代码序列进行无条件的图像-文本对生成。大量的实验表明,量化的联合空间和多模态生成能力的合成和真实世界的数据集之间的相关性。此外,我们证明了我们的方法在这两个方面的优越性超过几个基线。源代码可在https://github.com/ttumyche/MXQ-VAE上公开获取。
2022-10-14 cs.CV cs.LG
Hierarchical Quantized Autoencoders
Speechmatics(Speechmatics公司)
尽管在训练用于有损图像压缩的神经网络方面取得了进展,但当前的方法无法在非常低的比特率下保持感知质量和抽象特征。最近在学习离散表示与矢量量化变分自编码器(VQ-VAE)的成功,我们鼓励使用的VQ-VAE的层次结构,以达到高的压缩因子。我们表明,随机量化和分层潜在结构的组合,艾滋病的可能性为基础的图像压缩。这导致我们引入一个新的目标,训练分层VQ-VAE。我们的方案产生了一系列的马尔可夫潜变量,重建图像的高感知质量,保留语义有意义的功能。我们对CelebA和MNIST数据集进行了定性和定量评估。
2020-10-16 cs.CV cs.LG cs.NE
Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文针对工程设计场景下深度生成模型传统统计评估指标的适配性缺陷,梳理经典指标局限,整理设计专属评估指标集,通过两类工程设计案例验证指标有效性并公开相关代码。
2025-11-17 cs.LG
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA(英伟达);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型,仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Discrete Variational Autoencoding via Policy Search
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
本文提出了一种基于策略搜索的离散VAE训练框架,利用非参数编码器的自然梯度提升编码器性能,实现高效高维数据重建。
2026-02-11 cs.AI cs.LG cs.RO
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Research Institutes of Sweden(瑞典研究机构)
自动编码器及其变体提供了无监督模型,用于学习下游任务的低维表示。如果没有适当的正则化,自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中,我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器(VQ-VAE)和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器,其约束潜在表示,同时在编码器处促进保持相似性的映射。在量化之前,我们对潜在代码施加噪声,并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器,因此,正在执行软量化的噪声潜在的代码。我们表明,我们提出的正则化方法相比,使用其他瓶颈结构的自动编码器,在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
JtT: Rethinking Point Trajectory Diffusion for Diverse and Rigid Motion from an Image
Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
JtT是一种直接在坐标空间运行的扩散Transformer,通过逐帧速度扩散等设计,在严格评估下于分布与刚体指标上优于先前方法,可从单张图像生成多样且符合物理规律的点轨迹。
2026-10-14 cs.CV cs.LG
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
Stanford University(斯坦福大学)
比较自回归LSTM、潜变量模型和生成对抗网络在巴赫风格钢琴音乐生成中的表现,发现带注意力的自回归LSTM生成音乐最连贯,向量量化缓解后验塌陷,对抗方法捕捉局部音高但训练困难。
2026-06-15 cs.LG cs.SD
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University(香港理工大学)
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法,引入随机单调对齐机制,以VALL-E 10.3%的参数实现更优性能,为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding
Sapienza University of Rome(萨皮恩扎罗马大学);Moises Systems Inc.(莫伊塞斯系统公司);Paradigma(帕拉迪玛)
本文提出一种复值RVQ-VAE音频编解码器,通过保持幅度-相位耦合,无需对抗判别器和扩散模型,实现了高效且高质量的音频编码。
2026-01-27 cs.LG cs.SD eess.AS
Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington(华盛顿大学)
提出跨层向量量化变分自编码器(CLVQ-VAE),通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量,在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG
Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment
本文针对小型视觉语言模型量化,提出系统评估框架,在特定硬件上验证五个假设,分离相关组件得出结论,包括量化敏感性受结构范式影响、SigLIP编码器延迟情况、大语言模型INT4量化利弊、复合量化误差特点及不同平台每焦耳智能差异。
2026-07-10 cs.LG
Tango: rethinking quantization for graph neural network training on GPUs
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学);Amazon(亚马逊);University of Connecticut(康涅狄格大学);Institution of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of North Texas(北德克萨斯大学)
Tango通过高效精度保持规则、量化感知原语及与DGL集成,在GPU上加速量化GNN训练,优于现有方法。
2023-09-01 cs.LG
STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
STAR通过旋转增强的向量量化和因果技能变压器,提升机器人技能学习与组合,实现复杂行为完成,在LIBERO基准和现实任务中表现优越。
2026-04-07 cs.LG cs.RO
Rethinking Post-Training Quantization: Introducing a Statistical Pre-Calibration Approach
McGill University(麦吉尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对现有训练后量化校准方法跨领域效果不均的问题,提出一种权重自适应统计预校准PTQ方法,通过最小化权重KL散度保留分布与香农信息量,性能媲美主流校准类PTQ方法,可作为量化校准的前置步骤。
2025-01-15 cs.LG
Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
针对大语言模型低比特权重量化中激活异常值的问题,提出per-IC量化方法(输入通道内分组隔离异常值),并结合自适应维度框架AdaDim,显著提升4比特以下量化性能,在MMLU等基准测试中取得优异结果。
2025-04-14 cs.LG
Beyond local reconstruction: Geometry-preserving output alignment for binary LLM quantization
Department of Data Science and AI(数据科学与人工智能系);Monash University(墨尔本大学);Centre for Vision, Speech and Signal Processing(视觉、语音和信号处理中心);University of Surrey(萨里大学)
本文提出一种新的1位后训练量化方法,解决输出对齐问题,通过减少层间误差累积和表示空间各向异性畸变,提升大语言模型性能。
2026-11-11 cs.LG
Rethinking Residual Errors in Compensation-based LLM Quantization
Zhejiang University(浙江大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
本文重新审视残差误差的定义,指出现有方法的校准目标存在次优问题,并引入补偿感知误差以提升LLM量化性能。
2026-04-09 cs.LG
LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
该研究提出LASERS稀疏潜在空间编码方法,构建基于字典学习的DL-VAE与DL-GAN模型,在重建质量上优于VQ类方法,同时解决码本崩溃问题,揭示VQ的核心优势源于有损压缩而非离散化。
2024-09-16 cs.CV cs.LG
VAR-3D: View-aware Auto-Regressive Model for Text-to-3D Generation via a 3D Tokenizer
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学)
VAR-3D通过视图感知的3D标记器和渲染监督训练策略,提升文本到3D生成的质量和对齐性能。
2026-02-14 cs.CV cs.LG
Rethinking Generalization in American Sign Language Prediction for Edge Devices with Extremely Low Memory Footprint
SRM Institute of Science and Technology(SRM科学与技术学院);Cognitive Applications Research Lab(认知应用研究实验室)
由于过去几年技术计算的蓬勃发展,世界已经看到人工智能系统在解决各种现实问题方面取得了巨大进步。但是,这些模型被普遍接受的一个主要障碍是它们巨大的计算复杂性和内存占用。因此,需要高效的架构和训练技术来部署在资源非常少的推理端点上。本文提出了一种在ARM Cortex-M7微控制器上检测美国手语字母的架构,该微控制器只有496 KB的帧缓冲RAM。利用参数量化是一种常见的技术,可能会导致测试精度的不同下降。本文提出使用插值作为增强等技术作为减少这种下降的有效方法,这也有助于模型很好地推广到以前看不见的噪声数据。所提出的模型是约185 KB的量化后和推理速度为每秒20帧。
2021-02-13 cs.AI cs.CL cs.CV
VQ-Map: Bird's-Eye-View Map Layout Estimation in Tokenized Discrete Space via Vector Quantization
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);People AI, Inc(People AI公司);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港智能研究所人工智能与机器人中心);Stony Brook University(石溪大学)
针对鸟瞰图地图估计中PV特征与生成模型难对齐的问题,提出VQ-Map方法,借助VQ-VAE类模型在离散令牌空间学习BEV语义先验,通过码本嵌入实现PV与BEV特征对齐,在nuScenes和Argoverse基准上刷新了任务性能纪录。
2024-11-03 cs.AI cs.CV
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈,通过高斯溅射拟合一维潜在表示,实现训练后比特率控制,性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
Gaussian AutoEncoder
Jagiellonian University(雅盖隆大学)
生成式自动编码器需要在潜在空间中选择概率分布,通常是多变量高斯分布。原始的变分自编码器(VAE)在编码器中使用随机性-导致有问题的失真,并且在不同输入的潜在空间中重叠。结果证明是不必要的:我们可以替代地使用具有附加正则化器的确定性编码器来确保潜在空间中的样本分布接近所需。原始方法(WAE)使用Wasserstein度量,需要与随机样本进行比较,并使用任意选择的核。后来CWAE通过平均高斯平滑样本在所有一维投影上的$L_2$距离,最终导出了一个非随机的解析公式。然而,这些任意选择的正则化子不会导致高斯分布。本文提出了正则化器直接优化经验分布函数与其所需CDF之间的一致性的方法,例如高斯分布的半径和距离,或坐标方式,以直接吸引AutoEncoder潜在空间中的此分布。我们还可以利用这种一般方法吸引不同的分布,例如,$[0,1]^D$超立方体或环面上的潜在空间均匀分布将允许数据压缩而无需熵编码,码字附近的增加的密度将优化所需的量化。
2019-01-14 cs.LG stat.ML
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark(数学与计算机科学系,丹麦南部大学);Department of Computer Engineering, Istanbul Technical University(计算机工程系,伊斯坦布尔技术大学);Department of AI and Data Engineering, Istanbul Technical University(人工智能与数据工程系,伊斯坦布尔技术大学)
本文提出FactorQVAE,通过全局码本标量量化和总相关归纳偏置,将离散表示学习与解耦优化结合,在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
Rethinking floating point for deep learning
Facebook AI Research(脸书人工智能研究)
本文提出了一种新的混合对数乘/线性加、Kulisch累加和渐缩编码的8位对数浮点格式,以提高能效并保持精度,同时在不重新训练网络的情况下,实现了与原始float32 ResNet-50模型在ImageNet上的高精度性能。
2018-11-01 cs.LG cs.NA math.NA
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
本研究修改RVQ-VAE模型使其在音素级运行,通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息,验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Learning Product Codebooks using Vector Quantized Autoencoders for Image Retrieval
KTH Royal Institute of Technology(KTH皇家理工学院)
矢量量化变分自编码器(VQ-VAE)[1]通过结合矢量量化和自编码器,提供了一种用于学习离散表示的无监督模型。在本文中,我们研究了使用VQ-VAE表示学习的下游任务,如图像检索。我们首先描述的VQ-VAE的信息理论框架的背景下。我们表明,学习表示上的正则化项由训练前嵌入码本的大小决定,它影响模型的泛化能力。因此,我们引入了一个超参数来平衡矢量量化器的强度和重建误差。通过调整超参数,嵌入的瓶颈量化器被用作正则化器,其迫使编码器的输出共享受约束的编码空间,使得学习的潜在特征保持数据空间的相似性关系。此外,我们提供了一个搜索范围,找到最好的超参数。最后,我们将产品量化到VQ-VAE的瓶颈阶段,并提出了一个端到端的图像检索任务的无监督学习模型。乘积量化器具有生成大尺寸码本的优点。快速检索可以通过使用存储任何对子码字之间的距离的查找表来实现。最先进的检索结果是通过学习的码本实现的。
2019-03-04 cs.CV cs.LG eess.IV
Collapse-Free Prototype Readout Layer for Transformer Encoders
Institute of Energy and Resources, Charles Darwin University(能源与资源研究所,查尔斯·达尔文大学)
DDCL-Attention通过学习压缩机制替代传统池化方法,提供紧凑的token总结,避免原型坍塌并提升稳定性,适用于多任务场景。
2026-04-04 cs.LG cs.NE
Robust Semantic Communications Against Semantic Noise
Zhejiang University(浙江大学);Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(伦敦帝国理工学院)
虽然语义通信在大量的任务中表现出令人满意的性能,但语义噪声的影响和系统的鲁棒性还没有得到很好的研究。语义噪声是语义通信系统中的一种特殊噪声,指的是语义符号与接收符号之间的误导。在本文中,我们首先提出了一个框架,鲁棒的端到端的语义通信系统,以打击语义噪声。特别地,我们分析了语义噪声产生的原因,并提出了一种实用的语义噪声产生方法,为了消除语义噪声的影响,我们提出了对抗性训练,将带有语义噪声的样本加入训练数据集中。然后,掩蔽自动编码器(MAE)被设计为一个强大的语义通信系统的架构,其中一部分的输入被屏蔽。为了进一步提高语义通信系统的鲁棒性,本文首先采用矢量量化-变分自编码器(VQ-VAE)设计了一个发送端和接收端共享的离散码本,用于编码特征表示。因此,发射机仅需要在码本中发送这些特征的索引。仿真结果表明,我们提出的方法显着提高了语义通信系统对语义噪声的鲁棒性与显着减少的传输开销。
2022-05-22 cs.IT cs.LG eess.SP
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers
UC Berkeley(加州大学伯克利分校)
由于硬件资源有限,训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大化准确性。我们研究了模型大小在这种情况下的影响,重点关注受计算限制的NLP任务的Transformer模型:自监督预训练和高资源机器翻译。我们首先表明,即使较小的Transformer模型执行更快的每次迭代,更广泛和更深入的模型收敛在显着更少的步骤。此外,这种收敛的加速通常超过使用更大模型的额外计算开销。因此,计算效率最高的训练策略是反直觉地训练非常大的模型,但在少量迭代后停止。这导致大型Transformer模型的训练效率和小型Transformer模型的推理效率之间出现明显的权衡。然而,我们表明,大型模型比小型模型更强大的压缩技术,如量化和修剪。因此,可以两全其美:高度压缩的大型模型比轻度压缩的小型模型具有更高的精度。
2020-06-23 cs.CL cs.LG