Data-efficient learning of object-centric grasp preferences
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Beijing Institute of Technology（北京理工大学）
由于深度学习，抓取在过去几年中取得了令人印象深刻的进展。然而，有许多对象不可能仅通过查看RGB-D图像来选择抓取，可能是由于物理原因（例如，具有不均匀质量分布的锤子）或任务约束（例如，不应该被破坏的食物）。在这种情况下，需要考虑到专家的偏好。在本文中，我们引入了一个数据高效的抓取管道（潜在空间GP- LGPS），它可以学习抓取偏好，每个对象只有几个标签（通常为1到4个），并推广到这个对象的新视图。我们的流水线是基于利用任何最先进的抓取生成器（例如，Dex-Net）。这个潜在的空间，然后被用作高斯过程分类器的低维输入，该分类器在由生成器提出的那些抓取中选择优选的抓取。结果表明，我们的方法在Cornell数据集上的性能优于GR-ConvNet和GG-CNN（两种基于标记抓取的最先进方法），特别是当只使用少数标签时：只有80个标签足以正确选择80%的抓取（885个场景，244个对象）。在我们的数据集（91个场景，28个对象）上的结果相似。
2022-03-01 cs.LG cs.RO
Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；The University of Tokyo（东京大学）
本文将信息论泛化分析扩展到具有离散潜在空间的VQ-VAE，引入数据依赖先验，推导出仅依赖潜在变量和编码器复杂度的重构损失泛化误差界，并给出生成数据与真实数据之间2-Wasserstein距离的上界，揭示潜在变量正则化对生成性能的作用。
2025-11-06 cs.LG stat.ML
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong Baptist University（香港浸会大学）
点击率（CTR）预测成为无处不在的Web推荐应用中不可或缺的。然而，当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富，以捕捉预测的兴趣，并提出了一个自动量化的对比学习（AQCL）损失正则化模型。与以往的方法不同，AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性，并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的，并且可以以端到端的方式进行训练。广泛的结果表明，它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Disentanglement of Latent Representations via Causal Interventions
University of Auckland（奥克兰大学）
本文提出一种结合因果理论与向量量化变分自编码器的解耦方法，通过因果图干预实现图像单一因素的原子转换，并引入动作检索任务，在不平衡数据下也能精确操控高层语义属性。
2023-09-23 cs.CV cs.DM cs.LG
Learning Product Codebooks using Vector Quantized Autoencoders for Image Retrieval
KTH Royal Institute of Technology（KTH皇家理工学院）
矢量量化变分自编码器（VQ-VAE）[1]通过结合矢量量化和自编码器，提供了一种用于学习离散表示的无监督模型。在本文中，我们研究了使用VQ-VAE表示学习的下游任务，如图像检索。我们首先描述的VQ-VAE的信息理论框架的背景下。我们表明，学习表示上的正则化项由训练前嵌入码本的大小决定，它影响模型的泛化能力。因此，我们引入了一个超参数来平衡矢量量化器的强度和重建误差。通过调整超参数，嵌入的瓶颈量化器被用作正则化器，其迫使编码器的输出共享受约束的编码空间，使得学习的潜在特征保持数据空间的相似性关系。此外，我们提供了一个搜索范围，找到最好的超参数。最后，我们将产品量化到VQ-VAE的瓶颈阶段，并提出了一个端到端的图像检索任务的无监督学习模型。乘积量化器具有生成大尺寸码本的优点。快速检索可以通过使用存储任何对子码字之间的距离的查找表来实现。最先进的检索结果是通过学习的码本实现的。
2019-03-04 cs.CV cs.LG eess.IV
Learning Audio-Visual Embeddings with Inferred Latent Interaction Graphs
KDDI Research, Inc.（KDDI综合研究所）
本文提出通过推断的潜在交互图学习音频-视觉嵌入，以提升嵌入学习的鲁棒性和语义一致性。
2026-01-17 cs.AI cs.IR cs.LG
Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
该研究提出将神经网络压缩为种子与量化潜变量的千字节模型，基于映射网络实现权重再生，在保持准确率的同时大幅减少存储字节，适用于带宽受限的部署场景。
2026-08-04 cs.LG
Theory and Experiments on Vector Quantized Autoencoders
Google（谷歌）
具有离散潜变量的深度神经网络提供了更好的符号推理和学习对新任务更有用的抽象的承诺。人们对离散潜变量模型的兴趣激增，然而，尽管最近有一些改进，离散潜变量模型的训练仍然具有挑战性，其性能大多无法与连续模型相匹配。最近关于矢量量化自动编码器（VQ-VAE）的工作在这个方向上取得了实质性的进展，其复杂度几乎与CIFAR-10等数据集上的VAE相匹配。在这项工作中，我们研究了VQ-VAE的另一种训练技术，其灵感来自于它与期望最大化（EM）算法的联系。使用EM训练离散瓶颈有助于我们在CIFAR-10上实现更好的图像生成结果，并与知识蒸馏一起，使我们能够开发一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线Transformer相匹配，同时推理速度快3.3倍。
2018-07-20 cs.LG stat.ML
On the Identifiability of Quantized Factors
FAIR, Meta（Meta FAIR研究院）；Mila（米拉计算研究所）；Université de Montréal（蒙特利尔大学）
本文提出量化因子可辨识性，证明在一般非线性微分同胚下，即使潜在因子非统计独立，仅需密度独立间断点即可恢复量化潜在因子，并给出完整证明。
2024-03-12 cs.AI cs.LG
Anomaly detection through latent space restoration using vector-quantized variational autoencoders
Imperial College London（帝国理工学院）
我们提出了一个分布外检测方法，结合密度和基于密度的方法，使用矢量量化变分自动编码器（VQ-VAE）。VQ-VAE模型学习在分类潜在空间中编码图像。潜码的先验分布，然后使用自回归（AR）模型建模。我们发现AR模型估计的先验概率对于无监督的异常检测是有用的，并且能够估计样本和像素异常分数。样本得分定义为潜在变量的负对数似然高于选择高度不可能的代码的阈值。此外，通过用来自先验模型的样本替换不太可能的潜在代码并解码到像素空间，将分布外图像恢复为分布内图像。生成的异常与原始图像之间的平均L1距离被用作逐像素异常分数。我们在MOOD挑战数据集上测试了我们的方法，并报告了与基于VAE的标准重建方法相比更高的准确性。
2020-12-12 cs.CV cs.LG eess.IV
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination
University of Hamburg（汉堡大学）；Knowledge Technology（知识技术学院）
结合基于模型和无模型的学习系统已被证明可以提高学习的样本效率，以执行复杂的机器人任务。然而，双系统方法未能考虑学习模型的可靠性，当它被应用于进行多步预测，导致预测误差和性能下降的复合。在本文中，我们提出了一种新的双系统电机学习方法，其中元控制器基于学习模型的局部可靠性估计在线仲裁基于模型和无模型的决策。可靠性估计用于计算内在反馈信号，鼓励产生改进模型的数据的行动。我们的方法还集成了仲裁与想象力的学习潜在空间模型产生想象的经验，根据其本地的可靠性，作为额外的训练数据。我们评估我们的方法对基线和国家的最先进的方法在模拟和现实世界中学习基于视觉的机器人抓取。结果表明，我们的方法优于比较的方法，并学习接近最优的抓取策略在密集和稀疏奖励环境。
2020-11-01 cs.AI cs.LG cs.RO
iQRL -- Implicitly Quantized Representations for Sample-efficient Reinforcement Learning
Aalto University（阿尔托大学）
提出iQRL方法，通过自监督潜在状态一致性损失和隐式量化防止表示坍塌，兼容无模型RL算法，在DeepMind Control Suite连续控制基准中优于其他表示学习方法。
2024-06-04 cs.LG
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Dalhousie University, Canada（加拿大达尔豪斯大学）；University of Calgary, Canada（加拿大卡尔加里大学）
提出VQLC框架，通过向量量化学习离散潜在概念，在保持可解释性的同时，实现与K-Means相当的计算效率，并优于层次聚类在大规模数据上的扩展性。
2026-06-11 cs.CL cs.LG
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI（索尼人工智能研究院）；Stanford University（斯坦福大学）；Sony Group Corporation（索尼集团公司）
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题，提出连续空间潜在扩散框架VQ-LCMD，结合变分下界与一致性匹配损失及噪声调度策略稳定训练，在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
One-Shot Neural Fields for 3D Object Understanding
NVIDIA（英伟达）；KAIST（韩国科学技术院）
本文提出一种基于单张RGB图像构建的紧凑场景表示，利用NeRF类别级先验实现新视角渲染、三维重建和稳定抓取预测，并在仿真与真实环境中验证了鲁棒抓取能力。
2023-08-09 cs.AI cs.CV cs.LG
Vector-Quantized Discrete Latent Factors Meet Financial Priors: Dynamic Cross-Sectional Stock Ranking Prediction for Portfolio Construction
RiskX；Hanyang University（翰阳大学）
本文提出PRISM-VQ模型，结合专家先验因子和向量量化离散潜在因子，通过结构条件混合专家生成时间变化因子载荷，提升横截面股票收益预测和投资组合表现。
2026-05-13 cs.CE cs.LG q-fin.ST
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Vector-Quantized Timbre Representation
Machine Intelligence Laboratory (MIL), The University of Tokyo（东京大学机器智能实验室）
音色是一组感知属性，用于识别不同类型的声源。虽然它的定义通常是难以捉摸的，但从信号处理的角度来看，它可以被看作是独立于音调和响度感知的所有频谱特征。一些研究通过分析不同乐器的特征关系来研究高级音色合成，但声学特性仍然纠缠在一起，并且生成绑定到单个声音。本文的目标是通过学习一组生成功能的频谱特性的近似分解，更灵活地合成单个音色。我们介绍了一个自动编码器与离散的潜在空间，从响度解开，以学习一个给定的音色分布的量化表示。可以通过将任何可变长度的输入信号编码成根据学习的音色解码的量化的潜在特征来执行音色传递。我们详细介绍了在管弦乐器和歌声之间转换音频的结果，以及从声乐模仿到乐器的转移，作为一种直观的方式来驱动声音合成。此外，我们可以将离散的潜在空间映射到声学描述符，并直接执行基于矢量的合成。
2020-07-13 cs.LG eess.AS
FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents
University of California, Irvine（加州大学欧文分校）
FairDiffuseVQVAE是将保真度与公平性解耦的两阶段表格扩散模型，在多个数据集上实现了显著的公平性提升，同时保持了优异的样本质量。
2026-08-03 cs.LG
A Novel Sampling Scheme for Text- and Image-Conditional Image Synthesis in Quantized Latent Spaces
Technische Hochschule Ingolstadt（英戈尔施塔特工业大学）；Wand Technologies Inc（Wand技术公司）
提出一种简化的文本到图像生成方法，涵盖训练范式和采样过程，仅需少量迭代即可生成高质量图像，并训练了十亿参数模型Paella验证其有效性。
2023-05-23 cs.CV cs.LG
Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
半监督文本分类在过去的几年中已经成为一个主要的研究热点。目前，大多数研究都是基于监督学习，但其主要缺点是在实际应用中无法获得标记的数据样本。在没有监督的情况下，训练深层生成模型和学习综合表示仍然是一个关键挑战。尽管连续潜变量主要用于深度潜变量模型，但离散潜变量由于其增强的可理解性和更好的压缩表示，被研究人员有效地使用。本文提出了一种用于多类文本分类和文本生成的半监督离散隐变量模型。该模型采用迁移学习的概念来训练一个量化的Transformer模型，该模型能够使用较少的标记实例进行学习。该模型采用分解矢量量化技术，克服了后验崩溃和指数崩溃等问题。香农熵用于分解的子编码器，在其上应用变量DropConnect，以保留最大信息。此外，损失函数的梯度在从解码器到编码器的反向传播期间被自适应地修改，以增强模型的性能。三个传统的数据集的多样化的范围已被用于验证所提出的模型上的可变数量的标记的实例。实验结果表明，该模型明显优于现有模型。
2021-11-10 cs.IT cs.LG math.IT
Variational Neural Belief Parameterizations for Robust Dexterous Grasping under Multimodal Uncertainty
Department of Electrical & Computer Engineering and Institute for Systems Research, University of Maryland, College Park, MD, USA（电气与计算机工程系和系统研究所，马里兰大学，College Park, MD, USA）；Maryland Applied Graduate Engineering, A. James Clark School of Engineering, University of Maryland, College Park, MD, USA（马里兰应用研究生工程学院，A. James Clark工程学院，马里兰大学，College Park, MD, USA）
本文提出变分推理方法，通过可微高斯混合模型表示信念，利用Gumbel-Softmax和位置-尺度重参数化实现平滑采样，提升抓取鲁棒性并减少规划时间。
2026-07-28 cs.LG cs.RO cs.SY
A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays
University of Bologna（博洛尼亚大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；ETH Zürich（苏黎世联邦理工学院）
在过去的几年里，TinyML对超低功耗设备的深度学习模型和技术的研究和开发主要集中在训练然后部署的假设上，静态模型在没有基于云的数据汇集和微调的情况下无法适应新收集的数据。基于潜在重放的持续学习（CL）技术[1]原则上支持在线、无服务器的适应，但到目前为止，它们对于通常基于微控制器的超低功耗TinyML设备来说仍然过于计算和内存消耗。在这项工作中，我们介绍了一个硬件/软件平台的端到端CL的基础上，10核FP 32启用并行超低功耗（PULP）处理器。我们重新考虑了基线Latent Replay CL算法，利用模型冻结阶段的量化和Latent Replays（LR）来降低其内存成本，同时对精度的影响最小。特别是，与全精度基线实现相比，LR存储器的8位压缩被证明几乎是无损的（3000 LR时为-0.26%），但所需的存储器减少了4倍，而7位也可以在额外的最小精度降低（高达5%）的情况下使用。我们还介绍了优化原语的前向和后向传播的纸浆处理器。我们的研究结果表明，通过结合这些技术，持续学习可以在实践中使用不到64 MB的内存实现，这与TinyML设备中的嵌入兼容。在我们平台的先进22纳米原型VEGA上，该解决方案的性能平均比低功耗STM 32 L4微控制器快65倍，在每分钟学习一次新的小批量数据时，能效高37倍，寿命为535小时。
2021-10-20 cs.AI cs.LG
Calo-VQ: Vector-Quantized Two-Stage Generative Model in Calorimeter Simulation
Tsung-Dao Lee Institute, Shanghai Jiao Tong University（上海交通大学李政道研究所）；University of Washington, Seattle（华盛顿大学西雅图分校）；Yale University（耶鲁大学）
本文提出Calo-VQ，一种基于VQ-VAE的两阶段生成模型，通过离散潜空间与序列建模实现量能器响应的快速模拟，在Calo-challenge数据集上较传统方法提速2000倍。
2024-08-06 cs.LG hep-ph physics.ins-det
Deep Quantized Representation for Enhanced Reconstruction
University of California, Riverside（加州大学河滨分校）
虽然机器学习方法在生物医学图像分析中表现出了卓越的性能，但这些方法中的大多数都依赖于高质量和准确的成像数据。然而，收集这些数据需要大量和仔细的人工努力。拟南芥茎尖分生组织（SAM）成像的主要挑战之一是z堆叠中较深的切片遭受不同的永久质量相关问题，如对比度差和模糊。这些与质量有关的问题往往导致在收集数据时对精心收集的数据进行处理，几乎没有质量控制。因此，有必要采用和设计可以增强图像的技术，使其更适合进一步分析。在本文中，我们提出了一个数据驱动的深度量化潜在表示（DQLR）的方法，用于高质量的图像重建在拟南芥茎尖分生组织（SAM）。我们提出的框架利用z堆栈中的多个连续切片来学习低维潜在空间，然后使用量化表示进行重建，以获得更清晰的图像。在公开数据集上的实验验证了我们的方法，显示出有希望的结果。
2021-07-29 cs.LG eess.IV
Less Is More: Generating Time Series with LLaMA-Style Autoregression in Simple Factorized Latent Spaces
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Microsoft Research Asia（微软亚洲研究院）
本文提出FAR-TS框架，通过解耦分解与LLaMA风格自回归Transformer在离散量化潜在空间中生成任意长度多变量时间序列，在保持跨通道相关性的同时实现比扩散模型快数个数量级的生成速度。
2025-11-07 cs.LG
Robustly overfitting latents for flexible neural image compression
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对神经图像压缩中潜变量优化不足的问题，提出SGA+方法（含三种基于SGA的细化技术），提升率失真性能，对超参数不敏感，并支持三类舍入。
2024-11-05 cs.CV cs.LG stat.ML
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，丹麦南部大学）；Department of Computer Engineering, Istanbul Technical University（计算机工程系，伊斯坦布尔技术大学）；Department of AI and Data Engineering, Istanbul Technical University（人工智能与数据工程系，伊斯坦布尔技术大学）
本文提出FactorQVAE，通过全局码本标量量化和总相关归纳偏置，将离散表示学习与解耦优化结合，在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
Variational Autoencoder-Based Vehicle Trajectory Prediction with an Interpretable Latent Space
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）；AUDI AG（奥迪股份公司）
本文介绍了描述性变分自编码器（DVAE），一个无监督和端到端的可训练神经网络预测车辆轨迹，提供部分可解释性。新方法是基于常见的变分自编码器的架构和目标。通过在自动编码器的解码器部分中引入专家知识，编码器学习提取潜在参数，这些参数提供人类术语中可理解的含义。这样一个可解释的潜在空间，使专家定义的规则集的验证。DVAE的评估是使用公开的高速公路交通场景的高D数据集进行的。与具有相同复杂度的传统变分自编码器相比，所提出的模型提供了类似的预测精度，但具有可解释的潜在空间的巨大优势。对于关键的决策制定和评估预测的可信度，这个属性是非常可取的。
2021-06-24 cs.LG
Variational Inference with Latent Space Quantization for Adversarial Resilience
SigTuple Technologies（SigTuple科技公司）；Indian Institute of Technology Delhi（印度理工学院德里分校）
尽管深度神经网络在对高维数据流形建模方面取得了巨大的成功，但它们仍受到对抗攻击的威胁-通过仔细扰动获得的感知有效的输入类样本的存在，导致底层模型的性能下降。现有防御机制的主要问题包括不同攻击、模型和大量推理时间的不可推广性。在本文中，我们提出了一个广义的防御机制，利用正则化的潜在空间的生成模型的表达能力。我们设计了一个对抗过滤器，没有访问分类器和对手，这使得它可以与任何分类器串联使用。其基本思想是从数据流形学习Lipschitz约束映射，将对抗性扰动引入到量化的潜在空间，并将其重新映射到真实的数据流形。具体来说，我们同时自动编码的数据流形和它的扰动隐式通过扰动的正则化和量化生成的潜在空间，实现变分推理。我们证明了所提出的配方在提供针对多种攻击类型（黑盒和白盒）和方法的弹性方面的有效性，同时几乎是实时的。我们的实验表明，所提出的方法超越了国家的最先进的技术在几种情况下。
2019-09-06 cs.CV cs.LG
CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with Application to Disk Shape Analysis from Lumbar Spine MRI Images
University of Miami（迈阿密大学）
模糊性在医学图像中是不可避免的，这通常导致来自不同人类专家的不同图像判读（例如，对象边界或分割图）。因此，学习模糊性并输出目标的概率分布的模型对于评估诊断的不确定性的医学应用将是有价值的。在本文中，我们提出了一个功能强大的生成模型来学习歧义的表示，并生成概率输出。我们的模型，命名为坐标量化变分自编码器（CQ-VAE）采用了一个离散的潜在空间与内部的离散概率分布，通过量化的坐标的连续潜在空间。因此，CQ-VAE的输出分布是离散的。在训练过程中，Gumbel-Softmax采样用于通过离散潜在空间进行反向传播。匹配算法用于建立模型生成的样本和“地面实况”样本之间的对应关系，这使得在生成新样本的能力和表示训练样本的能力之间进行权衡。除了这些生成可能输出的概率分量之外，我们的模型还有一个确定性路径来输出最佳估计。我们在腰椎间盘图像数据集上演示了我们的方法，结果表明我们的CQ-VAE可以学习腰椎间盘形状的变化和不确定性。
2020-10-20 cs.CV cs.LG
Predictive Uncertainty through Quantization
University of Amsterdam（阿姆斯特丹大学）
高风险领域需要预测模型的可靠置信度估计。深层潜变量模型提供了这些，但受到用于易处理的推理的刚性变分分布的影响，这在过度自信方面出错。我们提出了随机量化激活分布（SQUAD），它对离散化的潜变量施加了一个灵活而易于处理的分布。所提出的方法是可扩展的，自规范化和样本效率。我们证明了该模型充分利用了灵活的分布，学习有趣的非线性，并提供了竞争质量的预测不确定性。
2018-10-12 cs.LG stat.ML
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam（阿姆斯特丹大学）
针对残差量化在欧几里得空间忽视层次结构的问题，提出几何感知双曲残差量化，通过前向聚合与后向梯度路由提升稳定性，在层次任务中优于双曲基线，但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
A Vector-Quantized Foundation Model for Patient Behavior Monitoring
Signal Theory and Communications Department University Carlos III of Madrid（信号理论与通讯系卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（Gregorio Marañón卫生研究院）；Center for Data Science New York University（数据科学中心纽约大学）；Evidence-Based Behavior（基于证据的行为）；CIBERSAM, ISCIII
本文提出基于改进向量量化变分自编码器的基础模型，处理智能手机和可穿戴设备数据，无需微调即可完成自杀风险评估和情绪预测，并揭示离散与连续潜在结构的权衡。
2025-09-11 cs.LG
An Efficient Hybridization of Graph Representation Learning and Metaheuristics for the Constrained Incremental Graph Drawing Problem
本文提出一种结合图表示学习与GRASP的混合方法，用于解决约束增量图绘制问题，通过深度学习策略提升性能并验证方法的鲁棒性。
2025-08-21 cs.LG math.OC
Vector Quantized Diffusion Model for Text-to-Image Synthesis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Cloud+AI（微软云与人工智能部门）
我们提出了矢量量化扩散（VQ扩散）模型的文本到图像的生成。这种方法是基于矢量量化变分自编码器（VQ-VAE），其潜在的空间是由最近开发的去噪扩散概率模型（DDPM）的条件变量建模。我们发现，这种潜在空间方法非常适合文本到图像生成任务，因为它不仅消除了现有方法的单向偏差，而且还允许我们采用掩蔽和替换扩散策略，以避免错误的积累，这是现有方法的一个严重问题。我们的实验表明，与具有相似参数数量的传统自回归（AR）模型相比，VQ扩散产生的文本到图像生成结果显着更好。与以前基于GAN的文本到图像方法相比，我们的VQ-Diffusion可以处理更复杂的场景，并大幅提高合成图像质量。最后，我们表明，在我们的方法中的图像生成计算可以通过重新参数化的高效。使用传统的AR方法，文本到图像的生成时间随着输出图像分辨率线性增加，因此即使对于正常大小的图像也是相当耗时的。VQ扩散使我们能够在质量和速度之间实现更好的权衡。实验结果表明，VQ-扩散模型与重新参数化是15倍的速度比传统的AR方法，同时实现了更好的图像质量。
2022-03-03 cs.CV cs.LG
Vector Quantized Models for Planning
DeepMind（深度思维）；Mila（米拉）；University of Montreal（蒙特利尔大学）
基于模型的强化学习领域的最新发展已经证明在一系列环境中是成功的，特别是在规划至关重要的环境中。然而，这样的成功仅限于确定性的充分观察的环境。我们提出了一种新的方法，处理随机和部分可观察的环境。我们的关键见解是使用离散自动编码器来捕获随机环境中动作的多种可能影响。我们使用随机变量的蒙特卡罗树搜索规划代理的行动和离散的潜变量代表环境的响应。我们的方法显着优于离线版本的MuZero对国际象棋的随机解释，其中对手被认为是环境的一部分。我们还表明，我们的方法可以扩展到DeepMind Lab，这是一个具有大量视觉观察和部分可观察性的第一人称3D环境。
2021-06-10 cs.AI cs.LG stat.ML
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）；Research Institutes of Sweden（瑞典研究机构）
自动编码器及其变体提供了无监督模型，用于学习下游任务的低维表示。如果没有适当的正则化，自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中，我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器（VQ-VAE）和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器，其约束潜在表示，同时在编码器处促进保持相似性的映射。在量化之前，我们对潜在代码施加噪声，并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器，因此，正在执行软量化的噪声潜在的代码。我们表明，我们提出的正则化方法相比，使用其他瓶颈结构的自动编码器，在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
Cancer Subtyping by Improved Transcriptomic Features Using Vector Quantized Variational Autoencoder
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Yunnan University（云南大学）
定义和分离癌症亚型对于促进个性化治疗模式和患者预后至关重要。亚型的定义随着我们理解的加深而不断被重新校准。在这种重新校准过程中，研究人员通常依赖于癌症数据的聚类，以提供直观的视觉参考，从而揭示亚型的内在特征。被聚类的数据通常是组学数据，如转录组学，与潜在的生物学机制有很强的相关性。然而，尽管现有的研究已经显示出有希望的结果，但它们受到与组学数据相关的问题的困扰：样本稀缺和高维。因此，现有的方法往往强加不切实际的假设，从数据中提取有用的功能，同时避免过度拟合虚假的相关性。在本文中，我们建议利用最近的强大的生成模型，矢量量化变分自编码器（VQ-VAE），以解决数据问题，并提取信息的潜在特征，这是至关重要的后续聚类的质量只保留相关的信息重建输入。VQ-VAE不强加严格的假设，因此其潜在特征是输入的更好表示，能够使用任何主流聚类方法产生卓越的聚类性能。对包括10种不同癌症的多个数据集进行的广泛实验和医学分析表明，VQ-VAE聚类结果可以显着且稳健地改善流行亚型系统的预后。
2022-07-20 cs.AI cs.LG
Emotion Detection in Text: Focusing on Latent Representation
UNC Charlotte（北卡罗来纳大学夏洛特分校）；University of Virginia（弗吉尼亚大学）
近年来，文本中的情感检测已经变得越来越流行，由于其在市场营销，政治学，心理学，人机交互，人工智能等方面的巨大的潜在应用。在这项工作中，我们认为，目前的方法是基于传统的机器学习模型不能抓住情感语言的复杂性，忽略了文本的顺序性质，和上下文。因此，这些方法不足以创建适用的和可推广的情感检测方法。了解这些局限性，我们提出了一个基于双向GRU模型的新网络，以表明从文本中捕获更有意义的信息可以显着提高这些模型的性能。结果显示，在我们的测试数据上，F测量值平均增加了26.8个点，在全新的数据集上增加了38.6个点。
2019-07-22 cs.CL cs.IR cs.LG
Addressing Representation Collapse in Vector Quantized Models with One Linear Layer
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Peking University（北京大学）；Jinan University（济南大学）
针对向量量化模型的表示坍塌问题，提出基于可学习线性变换层重参数化码向量的SimVQ方法，优化整个线性空间，有效防止坍塌且易实现、跨模态泛化性好。
2025-10-03 cs.CV cs.LG cs.SD
STORM: A Spatio-Temporal Factor Model Based on Dual Vector Quantized Variational Autoencoders for Financial Trading
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
STORM通过双向量量化变分自编码器从时空视角提取股票特征，融合并对齐多维嵌入，提升金融交易中因子选择的鲁棒性和有效性。
2026-01-14 cs.AI cs.LG
Learning source-aware representations of music in a discrete latent space
Korea University（高丽大学）；Queen Mary University of London（伦敦玛丽女王大学）；Korea National Open University（韩国国立开放大学）
近年来，已经提出了基于神经网络的方法作为从音乐中生成表示的方法，但是它们不是人类可读的，并且很难被人类分析或编辑。为了解决这个问题，我们提出了一种新的方法，通过矢量量化变分自动编码器（VQ-VAE）来学习音乐的源感知表示。我们训练我们的VQ-VAE将输入混合编码成离散潜在空间中的整数张量，并将它们设计成具有分解结构的，允许人类以源感知的方式操纵潜在向量。本文还表明，我们可以产生的隐向量估计在一个离散空间中。
2021-11-26 cs.LG cs.SD eess.AS
Purrception: Variational Flow Matching for Vector-Quantized Image Generation
Purrception结合连续方法的几何意识与离散监督的分类监督，通过学习代码本索引的类别后验和连续嵌入空间中的速度场，实现对潜在代码的不确定性量化和温度控制生成。
2026-03-14 cs.AI cs.CV cs.LG
Overfitting for Fun and Profit: Instance-Adaptive Data Compression
Qualcomm AI Research（高通人工智能研究院）；Eindhoven University of Technology（埃因霍温理工大学）
神经数据压缩已被证明在$RD$性能方面优于经典方法，并且结果仍在快速改进。在高层次上，神经压缩基于自动编码器，该自动编码器试图从（量化的）潜在表示重建输入实例，再加上用于有损压缩这些潜在表示的先验。由于模型容量的限制以及不完善的优化和推广，这样的模型通常会次优地压缩测试数据。然而，学习压缩的最大优点之一是，如果测试时间数据分布是已知的并且相对低熵（例如，观看静态场景的相机，自动驾驶汽车中的仪表盘凸轮等），该模型可以容易地被微调或适应于该分布，从而导致改进的$RD$性能。在本文中，我们将这一概念发挥到了极致，将完整模型适应于单个视频，并将模型更新（使用参数空间先验进行量化和压缩）与潜在表示一起发送。与以前的工作不同，我们不仅微调了编码器/潜伏期，而且微调了整个模型，并且在微调过程中考虑了模型量化的影响和发送模型更新所产生的额外成本。我们评估了来自Xiph数据集视频的I帧（以2 fps采样）的图像压缩模型，并证明了全模型自适应将$RD$性能提高了约1 dB，相对于仅编码器的微调。
2021-06-01 cs.LG
Vector Quantized Wasserstein Auto-Encoder
Monash University（莫纳什大学）；Vinai；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；University of Oxford（牛津大学）
本文从生成视角提出向量量化Wasserstein自编码器，通过最小化WS距离学习离散表示，连接聚类理论，在码本利用率和图像重建/生成上优于VQ-VAE变体。
2023-06-17 cs.LG
Quantum Generative Models for Computational Fluid Dynamics: A First Exploration of Latent Space Learning in Lattice Boltzmann Simulations
Al Akhawayn University（阿尔阿赫韦因大学）
本文首次将量子生成模型应用于CFD数据的潜在空间学习，通过对比量子与经典方法，展示了在格子玻尔兹曼模拟中提升生成样本质量的潜力。
2025-12-27 cs.LG
Distillation of a tractable model from the VQ-VAE
Artificial Intelligence Center, Czech Technical University（捷克技术大学人工智能中心）
针对VQ-VAE因潜空间大导致概率推断不可处理的问题，提出通过选择高概率潜变量子集将其蒸馏为概率电路形式的可处理模型，保留表达能力且在密度估计等任务上表现有竞争力。
2025-09-01 cs.LG
Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance
University of Montana（蒙大拿大学）；College of Business, University of Montana（蒙大拿大学商学院）；R. Ken Coit College of Pharmacy, University of Arizona（亚利桑那大学R. Ken Coit药学院）
本研究探究Transformer潜空间几何特征与下游任务性能的关联，发现量化单元密度与GLUE平均性能强相关，可用于预测非标准BERT类模型性能，为降低预训练需求提供新思路。
2024-06-18 cs.CL cs.LG
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University（罗文大学）
本文提出轻量级语音生成模型VQalAttent，通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示，在有限计算资源下生成可理解语音，并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
Discrete Acoustic Space for an Efficient Sampling in Neural Text-To-Speech
Amazon, Alexa AI（亚马逊Alexa人工智能部门）
提出SVQ-VAE架构用于NTTS，通过离散化潜在空间在保留表示能力的同时实现从文本高效预测，在自然度上显著优于VAE和VQ-VAE，并将标准常量向量合成与声码器录音的差距缩小32%。
2023-09-14 cs.LG cs.SD eess.AS
Multimodal Latent Language Modeling with Next-Token Diffusion
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
针对多模态生成需统一处理离散与连续数据的问题，本研究提出LatentLM，结合VAE、下一词元扩散及σ-VAE，在图像生成、多模态大模型集成、语音合成等任务上实现更优性能与可扩展性。
2024-12-11 cs.CL cs.CV cs.LG
VQ-SAD: Vector Quantized Structure Aware Diffusion For Molecule Generation
Monash University（墨尔本大学）
VQ-SAD通过将原子和键类型编码为VQ-VAE的潜在变量，结合符号与神经结构信息，提升分子生成扩散模型的去噪效果，优于现有方法。
2026-05-01 cs.AI cs.LG
