Simplified and Generalized Masked Diffusion for Discrete Data
Google DeepMind（谷歌DeepMind）
针对现有离散数据掩码扩散模型结构复杂、性能受限的问题，研究提出简洁通用的框架，证明其连续时间变分目标为交叉熵损失加权积分，支持状态依赖掩码调度，在语言和图像建模任务上均超越同类模型。
2025-01-16 cs.LG stat.ML
DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models
Rutgers University（新泽西罗格斯大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Red Hat AI Innovation（红帽AI创新）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）；Walmart Global Tech（沃尔玛全球技术）；NEC Labs America（NEC美国实验室）；Massachusetts Institute of Technology（麻省理工学院）；ANU（澳大利亚国立大学）；UT Arlington（德克萨斯大学阿灵顿分校）
针对离散扩散模型可控编辑受限的问题，本文提出离散反演方法DICE，通过记录逆扩散过程的噪声与掩码模式实现精准重建编辑，在多模型多域验证中兼顾保真度与编辑能力。
2025-11-12 cs.CV cs.LG
VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference
Accenture；Swarthmore College（斯沃思莫尔学院）；Univ. California, Irvine（加州大学伊文斯顿分校）
本文提出VIPaint方法，通过变分推断优化非高斯马尔可夫近似，有效修复图像中的缺失区域，适用于高质图像生成及逆向问题。
2026-04-30 cs.AI cs.CV cs.LG
What Exactly Does Guidance Do in Masked Discrete Diffusion Models
Georgia Institute of Technology（佐治亚理工学院）
该研究针对带无分类器引导的掩码离散扩散模型，推导出引导反向动力学显式解，揭示引导强度对采样分布、轨迹动力学的影响及维度差异，理论结果获实验验证。
2025-06-12 cs.LG stat.ML
Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction
Université de Montréal（蒙特利尔大学）；Mila（米拉计算科学研究所）；Dreamfold（Dreamfold公司）；Duke University（杜克大学）；McGill University（麦吉尔大学）；Allen Institute for AI（艾伦人工智能研究所）；Oxford University（牛津大学）；Aithyra（Aithyra公司）
本文提出离散去噪后验预测（DDPP）框架，将引导预训练掩码扩散模型转化为概率推理问题，提供三个无需模拟且可扩展的目标函数，并在图像建模、文本对齐和蛋白质设计等任务及湿实验中验证了有效性。
2024-10-10 cs.AI cs.LG
Any-Order Flexible Length Masked Diffusion
Harvard University（哈佛大学）；Kempner Institute（凯普纳研究所）；Microsoft Research New England（微软研究院新英格兰分部）；Institute for Artificial Intelligence and Fundamental Interactions, MIT（麻省理工学院人工智能与基础相互作用研究所）
针对掩码扩散模型不支持变长生成的问题，提出FlexMDM，通过插入与去掩码令牌实现任意顺序的灵活长度生成，保留任意顺序推理能力，在迷宫规划中成功率提升60%，并可将预训练MDM快速改造，提升数学与代码填充性能。
2025-09-07 cs.LG
HALO: Enhancing Time Series Generation via Hyperspherical Latents and Masked AutoregRessive Modeling
East China Normal University（华东师范大学）
HALO提出超球面VAE约束连续潜变量并采用掩码自回归模型，解决时间序列生成中信息丢失与误差累积问题，实现最先进性能并大幅提升推理效率。
2026-09-30 cs.LG
Improved Variational Inference in Discrete VAEs using Error Correcting Codes
Dept. of Signal Theory and Communications, Universidad Rey Juan Carlos（信号理论与通信系，雷乌安卡洛斯大学）；Klipsch School of Electrical and Computer Engineering, New Mexico State University（电气与计算机工程学院，新墨西哥州立大学）；Instituto de Investigación Sanitaria Gregorio Marañón, Madrid, Spain（格里戈里奥·马兰农卫生研究所，马德里，西班牙）
该研究将离散 VAE 视为通信系统，利用 ECC 为离散潜在表示引入冗余，从而获得更准确的变分后验，并提升生成、重建与校准性能。
2025-06-10 cs.LG
Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion
Spotify
针对离散扩散模型的重写能力，提出变分Stackelberg离散扩散（VSDD）框架，通过领导者-跟随者博弈学习语义感知的破坏过程，在分子、文本和播放列表生成中显著提升有效性、降低困惑度并改善推荐指标。
2026-09-29 cs.AI cs.LG
Discrete Stochastic Localization for Non-autoregressive Generation
本文提出了一种连续状态框架，通过单位球体令牌嵌入实现离散随机定位，以提高离散序列生成的分布忠实度，并展示了在OpenWebText上改进MAUVE指标的效果。
2026-05-20 cs.LG
An Introduction to Discrete Variational Autoencoders
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
本教程系统介绍潜在变量服从类别分布的离散VAE，从第一性原理推导其方法，并给出具体训练方案与开源示例实现。
2025-05-15 cs.LG
Adaptive Order Policies for Masked Diffusion
Université de Montréal（蒙特利尔大学）；Mila；Concordia University（康科迪亚大学）；LawZero
提出一种通过轻量级策略网络学习掩码扩散模型中解掩码顺序的方法，使用加权损失训练，在组合任务和蛋白质等对顺序敏感的问题上优于常见启发式方法。
2026-10-27 cs.LG
Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
University of California, Berkeley, CA, USA（加州大学伯克利分校）
本文提出了一种神经框架，直接从预训练的遮蔽扩散模型（MDMs）的隐藏状态中估计成对条件互信息（MI），利用模型自身条件分布计算的地面真实MI进行监督，从而捕捉模型内部对依赖结构的信念，并在单次前向传递中预测完整的MI矩阵，实现MI引导的并行解码。
2026-01-27 cs.AI cs.IT cs.LG
Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics
University of Padova（帕多瓦大学）；CMAP, IP Paris（巴黎综合理工学院应用数学中心）
本文研究了三种离散扩散模型的非渐近收敛性，通过建立基于随机游动和掩码过程的收敛保证，解决了离散状态空间下扩散模型的挑战，且在无需限制估计得分的情况下提供了最优的收敛界。
2026-04-01 cs.LG stat.ML
Remasking Discrete Diffusion Models with Inference-Time Scaling
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）
ReMDM通过推理时间缩放提升离散扩散模型的样本质量与可控性
2026-02-07 cs.LG stat.ML
Search-Augmented Masked Diffusion Models for Constrained Generation
University of Virginia（弗吉尼亚大学）；University of Colorado at Boulder（科罗拉多大学 Boulder分校）
SearchDiff通过整合有信息的搜索到反向去噪过程中，提高了约束满足和属性遵循，优于离散扩散和自回归基线。
2026-02-02 cs.AI cs.LG
Self-Speculative Masked Diffusions
Google DeepMind（谷歌DeepMind）
自推测掩码扩散通过非因子化预测减少计算负担，实现文本和蛋白质序列生成的高效样本生成。
2026-03-06 cs.LG stat.ML
Scaling Beyond Masked Diffusion Language Models
Department of Computer Science, Cornell Tech, NYC, USA（康奈尔科技学院计算机科学系）；Department of Computer Science, Cornell University, Ithaca, USA（康奈尔大学计算机科学系）；School of Computer and Communication Sciences, EPFL Lausanne, Switzerland（洛桑联邦理工学院计算机与通信科学学院）；Department of Computer Science, University of Chicago, Illinois（芝加哥大学计算机科学系）；NVIDIA, Santa Clara, USA（英伟达）
本文研究了统一状态和插值离散扩散方法的扩展定律，发现掩码扩散在FLOPs效率上可提升12%，并展示了统一状态扩散在GSM8K任务中的优越表现
2026-02-16 cs.CL cs.LG
DVAE++: Discrete Variational Autoencoders with Overlapping Transformations
D-Wave Systems Inc.
离散潜变量模型的训练仍然具有挑战性，因为通过离散单元传递梯度信息是困难的。我们提出了一类新的平滑变换的基础上的混合物的两个重叠的分布，并表明，所提出的变换可用于训练二进制潜在模型，无论是有向或无向先验。我们推导出一个新的变分约束，以有效地训练与玻尔兹曼机的先验。使用这个界限，我们开发了DVAE++，这是一个具有全局离散先验和卷积连续变量层次的生成模型。在几个基准上的实验表明，重叠变换优于离散潜变量的其他最近的连续松弛，包括Gumbel-Softmax（Maddison等人，2016; Jang等人，2016）和离散变分自编码器（Rolfe 2016）。
2018-05-25 cs.LG stat.ML
Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder
Technion（以色列理工学院）；MIT（麻省理工学院）
连续随机变量的变分自编码器的重新参数化是减小其梯度估计方差的有效方法。在离散的情况下，可以使用Gumbel-Max技巧执行重新参数化，但是所得到的目标依赖于$\arg \max$运算并且是不可微的。与以前的作品诉诸基于softmax的松弛，我们建议直接优化它应用直接损失最小化的方法。当评估$\arg \max$操作是易处理的时，我们的建议自然地扩展到结构化离散潜变量模型。我们证明了经验的有效性，直接损失最小化技术在变分自编码器与非结构化和结构化的离散潜变量。
2019-12-08 cs.LG stat.ML
Discrete Variational Autoencoders
D-Wave Systems（D-Wave系统公司）
具有离散潜变量的概率模型自然地捕获由离散类组成的数据集。然而，它们难以有效地训练，因为通过离散变量的反向传播通常是不可能的。我们提出了一种新的方法来训练一类概率模型与离散的潜变量使用变分自动编码器框架，包括反向传播通过离散的潜变量。相关联的概率模型类包括无向离散分量和有向分层连续分量。离散分量捕获由连续分量引起的不连通光滑流形上的分布。因此，这类模型可以有效地从无监督数据中学习图像中的对象类别及其在像素中的具体实现，并且在排列不变的MNIST、Omniglot和Caltech-101 Silhouettes数据集上的性能优于最先进的方法。
2017-04-22 cs.LG stat.ML
DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models
Fudan University（复旦大学）
提出了一种基于离散扩散模型的生成式掩蔽语言模型DiffusionBERT。扩散模型和许多预先训练的语言模型具有共享的训练目标，即，去噪，使其能够结合两个强大的模型，享受两全其美。一方面，扩散模型提供了一种有前途的训练策略，有助于提高生成质量。另一方面，预先训练的去噪语言模型（例如，BERT）可以用作加速收敛的良好初始化。我们探索训练BERT学习的反向过程的离散扩散过程的吸收状态和阐明几个设计，以改善it. First，我们提出了一个新的噪声时间表的前向扩散过程中，控制的程度，在每一步的基础上，每个令牌的信息添加的噪声。其次，我们研究了几种将时间步长纳入BERT的设计。对无条件文本生成的实验表明，DiffusionBERT比现有的文本扩散模型（例如，D3 PM和Diffusion-LM）和先前的生成掩蔽语言模型在困惑度和BLEU得分方面的性能。
2022-11-30 cs.AI cs.CL cs.LG
Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Foundation Model Dept（华为基金会模型部门）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出VADD框架，通过潜在变量建模增强离散扩散，提升样本质量，尤其在少量去噪步骤时表现优异。
2026-04-14 cs.CV cs.LG stat.ML
Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
Department of Computer Science & Technology, Institute for AI, Tsinghua University（1 计算机科学与技术系，人工智能研究院，清华大学）；NVIDIA（2 英特尔）
本文揭示 MDMs 在训练和采样上时间无关且等价于掩码模型，提出 FHS 采样器实现 20 倍加速，并发现 32 位浮点精度导致的数值问题会降低有效温度与 token 多样性，使以往评估不够公平。
2025-04-30 cs.AI cs.CL cs.LG
Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
Aalto University（奥卢大学）；NUS, Singapore（新加坡国立大学）；IIT Bombay（印度理工学院班加罗尔）
本文揭示被掩盖的扩散模型实际上是一种具有可学习顺序的自回归模型，通过优化解码顺序提升生成性能。
2025-11-24 cs.LG stat.ML
Discrete Auto-regressive Variational Attention Models for Text Modeling
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
变分自编码器（VAE）已广泛应用于文本建模。然而，在实践中，他们受到两个挑战的困扰：信息代表性不足和后验崩溃。前者的出现是因为只有LSTM编码器的最后一个隐藏状态被转换到潜在空间中，这通常不足以总结数据。后者是VAE训练过程中的一个长期存在的问题，因为优化被困在灾难性的局部最优。在本文中，我们提出了离散自回归变分注意力模型（DAVAM），以解决这一挑战。具体来说，我们引入了一个自回归变分注意方法，以丰富的潜在空间，有效地捕捉语义依赖的输入。我们进一步设计了离散的潜在空间的变分注意力和数学证明，我们的模型是免费的后验崩溃。语言建模任务的大量实验表明DAVAM对几个VAE同行的优越性。
2021-06-16 cs.CL cs.LG
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；University of Helsinki（赫尔辛基大学）
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的，因为采样过程是不可微的。连续松弛（例如分类分布的Gumbel-Softmax）支持基于梯度的优化，但不为离散观测定义有效的概率质量。在实践中，选择松弛量是困难的，并且需要优化与期望目标不一致的目标，这会导致问题，特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布，允许直接优化证据下限，并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
D-Wave Systems Inc.（D-Wave系统公司）
玻尔兹曼机是一种强大的分布，已经被证明是变分自动编码器（VAE）中二进制潜变量的有效先验。然而，以前用于训练离散VAE的方法使用了证据下限，而不是更严格的重要性加权界限。我们提出了两种方法放松玻尔兹曼机的连续分布，允许训练与重要性加权的界限。这些松弛是基于广义重叠变换和高斯积分技巧。MNIST和OMNIGLOT数据集上的实验表明，这些弛豫优于以前的离散VAE与玻尔兹曼先验。可在www.example.com上获得再现这些结果的实现。
2018-10-15 cs.LG stat.ML
Enabling Autoregressive Models to Fill In Masked Tokens
University of California Los Angeles（加州大学洛杉矶分校）
针对AR模型无法掩码填充、MLM模型计算低效的问题，提出MARIA架构，结合预训练MLM与AR模型的拼接隐藏状态训练线性解码器，使AR模型保留KV缓存推理优势的同时实现掩码填充，性能显著优于离散扩散模型。
2025-02-09 cs.AI cs.CL cs.LG
Discrete Stochastic Localization for Non-autoregressive Generation
University of California Riverside（加州大学河滨分校）；New York University（纽约大学）
本文提出了一种名为离散随机定位（DSL）的连续状态框架，通过单位球体令牌嵌入实现最优去噪，从而在离散序列生成中提升分布忠实度，并展示了其在OpenWebText上的有效性。
2026-05-20 cs.CL cs.LG
Masked Conditioning for Deep Generative Models
BMW Group（宝马集团）；University of Augsburg（奥格斯堡大学）；Ludwig-Maximilians-University Munich（慕尼黑莱布尼茨-马克斯大学）
提出掩码条件化方法，使生成模型能处理工程领域稀疏混合类型数据，并集成于变分自编码器和潜在扩散模型，在点云和图像数据集上验证，可与预训练模型结合提升生成质量。
2025-05-22 cs.CV cs.LG
The Thermodynamic Variational Objective
University of British Columbia（不列颠哥伦比亚大学）；MIT（麻省理工学院）
我们引入了热力学变分目标（TVO），用于连续和离散深度生成模型的学习。TVO产生于变分推理和热力学积分之间的关键连接，其导致比标准变分变分证据下限（ELBO）更严格的对数边际似然下限，同时保持广泛适用。我们提供了一个计算效率的梯度估计的TVO，适用于连续的，离散的，和非reparameterizable分布，并表明变分推理，变分自编码器，唤醒睡眠和推理编译中使用的目标函数都是特殊情况下的TVO。我们使用TVO来学习离散和连续的深度生成模型，并以经验证明最先进的模型和推理网络学习。
2021-04-07 cs.LG stat.ML
Muse: Text-To-Image Generation via Masked Generative Transformers
Google（谷歌）
我们提出了Muse，一个文本到图像的Transformer模型，实现了最先进的图像生成性能，同时比扩散或自回归模型更有效。Muse在离散令牌空间中接受掩蔽建模任务的训练：给定从预训练的大语言模型（LLM）中提取的文本嵌入，Muse被训练来预测随机掩蔽的图像令牌。与像素空间扩散模型（如Imagen和DALL-E 2）相比，Muse的效率明显更高，因为它使用了离散令牌，并且需要更少的采样迭代;与自回归模型（如Parti）相比，Muse的效率更高，因为它使用了并行解码。使用预训练的LLM可以实现细粒度的语言理解，转换为高保真图像生成和对视觉概念的理解，例如对象，它们的空间关系，姿态，基数等。我们的900 M参数模型在CC 3 M上实现了新的SOTA，FID得分为6.06。Muse 3B参数模型在zero-shot COCO评价中获得7.88的FID，以及0.32的CLIP评分。Muse还直接启用了许多图像编辑应用程序，而无需微调或反转模型：补绘、外画和无蒙版编辑。更多结果请访问https://muse-model.github.io
2023-01-02 cs.AI cs.CV cs.LG
Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling
Dept. of Computer Science and Engineering, Indian Institute of Technology, Bombay（计算机科学与工程系，印度理工学院，孟买）
本文提出基于验证器的推理时扩展方法，在掩码扩散语言模型去噪过程中筛选更优候选，用于文本风格迁移，证明MDM优于自回归语言模型，并展示软值验证器可显著提升生成质量。
2025-08-18 cs.CL cs.LG
Variational Autoencoders for Sparse and Overdispersed Discrete Data
Monash University（莫纳什大学）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多应用程序，如文本建模，高通量测序和推荐系统，需要分析稀疏，高维和过度分散的离散（计数值或二进制）数据。虽然概率矩阵分解和线性/非线性潜在因子模型在模拟这些数据方面取得了巨大的成功，但由于在计数值数据和模型错误指定中建模过度分散的能力不足，许多现有模型可能具有较差的建模性能。在本文中，我们全面研究这些问题，并提出了一个变分自编码器的框架，通过负二项分布产生离散数据。我们还研究了该模型的能力，捕捉属性，如自和交叉激发的离散数据，这是至关重要的建模过度分散。我们对离散数据分析中的三个重要问题进行了广泛的实验：文本分析，协同过滤和多标签学习。与几个国家的最先进的基线相比，所提出的模型在上述问题上取得了显着更好的性能。
2019-05-24 cs.LG stat.ML
Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies
Technion, IIT（以色列理工学院）；Meta AI Research（Meta人工智能研究院）
离散变分自动编码器（VAE）能够表示生成学习中的语义潜在空间。在许多现实生活中，离散的潜在空间由高维结构组成，并且通过相关结构传播梯度通常需要在指数级大的潜在空间上进行枚举。最近，设计了各种方法来传播近似梯度，而不枚举可能的结构的空间。在这项工作中，我们使用自然演化策略（NES），一类无梯度黑箱优化算法，学习离散结构VAE。NES算法在计算上是吸引人的，因为它们仅用前向通过评估来估计梯度，因此它们不需要通过其离散结构传播梯度。我们的经验表明，使用NES优化离散结构VAE是有效的梯度为基础的近似。最后，我们证明了NES收敛的非Lipschitz功能出现在离散结构的VAE。
2022-05-03 cs.LG cs.NE stat.ML
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Masked Autoencoders Are Effective Tokenizers for Diffusion Models
Carnegie Mellon University（卡内基梅隆大学）；AMD（超威半导体公司）；Peking University（北京大学）；William & Mary（威廉与玛丽学院）
本文提出 MAETok，利用 mask 建模学习语义丰富的潜在空间，证明了潜在空间结构而非变分约束对 Diffusion Models 至关重要，在 ImageNet 上仅用 128 个 tokens 即实现 SOTA 性能并大幅提升训练与推理效率。
2025-05-30 cs.AI cs.CV cs.LG
Discrete Variational Autoencoding via Policy Search
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Robotics Institute Germany (RIG)（德国机器人研究所）
本文提出了一种基于策略搜索的离散VAE训练框架，利用非参数编码器的自然梯度提升编码器性能，实现高效高维数据重建。
2026-02-11 cs.AI cs.LG cs.RO
CaloDVAE : Discrete Variational Autoencoders for Fast Calorimeter Shower Simulation
TRIUMF（加拿大粒子加速器中心）；Simon Fraser University（西蒙菲莎大学）
在大型强子对撞机（LHC）的实验数据分析中，量热计模拟是蒙特卡罗产生样本的计算成本最高的部分。LHC的高亮度升级将需要更大量的此类样本。提出了一种基于离散变分自编码器（DVAE）的电磁量热计粒子簇射模拟技术。我们将讨论这项工作如何为探索量子退火处理器作为模拟高能物理数据集生成的采样设备铺平道路。
2022-10-14 cs.LG hep-ex physics.ins-det
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck
University at Buffalo（布法罗大学）；Criteo（Criteo公司）；Duke University（杜克大学）
变分自编码器（VAE）是端到端表示学习中必不可少的工具。然而，VAE的顺序文本生成常见的陷阱是，该模型倾向于忽略具有强大自回归解码器的潜在变量。在本文中，我们提出了一个原则性的方法来缓解这个问题，通过应用一个离散化的瓶颈，在一个更紧凑的潜在空间中执行隐式的潜在特征匹配。我们施加一个共享的离散潜在空间，每个输入都被学习选择一个潜在原子的组合作为正则化的潜在表示。我们的模型赋予一个有前途的能力，离散序列的潜在语义建模，从而提供更多的解释性潜在结构。从经验上讲，我们证明了我们的模型在广泛的任务上的效率和有效性，包括语言建模，未对齐的文本样式传输，对话响应生成和神经机器翻译。
2021-02-25 cs.CL cs.LG stat.ML
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST（韩国科学技术院）
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标，可以很容易地优化。然而，它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标，最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在的代码，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University（北京大学）；Rice University（Rice大学）；hi-lab, Xiaohongshu Inc（小红书实验室，小红书公司）
本文提出MARVAL框架，通过压缩扩散链为单步自回归生成，提升推理效率并使强化学习实用化，实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
Plug-and-Play Controllable Generation for Discrete Masked Models
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于重要性采样的可插拔框架，使离散掩码模型无需微调和梯度信息即可实现后验采样、约束生成和奖励优化，并在蛋白质设计等任务中验证了有效性。
2024-10-03 cs.LG stat.ML
Blending Low and High-Level Semantics of Time Series for Better Masked Time Series Generation
Norwegian University of Science and Technology（挪威科技大学）；BI Norwegian Business School（BI挪威商学院）；HANCE（汉思（HANCE））
针对时间序列生成中离散潜向量仅捕获低层语义的问题，提出NC-VQVAE框架，通过集成自监督学习构建同时包含低层和高层语义的离散潜空间，从而显著提升合成样本的生成质量。
2024-08-29 cs.LG
Masked Graph Autoencoder with Non-discrete Bandwidths
Michigan State University（密歇根州立大学）
本文提出基于非离散带宽掩码的图自编码器，通过连续分布采样边掩码并预测带宽，解决离散掩码的局限，提升链接预测和节点分类性能。
2024-02-06 cs.LG cs.SI
A Discrete Variational Recurrent Topic Model without the Reparametrization Trick
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了如何学习离散随机变量的神经主题模型-一个明确的模型每个单词的分配主题-使用神经变分推理，不依赖于随机反向传播来处理离散变量。我们利用的模型结合了神经方法的表达能力，用于表示文本序列与主题模型的能力，以捕捉全球，主题的连贯性。使用神经变分推理，我们在多个语料库中表现出改进的困惑和文档理解。我们检查先验参数的模型和变参数的影响，并展示了我们的方法可以竞争和超越一个流行的主题模型实现主题质量的自动测量。
2020-10-22 cs.LG
ScDiVa: Masked Discrete Diffusion for Joint Modeling of Single-Cell Identity and Expression
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学人工智能学院）；School of Statistics, Renmin University of China, Beijing, China（中国人民大学统计学院）；CRE Life Institute, China（中国CRE生命科学研究院）；School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan, China（华中科技大学计算机科学与技术学院）；School of Mathematics, Jilin University, Changchun, China（吉林大学数学学院）；Beijing Academy of Artificial Intelligence,Beijing,China（北京人工智能研究院）
ScDiVa通过掩码离散扩散模型，联合建模单细胞身份与表达，实现高效去噪与高精度恢复。
2026-02-03 cs.AI cs.LG q-bio.GN
Generative Representation Learning on Hyper-relational Knowledge Graphs via Masked Discrete Diffusion
School of Computing（计算学院）；Department of AI Computing, KAIST, Daejeon, South Korea（人工智能计算系，韩国科学技术院，大田，韩国）
针对超关系知识图谱中任意掩码查询的补全与事实生成任务，提出基于掩码离散扩散的生成式表示学习方法KREPE，统一链接预测与事实生成，性能达到最优。
2026-05-22 cs.AI cs.LG
Fixed-point neural samplers on discrete spaces
University of Cambridge（剑桥大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；MIT（麻省理工学院）；Microsoft Research New England（微软研究院新英格兰分院）
本文提出离散吉布斯迭代神经采样器，一种定点神经采样器，解决现有离散神经采样器的模式崩溃、无收敛保证和依赖特定参考过程等问题，实现高效可扩展学习，并扩展到高维系统和合金相图估计。
2026-11-06 cs.LG
Masked Diffusion Modeling for Anomaly Detection
University of Minnesota（明尼苏达大学）；Ohio State University（俄亥俄州立大学）
提出基于掩码扩散模型的MaskDiff-AD方法，通过重建随机掩码坐标的难度构建异常分数，在分类、混合类型和离散序列数据上实现高效异常检测。
2026-05-28 cs.AI cs.LG
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Schedule optimization for tau-leaping in masked discrete diffusion
Bocconi University（博科尼大学）
本文分析掩码离散扩散模型中tau-leaping采样器的因子分解误差，通过依赖密度刻画调度优化问题，证明在非退化情形下调度仅改善常数项，在退化情形下可改善渐近阶。
2026-10-07 cs.LG math.ST stat.ML
Minimax bounds for watermarked and masked recursive discrete distribution estimation
School of Computer and Communication Sciences, EPFL（EPFL计算机与通信科学学院）
本研究探究带水印的递归离散分布估计的极小极大损失，提出掩码缩小损失差距，推测更严格下界可消除剩余差距。
2026-09-01 cs.IT cs.LG math.IT
