Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion
Spotify
针对离散扩散模型的重写能力,提出变分Stackelberg离散扩散(VSDD)框架,通过领导者-跟随者博弈学习语义感知的破坏过程,在分子、文本和播放列表生成中显著提升有效性、降低困惑度并改善推荐指标。
2026-09-29 cs.AI cs.LG
Adaptive Order Policies for Masked Diffusion
Université de Montréal(蒙特利尔大学);Mila;Concordia University(康科迪亚大学);LawZero
提出一种通过轻量级策略网络学习掩码扩散模型中解掩码顺序的方法,使用加权损失训练,在组合任务和蛋白质等对顺序敏感的问题上优于常见启发式方法。
2026-10-27 cs.LG
Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy
Tsinghua University(清华大学);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院);Wuhan University(武汉大学);MathonAI(马松人工智能)
研究针对分数熵离散扩散存在的问题,引入均值到分数(M2S)方法,通过预测后验均值并转换为分数,应用于特定马尔可夫链。在CIFAR-10等实验中,M2S降低了测试BPD和FID-50k,提升了生成性能。
2026-07-24 cs.AI cs.LG
What Does a Discrete Diffusion Model Learn? One Reverse Process in Three Coordinates
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所)
研究离散扩散模型学到了什么,通过严格推导连续时间马尔可夫链(CTMC)的ELBO,证明了Oracle Distance定理,给出其唯一优化器及不可约成本,还分析了有token分解噪声序列的情况。
2026-10-15 cs.AI cs.CL cs.IT
Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints
Google DeepMind(谷歌DeepMind)
本文提出交错吉布斯扩散(IGD)框架,通过吉布斯采样式去噪实现离散-连续数据的联合生成,在分子结构、布局和表格数据任务上无需领域归纳偏置即取得最先进性能。
2025-07-03 cs.AI cs.LG
A Scalable Training Strategy for Blind Multi-Distribution Noise Removal
提出一种基于自适应采样和多项式近似的去噪网络训练策略,有效解决了多分布噪声去除中的维度灾难问题,使单一通用去噪器在大幅减少训练时间的同时达到专用网络的性能。
2024-11-18 cs.CV cs.LG eess.IV
Universal Denoising of Discrete-time Continuous-Amplitude Signals
Stanford University(斯坦福大学);Technion – Israel Institute of Technology(以色列理工学院)
我们考虑重建一个离散时间信号(序列)的问题,连续值的组件损坏一个已知的无记忆信道。当性能测量使用每符号损失函数满足温和的规律性条件,我们开发了一个序列的降噪,虽然独立的基本“干净”序列的分布,是普遍最佳的限制大序列长度。该序列的去噪器在执行以及任何滑动窗口去噪方案的意义上是通用的,该滑动窗口去噪方案可以针对潜在的干净信号进行优化。我们的研究结果最初是在一个“半随机”的设置,无噪声信号是一个未知的个体序列,和随机性的唯一来源是由于信道噪声。随后表明,在完全随机设置,其中无噪声序列是一个平稳的随机过程,我们的计划普遍达到最佳性能。所提出的方案借鉴非参数密度估计技术,实际上是可实现的。我们证明了所提出的方案在传统的加性高斯白噪声设置中对灰度图像进行去噪的有效性,对于不太传统的噪声分布,具有额外的有希望的结果。
2008-07-22 cs.IT cs.LG math.IT
Your Absorbing Discrete Diffusion Secretly Models the Bayesian Posterior
Cooper Doyle
本文证明离散扩散语言模型的去噪器在温和假设下能实现精确贝叶斯后验,并提出一种无需额外训练的推理时蒙特卡洛集成方法,通过多次去噪聚合后验均值与方差,在 WikiText-2 上实现了校准的不确定性估计与计算-保真度权衡。
2025-07-13 cs.AI cs.CL cs.LG
Binomial flows: Denoising and flow matching for discrete ordinal data
Division of Applied Mathematics, Brown University, Providence, RI, USA 02912(应用数学系,布朗大学,普罗维德恩,罗德岛州,美国 02912);Department of Statistical Sciences, University of Toronto, Toronto, ON, Canada M5G 1X6(统计科学系,多伦多大学,多伦多,安大略省,加拿大 M5G 1X6)
本文提出二项流,为离散非负序数数据提供训练离散扩散模型的简单方法,同时实现去噪、采样和精确似然估计。
2026-05-01 cs.LG stat.ME
ProtoGuide: Prototype-Driven Guidance for Class-Conditional Graph Generation
University of Catania(卡塔尼亚大学);University of Cambridge(剑桥大学);University Campus Bio-Medico of Rome(罗马生物医学自由大学)
ProtoGuide提出一种事后、与骨干无关的框架,通过原型评分和梯度注入实现离散图扩散模型的类条件引导,在多个数据集上显著提升分类准确率。
2026-09-15 cs.AI cs.LG physics.soc-ph
Guided Transfer Learning for Discrete Diffusion Models
Harvard University(哈佛大学);ETH Zürich(苏黎世联邦理工学院)
本文提出GTL方法,通过比率引导实现离散扩散模型的迁移学习,解决小数据下模型性能问题,展示在序列数据中效果显著,但存在源分布与目标分布重叠不足时的失效模式。
2026-04-14 cs.LG
Iterative Channel Estimation for Discrete Denoising under Channel Uncertainty
Sungkyunkwan University(成均馆大学)
我们提出了一种新的迭代信道估计(ICE)算法,基本上消除了关键的已知噪声信道假设的通用离散去噪问题。我们的算法是基于神经DUDE(N-DUDE),最近提出的神经网络为基础的离散去噪器,它估计的信道转移矩阵以及神经网络参数,以交替的方式,直到收敛。虽然我们没有对底层的干净数据进行任何概率假设,但我们的ICE类似于具有变分近似的期望最大化(EM),并且它利用了N-DUDE在真实信道周围局部鲁棒的特性。通过对几种完全不同类型的数据进行广泛的实验,我们证明了配备ICE的N-DUDE(称为ICE-N-DUDE)可以很好地执行\emph{universally},而不管通道和清洁源的不确定性如何。此外,我们表明ICE-N-DUDE对其超参数变得非常鲁棒,并且显著优于可以处理信道不确定性的强基线去噪,广泛使用的隐马尔可夫模型(HMM)的Baum-Welch(BW)算法。
2019-05-28 cs.AI cs.LG stat.ML
Discrete Flow Matching
Meta AI;FAIR;Weizmann Institute(魏茨曼研究所)
离散流匹配提出一种新型离散流生成范式,通过通用概率路径与学习后验采样,在1.7B参数下于HumanEval和MBPP上取得显著性能,以非自回归方式缩小与自回归模型的差距。
2024-11-05 cs.AI cs.LG
Universal Approximation Depth and Errors of Narrow Belief Networks with Discrete Units
Pennsylvania State University(宾夕法尼亚州立大学)
我们推广了最近的理论工作的最小层数的狭窄的深度信念网络,可以近似任何概率分布的状态,其可见的单位任意好。我们将二进制单位的设置(Sutskever和Hinton,2008; Le Roux和Bengio,2008,2010; Montúfar和Ay,2011)放宽到具有任意有限状态空间的单位,并将消失的近似误差放宽到任意近似误差容限。例如,我们证明了对于某些$m\in \mathbb{N}$,具有宽度为$n \leq m + \log_q(m) + 1$的$L\geq 2+\frac{q^{\lceil m-δ\rceil}-1}{q-1}$层的$q$ -ary深度信念网络可以近似$\{0,1,\ldots,q-1\}^n$上的任何概率分布,而不会超过$δ$的库尔贝克-莱布勒散度。我们的分析包括离散限制玻尔兹曼机和朴素贝叶斯模型作为特殊情况。
2014-01-28 cs.LG math.PR stat.ML
High-Fidelity and Low-Latency Universal Neural Vocoder based on Multiband WaveRNN with Data-Driven Linear Prediction for Discrete Waveform Modeling
Nagoya University(名古屋大学)
本文提出了一种新的高保真和低延迟的通用神经声码器框架的基础上,多带WaveRNN与数据驱动的线性预测离散波形建模(MWDLP)。MWDLP采用粗-精位WaveRNN架构进行10位μ律波形建模。利用具有相对大的隐藏单元大小的稀疏门控递归单元,同时部署多频带建模以实现实时低延迟使用。提出了一种基于离散波形建模的数据驱动线性预测(LP)新技术,其中LP系数以数据驱动的方式进行估计。此外,一个新的损失函数使用短时傅立叶变换(STFT)的离散波形建模与Gumbel近似也提出了。实验结果表明,所提出的MWDLP框架在300个说话者训练数据上为可见和不可见的说话者和/或语言生成高保真合成语音,包括干净和嘈杂/混响条件,其中训练话语的数量被限制为每个说话者60个,同时允许使用具有$\sim\!$ 0.57- 0.64实时因子的$\sim\!$ 2.1- 2.7 GHz CPU的单核进行实时低等待时间处理,输出和特征提取。
2021-07-05 cs.CL cs.LG cs.SD
Discrete neural nets and polymorphic learning
University of Denver(丹佛大学)
本研究发现泛代数定理与神经网络通用逼近结果的相似性,提出离散神经网络模型统一两类结论,还引入基于关系结构多态性的学习算法并展示其在经典学习任务中的应用。
2023-11-05 cs.LG cs.NE math.CO
Convergence of Discrete MDL for Sequential Prediction
我们研究了序列预测的最小描述长度原则的性质,考虑从可数模型类中选择的两部分MDL估计。这特别适用于通用序列预测的重要情况,其中模型类对应于某个固定通用图灵机的所有算法(这种对应是通过可重复的半度量,因此所得模型是随机的)。我们证明收敛定理类似Solomonoff定理的普遍归纳法,这也适用于一般贝叶斯混合。与贝叶斯混合物相比,MDL预测的收敛速度特征的界限呈指数级增大。我们观察到,至少有三种不同的方式使用MDL进行预测。其中一个具有更差的预测特性,只有当MDL估计器稳定时,预测才会收敛。我们为这种情况的发生建立了充分的条件。最后,一些直接后果的复杂性关系和随机性标准的证明。
2004-04-28 cs.AI cs.LG math.ST