Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
Harvard University（哈佛大学）；University of Texas Austin（德克萨斯大学奥斯汀分校）
该研究分析掩码扩散模型（MDMs）训练与推理的权衡，证明其训练面临计算难题，而提出的自适应token解码顺序策略可将预训练MDMs的数独求解准确率从<7%提升至≈90%，甚至优于参数多7倍的自回归模型。
2025-08-19 cs.LG
KLASS: KL-Guided Fast Inference in Masked Diffusion Models
KAIST AI（韩国科学技术院人工智能学院）
KLASS通过利用令牌级KL散度实现快速稳定生成，显著提升扩散模型推理速度并保持高质量输出。
2026-03-05 cs.LG
Stop Training for the Worst: Progressive Unmasking Accelerates Masked Diffusion Training
Harvard University（哈佛大学）；Kempner Institute（凯普纳研究所）
本文提出了一种名为渐进性解蔽（PUMA）的方法，通过修改前向掩码过程，使训练时间和推理时的掩码模式一致，从而加速了掩码扩散模型的训练。
2026-06-04 cs.LG
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题，提出无需训练的对比注意力引导方法UNCAGE，利用注意力图优先去掩码清晰对象令牌，提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
University of California, Berkeley, CA, USA（加州大学伯克利分校）
本文提出了一种神经框架，直接从预训练的遮蔽扩散模型（MDMs）的隐藏状态中估计成对条件互信息（MI），利用模型自身条件分布计算的地面真实MI进行监督，从而捕捉模型内部对依赖结构的信念，并在单次前向传递中预测完整的MI矩阵，实现MI引导的并行解码。
2026-01-27 cs.AI cs.IT cs.LG
Soft-Masked Diffusion Language Models
IBM Research – Zurich（IBM苏黎世研究院）
本文提出软掩码方法，通过动态融合掩码token与预测token的嵌入，提升扩散语言模型的生成性能和准确性。
2026-03-02 cs.AI cs.CL cs.LG
HALO: Enhancing Time Series Generation via Hyperspherical Latents and Masked AutoregRessive Modeling
East China Normal University（华东师范大学）
HALO提出超球面VAE约束连续潜变量并采用掩码自回归模型，解决时间序列生成中信息丢失与误差累积问题，实现最先进性能并大幅提升推理效率。
2026-09-30 cs.LG
ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding
Renmin University of China（中国人民大学）；Ant Group（蚂蚁集团）；Ant International（蚂蚁国际）
ReFusion通过整合序列重组到因果注意框架中，实现并行解码和高效生成，显著提升性能和速度，缩小与传统自回归模型的差距。
2026-03-05 cs.AI cs.CL cs.LG
Search-Augmented Masked Diffusion Models for Constrained Generation
University of Virginia（弗吉尼亚大学）；University of Colorado at Boulder（科罗拉多大学 Boulder分校）
SearchDiff通过整合有信息的搜索到反向去噪过程中，提高了约束满足和属性遵循，优于离散扩散和自回归基线。
2026-02-02 cs.AI cs.LG
Cluster-Level Attention-Guided Parallel Decoding for Masked Diffusion Language Models
Zhejiang University（浙江大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究院先进智能项目中心）；The Institute of Statistical Mathematics（统计数学研究所）；Agency for Science, Technology and Research (A ⋆ \star STAR)（科技研究局（A ⋆ STAR））
提出CLAD方法，通过将相邻高置信度token聚合成簇，并利用自注意力图估计簇间依赖，实现掩码扩散语言模型的训练无关簇级并行解码，在保持任务精度的同时获得1.77-8.47倍加速。
2026-05-28 cs.LG
GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
GraphMAE2通过多视图随机重新掩码解码和潜在表示预测对特征重建施加正则化，解决了掩码图自编码器对输入特征判别能力的依赖问题，并在多个大规模图数据集上取得最优性能。
2023-04-10 cs.LG
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania（宾夕法尼亚大学）
FastGuide提出一种并行与自回归自适应混合解码方法，加速扩散语言模型的奖励引导，在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
Muse: Text-To-Image Generation via Masked Generative Transformers
Google（谷歌）
我们提出了Muse，一个文本到图像的Transformer模型，实现了最先进的图像生成性能，同时比扩散或自回归模型更有效。Muse在离散令牌空间中接受掩蔽建模任务的训练：给定从预训练的大语言模型（LLM）中提取的文本嵌入，Muse被训练来预测随机掩蔽的图像令牌。与像素空间扩散模型（如Imagen和DALL-E 2）相比，Muse的效率明显更高，因为它使用了离散令牌，并且需要更少的采样迭代;与自回归模型（如Parti）相比，Muse的效率更高，因为它使用了并行解码。使用预训练的LLM可以实现细粒度的语言理解，转换为高保真图像生成和对视觉概念的理解，例如对象，它们的空间关系，姿态，基数等。我们的900 M参数模型在CC 3 M上实现了新的SOTA，FID得分为6.06。Muse 3B参数模型在zero-shot COCO评价中获得7.88的FID，以及0.32的CLIP评分。Muse还直接启用了许多图像编辑应用程序，而无需微调或反转模型：补绘、外画和无蒙版编辑。更多结果请访问https://muse-model.github.io
2023-01-02 cs.AI cs.CV cs.LG
Improving Classifier-Free Guidance in Masked Diffusion: Low-Dim Theoretical Insights with High-Dim Impact
Georgia Institute of Technology（佐治亚理工学院）；Sony AI（索尼人工智能）
本文提出了一种改进的分类器自由引导方法，通过理论分析和实验验证，解决了早期采样阶段引导过强导致的生成质量下降问题，并通过简单代码调整提升了样本质量。
2026-03-02 cs.AI cs.LG stat.ML
Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer
POSTECH（浦项科技大学）；Kakao Brain
虽然自回归模型在图像生成方面取得了很好的效果，但其单向生成过程阻止了所得图像完全反映全局上下文。为了解决这个问题，我们提出了一个有效的图像生成框架的Draft-and-Revise与上下文RQ-transformer在生成过程中考虑全局上下文。RQ-VAE作为一种广义的VQ-VAE，首先将高分辨率图像表示为离散码栈序列。在序列中的代码堆栈被随机掩蔽之后，Contextual RQ-Transformer被训练为基于图像的未掩蔽上下文填充掩蔽的代码堆栈。然后，Contextual RQ-Transformer使用我们的两阶段解码，Draft-and-Revise，并生成图像，同时在生成过程中利用图像的全局上下文。具体来说。在草稿阶段，我们的模型首先专注于生成不同的图像，尽管质量相当低。然后，在修改阶段，该模型迭代地提高图像的质量，同时保持生成的图像的全局上下文。在实验中，我们的方法在条件图像生成方面取得了最先进的结果。我们还验证了草案和修订解码可以实现高性能，有效地控制图像生成的质量多样性的权衡。
2022-06-09 cs.CV cs.LG
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA（英伟达）
提出DiLaDiff，通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足，提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Query-Efficient Rejection Sampling for Parallel Masked Diffusion
University of California, Los Angeles（加州大学洛杉矶分校）
针对掩码扩散模型并行采样忽略token相关性的问题，提出单增量拒绝采样器SIRS，通过单次查询估计对数接受概率并结合Rao-Blackwell化减少截断，降低了查询成本且界定了KL散度。
2026-10-16 cs.LG math.PR stat.ML
Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
Department of Computer Science & Technology, Institute for AI, Tsinghua University（1 计算机科学与技术系，人工智能研究院，清华大学）；NVIDIA（2 英特尔）
本文揭示 MDMs 在训练和采样上时间无关且等价于掩码模型，提出 FHS 采样器实现 20 倍加速，并发现 32 位浮点精度导致的数值问题会降低有效温度与 token 多样性，使以往评估不够公平。
2025-04-30 cs.AI cs.CL cs.LG
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Facebook AI Research（脸书人工智能研究院）
大多数机器翻译系统从左到右自回归地生成文本。相反，我们使用掩蔽语言建模目标来训练模型以预测目标词的任何子集，条件是输入文本和部分掩蔽的目标翻译。这种方法允许有效的迭代解码，其中我们首先非自回归地预测所有目标词，然后重复屏蔽并重新生成模型最不自信的词子集。通过将这种策略应用于恒定的迭代次数，我们的模型将非自回归和并行解码翻译模型的最先进性能水平平均提高了4 BLEU以上。它还能够达到典型的从左到右Transformer模型的大约1个BLEU点，同时解码速度明显更快。
2019-09-04 cs.AI cs.CL cs.LG
TABES: Trajectory-Aware Backward-on-Entropy Steering for Masked Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
TABES通过梯度引导的反向熵方法，提升掩码扩散模型的推理效率和生成鲁棒性。
2026-02-11 cs.AI cs.CL cs.LG
MABLE: Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning
Fleet Space Technologies（舰队空间技术公司）；Research School of Earth Sciences, Australian National University（澳大利亚国立大学地球科学研究学院）
提出MABLE框架，结合掩码重建与固定余弦相似度损失，用双利普希茨特征解码器等方法学习节点和图嵌入，应用于地理空间矿物勘探数据，在多项研究中展现优势。
2026-07-07 cs.LG physics.geo-ph
M2T: Masking Transformers Twice for Faster Decoding
Google Research（谷歌研究院）
本文提出M2T方法，将双向掩码Transformer用于神经图像压缩，采用预定义确定性调度并结合掩码注意力与激活缓存，在码率略增的情况下实现约4倍推理加速。
2023-04-14 cs.LG eess.IV
Faster Transformer Decoding: N-gram Masked Self-Attention
Google, Inc.（谷歌公司）
针对Transformer解码加速问题，提出基于N-gram假设截断目标侧自注意力窗口的方法，在WMT数据集上几乎不损失BLEU分数。
2024-12-18 cs.CL cs.LG stat.ML
One Sequence, Many Decodings: CAGenMol-2 Recasts Drug Design as Masked Molecular Inference
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Jinan University（暨南大学）
CAGenMol-2 通过单一掩码扩散模型统一药物设计任务，AdaFO 优化器在 CrossDocked2020 上将成功率从 30.2% 提升至 70.8%，实现高效局部优化与结构感知设计。
2026-09-29 cs.AI cs.LG
Length-Adaptive Decoding for Masked Diffusion Machine Translation
Peking University（北京大学）；BYD Company Limited（比亚迪股份有限公司）
针对掩码扩散机器翻译的长度决策问题，提出无训练的Entropy-Valley长度选择器，在多个翻译方向上显著优于基线，性能接近同数据训练的LLaMA-3-8B自回归模型。
2026-08-25 cs.AI cs.CL cs.LG
Whisfusion: Parallel ASR Decoding with Masked Diffusion
Seoul National University（首尔国立大学）；Soongsil University（顺天大学）；NVIDIA Corporation（英伟达公司）
提出Whisfusion，在冻结的Whisper音频嵌入上训练专用掩码扩散解码器，通过并行扩散解码实现非自回归ASR，在多种语言基准上超越Whisper-large-v3，速度提升4-5倍。
2026-06-09 cs.AI cs.LG cs.SD
Supportive Token Revealing for Fast Diffusion Language Model Decoding
Department of Computer Science, University of Haifa（海法大学计算机科学系）；Institute for AI, University of Stuttgart（斯图加特大学人工智能研究所）；IMPRS-IS
提出AXON模块，通过选择注意力、不确定性和置信度信号中的锚点标记来改善扩散语言模型并行解码的质量-延迟权衡。
2026-06-02 cs.AI cs.CL cs.LG
Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models
Zhejiang University（浙江大学）；ZJUI-UIUC Institute（ZJUI-UIUC研究院）
针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。
2026-06-11 cs.LG
Re-evaluating Confidence Remasking in Masked Diffusion Language Models
UvA-Bosch Delta Lab, University of Amsterdam（阿姆斯特丹大学UvA-Bosch Delta实验室）；Bosch Center for AI（博世人工智能中心）；University of Basel（巴塞尔大学）；Johns Hopkins University（约翰霍普金斯大学）
本文重新评估了掩蔽扩散语言模型中一种无需训练的后验置信度重新掩蔽方法WINO，发现在标准解码设置下其收益甚微，且会加剧多样性坍塌问题。
2026-10-28 cs.LG
Stability-Weighted Decoding for Diffusion Language Models
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，Location，Country）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，Location，Country）；Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University, Hong Kong, China（数据科学与人工智能系，香港理工大学，香港，中国）
本文提出稳定性加权解码方法，通过引入时间稳定性提升扩散语言模型的生成准确性与鲁棒性，实验表明其在代码生成和数学推理任务中表现优异。
2026-04-18 cs.CL cs.LG
Stopping Computation for Converged Tokens in Masked Diffusion-LM Decoding
Institute of Science Tokyo（东京科学研究所）；University of Liverpool（利物浦大学）；Amazon（亚马逊）；MBZUAI
本文提出SureLock方法，通过锁定稳定位置以减少计算开销，提升解码效率，实验证明在LLaDA-8B上节省30-50%的FLOPs同时保持生成质量。
2026-05-12 cs.CL cs.LG
DMax: Aggressive Parallel Decoding for dLLMs
National University of Singapore（新加坡国立大学）
DMax通过改进并行解码方法，有效缓解误差累积，提升生成质量。其核心是On-Policy Uniform Training策略，结合Soft Parallel Decoding实现高效统一的掩码和均匀解码。
2026-05-15 cs.AI cs.LG
AADNet: Exploring EEG Spatiotemporal Information for Fast and Accurate Orientation and Timbre Detection of Auditory Attention Based on A Cue-Masked Paradigm
West China Hospital, Sichuan University（四川大学华西医院）；Institute of Electronic Engineering, China Academy of Engineering Physics（中国工程物理研究院电子工程研究所）
提出线索掩蔽范式与端到端AADNet，利用0.5秒EEG时空信息快速解码听觉注意的方位和音色，准确率分别达93.46%和91.09%。
2025-01-07 cs.LG cs.SD eess.AS
Planner-Guided Recursive Exploration for Diffusion Language Model Decoding
Michigan State University（密歇根州立大学）；Morgan Stanley（摩根士丹利）；IBM T.J. Watson Research Center（IBM 托马斯·J·沃森研究中心）
研究针对扩散语言模型解码，提出自适应多步前瞻框架AdaLook，基于候选分数方差动态决定是否继续展开及进行分支扩展，避免不必要的深度展开，实验证明其在准确性和解码步骤权衡上优于现有一步前瞻解码方法。
2026-10-14 cs.CL cs.LG
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA（加州大学圣地亚哥分校）
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别，引入增强数据集并提出分解任务的模型，提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
Masked Diffusion for Generative Recommendation
UT Austin（得克萨斯大学）；Snap Inc（Snap公司）
本文提出利用掩码扩散替代自回归建模，以提升生成性推荐中语义ID序列的概率建模效果，尤其在数据受限情况下表现更优。
2025-12-18 cs.IR cs.LG
Parallelism and Generation Order in Masked Diffusion Language Models: Limits Today, Potential Tomorrow
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Social Sciences（中国社会科学院大学）；Westlake University（西湖大学）
研究评估了八种主流MDLM在58个基准上的表现，发现其并行性和生成顺序受任务领域和正确性影响显著，且在需要逆向信息的任务中表现更优，提出生成后编辑范式以提升效率。
2026-04-11 cs.AI cs.CL cs.LG
Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
研究利用自监督学习，通过在盲人参与者V1区的自发神经活动上预训练掩码自动编码器，测试能否改善感知解码。结果显示该方法有效，表明自发皮层活动有价值，无监督预训练是改善神经解码的好策略。
2026-07-28 cs.AI cs.LG cs.NE
DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs
KAIST（韩国科学技术院）
提出一种无需训练的并行解码方法DAPD，利用自注意力构建掩码标记的依赖图，通过选择独立集并行解码，避免强耦合标记同时更新，提升了扩散LLM的精度-步数权衡。
2026-06-01 cs.LG
Masked Generative Modeling with Enhanced Sampling Scheme
Norwegian University of Science and Technology（挪威科技大学）；BI Norwegian Business School（BI挪威商学院）；Abelee；Telenor Research（Telenor研究院）
针对掩码非自回归生成模型采样过程的局限，提出增强采样方案ESS，通过三阶段策略平衡样本多样性与保真度，并在128个UCR数据集上取得显著性能提升。
2023-09-14 cs.AI cs.LG stat.ML
Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models
Uppsala University, Sweden（乌普萨拉大学，瑞典）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
本文提出自奖励序列蒙特卡洛方法，用于提升掩码扩散语言模型的采样质量，通过引入轨迹级置信度信号改进生成多样性。
2026-02-02 cs.LG
Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models
The University of British Columbia（不列颠哥伦比亚大学）
本文提出BayesER，一种基于贝叶斯后验熵的扩散语言模型解码框架，通过不确定性引导标记提交，降低校准误差并保持或提升准确性，且不确定性信号可跨数据集迁移。
2026-10-06 cs.AI cs.LG
Mean-Field Parallel Decoding for Discrete Diffusion Language Models
School of Electrical & Computer Engineering, Tel Aviv University（特拉维夫大学电气与计算机工程学院）；School of Computer Science and AI, Tel Aviv University（特拉维夫大学计算机科学与人工智能学院）；Department of Computer Science, Technion, Israel Institute of Technology（以色列理工学院计算机科学系）
提出一种无需训练的解码框架，通过平均场变分松弛协调并行令牌更新，在单次前向传播中抑制冲突，提升质量-延迟权衡。
2026-06-16 cs.LG
Reconsidering Positional Supervision in Masked Diffusion Language Model Training
Tohoku University（东大大学）；RIKEN（理化学研究所）；NII LLMC（国家信息研究所LLMC）
针对掩码扩散语言模型对位置偏移敏感的问题，提出基于连接主义时序分类（CTC）的目标函数，通过引入松弛令牌和更新折叠映射来吸收位置不确定性，从而在开放生成基准上取得一致提升。
2026-06-01 cs.CL cs.LG
A Theoretical Framework for Masked Pretraining (MPT)
Peking University（北京大学）；MIT（麻省理工学院）
本文提出掩码预训练的理论框架，证明掩码隐式创建正样本对，指出维度坍缩问题并提出U-MPT损失及新掩码策略，显著提升下游任务性能。
2026-09-09 cs.LG
d2: Improving Reasoning in Diffusion Language Models via Trajectory Likelihood Estimation
Cornell University, Cornell Tech（康奈尔大学，康奈尔科技）
提出d2框架，通过新的策略梯度算法和轨迹似然估计，显著提升扩散语言模型在逻辑与数学推理任务上的性能。
2026-05-29 cs.LG
Set Block Decoding is a Language Model Inference Accelerator
FAIR at Meta（Meta的FAIR）
针对自回归语言模型推理解码成本高的问题，提出集合块解码SBD范式，整合NTP与MATP并行采样非连续未来词元，无需改架构，微调现有模型即可实现3-5倍前向传播次数减少且性能不变。
2025-09-04 cs.LG
Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
Peking University（北京大学）；Sun Yat-Sen University（中山大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论上比较自回归与掩码两种生成式自监督预训练范式，揭示二者在分类和生成任务上的优劣，并提出多样性增强自回归目标与变长掩码目标以互补改进。
2024-07-01 cs.CL cs.LG
Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出生成式掩码语言模型的理论框架，通过将T5适配为迭代并行解码实现机器翻译2-3倍加速，并结合消融实验给出设计指南与错误模式分析。
2024-07-22 cs.CL cs.LG
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University（北京大学）
基于重建任务的掩码自编码器（MAE）已经成为自监督学习（SSL）的一个有前途的范例，并在不同的基准数据集上实现了最先进的性能。然而，尽管其令人印象深刻的实证成功，仍然有有限的理论理解it. In本文中，我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系，这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接，我们开发的第一下游保证MAE方法，并分析掩模比的影响。此外，作为隐式对齐的结果，我们还指出了MAE的维度崩溃问题，并提出了均匀性增强的MAE（U-MAE）损失，可以有效地解决这个问题，并在现实世界的数据集上带来显着的改进，包括CIFAR-10，ImageNet-100和ImageNet-1 K。代码可在（https：//github.com/zhangq327/U-MAE）上获得。
2023-03-26 cs.CV cs.LG
Masked Audio Generation using a Single Non-Autoregressive Transformer
Meta；FAIR Team（FAIR团队）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Kyutai
本研究提出单阶段非自回归掩码音频生成模型MAGNeT，搭配重打分机制与混合解码策略，在文本生成音乐、文本生成音频任务上性能媲美基线且速度快7倍。
2024-03-05 cs.AI cs.LG cs.SD
MARché: Fast Masked Autoregressive Image Generation with Cache-Aware Attention
University of Southern California（南加州大学）；Yonsei University（延世大学）
针对掩码自回归图像生成模型每步重算所有token表示的高计算开销问题，提出含缓存感知注意力与选择性KV刷新的无训练框架MARché，在保证图像质量的前提下实现最高1.7倍加速。
2025-05-22 cs.AI cs.LG
Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models
ITMO University（ITMO大学）
本文研究了掩码扩散语言模型的模型调度，通过在部分去噪步骤中替换较小模型，减少计算量并保持生成质量，实验表明中间步骤对替换最敏感，整体FLOPs减少17%。
2026-04-11 cs.CL cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
