Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models
Cornell Tech(康奈尔科技学院);Stanford University(斯坦福大学);Cohere(Cohere公司)
针对扩散语言模型似然建模弱、仅能固定长度生成的问题,提出可在离散去噪扩散与自回归模型间插值的Block Diffusion模型,支持灵活长度生成、推理效率更高,刷新扩散模型语言建模基准SOTA。
2025-05-17 cs.AI cs.LG
DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models
Fudan University(复旦大学)
提出了一种基于离散扩散模型的生成式掩蔽语言模型DiffusionBERT。扩散模型和许多预先训练的语言模型具有共享的训练目标,即,去噪,使其能够结合两个强大的模型,享受两全其美。一方面,扩散模型提供了一种有前途的训练策略,有助于提高生成质量。另一方面,预先训练的去噪语言模型(例如,BERT)可以用作加速收敛的良好初始化。我们探索训练BERT学习的反向过程的离散扩散过程的吸收状态和阐明几个设计,以改善it. First,我们提出了一个新的噪声时间表的前向扩散过程中,控制的程度,在每一步的基础上,每个令牌的信息添加的噪声。其次,我们研究了几种将时间步长纳入BERT的设计。对无条件文本生成的实验表明,DiffusionBERT比现有的文本扩散模型(例如,D3 PM和Diffusion-LM)和先前的生成掩蔽语言模型在困惑度和BLEU得分方面的性能。
2022-11-30 cs.AI cs.CL cs.LG
Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning
ByteDance Research(字节跳动研究院);Fudan University(复旦大学)
本文证明通过数据、规模和任务上的扩展,扩散语言模型能成为强大的语言学习者,并通过指令微调激发上下文学习能力,解决多种一般语言任务。
2025-02-24 cs.AI cs.CL cs.LG
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA(英伟达)
提出DiLaDiff,通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足,提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning
Department of Computer Science, Cornell University(计算机科学系,康奈尔大学)
STAR-LDM通过引入思考阶段的潜在扩散规划,实现了更高效的全局规划和生成,显著提升了语言理解和叙事连贯性任务的表现。
2026-02-24 cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia(弗吉尼亚大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题,提出SpecDiff方法,用离散扩散模型生成草稿序列实现草稿与验证并行,在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
Scaling Beyond Masked Diffusion Language Models
Department of Computer Science, Cornell Tech, NYC, USA(康奈尔科技学院计算机科学系);Department of Computer Science, Cornell University, Ithaca, USA(康奈尔大学计算机科学系);School of Computer and Communication Sciences, EPFL Lausanne, Switzerland(洛桑联邦理工学院计算机与通信科学学院);Department of Computer Science, University of Chicago, Illinois(芝加哥大学计算机科学系);NVIDIA, Santa Clara, USA(英伟达)
本文研究了统一状态和插值离散扩散方法的扩展定律,发现掩码扩散在FLOPs效率上可提升12%,并展示了统一状态扩散在GSM8K任务中的优越表现
2026-02-16 cs.CL cs.LG
Single-Step Consistent Diffusion Samplers
Purdue University(普渡大学)
针对现有采样算法迭代步骤多、计算成本高的问题,提出一致扩散采样器,通过蒸馏预训练模型或从头训练带自一致性损失的单一模型,实现单步生成高保真样本,网络评估次数仅为传统方法的1%以下。
2025-02-11 cs.LG stat.ML
Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tencent AI Lab(腾讯AI Lab)
本文提出 Diffusion-of-Thought(DoT),让推理步骤在扩散语言模型中逐步扩散,以更灵活地权衡计算与性能,并在算术、逻辑和数学题上以小模型超越大型自回归模型。
2024-12-05 cs.AI cs.CL cs.LG
Automating Evaluation of Diffusion Model Unlearning with (Vision-) Language Model World Knowledge
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学)
提出自动化工具 autoeval-dmun,利用(视觉-)语言模型提取世界知识以识别受损周边概念并生成对抗性提示,全面评估扩散模型遗忘效果,发现语言模型能有效量化遗忘损害并成功规避遗忘。
2025-07-09 cs.CL cs.LG
Diffusion Guided Language Modeling
Cornell University(康奈尔大学)
本文提出用引导扩散模型生成潜在提议来引导自回归语言模型,在保持流畅性的同时实现即插即用的属性控制,并在多个基准数据集上优于以往方法。
2024-08-08 cs.CL cs.LG
Energy-Based Diffusion Language Models for Text Generation
Stanford University(斯坦福大学);NVIDIA(英伟达公司)
提出基于能量的扩散语言模型(EDLM),通过在序列级别引入残差形式的能量模型改进扩散近似,并利用并行重要性采样加速生成,显著优于现有扩散模型且接近自回归模型性能。
2025-03-07 cs.CL cs.LG
Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference
ByteDance Seed(字节跳动种子);Institute for AI Industry Research (AIR)(人工智能产业研究院);Tsinghua University(清华大学)
本文提出基于离散扩散的大规模语言模型 Seed Diffusion Preview,通过并行生成实现高速推理,在 H20 上达每秒 2146 token,性能媲美现有模型,刷新速度-质量帕累托前沿。
2025-08-04 cs.CL cs.LG
LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation
UC Berkeley(加州大学伯克利分校);NEC Labs America(NEC美国实验室);UC San Diego(加州大学圣地亚哥分校)
本文提出语言条件场景扩散模型 LangTraj、闭环训练策略及 Inter-Drive 数据集,以自然语言控制交通参与者联合轨迹,并在 Waymo 数据集上验证其真实感、可控性与安全关键模拟能力。
2025-10-20 cs.LG cs.RO
Next Semantic Scale Prediction via Hierarchical Diffusion Language Models
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Mila - Quebec AI Institute(魁北克AI研究所)
本文提出分层扩散语言模型(HDLM),通过分层词汇表实现时变的下一语义尺度预测,推导ELBO闭式解,并在文本生成中取得更低困惑度。
2025-10-08 cs.CL cs.LG
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
FastGuide提出一种并行与自回归自适应混合解码方法,加速扩散语言模型的奖励引导,在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
Google Research(谷歌研究院)
我们提出了Imagen,一个文本到图像的扩散模型,具有前所未有的逼真度和深刻的语言理解水平。Imagen建立在大型Transformer语言模型理解文本的能力之上,并依赖于扩散模型在高保真图像生成方面的能力。我们的关键发现是,在纯文本语料库上预训练的通用大语言模型(例如T5)在编码图像合成的文本时非常有效:在Imagen中增加语言模型的大小可以大大提高样本保真度和图文对齐,而不是增加图像扩散模型的大小。Imagen在COCO数据集上获得了7.27的最新FID分数,而无需在COCO上进行训练,人类评分员发现Imagen样本在图文对齐方面与COCO数据本身不相上下。为了更深入地评估文本到图像模型,我们引入了DrawBench,这是一个针对文本到图像模型的全面且具有挑战性的基准。使用DrawBench,我们将Imagen与最近的方法(包括VQ-GAN+CLIP,潜空间扩散模型和DALL-E 2)进行了比较,并发现在样本质量和图文对齐方面,人类评分员在并排比较中更喜欢Imagen。有关结果的概述,请参见https://imagen.research.google/。
2022-05-23 cs.CV cs.LG
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
UIUC(伊利诺伊大学)
LangFlow通过连接嵌入空间DLM与流匹配的Bregman散度,提出三种创新方法,实现了连续扩散在语言建模中的突破,达到与离散模型相当的性能。
2026-11-09 cs.CL cs.LG
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
Non-Markovian Discrete Diffusion with Causal Language Models
Yale University(耶鲁大学)
针对离散扩散模型因马尔可夫假设导致误差累积、表达力弱于因果语言模型的问题,提出以全生成轨迹为条件的CaDDi模型,统一两类推理且可复用预训练LLM权重,性能优于现有离散扩散基线,缩小了与自回归大模型的差距。
2025-10-28 cs.AI cs.CL cs.LG
Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers
Sookmyung Women's University(成均馆女子大学)
针对潜在扩散模型逆问题求解器的不稳定性,提出测量一致朗之万校正器(MCLC),通过测量一致的朗之万更新缩小求解器与稳定反向扩散之间的差距,实现稳定可靠的潜在空间求解。
2026-06-05 cs.CV cs.LG
Diffusion Language Models for Speech Recognition
Machine Learning and Human Language Technology Group, RWTH Aachen University, Germany(人工智能与人类语言技术小组,亚琛工业大学,德国);AppTek, Germany(AppTek,德国)
本文探讨了扩散语言模型在语音识别中的应用,提出结合CTC与USDM的联合解码方法,提升识别准确性。
2026-04-29 cs.AI cs.CL cs.LG
Understanding the Quality-Diversity Trade-off in Diffusion Language Models
University of Cambridge(剑桥大学)
针对扩散语言模型缺乏质量-多样性调控手段的问题,本文提出结合无分类器引导与随机截断,在序列到序列任务中操控并改善该权衡,从而提升模型性能。
2025-03-11 cs.AI cs.CL cs.LG
Cross-Modality Controlled Molecule Generation with Diffusion Language Model
针对现有SMILES扩散模型仅支持单模态约束且需重新训练的问题,提出CMCM-DLM方法,通过结构和性质控制模块分阶段注入跨模态约束,无需重新训练即可扩展新约束,提升分子生成的适应性与效率。
2026-10-07 cs.AI cs.LG
Towards Latent Diffusion Suitable For Text
University of Amsterdam(阿姆斯特丹大学)
本文提出神经流扩散模型,用于高效生成文本,通过改进连续扩散模型在离散空间的应用,提升语言生成的连贯性和效率。
2026-01-07 cs.CL cs.LG stat.ML
TabDLM: Free-Form Tabular Data Generation via Joint Numerical-Language Diffusion
Washington University in St. Louis(华盛顿大学圣路易斯分校);Peking University(北京大学);Ant Group(蚂蚁集团)
本文提出TabDLM,通过联合数值-语言扩散模型生成包含文本、分类和数值特征的自由形式表格数据,有效解决多模态数据生成难题。
2026-11-10 cs.AI cs.CL cs.LG
DLM-One: Diffusion Language Models for One-Step Sequence Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究提出DLM-One框架,通过分数蒸馏实现连续扩散语言模型的单步序列生成,大幅提升采样速度并保持基准任务性能,还提出对抗正则化两阶段训练方案防止模型退化。
2026-09-03 cs.CL cs.LG stat.ML
Language-Guided Traffic Simulation via Scene-Level Diffusion
Columbia University(哥伦比亚大学);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学);Georgia Tech(佐治亚理工学院)
为解决交通仿真控制难的问题,提出场景级条件扩散模型CTG++,利用大语言模型将语言指令转化为损失函数,引导时空Transformer生成逼真且符合查询要求的交通仿真。
2023-10-18 cs.AI cs.LG cs.RO
3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Center for Artificial Intelligence Foundations and Scientific Applications(人工智能基础与科学应用中心);Institute for Computational and Data Sciences(计算与数据科学研究所);The Pennsylvania State University(宾夕法尼亚州立大学)
3M-Diffusion提出一种多模态分子生成方法,通过将分子图潜在空间与文本空间对齐并结合扩散模型,实现基于语言描述生成高质量、新颖且多样化的分子结构。
2024-10-02 cs.CL cs.LG q-bio.BM
Soft-Masked Diffusion Language Models
IBM Research – Zurich(IBM苏黎世研究院)
本文提出软掩码方法,通过动态融合掩码token与预测token的嵌入,提升扩散语言模型的生成性能和准确性。
2026-03-02 cs.AI cs.CL cs.LG
LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
Gaoling School of AI, Renmin University of China(中国人民大学人工智能学院);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大型模型与智能治理研究重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心,教育部);Ant Group(蚂蚁集团)
本文提出纯扩散多模态大语言模型 LLaDA-V,通过视觉编码器与MLP连接器实现视觉指令微调,在多模态理解上达到最先进性能,证明大语言扩散模型在多模态场景中的潜力。
2025-06-04 cs.CL cs.CV cs.LG
EL3DD: Extended Latent 3D Diffusion for Language Conditioned Multitask Manipulation
Autonomous Intelligent Systems, University of Bonn(博恩大学自主智能系统)
本文提出EL3DD模型,通过结合视觉和文本输入,利用扩散模型生成精确的机器人轨迹,提升多任务操作的性能和长周期成功率。
2026-04-26 cs.AI cs.LG cs.RO
Diffusion on language model encodings for protein sequence generation
Constructor University, Bremen, Germany(Constructor大学,不来梅,德国)
DiMA提出一种基于蛋白质语言模型表示的潜在连续扩散框架,统一处理多种编码器,生成高质量、多样且新颖的蛋白质序列,并支持条件生成任务。
2025-09-06 cs.AI cs.LG q-bio.BM
Discrete Diffusion Models for Language Generation
Department of Computer and Information Science(计算机与信息科学系)
本研究探讨离散扩散模型(D3PM)在语言生成中的可行性,与自回归模型对比,发现D3PM虽压缩性能略逊但处理速度更快,具并行生成潜力。
2025-07-02 cs.CL cs.LG stat.ML
Diffusion-LM Improves Controllable Text Generation
Stanford University(斯坦福大学)
在不重新训练的情况下控制语言模型(LM)的行为是自然语言生成中的一个主要开放问题。虽然最近的工作已经证明了控制简单句子属性的成功(例如,情绪),在复杂的细粒度控制(例如,句法结构)。为了解决这个问题,我们开发了一个新的非自回归语言模型的基础上连续扩散,我们称之为扩散LM。基于最近连续域中扩散模型的成功,Diffusion-LM迭代地将高斯向量序列去噪为词向量,产生中间潜变量序列。这些中间变量的连续性和层次性使得简单的基于梯度的算法能够执行复杂的可控生成任务。我们展示了成功的控制扩散LM六个具有挑战性的细粒度控制任务,显着优于以前的工作。
2022-05-27 cs.AI cs.CL cs.LG
Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning
Department of Artificial Intelligence(人工智能系);Yonsei University(延世大学)
针对扩散语言模型的长解码窗口问题,提出卷积解码与拒绝式微调,在保持速度的同时提升生成质量,在AlpacaEval等基准上取得最优结果。
2025-10-24 cs.AI cs.CL cs.LG
DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
University of Adelaide(阿德莱德大学)
本文提出扩散驱动提示调优方法DDPT,通过从高斯噪声学习生成最优提示嵌入,自动优化LLM代码生成的提示,实验表明其能有效提升提示优化效果。
2025-04-06 cs.AI cs.CL cs.LG
Breaking AR's Sampling Bottleneck: Provable Acceleration via Diffusion Language Models
Department of Statistics and Data Science, Chinese University of Hong Kong, Hong Kong(统计与数据科学系,香港中文大学);Department of Industrial and Operations Engineering, University of Michigan, Ann Arbor, USA(工业与运营管理系,密歇根大学)
本文从信息论角度为扩散语言模型提供收敛保证,证明采样误差随迭代次数减少而降低,从而突破自回归模型所需的L步瓶颈,为生成高质量样本提供理论支持。
2026-01-08 cs.IT cs.LG math.IT
PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play
Carnegie Mellon University(卡内基梅隆大学)
提出 PlayFusion,用语言标注的非结构化玩耍数据训练多任务条件扩散模型,并通过离散瓶颈提取可复用的机器人技能词汇。
2023-12-07 cs.AI cs.CV cs.LG
Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models
Microsoft AI(微软人工智能)
提出自适应块扩散(ABD),通过将配置视为随机变量,在完整配置空间上训练单一模型,解决扩散语言模型中固定上下文结构导致的训练与推理不匹配问题,保证覆盖配置下的去噪最优性。
2026-06-28 cs.LG
Enhancing Diffusion Language Models with Autoregressive Post-Training Weights
EPFL(洛桑联邦理工学院)
提出A2D框架,无需训练即可将自回归模型的后训练权重更新应用于扩散语言模型,通过组合AR与扩散后训练更新,提升指令遵循、数学推理和编码能力。
2026-10-07 cs.LG
Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One
Duke University(杜克大学);Tsinghua University(清华大学)
本研究提出0.7B参数连续扩散代码生成模型PlaidQ,通过蒸馏实现少步或单步代码生成,16步模型性能超512步采样的教师模型,单步模型也能生成正确代码。
2026-09-14 cs.LG
Alpha Diffusion Language Models: Factorization Alone Is Not the Problem
Applied AI Institute(应用人工智能研究所);AXXX;Yandex Research
针对离散扩散语言模型并行生成中预测不一致的问题,提出AlphaDLM,通过序列级alpha损失训练,在TinyGSM和SDAR-1.7B上提升了精度-计算权衡。
2026-09-30 cs.LG
Is Your Diffusion Sampler Actually Correct? A Sampler-Centric Evaluation of Discrete Diffusion Language Models
University of California, Riverside(加州大学河滨分校)
针对离散扩散语言模型评估中采样误差与去噪误差混淆的问题,提出基于oracle的采样器中心框架,通过精确隐马尔可夫模型后验隔离采样误差,发现少步离散扩散采样器在oracle去噪器下仍存在分布偏差。
2026-05-27 cs.LG
Discovering Mathematical Equations with Diffusion Language Model
本文提出基于连续状态扩散语言模型的符号回归预训练框架DiffuSR,通过可训练嵌入层和交叉注意力机制建模方程分布并引导去噪生成,结合注入logit先验的遗传规划推理策略,在标准基准上实现了与最先进自回归方法相媲美的性能,并生成更具可解释性和多样性的数学表达式。
2025-09-16 cs.LG
CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models
Google DeepMind(谷歌DeepMind)
CanvasAnneal通过课程式教师引导注入与逐步退火,缓解扩散语言模型强化学习的探索瓶颈,在数学推理和工具使用基准上优于标准方法并加速收敛。
2026-09-14 cs.LG
A Consistent Diffusion-Based Algorithm for Semi-Supervised Classification on Graphs
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工学院)
图上的半监督分类旨在基于称为种子的几个节点的已知标签为图的所有节点分配标签。最流行的算法依赖于热扩散的原理,其中种子的标签通过热传导扩散,并且每个节点的温度被用作每个标签的得分函数。使用一个简单的块模型,我们证明了该算法是不一致的,除非在分类之前的节点的温度是中心。我们表明,这种简单的修改算法是足够的,以获得显着的性能增益的真实数据。
2020-08-27 cs.LG
State Fourier Diffusion Language Model (SFDLM): A Scalable, Novel Iterative Approach to Language Modeling
University of California Berkeley(加州大学伯克利分校)
针对现有文本生成模型依赖transformer自注意力导致计算成本高的问题,提出无transformer的离散扩散文本生成模型SFDLM,结合时域状态空间动力学与频域复傅里叶多层感知器,有效捕捉长短程依赖。
2025-03-16 cs.CL cs.LG
Discrete Diffusion Language Models for Interactive Radiology Report Drafting
Stanford University School of Medicine(斯坦福大学医学院);Ghent University(根特大学);Stanford University(斯坦福大学)
提出将离散扩散语言模型用于放射报告草稿生成,利用其任意顺序填充能力实现交互式编辑,在医学VQA任务上达到或超越自回归模型,解码速度快3.5-4.4倍。
2026-07-03 cs.AI cs.LG
UniRL-Zero: Reinforcement Learning on Unified Models with Joint Language Model and Diffusion Model Experts
Cuhk(香港中文大学)
本研究提出统一强化学习框架UniRL-Zero,在统一模型内协同提升多模态语言模型理解推理与扩散模型生成能力,定义六种学习场景并提供系统基准,相关代码已开源。
2025-10-20 cs.AI cs.LG
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型,通过利用标记间的内在结构,减少参数和内存使用,实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG
Text Generation with Diffusion Language Models: A Pre-training Approach with Continuous Paragraph Denoise
Xiamen University(厦门大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Tsinghua University(清华大学);Fudan University(复旦大学)
在本文中,我们介绍了一种新的diff语言的语言模型预训练框架,文本生成,我们称之为GENIE。GENIE是一个大规模的预训练扩散语言模型,它由一个编码器和一个基于扩散的解码器组成,它可以通过将随机噪声序列逐渐转换为连贯的文本序列来生成文本。为了在大规模语言语料库上对GENIE进行预训练,我们设计了一个新的连续段落去噪目标,该目标鼓励扩散解码器从损坏的版本中重建干净的文本段落,同时保持语义和句法一致性。我们评估GENIE的四个下游文本生成基准,即XSum,CNN/DailyMail,Gigaword和CommonGen。我们的实验结果表明,GENIE在这些基准测试中实现了与最先进的自回归模型相当的性能,并生成了更多样化的文本样本。GENIE的代码和模型可在https://github.com/microsoft/ProphetNet/tree/master/GENIE上获得。
2023-02-17 cs.CL cs.LG
Diffusion-State Policy Optimization for Masked Diffusion Language Models
Institute of Science Tokyo(东京科学研究院)
本文提出Diffusion-State Policy Optimization(DiSPO),一种用于掩码扩散语言模型的插件信用分配层,通过直接优化中间填充决策来改进生成过程,实验表明其在数学和规划基准测试中优于现有基线方法。
2026-05-19 cs.CL cs.LG
Simple and Effective Masked Diffusion Language Models
Cornell Tech(康奈尔科技学院)
本文提出一种简单有效的掩码离散扩散方法,通过改进训练方案和推导简化的Rao-Blackwellized目标,显著提升了模型性能,在语言建模基准上逼近自回归方法的困惑度并达到扩散模型的最优水平。
2024-11-10 cs.AI cs.CL cs.LG