Timo: Taming Multimodal Diffusion Transformers for Human Motion Generation
LimX Dynamics
针对人体运动生成中文本理解不足和运动不协调问题，提出Timo框架，结合共享多模态注意力、流匹配和运动学监督，在基准上显著超越现有方法。
2026-10-14 cs.CV
Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation
University of Science and Technology of China（中国科学技术大学）
本研究针对多模态扩散变换器中提示遗忘问题，提出一种无需训练的提示重注入方法，通过将早期层的提示表示重新注入到后期层，以提升指令遵循能力和生成质量。
2026-08-03 cs.CV
Image Understanding Makes for A Good Tokenizer for Image Generation
ByteDance（字节跳动）
本文提出利用图像理解编码器通过特征重建目标训练图像分词器，以提升图像生成性能，VQ-KD CLIP在ImageNet-1k上达到4.10 FID，并展示了将IU编码器直接转化为分词器的有效流程。
2024-11-07 cs.CV
Flow to the Mode: Mode-Seeking Diffusion Autoencoders for State-of-the-Art Image Tokenization
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）
FlowMo是一种基于Transformer的扩散自编码器，通过模式匹配和模式寻求阶段实现图像标记化的新SOTA，无需卷积、对抗损失等。
2025-12-02 cs.CV
Diffusable Latents from Structure-Agnostic Distillation
LIGM；ENPC（巴黎高科路桥学校）；IP Paris（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；UGE（巴黎东大学）；Kyutai
本研究提出结构无关蒸馏方法，通过池化图像级描述符对齐替代密集位置级对齐，提升潜变量可扩散性，并验证一阶与关系目标在多种模态下的有效性。
2026-10-01 cs.CV
Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment
College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国）
针对LLM在数值预测任务中精度不足的问题，提出平滑最大均值差异（SMMD）方法，通过数值令牌的距离核和图平滑对齐预测分布，在数学推理等任务中显著提升准确率。
2026-06-29 cs.AI cs.CE cs.CL
Text-driven Human Motion Generation with Motion Masked Diffusion Model
University College London（伦敦大学学院）
本文提出运动掩码扩散模型MMDM，通过时间帧掩码和身体部位掩码增强扩散模型对时空关系的上下文推理能力，在HumanML3D和KIT-ML上有效平衡了运动质量与文本-运动一致性。
2024-09-29 cs.CV
SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models
Tencent Hunyuan（腾讯文英）
提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。
2026-06-09 cs.CV
3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes
Chair for Machine Learning University of Mannheim（机器学习主任办公室曼海姆大学）；Autodesk AI Lab（Autodesk人工智能实验室）；MPI for Informatics Saarland Informatics Campus（信息学研究所萨尔兰州信息学校区）
3D-WAG通过分层小波引导自回归生成技术，实现高效且高质量的3D形状生成，优于现有方法。
2026-01-09 cs.CV
CoMPaSS: Enhancing Spatial Understanding in Text-to-Image Diffusion Models
Zhejiang University（浙江大学）；vivo；Ant Group（蚂蚁集团）
针对文本到图像扩散模型空间关系生成不准确的问题，提出CoMPaSS框架，通过SCOP数据引擎解决数据模糊性、TENOR模块强化空间语义解读，在主流模型及空间基准上实现显著性能提升。
2025-08-25 cs.CV
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
University of Washington（华盛顿大学）；Meta FAIR
本文提出将字节模型蒸馏为更小更强模型的方法，通过高效转换词元对数几率为字节对数几率，证明字节模型在更高计算量下性能超越词元模型，且数据效率更高，存储成本更低。
2026-09-14 cs.AI cs.CL cs.LG
Representation-Space MMD for Diffusion Language Models
Yandex Research（Yandex研究院）；HSE University（高等经济大学）；Applied AI Institute（应用人工智能研究所）；AXXX；T-Tech；Constructor University（康斯特大学）
提出一种基于表示空间MMD的后训练方法，通过最小化生成与参考分布间的MMD，无需完整采样轨迹即可高效优化扩散语言模型，在困惑度、准确率和解码并行性上取得改进。
2026-10-06 cs.CL cs.LG
Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD
East China Normal University（华东师范大学）；Hugging Face
针对Direct-OPD中低散度状态监督无效的问题，提出选择性监督方法S$^2$D-OPD，仅保留前10%高散度状态进行蒸馏，在多个模型和基准上提升准确率且无需额外计算。
2026-09-29 cs.AI cs.LG
Efficient Diffusion Distillation via Embedding Loss
School of Big Data and Artificial Intelligence（大数据与人工智能学院）；Guangdong University of Finance and Economics（广东金融学院）；School of Computer Science（计算机科学学院）；Shandong University（山东大学）
本文提出嵌入损失，通过特征嵌入对齐提升生成质量并加速训练，实验表明在CIFAR-10等数据集上取得SOTA结果，同时减少训练迭代次数。
2026-04-24 cs.CV
Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness
提出ReCoGen两阶段框架，将多模态条件表征与生成分离，在三个生理基准的16项任务中超越6种生成器，可合成缺失生理信号以实现低侵入性临床监测。
2026-08-18 cs.LG
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA（英伟达）
提出DiLaDiff，通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足，提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Foundry: Distilling 3D Foundation Models for the Edge
GREYC, Normandy University, Unicaen, ENSICAEN, UMR CNRS 6072（GREYC，诺曼底大学，卡昂大学，ENSICAEN，CNRS UMR 6072）；IIT Delhi（印度理工学院德里分校）；IIT Kanpur（印度理工学院坎普尔分校）
本文提出Foundry，一种蒸馏3D点云的大规模自监督学习模型的方法，通过压缩模型保留通用表示能力，使模型更适用于资源受限的边缘设备。
2026-03-26 cs.AI cs.CV cs.LG
Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对Transformer推理的二次复杂度问题，提出MOHAWK方法，将预训练Transformer蒸馏到SSM等亚二次架构，通过匹配混合矩阵、隐藏单元及端到端预测，用少量数据实现高性能，为非Transformer模型构建提供新途径。
2025-02-08 cs.AI cs.LG
Gumbel Straight Flow: Distilling Autoregressive Models into One-step Flow Maps
Google DeepMind Amsterdam（谷歌深度思维阿姆斯特丹）
提出Gumbel Straight Flow（GSF），利用自回归模型的噪声-数据耦合构建连续流映射，通过流映射半群目标实现高质量少步采样，在多项基准上超越现有少步语言生成方法。
2026-10-02 cs.AI cs.LG
Token Distillation: Attention-aware Input Embeddings For New Tokens
Hasso Plattner Institute ELLIS Unit（波茨坦大学哈索普兰特纳研究所ELLIS单位）；University of Copenhagen ELLIS Unit（哥本哈根大学ELLIS单位）
本文提出令牌蒸馏方法，通过蒸馏原始分词获得的表示快速学习高质量新令牌嵌入，实验表明其优于现有基线。
2026-03-13 cs.CL cs.LG
SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation
针对视频扩散Transformer自注意力的二次复杂度瓶颈，提出SQuad次二次注意力蒸馏框架，通过两阶段蒸馏适配预训练模型，在保持生成质量的同时大幅提升效率。
2026-08-18 cs.CV
Masked Distillation with Receptive Tokens
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
从特征图中提取对于密集预测任务可以是相当有效的，因为特征可辨别性和定位先验都可以很好地传递。然而，并不是每个像素对表现的贡献都是一样的，一个好学生应该从老师真正关心的事情中学习。在本文中，我们引入了一个可学习的嵌入被称为接受令牌本地化这些像素的利益（POI）的特征图，通过像素的注意力产生的蒸馏掩模。然后，将通过逐像素重建对掩模执行蒸馏。通过这种方式，蒸馏掩模实际上指示教师的特征图内的像素依赖性的模式。因此，我们采用多个接受令牌调查更复杂和信息像素的依赖关系，以进一步提高蒸馏。为了获得一组面具，接受令牌通过常规任务损失学习，但教师固定，我们还利用骰子损失来丰富学习面具的多样性。该方法简单实用，不需要任务先验知识。实验表明，我们的MasKD可以达到国家的最先进的性能一致的目标检测和语义分割基准。代码可在：https://github.com/hunto/MasKD.
2023-03-02 cs.CV cs.LG
Parallel Token Prediction for Language Models
Department of Computer Science, University of California, Irvine（加州大学伊维特分校计算机科学系）；Chan-Zuckerberg Initiative（张博士基金会）；Pyramidal AI（金字塔人工智能）；Computer Science & AI in Science Institute, University of California, Irvine（加州大学伊维特分校计算机科学与科学人工智能研究所）
提出并行令牌预测框架，通过引入随机输入变量实现多令牌联合预测，提升语言模型解码效率。
2026-03-04 cs.CL cs.LG
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs（Meta现实实验室）
本文通过基于logit的知识蒸馏，在不使用长上下文预训练的情况下，实现了长上下文检索能力的转移，揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
Not All Tokens Matter Equally: Dynamic In-context Vector Distillation with Decisive-Token Supervision for Long-form Medical Report Generation
UNSW Sydney（新南威尔士大学悉尼分校）；University of Technology Sydney（技术大学悉尼分校）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）
提出DIVE框架，通过关键标记监督和状态条件动态引导，解决长文本生成中标记级蒸馏忽略关键标记的问题，在医学报告生成任务上取得最佳性能。
2026-05-26 cs.CL cs.CV cs.LG
Knowledge Distillation via Token-level Relationship Graph
Huazhong University of Computer Science and Technology（华中计算机科学与技术大学）
本文提出基于Token级关系图的知识蒸馏方法（TRG），利用Token级关系知识增强蒸馏，并引入上下文损失，在视觉分类任务上优于现有基线，达到最先进性能。
2023-06-20 cs.AI cs.LG
Beyond Distillation: Task-level Mixture-of-Experts for Efficient Inference
Google Research（谷歌研究院）
稀疏混合专家模型（MoE）是一种成功的方法，可以将多语言翻译模型扩展到数十亿个参数，而无需按比例增加训练计算。然而，MoE模型过于庞大，从业人员经常采用蒸馏等方法来提供服务。在这项工作中，我们研究路由策略在不同的粒度（令牌，句子，任务）在MoE模型绕过蒸馏。在WMT和网络规模数据集上的实验表明，任务级路由（task-MoE）使我们能够从大型稀疏模型中提取更小的、可随时部署的子网络。在WMT上，我们的任务-MoE与32个专家（533 M参数）在30个语言对上的平均表现优于表现最好的令牌级MoE模型（令牌-MoE）+1.0 BLEU。当我们通过任务而不是令牌进行路由时，峰值推理吞吐量也提高了1.9倍。虽然将令牌MoE提取为较小的密集模型仅保留了32%的BLEU增益，但我们的子网络任务MoE通过设计保留了所有增益，其推理成本与提取的学生模型相同。最后，当扩展到200个语言对时，我们的128个专家任务MoE（13 B参数）与令牌级对应物相比具有竞争力，同时将峰值推理吞吐量提高了2.6倍。
2021-09-24 cs.CL cs.LG
Soft Tokens, Hard Truths
University of Amsterdam（阿姆斯特丹大学）；Meta FAIR；New York University（纽约大学）
本研究首次提出通过强化学习可扩展地学习连续思维链（软标记），无需蒸馏，在数学推理上匹配或超越离散思维链，并更好地保留基础模型域外性能。
2025-09-24 cs.AI cs.CL cs.LG
Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion
Microsoft（微软）
字-音转换是自动语音识别和文-语转换系统中的一项重要任务。最近，G2 P转换被视为序列到序列的任务，并通过基于RNN或CNN的编码器-解码器框架来建模。然而，以前的工作没有考虑实际问题时，部署G2 P模型在生产系统中，如如何利用额外的未标记的数据，以提高准确性，以及减少模型的大小，在线部署。在这项工作中，我们提出了用于G2 P转换的令牌级集成蒸馏，它可以（1）通过从额外的未标记数据中提取知识来提高精度，（2）减少模型大小但保持高精度，这两者在在线生产系统中非常实用和有用。我们使用令牌级的知识蒸馏，这导致更好的准确性比序列级的对应。更重要的是，我们采用了Transformer而不是RNN或CNN模型，以进一步提高G2 P转换的准确性。在公开的CMUDict数据集和国内英语数据集上的实验证明了该方法的有效性。特别是，我们的方法在CMUDict数据集上实现了19.88%的WER，超过了以前的作品超过4.22%的WER，并设置了新的最先进的结果。
2019-08-12 cs.CL cs.LG cs.SD
PDFA Distillation via String Probability Queries
Technical University of Delft（代尔夫特理工大学）
本文提出一种L#算法的衍生方法，通过字符串概率查询从神经网络中蒸馏概率确定性有限自动机（PDFA），并在公开数据集上验证了其作为可解释代理模型的有效性。
2024-06-28 cs.FL cs.LG
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）；Independent Researcher（独立研究者）
提出SC-GRPO方法，利用自条件化分布间的KL散度作为GRPO梯度的乘性权重，实现细粒度信用分配，在数学、代码和智能体任务上平均提升8.1%。
2026-10-09 cs.AI cs.LG
Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
Humboldt-Universität zu Berlin（柏林洪堡大学）；Bucharest University of Economic Studies（布加勒斯特经济研究大学）
本文提出一种利用零样本提示将LLM高效蒸馏为特定应用小模型的方法，通过多任务框架让学生模型模仿教师预测与自然语言理由，显著降低成本与人工干预。
2024-03-23 cs.AI cs.CL cs.LG
WavSLM: Single-Stream Speech Language Modeling via WavLM Distillation
Concordia University（康科迪亚大学）；Mila-Quebec AI Institute（蒙特利尔AI研究所）；Université Laval（拉瓦尔大学）
提出WavSLM，通过量化蒸馏WavLM自监督表示到单一码本并优化自回归下一块预测，实现无文本监督的单流语音语言建模，在一致性和生成任务上表现竞争。
2026-06-16 cs.AI cs.CL cs.LG
Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation
Korea University（韩国大学）；SK Telecom（SK电信）
本文提出TSD-KD框架，通过令牌选择性双知识蒸馏提升学生模型的推理能力，结合间接和直接蒸馏方法，实验表明在10个挑战性推理基准上性能优于基线和亚军。
2026-02-25 cs.AI cs.CL cs.LG
Temporal Self-Distillation: Faster Inference in Discrete Diffusion Language Models
University of Basel（巴塞尔大学）；University of Amsterdam（阿姆斯特丹大学）；Johns Hopkins University（约翰霍普金斯大学）
时间自蒸馏通过跨时间步蒸馏预测，使离散扩散语言模型能更激进地并行解码，在数学、规划和代码基准上显著提升速度-质量权衡，实现单阶段加速。
2026-09-15 cs.LG
DeiT-LT Distillation Strikes Back for Vision Transformer Training on Long-Tailed Datasets
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
本文提出 DeiT-LT，通过分布外图像、重加权蒸馏损失和平坦 CNN 教师，使 ViT 从零开始学习长尾数据中的头尾类特征。
2024-04-03 cs.AI cs.CV cs.LG
CRISP: Compressed Reasoning via Iterative Self-Policy Distillation
CRISP通过自蒸馏使模型更简洁推理，无需真实答案或预算，在数学和多步骤规划任务中实现显著的token减少和精度提升。
2026-07-03 cs.LG
LastOPD: Taming Collapse in Latent On-Policy Distillation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Visa Research（Visa研究院）；Case Western Reserve University（凯斯西储大学）；University of Florida（佛罗里达大学）；The Ohio State University（俄亥俄州立大学）
LastOPD通过在最后层状态仅短暂应用潜在监督并交叉淡入词元级在线策略蒸馏，解决了潜在在线策略蒸馏中的后期崩溃问题，显著提升数学推理性能。
2026-09-25 cs.CL cs.LG
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
Peking University（北京大学）；Zhejiang University（浙江大学）
本文提出TIDE框架，通过跨架构蒸馏提升扩散大语言模型性能，采用三个模块解决不同架构间的知识转移问题，在八个基准测试中平均提升1.53分，尤其在代码生成任务中表现突出。
2026-04-29 cs.AI cs.CL cs.LG
