Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory
Shandong University(山东大学);Fuzhou University(福州大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出匹配凸化轨迹(MCT)方法,通过凸组合专家轨迹解决传统MTT中轨迹不稳定、收敛慢和存储高的问题,并在三个公开数据集上验证其优越性。
2024-06-28 cs.LG
Regularized Distribution Matching Distillation for One-step Unpaired Image-to-Image Translation
HSE University(高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Constructor University(康斯特大学)
针对无配对图像到图像翻译任务,研究提出正则化分布匹配蒸馏方法,对DMD框架进行改进,在多类翻译任务上实现了与多步扩散基线相当或更优的单步生成效果。
2024-06-20 cs.CV cs.LG
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);Hong Kong University of Science and Technology(香港科技大学)
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题,提出得分梯度匹配蒸馏(SGMD),通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标,实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Knowledge Transfer with Jacobian Matching
经典的蒸馏方法通过匹配它们的输出激活来将表示从“教师”神经网络转移到“学生”网络。最近的方法还匹配雅可比矩阵,或输出激活与输入的梯度。然而,这涉及到做出一些临时决策,特别是损失函数的选择。本文首先建立了雅可比匹配与带输入噪声的蒸馏之间的等价关系,并由此导出了雅可比匹配的合适的损失函数。然后,我们依靠这种分析,通过建立最近的迁移学习过程与蒸馏的等价性,将雅可比匹配应用于迁移学习。然后,我们在标准图像数据集上通过实验表明,基于雅可比的惩罚改进了蒸馏,对噪声输入的鲁棒性和迁移学习。
2018-03-01 cs.CV cs.LG
Universal Inverse Distillation for Matching Models with Real-Data Supervision (No GANs)
Applied AI Institute(应用人工智能研究所);MIRAI;BRAIn Lab(BRAIn实验室);AI Foundation lab(人工智能基础实验室);MBZUAI(穆扎伊国际人工智能大学);AXXX
本文提出RealUID框架,通过无需GANs的方式将真实数据无缝融入逆向蒸馏过程,为所有匹配模型提供统一的蒸馏方法,涵盖流匹配和扩散模型,并可扩展至其变种。
2026-05-18 cs.LG stat.ML
SelMatch: Effectively Scaling Up Dataset Distillation via Selection-Based Initialization and Partial Updates by Trajectory Matching
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电气工程学院)
提出SelMatch数据集蒸馏方法,通过基于选择的初始化和轨迹匹配的部分更新控制合成数据集难度,有效解决IPC增大时覆盖差距问题,在CIFAR-10/100和TinyImageNet上表现优异。
2024-05-28 cs.CV cs.LG
Data Unlearning via Inverse Distillation
AI Foundation lab(AI 基础实验室);MIRAI;Applied AI Institute(应用人工智能研究院);BRAIn Lab(BRAIn 实验室);AXXX
提出逆蒸馏反学习(IDU)统一框架,同时蒸馏多步匹配模型为一步生成器并抑制遗忘集输出,仅需遗忘数据,实验表明能降低遗忘类生成频率并保持质量。
2026-09-30 cs.LG
Path-Guided Flow Matching for Dataset Distillation
Department of Machine Learning, MBZUAI, Abu Dhabi, UAE(机器学习系,MBZUAI,阿布扎赫德,阿联酋);Department of Computer Vision, MBZUAI, Abu Dhabi, UAE(计算机视觉系,MBZUAI,阿布扎赫德,阿联酋)
PGFM通过流匹配框架实现高效数据集蒸馏,以更少的采样步骤和更高的效率生成高质量的合成数据。
2026-02-05 cs.AI cs.LG
Guiding Distribution Matching Distillation with Gradient-Based Reinforcement Learning
Zhejiang University(浙江大学);Bytedance Inc.(字节跳动公司);Zhejiang Lab(浙江实验室)
本文提出GDMD框架,通过优先考虑蒸馏梯度而非原始像素输出来优化奖励机制,提升了少步生成的质量与稳定性,实验证明其在生成质量与人类偏好指标上均优于现有方法。
2026-11-03 cs.CV cs.LG
Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
TikTok(字节跳动);The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对现有在线策略自蒸馏的训练不稳定、推理性能下降等问题,提出PBSD方法,经实验验证其在数学推理等基准上性能更优且训练稳定。
2026-08-24 cs.AI cs.LG
MedPCFM-TED: One-Step Point Cloud Flow Matching for Implant Generation via Teacher-Guided Endpoint Distillation
AGH University of Krakow(克拉科夫AGH科技大学);Sano Centre for Computational Medicine(萨诺计算医学中心)
针对颅骨植入物生成中推理耗时的问题,提出教师引导端点蒸馏(TED)的一步式流匹配框架,在SkullBreak和SkullFix基准上实现高质量快速生成,每样本仅需0.04秒。
2026-09-16 cs.CV cs.LG
Score Distillation of Flow Matching Models
Apple(苹果公司)
本文提出了一种适用于文本到图像流匹配模型的分数蒸馏方法,通过统一高斯扩散和流匹配模型,实现了高效的生成加速。
2025-12-03 cs.AI cs.CV cs.LG
Distillation of Large Language Models via Concrete Score Matching
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出具体分数蒸馏(CSD)目标,通过离散分数匹配克服softmax平滑和logit平移不变性限制,实现学生与教师模型间所有词汇对相对logit差异的灵活加权,在GPT-2、OpenLLaMA和GEMMA上优于现有蒸馏方法。
2026-05-30 cs.AI cs.LG
Adversarial Moment-Matching Distillation of Large Language Models
SI-TECH Information Technology(SI-TECH信息技术)
本文提出一种基于模仿学习的对抗矩匹配蒸馏方法,通过联合估计和最小化教师行为动作价值矩的距离优化学生策略,在指令遵循等实验中实现了大型语言模型蒸馏的新SOTA性能。
2024-06-05 cs.CL cs.LG
Effectiveness of Function Matching in Driving Scene Recognition
Denso IT Laboratory, Inc.(电装IT实验室有限公司)
知识蒸馏是训练自动驾驶所需的紧凑识别器的有效方法。最近对图像分类的研究表明,在广泛的数据点上匹配学生和教师对于提高蒸馏性能至关重要。这个概念(称为函数匹配)适用于驾驶场景识别,其中通常有几乎无限数量的未标记数据可用。在这项研究中,我们通过实验研究了使用如此大量的未标记数据进行蒸馏对自动驾驶结构化预测任务中学生模型性能的影响。通过大量的实验,我们证明了通过对大量未标记数据进行知识蒸馏,紧凑型学生模型的性能可以得到显著提高,甚至可以与大规模教师的性能相媲美。
2022-08-20 cs.CV cs.LG
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习算法(MARL)已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息,通过集中的批评,以稳定学习或通过沟通,以提高性能,但一般不看如何在代理之间共享信息,以解决在MARL的维数灾难。我们认为,多智能体问题可以分解成一个多任务的问题,每个代理探索状态空间的一个子集,而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法,用于通过蒸馏和值匹配来组合来自同质智能体的知识,其性能优于单独的策略蒸馏,并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
KD$^{2}$M: A unifying framework for feature knowledge distillation
Sigma Nova Paris, France(Sigma Nova巴黎,法国)
本文提出统一框架KD$^{2}$M,形式化特征知识蒸馏中的分布匹配策略,综述分布度量、进行视觉基准测试并推导新理论结果。
2025-09-08 cs.LG stat.ML
Revisiting Intermediate-Layer Matching in Knowledge Distillation: Layer-Selection Strategy Doesn't Matter (Much)
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(计算科学系及阿尔伯塔人工智能研究所(Amii),阿尔伯塔大学);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能主席,Amii)
本研究重新审视知识蒸馏中的中间层匹配策略,发现层选择策略对结果影响有限,普通前向匹配在多数情况下表现良好。
2025-12-10 cs.AI cs.CL cs.LG
Inverse Bridge Matching Distillation
Skolkovo Institute of Science and Technology(斯克尔克沃科学与技术学院);Yandex Research(Yandex研究);HSE University(俄罗斯高等经济大学);Artificial Intelligence Research Institute(人工智能研究 institute);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出逆向桥匹配蒸馏方法,可同时蒸馏条件与非条件扩散桥模型,仅用损坏图像训练单步生成器,实现4至100倍推理加速并提升生成质量。
2025-08-18 cs.CV cs.LG
Knowledge Distillation Based on Transformed Teacher Matching
University of Waterloo(滑铁卢大学)
该研究提出变换教师匹配(TTM)知识蒸馏方法,取消学生侧温度缩放,利用目标函数中固有的Rényi熵正则化提升学生模型泛化性,进一步加入样本自适应权重的WTTM实现了最优准确率。
2024-03-07 cs.CV cs.LG
Flow-ERD: Agent-type Aware Flow Matching With Entropy-Regularized Distillation for Diverse Traffic Simulation
NAVER LABS Corp.(NAVER实验室公司)
为解决交通模拟中多样性未被充分探索的问题,提出Flow-ERD模拟器,其核心方法是智能体类型感知流匹配与熵正则化蒸馏,能联合追求现实性和多样性,在测试基准中排名第一,主导帕累托前沿。
2026-10-26 cs.LG cs.RO
DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Zhejiang University(浙江大学);Harbin Institute of Technology(哈尔滨工业大学)
本研究提出用于流匹配模型的DreOPD方法,将隐式奖励外推转为闭式速度回归并引入退化参考强化对比,在单/多教师设置下,其平均性能优于OPD及多任务RL基线,多数指标超专用教师。
2026-08-14 cs.CV cs.LG
Optimizing Few-Step Generation with Adaptive Matching Distillation
xLeaF Lab, The Hong Kong University of Science(xLeaF实验室,香港科学与技术大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学,深圳);School of Intelligence Science(智能科学学院)
提出自适应匹配蒸馏(AMD),通过奖励代理检测并逃离禁止区域,结合结构信号分解和排斥景观锐化,提升少步生成模型的样本保真度和训练鲁棒性。
2026-06-08 cs.CV cs.LG
KDSM: An uplift modeling framework based on knowledge distillation and sample matching
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Qunar Software Technology Co., Ltd(北京趣拿软件科技有限公司)
可说服性建模旨在估计个体的治疗效果,广泛应用于电子商务平台,以瞄准可说服的客户,并使营销活动的回报最大化。在现有的隆升建模方法中,基于树的方法在拟合增量和泛化能力方面较强,而基于神经网络的方法在预测绝对值和精度方面较强,这些优势尚未得到充分的挖掘和结合。此外,缺乏反事实样本对是隆起建模的根本挑战。提出了一种基于知识蒸馏和样本匹配的提升建模框架。教师模型是提升决策树(UpliftDT),其结构被用来构造反事实样本对,成对增量预测被视为学生模型的另一个目标。在多任务学习的思想下,学生模型可以在泛化上取得更好的表现,甚至超过教师。大量的离线实验验证了教师和学生模型的不同组合的普遍性和KDSM相对于基线测量的优越性。在在线A/B测试中,每增加一个房间夜晚的成本降低了6.5%。
2023-03-06 cs.AI cs.LG
Generalized Knowledge Distillation via Relationship Matching
Nanjing University(南京大学)
经过良好训练的深度神经网络(也称为“教师”)对于学习类似的任务是有价值的。知识蒸馏从教师那里提取知识,并将其与目标模型(即“学生”),这扩大了学生的知识,提高了学习效率。我们不是强迫老师和学生做同样的任务,而是从一个从一般标签空间训练出来的老师那里借用知识--在这个“广义知识蒸馏(GKD)"中,老师和学生的类可能是相同的,完全不同的,或者部分重叠的。我们声称,实例之间的比较能力作为一个必要的因素线程的知识跨任务,并提出了关系Facilitated本地classifiEr蒸馏(REFILLED)的方法,它简化了GKD流程的嵌入和顶层分类器。特别是,与协调模型之间的实例标签置信度不同,REFILLED要求教师重新加权学生推送的硬元组,然后匹配实例之间的相似性比较水平。基于教师模型的嵌入诱导分类器监督学生的分类信心,并自适应地强调教师最相关的监督。REFILLED在教师的类从相同到完全不重叠的集合w.r.t.那个学生它还在标准知识蒸馏、一步增量学习和少样本学习任务上实现了最先进的性能。
2022-05-04 cs.CV cs.LG
Utility Boundary of Dataset Distillation: Scaling and Configuration-Coverage Laws
Department of Machine Learning(机器学习系);Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学)
本文提出统一理论框架,揭示数据集蒸馏的扩展性和覆盖定律,阐明配置变化对蒸馏效果的影响,并通过实验验证理论成果。
2025-12-10 cs.LG
Graph-Spectral Flow Matching for Multivariate Time Series Anomaly Detection
EPFL(洛桑联邦理工学院);Télécom Paris, IP Paris(巴黎电信学院,巴黎综合理工学院)
针对多元时间序列异常检测,提出基于图谱概率路径的流匹配框架GRASP,通过最小化动能与图Dirichlet能量获得闭式路径,利用加权速度差异检测异常,并在四个基准上验证了优越性能。
2026-09-30 cs.LG
$R_\text{dm}$: Re-conceptualizing Distribution Matching as a Reward for Diffusion Distillation
KlingAI Research(KlingAI 研究院);Tsinghua University(清华大学)
本文提出将分布匹配重新概念化为奖励以提升扩散蒸馏性能,通过引入GNDM提升优化稳定性,实现无缝奖励整合和改进采样效率,实验表明其在生成质量与保真度上优于现有方法。
2026-03-31 cs.CV cs.LG
Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillation
Fangbo Tu(图方波);Junhua Zhao(赵俊华);Chi Liu(刘驰);Xin Chen(陈新);Haifeng Wu(吴海峰);Jian Wan(万健);Srinivasan Manoharan(曼纳哈兰)
针对NVFP4低精度量化蒸馏中仅输出匹配导致内部表示退化的问题,提出CKA-QAD方法,通过CKA引导的层间Gram矩阵对齐保留内部几何结构,提升推理和编码任务准确率。
2026-06-05 cs.AI cs.LG
Multistep Distillation of Diffusion Models via Moment Matching
Google DeepMind(谷歌DeepMind)
本文提出基于矩匹配的多步蒸馏方法,将多步扩散模型压缩为最多8步的少步模型,在ImageNet上超越原始教师模型,并实现无需自编码器的高分辨率文本到图像快速生成。
2024-06-06 cs.AI cs.CV cs.LG
Consistent Distribution Matching for Data-Free Diffusion Distillation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出一致性分布匹配,一种无模拟且无数据的蒸馏方法,通过统一样本生成与分数估计,仅用教师和学生两个模型优化单一目标,在ImageNet 256×256上以1-NFE达到FID 2.04,4-NFE达到1.37,超越无数据蒸馏基线。
2026-10-08 cs.AI cs.CV cs.LG
Score and Distribution Matching Policy: Advanced Accelerated Visuomotor Policies via Matched Distillation
Westlake University(西湖大学);Southwest University(西南大学);Zhejiang University(浙江大学);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
针对扩散策略推理慢和一致性蒸馏误差问题,提出SDM Policy,通过score matching与distribution matching两阶段优化及双教师机制,将扩散策略转为单步生成器,实现6倍加速并保持最先进动作质量。
2024-12-19 cs.LG cs.RO stat.ML
Shortcutting Pre-trained Flow Matching Diffusion Models is Almost Free Lunch
AI Research Center, iHuman Inc.(人工智能研究中心,iHuman公司)
本文提出速度场自蒸馏方法,无需步长嵌入即可将预训练 flow matching 扩散模型高效转为少步采样器,并支持预训练融合与少样本蒸馏。
2025-10-15 cs.CV cs.LG
Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching
University of Freiburg(弗莱堡大学)
本文提出通过转移单任务CFM专家的速度场,将知识蒸馏到共享多任务策略,结合原始CFM目标,在RLBench上以固定模型大小提升多任务性能。
2026-09-25 cs.AI cs.LG cs.RO
DistDD: Distributed Data Distillation Aggregation through Gradient Matching
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DistDD方法,通过梯度匹配在客户端设备上直接进行数据蒸馏,一次性提取全局蒸馏数据集,在保持隐私的同时显著降低联邦学习中的通信成本,支持即时参数调优和神经架构搜索。
2024-10-11 cs.AI cs.LG
Sequential Subset Matching for Dataset Distillation
Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore(前沿人工智能研究中心(CFAR),新加坡科技研究局(A*STAR));Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore(高性能计算研究所(IHPC),新加坡科技研究局(A*STAR));Department of Statistics, Purdue University(普渡大学统计系)
针对数据集蒸馏中静态平等优化导致的合成数据耦合问题,提出 SeqMatch 顺序子集匹配策略,自适应生成合成实例以顺序获取知识,并在多个图像数据集上取得最优性能。
2023-11-02 cs.CV cs.LG
Generative Dataset Distillation Based on Self-knowledge Distillation
Hokkaido University(北海道大学)
针对数据集蒸馏中预测 logits 对齐不精确的问题,提出融合自知识蒸馏并在分布匹配前标准化 logits 的生成式方法,实验证明其性能优于现有最先进方法。
2025-01-08 cs.AI cs.CV cs.LG
Dataset Distillation by Matching Training Trajectories
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校)
数据集蒸馏是合成小数据集的任务,使得在合成集上训练的模型将匹配在完整数据集上训练的模型的测试准确性。在本文中,我们提出了一种新的公式,它优化了我们的蒸馏数据,以引导网络在许多训练步骤中达到与在真实数据上训练的网络相似的状态。给定一个网络,我们在我们的提取数据上对它进行训练几次迭代,并根据综合训练参数和在真实数据上训练的参数之间的距离来优化提取数据。为了有效地获得大规模数据集的初始和目标网络参数,我们预先计算并存储在真实数据集上训练的专家网络的训练轨迹。我们的方法轻松地优于现有的方法,也使我们能够提取更高分辨率的视觉数据。
2022-03-22 cs.AI cs.CV cs.LG
PE-OPSD: Internalizing Prompt Enhancement into Flow-matching Models via On-Policy Self-Distillation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Zhejiang University(浙江大学);Peking University(北京大学)
本文提出PE-OPSD,通过在线策略自蒸馏将提示增强内化到流匹配模型中,在推理时无需额外延迟即可提升提示保真度,并保持推理效率。
2026-09-30 cs.CV cs.LG
Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging
Any-OPD是首个针对任意潜在流匹配生成器对的策略上蒸馏框架,通过表示空间桥接实现异构模型间的蒸馏,以五分之一规模达到教师模型性能,解决了直接蒸馏无法训练的问题。
2026-08-05 cs.CV cs.LG
AfroXLMR-Comet: Multilingual Knowledge Distillation with Attention Matching for Low-Resource languages
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);University of Pretoria(比勒陀利亚大学)
本文提出AfroXLMR-Comet,一种结合知识蒸馏与注意力匹配的混合方法,用于压缩多语言模型,在五种非洲语言上以超85%的规模缩减保持教师模型85%以内的准确率,实现低资源环境下的高效部署。
2025-02-25 cs.AI cs.CL cs.IR
Transition Matching Distillation for Fast Video Generation
NVIDIA(英伟达);NYU(纽约大学)
研究针对大型视频模型多步采样低效问题,提出过渡匹配蒸馏框架TMD,将扩散模型多步去噪轨迹与少步概率过渡过程匹配,分解扩散主干为组件,经实验验证TMD在速度和质量权衡上表现出色,优于现有蒸馏模型。
2026-07-13 cs.AI cs.CV cs.LG
DataDAM: Efficient Dataset Distillation with Attention Matching
University of Toronto(多伦多大学);Royal Bank of Canada (RBC)(加拿大皇家银行);University of Waterloo(滑铁卢大学)
针对现有数据集蒸馏方法合成数据质量不足、计算成本高且性能与全数据训练有差距的问题,提出DataDAM方法,通过匹配随机初始化网络不同层的空间注意力图学习合成数据,实现SOTA性能并可赋能下游任务。
2025-03-21 cs.CV cs.LG
Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching
School of Cyberspace Science and Technology, Beijing Institute of Technology(北京理工大学网络空间科学与技术学院);North Minzu University(北方民族大学);College of Electronic and Information, Southwest Minzu University(西南民族大学电子与信息学院);School of Business, Beijing Technology and Business University(北京工商大学商学院)
针对知识蒸馏中强教师带来的学生性能边际递减问题,提出结合Pearson与Spearman相关系数、动态调整损失权重的CMKD方法,实现高效鲁棒蒸馏,在多个数据集和场景下取得SOTA性能。
2024-10-09 cs.AI cs.LG
Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation
Tencent(腾讯)
本文针对在线自蒸馏的次优问题,提出统一在线自蒸馏(USD)框架,该框架通过耦合学习难度预算与师生 divergence,在多模型规模及推理基准上均优于基线方法。
2026-08-11 cs.AI cs.LG
Understanding Dataset Distillation via Spectral Filtering
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出UniDD框架,通过频谱过滤统一不同数据集蒸馏目标,提出Curriculum Frequency Matching方法提升性能,验证了UniDD的实用性。
2026-03-13 cs.CV cs.LG
Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation
The Ohio State University(俄亥俄州立大学);Apple(苹果公司)
本文提出TS-DFM方法,通过能量导航蒸馏减少离散流匹配的训练步骤,实现更高效的文本生成,实验表明其在生成质量与速度上均优于传统方法。
2026-05-08 cs.AI cs.CL cs.LG
PDMD: Projected Distribution Matching Distillation for Video Diffusion Models
ByteDance Inc.(字节跳动有限公司);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对视频扩散模型蒸馏中评论家误差累积导致的样本退化问题,提出投影分布匹配蒸馏(PDMD),通过投影去除误差分量,仅需一行代码改动即可稳定训练并提升样本质量,在多个基准上超越现有方法。
2026-09-29 cs.CV cs.LG
Distribution Matching Distillation for Continuous Diffusion Language Models
Inria, PSL Research University(法国国家信息与自动化研究所,巴黎文理研究大学);Cohere(Cohere公司);CMAP, Ecole Polytechnique(巴黎综合理工学院应用数学中心)
本研究提出两种分布匹配蒸馏方法(Simplex-DMD和Reinforce-DMD),通过利用学生概率输出减少连续扩散语言模型的网络评估次数,在OpenWebText上分别实现49%和20%的困惑度降低。
2026-10-01 cs.CL cs.LG stat.ML
Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation
KAIST(韩国科学技术院)
知识蒸馏(KD),将知识从一个笨重的教师模型转移到一个轻量级的学生模型,已被研究设计有效的神经结构。通常,KD的目标函数是教师模型和学生模型的软化概率分布之间的Kullback-Leibler(KL)发散损失,其中温度标度超参数τ。尽管它被广泛使用,但很少有研究讨论这种软化对概括的影响。在这里,我们从理论上表明,KL发散损失集中在logit匹配时,τ增加和标签匹配时,τ去0和经验表明,logit匹配是正相关的性能改善一般。从这个观察,我们考虑一个直观的KD损失函数,即logit向量之间的均方误差(MSE),这样学生模型就可以直接学习教师模型的logit。MSE损失优于KL发散损失,这是由两种损失之间倒数第二层表示的差异解释的。此外,我们表明,顺序蒸馏可以提高性能,KD,特别是当使用KL发散损失与小τ,减轻标签噪声。复制实验的代码可在https://github.com/jhoon-oh/kd_data/在线公开获得。
2021-05-19 cs.CV cs.LG
Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation
Lomonosov MSU(罗蒙诺索夫莫斯科国立大学)
使用庞大的训练数据集可能成本高昂且不方便。本文探讨了各种数据提取技术,这些技术可以减少成功训练深度网络所需的数据量。受最近想法的启发,我们提出了基于生成教学网络,梯度匹配和隐函数定理的新数据蒸馏技术。MNIST图像分类问题的实验表明,新方法比以前的方法在计算上更有效,并允许提高在蒸馏数据上训练的模型的性能。
2022-03-16 cs.AI cs.LG cs.NE
Temperature-Adaptive Transformed Teacher Matching
Graduate School of Advanced Science and Engineering Hiroshima University(广岛大学先进科学与工程学院);Intelligent Production Technology Research & Development Center for Aerospace Gifu University(岐阜大学航空航天智能生产技术研究开发中心)
该研究针对变换教师匹配(TTM)引入逐样本逆温度更新,提出温度自适应方法,在图像分类蒸馏基准上可提升TTM和WTTM性能,优于或媲美现有温度自适应蒸馏基线。
2026-09-01 cs.CV cs.LG
MoFlow: One-Step Flow Matching for Human Trajectory Forecasting via Implicit Maximum Likelihood Estimation based Distillation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Simon Fraser University(西蒙菲莎大学)
提出条件流匹配模型 MoFlow 及仅需教师样本的 IMLE 蒸馏方法,在多个人体轨迹基准上达到最优,并以一步学生模型实现百倍采样加速。
2026-10-06 cs.AI cs.CV cs.LG
One-step Diffusion Models with Bregman Density Ratio Matching
LIX, École Polytechnique, CNRS, IPP(巴黎政治学院LIX研究所,法国国家科学研究中心,IPP);LIGM, École Nationale des Ponts et Chaussées, CNRS, IPP(巴黎综合理工学院LIGM研究所,法国国家科学研究中心,IPP)
本文提出 Di-Bregman 框架,将扩散蒸馏统一为基于 Bregman 散度的密度比匹配,并在 CIFAR-10 与文生图实验中改善一步 FID、保持高视觉保真度。
2025-10-19 cs.AI cs.CV cs.LG