Knowledge distillation through geometry-aware representational alignment
New York University Abu Dhabi(纽约大学阿布扎赫德分校);New York University(纽约大学);Tandon School of Engineering(Tandon工程学院)
本文针对现有特征蒸馏无法保证捕捉教师特征结构的问题,提出基于 Procrustes 距离和 Feature Gram Matrix Frobenius 范数的几何感知对齐损失,并在 BERT、OPT 上实现最高 2 个百分点的显著提升。
2025-09-27 cs.AI cs.LG
Feature Structure Distillation with Centered Kernel Alignment in BERT Transferring
AI graduate school of Gwangju Institute of Science and Technology (GIST)(光州科学技术院AI研究生院);Jeonbook National University(全北国立大学)
针对BERT知识蒸馏中学生表示灵活性受限的问题,提出基于中心化核对齐的特征结构蒸馏方法,迁移三类表示结构并在GLUE九项任务上优于现有蒸馏方法。
2023-02-27 cs.AI cs.CL cs.LG
Why Alignment Must Precede Distillation: A Minimal Working Explanation
New York University(纽约大学);Genentech(基因泰克)
本文指出参考模型分布召回率会根本约束偏好对齐,并通过高斯混合与 SmolLM2 实验证明 Align→KD 优于 KD→Align。
2025-09-28 cs.LG
Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks
Faculty of Information Technolody, Monash University, Australia(墨尔本大学信息科技学院,澳大利亚);School of Software, Northeastern University, China(东北大学软件学院,中国);Department of Medicine, National University of Singapore, Singapore(新加坡国立大学医学部,新加坡)
本文提出Selective Alignment Knowledge Distillation方法,通过选择性对齐类别和时间知识,改进SNN性能,实验证明在静态图像和神经形态事件数据集上优于现有方法。
2026-06-29 cs.AI cs.LG
Weight-Inherited Distillation for Task-Agnostic BERT Compression
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯AI实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出 Weight-Inherited Distillation(WID),通过直接继承 teacher 权重并结合结构重参数化压缩 student 模型,无需额外对齐损失,在 GLUE 和 SQuAD 上优于现有 KD 基线。
2024-03-20 cs.CL cs.LG
Towards Bridging the Gap Between Offline and Iterative Alignment via Preference Distillation
University of California, Irvine(加利福尼亚大学欧文分校);George Washington University(乔治华盛顿大学)
本文通过受控实验发现显式偏好模型是迭代DPO优于离线方法的关键,据此提出DP3O算法,将显式偏好知识蒸馏到策略优化中,在性能上媲美迭代DPO且训练时间减少42%。
2026-09-09 cs.CL cs.LG
Multilingual Safety Alignment via Self-Distillation
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出多语言自蒸馏框架,通过将高资源语言的安全能力迁移到低资源语言,解决多语言安全对齐问题,无需特定语言响应数据,实验表明方法在多语言安全性能上表现优异。
2026-10-20 cs.AI cs.CL cs.LG
Unsupervised Pretraining for Fact Verification by Language Model Distillation
University of Cambridge(剑桥大学)
针对事实验证的语义对齐依赖标注数据的问题,提出无监督预训练框架SFAVEL,通过新型对比损失实现高质量主张-证据对齐,在FB15k-237和FEVER数据集上取得SOTA结果。
2024-03-06 cs.CL cs.LG stat.ML
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Singapore Management University(新加坡管理大学)
针对跨分词器策略内蒸馏的信用对齐问题,提出 CAST 框架,通过块级信用分配与选择性 token 锚定解决相关问题,在六个数学、科学和代码基准测试中实现了显著的性能提升。
2026-10-12 cs.CL cs.LG
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University(京都大学)
本文描述了一种有效的训练方法,在线流的注意力为基础的编码器-解码器(AED)的自动语音识别(ASR)系统。AED机型通过联合优化所有组件,在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架,通过模型,如单调分块注意力(MoChA)。然而,精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外,序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题,我们提出了CTC同步训练(CTC-ST),其中利用CTC对齐作为令牌边界的参考,使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标,以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外,所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此,CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明,该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法,并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器(RNN-T)相当的识别准确性,同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Black-Box Behavioral Distillation Breaks Safety Alignment in Medical LLMs
黑盒行为蒸馏攻击揭示医疗大语言模型的安全对齐漏洞,通过低成本手段复制模型能力并破坏安全机制。
2025-12-10 cs.LG
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research(印度科学教育与研究学院)
提出统一知识蒸馏框架,通过实例级嵌入蒸馏和关系成对相似性蒸馏,实现细粒度对齐与几何关系保持,在多基准上超越现有方法,学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Distillation-Enabled Knowledge Alignment Protocol for Semantic Communication in AI Agent Networks
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
提出DeKAP协议,通过将智能体专家知识蒸馏为低秩矩阵并在网络中分配,实现多任务知识对齐,并以整数线性规划及贪心算法最小化开销,仿真验证其资源效率优势。
2025-09-26 cs.LG eess.IV
Spatial Distillation based Distribution Alignment (SDDA) for Cross-Headset EEG Classification
Huazhong University of Science and Technology(华中科技大学);Shenzhen Huazhong University of Science and Technology Research Institute(深圳华中科技大学研究院)
针对不同耳机间EEG信号解码因电极差异面临的挑战,提出基于空间蒸馏的分布对齐方法SDDA,首次将知识蒸馏用于跨耳机迁移,在多数据集的两类域适应场景下性能均优于10种主流算法。
2025-03-07 cs.AI cs.HC cs.LG
Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
PayPal AI
本文提出基于自蒸馏微调的性能恢复框架,通过理论分析和实验验证,证明自蒸馏能有效恢复模型能力,揭示了高维流形对齐与性能恢复之间的强相关性。
2026-08-19 cs.AI cs.CL cs.LG
Simultaneous Reward Distillation and Preference Learning: Get You a Language Model Who Can Do Both
Colorado State University(科罗拉多州立大学)
本文提出 DRDO 方法,通过同时进行奖励蒸馏与偏好学习,克服了 DPO 等直接对齐方法在处理噪声偏好标签时导致的策略退化问题,在期望奖励和鲁棒性上均表现更优。
2025-01-31 cs.CL cs.LG
ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models
VJ Technologies(VJ科技);AJ Technologies(AJ科技);Vietnam National University(越南国家大学);University of Information Technology(信息技术大学)
针对自回归语言模型基于Logit的预训练蒸馏忽略令牌相对偏好的问题,提出ALRA框架,结合学生提议与教师指导,在The Pile数据集的9个零样本基准上提升了蒸馏模型的准确率。
2026-09-04 cs.CL cs.LG stat.ML
Policy Alignment: New Signals for Membership Auditing in On-Policy Distillation
Xidian University(西安电子科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对在线策略蒸馏的成员审计需求,本文提出PAMA框架,引入TAG结合学生漂移等信号,在MATH数据集上AUC较基线提升14.6%-20.6%,实现更优的提示级成员审计。
2026-10-09 cs.LG
Prioritize Alignment in Dataset Distillation
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出PAD方法,通过剪枝目标数据集并仅使用代理模型深层执行蒸馏,解决信息提取与嵌入阶段的错位问题,在多个基准上实现最先进性能。
2024-10-13 cs.AI cs.LG
Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon.com Inc(亚马逊公司);Georgia Institute of Technology(佐治亚理工学院)
研究跨语言时态知识图谱推理问题,旨在通过迁移高资源语言时态知识图中的知识,促进低资源语言时态知识图的推理.鉴于现有的推理方法在那些严重不完整的TKG上的性能不令人满意,特别是在低资源语言中,跨TKG的跨语言蒸馏能力变得越来越重要。然而,它在两个方面提出了巨大的挑战。首先,跨语言的对齐,作为知识转移的桥梁,通常是太少了,两个TKG之间的转移足够的知识。第二,对齐实体的时间知识差异,特别是当对齐不可靠时,会误导知识蒸馏过程。我们相应地提出了一个相互步调的知识蒸馏模型MP-KD,其中在源TKG上训练的教师网络可以通过对齐模块指导在目标TKG上训练的学生网络。具体地说,为了处理稀缺性问题,MP-KD基于我们的表示模块提取的时间信息生成TKG之间的伪比对。为了最大限度地提高知识传递的效率和控制由时间知识差异引起的噪声,我们增强了MP-KD与时间跨语言注意力机制动态估计对齐强度。这两个过程随着模型训练而相互同步。在EventKG基准测试中的12个跨语言TKG迁移任务上的实验证明了所提出的MP-KD方法的有效性。
2023-03-27 cs.AI cs.CL cs.LG
DDTime: Dataset Distillation with Spectral Alignment and Information Bottleneck for Time-Series Forecasting
The City University of New York, CUNY(纽约城市大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Zhejiang University(浙江大学);University of Illinois at Chicago(伊利诺伊大学香槟分校);Tongji University(同济大学)
DDTime通过频谱对齐和信息瓶颈方法,提升时序预测数据集蒸馏的精度与多样性,实现30%的相对精度提升。
2025-11-20 cs.AI cs.LG
MINT: Min-Selection Preference Distillation for Balanced Multi-Objective Alignment
Georgia Institute of Technology(佐治亚理工学院);Zillow Group(齐洛集团)
该研究针对多目标对齐的不平衡问题,提出MINT方法,通过按最弱目标排名候选替代加权和排名,在情感支持等任务中显著提升双目标表现并降低不平衡性。
2026-08-18 cs.AI cs.CL cs.LG
Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation
International Computer Science Institute(国际计算机科学研究所);Microsoft(微软);Berkeley Lab(伯克利实验室)
本文提出了一种名为OPSA的在线策略自我蒸馏方法,通过引入教师翻转率指标,有效减少大语言模型在安全对齐过程中因分布不匹配导致的安全税,实验显示其在不同模型规模上均优于传统方法。
2026-05-14 cs.LG
Swapped Logit Distillation via Bi-level Teacher Alignment
Cyberlink(Cyberlink公司)
本文提出交换对数几率蒸馏(SLD),通过交换教师和学生输出并引入损失调度实现双层教师对齐,在图像分类任务上超越现有最先进方法。
2025-04-27 cs.LG eess.IV eess.SP
Fair Dataset Distillation via Cross-Group Barycenter Alignment
Western University(温莎大学);Vector Institute(向量研究所);IE University(IE大学);Ivey Business School(Ivey商学院)
本文研究了数据集蒸馏中因不同群体预测模式差异导致的公平性问题,提出通过跨组重心对齐方法来减少群体间的预测偏差,从而提升模型的公平性。
2026-05-20 cs.AI cs.LG
The Role of Feedback Alignment in Self-Distillation
Gensyn
研究通过自蒸馏提升语言模型性能时,反馈与模型推理的结构对齐是关键因素,步级对齐批评比二元奖励或参考解更有效。
2026-06-09 cs.AI cs.LG
Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);ZJU-UIUC Institute, Zhejiang University(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院)
针对知识蒸馏中 logits 与特征路径难以取舍的问题,本文提出分块 logit 蒸馏框架,以教师块逐步构建垫脚石模型并实现隐式特征对齐,性能达到或超过现有最先进方法。
2024-12-03 cs.CV cs.LG
Evolutionary Contrastive Distillation for Language Model Alignment
Amazon(亚马逊公司)
提出演化对比蒸馏(ECD)方法,通过逐步演化指令生成困难负样本对比数据,结合DPO对比学习算法提升语言模型复杂指令遵循能力,7B模型性能超越SOTA 7B并媲美70B模型。
2024-10-10 cs.AI cs.CL cs.LG
CovMatch: Cross-Covariance Guided Multimodal Dataset Distillation with Trainable Text Encoder
针对多模态数据集蒸馏中冻结文本编码器限制语义对齐的问题,提出CovMatch框架,通过对齐真实与合成特征交叉协方差并正则化模态内分布,支持双编码器联合优化,在Flickr30K和COCO上仅用500合成对实现最高6.8%的检索准确率绝对提升。
2025-10-21 cs.CV cs.LG
Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文揭示迭代式 BOND 与自博弈对齐的博弈论联系,提出 WIND 框架及高效正则化胜率优势优化算法,在参数空间近似 BOND,并证明平方损失变体的样本效率,实验显示其计算更快且样本效率更优。
2025-02-19 cs.LG stat.ML
SAD-LoRA: Spectral Alignment for Low-Rank Knowledge Distillation
提出SAD-LoRA方法用于低秩知识蒸馏,从数据加权学生空间参考更新中选择权重子空间,通过可微主角度损失训练,减少子空间错位,提升对齐效果,提高秩效率。
2026-07-07 cs.CV cs.LG
Distillation-Enabled Knowledge Alignment for Generative Semantic Communications of AIGC Images
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
本文提出DeKA-g算法,通过知识蒸馏和低秩适应,提升生成语义通信中边缘与云生成图像的一致性及传输质量。
2026-01-26 cs.AI cs.IT cs.LG
Covert Trait Propagation Is Representation Alignment: Mechanistic Evidence from Hidden-Channel Distillation
研究在MNIST的MLP蒸馏设置下,证明学生模型能继承教师数字分类能力,共享初始化使输出投影成为坐标关键,KL梯度重塑输入投影,隐蔽特征传播通过隐藏表示对齐实现,实验支持该机制。
2026-07-07 cs.AI cs.LG
AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories
Nanyang Technological University(南洋理工大学)
本文提出AST框架,通过平滑高质量专家轨迹对齐、裁剪损失与梯度惩罚、代表性初始化及中间匹配损失等策略提升数据集蒸馏效果,实验证明其显著优于现有方法。
2023-11-27 cs.AI cs.CV cs.LG
AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
Key Laboratory of Big Data & Artificial Intelligence in Transportation, (Beijing Jiaotong University), Ministry of Education(大数据与人工智能交通运输联合实验室,(北京交通大学)教育部);School of Computer Science and Technology, Beijing Jiaotong University, Beijing, China(计算机科学与技术学院,北京交通大学,北京,中国);Tencent Inc, China(腾讯公司,中国)
本文提出 AlignDistil,将 RLHF 对齐目标转化为 token 级自适应策略蒸馏,并通过对比 DPO 奖励与 token 自适应 logit 外推提升效果和收敛速度。
2025-07-23 cs.AI cs.CL cs.LG
Teaching the Teacher: The Role of Teacher-Student Smoothness Alignment in Genetic Programming-based Symbolic Distillation
Indian Institute of Technology Kharagpur(印度理工学院卡里格普尔分校);National University of Singapore(新加坡国立大学)
本文研究了教师-学生平滑对齐在基于遗传编程的符号蒸馏中的作用,通过引入雅可比和利普希茨惩罚项正则化教师函数的平滑性,提升学生模型的预测精度。
2026-04-14 cs.AI cs.LG
JEDI: JEPA-to-Edge Distillation for Efficient Cropland Segmentation from Satellite Imagery
University of California, Riverside(加州大学河滨分校)
JEDI提出两阶段蒸馏框架,将大型I-JEPA教师表示迁移至紧凑SegFormer学生,通过持续特征对齐在CalCROP21上以4.04M参数达68.0 mIoU,接近教师性能并优于多种蒸馏基线。
2026-09-09 cs.CV cs.LG
Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation
University of Canterbury(坎特伯雷大学)
该研究通过机理可解释性技术分析知识蒸馏过程中教师与学生模型的内部重构,发现学生模型能压缩并丢弃教师组件,提出基于影响加权的对齐度量,揭示压缩模型在鲁棒性和泛化能力上的影响。
2026-03-09 cs.LG
FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment
Chongqing University(重庆大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Third Military Medical University(第三军医大学)
FedSODA 通过相似性分组剪枝和编排蒸馏对齐,结合 QLoRA 实现资源受限客户端上的高效大语言模型联邦微调,显著降低通信与存储开销并提升准确率。
2025-08-18 cs.LG
BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China(电子工程学院,深圳研究生院,北京大学,深圳,中国);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学,深圳,中国)
BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型,通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练,显著降低计算成本。
2026-04-14 cs.AI cs.LG cs.NE
Invariant Gradient Alignment for Robust Reasoning Distillation
University of Oxford(牛津大学);FLock.io
提出不变梯度对齐(IGA)框架,通过逻辑同构集、连续梯度冲突掩码和截断SVD投影,对齐不同语义域但逻辑结构相同的梯度更新,提升大语言模型在分布外输入上的鲁棒性。
2026-06-03 cs.AI cs.LG
Online Preference Alignment for Language Models via Count-based Exploration
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
本文针对在线RLHF中LLM如何探索的问题,提出基于计数的在线偏好优化算法COPO,通过抛硬币计数估计伪计数并将UCB项转化为探索奖励,在Zephyr和Llama-3上显著提升指令遵循与学术基准性能。
2025-02-07 cs.LG
iCD: A Implicit Clustering Distillation Mathod for Structural Information Mining
针对Logit知识蒸馏决策过程缺乏可解释性的问题,提出隐式聚类蒸馏方法iCD,利用Gram矩阵从logit中挖掘并迁移可解释的结构知识,在细粒度分类任务中较基线峰值提升达5.08%。
2025-09-16 cs.CV cs.LG
Rethinking Privileged Information in On-Policy Self-Distillation
FirstPrinciples
本研究针对Qwen3模型开展OPSD实验,分析OPSD的性能提升源于参考信息还是基础模型的推理行为,发现性能提升与参考信息的契合度无可靠关联。
2026-08-20 cs.LG
AKD : Adversarial Knowledge Distillation For Large Language Models Alignment on Coding tasks
Laboratoire de Recherche de l'EPITA (LRE)(EPITA研究实验室);Department of XXX, University of YYY(YYY大学XXX系);School of ZZZ, Institute of WWW(WWW研究所ZZZ学院)
针对 Code-LLM 扩展收益递减与高质量数据稀缺问题,本文提出 AKD,利用对抗生成的合成数据将大模型能力蒸馏到小模型,以提升代码生成的鲁棒性、安全性和参数效率。
2025-05-05 cs.AI cs.LG cs.SE
How to Compress KV Cache in RL Post-Training? Shadow Mask Distillation for Memory-Efficient Alignment
Yale University(耶鲁大学);University of Minnesota Twin Cities(明尼苏达大学双城分校);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本文提出影子遮罩蒸馏方法,用于缓解RL后训练中KV缓存内存瓶颈问题,通过减少采样时的上下文密度来降低偏置,提升样本效率。
2026-09-17 cs.AI cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Knowledge Distillation for Speech Denoising by Latent Representation Alignment with Cosine Distance
Tampere University(塔尔库大学);Nokia Technologies(诺基亚技术)
本文提出一种基于降噪自编码器、线性倒置瓶颈和余弦相似度的知识蒸馏方法,用于语音降噪,实验表明学生模型在多种师生不匹配场景下性能优于基线并具有更强鲁棒性。
2025-05-06 cs.LG cs.SD eess.AS
Revisiting the Entropy Semiring for Neural Speech Recognition
Google(谷歌)
本研究再探熵半环在神经语音识别中的应用,提出用对齐熵通过正则化或蒸馏监督模型,开源半环框架下的CTC和RNN-T实现,实验证明对齐蒸馏可提升流式语音识别的准确率与延迟性能,在Librispeech数据集达SOTA。
2023-12-19 cs.LG cs.SD eess.AS
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment
Northwestern University(西北大学);Microsoft(微软公司);Peking University(北京大学)
本文提出自探索语言模型(SELM),通过双层优化主动探索高奖励响应,无需单独奖励模型,在指令遵循基准上显著提升性能。
2024-11-05 cs.AI cs.LG
FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning
KAIST(韩国科学技术院);Michigan State University(密歇根州立大学)
针对联邦学习中客户端漂移及局部对齐导致模型过度强调已见类别的问题,提出FedDr+算法,通过点回归损失和单纯形ETF冻结分类器增强局部对齐,并利用特征蒸馏保留未见类信息,有效提升了全局与个性化FL性能。
2024-06-04 cs.AI cs.CV cs.DC
Robust Cross-Modal Representation Learning with Progressive Self-Distillation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon Prime Video(亚马逊Prime Video)
CLIP的视觉语言方法的学习目标不能有效地解释在网络采集的图像描述数据集中发现的嘈杂的多对多对应关系,这导致其计算和数据效率低下。为了应对这一挑战,我们引入了一种新的训练框架,基于跨模态对比学习,使用渐进式自蒸馏和软图文对齐,以更有效地从噪声数据中学习鲁棒的表示。我们的模型提取自己的知识,动态生成软对齐目标的图像和字幕的一个子集,在每个小批量,然后用于更新其参数。对14个基准数据集的广泛评估表明,我们的方法在多种设置中始终优于其CLIP对应物,包括:(a)zero-shot分类,(b)线性探针转移,(c)图像-文本检索,而不会产生额外的计算成本。使用基于ImageNet的鲁棒性测试平台进行的分析表明,与ImageNet训练的模型和CLIP本身相比,我们的方法对自然分布偏移具有更好的鲁棒性。最后,使用跨越两个数量级大小的数据集进行预训练表明,我们对CLIP的改进往往随着训练样本的数量而扩展。
2022-04-10 cs.CV cs.LG
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃计算机科学、机器人学与微电子学实验室,蒙彼利埃大学);University of Kassel(卡塞尔大学)
本文提出无需音频图像配对的音频到图像检索方法,通过文本作为语义中介,利用预训练图像文本模型蒸馏出音频文本模型,实现音频与图像表示的对齐,从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD