Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo(滑铁卢大学)
随机邻域嵌入(SNE)是一种基于概率的流形学习和降维方法。在SNE中,每个点都被认为是所有其他点的邻居,并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而,t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中,我们将解释SNE、对称SNE、t-SNE(或Cauchy-SNE)和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Enhancing Student Performance Prediction on Learnersourced Questions with SGNN-LLM Synergy
Huazhong Agricultural University(华中农业大学);The University of Auckland(奥克兰大学)
针对学习者众创问题的学生表现预测中存在的数据噪声和冷启动难题,提出结合SGNN与LLM嵌入的协同策略,通过符号二分图建模及对比学习增强抗噪性,利用LLM生成问题嵌入应对冷启动,在PeerWise的五个真实数据集上实现了优于基线的预测准确率与鲁棒性。
2024-01-29 cs.AI cs.LG
Learning Student Networks via Feature Embedding
Peking University(北京大学);Huawei Technologies Co., Ltd(华为技术有限公司);The University of Sydney(悉尼大学)
深度卷积神经网络已被广泛应用于众多应用中,但其苛刻的存储和计算资源要求阻碍了其在移动设备上的应用。知识蒸馏旨在通过从训练有素的重型教师网络获取知识来优化便携式学生网络。传统的基于教师-学生的方法依赖于额外的全连接层来桥接教师和学生网络的中间层,这带来了大量的辅助参数。相比之下,本文的目的是传播信息从教师到学生,而不引入新的变量,需要优化。我们从特征嵌入的新视角看待师生范式。通过引入局部保持损失,鼓励学生网络生成低维特征,这些特征可以继承教师网络相应高维特征的内在属性。因此,所得到的便携式网络可以自然地保持教师网络的性能。理论分析证明了该方法具有较低的计算复杂度。在基准数据集和训练有素的网络上的实验表明,该算法在计算和存储复杂度方面优于最先进的师生学习方法。
2018-12-17 cs.CV cs.LG stat.ML
Synthetic data generation method for data-free knowledge distillation in regression neural networks
Bioinformatics Institute, Singapore(新加坡生物信息学研究所)
本研究提出一种新的合成数据生成策略,通过优化学生与教师模型间较大但有界的差异,在无原始数据条件下提升回归任务知识蒸馏中学生模型的性能。
2023-05-10 cs.LG
The Pupil Has Become the Master: Teacher-Student Model-Based Word Embedding Distillation with Ensemble Learning
Emory University(埃默里大学);Visa Research(Visa研究院)
深度学习的最新进展促进了神经模型在实际应用中的需求。在实践中,这些应用程序通常需要在有限的资源下部署,同时保持高精度。本文涉及自然语言处理中神经模型的核心,词嵌入,并提出了一个新的嵌入蒸馏框架,显着降低了词嵌入的维数,而不影响准确性。还提出了一种新的蒸馏集成方法,使用多个教师模型训练高效的学生模型。在我们的方法中,教师模型只在训练过程中发挥作用,这样学生模型就可以在解码过程中独立运行,而不需要教师模型的支持,这使得它比其他典型的集成方法快80倍。所有模型在七个文档分类数据集上进行了评估,在大多数情况下,这些模型都比教师模型具有显着的优势。我们的分析描绘了深刻的转变词嵌入从蒸馏,并提出了一个未来的方向集成方法使用神经模型。
2019-05-31 cs.IR cs.LG stat.ML
Efficient Embedding-based Synthetic Data Generation for Complex Reasoning Tasks
IBM Research(IBM研究院)
本文提出基于嵌入的合成数据生成方法,通过增强数据多样性提升多个基准的性能,分析嵌入空间中数据分布与预测准确性之间的强相关性。
2026-03-15 cs.AI cs.LG
Privacy-Preserving Model Transcription with Differentially Private Synthetic Distillation
Institute of Information Engineering at Chinese Academy of Sciences(中国科学院信息工程研究所);Beijing Institute of Astronautical Systems Engineering(北京航天系统工程研究所);Trustworthy Machine Learning Lab, School of Computer Science, The University of Sydney(悉尼大学计算机科学学院可信机器学习实验室)
本文提出差分隐私合成蒸馏方法,通过生成器和对抗训练实现隐私保护的模型转换,实验表明其在性能和隐私保护方面优于现有方法。
2026-01-27 cs.AI cs.CV cs.LG
Modeling Programming Skills with Source Code Embeddings for Context-aware Exercise Recommendation
Departamento de Informática Universidade Federal de Viçosa(信息学院弗拉门多大学);Instituto Federal de Minas Gerais(矿业联邦机构);Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo(数学与计算机科学学院圣保罗大学);Departamento de Ciência da Computação Universidade Federal de Minas Gerais(计算机科学学院联邦矿业大学)
本文提出基于源代码嵌入的上下文感知推荐系统,通过建模学生编程技能以提高练习推荐的准确性。
2026-02-10 cs.LG
Synthetic Adaptive Guided Embeddings (SAGE): A Novel Knowledge Distillation Method
University of North Texas(北卡罗来纳大学达顿分校)
针对传统知识蒸馏计算开销大、泛化有限的问题,提出SAGE框架,通过动态增强高损失区域数据、向量化蒸馏等方法,使66M参数学生模型在NLP基准上匹配或超越基线,提升模型压缩效率与效果。
2025-08-20 cs.LG
Linear Projections of Teacher Embeddings for Few-Class Distillation
MIT(麻省理工学院);Google Research(谷歌研究院);University of Michigan(密歇根大学)
针对知识蒸馏在二分类和少类别NLP任务中效果不佳的问题,本文提出LELP方法,通过识别教师嵌入空间的线性子空间并构造伪子类来训练学生,实验显示其性能稳定优于现有蒸馏算法。
2024-10-02 cs.AI cs.LG
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services(诺沃斯特科技服务公司);University of Bucharest(布加勒斯特大学)
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣,例如当受试者佩戴虚拟现实(VR)耳机时。虽然以前的研究表明,预训练卷积神经网络(CNN)的完全可见(非遮挡)的脸提高了准确性,我们建议采用知识蒸馏,以实现进一步的改进。首先,我们采用经典的教师-学生训练策略,其中教师是在完全可见的面部上训练的CNN,学生是在遮挡面部上训练的CNN。其次,提出了一种基于三元组损失的知识蒸馏方法。在训练过程中,目标是减少锚嵌入与正嵌入之间的距离,锚嵌入由学生CNN(将遮挡的面部作为输入)产生,正嵌入由教师CNN(在完全可见的面部上训练)产生,因此它变得小于锚与负嵌入之间的距离(来自与锚不同的类别),由学生CNN产生。第三,我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验,使用两种CNN架构VGG-f和VGG-face,表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Montessori-Instruct: Generate Influential Training Data Tailored for Student Learning
School of Software, Tsinghua University(清华大学软件学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出 Montessori-Instruct 框架,利用局部数据影响力刻画学生学习偏好,并通过 DPO 训练教师模型生成定制化合成数据,在 Alpaca Eval 和 MT-Bench 上显著超越标准合成方法及 GPT-4o。
2024-10-18 cs.AI cs.CL cs.LG
Disentangling Heterogeneous Knowledge Concept Embedding for Cognitive Diagnosis on Untested Knowledge
本文提出DisKCD框架,通过将知识概念解耦为已测与未测,并构建异构关系图网络进行分层消息传递,以提升对未测知识概念的学生掌握程度诊断性能。
2024-10-18 cs.AI cs.CY cs.LG
GUIDE: Guided Initialization and Distillation of Embeddings
Google Research(谷歌研究)
GUIDE通过引导初始化与参数空间蒸馏,在约200亿令牌上训练的大型学生模型中缩小教师-学生质量差距25%-26%,且无额外训练或推理开销。
2025-10-07 cs.LG
Toward Semi-Automatic Misconception Discovery Using Code Embeddings
North Carolina State University(北卡罗来纳州立大学)
了解学生的错误概念对有效的教学和评估非常重要。然而,手动发现这样的误解可能是费时费力的。自动化的误解发现可以通过突出学生数据中的模式来解决这些挑战,然后领域专家可以检查这些模式以识别误解。在这项工作中,我们提出了一种新的方法,从学生的程序代码在计算课程中的问题特定的误解的半自动发现,使用一个国家的最先进的代码分类模型。我们在基于块的编程数据集上训练模型,并使用学习的嵌入来聚类不正确的学生提交。我们发现这些集群对应于对问题的特定误解,并且不容易通过现有方法发现。我们还讨论了我们的方法的潜在应用,以及这些误解如何告知特定领域的见解到学生的学习过程。
2021-03-07 cs.CY cs.LG cs.SE
Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出判别-生成蒸馏方法,以模型为桥梁从私有数据蒸馏知识,通过差分隐私查询与半监督学习训练隐私保护的学生网络,在控制查询成本的同时缓解精度下降。
2024-09-04 cs.AI cs.CR cs.LG
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart(斯图加特大学)
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据,但是整个系统遭受错误传播。在本文中,我们提出了一种新的训练方法,使预训练的上下文嵌入处理声学特征。特别是,我们扩展它与编码器的预训练语音识别系统,以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架,跨越语音和文本形式,对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明,我们的系统达到了与流水线架构相当的性能,而不使用任何训练数据,并在三个基准测试中的两个上进行了每类十个示例的微调后,性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
Math Operation Embeddings for Open-ended Solution Analysis and Feedback
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Rice University(莱斯大学)
对学生答案的反馈,甚至在他们解决开放式问题的中间步骤,是数学教育的一个重要组成部分。这种反馈可以帮助学生纠正错误,最终提高学习效果。大多数现有的自动学生解决方案分析和反馈方法需要手动构建认知模型,并预测学生对每个问题的错误。这个过程需要大量的人力,并且不能扩展到家庭作业和实践中使用的大多数问题,而这些问题并不包含这些信息。在本文中,我们分析了学生的一步一步的解决过程中,试图扩大错误诊断和反馈机制,为少数问题,以大量的问题。利用最近的数学表达式编码方法,我们将求解步骤中应用的每个数学运算表示为数学嵌入向量空间中的过渡。我们使用一个数据集,其中包含学生的解决方案的步骤,在认知导师系统学习数学运算的隐式和显式表示。我们探讨这些表示是否可以i)识别学生打算在每个解决方案步骤中执行的数学运算,无论他们是否正确,ii)为不正确的步骤选择适当的反馈类型。实验结果表明,我们学到的数学运算表示在不同的数据分布中具有很好的泛化能力。
2021-04-25 cs.CY cs.LG
PATE-TabTransGAN: Differentially Private Synthetic Tabular Data Generation via Transformer-Based Student Discrimination
Wrocław University of Science and Technology(沃拉布大学科学与技术学院)
提出PATE-TabTransGAN框架,结合教师集成私有聚合(PATE)机制与基于Transformer的学生鉴别器,在正式差分隐私保证下生成高质量合成表格数据,并在四个基准数据集上取得最优或并列最优的AUROC。
2026-05-26 cs.LG
Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay
Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对无数据知识蒸馏中因合成数据分布偏移导致的知识退化问题,提出基于变分自编码器的生成式伪回放方法,无需存储样本即可防止知识退化,在提升模型准确率期望的同时消除了内存开销。
2024-07-29 cs.AI cs.LG
Towards Active Synthetic Data Generation for Finetuning Language Models
Microsoft(微软)
本文提出通过主动学习方法生成合成数据以提升语言模型微调效果,验证了简单筛选标准在数学和逻辑推理任务中的有效性。
2026-02-09 cs.CL cs.LG
Privacy-Preserving Student Learning with Differentially Private Data-Free Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出一种基于差分隐私的无数据蒸馏师生学习方法,通过生成合成数据并采用选择性随机响应保护标签隐私,在统一框架下同时保护数据和标签隐私,实验验证其有效性。
2024-09-19 cs.AI cs.CR cs.CV
GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
Pohang University of Science and Technology(浦项科技大学)
本文提出组件级蒸馏框架GOD,通过嫁接教师与学生模型组件提供组件级反馈,仅用学生模型推理,在三个真实数据集上较最优基线最高提升13.92%,解决序列推荐泛化能力弱的问题。
2026-08-26 cs.IR cs.LG
Have I Seen You? Embedding Behavior Signals Synthetic Face Dataset Membership
University of Luxembourg(卢森堡大学)
该研究针对合成人脸数据集开展数据集级成员推断攻击,在多模型多数据集实验中实现高成功率,揭示合成数据仍保留真实训练数据痕迹,需更强隐私泄漏缓解措施。
2026-08-03 cs.AI cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
QUEST: Quantized embedding space for transferring knowledge
University of Crete(克里特大学);Sorbonne University(索邦大学)
知识蒸馏是指通过从高容量的教师网络学习来训练紧凑的学生网络以实现更好的准确性的过程。现有的大多数知识蒸馏方法通过匹配教师的输出、特征图或它们的分布来引导学生跟随教师。在这项工作中,我们提出了一种新的方法来实现这一目标:通过量化空间提取知识。根据我们的方法,教师的特征图被量化,以表示包含在特征图中的主要视觉概念。然后,学生被要求预测量化的表示,从而形成了学生用来向老师学习的任务。尽管它的简单性,我们表明,我们的方法是能够产生的结果,提高最先进的知识蒸馏。为此,我们在几种网络架构和最常用的基准数据集上进行了广泛的评估。
2020-07-17 cs.CV cs.LG
Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data
UC Los Angeles(加州大学洛杉矶分校);FAIR at Meta(Meta 基础人工智能研究院);DatologyAI
本文提出 SCIP 方法,利用合成损坏分析低质量代码的嵌入特征并设计剪枝指标,在 HumanEval 和 MBPP 上优于现有嵌入方法,最高提升 3%。
2023-12-05 cs.AI cs.CL cs.LG
Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework
University of Sydney(悉尼大学);The University of Hong Kong(香港大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
基于深度学习的图像增强模型大大提高了眼底图像的可读性,以降低临床观察的不确定性和误诊风险。然而,由于难以获得成对的不同质量的真实眼底图像,大多数现有的方法不得不采用合成图像对作为训练数据。合成图像和真实图像之间的域转移不可避免地阻碍了这种模型在临床数据上的推广。在这项工作中,我们提出了一个端到端的优化师生框架,同时进行图像增强和域适应。学生网络使用合成对进行监督增强,并通过在不依赖于增强的地面实况的情况下对真实眼底图像实施师生预测一致性来正则化增强模型以减少域偏移。此外,我们还提出了一种新的多级多注意力引导增强网络(MAGE-Net)作为我们的教师和学生网络的骨干。我们的MAGE-Net利用多级增强模块和视网膜结构保留模块,逐步整合多尺度特征,同时保留视网膜结构,以实现更好的眼底图像质量增强。在真实和合成数据集上的综合实验表明,我们的框架优于基线方法。此外,我们的方法也有利于下游的临床任务。
2023-02-23 cs.CV cs.LG eess.IV
Interpretable contrastive word mover's embedding
Tufts University(塔夫茨大学)
本文表明,一种流行的方法,监督嵌入文件的分类,即对比词移动器的嵌入,可以显着提高通过增加可解释性。这种可解释性是通过将聚类促进机制纳入对比损失来实现的。在几个公共数据集上,我们表明我们的方法在现有基线的基础上显着改进,同时通过识别一组最能代表特定类别的关键字来提供对集群的解释。我们的方法的动机部分是需要开发自然语言处理(NLP)方法的\textit{novel problem of assessing student work for scientific writing and thinking} -一个问题,是中央(教育)学习科学(LS)的领域。在这种情况下,我们表明,我们的方法导致一个有意义的评估学生的工作相关的实验室报告,从生物类,可以帮助LS研究人员深入了解学生的理解和评估科学思维过程的证据。
2021-11-01 cs.CL cs.LG
Not All Synthetic Data Is Yours to Learn From
ECE Department(电子工程系);Apple(苹果公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Rice University(里奇大学)
研究无提示、无教师、无验证器、无奖励模型的自训练中,语言模型能否从自身生成的文本中学习,发现合成数据与学生之间的兼容性是关键,并揭示了能力与逐字记忆可分离的现象。
2026-05-29 cs.AI cs.CL cs.LG
Semantic Relatedness and Taxonomic Word Embeddings
Innovation Exchange(创新交流中心);IBM Ireland(爱尔兰国际商业机器公司);ADAPT Research Centre(ADAPT研究中心);Technological University Dublin(都柏林理工大学);Underwriters Laboratories(美国保险商实验室)
本文连接了一系列的文件处理分类词嵌入。首先指出,有不同类型的语义相关性,不同的词汇表征编码不同形式的相关性。语义相关性中一个特别重要的区别是主题相关性与分类相关性。接下来,我们提出了一些实验,分析分类嵌入,这些嵌入是在一个合成语料库上训练的,该语料库是通过分类上的随机游走生成的。这些实验展示了合成语料库的属性,例如稀有词的百分比,如何受到生成语料库的知识图谱的形状的影响。最后,我们探讨了当分类嵌入和主题嵌入相结合时,自然语料库和合成语料库的相对大小对嵌入性能的影响。
2020-02-14 cs.AI cs.CL cs.LG
Teacher-Student Compression with Generative Adversarial Networks
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
更精确的机器学习模型在测试时通常需要更多的计算和内存,这使得它们难以部署在CPU或内存受限的设备上。教师-学生压缩(TSC),也称为蒸馏,通过训练一个不太昂贵的学生模型来模仿昂贵的教师模型,同时保持大部分原始准确性,从而减轻了这一负担。然而,当新数据不可用于压缩任务时,教师的训练数据通常被重用,导致次优压缩。在这项工作中,我们建议增加压缩数据集与合成数据从生成对抗网络(GAN),旨在近似的训练数据分布。我们的GAN-assisted TSC(GAN-TSC)显著提高了昂贵模型(如大型随机森林和深度神经网络)在表格和图像数据集上的学生准确性。基于这些结果,我们提出了一个全面的度量-TSC得分-基于其诱导TSC性能来评估合成数据集的质量。TSC得分捕获数据多样性和类的亲和力,我们说明了它的好处超过流行的初始得分的背景下,图像分类。
2020-03-20 cs.LG stat.ML
Advancing Semantic Caching for LLMs with Domain-Specific Embeddings and Synthetic Data
Redis(睿都斯(Redis));Virginia Tech(弗吉尼亚理工大学)
本报告提出通过领域特定小型嵌入模型微调和合成数据生成管道提升LLM语义缓存的精度与召回率,有效平衡计算开销与准确性。
2025-04-03 cs.CL cs.LG
Analysis of Knowledge Tracing performance on synthesised student data
Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学);Intel Labs(英特尔实验室)
针对知识追踪模型应用中的数据限制问题,研究采用三种统计策略基于公开数据集合成学生数据,实验发现仅用合成数据训练可达到与真实数据相近的KT模型性能。
2024-01-30 cs.CY cs.LG stat.ML
Portfolio Optimization Proxies under Label Scarcity and Regime Shifts via Bayesian and Deterministic Students under Semi-Supervised Sandwich Training
Department of Management Studies, Indian Institute of Technology Roorkee, India(印度理工学院罗里克分校管理研究系)
本文提出基于贝叶斯和确定性学生模型的半监督框架,用于在标签稀缺和制度转换下优化投资组合,通过合成数据增强训练,提升鲁棒性和降低周转率。
2026-04-04 cs.LG q-fin.PM stat.ML
StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
StyleDistance 利用大语言模型生成风格受控的合成平行改写数据,围绕 40 种风格特征进行对比学习,训练出更强内容无关的风格嵌入,并在现实基准和下游任务中优于现有方法。
2025-02-08 cs.CL cs.LG
eCDANs: Efficient Temporal Causal Discovery from Autocorrelated and Non-stationary Data (Student Abstract)
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
传统的时间因果发现(CD)方法具有高维性,无法识别滞后的因果关系,并且经常忽略关系中的动态性。在这项研究中,我们提出了一种新的基于约束的CD方法,自相关和非平稳时间序列数据(eCDAN)能够检测滞后和同期的因果关系随着时间的变化。eCDAN通过优化条件集同时进行条件独立性(CI)测试来解决高维问题,并通过引入替代变量来表示时间依赖性来识别因果关系的变化。对合成数据和真实数据的实验表明,eCDAN可以识别时间影响并优于基线。
2023-03-06 cs.AI cs.LG stat.ME
Causal-Privacy Audit Workflow for Synthetic and Distilled Data in Dropout Support
Central University of Finance and Economics(中央财经大学);China Development Bank(中国发展银行);University of Cambridge(剑桥大学)
提出CaP-Eval工作流,在固定估计目标下审计合成学生数据的预测效用、因果保真度和隐私风险,发现DPGNet和蒸馏数据在保留处理效应结构上优于基线方法。
2026-06-16 cs.LG
Visualizing the embedding space to explain the effect of knowledge distillation
Korea University(高丽大学)
最近的研究发现,知识蒸馏可以有效地减少网络的规模和提高泛化能力。例如,一个预先训练好的大型教师网络被证明能够引导学生模型,最终在有限的标签环境中超过教师。尽管取得了这些进展,但仍然不清楚\emph{why}这种方法是否有效,也就是说,最终的学生模型做得“更好”。为了解决这个问题,我们利用两种非线性低维嵌入方法(t-SNE和IVIS)来可视化网络中不同层的表示空间。我们进行了一系列广泛的实验,不同的结构参数和蒸馏方法。由此产生的可视化和指标清楚地表明,与非蒸馏版本相比,蒸馏引导网络在早期层中找到更紧凑的表示空间,以获得更高的准确性。
2021-10-09 cs.CV cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架,通过稀疏潜在特征实现头部剪枝的可解释和可控,提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Crossmodal Knowledge Distillation with WordNet-Relaxed Text Embeddings for Robust Image Classification
North China Electric Power University(华北电力大学);Amazon(亚马逊公司)
提出一种多教师跨模态KD框架,通过结合CLIP图像嵌入与可学习的WordNet-松弛文本嵌入,缓解标签泄露并引入丰富文本线索,显著提升图像分类性能。
2025-03-31 cs.CV cs.LG
Context-Aware Systems for Sequential Item Recommendation
Quizlet, Inc.(Quizlet公司)
Quizlet是美国最受欢迎的在线学习工具,超过2/3的高中生和1/2的大学生使用。超过95%的Quizlet用户报告成绩有所提高,该平台已成为数百万教室使用的事实上的工具。在本文中,我们探讨的任务,推荐合适的内容,为学生学习,考虑到他们的兴趣,以及他们的同龄人正在学习。我们提出了一种新的方法,即神经教育推荐引擎(NERE),推荐教育内容,利用学生的行为,而不是评级。我们发现,这种方法更好地捕捉了与学习更一致的社会因素。NERE基于一个循环神经网络,包括协作和基于内容的推荐方法,并考虑到任何特定学生的速度,掌握和经验,以推荐适当的任务。我们通过联合学习用户嵌入和内容嵌入来训练NERE,并尝试预测最终时间戳的内容嵌入。我们还为我们的神经网络开发了一个置信度估计器,这是生产化这个模型的关键要求。我们将NERE应用于Quizlet的专有数据集,并给出了我们的结果。我们在内容嵌入空间中的R^2得分为0.81,在100个最近邻上的召回率为54%。这大大超过了标准矩阵分解方法提供的12%的recall@100分数。最后,我们将讨论如何部署NERE,并将我们的工作定位为K-12空间的第一个教育推荐系统之一。
2019-04-04 cs.IR cs.LG stat.ML
Knowledge Distillation Using Frontier Open-source LLMs: Generalizability and the Role of Synthetic Data
Microsoft(微软)
本文以 Llama-3.1-405B 为教师、8B/70B 为学生评估知识蒸馏,证明高质量合成数据与推理链可显著提升泛化和推理表现,并强调多维度任务评估。
2024-10-24 cs.LG
Efficient Synthetic Network Generation via Latent Embedding Reconstruction
Department of Statistics, University of Michigan, Ann Arbor, Michigan, USA(统计学系,密歇根大学,安娜堡,密歇根州,美国)
提出SyNGLER框架,基于潜在空间网络模型,通过重建潜在嵌入生成合成网络,兼顾效率与结构保真度。
2026-05-31 cs.LG stat.AP stat.ME
Engineering Regression Without Real-Data Training: Domain Adaptation for Tabular Foundation Models Using Multi-Dataset Embeddings
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种无需真实数据训练的工程回归方法,通过多数据集嵌入技术提升基础模型在数据稀少领域的表现。
2026-03-05 cs.LG
Audio Representation Learning by Distilling Video as Privileged Information
Queen’s University(女王大学)
与单模态方法相比,使用多模态视听数据的深度音频表示学习通常会导致更好的性能。然而,在现实世界的场景中,这两种模态在推理时并不总是可用的,从而导致针对多模态推理训练的模型的性能下降。在这项工作中,我们提出了一种新的方法,深度音频表示学习使用视听数据时,视频模态是缺席的推理。为此,我们在利用特权信息学习的框架下采用师生知识蒸馏。虽然以前为LUPI提出的方法使用教师生成的软标签,但在我们提出的方法中,我们使用教师学习的嵌入来训练学生网络。我们将我们的方法集成在两种不同的设置中:连续数据,其中特征在整个时间内被划分为多个段,以及非连续数据,其中整个特征被视为一个完整的段。在非顺序设置中,教师和学生网络都由编码器组件和任务头组成。我们使用教师的编码器组件产生的嵌入来训练学生的编码器,而学生的任务头使用地面实况标签进行训练。在顺序设置中,网络具有放置在编码器和任务头之间的附加聚合组件。我们使用教师的编码器和聚合组件产生的两组嵌入来训练学生。与非顺序设置类似,学生网络的任务头使用地面实况标签进行训练。我们测试了我们的框架上两个不同的视听任务,即说话人识别和语音情感识别,并显示出相当大的改进,在单一的基于音频的识别,以及以前的作品,使用LUPI。
2023-02-06 cs.LG cs.SD eess.AS
TESSERA v2: Scaling Pixel-wise Earth Foundation Models
University of Cambridge(剑桥大学);NVIDIA(英伟达);dClimate Labs(dClimate实验室)
研究逐像素地球观测基础模型的扩展及预训练预算分配,通过大规模实验发现预训练损失难预测下游性能,给出计算分配规则,训练并蒸馏模型,其成果优于其他模型。
2026-08-07 cs.CV cs.LG
Anna Karenina Strikes Again: Pre-Trained LLM Embeddings May Favor High-Performing Learners
Weizmann Institute of Science(魏茨曼科学研究所);ETS(美国教育考试服务中心);Princeton(普林斯顿大学)
该研究对比专家理论驱动的生物学知识画像与数据驱动聚类结果,发现预训练 LLM 嵌入更易识别含正确答案的画像,存在“可发现性偏差”。
2024-06-06 cs.AI cs.CL cs.CY
Ontology Matching Through Absolute Orientation of Embedding Spaces
SAP SE(SAP思爱普公司);University of Mannheim(曼海姆大学)
本体匹配是创建可互操作和链接的开放数据集时的核心任务。在本文中,我们探索了一种新的基于结构的映射方法,它是基于知识图谱嵌入:要匹配的本体被嵌入,并被称为绝对方向的方法被用来对齐两个嵌入空间。接下来的方法,本文提出了一个第一,初步评估使用合成和真实世界的数据集。我们发现,在实验中与合成数据,该方法的工作非常好,类似结构的图形,它处理对齐噪声比本体的大小和结构差异。
2022-04-08 cs.AI cs.DB cs.IR
Distilling Multi-Level X-vector Knowledge for Small-footprint Speaker Verification
National Institute of Informatics(国立信息学研究所);Institute for Advancing Intelligence, TCG CREST(TCG CREST 智能促进研究所);University of Eastern Finland(东芬兰大学)
针对深度说话人模型尺寸大难部署的问题,提出融合x-vector教师网络多层嵌入蒸馏训练紧凑学生模型的方法,实现模型尺寸75%-91%的缩减且性能接近教师,方法可推广至其他x-vector变体。
2023-12-19 cs.LG cs.SD eess.AS
Exploring Student Check-In Behavior for Improved Point-of-Interest Prediction
Purdue University(普渡大学)
随着基于位置的社交网络(LBSN)上大量用户访问历史的可用性,兴趣点(POI)预测问题得到了广泛的研究。然而,大部分研究都是基于从Foursquare或Yelp等社交应用程序收集的自愿签到数据集进行的。虽然这些数据包含关于娱乐活动的丰富信息(例如,餐馆、夜生活和娱乐),但有关人们生活中更重要方面的信息却很少。这不仅限制了我们对用户日常生活的了解,更重要的是,根据基于娱乐的数据特征开发的建模假设可能不适合更丰富的签到数据。在这项工作中,我们提出了一个分析的教育“签到”数据,使用在普渡大学收集的WiFi访问日志。我们提出了一种异构的基于图的方法来编码用户,POI和活动之间的相关性,然后共同学习嵌入的顶点。我们评估我们的方法相比,以前的国家的最先进的POI预测方法,并表明,由以前的方法所做的假设显着降低我们的数据与密集(r)活动信号的性能。我们还展示了我们学习的嵌入如何用于识别相似的学生(例如,朋友的建议)。
2018-09-25 cs.LG stat.ML
A Privacy-Preserving Framework Using Remote Data Science for Inter-Institutional Student Retention Prediction
Concordia University(康科迪亚大学);Wisconsin Marquette University(威斯康星麦基大学);Marquette University(麦基大学);Georgetown University(乔治城大学)
提出基于PySyft和半气隙架构的远程数据科学框架,实现三所大学在不直接访问敏感数据的情况下协作预测学生保留率,验证了隐私保护机器学习在教育场景的可行性。
2026-06-12 cs.CR cs.LG
Proxy Synthesis: Learning with Synthetic Classes for Deep Metric Learning
NAVER/LINE Vision;NAVER Clova Speech
深度度量学习的主要目的之一是构建一个嵌入空间,该嵌入空间在可见(训练)类和不可见(测试)类上都具有良好的泛化嵌入。大多数现有的工作都试图实现这一目标,使用不同类型的度量目标和硬样本挖掘策略与给定的训练数据。然而,仅使用训练数据的学习可能过拟合到可见的类,导致对不可见的类缺乏泛化能力。为了解决这个问题,我们提出了一个简单的正则化器,称为代理合成,它利用合成类在深度度量学习中进行更强的泛化。所提出的方法生成合成嵌入和代理,作为合成类工作,它们在计算基于代理的损失时模仿看不见的类。代理合成推导出一个嵌入空间,考虑到类关系和光滑的决策边界的鲁棒性上看不见的类。我们的方法适用于任何基于代理的损失,包括softmax及其变体。在四个著名的图像检索任务的基准上进行的大量实验表明,代理合成显着提高了基于代理的损失的性能,并实现了最先进的性能。
2021-03-29 cs.CV cs.IR cs.LG
Long-Range Distillation: Distilling 10,000 Years of Simulated Climate into Long Timestep AI Weather Models
本文提出长距离蒸馏方法,通过生成大量合成气候数据,训练长时间步AI模型以提升长距离天气预报能力。
2026-10-15 cs.LG physics.ao-ph