An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);NTNU(挪威科技大学)
我们提出了一个集成学习框架与泊松子采样,有效地训练一组教师模型,发出一些差分隐私(DP)的训练数据的保证。通过DP下的提升,从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制,即:(i)经由泊松子采样的隐私预算放大,以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型,以及(ii)子采样技术和总体师生学习框架的组合,该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练,以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明,我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Knowledge Distillation via Weighted Ensemble of Teaching Assistants
Texas Tech University(德克萨斯理工大学)
机器学习中的知识蒸馏是将知识从称为教师的大型模型转移到称为学生的较小模型的过程。知识蒸馏是将大型网络(教师)压缩为可以部署在移动电话等小型设备中的较小网络(学生)的技术之一。当教师和学生之间的网络规模差距增加时,学生网络的性能下降。为了解决这个问题,在教师模型和学生模型之间采用了一个中间模型,称为教学助理模型,这反过来又弥合了教师和学生之间的差距。在这项研究中,我们已经表明,使用多个教学助理模型,学生模型(较小的模型)可以进一步改善。我们使用加权集成学习将这些多个教学辅助模型组合在一起,其中我们使用差分评估优化算法来生成权重值。
2022-06-23 cs.LG
The Pupil Has Become the Master: Teacher-Student Model-Based Word Embedding Distillation with Ensemble Learning
Emory University(埃默里大学);Visa Research(Visa研究院)
深度学习的最新进展促进了神经模型在实际应用中的需求。在实践中,这些应用程序通常需要在有限的资源下部署,同时保持高精度。本文涉及自然语言处理中神经模型的核心,词嵌入,并提出了一个新的嵌入蒸馏框架,显着降低了词嵌入的维数,而不影响准确性。还提出了一种新的蒸馏集成方法,使用多个教师模型训练高效的学生模型。在我们的方法中,教师模型只在训练过程中发挥作用,这样学生模型就可以在解码过程中独立运行,而不需要教师模型的支持,这使得它比其他典型的集成方法快80倍。所有模型在七个文档分类数据集上进行了评估,在大多数情况下,这些模型都比教师模型具有显着的优势。我们的分析描绘了深刻的转变词嵌入从蒸馏,并提出了一个未来的方向集成方法使用神经模型。
2019-05-31 cs.IR cs.LG stat.ML
Physics-Informed Teacher-Student Ensemble Learning for Traffic State Estimation with a Varying Speed Limit Scenario
Department of Building, Civil and Environmental Engineering, Concordia University(康科迪亚大学建筑、土木和环境工程系);Urban Artificial Intelligence Laboratory, University of Florida(佛罗里达大学城市人工智能实验室);Department of Civil, Environmental and Construction Engineering, University of Central Florida(中央佛罗里达大学土木、环境和建设工程系)
本文提出一种融合物理信息的教师-学生集成学习框架,用于在变化速度限制场景下准确估计交通状态,通过局部编码流量守恒定律并利用多层感知器分类器提升性能。
2026-05-11 cs.AI cs.CE cs.LG
Machine Learning Students Overfit to Overfitting
University of Groningen(格罗宁根大学)
过拟合和泛化是机器学习中的一个重要概念,因为只有泛化的模型才对一般应用感兴趣。然而,一些学生在通过讲座和练习学习这个重要概念时遇到困难。在本文中,我们描述了学生误解过拟合的常见例子,并提供了可能的解决方案的建议。我们涵盖了学生对过拟合的误解,关于过拟合的解决方案,以及通常与过拟合问题混淆的实现错误。我们希望我们的论文能有助于提高学生对这一重要主题的理解和讲座。
2022-09-07 cs.CY cs.LG
Evaluation of Machine Learning Models in Student Academic Performance Prediction
Dept. of Computer Engineering General Sir John Kotelawala Defence University(计算机工程系 加普尔·约翰·科特拉瓦拉国防大学);Dept. of Computer Science Sri Lanka Institute of Information Technology(计算机科学系 斯里兰卡信息技术研究所)
本文评估经典机器学习模型对学生学业表现的预测能力,发现MLPC表现最佳,并结合特征选择与可解释机器学习验证模型有效性。
2025-06-08 cs.AI cs.CY cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Analysis and Prediction of At-Risk Students Using Machine Learning Algorithms
Department of Information Technology, Sydney International School of Technology and Commerce(悉尼国际科技与商业学院信息科技系)
本研究利用机器学习方法(逻辑回归、随机森林、支持向量机、K近邻)基于学业表现、人口统计和注册数据预测学生退学,逻辑回归和线性SVM准确率最高。
2026-06-23 cs.CY cs.LG
On-line Learning of an Unlearnable True Teacher through Mobile Ensemble Teachers
Department of Basic Science, University of Tokyo(东京大学基础科学系)
用统计力学的方法研究了分层学习模型的在线学习问题。在我们的模型中,一个简单感知器的学生不是直接从一个真正的老师那里学习,而是从一个感知器学习规则的真正老师那里学习的合奏老师。由于真教师和集成教师分别表示为非单调感知机和简单感知机,集成教师围绕不可学习的真教师,它们之间的距离固定在一个渐近稳定状态。学生的泛化性能超过合奏教师在一个短暂的状态,如在类似的合奏教师模型。此外,它被发现,移动合奏教师,即使在稳定的状态下,与固定合奏教师相比,是有效的学生的表现。
2008-05-10 cond-mat.dis-nn cs.LG
Diffusion Distillation for Efficient Weather Ensembles
University College London(伦敦大学学院);University of Oxford(牛津大学)
该研究针对扩散模型生成天气集合时迭代采样成本高的问题,提出有监督能量距离蒸馏方法,将多步扩散教师模型压缩为单步学生模型,在全球预报和台风路径预测中表现优于现有方法。
2026-08-31 cs.LG stat.AP
A Hybrid AI Framework for Academic Advising: Integrating Ensemble-Based Grade Prediction and a Rule-Based Expert System
University of Birjand(比尔詹德大学)
本研究提出一个混合AI框架,结合集成成绩预测与规则专家系统,在比尔詹德大学数据集上实现RMSE 2.35,提供实时学业建议。
2026-09-23 cs.AI cs.LG
Applied Machine Learning for Games: A Graduate School Course
University of Southern California(南加州大学)
游戏行业正在进入一个时代,老式的游戏引擎正在被重新设计的系统所取代,这些系统具有嵌入式机器学习技术,用于操作,分析和理解游戏。在本文中,我们描述了我们的机器学习课程,该课程是为有兴趣将深度学习和强化学习的最新进展应用于游戏的研究生设计的。本课程作为桥梁,以促进研究生院之间的跨学科合作,不需要事先设计或构建游戏的经验。参加本课程的研究生应用不同领域的机器学习技术,如计算机视觉,自然语言处理,计算机图形学,人机交互,机器人和数据分析,以解决游戏中的开放性挑战。学生项目涵盖用例,例如在游戏基准环境和比赛中训练AI机器人,了解游戏中的人类决策模式,以及创建智能不可玩角色或环境以促进引人入胜的游戏玩法。项目演示可以帮助学生打开行业职业生涯的大门,瞄准出版物,或为未来的产品奠定基础。我们的学生在应用最先进的机器学习技术来解决游戏中的现实问题方面获得了实践经验。
2021-01-01 cs.AI cs.CY cs.LG
Machine Learning Approach for Predicting Students Academic Performance and Study Strategies based on their Motivation
University of Saskatchewan(萨斯喀彻温大学)
本研究旨在发展机器学习模型,以预测学生的学习成绩及学习策略,并将其推广至高等教育的所有课程。学生学习过程中的关键学习属性(内在的,外在的,自主性,相关性,能力和自尊)被用来建立模型。确定这些属性对学生的学习成绩和学习策略的广泛影响是我们感兴趣的中心。为了研究这个问题,我们使用Python中的Scikit-learn构建了五个机器学习模型(决策树,K-最近邻,随机森林,线性/逻辑回归和支持向量机),用于回归和分类任务来执行我们的分析。使用智利作者通过定量研究设计收集的924名大学牙科学生的数据对模型进行了训练,评估和准确性测试。模型的比较分析表明,基于树的模型,如随机森林(预测准确率为94.9%)和决策树显示出最好的结果相比,线性,支持向量和k-最近邻。本研究内置的的学习策略预测模型可用于预测学生的学习成绩和学习策略,以便实施适当的干预措施,以促进学生的学习进步。因此,在在线教育系统的设计中纳入可以改善不同学生学习属性的策略可以增加学生继续按要求完成学习任务的可能性。此外,结果表明,属性可以一起建模,并用于适应/个性化的学习过程。
2022-10-15 cs.AI cs.LG
The Potential of Machine Learning and NLP for Handling Students' Feedback (A Short Survey)
Norwegian University of Science & Technology (NTNU)(挪威科技大学(NTNU))
本文回顾了近年来发表的学生反馈论文,采用数据采掘技术。特别是,重点是突出那些使用机器学习或深度学习方法的论文。学生反馈评价是近年来备受关注的一个热点问题。由于最近的大流行病爆发,推动许多学院和大学通过电子学习平台和工具(包括大规模开放式在线课程(MOOC))将教学从校园物理课程转移到在线课程,因此其重要性增加了许多倍。现在,学生的反馈更加重要。因此,这篇简短的调查论文突出了自然语言处理领域关于自动学生反馈评估的最新趋势。它提出了在这一领域中常用的技术,并讨论了一些未来的研究方向。
2020-11-07 cs.CY cs.LG
On the Fairness Impacts of Private Ensembles Models
Syracuse University(雪城大学);University of Virginia(弗吉尼亚大学)
本文探讨了私有集成模型(PATE)是否会导致不公平,发现其会在不同群体间引发准确率差异,并分析了相关算法与数据属性,最后提出了缓解建议。
2023-05-19 cs.AI cs.CY cs.LG
Machine Learning-Driven Student Performance Prediction for Enhancing Tiered Instruction
School of Information Science and Engineering, Shandong Normal University(山东师范大学信息科学与工程学院)
本研究提出将机器学习学生成绩预测与分层教学相结合,通过特征选择降低冗余,采用随机森林实现最优分类,并据此设定分层教学目标,实验验证了该框架能有效提升教学成效。
2025-02-05 cs.CY cs.LG
Personalized Student Attribute Inference
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
准确地预测他们未来的表现可以确保学生成功毕业,并帮助他们节省时间和金钱。然而,实现这样的预测面临着两个挑战,主要是由于学生背景的多样性和不断跟踪他们不断发展的进步的必要性。这项工作的目标是创建一个系统,能够自动检测有困难的学生,例如预测他们是否可能不及格。我们比较了一种在文献中广泛使用的朴素方法,该方法使用数据集中可用的属性(如成绩),与我们称为个性化学生属性推理(PSAI)的个性化方法。通过我们的模型,我们创建个性化的属性来捕捉每个学生的特定背景。这两种方法使用机器学习算法,如决策树,支持向量机或神经网络进行比较。
2022-12-26 cs.AI cs.CY cs.LG
Ensemble Knowledge Distillation for Learning Improved and Efficient Networks
IBM Research Australia(IBM澳大利亚研究院)
由深度卷积神经网络(CNN)组成的包围模型在模型泛化方面已经显示出显著的改进,但代价是大量的计算和存储器需求。在本文中,我们提出了一个学习紧凑的CNN模型的框架,具有改进的分类性能和模型泛化能力。为此,我们提出了一个紧凑的学生模型的CNN架构,该模型具有并行分支,这些分支使用地面真值标签和来自高容量教师网络的信息以集成学习的方式进行训练。我们的框架提供了两个主要的好处:i)将来自不同教师的知识提取到学生网络中,促进了学生网络不同分支的特征学习的异质性,并使网络能够学习目标问题的不同解决方案。ii)通过集成来耦合学生网络的分支,鼓励协作,并通过减少网络输出的方差来提高最终预测的质量。在成熟的CIFAR-10和CIFAR-100数据集上的实验表明,我们的Ensemble知识蒸馏(EKD)提高了分类精度和模型泛化能力,特别是在训练数据有限的情况下。实验还表明,我们的EKD为基础的紧凑型网络优于测试数据集的平均精度相比,最先进的知识蒸馏为基础的方法。
2020-04-02 cs.CV cs.LG
Protecting Student Mental Health with a Context-Aware Machine Learning Framework for Stress Monitoring
Dept. of Computer Science, George Mason University, Virginia, USA(计算机科学系,乔治·马歇尔大学,弗吉尼亚州,美国);Dept. of Computer Science and Engineering, University of Rajshahi, Bangladesh(计算机科学与工程系,拉贾沙希大学,孟加拉国);Dept. of Computer Science and Engineering, Green University of Bangladesh, Bangladesh(计算机科学与工程系,孟加拉国绿色大学,孟加拉国)
本文提出一种上下文感知的机器学习框架,利用六个基分类器和集成策略对学生压力进行分类,在两个数据集上分别达到93.09%和99.53%的准确率,优于现有基准,支持早期压力检测。
2025-08-01 cs.AI cs.CY cs.LG
MEAL: Multi-Model Ensemble via Adversarial Learning
Fudan University(复旦大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通常,表现最好的深度神经模型是多个基本级别网络的集合。不幸的是,存储这么多网络所需的空间以及在测试时执行它们所需的时间禁止它们在测试集很大的应用中使用(例如,ImageNet)。在本文中,我们提出了一种将大型复杂的训练集合压缩到单个网络中的方法,其中来自各种训练的深度神经网络(DNN)的知识被提取并转移到单个DNN。为了从不同的训练(教师)模型中提取不同的知识,我们建议使用基于对抗的学习策略,在该策略中,我们定义了一个分块训练损失来指导和优化预定义的学生网络,以恢复教师模型中的知识,并促进学习网络同时区分教师和学生特征。本文提出的基于对抗学习的知识集成方法(MEAL)具有三个重要的优点:(1)利用鉴别器学习知识的学生网络比原始模型更优化;(2)通过一次前向传递实现快速推理,性能甚至优于传统的多原始模型集成;(3)学生网络可以从具有任意结构的教师模型中学习提取的知识。在CIFAR-10/100、SVHN和ImageNet数据集上的大量实验证明了MEAL方法的有效性。在ImageNet上,我们基于ResNet-50的MEAL实现了top-1/5 21.79%/5.99%的val误差,比原始模型高出2.06%/1.14%。代码和模型可在https://github.com/AaronHeee/MEAL上获得
2019-07-25 cs.AI cs.CV cs.LG
A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata
Federal Institute of Education, Science, and Technology of Rio Grande do Norte(巴西里约格朗德杜北教育、科学和技术联邦学院)
采用多级机器学习方法,利用SAEB微观数据中四类特征,通过随机森林模型以90.2%准确率分类学生水平,并借助SHAP解释发现学校平均社会经济水平是最强预测因子,表明学业表现是系统性现象。
2026-06-16 cs.AI cs.CY cs.LG
A Machine Learning system to monitor student progress in educational institutes
diracAI Private Limited(diracAI私人有限公司);Amity University(阿米提大学)
为了跟踪和了解学生的学业成绩,私立和公立教育机构都投入了大量的资源和人力。学院经常处理的难题之一是了解学生的考试缺点。学生的表现受多种因素影响,包括出勤率、上课时的专注程度、对所教授概念的理解、教师有效传授材料的能力、按时完成家庭作业,以及家长和教师对引导学生完成学习过程的关注。我们提出了一种数据驱动的方法,利用机器学习技术来生成一个分类器,称为信用评分,有助于理解学生的学习旅程,并确定活动,导致低于标准的性能。这将使教育工作者和机构管理人员更容易为系统开发创建指导方针,以提高生产力。使用学分作为进度指标的建议非常适合用于学习管理系统。在本文中,我们使用模拟数据在简化假设下证明了这一概念。
2022-11-02 cs.CY cs.LG
Dynamic Diagnosis of the Progress and Shortcomings of Student Learning using Machine Learning based on Cognitive, Social, and Emotional Features
Stony Brook University(石溪大学);Hofstra University(霍夫斯特拉大学)
学生的多样性,如学术背景,学习风格,职业和生活目标,种族,年龄,社会和情感特征,课程负荷和工作时间表,提供了独特的教育机会,如学习新技能,同伴指导和榜样设置。但是,学生的多样性也可能具有挑战性,因为它增加了学生学习和进步方式的可变性。单一的教学方法可能是无效的,导致学生不能发挥他们的潜力。自动化支持可以通过不断评估学生的学习和实施必要的干预措施来解决传统教学的局限性。本文讨论了一种基于数据分析和机器学习的新方法来测量和因果诊断学生学习的进展和不足,然后利用对个人的洞察力来优化学习。诊断属于动态诊断性形成性评估,旨在揭示学习缺陷的原因。该方法将学习困难分为四类:记忆回忆,概念调整,概念修改,以及将问题分解为子目标(子问题)和概念组合。数据模型预测四种挑战类型中每一种的发生,以及学生的学习轨迹。这些模型可以用于自动创建实时的、针对学生的干预措施(例如,学习线索)来解决不太理解的概念。我们设想,该系统将使新的自适应教学方法,释放学生的学习潜力,通过定制的课程材料的背景,能力,情况和每个学生的进步;并利用多样性相关的学习经验。
2022-04-13 cs.CY cs.LG
Imbalanced Ensemble Classifier for learning from imbalanced business school data set
Indian Statistical Institute(印度统计研究所)
印度的私立商学院面临着一个共同的问题,即为MBA课程选择高质量的学生,以达到理想的安置比例。通常,这样的数据集偏向于一个类别,即,不平衡的从不平衡的数据集中学习是一个困难的命题。针对印度商学院数据集的特征选择(学生重要特征的选择)和分类问题(基于学生特征的位置预测),提出了一种不平衡集成分类器,该分类器能够处理数据集的不平衡性质,并达到更高的准确率。最后,利用印度商学院的数据集,对所提出的分类器的性能进行了评估。
2018-10-17 cs.LG stat.ML
Peer to Peer Learning Platform Optimized With Machine Learning
Lexington High School(列克星敦高中)
HELM Learning(Helping Everyone Learn More)是第一个在线点对点学习平台,允许学生(通常是初中到高中学生)免费授课,学生(通常是小学到初中学生)免费从课堂上学习。这种班级结构的方法(对等学习)已被证明是有效的学习,因为它促进了团队精神和协作,并使主动学习成为可能。HELM是一个独特的平台,因为它为学生提供了一个简单的过程,在结构化的对等环境中创建,教授和学习主题。自HELM于2020年4月创建以来,它已经在全球4大洲获得了超过4000名学生和80名教师的注册。HELM已经从一个简单的网站和Google表单平台发展成为一个使用Python、SQL、JavaScript和HTML编码的后端系统,托管在AWS服务上。这不仅让学生更容易报名(因为学生的信息保存在SQL数据库中,这意味着他们可以注册课程,而不必再次输入他们的信息,以及获得有关他们课程的自动电子邮件),而且也使教师更容易教学(因为自动完成诸如创建缩放链接、课堂记录文件夹、向学生发送电子邮件等补充过程)。此外,HELM有一个推荐机器学习算法,它根据学生以前上过的课,推荐学生喜欢上的课和科目。这为学生注册他们感兴趣的课程创造了更轻松的体验。
2022-09-07 cs.CY cs.LG
Teacher-Student Structure for Domain Adaptation in Ensemble Audio-Visual Video Deepfake Detection
Department of Computer Engineering, Sharif University of Technology(谢里夫理工学院计算机工程系)
提出EAV-DFD方法,结合师生框架的领域适应机制,提升模型在未见领域上的泛化能力,在三个数据集上AUC分别提升4.09%、17.94%和0.5%。
2026-06-16 cs.AI cs.CV cs.LG
ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning
Hanyang University(汉阳大学)
现代深度学习在各个领域都取得了巨大的成功。然而,它需要标记大量的数据,这是昂贵的和劳动密集型的。主动学习(AL),它识别最具信息量的样本进行标记,变得越来越重要,以最大限度地提高训练过程的效率。现有的人工智能方法大多使用单一的最终固定模型来获取待标记样本。这种策略可能不够好,因为没有考虑给定训练数据的模型的结构不确定性来获取样本。在这项研究中,我们提出了一种新的收购标准的基础上产生的传统的随机梯度下降(SGD)优化的时间自集成。这些自集成模型通过捕获通过SGD迭代获得的中间网络权重来获得。我们的采集功能依赖于学生和教师模型之间的一致性测量。学生模型被赋予固定数量的时间自集成模型,教师模型通过平均学生模型的权重来构造。使用建议的收购标准,我们提出了一个AL算法,即学生-教师一致性为基础的AL(ST-CoNAL)。在CIFAR-10、CIFAR-100、Caltech-256和Tiny ImageNet数据集上对图像分类任务进行的实验表明,所提出的ST-CoNAL比现有的采集方法具有更好的性能。此外,大量的实验表明,我们的方法的鲁棒性和有效性。
2022-10-16 cs.CV cs.LG
UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation
Microsoft Research(微软研究院);Tencent Cloud(腾讯云);Beihang University(北京航空航天大学)
语言间的翻译任务大多属于零资源翻译问题,在这种情况下,平行语料库不可用。多语言神经机器翻译(MNMT)与两遍枢轴翻译相比,可以使用所有语言的共享语义空间进行一遍翻译,但通常表现不佳。在本文中,我们提出了一种新的方法,命名为统一的多语言多师生模型NMT(UM 4)。我们的方法统一了源教师,目标教师,并指导学生模型的零资源翻译的教师模型。源语教师和译语教师通过源语和译语双方的知识精华迫使学生学习直接源语到译语的翻译。单语语料库被进一步利用的教师-教师模型,以提高学生模型。实验结果表明,我们的72个方向的模型显着优于以前的方法在WMT基准。
2022-08-24 cs.AI cs.CL cs.LG
Research on Education Big Data for Students Academic Performance Analysis based on Machine Learning
LaFetra College of Education, University of La Verne(拉文大学拉菲特教育学院);Steinhardt School of Culture, Education, and Human Development, New York University(纽约大学斯坦哈特文化、教育与人类发展学院);Hunan University of Humanities, Science and Technology(湖南人文科技学院)
本研究针对教育数据挖掘问题,提出基于LSTM的机器学习模型分析教育大数据以评估学生表现,通过捕捉时间依赖性和长期趋势支持个性化教育,并经交叉验证证实了其预测有效性。
2024-06-25 cs.CY cs.LG
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏(EDD),提出通过对集成logits而非softmax概率进行建模,显著提升了学生模型的不确定性估计性能,并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
Why Do Students Drop Out? University Dropout Prediction and Associated Factor Analysis Using Machine Learning Techniques
Oxford Academy(牛津学院);Cypress High School(赛普拉斯高中);IF Research Lab(IF研究实验室)
本研究利用学术、人口统计、社会经济和宏观经济数据训练四个二元分类器预测大学辍学,平均ROC-AUC为0.935,并发现学术数据对模型性能影响最大。
2023-10-17 cs.CY cs.LG
Progressive Ensemble Distillation: Building Ensembles for Efficient Inference
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Microsoft(微软)
提出B-DISTIL方法,将大型预训练教师模型分解为多个小型学生模型,通过中间激活的函数组合构建集成,实现运行时准确率与推理成本的灵活权衡,并在图像、语音和传感器数据集上验证了有效性,同时提供收敛性和泛化性的理论保证。
2023-11-09 cs.LG
Improving Ethical Outcomes with Machine-in-the-Loop: Broadening Human Understanding of Data Annotations
University of Colorado Denver(科罗拉多大学丹佛分校);Radiology Partners(放射学合作伙伴公司)
我们引入了一个机器在环管道,旨在解决教育领域中基于自然语言的监督机器学习任务中不必要的偏见的根本原因。从学生的经验中学习是教育研究者和学术管理者的基础。从经验中学到的21世纪技能正在成为大学和职业准备以及新知识经济中招聘过程的核心部分。少数民族学生在日常生活中展示了这些技能,但记录、评估和验证这些技能对教育机构来说是一个巨大的问题。作为一个注重公平的在线平台,LivedX将少数民族学生的生活经验转化为21世纪的技能,颁发微证书,并创建个人21世纪的技能组合。为了从学生提交的论文中接收到的自然语言文本中自动进行微证书挖掘,我们采用词袋模型来构造多输出分类器。尽管我们的目标是,我们的模式最初加剧了对少数民族学生的不同影响。我们使用机器在环模型开发管道来解决这个问题,并改进上述模型,以确保其预测的公平性。
2021-12-16 cs.AI cs.CL cs.CY
Early Detection of At-Risk Students Using Machine Learning
California State University, Fullerton(加州州立大学富勒顿分校)
本研究利用监督机器学习模型分析参与度、人口统计与表现数据,构建高危学生识别系统以应对辍学挑战,发现Naive Bayes模型预测效果最佳。
2024-12-12 cs.LG
Systematic Ensemble Model Selection Approach for Educational Data Mining
University of Western Ontario(西安大略大学);University of Sharjah(沙迦大学)
过去已经做了大量的研究,重点是预测学生的表现,以支持他们的发展。许多机构都致力于提高成绩和教育质量,这可以通过利用数据采掘技术来分析和预测学生的表现,并确定可能影响他们最终成绩的可能因素来实现。为了解决这个问题,这项工作首先使用多种图形,统计和定量技术在课程交付的两个不同阶段(分别为20%和50%)彻底探索和分析两个不同的数据集。特征分析提供了对所考虑的不同特征的性质的洞察,并有助于选择机器学习算法及其参数。此外,这项工作提出了一个系统的方法,基尼指数和p值的基础上选择一个合适的集成学习者从六个潜在的机器学习算法的组合。实验结果表明,所提出的集成模型在两个数据集的所有阶段都具有较高的准确率和较低的误报率。
2020-05-13 cs.CY cs.LG
Ensemble Knowledge Distillation for CTR Prediction
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-Sen University(中山大学)
本文提出基于知识蒸馏的CTR预测训练策略,用教师集成、教师门控和蒸馏损失早停训练简化DNN学生模型,在三个工业数据集上验证其优于12个现有模型。
2023-07-05 cs.IR cs.LG
Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs
EPFL(洛桑联邦理工学院);Sharif University(谢里夫大学);University of Cagliari(卡利亚里大学)
神经网络在应用于教育的机器学习中无处不在。他们在预测性能方面的普遍成功伴随着一个严重的弱点,他们的决策缺乏可解释性,特别是在以人为本的领域。我们实现了五种最先进的方法来解释黑盒机器学习模型(LIME,PermutationSHAP,KernelSHAP,DiCE,CEM),并检查了每种方法在五个大规模开放在线课程的学生成绩预测下游任务上的优势。我们的实验表明,对于具有相同代表性学生集的相同双向LSTM模型,解释者家族在特征重要性上意见不一。我们使用主成分分析,詹森-香农距离和斯皮尔曼的排名顺序相关性,以定量交叉检查跨方法和课程的解释。此外,我们验证解释器的性能跨基于脚本的先决条件的关系。我们的研究结果得出了一个令人担忧的结论,即解释器的选择是一个重要的决定,实际上对预测结果的解释至关重要,甚至比模型训练的过程更重要。源代码和模型发布在http://github.com/epfl-ml4ed/evaluating-explainers。
2022-07-01 cs.CY cs.LG
Teaching Machine Learning Fundamentals with LEGO Robotics
本文介绍了一个基于网页的机器学习平台和为期两天的课程,通过无编程的机器人活动向12至17岁学生教授机器学习概念,展示了平台在提升学生理解力和学习动机方面的有效性。
2026-04-05 cs.AI cs.CY cs.HC
Identifying At-Risk K-12 Students in Multimodal Online Environments: A Machine Learning Approach
TAL Education Group(好未来教育集团)
随着K-12在线学习平台的迅速崛起,开启了教育的新时代。至关重要的是要有一个辍学警告框架,以先发制人地确定K-12学生谁是在辍学的在线课程的风险。之前的研究人员专注于预测大规模开放式在线课程(MOOC)的辍学率,这些课程通常提供高等教育,即,顶尖院校的研究生课程。然而,很少有研究专注于为K-12在线课程的学生开发机器学习方法。在本文中,我们开发了一个机器学习框架,专门在K-12多模态在线环境中进行准确的风险学生识别。我们的方法考虑了K-12学生的在线和离线因素,旨在解决(1)多种模式的挑战,即,K-12在线环境涉及来自不同模态(诸如视频、语音等)的交互;(2)长度可变性,即,不同学习历史的学生;(3)时间敏感性,即,丢失可能性随时间变化;以及(4)数据不平衡,即,只有不到20%的K-12学生会选择退学。我们进行了广泛的离线和在线实验,以证明我们的方法的有效性。在我们的离线实验中,我们表明,与现实世界教育数据集上最先进的基线相比,我们的方法提高了辍学预测性能。在我们的在线实验中,我们在第三方K-12在线辅导平台上对我们的方法进行了两个月的测试,结果表明,超过70%的辍学学生被系统检测到。
2020-05-30 cs.CY cs.HC cs.LG
Adaptive Group Robust Ensemble Knowledge Distillation
ÉTS Montréal(蒙特利尔ÉTS);Mila - Quebec AI Institute(魁北克AI研究所);University of Calgary(卡尔加里大学);CIFAR AI Chair(卡尔加里大学AI主席)
针对集成知识蒸馏中代表性不足子群体性能下降问题,提出AGRE-KD策略,利用有偏模型选择性加权教师,使蒸馏学生模型在最差子群体上表现优于传统集成蒸馏和多数投票集成。
2025-11-10 cs.LG
Machine Learning Algorithms for Detecting Mental Stress in College Students
IIIT Naya Raipur(印度国家信息技术学院奈拉布尔分校)
本研究针对大学生心理压力问题,基于含28个问题的多维度问卷调研(843名18-21岁学生参与),对比7种机器学习算法,发现支持向量机检测准确率达95%,助力理解压力成因、提升学生生活与学业质量。
2024-12-10 cs.CY cs.LG
Statistical Mechanics of Nonlinear On-line Learning for Ensemble Teachers
Kobe City College of Technology(神户市立工业高等专门学校);Kobe University(神户大学);The University of Tokyo(东京大学);RIKEN Brain Science Institute(理化学研究所脑科学研究所)
我们分析了一个学生的泛化性能的非线性感知器组成的模型:一个真正的老师,合奏教师,和学生。我们计算的泛化误差的学生分析或数值使用统计力学的框架内的在线学习。我们处理两个著名的学习规则:Hebbian学习和感知器学习。结果表明,非线性模型表现出与线性模型不同的性质。此外,它是澄清,赫布学习和感知器学习表现出质的不同的行为从对方。在Hebbian学习中,我们可以解析地得到解。在这种情况下,泛化误差单调减小。泛化误差的稳定值与学习率无关。教师人数越多,教师群体的多样性越大,泛化误差越小。在感知器学习中,我们必须数值地获得解决方案。在这种情况下,泛化误差的动力学行为是非单调的。学习率越小,教师人数越多;集成教师种类越多,泛化误差的最小值越小。
2007-05-16 cond-mat.dis-nn cs.LG
Optimizing Parking Space Classification: Distilling Ensembles into Lightweight Classifiers
Universidade Federal do Paraná(巴拉那联邦大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
本文针对基于图像的停车位分类在边缘部署中的数据传输与算力挑战,提出将鲁棒分类器集成作为教师模型,并通过伪标签蒸馏出轻量级学生模型;实验表明学生模型参数量减少26倍,平均准确率达96.6%,优于教师模型的95.3%。
2024-10-07 cs.CV cs.LG
Assessing a Single Student's Concentration on Learning Platforms: A Machine Learning-Enhanced EEG-Based Framework
Faculty of Science and Technology(科学技术学院);LISSI Laboratory(LISSI实验室)
本研究提出基于EEG与定制化随机森林模型的单学生注意力分类框架,通过多频段特征提取、选择与超参数微调,在计算机与VR学习场景下分别实现97.6%、98%的测试准确率,可提供个性化学习注意力洞察。
2025-02-21 cs.AI cs.CV cs.LG
Using Machine Learning to Predict Engineering Technology Students' Success with Computer Aided Design
Purdue University(普渡大学);Oakland City University(奥克兰城大学);Institute for Future Intelligence(未来智能研究所)
计算机辅助设计(CAD)程序对工程至关重要,因为它们允许通过低成本迭代进行更好的设计。虽然CAD程序通常作为一项工作技能教授给本科生,但此类软件也可以帮助学生学习工程概念。CAD程序(即使是专门为教育目的设计的程序)的当前限制是它们不能为学生提供自动化的实时帮助。为了鼓励CAD程序为学生提供帮助,我们使用学生使用免费开源CAD软件Aladdin生成的数据来演示学生数据如何与机器学习技术相结合,以预测特定学生在设计任务中的表现。我们要求学生设计一个零能耗的房子,作为工程技术本科入门课程的一部分。使用来自128名学生的数据,以及scikit-learn Python机器学习库,我们使用设计动作的总计数和设计动作的序列作为输入来测试我们的模型。我们发现,我们的模型使用早期的设计序列动作是特别有价值的预测。我们的逻辑回归模型实现了>60%的机会预测学生是否会成功设计零净能源房屋。我们的研究结果表明,这将是可行的阿拉丁提供有用的反馈给学生时,他们大约一半通过他们的设计。对这些模型的进一步改进可能会导致更早的预测,从而更快地为学生提供反馈,以加强他们的学习。
2021-08-12 cs.LG physics.ed-ph
ML-Quest: A Game for Introducing Machine Learning Concepts to K-12 Students
Indian Institute of Technology, Tirupati(蒂鲁帕蒂印度理工学院)
今天,由于大量数据和高计算资源的可用性,机器学习(ML)对社会非常重要。这最终导致在包括K-12学生在内的多个教育层次引入ML概念,以促进计算思维。然而,通过传统的方法(如视频讲座和书籍)向K-12教授这些概念具有挑战性。文献中的许多研究都报告说,使用游戏等互动环境来教授计算思维和编程可以提高学生的记忆能力和学习动机。因此,使用游戏引入ML概念可能会增强学生对该主题的理解,并激励他们进一步学习。然而,我们不知道任何现有的游戏,明确侧重于介绍机器学习的概念,学生使用游戏。因此,在本文中,我们提出了ML-Quest,一个3D视频游戏,提供三个ML概念的概念概述:监督学习,梯度下降和K-最近邻(KNN)分类。游戏的关键是在模拟场景中介绍这些概念的定义和工作,我们称之为概念概述,而不会让学生对ML的复杂性感到不知所措。该游戏主要是在23名高中生的帮助下使用技术接受模型(TAM)模型对其实用性和玩家体验进行评估。调查结果显示,大约70%的参与者同意或强烈同意ML-Quest在向他们介绍ML概念方面具有很强的互动性和实用性。
2021-07-13 cs.CY cs.HC cs.LG
Development of Mobile-Interfaced Machine Learning-Based Predictive Models for Improving Students Performance in Programming Courses
Federal University, Oye-Ekiti(奥耶埃基蒂联邦大学);Federal University of Technology, Akure(阿库雷联邦理工大学);Caleb University(迦勒大学);LAUTECH(拉多克·阿金托拉科技大学)
学生表现建模是评估和提高学生学习语篇表现的关键步骤。然而,大多数现有的SPM是基于统计方法,这一方面是基于概率,描绘的结果是基于估计;另一方面,隐藏的因素,是特有的学生,讲师,学习环境和家庭的实际影响,连同他们的整体效果对学生的表现还没有彻底调查。本文利用M5 P决策树和线性回归分类器建立了提高学生程序设计成绩的学生成绩模型。使用的数据是使用结构化问卷从200和300级学习的295名学生中收集的,他们在2012年至2016年期间在尼日利亚的Oye-Ekiti联邦大学提供Web编程,C或JAVA。隐藏的因素是显着的学生在编程中的表现被确定。相关数据被收集、标准化、编码并准备为变量和因子数据集,并输入MDT算法和LRC以开发预测模型。所获得的评价结果表明,基于变量的LRC产生的最佳模型的MAE,均方根误差,RAE和RRSE产生的最小值在所有进行的评价。进一步取得的结果建立了学生和讲师的态度,学生的恐惧感,不稳定的电源,大学设施,学生的健康和学生出勤率的学生在编程课程的表现有很强的意义。本文提出的基于变量的LRC模型可以提供有关学生表现的基线信息,从而为提高编程课程的教学/学习效果提供更好的决策。
2019-01-09 cs.CY cs.LG stat.ML
Synthetic Embedding-based Data Generation Methods for Student Performance
George Mason University(乔治梅森大学)
考虑到学生成绩数据集中固有的类不平衡问题,属于目标类分布边缘的样本对预测机器学习算法的学习提出了挑战。在本文中,我们介绍了一个通用的框架合成嵌入为基础的数据生成(SEDG),基于搜索的方法来生成新的合成样本使用嵌入,以纠正类不平衡的最佳损害影响。我们将SEDG框架与过去的合成数据生成方法(包括深度生成模型和传统采样方法)进行了比较。在我们的研究结果中,我们发现SEDG优于深度神经网络的传统重采样方法,并且在几个标准性能指标中,在学生表现任务上与常见的机器学习分类器竞争。
2021-01-03 cs.AI cs.LG
Neural Network Conversion of Machine Learning Pipelines
Raytheon BBN Technologies(雷神BBN科技公司)
本文探讨了将非神经网络的机器学习流水线作为教师模型,转换为神经网络学生模型的方法,通过联合优化流水线组件实现多任务统一推理引擎。
2026-03-26 cs.AI cs.LG
Predicting Student Success with Heterogeneous Graph Deep Learning and Machine Learning Models
本文提出一种结合异构图深度学习和传统机器学习的方法,通过动态特征和图元路径结构提升学生成功预测的准确性,实验显示在学期早期即可达到较高的F1分数。
2026-01-11 cs.LG
Integrating machine learning concepts into undergraduate classes
Clarkson University(克拉克森大学)
在这篇创新实践的论文中,我们比较了两种不同的方法来向电气工程专业的本科生教授机器学习概念。虽然机器学习现在作为高级选修课在几门课程中提供,但这并不意味着所有学生都接触到它。接触机器学习的概念和实际应用将有助于创建一个准备好解决与机器学习相关问题的劳动力队伍,这是当前行业的热门话题。初步评估表明,这种方法促进了学生的学习。虽然学生更喜欢建议的并行教学方法,数值比较表明,研讨会的方法可能是更有效的学生学习,这表明在这方面需要进一步的工作。
2022-11-09 cs.CV cs.LG
Knowledge Distillation of Uncertainty using Deep Latent Factor Model
Samsung Research(三星研究院);Seoul National University(首尔大学);Inha University(仁荷大学)
针对深度集成不确定性量化计算成本高的问题,提出高斯蒸馏方法,利用深度潜在因子模型压缩教师集成为学生分布,在多个基准上优于现有方法,并适用于语言模型微调和分布偏移。
2025-10-24 cs.LG stat.ME
Counterfactual Fairness Evaluation of Machine Learning Models on Educational Datasets
Department of Computer Science and Engineering, Korea University, South Korea(计算机科学与工程系,韩国大学,韩国)
本文针对教育数据,通过基准数据集上的反事实公平性分析,揭示敏感属性的因果影响,为教育场景中的个体公平性评估提供新视角。
2025-04-20 cs.CY cs.LG
An Integrated Machine Learning and Hierarchical Variance Decomposition Pipeline for Student Performance Prediction and Metacognitive Calibration on Multi-Signal Telemetry
Fergana State Technical University(费尔干纳技术大学)
提出UBP-CAP框架,集成LightGBM分类器、校准指标和交叉广义线性混合模型,引入预测-解释分歧指数(PEDI),在1195条记录上验证了系统性校准偏差和情境性校准特性。
2026-06-27 cs.AI cs.LG