Deep Feature Selection using a Teacher-Student Network
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在许多机器学习应用中,高维数据导致计算和分析的复杂性。特征选择为解决这些问题提供了一种有效的方法,通过去除不相关和冗余的特征,降低了模型的复杂度,提高了模型的精度和泛化能力。在本文中,我们提出了一种新的师生特征选择(TSFS)方法,其中“老师”(一个深神经网络或复杂的降维方法),首先学习的最佳表示的数据在低维。然后使用“学生”网络(一种简单的神经网络)通过最小化低维表示的重构误差来执行特征选择。虽然师生方案不是新的,据我们所知,这是第一次,这种方案是用于特征选择。所提出的TSFS可用于监督和无监督的特征选择。该方法在不同的数据集上进行评估,并与现有的最先进的特征选择方法进行比较。结果表明,TSFS在分类和聚类精度以及重建误差方面表现更好。此外,实验评估表明,在所提出的方法中的参数选择的敏感度低。
2019-03-17 cs.LG stat.ML
Based on Graph-VAE Model to Predict Student's Score
经合组织指出,让学生按时上学的最好方法是尽早干预[1]。利用教育大数据和深度学习预测学生成绩,为早期干预提供了新的资源和视角。以往的预测方案往往需要人工进行特征筛选,需要大量的先验知识和专家知识。深度学习可以自动提取特征,无需人工干预,实现更好的预测性能。本文提出的基于深度学习的图神经网络矩阵填充模型(Graph-VAE)可以在不需要大量先验知识的情况下自动提取特征。实验证明,在学生成绩数据集上,该模型优于传统的解决方案,更好地描述了学生与课程之间的相关性和差异性,并将降维后的编码结果向量可视化,聚类效果与真实数据分布聚类一致。此外,我们使用基于梯度的归因方法来分析影响绩效预测的关键因素。
2019-03-08 cs.CY cs.LG
Student Specialization in Deep ReLU Networks With Finite Width and Input Dimension
Facebook AI Research(脸书人工智能研究院)
我们考虑一个深度ReLU / Leaky ReLU学生网络,它是从相同深度的固定教师网络的输出中训练出来的,使用随机梯度下降(SGD)。学生网络为\emph{over-realized}:在每一层$l$上,学生节点的数量$n_l$大于教师节点的数量($m_l$)。在数据集和教师网络上,在较弱的条件下,证明了当每个数据样本的梯度都很小时,每个教师节点都是由至少一个学生节点\emph{at the lowest layer}生成的\emph{specialized}.对于两层网络,可以通过在\emph{polynomial}大小为$\mathcal{O}( K^{5/2} d^3 ε^{-1})$的任何数据集上进行训练来实现这种专门化。直到梯度幅度下降到$\mathcal{O}(ε/K^{3/2}\sqrt{d})$。这里$d$是输入维度,$K = m_1 + n_1$是教师和学生最低层的神经元总数。请注意,我们需要一种特定形式的数据增强,样本复杂性包括从增强生成的额外数据。据我们所知,我们是第一个为教师-学生设置中具有有限深度和宽度的训练双层(Leaky)ReLU网络的学生专业化提供多项式样本复杂度的人,以及多层情况下最低层专业化的有限复杂度,没有输入的参数假设(如高斯)。我们的理论表明,当梯度仍然很大时,具有大扇出权重的教师节点首先被专业化,而其他节点则被小梯度专业化,这表明训练中…
2020-06-28 cs.LG stat.ML
Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting
Purdue University(普渡大学);New Jersey Institute of Technology(新泽西理工学院)
用神经网络构建的分类器可以很好地处理大规模高维数据,例如来自计算机视觉的面部图像,而传统的统计方法往往失败得很惨。在本文中,我们试图通过推导超额风险的收敛率来理解高维分类的经验成功。特别地,提出了一个教师-学生框架,该框架假设贝叶斯分类器被表示为ReLU神经网络。在这种设置中,我们获得了急剧的收敛速度,即,$\tilde{O}_d(n^{-2/3})$,用于使用0-1损失或铰链损失训练的分类器。当数据分布是可分离的时,该速率可以进一步提高到$\tilde{O}_d(n^{-1})$。这里,$n$表示样本量。一个有趣的观察结果是,数据维度仅对上述比率中的$\log(n)$项有贡献。这可以为深度神经网络在高维分类中的经验成功提供一种理论解释,特别是对于结构化数据。
2020-02-01 cs.LG stat.ML
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
Find Solution Ai Limited(Find Solution Ai有限公司)
基于深度学习的知识追踪模型已被证明优于传统的知识追踪模型,而不需要人工工程的功能,但其参数和表示长期以来一直被批评为无法解释。在本文中,我们提出了Deep-IRT,这是一个综合的项目反应理论(IRT)模型和知识追踪模型,是基于深度神经网络架构称为动态键值记忆网络(DKVMN),使深度学习为基础的知识追踪可解释。具体来说,我们使用DKVMN模型来处理学生的学习轨迹,并估计学生的能力水平和项目难度水平随着时间的推移。然后,我们使用IRT模型来估计概率,学生将正确回答一个项目使用估计的学生能力和项目的难度。实验表明,Deep-IRT模型保留了DKVMN模型的性能,同时提供了对学生和项目的直接心理解释。
2019-04-26 cs.AI cs.LG stat.ML
Learning to Reweight with Deep Interactions
Microsoft Research Asia(微软亚洲研究院)
最近,教学的概念已被引入到机器学习中,其中教师模型被用于通过数据选择、损失函数设计等来指导学生模型(其将用于实际任务)的训练。学习重新加权,这是一种使用教师模型重新加权训练数据的特定类型的教学,由于其简单性和有效性而备受关注。在现有的学习重新加权工作中,教师模型只利用浅层/表面信息,如训练迭代次数和来自训练/验证集的学生模型的损失/准确性,但忽略了学生模型的内部状态,这限制了学习重新加权的潜力。在这项工作中,我们提出了一种改进的数据重新加权算法,其中学生模型提供其内部状态的教师模型,和教师模型返回自适应权重的训练样本,以加强学生模型的训练。教师模型与学生模型使用从验证集传播的Meta梯度进行联合训练。对带有干净/噪声标签的图像分类和神经机器翻译的实验表明,我们的算法比以前的方法有显着的改进。
2021-01-12 cs.LG stat.ML
Do Deep Convolutional Nets Really Need to be Deep and Convolutional?
UC Irvine(加州大学欧文分校);University of Edinburgh(爱丁堡大学);Ecole Polytechnique de Montreal(蒙特利尔理工学院);University of Alberta(阿尔伯塔大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
是的,他们有。本文提供了第一个经验证明,深度卷积模型确实需要既深度又卷积,即使使用蒸馏等方法进行训练,也可以训练高精度的小型或浅层模型。虽然以前的研究表明,浅层前馈网络有时可以学习以前由深层网络学习的复杂函数,同时使用与它们模仿的深层模型相同数量的参数,但在本文中,我们证明了相同的方法不能用于在CIFAR-10上训练精确的模型,除非学生模型包含多层卷积。虽然学生模型不必像他们模仿的教师模型那样深度,但学生需要多个卷积层来学习与深度卷积教师相当的准确度。
2017-03-04 cs.LG stat.ML
A Deep Learning Approach Towards Student Performance Prediction in Online Courses: Challenges Based on a Global Perspective
Arizona State University(亚利桑那州立大学);Lebanese American University(黎巴嫩美国大学);Zarqa University(扎尔卡大学);Western University(西安大略大学);Jadara University(贾达拉大学)
本研究提出使用CNN和RNN-LSTM深度学习模型,基于全球三个地区的数据集预测在线课程中期学生成绩,结果显示其在多数数据集上优于传统机器学习模型。
2024-01-10 cs.AI cs.CY cs.LG
Incorporating Features Learned by an Enhanced Deep Knowledge Tracing Model for STEM/Non-STEM Job Prediction
Hong Kong University of Science and Technology(香港科技大学)
2017年ASSISTments数据采掘竞赛旨在使用来自纵向研究的数据来预测学生的全新结果,这些数据以前从未被教育数据采掘研究界研究过。具体来说,它有助于开发预测模型的研究,这些模型可以预测大学毕业生的第一份工作是否属于STEM(科学,技术,工程和数学的首字母缩写)领域。这是基于学生在ASSISTments混合学习平台上的学习历史,以中学期间收集的广泛点击流数据的形式。为了应对这一挑战,我们首先使用深度知识追踪(DKT)模型和增强的DKT(DKT+)模型来估计学生在不同数学技能方面的预期知识状态。然后,我们将与DKT/DKT+预期知识状态相对应的特征与直接从数据集中的学生档案中提取的其他特征相结合,以训练几个机器学习模型来进行STEM/非STEM工作预测。我们的实验表明,使用组合特征训练的模型通常比单独使用学生配置文件训练的模型表现更好。对学生知识状况的详细分析表明,与非STEM学生相比,STEM学生通常在数学方面表现出更高的掌握水平和更高的学习收益。
2018-06-06 cs.AI cs.CY cs.LG
Boarding House Renting Price Prediction Using Deep Neural Network Regression on Mobile Apps
公寓是最重要的要求,特别是对于那些住在远离城市,原籍或房子的大学生。然而,我们现在看到的问题是印度尼西亚的学习场所分布不均,其中75%的最好的顶级教育机构来自爪哇岛。因此,正在寻找寄宿公寓租金的学生需要更多的努力来比较所需的各个方面。他们需要一个一个地调查到他们想要的公寓,即使他们可以在网上调查,它仍然需要更多的努力来关注一个一个想要的设施。因此,我们创建了一个移动应用程序,可以通过比较几个变量,即城市,地区,寄宿公寓类型和设施,根据学生的需求预测价格。因此,学生可以很容易地估计出理想的价格。本研究的结果证明,我们已经成功地预测价格的公寓租金以及基于我们已经确定的变量,并使用深度神经网络回归模型的变量。
2020-12-31 cs.CY cs.LG
Deep Learning versus Traditional Classifiers on Vietnamese Students' Feedback Corpus
学生反馈是收集学生意见、提高培训活动质量的重要来源。对学生反馈数据实施情感分析,我们可以确定表达机构中所有问题的情感极性,因为将应用必要的改变来提高教学质量。本研究以一所大学的越南学生反馈语料库为研究对象,采用机器学习和自然语言处理技术(朴素贝叶斯、最大熵、长短期记忆、双向长短期记忆)对学生的反馈进行研究。最后根据不同的评价标准对模型进行了比较和评价,以找出最有效的模型。实验结果表明,双向长短期记忆算法优于其他三种算法的F1分数测量92.0%的情感分类任务和89.6%的主题分类任务。此外,我们开发了一个情感分析应用程序分析学生的反馈。该应用程序将帮助该机构认识到学生对一个问题的意见,并确定仍然存在的缺点。通过使用该应用程序,机构可以提出适当的方法,以提高未来培训活动的质量。
2019-11-17 cs.CL cs.CY cs.LG
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们提出了一个通用框架,用于提取深度神经网络分类器的贝叶斯后验分布的预期,扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面,包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法,并利用熵蒸馏评估下游任务,包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Uncertainty-preserving deep knowledge tracing with state-space models
Carleton College(卡尔顿学院);NWEA/HMH(NWEA/HMH公司)
针对现有方法无法兼顾历史信息与认知不确定性的问题,提出Dynamic LENS建模范式,结合变分自编码器与贝叶斯状态空间模型,在保持预测性能的同时量化了学生的认知不确定性。
2024-07-09 cs.CY cs.LG
LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences
Sichuan University(四川大学);Tencent Inc.(腾讯公司)
在教育应用中,知识追踪(KT),通过总结学生的知识状态来准确预测学生对未来问题的回答的问题,已经被广泛研究了几十年,因为它被认为是自适应在线学习的基本任务。由于神经网络的高度灵活性,在所有提出的KT方法中,深度知识跟踪(DKT)及其变体是迄今为止最有效的方法。然而,DKT往往忽视了学生之间的固有差异(例如记忆能力,推理能力,.),平均所有学生的表现,导致缺乏个性化,因此被认为不足以适应性学习。为了缓解这个问题,在本文中,我们提出了分层注意知识跟踪(LANA),它首先使用一种新的学生相关的特征提取器(SRFE),以提取学生的独特的固有属性从他们各自的互动序列。其次,枢轴模块被用来动态地重建神经网络的解码器上提取的特征的注意,成功地区分学生之间的表现随着时间的推移。此外,受项目反应理论(IRT)的启发,可解释的Rasch模型被用来聚类学生的能力水平,从而利用分层学习分配不同的编码器到不同的学生群体。通过pivot模块重构学生个体的解码器和群体的分层学习专用编码器,实现了个性化的DKT。在两个真实世界的大规模数据集上进行的广泛实验表明,我们提出的LANA将AUC分数提高了至少1.00%(即EdNet 1.46%和RAIEd2020 1.00%),大大超过了其他最先进的KT方法。
2021-04-21 cs.AI cs.CY cs.LG
Luck Matters: Understanding Training Dynamics of Deep ReLU Networks
Facebook AI Research(脸书人工智能研究院)
我们分析了训练深度ReLU网络的动态及其对泛化能力的影响。使用教师-学生设置,我们发现了隐藏学生节点接收的梯度与深度ReLU网络教师节点的激活之间的一种新关系。利用这种关系和小重叠教师节点激活的假设,我们证明了(1)权重初始化为接近教师节点的学生节点以更快的速度收敛到教师节点,以及(2)在过参数化的制度和2层的情况下,当一小部分幸运节点收敛到教师节点时,其他节点的扇出权重收敛到零。该框架提供了对深度学习中多种令人困惑的现象的深入了解,如过度参数化,隐式正则化,彩票等。我们通过显示预训练的VGG 11/16模型的大多数BatchNorm偏差为负来验证我们的假设。在(1)具有高斯输入的随机深度教师网络,(2)在CIFAR-10上预训练的教师网络和(3)广泛的消融研究上的实验验证了我们的多个理论预测。
2019-06-28 cs.LG stat.ML
DKT-STDRL: Spatial and Temporal Representation Learning Enhanced Deep Knowledge Tracing for Learning Performance Prediction
Heilongjiang Institute of Technology(黑龙江工程学院);Central China Normal University(华中师范大学)
知识追踪是智能教育系统的重要组成部分。现有的知识树要么依赖于专家的判断,要么只采用单一的网络结构,影响了学习特征的充分表达。为了充分挖掘学生学习过程的特征,提出了基于时空深度表示学习的深度知识追踪学习成绩预测(DKT-STDRL)方法。DKT-STDRL从学生的学习历史序列中提取空间特征,然后进一步提取时间特征,以提取更深层次的隐藏信息。具体而言,首先,DKT-STDRL模型使用CNN提取学生练习序列的空间特征信息。然后,将空间特征与原始学生的练习特征连接起来,作为联合学习特征。然后,将关节特征输入到BiLSTM部件中。最后,BiLSTM部分从联合学习特征中提取时间特征,以获得学生在下一个时间步是否正确回答的预测信息。在公共教育数据集ASSISTment 2009、ASSISTment 2015、Synthetic-5、ASSISTchall和Statics 2011上的实验证明,DKT-STDRL可以取得比DKT和CKT更好的预测效果。
2023-02-15 cs.AI cs.CY cs.LG
Deep Knowledge Tracing
Stanford University(斯坦福大学);Khan Academy(可汗学院);Google(谷歌)
知识追踪-当学生与课程作业交互时,机器对学生的知识进行建模-是计算机支持教育中的一个公认问题。虽然有效地建模学生的知识将有很高的教育影响,任务有许多固有的挑战。在本文中,我们探讨了使用递归神经网络(RNNs)建模学生学习的效用。RNN模型家族与以前的方法相比具有重要的优势,因为它们不需要显式编码人类领域知识,并且可以捕获学生知识的更复杂表示。使用神经网络导致在一系列知识跟踪数据集上的预测性能的实质性改进。此外,学习模型可用于智能课程设计,并允许直接解释和发现学生任务中的结构。这些结果表明,一个有前途的新的研究路线的知识跟踪和RNN的示范应用任务。
2015-06-19 cs.AI cs.CY cs.LG
Deep geometric knowledge distillation with graphs
IMT Atlantique(大西洋国立高等矿业电信学校);University of Southern California(南加州大学);Mila(米拉研究所);HEC Montréal(蒙特利尔高等商学院)
在大多数情况下,深度学习架构的训练与操作量和能耗无关。然而,一些应用程序,如嵌入式系统,在推理过程中可能会受到资源约束。减少深度学习架构规模的一种流行方法是将知识从较大的网络(教师)提取到较小的网络(学生)。直接训练学生模仿教师的表征可能是有效的,但它需要两者共享相同的潜在空间维度。在这项工作中,我们专注于相对知识蒸馏(RKD),它考虑了各自的潜在空间的几何形状,允许知识的维度不可知转移。具体来说,我们介绍了一个基于图的RKD方法,其中图是用来捕捉潜在空间的几何形状。使用经典的计算机视觉基准,我们证明了所提出的方法,有效地蒸馏知识从教师到学生的能力,导致更好的准确性为相同的预算相比,现有的RKD替代品。
2019-11-08 cs.LG stat.ML
A theoretical framework for deep locally connected ReLU network
Facebook AI Research(脸书人工智能研究院)
深度卷积神经网络(DCNN)是一种深度局部连接的非线性网络,尽管它在经验上取得了成功,但理解其理论性质仍然是一个难题。在本文中,我们为此类具有ReLU非线性的网络提出了一个新的理论框架。该框架明确地制定了数据分布,有利于解开表示,并与常见的正则化技术,如批规范兼容。该框架是建立在教师-学生设置,通过扩大学生的前向/后向传播到教师的计算图。由此产生的模型不会强加不切实际的假设(例如,高斯输入、激活的独立性等)。我们的框架可以帮助促进许多实际问题的理论分析,例如过拟合,泛化,深度网络中的解纠缠表示。
2018-09-28 cs.LG stat.ML
Interpretable Knowledge Tracing: Simple and Efficient Student Modeling with Causal Relations
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CEA(法国原子能和替代能源委员会);Kyoto University(京都大学);Singapore Management University(新加坡管理大学)
智能辅导系统在未来的学习环境中变得至关重要。知识追踪(KT)是该系统的重要组成部分。它是关于推断学生的技能掌握和预测他们的表现,以调整相应的课程。与传统模型相比,基于深度学习的KT模型显示出显著的预测性能。然而,很难从神经网络中成千上万的参数中提取出与认知理论相关的心理学上有意义的解释。有几种方法可以实现学生成绩预测的高准确性,但诊断和预测推理在学习科学中更为关键。由于KT问题具有很少的可观察特征(问题ID和学生在每次练习中的正确性),我们通过使用机器学习和数据采掘技术从学生的响应数据中提取有意义的潜在特征。在这项工作中,我们提出了可解释的知识追踪(IKT),一个简单的模型,依赖于三个有意义的潜在特征:个人技能掌握,能力概况(跨技能的学习转移),和问题的难度。IKT对学生未来表现的预测是使用树增强朴素贝叶斯分类器(TAN)进行的,因此它的预测比基于深度学习的学生模型更容易解释。IKT还显示出比基于深度学习的学生模型更好的学生成绩预测,而无需大量参数。我们对每个特征进行消融研究,以研究它们对学生成绩预测的贡献。因此,IKT在现实世界的教育系统中提供具有因果推理的自适应和个性化教学方面具有很大的潜力。
2021-12-15 cs.AI cs.CY cs.LG
Knowledge Flow: Improve Upon Your Teachers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
如今,几乎任何给定的任务都可以使用一个动物园的深度网络,并且越来越不清楚在解决新任务时从哪个网络开始,或者使用哪个网络作为微调新模型的初始化。为了解决这个问题,在本文中,我们开发了知识流,将“知识”从多个深度网络(称为教师)移动到一个新的深度网络模型(称为学生)。教师和学生的结构可以任意不同,他们也可以在完全不同的任务上接受训练,并具有不同的输出空间。通过知识流的训练,学生独立于教师。我们在各种监督和强化学习任务上展示了我们的方法,优于微调和其他“知识交换”方法。
2019-04-11 cs.LG stat.ML
Data-Free Learning of Student Networks
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);The University of Sydney(悉尼大学);Peng Cheng Laboratory(鹏城实验室)
学习可移植的神经网络对于计算机视觉来说是非常必要的,因为预先训练的重型深度模型可以很好地应用于边缘设备,如手机和微型传感器。大多数现有的深度神经网络压缩和加速方法对于训练紧凑的深度模型非常有效,因为我们可以直接访问训练数据集。然而,由于一些实践问题(例如,隐私、法律问题和传输),给定深度网络的训练数据通常不可用,并且给定网络的架构也是未知的,除了一些接口。为此,我们提出了一个新的框架,通过利用生成对抗网络(GANs)来训练有效的深度神经网络。具体地说,将预先训练好的教师网络看作一个固定的学习器,利用生成器生成训练样本,使其在学习器上获得最大响应。然后,同时使用生成的数据和教师网络来训练具有较小模型大小和计算复杂性的高效网络。使用所提出的无数据学习(DAFL)方法学习的高效学生网络使用ResNet-18分别实现了92.22%和74.47%的准确率,而无需CIFAR-10和CIFAR-100数据集上的任何训练数据。同时,我们的学生网络在CelebA基准测试中获得了80.56%的准确率。
2019-12-31 cs.CV cs.LG stat.ML
Predicting Student Success with Heterogeneous Graph Deep Learning and Machine Learning Models
本文提出一种结合异构图深度学习和传统机器学习的方法,通过动态特征和图元路径结构提升学生成功预测的准确性,实验显示在学期早期即可达到较高的F1分数。
2026-01-11 cs.LG
FitNets: Hints for Thin Deep Nets
Universitat de Barcelona(巴塞罗那大学);Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔高等理工学院);Centre de Visió per Computador(计算机视觉中心)
虽然深度往往会提高网络性能,但它也会使基于梯度的训练变得更加困难,因为更深的网络往往更具非线性。最近提出的知识蒸馏方法的目的是获得小的和快速执行的模型,它已经表明,学生网络可以模仿一个更大的教师网络或网络集成的软输出。在本文中,我们扩展了这一想法,使培训的学生是更深,更薄的比老师,不仅使用输出,而且中间表示学习的老师作为提示,以提高培训过程和最终的表现的学生。因为学生中间隐藏层通常将小于教师的中间隐藏层,所以引入附加参数以将学生隐藏层映射到教师隐藏层的预测。这使得一个训练更深的学生,可以更好地概括或运行更快,权衡是由所选择的学生能力控制。例如,在CIFAR-10上,一个参数少了近10.4倍的深度学生网络的性能优于一个更大的、最先进的教师网络。
2015-03-27 cs.LG cs.NE
UniNet: Next Term Course Recommendation using Deep Learning
Universidad Metropolitana(大都会大学)
课程招生推荐是帮助大学生决定下学期最佳课程组合的相关任务。特别是,推荐系统技术,如矩阵分解和协同过滤已被开发,试图解决这个问题。由于这些技术无法表示学习成绩数据集的时间依赖性,我们提出了一种使用递归神经网络的深度学习方法,旨在更好地表示课程成绩的时间顺序如何影响成功的概率。我们已经表明,它是可能的,以获得性能的81.10%的AUC指标,仅使用等级信息,它是可能的,以开发一个推荐系统与学术学生的表现预测。这是有意义的跨不同的学生GPA水平和课程的困难
2020-09-20 cs.CY cs.IR cs.LG
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University(北卡罗来纳州立大学)
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预,发现DRL能缩小学生元认知差距,并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Teacher-Student Domain Adaptation for Biosensor Models
Jawbone Health(卓棒健康)
我们提出了一种域自适应的方法,解决的情况下,从源域的数据是丰富的,标记的数据从目标域是有限的或不存在的,和少量的配对的源-目标数据是可用的。该方法旨在开发基于消费级便携式生物传感器数据检测医疗状况存在的深度学习模型。它解决了这一领域的一些关键问题,即从生物传感器获取大量临床标记数据的困难,以及可能影响临床标记的噪声和模糊性。这个想法是在来自数据丰富的传感器模态的标记记录的大型数据集上预训练表达模型,然后调整模型的下层,以便其对目标模态的预测与来自源模态的配对示例的原始模型相似。我们表明,预训练模型的预测提供了比临床医生提供的标签更好的学习信号,并且这种师生技术在合成数据集和现实世界的睡眠呼吸暂停案例研究中显着优于监督深度学习的朴素应用和域适应的标签监督版本。通过减少所需的数据量并消除对标签的需求,我们的方法应该可以降低为生物传感器开发高性能深度学习模型的成本。
2020-03-19 cs.LG stat.ML
Towards Explainable Student Group Collaboration Assessment Models Using Temporal Representations of Individual Student Roles
SRI International(斯坦福国际研究院)
协作被确定为学生在科学,技术,工程和数学(STEM)领域取得成功所需的必要技能。然而,由于不断增长的学生人数和有限的教学人员,教师很难提供建设性的反馈和灌输合作技能使用教学方法。开发简单且易于解释的基于机器学习的自动化系统可以帮助解决这个问题。在我们以前的工作的基础上,在本文中,我们提出使用简单的时间CNN深度学习模型来评估学生群体的协作,将单个学生角色的时间表示作为输入。我们检查动态变化的功能表示学生组协作评估的适用性,以及它们如何影响整体性能。我们还使用Grad-CAM可视化来更好地理解和解释导致深度学习模型决策的重要时间指标。
2021-06-17 cs.LG
Deep neural networks for collaborative learning analytics: Evaluating team collaborations using student gaze point prediction
University of Delaware(特拉华大学);Computer and Information Sciences(计算机与信息科学学院)
对协作任务中团队绩效的自动评估是学习分析和计算机支持的协同工作研究的关键。有一个越来越多的兴趣在使用凝视导向的线索来评估团队的协作和合作。然而,由于时间和成本的限制,使用眼睛跟踪器收集注视数据并不总是可行的。在本文中,我们介绍了一个自动化的团队评估工具的基础上,凝视点和联合视觉注意(JVA)信息提取的计算机视觉解决方案。然后,我们评估团队合作的本科解剖学学习活动(N=60,30支球队)作为一个测试用户的研究。结果表明,高JVA与学生学习成绩呈正相关(r(30)= 0.50,p <0.005)。此外,参与两个实验组并使用交互式三维解剖模型的团队比对照组具有更高的JVA(F(1,28)= 6.65,p <0.05)和更好的知识保持(F(1,28)= 7.56,p <0.05)。不同性别的团队在JVA上没有显著差异。这项工作的结果提供了一种新的相互注意为基础的措施,客观地评估团队协作动态学习科学和协作计算的影响。
2020-10-16 cs.CY cs.HC cs.LG
Deep Attentive Study Session Dropout Prediction in Mobile Learning Environment
Riiid! AI Research(Riiid人工智能研究院);Yale University(耶鲁大学);University of Michigan(密歇根大学)
学生辍学预测提供了提高学生参与度的机会,从而最大限度地提高学习体验的整体效率。然而,有关学生辍学的研究主要集中在学校辍学或课程辍学方面,而移动学习环境下的学习时段辍学问题尚未得到充分考虑。在本文中,我们研究了在移动学习环境中的学习会话辍学预测问题。首先,我们定义了移动学习环境中学习会话、学习会话丢失和学习会话丢失预测任务的概念。基于这些定义,我们提出了一种新的基于Transformer的学习会话辍学预测模型DAS:移动学习环境中的深度注意学习会话辍学预测。DAS具有由堆叠的多头注意力和逐点前馈网络组成的编码器-解码器结构。DAS中的深度专注计算能够捕捉动态学生交互之间的复杂关系。据我们所知,这是第一次尝试在移动学习环境中调查学习会话辍学。对大规模数据集的实证评估表明,DAS实现了最佳性能,与基线模型相比,接收器工作特征曲线下的面积有显着改善。
2021-02-02 cs.AI cs.CY cs.LG
Do we need to go Deep? Knowledge Tracing with Big Data
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);The University of Alabama(阿拉巴马大学)
交互式教育系统(IES)使研究人员能够跟踪学生在不同技能方面的知识,并为更好的学习路径提供建议。为了估计学生的知识并进一步预测他们未来的表现,利用IES捕获的学生交互数据来开发学习者表现模型的兴趣正在迅速增加。此外,随着计算系统的进步,这些IES系统捕获的数据量也在增加,这使得深度学习模型能够与传统的逻辑模型和马尔可夫过程竞争。然而,在当前规模的数据集上,这些深度模型是否优于传统模型,以及数百万学生的交互,这一点在经验上仍然不明显。在这项工作中,我们采用了教育领域最大的学生交互数据集EdNet,以了解深度和传统模型预测未来学生表现的准确性。我们的工作观察到,具有精心设计的特征的逻辑回归模型在广泛的实验中表现优于深度模型。我们遵循这种分析与解释研究的基础上本地可解释模型不可知解释(LIME),以了解各种功能的影响,最佳性能的模型预测。
2021-01-20 cs.AI cs.LG
Enhancing Deep Knowledge Tracing with Auxiliary Tasks
Jinan University(暨南大学);Guangdong Institute of Smart Education(广东省智慧教育研究院);TAL Education Group(好未来教育集团);Think Academy International Education(学而思国际教育)
知识追踪(KT)是基于学生与智能教学系统的历史交互来预测学生未来表现的问题。最近的研究已经应用了多种类型的深度神经网络来解决KT问题。然而,现实世界的教育数据中有两个重要因素没有得到很好的体现。首先,大多数现有的作品增加输入表示的问题和知识成分的共现矩阵\footnote{\label{ft:kc}A KC is a generalization of everyday terms like concept, principle, fact, or skill.}(KCs),但没有明确地将这种内在的关系到最终的响应预测任务。第二,学生的个性化历史表现没有得到很好的捕捉。在本文中,我们提出了\emph{AT-DKT}来提高原始深度知识追踪模型的预测性能,并使用两个辅助学习任务,即,\emph{question tagging (QT) prediction task}和\emph{individualized prior knowledge (IK) prediction task}。具体来说,QT任务通过预测问题是否包含特定的KC来帮助学习更好的问题表征。IK任务通过逐步预测隐藏在学生历史学习交互中的学生水平先验知识来捕获学生的全局历史表现。我们在三个真实世界的教育数据集上进行了全面的实验,并将所提出的方法与深度序列KT模型和非序列模型进行了比较。实验结果表明,\emph{AT-D…
2023-02-14 cs.AI cs.CY cs.LG
Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Florida(佛罗里达大学)
启动深度强化学习算法促进了代理之间的师生关系,并允许表现良好的教师与学生分享演示,以加快学生的培训。然而,尽管已知的好处,演示可能包含有关教师的训练数据和现有的kickstarting方法不采取任何措施来保护它的敏感信息。因此,我们使用的框架差分隐私开发一个机制,安全地共享教师的演示与学生。该机制允许教师根据其消耗的隐私预算来决定其演示的准确性,从而授予教师对其数据隐私的完全控制。然后,我们为学生开发了一个启动的深度强化学习算法,该算法具有隐私意识,因为我们使用教师隐私机制的参数来校准其目标。该算法的隐私意识设计使得它可以启动学生的学习,尽管由隐私机制引起的扰动。从数值实验中,我们突出了三个实证结果:(i)该算法成功地加快了学生的学习,(ii)学生收敛到一个性能水平,这是不可能没有示范,和(iii)学生保持其增强的性能,即使在教师停止共享有用的演示,由于其隐私预算的限制。
2021-06-04 cs.AI cs.CR cs.LG
Zero-Shot Knowledge Distillation in Deep Networks
Indian Institute of Science(印度科学学院);University of Edinburgh(爱丁堡大学);University of Lincoln(林肯大学)
知识蒸馏处理从高容量源模型(教师)训练较小模型(学生)以便保留其大部分性能的问题。现有方法使用训练数据或从中提取的元数据来训练学生。然而,如果数据集非常大或者存在隐私或安全问题(例如,生物测量或医学数据)。因此,在本文中,我们提出了一种新的无数据的方法来训练学生从教师。在不使用任何元数据的情况下,我们从复杂的教师模型中合成数据映像,并利用这些作为原始训练数据样本的替代品,通过知识蒸馏将其学习转移到学生身上。因此,我们将我们的方法称为“Zero-Shot知识蒸馏“,并证明我们的框架可以通过使用多个基准数据集上的实际训练数据样本进行蒸馏来实现具有竞争力的泛化性能。
2019-05-20 cs.CV cs.LG stat.ML
GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
Pohang University of Science and Technology(浦项科技大学)
本文提出组件级蒸馏框架GOD,通过嫁接教师与学生模型组件提供组件级反馈,仅用学生模型推理,在三个真实数据集上较最优基线最高提升13.92%,解决序列推荐泛化能力弱的问题。
2026-08-26 cs.IR cs.LG
Deep Knowledge Tracing with Learning Curves
East China Normal University(华东师范大学)
知识追踪是近年来计算教育学的一个研究热点。任务是根据学生过去对问题的回答来模拟他们对知识概念的掌握程度,以及预测他们在未来正确回答后续问题的概率。KT任务在历史上使用贝叶斯推理和因子分析等统计建模方法来解决,但深度学习的最新进展导致了利用深度神经网络的连续提议,包括长短期记忆网络,记忆增强网络和自我注意网络。虽然这些深度模型表现出优于传统方法的性能,但它们都忽略了学习曲线理论的显式建模,该理论通常认为,对同一知识概念进行更多的实践可以提高一个人对该概念的掌握水平。基于这一理论,本文提出了一种卷积增强的知识追踪(CAKT)模型。该模型采用三维卷积神经网络来明确学习学生最近在应用与下一个问题中相同的知识概念时的经验,并将学习的特征与使用经典LSTM网络获得的代表其整体潜在知识状态的特征融合。然后,融合的特征被送入第二个LSTM网络,以预测学生对下一个问题的回答。实验结果表明,与现有的模型相比,CAKT在预测学生反应方面取得了新的最先进的性能。我们还进行了广泛的敏感性分析和消融研究,以显示结果的稳定性和证明CAKT的特定架构,分别。
2021-10-14 cs.AI cs.CY cs.LG
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina(南卡罗来纳大学);San Francisco State University(旧金山州立大学)
深度强化学习中的策略蒸馏提供了一种有效的方法,可以将控制策略从较大的网络转移到较小的未经训练的网络,而不会显着降低性能。然而,策略蒸馏在深度强化学习中探索不足,现有方法计算效率低,导致蒸馏时间长。此外,蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制,称为实时的策略蒸馏,其中训练教师模型和蒸馏策略的学生模型同时发生。相应地,教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少,并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明,我们的方法可以在大多数游戏中实现完全蒸馏,即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement
Riiid! AI Research(Riiid! AI研究院);University of Michigan(密歇根大学);Yale University(耶鲁大学)
智能辅导系统(ITS)已经被开发为通过自适应地生成针对每个个体优化的学习路径来向学生提供个性化的学习体验。在ITS的广阔范围内,分数预测作为一个研究领域脱颖而出,使学生能够根据当前的位置构建个人现实的目标。通过ITS提供的预期分数,学生可以即时将自己的预期分数与自己的实际分数进行比较,这直接对应于ITS可以灌输的可靠性。换句话说,改进预测分数的精度与学生可能对ITS的信心水平密切相关,这显然会提高学生的参与度。然而,以前的研究仅仅集中在提高预测模型的性能,在很大程度上缺乏关注其实际应用所产生的好处。在本文中,我们通过提供经验证据证明,在现实世界中部署的分数预测模型的准确性会显著影响用户参与度。为此,我们将最先进的基于深度专注神经网络的分数预测模型应用于Santa,Santa是一个多平台英语ITS,在韩国拥有约78万用户,专门专注于TOEIC(国际交流英语考试)标准化考试。我们运行一个受控的A/B测试的ITS与两个模型,分别基于协同过滤和深度专注神经网络,以验证是否更准确的模型产生任何学生的参与。结果表明,注意力模式不仅能提高学生的士气(例如,更高的诊断测试完成率,回答问题的数量等),而且还鼓励积极参与(例如,更高的购买率,改善的总利润等)圣诞老人。
2020-07-01 cs.AI cs.HC cs.LG
Deep Learning for Bug-Localization in Student Programs
Indian Institute of Science(印度科学学院);Google Brain(谷歌大脑)
提供反馈是教学的一个组成部分。大多数关于编程的开放式在线课程都使用自动评分系统来支持编程作业并提供实时反馈。这些系统通常依赖于测试结果来量化程序的功能正确性。他们把不及格的试卷作为反馈给学生。然而,学生们可能会发现,如果他们没有得到关于错误在哪里以及如何修复它的提示,他们很难调试他们的程序。在这项工作中,我们提出了第一个基于深度学习的技术,可以定位错误程序中的错误w.r.t.一个失败的测试,甚至没有运行程序。我们的技术的核心是一种新型的树卷积神经网络,它被训练来预测程序是否通过或失败。为了定位错误,我们使用最先进的神经预测归因技术分析训练的网络,并查看程序的哪些行使其预测测试结果。我们的实验表明,所提出的技术通常是更准确的两个国家的最先进的程序频谱为基础的和一个语法差异为基础的错误定位基线。
2019-05-28 cs.LG cs.SE
Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data
Pennsylvania State University(宾夕法尼亚州立大学);Google Brain(谷歌大脑);Google(谷歌);OpenAI
一些机器学习应用涉及敏感的训练数据,例如临床试验中患者的病史。一个模型可能会无意中隐式地存储一些训练数据;因此,对模型的仔细分析可能会泄露敏感信息。为了解决这个问题,我们展示了一种普遍适用的方法来为训练数据提供强有力的隐私保证:教师集合的私人聚合(PATE)。该方法以黑盒的方式组合了使用不相交数据集(例如来自不同用户子集的记录)训练的多个模型。因为它们直接依赖于敏感数据,所以这些模型不会被发布,而是被用作“学生”模型的“老师”。学生学习预测通过所有教师之间的嘈杂投票选择的输出,并且不能直接访问单个教师或底层数据或参数。学生的隐私属性既可以直观地理解(因为没有单一的教师,因此没有单一的数据集决定学生的训练),也可以从差分隐私的角度正式理解。即使对手不仅可以询问学生,还可以检查其内部工作,这些属性也仍然有效。与以前的工作相比,该方法对教师的培训方式只施加了较弱的假设:它适用于任何模型,包括DNN等非凸模型。由于改进了隐私分析和半监督学习,我们在MNIST和SVHN上实现了最先进的隐私/实用权衡。
2017-03-03 cs.CR cs.LG stat.ML
Application of Deep Self-Attention in Knowledge Tracing
Zhejiang University(浙江大学)
智能教学系统的发展极大地改变了学生的学习和实践方式,提高了学生的学习效率。智能教学系统在向学习者提供反馈和建议之前,必须对学习者掌握的知识进行建模,因此一类称为“知识追踪”的算法就显得尤为重要。基于PTA的数据,提出了深度自主知识追踪(Deep Self-Attentive Knowledge Tracing,DSAKT)方法,以帮助学生提高学习效率。在PTA数据集上的实验表明,DSAKT模型的AUC平均提高了2.1%,在ASSIST数据集上也有很好的性能。
2021-05-23 cs.LG
Spatially heterogeneous learning by a deep student machine
Osaka University(大阪大学)
通过教师-学生设定的统计力学方法研究深度神经网络的监督学习,发现在稠密极限下DNN学习具有空间异构性,且过参数化不削弱泛化能力,减小宽度或数据有效维度可提升泛化能力。
2023-07-10 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Bridging Declarative, Procedural, and Conditional Metacognitive Knowledge Gap Using Deep Reinforcement Learning
North Carolina State University(北卡罗来纳州立大学)
提出用DRL在智能辅导系统中实施适应性元认知干预,帮助学生掌握后向链接策略的陈述性、程序性与条件性知识,并显著提升跨领域后续学习表现和决策自主性。
2023-04-23 cs.AI cs.CY cs.HC
Deep Learning for School Dropout Detection: A Comparison of Tabular and Graph-Based Models for Predicting At-Risk Students
Computing Department, Universidade Federal de Ouro Preto(奥鲁普托联邦大学计算机系)
本文比较了表格型与图结构模型在预测高风险学生辍学中的表现,发现特定图结构与GNN配置可显著提升预测性能。
2025-08-09 cs.LG
Knowledge Distillation with Deep Supervision
Zhejiang University(浙江大学);Hangzhou City University(浙大城市学院);ZJU-Bangsun Joint Research Center(浙江大学-邦盛联合研究中心);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院)
本文提出深度监督知识蒸馏DSKD,利用教师模型的类别预测和特征图监督学生浅层训练,并通过基于损失的权重分配策略自适应平衡各浅层学习过程,在CIFAR-100和TinyImageNet上显著提升学生模型性能。
2023-05-25 cs.CV cs.LG
Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
深度图神经网络(GNN)已被证明是表达建模图结构的数据。然而,深度图模型的过度堆叠架构使得难以在移动或嵌入式系统上部署和快速测试。为了压缩过度堆叠的GNN,通过教师-学生架构进行知识蒸馏被证明是一种有效的技术,其中关键步骤是使用预定义的距离函数来测量教师和学生网络之间的差异。然而,对于不同结构的图使用相同的距离可能是不合适的,并且最佳距离公式很难确定。为了解决这些问题,我们提出了一种新的对抗性知识蒸馏框架的图形模型命名为GraphAKD,它对抗训练一个学习器和一个生成器,以自适应地检测和减少差异。具体来说,注意到良好捕获的节点间和类间相关性有利于深度GNN的成功,我们建议使用可训练的鉴别器从节点级和类级视图批评继承的知识。学习者区分教师知识和学生继承的知识,而学生GNN则作为一个生成器,旨在欺骗学习者。据我们所知,GraphAKD是第一个将对抗训练引入图域中的知识蒸馏的公司。在节点级和图级分类基准上的实验表明,GraphAKD大幅提高了学生的性能。结果表明,GraphAKD可以精确地将知识从复杂的教师GNN转移到紧凑的学生GNN。
2022-05-24 cs.AI cs.LG
Representational Distance Learning for Deep Neural Networks
MRC Cognition and Brain Science Unit(医学研究委员会认知与脑科学单元)
深度神经网络(DNN)提供了视觉表示变换的有用模型。我们提出了一种方法,使DNN(学生)能够从参考模型(教师)的内部表示空间中学习,该参考模型可能是另一个DNN,或者将来是生物大脑。学生和教师的表征空间由表征距离矩阵(RDM)表征。我们提出了代表性的远程学习(RDL),一个随机梯度下降的方法,驱动的RDM的学生近似的RDM的教师。我们证明了RDL与其他迁移学习技术在两个公开的基准计算机视觉数据集(MNIST和CIFAR-100)上具有竞争力,同时允许学生和教师之间的架构差异。通过将学生的RDM拉向教师的RDM,与不使用迁移学习的基线网络相比,RDL显著提高了视觉分类性能。在未来,RDL可以使用任务约束(例如图像和类别标签)和来自大脑活动测量的约束来实现深度神经网络的组合监督训练,以便构建复制生物大脑内部表征空间的模型。
2016-11-07 cs.CV cs.LG cs.NE
Kickstarting Deep Reinforcement Learning
DeepMind(深度思维)
我们提出了一种方法,使用以前训练的“教师”代理启动一个新的“学生”代理的培训。为此,我们利用政策蒸馏和基于人口的培训的想法。我们的方法没有对教师或学生代理的架构进行限制,并且它可以自我调节,以允许学生在性能上超过他们的教师。我们表明,在一个具有挑战性和计算密集型的多任务基准测试(DMLab-30)中,kickstarted训练提高了新代理的数据效率,使其更容易在设计上进行扩展。我们还表明,相同的kickstarting管道可以允许一个学生代理,以利用多个“专家”教师,专门从事个别任务。在这种情况下,Kickstarting产生了令人惊讶的巨大收益,Kickstarted代理的性能与从头开始训练的代理的性能相匹配,几乎少了10倍的步骤,并超过其最终性能42%。Kickstarting在概念上很简单,可以很容易地融入到强化学习实验中。
2018-03-10 cs.LG
Predicting Stress in Remote Learning via Advanced Deep Learning Technologies
Belmont High School(贝尔蒙特高中)
COVID-19促使大多数学校通过Zoom和Google Meet等在线会议软件进行远程学习。虽然这种趋势有助于学生在没有亲自上课的情况下继续学习,但它删除了教师用来有效教学的重要工具:视觉提示。由于不能清楚地看到学生的脸,老师可能不会注意到学生何时需要帮助,或者学生何时没有注意。为了帮助教师应对这一挑战,本项目提出了一种基于机器学习的方法,为教师提供实时的学生心理状态监测和分类,以更好地进行远程教学。使用公开的脑电图(EEG)数据汇集,该研究探索了四种不同的分类技术:经典的深度神经网络,传统上流行的支持向量机,最新的卷积神经网络,以及最近流行的XGBoost模型。本研究定义了三种心理类型:投入学习模式、困惑学习模式和放松学习模式。实验结果表明,这些被选分类器在脑电信号的精神状态分类方面具有不同的潜力。虽然一些选定的分类器只能产生大约50%的准确率,但有一些延迟,最好的分类器可以实时实现80%的准确分类。这对于需要帮助进行远程教学调整的教师以及许多其他不可能进行面对面交互的潜在应用程序非常有益。
2021-09-22 cs.LG
Methodical Advice Collection and Reuse in Deep Reinforcement Learning
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学);Queen Mary University of London(伦敦玛丽女王大学)
强化学习(RL)通过使用深度神经网络在解决许多具有挑战性的任务方面取得了巨大成功。虽然将深度学习用于RL带来了巨大的代表性,但它也导致了众所周知的样本效率低下问题。这意味着这些算法需要大量数据,需要数百万个训练样本才能收敛到一个足够的策略。解决这个问题的一种方法是在师生框架中使用行动建议,其中知识渊博的教师提供行动建议以帮助学生。这项工作考虑如何更好地利用不确定性,当一个学生应该征求意见,如果学生可以模型的老师要求更少的建议。学生可以在不确定的时候,或者在自己和老师的模型都不确定的时候,决定向老师寻求建议。除了这项调查,本文介绍了一种新的方法来计算不确定性的深度RL代理使用二级神经网络。我们的实证结果表明,使用双重不确定性来驱动建议的收集和重用,可以提高学习性能在几个雅达利游戏。
2022-04-14 cs.AI cs.LG cs.MA
Deep Model Compression: Distilling Knowledge from Noisy Teachers
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
深度学习模型在各种应用中取得的巨大成功,导致了可以解决复杂问题的更深层网络的设计。然而,这种模型的深度增加也导致更高的存储和运行时复杂性,这限制了这种非常深的模型在移动和便携式设备上的可部署性,这些设备具有有限的存储和电池容量。虽然近年来已经提出了许多用于深度模型压缩的方法,但几乎所有方法都集中在降低存储复杂度上。在这项工作中,我们扩展了教师-学生框架进行深度模型压缩,因为它也有可能解决运行时和训练时间复杂度。我们提出了一种简单的方法,在从教师训练学生的同时,包括基于噪声的正则化器,这为学生网络的性能提供了健康的改善。我们在CIFAR-10,SVHN和MNIST数据集上的实验显示了很好的改进,在CIFAR-10数据集上的性能最好。我们还在CIFAR-10数据集的相关设置下对所提出的方法进行了全面的实证评估,以显示所提出的方法的前景。
2016-11-02 cs.LG
Modeling Teacher-Student Techniques in Deep Neural Networks for Knowledge Distillation
Isfahan University of Technology(伊斯法罕理工大学)
知识蒸馏(KD)是一种将训练结构中的知识转移到另一结构中的新方法。KD的典型应用是通过复杂模型(称为教师)产生的软标签来学习小模型(称为学生)。由于KD中引入的新思想,最近,它的概念被用于不同的方法,如压缩和过程,以提高模型的准确性。虽然在KD领域提出了不同的技术,但缺乏一个模型来推广KD技术。本文对知识产权领域的各种研究进行了调查和分析,建立了知识产权的一般模型。通过所提出的模型,可以总结出KD中的所有方法和技术。通过利用所提出的模型,不同的方法在KD更好地调查和探索。通过对不同方法在KD中的优缺点的分析,可以更好地了解KD的优缺点,从而为KD的发展提供新的策略。使用该模型,不同的KD方法表示在一个抽象的视图。
2019-12-31 cs.CV cs.LG
Knowledge Tracing with Sequential Key-Value Memory Networks
Australian National University(澳大利亚国立大学)
机器能像人类一样追踪人类知识吗?知识追踪(KT)是教育领域广泛应用的一项基本任务,如大规模开放式在线课程(MOOC)、智能辅导系统、教育游戏和学习管理系统等。它通过学生与学习活动的相互作用,对学生与不同学习概念的知识状态进行动态建模。最近,已经进行了几次尝试来使用深度学习模型来解决KT问题。尽管这些深度学习模型已经显示出有希望的结果,但它们也有局限性:要么缺乏更深入地跟踪学生如何掌握知识状态中的特定概念的能力,要么无法捕捉练习序列中的长期依赖关系。在本文中,我们通过提出一种新的知识跟踪深度学习模型,即顺序键值记忆网络(SKVMN)来解决这些限制。该模型结合了现有深度学习KT模型的循环建模能力和记忆能力的优势,用于对学生学习进行建模。我们在五个基准数据集上对我们提出的模型进行了广泛的评估。实验结果表明:(1)SKVMN在所有数据集上的性能均优于KT模型;(2)SKVMN能够更好地发现潜在概念与问题之间的相关性;(3)SKVMN能够跟踪学生动态的知识状态,并利用练习序列中的顺序依赖关系提高预测精度。
2019-10-29 cs.AI cs.IR cs.LG
Deep Knowledge Tracing with Side Information
Michigan State University(密歇根州立大学);TAL AI Lab(好未来AI实验室)
监测学生的知识状态或技能获取水平,称为知识跟踪,是智能教学系统的基本组成部分。尽管其固有的挑战,最近的基于深度神经网络的知识追踪模型已经取得了巨大的成功,这在很大程度上来自于模型学习学生练习数据中的问题的顺序依赖关系的能力。然而,除了顺序信息,问题本身也表现出侧关系,这可以丰富我们对学生知识状态的理解,并具有很大的潜力,以促进知识追踪。因此,在本文中,我们利用边关系,以提高知识跟踪和设计一个新的框架DTKS。在真实教育数据上的实验结果验证了该框架的有效性,并证明了边信息在知识追踪中的重要性。
2019-09-01 cs.AI cs.LG