Hypervolume-based Multi-objective Bayesian Optimization with Student-t Processes
IDLab;Ghent University - imec(根特大学 - imec)
Student- $t$过程最近被提出作为一种有吸引力的替代非参数函数先验。它们具有增强的灵活性和预测方差。在这项工作中,学生$t$过程的使用进行了探索多目标贝叶斯优化。特别是,一个分析表达式的超体积为基础的概率改进独立的学生$t$过程先验的目标。它的有效性示出的多目标优化问题,这是已知的是难以与传统的高斯过程。
2016-12-01 cs.LG stat.ML
Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法,为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时,往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型(BLRS),它可以被精确地推断。在这个框架下,共轭先验和期望最大化(EM)算法进行了推广。同时,我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归(BLRG)。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明,在预测网络新闻流行度的任务中,BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
Bayesian and L1 Approaches to Sparse Unsupervised Learning
University of British Columbia(不列颠哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院);University of Cambridge(剑桥大学)
使用L1正则化稀疏学习产生了巨大的研究兴趣,在信号采集,图像编码,基因组学和协同过滤等不同领域的成功应用。虽然现有的工作突出了L1方法的许多优点,但在本文中,我们发现,与其他方法相比,L1正则化在预测性能方面往往表现不佳。我们专注于无监督的潜变量模型,并开发L1最小化因子模型,贝叶斯变体的“L1”,贝叶斯模型具有更强的L0样稀疏诱导通过尖峰和板分布。这些尖峰和厚板贝叶斯因子模型鼓励稀疏性,同时以原则性的方式考虑不确定性,并避免非零值的不必要收缩。我们证明了一些数据集,在实践中尖峰和板坯贝叶斯方法优于L1最小化,即使在计算预算。因此,我们强调需要重新评估L1方法在稀疏依赖应用中的广泛使用,特别是当我们关心推广到以前看不见的数据时,并提供一种替代方案,在许多不同的条件下,提供改进的推广性能。
2012-08-17 cs.AI cs.LG stat.ML
PAC-Bayesian Matrix Completion with a Spectral Scaled Student Prior
Norwegian University of Science and Technology(挪威科技大学)
本文研究了矩阵完备化问题。一个频谱缩放的学生先验被利用,有利于底层的低秩结构的数据矩阵。我们提供了一个彻底的理论研究,我们的方法,通过PAC贝叶斯界限。更准确地说,我们的PAC-Bayesian方法享有最小最大最优的预言不等式,这保证了我们的方法在模型误设定和一般抽样分布下工作良好。有趣的是,我们还提供了有效的基于梯度的采样实现我们的方法,通过使用朗之万蒙特卡罗。更具体地说,我们表明,我们的算法是显着快于吉布斯采样在这个问题上。为了说明我们的推理策略的吸引力的功能,进行了一些数值模拟和图像修复的应用程序。
2022-01-07 cs.LG stat.ML
SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines
School of ECE, Ben-Gurion University(本·古里安大学电子工程学院);Faculty of Math and CS, Weizmann Institute of Science(魏茨曼科学研究院数学与计算机学院)
研究从贝叶斯视角用随机梯度下降训练学生的知识蒸馏收敛行为,分两种情况分析,发现从贝叶斯类概率学习有优势,提倡用贝叶斯深度学习模型作教师,实验表明这样蒸馏出的学生准确率更高、收敛更稳定。
2026-07-08 cs.LG
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford(牛津大学)
神经网络的贝叶斯解释有着悠久的历史,可以追溯到20世纪90年代的早期工作,最近又重新受到关注,因为它们的理想属性,如不确定性估计,模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面,例如迁移学习,模型蒸馏和共享嵌入。所有这些任务都有一个共同点,即学习到的“特征”应该在不同的网络中共享。从理论上讲,这项工作植根于贝叶斯神经网络的概念,广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Student-t processes as infinite-width limits of posterior Bayesian neural networks
Princeton University(普林斯顿大学);University of Torino(都灵大学);Collegio Carlo Alberto(卡洛阿尔贝托学院);University of Pisa(比萨大学)
本文证明在特定先验条件下,无限宽后验贝叶斯神经网络收敛于Student-t过程,并用Wasserstein度量刻画收敛速度,从而扩展了高斯过程近似理论。
2025-02-06 cs.LG math.PR stat.ML
High-Dimensional Bayesian Optimization via Semi-Supervised Learning with Optimized Unlabeled Data Sampling
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
提出 TSBO 半监督贝叶斯优化框架,通过师生模型、优化无标签采样和不确定性反馈提升 GP 代理泛化能力,并在低标注预算下显著改善样本效率。
2024-02-03 cs.AI cs.LG
Robust Bayesian Optimization with Student-t Likelihood
SigOpt Inc.(SigOpt公司);Centro Universitario de la Defensa, Zaragoza(萨拉戈萨国防大学中心)
贝叶斯优化最近吸引了自动机器学习社区的注意,因为它在超参数调整方面的出色结果。BO的特点是样本效率,它可以优化昂贵的黑盒功能。效率是以类似于学习学习方法的方式实现的:代理模型(通常以高斯过程的形式)学习目标函数并执行智能采样。这种代理模型甚至可以在存在噪声的情况下应用;然而,与大多数回归方法一样,它对离群数据非常敏感。这可能会导致错误的预测,在BO的情况下,会导致有偏见和效率低下的探索。在这项工作中,我们提出了一个GP模型,是强大的离群值,使用学生t似然隔离离群值和强大的贝叶斯优化。我们提出的数值结果评估所提出的方法在人工函数和真正的问题。
2017-07-18 cs.AI cs.LG stat.ML
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言,该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外,作者表明,这种方法在使用学生网络的分类设置中是成功的,该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中,我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明,使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法,通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Hierarchical Bayesian Knowledge Tracing in Undergraduate Engineering Education
School of Chemical Engineering, University of Birmingham(化学工程学院,伯明翰大学)
本研究提出分层贝叶斯建模方法,利用本科静力学课程数据量化技能难度与学生能力,揭示技能掌握模式及学生子群体,为教育者提供直观可靠且不牺牲预测准确性的指标,支持个性化教学决策。
2025-05-29 cs.CY cs.LG stat.AP
Back to the Basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation
Knewton, Inc.(Knewton公司);Carnegie Mellon University(卡内基梅隆大学)
学生水平评估是计算机辅助学习系统的一项重要任务。我们将一系列基于IRT的熟练度估计方法与深度知识跟踪(DKT)进行了比较,深度知识跟踪是最近提出的一种递归神经网络模型,具有良好的初始结果。我们评估如何以及每个模型预测学生的未来的反应给出以前的反应,使用两个公开的和一个专有的数据集。我们发现,基于IRT的方法在所有数据集上的表现始终与DKT相匹配或优于DKT,这些数据集都是在最精细的内容粒度级别上进行训练的。当数据集包括学生反应模式中的非平凡自相关时,IRT的时间扩展比标准IRT提高了性能,而基于RNN的方法没有。我们的结论是,基于IRT的模型提供了一个更简单,更好的替代现有的基于RNN的模型的学生交互数据,同时也提供了更多的可解释性和保证,由于他们的配方贝叶斯概率模型。
2016-05-21 cs.AI cs.LG
Rethinking Likelihood distributions: Student's t Likelihood Boosts Bayesian Neural Network Performance
Scientific Computing Center, Karlsruhe Institute of Technology(科学计算中心,卡尔斯鲁厄理工学院);Helmholtz AI(亥姆霍兹人工智能中心)
研究贝叶斯神经网络中似然分布假设,通过比较如偏态或重尾等多种假设,发现学生t分布在回归任务中比高斯似然分布预测性能更好,与数据及MLP架构无关,还可能缩短训练时间且易实现。
2026-07-29 cs.AI cs.LG
A Comparative Analysis of classification data mining techniques : Deriving key factors useful for predicting students performance
Anjuman-I-Islam Kalsekar Technical Campus (AIKTC), Mumbai University(安朱曼伊斯兰卡尔塞卡尔技术学院(AIKTC),孟买大学);GIET, JNTU-HYD(GIET 工程技术学院,贾瓦哈拉尔·尼赫鲁理工大学海得拉巴分校)
选择工程作为学科的学生正在迅速增加。但由于各种因素和印度不适当的小学教育,失败率很高。由于复杂的数学科目,学生无法在核心工程方面出类拔萃。因此,他们在这些科目上失败了。借助数据采掘技术,我们可以预测学生的成绩和学科不及格情况。本文对朴素贝叶斯、LibSVM、J48、随机森林和JRip等分类技术进行了比较分析,并试图从中选择最佳方法。根据所获得的结果,我们发现,朴素贝叶斯是最准确的方法,在学生失败的预测和JRip是最准确的学生成绩预测。我们还发现,JRip在学生失败预测的准确性方面与朴素贝叶斯略有不同,并为我们提供了一套规则,从中我们可以得出影响学生表现的关键因素。最后,我们提出了各种方法来减轻这些因素。本研究仅限于印度教育系统的场景。然而,发现的因素在其他情况下也可能有帮助。
2016-11-11 cs.AI cs.CY cs.LG
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford(牛津大学);University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所)
尽管它的广泛使用和经验的成功,理论上的理解和研究的行为和性能的变分自编码器(VAE)只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力,利用PAC贝叶斯理论的参数,为最近的工作做出贡献。我们提供的理论重建误差的泛化范围,并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
Tracking student skills real-time through a continuous-variable dynamic Bayesian network
针对现有知识追踪方法可解释性不足或难以实时更新、缺乏准确率指示的问题,提出基于连续变量动态贝叶斯网络的PDT方法,结合beta共轭先验实现高效在线更新,兼具可解释性与准确率指示,获用户认可。
2025-01-17 cs.LG stat.ML
Portfolio Optimization Proxies under Label Scarcity and Regime Shifts via Bayesian and Deterministic Students under Semi-Supervised Sandwich Training
Department of Management Studies, Indian Institute of Technology Roorkee, India(印度理工学院罗里克分校管理研究系)
本文提出基于贝叶斯和确定性学生模型的半监督框架,用于在标签稀缺和制度转换下优化投资组合,通过合成数据增强训练,提升鲁棒性和降低周转率。
2026-04-04 cs.LG q-fin.PM stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Learning curves for the multi-class teacher-student perceptron
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Universidade de São Paulo(圣保罗大学);Instituto de Física(物理研究所);Laboratoire de Physique de l’Ecole Normale Supérieure(巴黎高等师范学院物理实验室);Université PSL(巴黎文理研究大学)
本文针对多分类教师-学生感知机,推导高维情形下Bayes最优与ERM泛化误差的渐近表达式,发现正则化交叉熵接近最优,而二分类教师存在一阶相变。
2022-03-22 cond-mat.dis-nn cs.LG stat.ML
Action Advising with Advice Imitation in Deep Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
行动建议是一种基于师生范式的对等知识交换技术,用于缓解深度强化学习中的样本效率低下问题。最近提出的学生发起的方法已经取得了可喜的成果。但是,由于处于发展的早期阶段,这些也有一些实质性的缺点。在当前方法中缺乏的能力之一是通过重用进一步利用建议,这在考虑对等网络中的预算和成本约束的实际环境中尤其重要。在这项研究中,我们提出了一种方法,使学生代理模仿以前获得的意见,直接在其探索政策,没有任何干预的学习机制本身重用。特别是,我们采用了一个行为克隆模块来模仿教师的政策,并使用辍学正规化有一个概念的认识不确定性,以跟踪哪些国家的建议对实际收集。正如我们在三款Atari游戏中进行的实验结果所示,通过泛化进行建议重用确实是深度RL中的一个可行选择,我们的方法可以成功实现这一点,同时显着提高学习性能,即使与简单的早期建议启发式配对。
2021-04-17 cs.AI cs.LG
Learning PAC-Bayes Priors for Probabilistic Neural Networks
University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所);University of Surrey(萨里大学)
最近的工作研究了通过优化PAC-Bayes边界训练的深度学习模型,其中先验知识是在数据子集上学习的。这种组合不仅可以产生准确的分类器,还可以产生非常严格的风险证书,有望实现自认证学习(即使用所有数据来学习预测器并证明其质量)。在这项工作中,我们实证调查的作用。我们在6个具有不同策略和数据量的数据集上进行实验,以学习数据依赖的PAC-Bayes先验,并比较它们对学习的预测器的测试性能和风险证书的紧密性的影响。我们问什么是最佳的数据量,应该分配用于建立先验,并表明最佳可能是数据集依赖。我们证明,使用一小部分的先验建筑数据进行验证的先验导致有希望的结果。我们包括欠参数化和过参数化模型的比较,以及不同的训练目标和正则化策略的实证研究,以学习先验分布。
2021-09-21 cs.CV cs.LG
Heterogeneous causal effects with imperfect compliance: a Bayesian machine learning approach
Harvard University(哈佛大学);KU Leuven(鲁汶大学);IMT School for Advanced Studies(IMT高等研究院)
本文介绍了一种创新的贝叶斯机器学习算法,用于在存在不完美依从性的情况下(例如,不定期分配机制)。我们表明,通过蒙特卡罗模拟,提出的贝叶斯因果森林与工具变量(BCF-IV)的方法优于其他机器学习技术的因果推断中发现和估计的异质因果效应,同时控制familywise错误率(或-不太严格-为错误发现率)在叶子的水平。第四个生物多样性合作框架揭示了工具变量假设情景中因果效应的异质性,从而为决策者提供了有针对性的政策的相关工具。其实证应用评估的影响,额外的资金对学生的表现。研究结果显示,BCF-IV可用于提高学校资助对学生表现的有效性。
2021-11-30 cs.LG stat.ME stat.ML
Variational Bayesian dropout: pitfalls and fixes
University of Cambridge(剑桥大学);Uber AI Labs(优步人工智能实验室)
Dropout是一种用于训练神经网络的随机正则化技术,最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。重新解释的主要贡献是提供了一个理论框架,用于分析和扩展算法。我们表明,所提出的框架遭受几个问题,从未定义的或病理行为的真正的后相关使用不适当的先验,一个不明确的变分目标由于奇异性的近似分布相对于真正的后。我们的分析不适当的对数均匀先验变分高斯辍学表明,病理是一般不可挽回的,算法仍然有效,只是因为变分制定取消了一些病理。为了解决奇异性问题,我们提出了拟KL(QKL)发散,一个新的近似推理目标的近似高维分布。我们发现,基于离散化和噪声的变分伯努利辍学的动机有QKL作为限制。本文从理论上和一个简单的实例上研究了QKL的性质,结果表明,满秩高斯与简并高斯的QKL最优逼近自然地导出了主成分分析解。
2018-07-05 cs.LG stat.ML
A Comprehensive guide to Bayesian Convolutional Neural Network with Variational Inference
MindGarage(思维车库);Technical University Kaiserslautern(凯泽斯劳滕工业大学);NeuralSpace(神经空间);Imperial College London(帝国理工学院);Luleå University of Technology(吕勒奥理工大学)
人工神经网络是连接主义系统,它通过对示例的学习来执行给定的任务,而不需要关于任务的先验知识。这是通过为每个节点中的权重找到最佳点估计来完成的。通常,使用点估计作为权重的网络在大数据集上表现良好,但它们无法表达数据很少或没有数据的区域的不确定性,导致过度自信的决策。本文提出了一种基于变分推理的贝叶斯卷积神经网络(BayesCNN),它引入了权值的概率分布。此外,提出的贝叶斯CNN架构适用于图像分类,图像超分辨率和生成对抗网络等任务。将结果与MNIST、CIFAR-10和CIFAR-100数据集上的基于点估计的体系结构进行比较,用于图像分类任务,用于图像超分辨率任务的BSD 300数据集和用于生成对抗网络任务的CIFAR 10数据集。BayesCNN是基于Bayes by Backprop的,它导出了真实后验的变分近似。因此,我们引入了应用两个卷积运算的想法,一个用于均值,一个用于方差。我们所提出的方法不仅实现了性能等同于频率论推理在相同的架构,但也纳入了测量的不确定性和正规化。它进一步消除了在模型中使用dropout。此外,我们预测了模型预测基于认知和任意不确定性的确定性,并通过经验展示了不确定性如何降低,从而使网络做出的决策随着训练精度的提高而变得更加确定。最后,我们提出了修剪贝叶斯架构,使其更具计算性和时间效率的方法。
2019-01-08 cs.LG stat.ML
Bayes Conditional Distribution Estimation for Knowledge Distillation Based on Conditional Mutual Information
University of Waterloo(滑铁卢大学)
针对知识蒸馏中传统最大对数似然方法估计贝叶斯条件分布精度不足的问题,提出最大条件互信息估计方法训练教师模型,提升学生分类准确率,在少样本、零样本场景下增益更显著。
2024-03-07 cs.CV cs.IT cs.LG
Uncertainty-preserving deep knowledge tracing with state-space models
Carleton College(卡尔顿学院);NWEA/HMH(NWEA/HMH公司)
针对现有方法无法兼顾历史信息与认知不确定性的问题,提出Dynamic LENS建模范式,结合变分自编码器与贝叶斯状态空间模型,在保持预测性能的同时量化了学生的认知不确定性。
2024-07-09 cs.CY cs.LG
Stein transport for Bayesian inference
King’s College London(伦敦国王学院)
该研究提出Stein传输方法,通过时变得分函数和粒子权重推动粒子沿回火分布曲线移动,在有限时间t=1达到后验近似,相比SVGD计算预算更低、后验更准确且缓解方差崩溃。
2024-11-28 cs.LG cs.NA math.NA
Knowledge Distillation as Semiparametric Inference
Stanford University(斯坦福大学);Microsoft Research, New England(微软研究院新英格兰分院)
一种流行的模型压缩方法是训练一个便宜的学生模型来模仿一个高度准确但繁琐的教师模型的类概率。令人惊讶的是,这种两步知识蒸馏过程通常比直接在标记数据上训练学生更准确。为了解释和增强这种现象,我们铸造知识蒸馏作为一个半参数推理问题的最佳学生模型为目标,未知的贝叶斯类概率为滋扰,和教师的概率作为一个插件滋扰估计。通过采用现代半参数工具,我们得到新的保证标准蒸馏的预测误差和开发两个增强-交叉拟合和损失校正-以减轻教师过拟合和欠拟合对学生成绩的影响。我们在表格和图像数据上验证了我们的发现,并观察到我们的知识蒸馏增强的一致改进。
2021-04-20 cs.LG stat.ML
Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting
Purdue University(普渡大学);New Jersey Institute of Technology(新泽西理工学院)
用神经网络构建的分类器可以很好地处理大规模高维数据,例如来自计算机视觉的面部图像,而传统的统计方法往往失败得很惨。在本文中,我们试图通过推导超额风险的收敛率来理解高维分类的经验成功。特别地,提出了一个教师-学生框架,该框架假设贝叶斯分类器被表示为ReLU神经网络。在这种设置中,我们获得了急剧的收敛速度,即,$\tilde{O}_d(n^{-2/3})$,用于使用0-1损失或铰链损失训练的分类器。当数据分布是可分离的时,该速率可以进一步提高到$\tilde{O}_d(n^{-1})$。这里,$n$表示样本量。一个有趣的观察结果是,数据维度仅对上述比率中的$\log(n)$项有贡献。这可以为深度神经网络在高维分类中的经验成功提供一种理论解释,特别是对于结构化数据。
2020-02-01 cs.LG stat.ML
Student-t Processes as Alternatives to Gaussian Processes
University of Cambridge(剑桥大学)
我们调查学生t过程作为替代的高斯过程作为一个非参数先验函数。通过在高斯过程模型的协方差核上先积分一个逆Wishart过程,得到了Student-t过程的边缘似然和预测分布的封闭形式表达式.我们发现令人惊讶的等效性不同层次的高斯过程模型导致学生t过程,并推导出一个新的采样方案的逆Wishart过程,这有助于阐明这些等效性。总体而言,我们表明,学生t过程可以保留高斯过程的吸引人的属性-非参数表示,分析的边缘和预测分布,并通过协方差内核容易模型选择-但具有增强的灵活性,预测协方差,不像高斯过程,明确地依赖于训练观测值。我们经验验证,学生t过程是特别有用的情况下,有变化的协方差结构,或在应用程序,如贝叶斯优化,准确的预测协方差是至关重要的良好的性能。这些优点与高斯过程相比没有额外的计算成本。
2014-02-19 cs.AI cs.LG stat.ME
Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
Department of Statistics, University of Georgia(佐治亚大学统计系);Department of Statistics, Harvard University(哈佛大学统计系)
提出多教师贝叶斯知识蒸馏(MT-BKD)框架,利用贝叶斯推断和教师引导的先验分布,结合熵加权机制,实现多教师知识的高效融合与不确定性量化。
2026-05-27 cs.AI cs.LG stat.ME
Interpretable Knowledge Tracing: Simple and Efficient Student Modeling with Causal Relations
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CEA(法国原子能和替代能源委员会);Kyoto University(京都大学);Singapore Management University(新加坡管理大学)
智能辅导系统在未来的学习环境中变得至关重要。知识追踪(KT)是该系统的重要组成部分。它是关于推断学生的技能掌握和预测他们的表现,以调整相应的课程。与传统模型相比,基于深度学习的KT模型显示出显著的预测性能。然而,很难从神经网络中成千上万的参数中提取出与认知理论相关的心理学上有意义的解释。有几种方法可以实现学生成绩预测的高准确性,但诊断和预测推理在学习科学中更为关键。由于KT问题具有很少的可观察特征(问题ID和学生在每次练习中的正确性),我们通过使用机器学习和数据采掘技术从学生的响应数据中提取有意义的潜在特征。在这项工作中,我们提出了可解释的知识追踪(IKT),一个简单的模型,依赖于三个有意义的潜在特征:个人技能掌握,能力概况(跨技能的学习转移),和问题的难度。IKT对学生未来表现的预测是使用树增强朴素贝叶斯分类器(TAN)进行的,因此它的预测比基于深度学习的学生模型更容易解释。IKT还显示出比基于深度学习的学生模型更好的学生成绩预测,而无需大量参数。我们对每个特征进行消融研究,以研究它们对学生成绩预测的贡献。因此,IKT在现实世界的教育系统中提供具有因果推理的自适应和个性化教学方面具有很大的潜力。
2021-12-15 cs.AI cs.CY cs.LG
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach
Technische Universität Berlin(柏林工业大学)
我们分析了一个算法的动态近似推理与大高斯潜变量模型在学生-教师的情况。为了对潜在变量之间的非平凡依赖关系进行建模,我们假设从旋转不变集合中提取随机协方差矩阵。对于完美的数据模型匹配的情况下,来自副本方法的静态顺序参数的知识,使我们能够获得有效的算法更新的矩阵向量乘法与一个固定的矩阵。利用动力泛函方法,我们得到了一个精确的有效随机过程的热力学极限为一个单一的节点。由此,我们得到了收敛速度的封闭形式表达式。分析结果与大型模型的单实例模拟结果吻合良好。
2020-01-14 cond-mat.dis-nn cs.LG stat.ML
Bayesian Compressive Sensing Using Normal Product Priors
University of Electronic Science and Technology of China(电子科技大学)
在本文中,我们引入了一个新的稀疏促进先验,即“正常产品”的先验,并开发了一个有效的算法稀疏信号恢复贝叶斯框架下。正态乘积分布是两个均值为零且方差可能不同的正态分布变量的乘积的分布。与其他稀疏性鼓励分布(如学生$t$分布)一样,正态积分布在原点有一个尖峰,这使其成为鼓励稀疏解的合适先验。提出了一种基于正态产品的两阶段递阶模型。我们诉诸变分贝叶斯(VB)方法来执行推理。仿真结果表明,我们提出的算法相比,其他国家的最先进的压缩感知算法的有效性。
2017-08-24 cs.IT cs.LG math.IT
Concentration of the matrix-valued minimum mean-square error in optimal Bayesian inference
The Abdus Salam International Center for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
我们考虑贝叶斯推断的信号与向量值的条目。从自旋玻璃的数学物理扩展浓度技术,我们表明,矩阵值的最小均方误差集中时,问题的大小增加。这样的结果往往是至关重要的证明单字母公式的互信息时,他们存在。我们的证明在最优贝叶斯推理设置中是有效的,这意味着它依赖于模型及其所有超参数已知的假设。我们的研究结果所涵盖的推理和学习问题的例子是尖峰矩阵和张量模型,委员会机神经网络在教师-学生的情况下,或多层广义线性模型的隐藏神经元很少。
2019-07-15 cs.IT cs.LG eess.SP
VarFA: A Variational Factor Analysis Framework For Efficient Bayesian Learning Analytics
Rice University(莱斯大学);Northwestern University(西北大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);OpenStax
我们提出VarFA,一个变分推断因子分析框架,扩展现有的因子分析模型的教育数据挖掘,有效地输出模型的估计因素的不确定性估计。这样的不确定性信息例如对于自适应测试场景是有用的,其中如果模型对学生的技能水平估计不太确定,则可以管理附加测试。产生这种不确定性信息的传统贝叶斯推断方法在计算上是昂贵的,并且不能扩展到大的数据集。VarFA利用变分推断,这使得即使在非常大的数据集上也可以有效地执行贝叶斯推断。我们使用稀疏因子分析模型作为案例研究,并证明了VarFA在合成和真实数据集上的有效性。VarFA也非常通用,可以应用于各种因子分析模型。
2020-08-14 cs.CY cs.LG stat.AP