Class Teaching for Inverse Reinforcement Learners
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）
在本文中，我们提出了第一个机器教学算法的多个反向强化学习器。具体来说，我们的贡献是：（i）我们正式介绍了一个顺序任务教学的问题，一个异质组的学习者;（ii）我们确定的条件下，有可能进行这样的教学使用相同的演示，为所有的学习者;以及（iii）我们提出并评估了一个简单的算法，该算法计算一个演示（s）确保异构类中的所有代理学习与目标任务兼容的任务描述。我们的分析表明，与其他教学问题，教学一个单一的示范异构类可能是不可能的代理之间的差异增加。我们还展示了我们提出的机器教学方法对几种可能的替代方案的优势。
2019-11-29 cs.AI cs.LG
Optimally Teaching a Linear Behavior Cloning Agent
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
研究线性行为克隆学习器的最优教学问题，提出TIE算法实现实例最优教学维度，证明寻找最优教学集为NP困难，并给出近似比为$\log(|A|-1)$的近似算法。
2023-11-26 cs.AI cs.LG
Learning by Teaching, with Application to Neural Architecture Search
University of California San Diego（加利福尼亚大学圣迭戈分校）
在人类学习中，提高学习效果的一种有效技能是通过教学来学习：学习者通过将这个主题教授给他人来加深他/她对这个主题的理解。在本文中，我们的目标是借用这种教学驱动的学习方法，并利用它来训练更高性能的机器学习模型，提出了一种新的ML框架，称为教学（LBT）。在LBT框架中，教师模型通过教导学生模型学习得更好来改进自己。具体来说，教师创建一个伪标记数据集，并使用它来训练学生模型。根据学生在验证数据集上的表现，教师重新学习其模型并重新教授学生，直到学生获得出色的验证性能。我们的框架是基于三个层次的优化，其中包含三个阶段：教师学习;教师教学生;教师重新学习的基础上如何以及学生的表现。一个简单而有效的算法来解决三层优化问题。我们将LBT应用于CIFAR-10、CIFAR-100和ImageNet上的神经架构搜索。我们的方法的有效性在各种实验中得到证明。
2021-03-11 cs.AI cs.LG
Learning Data Teaching Strategies Via Knowledge Tracing
Australian National University（澳大利亚国立大学）
教学在人类学习中起着基础性的作用。通常，人类教学策略将涉及评估学生的知识进展，以增强学习进展的方式定制教材。人类教师将通过跟踪学生在任务中重要学习概念的知识来实现这一点。然而，这种教学策略在机器学习中还没有得到很好的利用，因为当前的机器教学方法倾向于直接评估单个训练样本的进度，而不关注学习任务中的底层学习概念。在本文中，我们提出了一种新的方法，称为知识增强数据教学（KADT），它可以优化数据教学策略的学生模型，通过跟踪其知识的进步，在多个学习概念的学习任务。具体而言，KADT方法结合了一个知识跟踪模型，以动态地捕捉潜在的学习概念方面的学生模型的知识进展。然后，我们开发了一种注意力池机制，以提取学生模型关于类标签的知识表示，这使得能够在关键训练样本上开发数据教学策略。我们已经评估了KADT方法在四种不同机器学习任务上的性能，包括知识跟踪、情感分析、电影推荐和图像分类。与最先进的方法相比，经验验证了KADT在所有任务上始终优于其他方法。
2021-11-13 cs.AI cs.LG
Analysis of a Design Pattern for Teaching with Features and Labels
Microsoft Research（微软研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究的任务是教机器使用特征和标签对对象进行分类。我们介绍了错误驱动的特色教学设计模式使用的功能和标签，教师更喜欢介绍功能，只有当他们需要。我们分析了这种教学模式的潜在风险和好处，通过使用教学协议，说明性的例子，并通过提供使用线性学习算法，在交互式机器学习系统中最常用的学习者类型的最佳机器教师所需的努力的界限。我们的分析提供了对使用不同学习算法的潜在权衡以及特征化（创建新特征）和标记（为对象提供标签）所需的努力之间的更深入的理解。
2016-11-18 cs.AI cs.LG
One-shot Machine Teaching: Cost Very Few Examples to Converge Faster
Jilin University（吉林大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
人工智能是教机器像人类一样采取行动。为了实现智能教学，机器学习社区开始思考一个有前途的主题，称为机器教学，其中教师在给定目标模型和特定学习者的情况下设计最佳（通常是最小）教学集。然而，以前的作品通常需要大量的教学示例以及大量的迭代来引导学习者收敛，这是昂贵的。在本文中，我们考虑了一个更智能的教学范式命名为一次性机器教学，成本更少的例子，收敛速度更快。与典型教学不同的是，这种先进的教学范式建立了一个从教学集到模型参数的易处理映射。在理论上，我们证明了这个映射是满射的，从而保证了最优教学集的存在性。然后，基于教学集到参数的满射映射，提出了在适当设置下的最优教学集的设计策略，其中教学维和迭代教学维是两个流行的效率度量之一。大量的实验验证了我们的策略的有效性，并进一步证明了这种新的教学模式的智能。
2022-12-13 cs.AI cs.CV cs.LG
Understanding the Power and Limitations of Teaching with Imperfect Knowledge
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Chicago（芝加哥大学）
机器教学研究教师和学生/学习者之间的交互，其中教师为学习者选择训练样本以学习特定任务。典型的假设是，教师有完美的知识的任务-这种知识包括知道所需的学习目标，学习者使用的确切的任务表示，并知道参数捕捉学习者的学习动力。受机器教学在教育中的实际应用的启发，我们考虑教师的知识是有限的和嘈杂的设置，我们研究的关键研究问题是：当教师成功或失败，有效地教学习者使用其不完善的知识？我们回答这个问题，显示连接不完善的知识如何影响教师的解决方案，相应的机器教学问题时，构建最佳教学集。我们的研究结果具有重要意义，为现实世界的应用程序设计强大的教学算法。
2020-03-21 cs.AI cs.LG stat.ML
Iterative Teaching by Label Synthesis
University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；The Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们考虑的问题，迭代机器教学，教师提供的例子顺序基于当前的迭代学习。与以前必须扫描整个池并在每次迭代中从中选择教学示例的方法相比，我们提出了一种标签合成教学框架，其中教师随机选择输入教学示例（例如，图像）然后合成合适的输出（例如，标签为他们。我们表明，这个框架可以避免昂贵的例子选择，同时仍然证明实现指数可教性。我们提出了多个新的教学算法在这个框架。最后，我们实证证明了我们的框架的价值。
2023-01-26 cs.AI cs.CV cs.LG
Distribution Matching for Machine Teaching
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
机器教学是机器学习的逆问题，其目的是引导学生学习者向其目标假设，其中教师已经知道学生的学习参数。以往的机械教学研究主要集中在平衡教学风险和成本，寻找最佳教学实例，导出学生模型。当学生学习者不公开学习参数的任何提示时，这种优化求解器通常是无效的。为了指导这样的教学场景，本文提出了一种基于分布匹配的机器教学策略。具体地说，该策略通过回溯和迭代的方式对教学成本进行减半操作，以找到所需的教学集。从技术上讲，我们的策略可以表示为一个成本控制的优化过程，找到最佳的教学实例，而无需进一步探索学生学习者的参数分布。然后，给定任何有限的教学成本，训练样本将是封闭形式的。理论分析和实验结果验证了该策略的有效性。
2021-05-06 cs.LG
Human-AI Interaction Design in Machine Teaching
Georgia Institute of Technology（佐治亚理工学院）
机器教学（MT）是一个交互过程，其中人类和机器交互，目的是为指定任务训练机器学习模型（ML）。人类教师交流他们的任务专业知识，机器学生收集所需的数据和知识来生成ML模型。机器翻译系统的开发，以共同减少教学时间和学习者的出错率。机器翻译系统中人机交互的设计不仅影响教学效率，而且通过影响教学质量间接影响机器翻译的性能。在本文中，我们建立在我们以前的工作，我们提出了一个MT框架，有三个组成部分，即，教学界面、机器学习器和知识库，并重点讨论了实现教学界面所涉及的人机交互设计。我们概述了从ML任务开始开发MT系统时需要解决的设计决策。本文遵循苏格拉底的方法，需要一个好奇的学生和一个明智的老师之间的对话。
2022-06-10 cs.AI cs.HC cs.LG
The Teaching Dimension of Linear Learners
University of Rochester（罗切斯特大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
教学维度是一个学习理论量，它规定了将目标模型教授给学习者的最小训练集大小。以往关于教学维度的研究主要集中在版本空间学习器上，这些学习器保持所有假设与训练数据一致，而不能应用于通过优化选择特定假设的现代机器学习器。本文介绍了岭回归，支持向量机，逻辑回归的第一个已知的教学维。我们还展示了与这些教学维度相匹配的最佳训练集。我们的方法可以推广到其他线性学习器。
2015-12-07 cs.LG
Iterative Machine Teaching without Teachers
University of Tsukuba（筑波大学）
迭代机器教学是一种用于选择最佳教学示例的方法，该方法使得学生能够在每次迭代时有效地学习目标概念。现有的迭代机器教学研究都是基于有监督的机器学习，并假设存在知道所有教学示例真实答案的教师。在这项研究中，我们考虑了一个无监督的情况下，这样的教师不存在，也就是说，我们不能访问任何教学例子的真实答案。学生在每次迭代时都会得到一个教学示例，但不能保证相应的标签是否正确。最近关于众包的研究已经开发出了从众包响应中估计真实答案的方法。在这项研究中，我们将这些应用于迭代机器教学，以估计教学示例的真实标签以及用于教学的学生模型。我们的方法支持没有老师的学生的协作学习。实验结果表明，我们的方法的教学效果是特别有效的，特别是对低水平的学生。
2020-06-27 cs.LG stat.ML
A Framework for Interactive Knowledge-Aided Machine Teaching
Georgia Institute of Technology（佐治亚理工学院）
机器教学（MT）是一个交互式的过程，其中人类通过扮演教师的角色来训练机器学习模型。设计机器翻译系统的过程涉及可能影响人类教师效率和机器学习者性能的决策。以前的研究提出并评估了具体的MT系统，但有一个一般的框架设计它们的讨论有限。我们提出了一个设计机器翻译系统的框架，并详细介绍了一个系统的文本分类问题作为一个具体的例子。我们的框架侧重于三个组成部分，即教学界面，机器学习者和知识库，和他们的关系描述了每个组件如何可以使其他人受益。我们的初步实验表明，机器翻译系统可以减少人类的教学时间和机器学习的出错率。
2022-04-21 cs.AI cs.HC cs.LG
Machine Teaching for Bayesian Learners in the Exponential Family
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
如果有一个老师知道学习目标，并希望为机器学习器设计好的训练数据，该怎么办？我们提出了一个最佳的教学框架，针对学习者谁采用贝叶斯模型。我们的框架表示为一个优化问题的教学例子，平衡未来的损失的学习者和教师的努力。这个优化问题一般来说是困难的。在学习者采用共轭指数族模型的情况下，我们提出了一个近似算法来寻找最佳教学集。我们的算法优化聚合足够的统计，然后将它们解包到实际的教学例子。我们给出了几个例子来说明我们的框架。
2013-10-03 cs.LG
An Overview of Machine Teaching
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）；Univ. of Regina（里贾纳大学）；Carleton College（卡尔顿学院）
在本文中，我们试图组织机器教学作为一个连贯的一套想法。每个想法都是沿着一个维度变化的。维度的集合然后形成机器教学的问题空间，使得现有的教学问题可以在这个空间中被表征。我们希望这个组织能让我们更深入地了解个别教学问题，发现它们之间的联系，并找出该领域的差距。
2018-01-18 cs.LG
Agent Smith: Teaching Question Answering to Jill Watson
Georgia Institute of Technology（佐治亚理工学院）
构建人工智能智能体可能成本高昂。考虑一个问答代理，比如Jill Watson，它可以根据学生的教学大纲和其他课程材料，在在线课程的论坛上自动回答学生的问题。在一个新的在线课程的教学大纲上训练吉尔可能需要一百个小时或更多。机器教学-使用合成数据集对人工智能智能体进行交互式教学-可以减少训练时间，因为它结合了基于知识的AI，使用大型数据集的机器学习和交互式人在回路训练的优势。我们描述了代理史密斯，一个互动的机器教学代理，减少了训练一个新的在线类的吉尔所需的时间由一个数量级。
2022-04-06 cs.AI cs.HC cs.LG
Teaching and Learning under Deductive Errors
Department of Informatics University of Bergen（卑尔根大学信息学院）；University of Bergen（卑尔根大学）；VRAIN - Universitat Politecnica de Valencia（瓦伦西亚理工大学VRAIN实验室）；Universitat Politecnica de Valencia（瓦伦西亚理工大学）；Leverhulme Centre for the Future of Intelligence - University of Cambridge（剑桥大学未来智能中心）
本文研究了在存在演绎错误的教学与学习框架，分析了机器教学中如何通过PAC设定生成近似正确的假设，并探讨了计算复杂性及实验验证。
2026-05-13 cs.LG
Collaborative and Privacy-Preserving Machine Teaching via Consensus Optimization
Symantec Research Labs（赛门铁克研究实验室）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在这项工作中，我们定义了一个协作和隐私保护的机器教学模式与多个分布式教师。我们专注于共识超级教学。它的目的是组织分布的教师共同选择一个紧凑的，而由教师托管的数据，使学习者更好地学习信息的训练子集。挑战来自三个方面。首先，最先进的基于池的超级教学方法应用了混合整数非线性规划（MINLP），它不能很好地扩展到非常大的数据集。第二，在协作阶段期间，期望将教师的数据访问限制为仅他们自己的数据，以减轻隐私泄露。最后，教学协作应该是有效的沟通，因为大的通信开销可能会导致教师之间的同步延迟。为了应对这些挑战，我们制定了一个共识和隐私保护的优化过程，以最大限度地减少教学风险的协作教学。我们从理论上论证了教师之间的合作对提高学习者的学习的必要性。此外，我们表明，所提出的方法享有自适应Lasso的Oracle属性类似的属性。实证研究表明，我们的教学方法可以提供更准确的教学结果与高速，而非协作MINLP为基础的超级教学变得昂贵的计算。
2019-05-07 cs.LG stat.ML
Quantifying Teaching Behaviour in Robot Learning from Demonstration
King's College London（伦敦国王学院）
示教学习允许快速部署的机器人操作器的许多任务，依靠一个人告诉机器人做什么，而不是编程它。虽然这种方法提供了许多机会，测量，评估和提高人的教学能力仍然在很大程度上是未开发的机器人操作研究。为此，本文提出了一种示范性示教学习模式，它结合了教师对学习者的理解和影响。该模型用于明确教师在示教学习过程中的目标，为如何定义教学失败和教学效率提供了新的视角。这种方法的好处是在两个实验（N=30和N=36，分别），这突出了教师在提供有效的示范困难，并显示如何~169-180%的教学效率可以通过评价和反馈所提出的框架，相对于无指导的教学实现。
2019-05-10 cs.AI cs.HC cs.LG
Teaching to Learn: Sequential Teaching of Agents with Inner States
University of Manchester（曼彻斯特大学）
在顺序机器教学中，教师的目标是为顺序学习者提供最佳的输入序列，以引导他们走向最佳模型。在本文中，我们扩展这种设置从当前的静态一个数据集分析的学习者改变他们的学习算法或潜在的状态，以提高学习过程中，并推广到新的数据集。我们引入了一个多智能体的制定，学习者的内部状态可能会改变与教学互动，影响学习成绩在未来的任务。为了教这样的学习者，我们提出了一个最优控制的方法，考虑到教学后的学习者的未来表现。这为具有内部状态的学习者建模和元学习算法的机器教学提供了工具。此外，我们区分了操作教学，这可以通过有效地隐藏数据，也用于灌输，从更一般的教育，旨在帮助学习者成为更好的泛化和学习新的数据集在没有老师。
2020-09-14 cs.LG cs.MA stat.ML
Understanding the Role of Adaptivity in Machine Teaching: The Case of Version Space Learners
Caltech（加州理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）
在现实世界的教育应用中，一个有效的教师根据学习者的当前状态自适应地选择下一个例子来教学。然而，大多数现有的工作在算法机器教学集中在批量设置，自适应不起作用。在本文中，我们研究的情况下，教学一致的，版本空间的学习者在一个互动的设置。在任何时间步，教师提供示例，学习者执行更新，并且教师观察学习者的新状态。我们强调，自适应并没有加快教学过程中考虑现有的模型的版本空间学习者，如“最坏情况”（学习者挑选下一个假设随机从版本空间）和“基于偏好”（学习者挑选假设根据一些全球性的偏好）。受人类教学的启发，我们提出了一个新的模型，学习者根据当前假设定义的一些局部偏好来选择假设。我们表明，我们的模型具有几个理想的属性，例如，适应性起着关键作用，学习者对假设的转换是平滑的/可解释的。我们开发了高效的教学算法，并通过模拟和用户研究展示了我们的结果。
2018-12-09 cs.LG
Iterative Machine Teaching
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）
在本文中，我们考虑机器教学问题，机器学习的逆问题。不同于传统的机器教学，将学习者视为批处理算法，我们研究了一种新的范式，其中学习者使用迭代算法，教师可以根据学习者的当前表现顺序和智能地提供示例。我们表明，在迭代的情况下，教学的复杂性是非常不同的批处理的情况下。我们的迭代机器教学不是为学习者构建最小训练集，而是专注于在学习者模型中实现快速收敛。根据教师从学习者模型中获得的信息水平，我们设计了教学算法，这些算法可以证明减少教学示例的数量，并且比没有教师的学习更快地收敛。我们还验证了我们的理论研究结果与广泛的实验上不同的数据分布和真实的图像数据集。
2017-11-17 cs.LG stat.ML
Preference-Based Batch and Sequential Teaching
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
数学机器教学研究教师和学习者之间的互动，教师选择标记的例子，旨在教授目标假设。在寻求降低教学复杂性的过程中，已经针对批量设置（例如，最坏情况、递归、基于偏好和非冲突模型）和顺序设置（例如，基于局部偏好的模型）。为了更好地理解这些模型之间的联系，我们开发了一个新的框架，通过偏好函数$Σ$捕捉教学过程。在我们的框架中，每个功能$σ\in Σ$都诱导出一个具有教学复杂性的教师-学习者对，如$TD(σ)$。我们表明，上述教学模式是等价的特定类型/家庭的偏好函数。我们分析了教学复杂性参数$TD(σ)$与不同偏好函数族相关的几个性质，例如，与假设类的VC维和$TD(σ)$在不相交域上的可加性/次可加性的比较。最后，我们确定的偏好函数诱导一个新的家庭的顺序模型与教学的复杂性线性的VC维：这是在对比最有名的复杂性结果的批处理模型，这是二次的VC维。
2020-10-17 cs.LG stat.ML
Preference-Based Batch and Sequential Teaching: Towards a Unified View of Models
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
数学机器教学研究教师和学习者之间的互动，教师选择标记的例子，旨在教授目标假设。在寻求降低教学复杂性和实现更自然的教师-学习者交互的过程中，已经针对批量设置（例如，最坏情况、递归、基于偏好和非冲突模型）以及顺序设置（例如，基于局部偏好的模型）。为了更好地理解这些不同的批量和顺序模型之间的连接，我们开发了一个新的框架，通过偏好函数$Σ$捕捉教学过程。在我们的框架中，每个功能$σ\in Σ$都诱导出一个具有教学复杂性的教师-学习者对，如$\TD(σ)$。我们表明，上述教学模式是等价的特定类型/家庭的偏好函数在我们的框架。这种等价性反过来又使我们能够研究两个重要的教学模型之间的差异，即诱导最强批处理的$σ$函数（即，非冲突）模型和$σ$函数引起弱顺序（即，基于局部偏好的）模型。最后，我们确定的偏好函数，诱导一个新的家庭的顺序模型与教学的复杂性线性的VC维的假设类：这是在对比最知名的复杂性结果的批次模型是二次的VC维。
2019-10-24 cs.LG stat.ML
Knowledge Distillation via Weighted Ensemble of Teaching Assistants
Texas Tech University（德克萨斯理工大学）
机器学习中的知识蒸馏是将知识从称为教师的大型模型转移到称为学生的较小模型的过程。知识蒸馏是将大型网络（教师）压缩为可以部署在移动电话等小型设备中的较小网络（学生）的技术之一。当教师和学生之间的网络规模差距增加时，学生网络的性能下降。为了解决这个问题，在教师模型和学生模型之间采用了一个中间模型，称为教学助理模型，这反过来又弥合了教师和学生之间的差距。在这项研究中，我们已经表明，使用多个教学助理模型，学生模型（较小的模型）可以进一步改善。我们使用加权集成学习将这些多个教学辅助模型组合在一起，其中我们使用差分评估优化算法来生成权重值。
2022-06-23 cs.LG
When Redundancy Matters: Machine Teaching of Representations
Universitat Politècnica de València（瓦伦西亚理工大学）；University of Bergen（卑尔根大学）
本文研究等价表征冗余下的机器教学，提出面向表征的 Eager、Greedy 与 Optimal 教学模式，并在 DNF 和 P3 上验证 Greedy 更能有效处理冗余。
2024-01-23 cs.LG
Reinforcement Teaching
University of Alberta（阿尔伯塔大学）；Google Brain（谷歌大脑）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出统一的元学习框架Reinforcement Teaching，通过强化学习训练教学策略并引入parametric-behavior embedder和学习进展奖励，显著改进任意（含非可微）算法的学习过程，在强化与监督学习任务中优于现有方法。
2025-01-25 cs.LG
Towards Black-box Iterative Machine Teaching
Georgia Tech（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Ant Financial（蚂蚁金服（注：根据中文语境，此处“Ant Financial”通常译为“蚂蚁集团”或“蚂蚁金服”，但严格按原文机构名保留“Ant Financial”））
在本文中，我们作出了重要的一步，黑箱机器教学考虑跨空间机器教学，教师和学习者使用不同的特征表示和教师不能完全观察到学习者的模型。在这种情况下，我们研究教师如何仍然能够教学习者实现更快的收敛速度比传统的被动学习。我们提出了一个主动教师模型，可以主动查询学习者（即，使学习者参加考试）以估计学习者的状态，并可证明地引导学习者实现更快的收敛。给出了示教复杂度和查询复杂度的例子。在实验中，我们比较了主动教师和全知教师，验证了主动教师模型的有效性。
2018-06-05 cs.LG stat.ML
Nonparametric Teaching of Implicit Neural Representations
The University of Hong Kong（香港大学）；The University of Toronto（多伦多大学）
该研究从非参数教学视角研究隐式神经表示学习，提出INT范式将其转化为非参数教学问题，通过选择信号片段迭代训练MLP，证明过参数化MLP教学与非参数学习器教学一致，可提升训练效率并节省30%以上时间。
2024-05-17 cs.CV cs.LG
Nonparametric Teaching for Multiple Learners
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Hong Kong University of Science and Technology（香港科技大学）
针对同时教授多个学习者的非参数教学问题，提出MINT框架，通过扩展目标模型空间至向量值并利用学习者间通信，实现显著的教学加速。
2023-11-17 cs.CV cs.LG
Machine Teaching: A New Paradigm for Building Machine Learning Systems
Microsoft Research（微软研究院）
当前构建机器学习系统的过程需要具有机器学习深入知识的从业者。这大大限制了可以创建的机器学习系统的数量，并导致对机器学习系统的需求与组织构建它们的能力之间的不匹配。我们认为，为了满足对机器学习系统不断增长的需求，我们必须大幅增加能够教授机器的个人数量。我们假设，我们可以通过使教学机器的过程变得简单，快速，最重要的是，普遍可访问来实现这一目标。虽然机器学习专注于创建新算法和提高“学习者”的准确性，但机器教学学科专注于“教师”的功效。作为一门学科，机器教学是一种范式转变，它遵循并扩展了软件工程和程序设计语言的原则。我们非常重视教师和教师与数据的交互，以及交互和可视化的技术和设计原则等关键组件。在本文中，我们提出了我们的立场，关于机械教学的学科和阐明基本的机械教学原则。我们还描述了如何通过将有关机器学习算法的知识与教学过程分离，我们可以加速创新并为机器学习模型提供数百万种新用途。
2017-08-11 cs.AI cs.HC cs.LG
On-line Learning of an Unlearnable True Teacher through Mobile Ensemble Teachers
Department of Basic Science, University of Tokyo（东京大学基础科学系）
用统计力学的方法研究了分层学习模型的在线学习问题。在我们的模型中，一个简单感知器的学生不是直接从一个真正的老师那里学习，而是从一个感知器学习规则的真正老师那里学习的合奏老师。由于真教师和集成教师分别表示为非单调感知机和简单感知机，集成教师围绕不可学习的真教师，它们之间的距离固定在一个渐近稳定状态。学生的泛化性能超过合奏教师在一个短暂的状态，如在类似的合奏教师模型。此外，它被发现，移动合奏教师，即使在稳定的状态下，与固定合奏教师相比，是有效的学生的表现。
2008-05-10 cond-mat.dis-nn cs.LG
Teaching Key Machine Learning Principles Using Anti-learning Datasets
机器学习的大部分教学都集中在迭代爬山方法和使用局部知识来获得导致局部或全局最大值的信息。在本文中，我们提倡教学的替代方法，推广到最好的解决方案，包括一种方法称为反学习。通过使用简单的教学方法，学生可以更深入地理解对训练过程中排除的数据进行验证的重要性，并且每个问题都需要自己的方法来解决。我们还证明了使用足够的数据训练模型的要求，表明不同粒度的交叉验证可以产生非常不同的结果。
2020-11-16 cs.CY cs.LG
Iterative Classroom Teaching
EPFL（洛桑联邦理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们认为机器教学的问题，在一个类似教室的设置，其中教师提供相同的例子，以不同的学生群体。它们的多样性源于它们初始内部状态的差异以及它们的学习率。我们证明了一个教师与学生的学习动态的充分知识，可以教一个目标的概念，整个教室使用O（min{d，N} log（1/eps））的例子，其中d是环境尺寸的问题，N是学习者的数量，和eps是精度参数。我们展示了我们的教学策略的鲁棒性，当教师对学习者的内部动态的知识有限时，由嘈杂的神谕提供。进一步，我们研究了目标概念教学中学习者的工作量和教师的成本之间的权衡。我们的实验验证了我们的理论结果，并建议，适当地划分成同质组的教室提供了这两个目标之间的平衡。
2018-11-12 cs.LG stat.ML
Statistical Mechanics of On-line Learning when a Moving Teacher Goes around an Unlearnable True Teacher
在在线学习的框架中，由于教师和学习机之间的结构或输出功能的差异，学习机可能会在教师周围移动。在本文中，我们分析了一个新的学生监督的运动机器的泛化性能。一个模型组成的一个固定的真正的老师，一个移动的老师，和一个学生理论上使用统计力学，真正的老师是一个非单调的感知器和其他人是简单的感知器。计算的泛化误差的数值，我们表明，泛化误差的学生可以暂时变得小于移动的教师，即使学生只使用移动的教师的例子。然而，学生的泛化误差最终变成与移动教师的泛化误差相同的值。这种行为与线性模型的行为有质的不同。
2006-12-22 cond-mat.dis-nn cs.LG
Becoming the Expert - Interactive Multi-Class Machine Teaching
University College London（伦敦大学学院）
与机器相比，人类非常擅长将图像分类，特别是当他们拥有手头类别的先验知识时。如果没有这种先验信息，则需要以教学图像的形式进行监督。为了更快地学习类别，人们应该首先看到重要的和有代表性的图像，然后是不太重要的图像-或者根本不看。然而，图像的重要性是个人特定的，即一个教学图像是重要的学生，如果它改变了他们的整体能力，区分类。此外，学生不断学习，因此，虽然图像的重要性取决于他们目前的知识，它也随着时间的推移而变化。在这项工作中，我们提出了一个交互式的机器教学算法，使计算机教具有挑战性的视觉概念的人。我们的自适应算法选择，在线，标记图像从教学集应该显示给学生，因为他们学习。我们表明，概率模型的学生的能力和进步，根据他们的正确和不正确的答案，产生更好的“专家”的教学策略。我们使用真实的人类参与者在几个不同的和具有挑战性的现实世界的数据集呈现结果。
2015-04-28 cs.CV cs.LG stat.ML
