首页/论文/1802.08946

arXiv 1802.089462018-02-25stat.MLcs.AIcs.LG

教师通过选择训练子集来改善学习

Teacher Improves Learning by Selecting a Training Subset

University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Massachusetts Institute of Technology（麻省理工学院）

Yuzhe Ma, Robert Nowak, Philippe Rigollet, Xuezhou Zhang, Xiaojin Zhu

备注：: AISTATS 2018

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

如果一个老师可以在精简iid训练集的同时让学习者学得更好，我们称之为超级可教的学习者。我们在两个学习器上提供了尖锐的超级教学保证：高斯均值的极大似然估计器和1D中的大间隔分类器。对于一般的学习器，我们提供了一个基于混合整数非线性规划的算法来找到一个超级教学集。实验结果表明，该算法能够为回归和分类问题找到良好的超教学集。

英文摘要：

We call a learner super-teachable if a teacher can trim down an iid training set while making the learner learn even better. We provide sharp super-teaching guarantees on two learners: the maximum likelihood estimator for the mean of a Gaussian, and the large margin classifier in 1D. For general learners, we provide a mixed-integer nonlinear programming-based algorithm to find a super teaching set. Empirical experiments show that our algorithm is able to find good super-teaching sets for both regression and classification problems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

通过子集选择优化核差异

Optimizing Kernel Discrepancies via Subset Selection

University of St Andrews（圣安德鲁大学）；University of Washington（华盛顿大学）；Sorbonne Université（索邦大学）；Illinois Institute of Technology（伊利诺伊理工学院）

本文将子集选择问题扩展至核差异设定，提出一种新型算法，可高效从均匀分布及一般分布中生成低差异样本，并探讨了$L_2$与$L_\infty$星形差异的关系。

2025-11-04cs.CGcs.LGcs.NA

面向带误分类惩罚的假设检验的子模信息选择

Submodular Information Selection for Hypothesis Testing with Misclassification Penalties

Elmore Family School of Electrical & Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）

本文研究假设检验中信息源子集选择问题，提出误分类惩罚框架，证明目标函数具有子模性，并给出贪心算法的性能保证。

2024-06-28cs.CCcs.ITcs.LG

无教师的迭代机器教学

Iterative Machine Teaching without Teachers

University of Tsukuba（筑波大学）

迭代机器教学是一种用于选择最佳教学示例的方法，该方法使得学生能够在每次迭代时有效地学习目标概念。现有的迭代机器教学研究都是基于有监督的机器学习，并假设存在知道所有教学示例真实答案的教师。在这项研究中，我们考虑了一个无监督的情况下，这样的教师不存在，也就是说，我们不能访问任何教学例子的真实答案。学生在每次迭代时都会得到一个教学示例，但不能保证相应的标签是否正确。最近关于众包的研究已经开发出了从众包响应中估计真实答案的方法。在这项研究中，我们将这些应用于迭代机器教学，以估计教学示例的真实标签以及用于教学的学生模型。我们的方法支持没有老师的学生的协作学习。实验结果表明，我们的方法的教学效果是特别有效的，特别是对低水平的学生。

2020-06-27cs.LGstat.ML

多元线性回归子集选择与验证的数学规划方法

A Mathematical Programming Approach for Integrated Multiple Linear Regression Subset Selection and Validation

多元线性回归的子集选择旨在通过选择少量解释变量来构建误差最小的回归模型。一旦建立了模型，就会进行各种统计测试和诊断，以验证模型并确定是否符合回归假设。大多数传统方法在这一步需要人为决策。例如，用户添加或删除变量，直到获得满意的模型。然而，这种试错策略不能保证一个子集，最大限度地减少了错误，同时满足所有的回归assumptions.In本文中，我们提出了一个完全自动化的多个线性回归子集的选择，集成模型的建立和验证数学规划的基础上的模型建设过程。该模型最大限度地减少了均方误差，同时确保大多数重要的回归假设得到满足。我们还提出了一个有效的约束来近似系数t检验的约束。当没有子集满足所有考虑的回归假设时，我们的模型提供了一个替代子集，满足大多数假设。计算结果表明，我们的模型产生更好的解决方案（即，满足更多的回归假设），同时保持类似的解释能力。

2020-07-26stat.ML

列子集选择的统计学视角

A Statistical View of Column Subset Selection

Department of Statistics, Stanford University, USA（统计学系，斯坦福大学，美国）

该研究证明列子集选择（CSS）与统计学中的主变量选择方法等价，且均为半参数模型的最大似然估计，推导了高维下CSS的一致性条件，并提出了基于汇总统计量、含缺失/删失数据及假设检验选子集大小的高效CSS方法。

2024-10-21cs.DScs.LGstat.ME

相依模型与相依广义灵敏度指标

On dependency models and dependent generalized sensitivity indices

在本文中，我们推导出基于Copula和经验依赖模型（DM）模拟非自变量，然后提出了一种新的方法来确定的分布的模型输出的条件下的每个子集的输入。我们的方法依赖于使用DM的模型输出的等效表示，并提供了一种算法，用于选择表示，这是必要的和足够的模型输出的分布给定的每个子集的输入。在灵敏度分析中，选定的表示允许评估每个输入子集的主要、总体和相互作用效应。然后，我们引入了一阶和总指数的每个子集的输入与前一个指数小于后者。这些指数的一致估计，包括其渐近分布。分析和数值计算结果提供了使用单变量和多变量响应模型。

2022-09-09math.STstat.TH

更多相关论文收起更多论文

通过共识优化的协作和隐私保护机器教学

Collaborative and Privacy-Preserving Machine Teaching via Consensus Optimization

Symantec Research Labs（赛门铁克研究实验室）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

在这项工作中，我们定义了一个协作和隐私保护的机器教学模式与多个分布式教师。我们专注于共识超级教学。它的目的是组织分布的教师共同选择一个紧凑的，而由教师托管的数据，使学习者更好地学习信息的训练子集。挑战来自三个方面。首先，最先进的基于池的超级教学方法应用了混合整数非线性规划（MINLP），它不能很好地扩展到非常大的数据集。第二，在协作阶段期间，期望将教师的数据访问限制为仅他们自己的数据，以减轻隐私泄露。最后，教学协作应该是有效的沟通，因为大的通信开销可能会导致教师之间的同步延迟。为了应对这些挑战，我们制定了一个共识和隐私保护的优化过程，以最大限度地减少教学风险的协作教学。我们从理论上论证了教师之间的合作对提高学习者的学习的必要性。此外，我们表明，所提出的方法享有自适应Lasso的Oracle属性类似的属性。实证研究表明，我们的教学方法可以提供更准确的教学结果与高速，而非协作MINLP为基础的超级教学变得昂贵的计算。

2019-05-07cs.LGstat.ML

从私有训练数据进行深度学习的半监督知识转移

Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

Pennsylvania State University（宾夕法尼亚州立大学）；Google Brain（谷歌大脑）；Google（谷歌）；OpenAI

一些机器学习应用涉及敏感的训练数据，例如临床试验中患者的病史。一个模型可能会无意中隐式地存储一些训练数据;因此，对模型的仔细分析可能会泄露敏感信息。为了解决这个问题，我们展示了一种普遍适用的方法来为训练数据提供强有力的隐私保证：教师集合的私人聚合（PATE）。该方法以黑盒的方式组合了使用不相交数据集（例如来自不同用户子集的记录）训练的多个模型。因为它们直接依赖于敏感数据，所以这些模型不会被发布，而是被用作“学生”模型的“老师”。学生学习预测通过所有教师之间的嘈杂投票选择的输出，并且不能直接访问单个教师或底层数据或参数。学生的隐私属性既可以直观地理解（因为没有单一的教师，因此没有单一的数据集决定学生的训练），也可以从差分隐私的角度正式理解。即使对手不仅可以询问学生，还可以检查其内部工作，这些属性也仍然有效。与以前的工作相比，该方法对教师的培训方式只施加了较弱的假设：它适用于任何模型，包括DNN等非凸模型。由于改进了隐私分析和半监督学习，我们在MNIST和SVHN上实现了最先进的隐私/实用权衡。

2017-03-03cs.CRcs.LGstat.ML

用于渐进式神经网络学习的子集采样

Subset Sampling For Progressive Neural Network Learning

Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）

渐进式神经网络学习是一类基于训练数据增量地构造网络拓扑并优化其参数的算法。虽然这种方法免除了用户设计和验证多个网络拓扑的手动任务，但它通常需要大量的计算。在本文中，我们建议加快这一进程，利用子集的训练数据在每个增量训练步骤。根据不同的标准，提出了三种不同的抽样策略选择训练样本，并进行了评估。我们还建议在网络进展期间执行在线超参数选择，这进一步减少了整体训练时间。在对象，场景和人脸识别问题的实验结果表明，所提出的方法大大加快了优化过程，同时操作与基线方法利用整个训练过程中的整个训练集。

2020-05-25cs.LGstat.ML

通过增量数据分配选择近优学习器

Selecting Near-Optimal Learners via Incremental Data Allocation

Allen Institute for AI（艾伦人工智能研究所）；IBM Watson Research Center（IBM沃森研究中心）

我们研究了一种新的机器学习（ML）的问题设置顺序分配小子集的训练数据之间的一个大的分类器。我们的目标是选择一个分类器，当对所有数据进行训练时，该分类器将提供接近最佳的准确性，同时最大限度地减少错误分配样本的成本。这是由大型现代数据集和ML工具包以及学习算法和超参数的许多组合所推动的。受“不确定性下的乐观”原则的启发，我们提出了一种创新策略，使用上限的数据分配（DAUB），它在各种真实世界的数据集上稳健地实现了这些目标。我们进一步发展了大量的理论支持DAUB在理想化的设置，在$n$样本上训练的分类器的预期精度可以确切地知道。在这些条件下，我们建立了一个严格的次线性约束的遗憾的方法（在误分配的数据），以及严格的约束所选择的分类器的次优。我们使用真实世界数据集进行的准确性估计只会轻微违反理论场景，这表明DAUB的实际行为可能接近理想化行为。

2015-12-31cs.LGstat.ML

使用IMPACT进行教学

Teaching with IMPACT

cs.brown.edu（布朗大学计算机科学系（注：原文本中仅显示cs.brown.edu，未明确完整机构名，此处按常见格式推测为布朗大学计算机科学系，但严格来说机构名不完整，不过根据提取范围要求，若明确出现作者单位相关信息则提取，此处cs.brown.edu可能代表作者所属机构的部分标识，故提取））

就像人工智能中的许多问题一样，监督学习在计算上是难以解决的。我们假设，人类能够学习高度复杂和多样的概念的一个重要原因，尽管计算困难，是他们从经验丰富和富有洞察力的教师那里受益匪浅。本文提出了一个新的学习框架，提供了一个知识渊博的，仁慈的教师的角色，引导学习的过程中的一系列“课程”的阶段或轮的目标概念。在每一轮中，教师的角色是充当主持人，将学习者暴露给可用训练数据的子集，以使其更接近于掌握目标概念。通过理论和实证证据，我们认为，这个框架使简单，高效的学习者从例子中获得非常复杂的概念。特别是，我们提供了多个概念类的例子，这些概念类在标准PAC设置中是不可学习的，同时提供了在我们的扩展设置中学习它们的可证明有效的算法。我们工作的一个关键重点是在更简单的、以前学习过的概念之上学习复杂概念的能力--这一方向有可能创造出更有能力的人工智能体。

2019-03-14cs.LGstat.ML

一种选择群最佳子集的拼接方法

A Splicing Approach to Best Subset of Groups Selection

Renmin University of China（中国人民大学）；Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）

最佳组子集选择（BSGS）是选择一小部分非重叠组以实现响应变量的最佳可解释性的过程。它越来越受到人们的关注，并在实践中有着深远的应用。然而，由于BSGS在高维环境下的计算困难，开发有效的算法来解决BSGS仍然是一个研究热点。在本文中，我们提出了一个组拼接算法，迭代检测相关的群体，并排除不相关的。此外，再加上一个新的组信息标准，我们开发了一个自适应算法来确定最佳的模型大小。在较温和的条件下，可以证明我们的算法可以在多项式时间内以高概率找到最优的组子集。最后，我们证明了我们的方法的效率和准确性，通过比较它们与几个国家的最先进的算法在合成和真实世界的数据集。

2022-09-18cs.LGstat.ML