An Empirical Study into Annotator Agreement, Ground Truth Estimation, and Algorithm Evaluation
University of Strasbourg（斯特拉斯堡大学）
虽然注释者之间的协议已在过去从统计的角度进行了研究，很少有工作试图量化的程度，这种现象影响计算机视觉（CV）目标检测算法的评价。许多研究人员在实验中使用真值（GT），而GT通常来自于一个注释者的观点。意见的不同如何影响算法的评估？四个典型的CV问题的例子被选择，和一种方法被应用到每个量化的注释者之间的差异，并提供深入了解背后的协议和使用GT的机制。它被发现，当检测线性对象注释协议是非常低的。物体位置的一致性，线性的或其他的，可以部分地通过基本的图像属性来解释。自动对象检测器进行了比较，注释协议，发现存在一个明确的关系。几种方法用于计算GT从一些注释被应用，并在对象检测器的性能所产生的差异进行量化。据发现，检测器的排名是高度依赖于用于形成GT的方法。它还发现，虽然STAPLE和LSML GT估计方法似乎代表使用个别注释测量的性能的平均值，当有几个注释，或有一个大的方差在他们，这些估计往往会降低。此外，最常用的注释组合方法之一-一致性投票-强调更明显的特征，这导致高估了算法的性能。最后，它的结论是，在某些数据集，它可能不可能与任何信心，一个算法优于另一个评估时，一个GT和计算置信界限的方法进行了讨论。
2016-04-26 cs.AI cs.CV cs.LG
Confidence Calibration under Ambiguous Ground Truth
School of Computer Science, University of Sydney（悉尼大学计算机科学学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
研究提出了一种考虑模糊性的后处理校准方法，以提高在真实标注分布下的置信度校准质量，通过不同方法在多个基准上验证了其有效性。
2026-03-24 cs.AI cs.LG
Learning From Noisy Labels By Regularized Estimation Of Annotator Confusion
University College London（伦敦大学学院）；Butterfly Network（蝴蝶网络公司）
监督学习算法的预测性能取决于标签的质量。在一个典型的标签收集过程中，多个注释者在他们不同的技能水平和偏见的影响下提供了对“真相”的主观噪声估计。盲目地将这些嘈杂的标签视为基础事实，限制了学习算法在存在强烈分歧的情况下的准确性。这个问题对于诸如医学成像的领域中的应用是至关重要的，在这些领域中，注释成本和观察者间的可变性都很高。在这项工作中，我们提出了一种方法，用于同时学习单个注释器模型和底层的真实标签分布，仅使用噪声观测。每个注释器由混淆矩阵建模，该混淆矩阵与分类器预测一起被联合估计。我们建议在损失函数中增加一个正则化项，以鼓励收敛到真正的注释器混淆矩阵。我们提供了一个理论上的论点，正则化是必不可少的，我们的方法都为单注释器和多注释器的情况下。尽管简单的想法，图像分类任务与模拟和真实的标签的实验表明，我们的方法要么优于或表现与国家的最先进的方法，是能够估计的技能，即使每个图像的单个标签。
2019-06-17 cs.CV cs.LG stat.ML
CytoCrowd: A Multi-Annotator Benchmark Dataset for Cytology Image Analysis
Sun Yat-sen University（中山大学）；Hong Kong University of Science and Technology（香港科技大学）
CytoCrowd是一个包含446张高分辨率细胞学图像的数据集，提供四个病理学家的冲突注释和一个资深专家的金牌标准，用于评估注释聚合算法和计算机视觉任务的基准测试。
2026-09-22 cs.CV cs.HC cs.LG
End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis
Technical University of Munich（慕尼黑工业大学）
本文提出一种改进的端到端标注者偏差建模与真实标签估计方法，以减少现有方法的偏差失配，在单标注者场景下提升准确性，并发布10,000条有机食品领域情感数据集。
2023-07-24 cs.CL cs.HC cs.LG
Joint Multi-Dimensional Model for Global and Time-Series Annotations
众包是一种流行的方法来收集未标记的数据实例的注释。它涉及到为每个数据实例从几个通常是天真的未经训练的注释器收集大量注释，然后将其组合以估计地面实况。此外，对诸如情感之类的结构的注释通常是多维的，注释者对每个实例的多个维度进行评级，诸如效价和唤醒。然而，大多数注释融合方案忽略了这一方面，并单独对每个维度进行建模。在这项工作中，我们通过提出一个多维注释融合的生成模型来解决这个问题，该模型对维度进行建模，从而获得更准确的地面实况估计。我们提出的模型是适用于全球和时间序列的注释融合问题，并把地面真理作为一个潜在的变量扭曲的注释。使用期望最大化算法估计模型参数，并使用合成数据和真实情感语料库以及带有人类注释的人工任务来评估其性能
2020-05-06 cs.LG stat.ML
AI Assisted Annotator using Reinforcement Learning
GE Healthcare（通用电气医疗）；Colorado State University（科罗拉多州立大学）
医疗保健数据受到噪音和缺乏地面真相的影响。随着数据在医疗保健中被清理和注释，数据的成本会增加。与其他数据集不同，医疗数据注释对于准确的地面实况至关重要，需要医疗领域的专业知识才能获得更好的患者结果。在这项工作中，我们报告了使用强化学习来模拟医疗事件注释器的决策过程，以自动化注释和标记。增强代理学习基于专家所做的注释来注释警报数据。我们的方法在医疗报警数据集上显示出很好的结果。我们使用由专家注释的监测设备的数据训练DQN和A2C代理。这些RL代理学习专家注释行为的初步结果是有希望的。A2C代理在学习给定状态下的稀疏事件方面表现更好，从而与DQN代理相比选择更多正确的动作。据我们所知，这是第一个用于医疗事件注释自动化的强化学习应用，具有深远的实际用途。
2020-06-11 cs.AI cs.LG eess.SP
Posthoc Verification and the Fallibility of the Ground Truth
University of Notre Dame（圣母大学）
分类器通常使用预先注释的数据集，其中模型通过通常由人工注释标签组成的测试集上的预定义度量进行评估。在这些评估中使用的度量与定义良好的真值标签的可用性相关联，并且这些度量通常不允许不精确的匹配。这些嘈杂的真值标签和严格的评估度量可能会损害评估结果的有效性和真实性。在目前的工作中，我们讨论了这些问题，并进行了系统的事后验证实验的实体链接（EL）的任务。与传统方法不同，传统方法要求注释者提供自由形式的注释，我们要求注释者在事实发生后验证注释的正确性（即，posthoc）。与预注释评估相比，根据事后评估方法，最先进的EL模型表现非常好。事后验证还允许验证真值数据集。令人惊讶的是，我们发现来自EL模型的预测具有与真值相似或更高的验证率。最后，我们对这些调查结果进行了讨论，并为今后的评估提出了建议。
2021-06-02 cs.AI cs.CL cs.LG
Multi-Label Annotation Aggregation in Crowdsourcing
众包作为一种基于人工的计算手段，已被广泛用于标注大规模无标签数据集。一个明显的挑战是如何聚合这些由一组异构注释器提供的可能有噪声的标签。另一个挑战来自于在甚至不知道基本事实的情况下评估注释者可靠性的困难，这可以用于在众包平台中建立激励机制。当每个实例同时与许多可能的标签相关联时，由于其组合性质，问题变得更加困难。在本文中，我们提出了新的灵活的贝叶斯模型和高效的推理算法，多标签标注聚合，同时考虑到注释器的可靠性和标签依赖性。在真实数据集上的大量实验证实，所提出的方法优于其他竞争对手的替代方案，该模型可以恢复注释器的类型，具有较高的准确性。
2020-10-18 cs.AI cs.HC cs.LG
Disentangling Human Error from the Ground Truth in Segmentation of Medical Images
University College London（伦敦大学学院）；Microsoft Research（微软研究院）
近年来，越来越多地使用监督学习方法进行分割任务。然而，这些算法的预测性能取决于标签的质量。这个问题在医学图像领域中特别相关，其中注释成本和观察者间的可变性都很高。在典型的标签获取过程中，不同的人类专家在他们自己的偏见和能力水平的影响下提供他们对“真实”分割标签的估计。将这些噪声标签盲目地视为真值限制了自动分割算法可以实现的性能。在这项工作中，我们提出了一种使用两个耦合的CNN从纯粹的噪声观测中联合学习单个注释器的可靠性和真实的分割标签分布的方法。两者的分离是通过鼓励所估计的注释器最大程度地不可靠，同时用有噪声的训练数据实现高保真度来实现的。我们首先定义了一个玩具分割数据集的基础上MNIST和研究所提出的算法的属性。然后，我们证明了该方法在三个公共医学成像分割数据集上的实用性，这些数据集具有模拟（必要时）和真实的不同注释：1）MSLSC（多发性硬化病变）; 2）BraTS（脑肿瘤）; 3）LIDC-IDRI（肺部异常）。在所有情况下，我们的方法都优于竞争方法和相关基线，特别是在注释数量较少且分歧量较大的情况下。实验还显示了较强的捕捉标注者错误的复杂空间特征的能力。
2020-10-23 cs.CV cs.LG
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong（香港城市大学）
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同，对于群体顺序注释，标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中，我们提出了建模序列标注与人群（SA-SLC）。首先，开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识，其中分类分布被引入到估计的可靠性，每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型，有效的标签序列推理（VLSE）的方法，提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签，并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量，并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Leveraging Pre-Trained 3D Object Detection Models For Fast Ground Truth Generation
University of Waterloo（滑铁卢大学）
由于生成注释所需的工作量，用于自动驾驶的3D对象检测器训练仅限于小数据集。减少任务复杂性和注释器完成的任务切换量是减少生成3D限界框注释所需的工作量和时间的关键。本文介绍了一种新的真值生成方法，该方法将人类监督与预训练的神经网络相结合，以生成每个实例的3D点云分割，3D边界框和类注释。注释器提供对象锚点点击，其行为类似于种子，以生成3D形式的实例分割结果。属于每个实例的点然后用于回归对象质心、限界框尺寸和对象方向。我们提出的注释方案需要30倍的人工注释时间。我们使用KITTI 3D目标检测数据集来评估我们的注释方案的效率和质量。我们还在Autonomoose自动驾驶汽车的以前看不见的数据上测试了所提出的方案，以证明网络的泛化能力。
2018-07-16 cs.AI cs.LG stat.ML
Minority Reports: Balancing Cost and Quality in Ground Truth Data Annotation
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）；Quality Match；NVIDIA（英伟达）
针对机器学习数据标注成本高、过程繁琐的问题，提出通过预测标注者分歧可能性修剪冗余任务的方法，基于实证分析图像模糊度等影响因素，可减少60%以上标注量且质量损失小，助力平衡标注成本与质量。
2025-04-12 cs.CV cs.HC cs.LG
Understanding the Essence: Delving into Annotator Prototype Learning for Multi-Class Annotation Aggregation
针对多类标注聚合中混淆矩阵估计不可靠且表征不足的问题，提出原型学习驱动的贝叶斯分类器组合方法PTBCC，在11个数据集上最高提升15%准确率并降低90%以上计算成本。
2025-08-04 cs.LG stat.ML
Modeling Multiple Annotator Expertise in the Semi-Supervised Learning Scenario
Northeastern University（东北大学）；Siemens Healthcare（西门子医疗）；IKM CAD and Knowledge Solutions（IKM CAD与知识解决方案）
学习算法通常假设每个数据点最多有一个注释或标签。然而，在某些场景中，例如医疗诊断和在线协作，可能会有多个注释可用。在这两种情况下，获取数据点的标签可能是昂贵和耗时的（在某些情况下，地面实况可能不存在）。半监督学习方法已经表明，在这些情况下，利用未标记的数据通常是有益的。本文提出了一种概率半监督模型和算法，允许在存在多个注释器的情况下从未标记和标记的数据中学习。我们假设已知哪个注释器标记了哪些数据点。所提出的方法产生注释器模型，使我们能够提供（1）真实标签的估计值和（2）标记和未标记数据的注释器变量专业知识。我们提供了各种情况下的数值比较，并与标准的半监督学习。实验表明，该方法提供了明显的优势，多注释方法，不使用未标记的数据和方法，不使用多标签信息。
2012-03-15 cs.AI cs.LG stat.ML
From Ground Truth to Measurement: A Statistical Framework for Human Labeling
RTI International（RTI国际）；University of Maryland（马里兰大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出统计框架，将标注过程视为测量过程，分解标注结果中的变异来源，为数据驱动的机器学习提供指导。
2026-04-08 cs.AI cs.CL cs.LG
Label Curation Using Agentic AI
New Jersey Institute of Technology（新泽西理工学院）
AURA通过代理AI框架实现大规模多模态数据标注，通过概率模型联合推断真实标签和标注者可靠性，提升标注准确性并评估标注者质量。
2026-01-30 cs.LG cs.MA
Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media
School of Computer Science, The University of Sheffield（计算机科学学院，谢菲尔德大学）
提出 EffiARA 框架，通过标注者间与标注者内一致性评估可靠性并进行样本加权，结合软标签训练提升基于知识的错误信息检测。
2025-02-03 cs.AI cs.LG cs.SI
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
目前的序列标记方法是NLP的核心任务，是数据饥饿的，这促使使用众包作为获得标记数据的廉价方式。然而，注释器通常是不可靠的，并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题，我们提出了一个贝叶斯方法聚合序列标签，减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法，我们考虑到模型中的不确定性，这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别，信息抽取和参数挖掘，表明我们的顺序模型优于以前的最先进的状态。我们还发现，我们的方法可以通过更有效的主动学习降低众包成本，因为它更好地捕捉序列标签的不确定性时，有很少的注释。
2019-09-06 cs.CL cs.LG
D-LEMA: Deep Learning Ensembles from Multiple Annotations -- Application to Skin Lesion Segmentation
Simon Fraser University（西蒙弗雷泽大学）
由于人类注释者的内在差异和模糊的边界，医学图像分割注释甚至在专家之间也存在观察者间和观察者内的变化。利用注释者对图像的意见集合是评估黄金标准的一种有趣方式。虽然在监督环境中训练深度模型，每个图像只有一个注释已经得到了广泛的研究，但将它们的训练推广到每个图像包含多个注释的数据集仍然是一个相当未探索的问题。在本文中，我们提出了一种在训练深度模型时处理注释者分歧的方法。为此，我们提出了一个贝叶斯全卷积网络（FCN）的集合，通过考虑多个地面实况注释聚合中的两个主要因素来进行分割任务：（1）处理训练数据中源于注释者之间分歧的矛盾注释，以及（2）通过融合基础模型的预测来提高置信度校准。我们证明了我们的方法在ISIC Archive上的优越性能，并通过对PH 2和DermoFit数据集的交叉数据集评估来探索我们所提出的方法的泛化性能。
2021-04-29 cs.CV cs.LG eess.IV
The Invariant Ground Truth of Affect
University of Malta（马耳他大学）；Institute of Digital Games（数字游戏研究所）
情感计算致力于揭示情感诱发、情感表现和情感注释之间未知的关系。然而，情感的真值主要归因于情感标签，这些标签无意中包含了情感及其标签的主观本质所固有的偏见。对这种限制的回应通常是在每个数据点上增加更多的注释;然而，当我们对通过第一人称注释的自我报告感兴趣时，这是不可能的。此外，基于注释者间一致性的离群点检测方法只考虑注释本身，而忽略了上下文和相应的情感表现。本文通过将因果关系理论的各个方面转移到情感计算中，重新构建了人们可以获得可靠的情感真值的方法。特别是，我们假设的真值的影响，可以发现之间的因果关系的启发，表现和注释，保持\emph{invariant}跨任务和参与者。为了验证我们的假设，我们采用因果关系启发的方法来检测情感语料库中的离群值，并建立跨参与者和任务的情感模型。我们在数字游戏领域验证了我们的方法，实验结果表明，它可以成功地检测离群值，提高情感模型的准确性。据我们所知，这项研究提出了第一次尝试将因果关系的工具，情感计算，使一般影响建模的关键和决定性的一步。
2022-10-14 cs.AI cs.HC cs.LG
Learning Confident Classifiers in the Presence of Label Noise
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Skoltech（斯科尔科沃科学技术研究院）
针对标签噪声问题，本文提出一种概率模型，通过显式建模噪声、引入信息正则化及调整分割损失函数，在分类和分割任务上均优于现有最优方法，可恢复真实标签并构建置信模型。
2025-02-11 cs.CV cs.HC cs.LG
Beyond the Mean: Modelling Annotation Distributions in Continuous Affect Prediction
本文提出了一种基于Beta分布的框架，用于建模注释共识，以捕捉情感感知的中心趋势、变异性、不对称性和不确定性。
2026-04-08 cs.ET cs.LG
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中，奖励取决于手臂和环境。在基于流的主动学习设置中，获得奖励的基础事实是昂贵的，并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此，该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中，我们考虑了一个基于流的主动学习设置，其中地面实况的查询请求被发送到注释器，连同地面实况的一些先验信息。根据先验信息的准确性，查询成本会有所不同。我们的算法主要进行两个操作：细化的上下文和手臂空间和动作的选择。在我们的算法中，上下文空间和手臂空间的分区保持一定的时间槽，然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值，旨在最大化总奖励。我们分析表明，遗憾是次线性的，并在相同的顺序与传统的上下文多臂强盗算法，其中没有查询成本
2016-07-11 cs.LG
A Contextual Bandit Approach for Stream-Based Active Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Miami（迈阿密大学）
上下文强盗算法-一类利用上下文信息的多臂强盗算法-已被证明在解决不确定性下的顺序决策问题中是有效的。在文献中采用的一个常见的假设是，通过采取所选择的动作实现的（地面实况）奖励被学习者观察到没有成本，然而，这在许多实际情况下是不现实的。当观察地面真相奖励是昂贵的，学习者的一个关键挑战是如何明智地获得地面真相通过评估的好处和成本，以平衡学习效率和学习成本。从信息论的角度来看，一个可能更有趣的问题是，由于这种成本，可能会损失多少效率。在本文中，我们设计了一个新的上下文带为基础的学习算法，并赋予它的主动学习能力。我们的算法的关键特征是，除了向注释器发送查询以获取地面实况之外，还将学习器学习到的地面实况的先验信息一起发送，从而降低查询成本。我们证明，通过仔细选择的算法参数，所提出的算法的学习遗憾达到相同的顺序，传统的上下文强盗算法在无成本的情况下，这意味着，令人惊讶的是，由于获取地面真相的成本不会增加学习遗憾在长期运行。我们的分析表明，在主动学习是必要的情况下，地面真相的先验信息在提高系统性能方面起着至关重要的作用。
2017-01-24 cs.LG
Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
针对含噪众包标签的端到端深度学习，本文证明CCEM在有限样本和不完整标注下的可辨识性，并提出两种正则化变体以提升参数辨识性能。
2023-06-05 cs.LG eess.SP stat.ML
Who Decides if AI is Fair? The Labels Problem in Algorithmic Auditing
The University of Chicago（芝加哥大学）；EquiTech Futures
标记的“地面实况”数据集通常用于评估和审计在高风险环境中应用的人工智能算法。然而，这些数据集中的标签质量并不存在被广泛接受的基准。我们提供的经验证据表明，标签的质量可以显着扭曲在现实世界中的算法审计的结果。使用印度人工智能公司通常雇佣的数据注释器，我们表明，地面真实数据的保真度可能导致城市和农村人口之间ASR性能的虚假差异。经过严格的，虽然昂贵的，标签清洗过程，这些群体之间的差异消失。我们的研究结果强调了标签质量和数据注释成本之间的权衡如何在实践中使算法审计复杂化。他们还强调，需要制定共识驱动的，广泛接受的标签质量基准。
2021-11-16 cs.AI cs.CL cs.HC
The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes
University of Waterloo（滑铁卢大学）
本研究揭示顺从上下文真值探针存在完全混叠问题，通过混合拟合分离真值与规定动作，在对抗上下文中将AUROC从近零提升至1.000，证明线性可恢复性。
2026-10-09 cs.AI cs.CL cs.LG
CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound
Inria（法国国家信息与自动化研究所）；AMIAD
本研究提出CARES基准，包含10,000个受控双说话者场景，定义声音显著性为说话者反应，并评测六个音频语言模型，发现它们能识别声音但忽略说话者反应。
2026-10-08 cs.LG cs.SD
Optimal Fair Aggregation of Crowdsourced Noisy Labels using Demographic Parity Constraints
University of California, Berkeley（加州大学伯克利分校）；Université de Paris（巴黎大学）；CNRS（国家科学研究中心）
针对众包标签聚合中的公平性问题，提出在ε-公平框架下分析多数投票和最优贝叶斯聚合的公平性差距，并推广多类公平后处理算法以强制执行人口统计平价约束。
2026-06-07 cs.LG
Noisy-Label Calibration with Multiple Unreliable Labels
Wakayama Medical University（和歌山医科大学）；RIKEN AIP（理化学研究所先进智能研究中心）；The University of Osaka（大阪大学）；The University of Tokyo（东京大学）
针对医学标注和众包中多标注者噪声标签导致的校准偏差问题，提出NC-ECE估计量及两类带保证的重新校准方法，经半合成基准验证可有效改善潜在标签校准。
2026-10-15 cs.LG stat.ML
Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation
针对遥感语义分割的标注缺陷问题，提出无参考指标 CMF，通过反事实视图与视觉-语言判断器审计真实掩码，在多数据集上验证其性能优于基线，可作为标注审计工具。
2026-08-11 cs.CV cs.LG
Skill-based Agentic Evaluation for Real-time Data Science Tasks
Adobe（奥多比）
提出ground-truth-as-code框架，用可执行参考函数和格式无关评判器评估实时数据科学智能体，较基线MCC提升29%，令牌消耗减少16%。
2026-09-16 cs.AI cs.LG cs.MA
Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation
Aarhus University（奥胡斯大学）
知识蒸馏是一个经典的过程，其中一个神经网络是在另一个网络的输出以及原始目标上训练的，以便在体系结构之间传递知识。自蒸馏的特殊情况下，网络结构是相同的，已被观察到，以提高泛化精度。在本文中，我们考虑一个迭代的自蒸馏在核回归设置，其中连续的步骤将模型输出和真值的目标。这使我们能够提供第一个理论结果的重要性，使用加权的真值目标在自蒸馏。我们的重点是拟合非线性函数的训练数据与加权均方误差的目标函数适合蒸馏，受$\ell_2$正则化的模型参数。我们表明，任何这样的功能获得自蒸馏可以直接计算作为一个函数的初始拟合，无限蒸馏步骤产生相同的优化问题与原来的放大正则化。此外，我们提供了一个封闭形式的解决方案，在每一步的加权参数的最佳选择，并显示如何有效地估计这个加权参数的深度学习，并显着减少计算要求相比，网格搜索。
2021-10-15 cs.LG stat.ML
