Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks
ChipBrain;MIT(麻省理工学院);Cleanlab;AWS(亚马逊云科技)
我们在10个最常用的计算机视觉、自然语言和音频数据集的测试集中识别标签错误,随后研究这些标签错误影响基准测试结果的可能性。测试集中的错误数量众多且分布广泛:我们估计10个数据集的平均错误率至少为3.3%,例如标签错误至少占ImageNet验证集的6%。假定的标签错误使用自信的学习算法来识别,然后通过众包进行人工验证(平均而言,在数据集中,51%的算法标记的候选人确实被错误地标记)。传统上,机器学习从业者根据测试准确性选择部署哪个模型-我们的研究结果在这里建议谨慎,建议在正确标记的测试集上判断模型可能更有用,特别是对于嘈杂的真实世界数据集。令人惊讶的是,我们发现,在具有高比例错误标记数据的真实数据集中,低容量模型实际上可能比高容量模型更有用。例如,在具有校正标签的ImageNet上:如果最初错误标记的测试示例的流行率仅增加6%,则ResNet-18优于ResNet-50。在CIFAR-10上,如果最初错误标记的测试示例的患病率仅增加5%,则VGG-11优于VGG-19。可在https://labelerrors.com上查看10个数据集的测试集错误,并可通过https://github.com/cleanlab/label-errors复制所有标签错误。
2021-11-07 cs.AI cs.LG stat.ML
Beyond Word Error Rate: Auditing the Diversity Tax in Speech Recognition through Dataset Cartography
Department of Applied Mathematics and Computer Science, Technical University of Denmark(应用数学与计算机科学系,丹麦技术大学);Department of Mathematical Sciences, University of Copenhagen(数学科学系,哥本哈根大学)
本文通过引入样本难度指数,揭示语音识别中隐藏的系统性偏见,为评估和缓解ASR的不平等提供新的审计方法。
2026-03-05 cs.LG
Deep Learning for Frame Error Prediction using a DARPA Spectrum Collaboration Challenge (SC2) Dataset
Purdue University(普渡大学)
我们展示了第一个使用深度学习预测协作智能无线电网络(CIRN)帧错误的例子,该网络使用了在DARPA SC2挑战赛的最后混战中收集的数据集。基于随机化或固定带宽和信道分配策略,以及使用不同链路进行训练和测试或使用每个链路的导频阶段来训练深度神经网络,考虑了四种场景。我们还研究了延迟约束的影响,并揭示了预测器在不同信噪比(SNR)范围内的有趣特性。所获得的见解为实施基于深度学习的策略打开了大门,该策略可扩展到大型异构网络,可推广到各种无线环境,并适用于预测拥塞共享频谱内的帧错误实例和速率。
2020-12-25 cs.LG eess.SP stat.ML
Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria
The Ohio State University(俄亥俄州立大学)
该研究探究标注与测量两类数据偏差下多种人口统计学公平性准则的鲁棒性,通过理论分析与三个真实数据集实验验证不同准则的抗偏差异,为有偏数据场景下公平性准则的选择与设计提供指导。
2023-05-02 cs.CY cs.LG
Correcting the Autocorrect: Context-Aware Typographical Error Correction via Training Data Augmentation
Rutgers University–New Brunswick(罗格斯大学新不伦瑞克分校)
在本文中,我们探讨了人工生成的印刷错误的基础上,现实世界的统计。我们首先利用一小组注释数据来计算拼写错误统计。然后,这些被调用引入错误到更大的语料库。生成方法使我们能够生成特别具有挑战性的错误,需要上下文感知的错误检测。我们使用它来创建一组英语错误检测和纠正数据集。最后,我们检查机器学习模型的有效性,以检测和纠正错误的基础上,这些数据。数据集可在http://typo.nlproc.org上获得
2020-05-03 cs.CL cs.IR cs.LG
Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models
Nankai University(南开大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tsinghua University(清华大学);Beihang University(北京航空航天大学)
TableEG利用大语言模型生成真实错误,通过三元组表示和表格微调策略,提升数据清洗技术的基准测试效果。
2026-03-09 cs.DB cs.LG
Uncertainty for Identifying Open-Set Errors in Visual Object Detection
Queensland University of Technology (QUT)(昆士兰科技大学)
部署到开放世界中,对象检测器容易出现开集错误,即训练数据集中不存在的对象类的误报检测。我们提出了GMM-Det,一种实时的方法,用于从对象检测器中提取认知不确定性,以识别和拒绝开集错误。GMM-Det训练检测器产生一个结构化的logit空间,该空间使用特定于类的高斯混合模型进行建模。在测试时,开集错误通过它们在所有高斯混合模型下的低对数概率来识别。我们测试了两种常见的检测器架构,Faster R-CNN和RetinaNet,跨越机器人和计算机视觉的三个不同的数据集。我们的研究结果表明,GMM-Det始终优于现有的不确定性技术,用于识别和拒绝开集检测,特别是在安全关键应用所需的低错误率操作点。GMM-Det保持目标检测性能,并且仅引入最小的计算开销。我们还介绍了一种方法,用于将现有的目标检测数据集转换为特定的开集数据集,以评估开集性能的目标检测。
2021-11-12 cs.AI cs.CV cs.LG
SciFix: Outperforming GPT3 on Scientific Factual Error Correction
Carnegie Mellon University(卡内基梅隆大学)
SciFix无需验证器,利用LLM提示生成注释数据并采用主张感知解码,在科学事实纠正上以84%、77%、72%准确率大幅超越现有方法及GPT3.5。
2023-10-12 cs.AI cs.CL cs.LG
Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets
ETH Zurich(苏黎世联邦理工学院);CSEM SA(CSEM公司)
本文研究LLM智能体在表格ML数据集清洗中的能力,实验表明其能利用行内上下文和迭代反馈纠正简单错误,但难以发现跨行分布层面的复杂错误。
2025-03-09 cs.AI cs.LG
Introducing OmniGEC: A Silver Multilingual Dataset for Grammatical Error Correction
Ukrainian Catholic University(乌克兰天主教大学);Softserve;Grammarly
本文提出覆盖11种语言的多语言银标语法纠错数据集 OmniGEC,融合维基百科人工修正与 GPT-4o-mini 自动纠正数据,并基于其微调两个开源大模型取得段落级多语言 GEC 的 SOTA 结果。
2025-09-18 cs.AI cs.CL cs.LG
Error Distribution Smoothing:Advancing Low-Dimensional Imbalanced Regression
Beihang University(北京航空航天大学)
本文针对不平衡回归问题提出误差分布平滑(EDS)方法,通过考虑问题复杂度与数据密度选择代表性子集,在减少冗余的同时保持平衡性和代表性,并通过实验验证了其有效性。
2025-02-04 cs.AI cs.LG
Confident Learning: Estimating Uncertainty in Dataset Labels
Cleanlab;Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
学习存在于数据的背景下,但置信度的概念通常集中在模型预测上,而不是标签质量。置信学习(CL)是一种替代方法,它通过特征化和识别数据集中的标签错误来关注标签质量,基于修剪噪声数据、使用概率阈值计数以估计噪声以及对示例进行排名以进行置信度训练的原则。虽然许多研究已经独立地开发了这些原则,在这里,我们结合它们,建立在类条件噪声过程的假设上,直接估计噪声(给定)标签和未损坏(未知)标签之间的联合分布。这导致在一个广义CL,这是可证明的一致性和实验性能。我们提出了CL准确发现标签错误的充分条件,并显示CL性能超过了最近七种竞争性方法,用于在CIFAR数据集上使用嘈杂标签进行学习。独特地,CL框架不耦合到特定的数据模态或模型(例如,我们使用CL在假定无错误的MNIST数据集中找到几个标签错误,并改进Amazon Reviews中文本数据的情感分类。我们还在ImageNet上使用CL来量化本体类重叠(例如,估计645“导弹”图像被错误地标记为它们的父类“抛射体”),并且适度地增加模型精度(例如,对于ResNet),在训练之前清理数据。这些结果可以通过开源的cleanlab版本复制。
2022-08-22 cs.LG stat.ML
RePOPE: Impact of Annotation Errors on the POPE Benchmark
Tübingen AI Center – University of Tübingen(图宾根人工智能中心 – 图宾根大学)
本研究重新标注POPE基准图像,发现MSCOCO标签错误分布不均,修订后模型排名显著变化,凸显标签质量对物体幻觉评估的重要性。
2025-04-22 cs.AI cs.CV cs.LG
Error Compensation Framework for Flow-Guided Video Inpainting
Yonsei University(延世大学);Adobe(奥多比公司)
视频修复的关键是使用尽可能多的参考帧的相关信息。现有的基于流的传播方法将视频合成过程分为多个步骤:流完成->像素传播->合成。然而,存在一个显著的缺点,即每一步中的误差在下一步中继续积累和放大。为此,我们提出了一个错误补偿框架流引导视频修复(ECFVI),它利用了基于流的方法,并弥补其弱点。我们解决的弱点,新设计的流程完成模块和误差补偿网络,利用错误的指导地图。我们的方法大大提高了时间的一致性和完成的视频的视觉质量。实验结果表明,我们所提出的方法的性能优越的速度为x6,相比国家的最先进的方法。此外,我们提出了一个新的基准数据集进行评估,通过补充现有的测试数据集的弱点。
2022-07-21 cs.CV cs.LG
CKnowEdit: A New Chinese Knowledge Editing Dataset for Linguistics, Facts, and Logic Error Correction in LLMs
Zhejiang University(浙江大学);University of California, San Diego(加州大学圣地亚哥分校)
本文提出首个中文知识编辑数据集CKnowEdit,覆盖语言学、事实与逻辑错误,通过七类知识来源评估并改进大语言模型的中文能力。
2025-06-01 cs.AI cs.CL cs.IR
On the Validation of Gibbs Algorithms: Training Datasets, Test Datasets and their Aggregation
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学)
本文解析刻画了吉布斯算法对训练数据的依赖性,以期望经验风险为指标推导灵敏度闭式解,并研究数据集聚合,建立杰弗里斯散度与训练及测试误差的关联。
2023-06-21 cs.IT cs.LG math.IT
CTRL: Clustering Training Losses for Label Error Detection
Princeton University(普林斯顿大学)
提出CTRL框架,通过聚类训练损失曲线将样本分为干净与噪声标签以检测多类数据集中的标签错误,并在移除噪声样本后重训练模型,在图像和表格数据集上实现了最先进的检测准确率。
2023-09-12 cs.LG
Automated Detection of Label Errors in Semantic Segmentation Datasets via Deep Learning and Uncertainty Quantification
University of Wuppertal(伍珀塔尔大学)
首次提出基于深度学习和分量级不确定性量化的方法,用于检测语义分割数据集中的像素级标签错误,并能有效控制误检率。
2024-08-23 cs.CV cs.LG
Multiple Distribution Shift -- Aerial (MDS-A): A Dataset for Test-Time Error Detection and Model Adaptation
Arizona State University(亚利桑那州立大学);Universidad Nacional del Sur(南方国立大学);Institute for Computer Science and Engineering(计算机科学与工程研究所);U.S. Department of Defense(美国国防部);United States Military Academy(美国军事学院)
本文构建多天气航空图像数据集 MDS-A,用于系统评估目标检测模型在分布偏移下的测试时错误检测与自适应性能。
2025-02-18 cs.LG
Evaluating Bayes Error Estimators on Real-World Datasets with FeeBee
ETH Zurich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
贝叶斯错误率(BER)是机器学习中的一个基本概念,它量化了任何分类器在固定概率分布上所能达到的最佳准确度。尽管多年来一直在研究BER的上下界估计,但这些估计通常只在具有已知概率分布的合成数据集上进行比较,留下两个关键问题没有回答:(1)它们在真实世界数据集上的表现如何?(2)实用性如何?这些都不是小事。除了现实世界数据集的未知BER的明显挑战外,任何BER估计器都需要克服两个主要方面,以便适用于现实世界的设置:(1)计算和样本复杂性,以及(2)超参数的敏感性和选择。在这项工作中,我们提出了FeeBee,这是第一个原则性框架,用于分析和比较具有未知概率分布的任何现代现实数据集的BER估计器。我们实现这一点,通过注入一个控制量的标签噪声和执行一系列不同的噪声水平上的多个评估,支持的理论结果,允许得出结论的BER的演变。通过在计算机视觉和NLP领域的6个常用数据集上实现和分析7个多类BER估计器,FeeBee可以对这些估计器进行深入研究,清楚地识别每个估计器的优点和缺点,同时可以轻松地部署在任何未来的BER估计器上。
2021-11-05 cs.LG
Confidence Calibration with Bounded Error Using Transformations
University of Pennsylvania(宾夕法尼亚大学)
随着机器学习技术在新的领域中被广泛采用,特别是在安全关键系统(如自动驾驶汽车)中,提供准确的输出不确定性估计至关重要。因此,已经提出了许多方法来校准神经网络以准确地估计误分类的可能性。然而,虽然这些方法实现了低校准误差,但仍有进一步改进的空间,特别是在ImageNet等高维设置中。在本文中,我们介绍了一种校准算法,名为Hoki,它的工作原理是通过应用随机变换的神经网络logits。我们提供了一个充分条件,完美的校准的基础上应用变换后观察到的标签预测变化的数量。我们在多个数据集上进行了实验,结果表明,该方法在多个数据集和模型上的性能通常优于最先进的校准算法,特别是在具有挑战性的ImageNet数据集上。最后,Hoki也是可扩展的,因为它需要与温度缩放相当的执行时间。
2021-12-23 cs.LG
On the Size and Approximation Error of Distilled Sets
Massachusetts Institute of Technology (MIT)(麻省理工学院);DataHeroes(数据英雄公司)
本研究从理论角度分析了基于核岭回归的数据集蒸馏方法,首次证明了在随机傅里叶特征空间中存在小规模蒸馏集,并给出了其规模与近似误差界限。
2023-05-23 cs.LG
RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian
National University of Science and Technology POLITEHNICA Bucharest(波兰亚技术大学布加勒斯特分校);Paris 1 Panthéon-Sorbonne University(巴黎1大学蓬莎博纳大学);University of Bucharest(布加勒斯特大学)
本文提出RoLegalGEC数据集,包含35万条法律文本中的语法错误及标注,评估多种神经网络模型用于检测和纠正语法错误,丰富罗马尼亚语研究资源。
2026-04-22 cs.AI cs.CL cs.LG
Research on Parallel SVM Algorithm Based on Cascade SVM
Kunming University of Science and Technology(昆明理工大学)
级联支持向量机(CSVM)可以并行地对数据集进行分组和训练子集,大大减少了训练时间和内存消耗。然而,使用该方法获得的模型精度与直接训练相比存在一定误差。为了减少误差,我们分析了分组训练中产生误差的原因,总结了理想条件下的无误差分组。提出了一种平衡级联支持向量机(BCSVM)算法,该算法在分组后对子集中的样本比例进行平衡,以保证子集中的样本比例与原始数据集相同。同时证明了BCSVM算法得到的模型精度高于CSVM算法。最后,利用两个常用数据集进行实验验证,结果表明,使用BCSVM算法得到的精度误差从CSVM的1%降低到0.1%,降低了一个数量级。
2022-03-11 cs.LG
Generalization Error Bounds on Deep Learning with Markov Datasets
University of Cambridge(剑桥大学)
在本文中,我们推导了马尔可夫数据集的深度神经网络的泛化误差的上界。这些界限是基于Koltchinskii和Panchenko的方法开发的,用于限制具有i.i.d.的组合分类器的泛化误差。数据集。在我们的推广中,马尔可夫链的高维概率的新的对称化不等式的发展是一个关键因素,其中马尔可夫链的无穷小生成元的谱隙在这些不等式中起着关键的参数作用.我们还提出了一种简单的方法,将这些边界和传统深度学习和机器学习中的其他类似边界转换为i.i.d.的贝叶斯对应边界。马尔可夫数据集扩展到$m$阶齐次马尔可夫链,如AR和ARMA模型和几个马尔可夫数据服务的混合。
2022-10-12 cs.LG math.PR math.ST
Identifying Incorrect Annotations in Multi-Label Classification Data
Cleanlab
在多标签分类中,数据集中的每个示例可以被注释为属于一个或多个类(或不属于任何类)。示例应用包括图像(或文档)标记,其中每个可能的标记要么适用于特定图像(或文档),要么不适用。由于要考虑许多可能的类,数据注释器在实际标记这些数据时很可能会出错。在这里,我们考虑在多标签分类数据集中找到错误标记的例子的算法。我们提出了一个扩展的自信学习框架,这种设置,以及标签质量分数排名的例子,标签错误远远高于那些被正确标记。这两种方法都可以使用任何经过训练的分类器。在证明我们的方法在经验上优于其他算法的标签错误检测后,我们应用我们的方法来发现CelebA图像标记数据集中的许多标签错误。
2022-11-25 cs.LG
Detecting Errors in a Numerical Response via any Regression Model
University of California(加利福尼亚大学);Cleanlab;Carnegie Mellon University(卡内基梅隆大学)
针对数值响应数据中的噪声错误,提出基于协变量条件真实性分数的过滤方法,在5个真实数据集上实现更优的精确率与召回率。
2024-03-13 cs.LG stat.ML
Class-wise Autoencoders Measure Classification Difficulty And Detect Label Mistakes
University of Michigan(密歇根大学);Voxel51
提出基于各类别 autoencoder 重建误差比 RER 的框架,用于分解并探测分类难度,在 19 个视觉数据集上验证其与 SOTA 错误率相关,并实现 SOTA 标签错误检测。
2024-12-03 cs.CV cs.LG
Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation
Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心(CFAR));National University of Singapore(新加坡国立大学);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所(IHPC));The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于模型的深度学习取得了惊人的成功,部分原因是大规模真实世界数据的可用性。然而,处理如此大量的数据在计算、存储、训练和寻找良好的神经架构方面需要相当大的成本。因此,数据集蒸馏最近已经脱颖而出。这种范式涉及将信息从大型真实世界数据集中提取到微小而紧凑的合成数据集中,以便处理后者理想地产生与前者类似的性能。现有技术的方法主要依赖于通过在真实数据和合成数据之间匹配训练期间获得的梯度来学习合成数据集。然而,这些梯度匹配方法遭受由蒸馏和随后的评估之间的差异引起的所谓的累积轨迹误差。为了减轻这种累积的轨迹误差的不利影响,我们提出了一种新的方法,鼓励优化算法寻求平坦的轨迹。我们表明,在合成数据上训练的权重对累积误差扰动具有鲁棒性,并且正则化朝向平坦轨迹。我们的方法称为平坦轨迹蒸馏(FTD),在ImageNet数据集的图像子集上,具有更高分辨率的图像,可以将梯度匹配方法的性能提高高达4.7%。我们还验证了我们的方法与不同分辨率的数据集的有效性和通用性,并证明其适用于神经结构搜索。代码可在https://github.com/AngusDujw/FTD-distillation上获得。
2023-03-26 cs.AI cs.CV cs.LG
The Change that Matters in Discourse Parsing: Estimating the Impact of Domain Shift on Parser Error
University of Pittsburgh(匹兹堡大学);Yonsei University(延世大学)
语篇分析使我们能够对文本进行超越文本层面的推理。目前的话语模型在训练分布覆盖范围之外的文本上的性能非常低,降低了现有模型的实际效用。我们需要一个度量,它可以告诉我们,当这些样本可能来自不同的分布时,我们的模型在多大程度上从训练样本推广到测试样本。虽然这可以通过分布偏移来估计,但我们认为这与分类器的观测误差(即误差间隙)的变化不直接相关。因此,我们建议使用来自理论领域自适应文献的统计数据,该统计数据可以直接与误差间隙相关联。我们研究了这个统计数据作为误差差距的估计量的偏差,无论是理论上还是通过对来自领域的6个话语数据集的2400多个实验的大规模实证研究,包括但不限于:新闻,生物医学文本,TED演讲,Reddit帖子和小说。我们的研究结果不仅激发了我们的建议,并帮助我们理解其局限性,但也提供了洞察的话语模型和数据集,提高性能的领域自适应的属性。例如,我们发现,当训练集和测试集非常不同时,非新闻数据集比新闻数据集更容易传输。我们的代码和相关的Python包可以让从业者做出更明智的模型和数据集选择。
2022-03-21 cs.CL cs.LG
LEMoN: Label Error Detection using Multimodal Neighbors
Massachusetts Institute of Technology(麻省理工学院)
本文提出LEMoN方法,利用对比预训练多模态模型潜在空间中的多模态邻域自动检测图像-标题数据集中的标签错误,在八个数据集上超过基线3%以上,并显著提升下游标题生成性能。
2025-06-04 cs.CV cs.LG
ActiveAED: A Human in the Loop Improves Annotation Error Detection
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出人在回路的标注错误检测方法ActiveAED,通过反复向人类查询错误更正来提升检测精度,在八个数据集中的七个上超越现有最优方法,平均精度最高提升六个百分点。
2023-05-31 cs.CL cs.LG
ErrorNet: Learning error representations from limited data to improve vascular segmentation
VoxelCloud, Inc.(体云公司);Shanghai Jiao Tong University(上海交通大学)
深度卷积神经网络已被证明在各种医学成像模式中分割病变和解剖结构是有效的。然而,在存在小样本大小和域移位问题的情况下,这些模型通常产生具有非直观分割错误的掩模。在本文中,我们提出了一个分割框架,称为ErrorNet,它通过重复的过程来学习纠正这些分割错误,该过程是基于学习的形状先验将系统分割错误注入到分割结果中,然后尝试预测注入的错误。在推理过程中,ErrorNet通过将预测的错误映射添加到初始分割结果中来纠正分割错误。与基于域自适应或基于CRF的后处理的替代方案相比,ErrorNet具有优势,因为它既不需要特定于域的参数调优,也不需要来自目标域的任何数据。我们使用五个公共数据集评估了ErrorNet的视网膜血管分割任务。所选数据集的大小和患者人群不同,使我们能够评估ErrorNet在处理小样本量和域转移问题方面的有效性。我们的实验表明,ErrorNet优于基本分割模型,基于CRF的后处理方案和域自适应方法,在存在上述数据集限制的情况下具有更大的性能增益。
2020-02-02 cs.CV cs.LG eess.IV
Magnetoresistive RAM for error resilient XNOR-Nets
Spin Memory, Inc.(Spin Memory公司)
我们在各种数据集(MNIST,CIFAR-10,CIFAR-100,扩展SVHN,ImageNet)上使用易错激活训练了三种二进制卷积神经网络架构(LeNet-4,Network-In-Network,AlexNet),并在没有错误的情况下测试了它们,以研究训练过程的弹性。除了在ImageNet数据集上训练AlexNet之外,我们发现训练过程中百分之几的比特出错率不会降低测试精度。此外,通过在ImageNet类的逐渐较小的子集上训练AlexNet,我们观察到对激活错误的容忍度增加。以高BER操作的能力对于降低现有硬件中的功耗和促进新兴存储器技术至关重要。我们讨论如何在中等BER下运行才能使磁阻RAM具有更高的耐久性、速度和密度。
2019-05-24 cs.LG stat.ML
Estimating label quality and errors in semantic segmentation data via any model
Cleanlab;MIT(麻省理工学院)
本文研究利用任意分割模型的概率预测对语义分割数据标签质量进行评分,比较7种方法后发现基于像素标注类别似然软最小值的评分在SYNTHIA数据集上检测标注错误最为有效。
2023-07-11 cs.CV cs.LG
Evaluating State-of-the-Art Classification Models Against Bayes Optimality
University of California, Berkeley(加州大学伯克利分校);Salesforce Research(赛富时研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
评估一个给定的数据驱动的分类问题的固有困难是建立绝对的基准和评估在该领域的进展是重要的。为此,要考虑的自然量是\emph{Bayes error},其测量对于给定数据分布理论上可实现的最佳分类误差。虽然通常是一个棘手的量,但我们证明了我们可以计算使用规范化流学习的生成模型的精确贝叶斯误差。我们的技术依赖于一个基本的结果,即贝叶斯误差在可逆变换下是不变的。因此,我们可以通过计算高斯基分布来计算学习流模型的精确贝叶斯误差,这可以使用Holmes-Diaconis-Ross积分有效地完成。此外,我们表明,通过改变学习的流模型的温度,我们可以生成与标准基准数据集非常相似的合成数据集,但几乎具有任何期望的贝叶斯误差。我们使用我们的方法对最先进的分类模型进行了彻底的调查,并发现在某些情况下(但不是所有情况下),这些模型能够获得非常接近最佳的准确性。最后,我们使用我们的方法来评估标准基准数据集的内在“硬度”,以及这些数据集中的类。
2021-06-07 cs.LG stat.ML
Lexical Speaker Error Correction: Leveraging Language Models for Speaker Diarization Error Correction
AWS AI Labs(AWS人工智能实验室)
针对传统说话人分割结合ASR时易在话轮转换、重叠区产生说话人错误的问题,提出利用词汇信息和语言模型的二次错误校正系统,仅用Fisher训练即在三个电话数据集上实现15-30%的WDER相对降低。
2023-06-15 cs.AI cs.CL cs.LG
A Model-Agnostic Algorithm for Bayes Error Determination in Binary Classification
TOELT llc(TOELT有限责任公司);Politecnico di Torino(都灵理工大学);IDSIA - Dalle Molle Institute for Artificial Intelligence, USI-SUPSI(USI-SUPSI达莱·莫勒人工智能研究所(IDSIA));Zurich University of Applied Sciences(苏黎世应用科学大学)
本文介绍了内在极限确定算法(ILD算法),一种新的技术,以确定最佳可能的性能,测量的AUC(ROC曲线下面积)和准确性,可以从一个特定的数据集在一个二元分类问题的分类功能{ \sl不管}所使用的模型。这个极限,即贝叶斯误差,完全独立于所使用的任何模型,并描述了数据集的内在属性。因此,ILD算法提供了关于任何二元分类算法在应用于所考虑的数据集时的预测极限的重要信息。本文详细描述了该算法,给出了其完整的数学框架,并给出了便于实现的伪代码。最后,给出了一个真实数据集的例子。
2021-07-24 cs.AI cs.LG stat.ML
Sever: A Robust Meta-Algorithm for Stochastic Optimization
University of Waterloo(滑铁卢大学);Microsoft Research AI(微软研究院人工智能)
在高维度中,大多数机器学习方法对一小部分结构化离群值都很脆弱。为了解决这个问题,我们引入了一种新的元算法,它可以接受一个基本的学习者,如最小二乘或随机梯度下降,并加强学习者对离群值的抵抗力。我们的方法Sever具有很强的理论保证,但也具有高度的可扩展性-除了运行基本学习器本身,它只需要计算某个$n \times d$矩阵的顶部奇异向量。我们将Sever应用于药物设计数据集和垃圾邮件分类数据集,并发现在这两种情况下,它具有比几个基线更大的鲁棒性。在垃圾邮件数据集上,与基线的$13.4\%-20.5\%$和未损坏的数据集上的$3\%$错误相比,我们在$1\%$损坏的情况下实现了$7.4\%$测试错误。类似地,在药物设计数据集上,与基线的$1.51$ - $2.33$和未损坏的数据集上的$1.23$误差相比,在$10\%$损坏的情况下,我们实现了$1.42$均方误差检验误差。
2019-05-29 cs.AI cs.DS cs.LG
Average Calibration Error: A Differentiable Loss for Improved Reliability in Image Segmentation
King's College London(伦敦国王学院);Imperial College London(帝国理工学院)
本文提出边缘L1平均校准误差(mL1-ACE)作为辅助损失函数,通过直接可微的硬分箱改善医学图像分割的逐像素校准,在保持分割质量的同时显著降低校准误差。
2025-07-14 cs.CV cs.LG
Metric Learning Improves the Ability of Combinatorial Coverage Metrics to Anticipate Classification Error
National Security Institute(国家安全研究所);Virginia Tech(弗吉尼亚理工大学)
机器学习模型越来越多地用于实践。然而,许多机器学习方法对与训练数据不同的测试或操作数据敏感。众所周知,分布外(OOD)数据会增加错误的概率,并且正在研究确定数据中哪些差异会影响模型性能的指标。最近,在文献中已经探索了组合覆盖度量作为基于分布的度量的替代。结果表明,覆盖度量可以与分类错误相关。然而,其他结果表明,覆盖度量的效用是高度依赖于网络的。在本文中,我们表明,这种数据集的依赖性可以减轻度量学习,机器学习技术,学习潜在的空间,从不同的类的数据是进一步分开。在对6个开源数据集的研究中,我们发现度量学习增加了在正确和错误分类的数据上计算的集合差异覆盖度量(SDCCM)之间的差异,从而证明度量学习提高了SDCCM预测分类错误的能力。配对t检验验证了我们的研究结果的统计学意义。总体而言,我们的结论是,度量学习提高了覆盖度量预测分类器错误和识别OOD数据可能降低模型性能的能力。
2023-02-28 cs.LG cs.SE stat.ML
Automatic Repair and Type Binding of Undeclared Variables using Neural Networks
Iowa State University(爱荷华州立大学)
深度学习已被用于程序分析中,用于使用软件缺陷数据集预测隐藏的软件缺陷,使用生成对抗网络预测安全漏洞,以及通过学习程序代码上经过训练的神经机器翻译来识别语法错误。然而,所有这些方法要么需要缺陷数据集,要么需要可执行的无缺陷源代码来训练深度学习模型。我们的神经网络模型既没有使用任何缺陷数据集进行训练,也没有使用无缺陷的编程源代码,而是使用抽象树(AST)的结构语义细节进行训练,其中每个节点代表源代码中出现的一个构造。这个模型的实现是为了修复最常见的语义错误之一,比如未声明的变量错误,以及在程序编译之前推断它们的类型信息。通过该方法,在1059个程序的Prutor数据集上,只有未声明变量错误的程序,该模型能正确定位和识别81%的程序,并能正确推断出80%的程序类型。
2019-07-14 cs.CL cs.FL cs.LG