Learning with Biased Complementary Labels
UBTECH Sydney AI Centre(优必选悉尼人工智能中心);The University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究的分类问题,我们有机会很容易获得的替代品的真正的标签,即互补标签,指定类的意见不属于\textbf{not}。令$Y$和$\bar{Y}$分别为真标记和互补标记。我们首先通过转移概率$P(\bar{Y}=i|Y=j), i\neq j\in\{1,\cdots,c\}$对互补标签的注释进行建模,其中$c$是类的数量。先前的方法隐含地假设$P(\bar{Y}=i|Y=j), \forall i\neq j$是相同的,这在实践中是不正确的,因为人类偏向于他们自己的经验。例如,如图1所示,如果注释者在为猫鼬提供补充标签时对猴子比土拨鼠更熟悉,那么她更有可能使用“monkey”作为补充标签。因此,我们推断转移概率将不同。在本文中,我们提出了一个框架,贡献了三个主要的创新学习与\textbf{biased}互补标签:(1)估计转移概率没有偏见。(2)它提供了一种通用的方法来修改传统的损失函数,并扩展了标准的深度神经网络分类器,以使用有偏的互补标签进行学习。(3)它从理论上保证了用互补标签学习的分类器收敛到用真实标签学习的最优分类器。在多个基准数据集上的综合实验验证了该方法的优越性。
2018-08-08 cs.LG stat.ML
Learning from Crowds with Sparse and Imbalanced Annotations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University(南京大学)
传统的监督学习需要训练数据的基础事实标签,在许多情况下,收集这些标签是困难的。最近,众包已经建立了自己作为一个有效的标签解决方案,通过诉诸非专家人群。为了减少标记错误的影响,一种常见的做法是将每个实例分发给多个工作者,而每个工作者只注释数据的子集,从而导致{ \it稀疏注释}现象。在本文中,我们注意到,当遇到阶级不平衡,即,当基础事实标签是{ \it class-imbalanced}时,稀疏注释倾向于偏斜地分布,这因此会严重地偏置学习算法。为了解决这个问题,我们提出了一种基于自训练的方法,名为{ \it Self-Crowd},通过逐步添加自信的伪注释和重新平衡注释分布。具体来说,我们提出了一个分布感知的置信度措施,以选择自信的伪注释,它采用的reservation策略过采样少数注释和欠采样的多数注释。在一个现实世界的众包图像分类任务,我们表明,所提出的方法在整个训练过程中产生更平衡的注释比分布不可知的方法,并大大提高了学习性能在不同的注释稀疏水平。
2021-07-11 cs.LG
Avoiding Biased Clinical Machine Learning Model Performance Estimates in the Presence of Label Selection
Stanford(斯坦福大学)
在评估临床机器学习模型的性能时,必须考虑部署人群。当具有观察标签的患者人群仅是部署人群(标签选择)的子集时,观察人群的标准模型性能估计可能会产生误导。在这项研究中,我们描述了三个类别的标签选择和模拟五个因果关系不同的情况下,以评估如何特定的选择机制偏见一套常用的二进制机器学习模型的性能指标。模拟结果表明,当选择的影响所观察到的功能,天真的模型歧视估计可能会误导。当选择受到标签的影响时,校准的天真估计无法反映现实。我们借用传统的加权估计因果推理文献,发现当选择概率被适当指定,他们恢复全部人口估计。然后,我们解决了监控部署的机器学习模型的性能的现实任务,这些模型与临床医生的交互反馈并影响标签的选择机制。我们训练三个机器学习模型来标记低产量的实验室诊断,并模拟它们减少浪费的实验室利用率的预期结果。我们发现,AUROC对观察到的人口的天真估计低于实际性能高达20%。这种差异可能大到足以导致错误地终止成功的临床决策支持工具。我们提出了一个改变的部署过程,一个注入的随机化与传统的加权估计相结合,并发现它恢复真正的模型性能。
2022-09-15 cs.LG
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong(香港城市大学)
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同,对于群体顺序注释,标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中,我们提出了建模序列标注与人群(SA-SLC)。首先,开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识,其中分类分布被引入到估计的可靠性,每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型,有效的标签序列推理(VLSE)的方法,提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签,并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量,并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
An Empirical Investigation of Learning from Biased Toxicity Labels
DeepMind(深度思维)
从人类评分员那里收集注释通常会导致人们希望收集的标签数量和这些标签的质量之间的权衡。因此,通常只能收集少量的高质量标签。在本文中,我们研究了不同的训练策略如何利用人工注释标签的小数据集和合成生成标签的大但嘈杂的数据集(对身份群体表现出偏见)来预测在线评论的毒性。我们评估这些方法的准确性和公平性,以及两者之间的权衡。虽然我们发现对所有数据进行初始训练并对干净数据进行微调会产生具有最高AUC的模型,但我们发现没有一种策略在所有公平性指标上表现最好。
2021-10-04 cs.CY cs.LG
De-biased Representation Learning for Fairness with Unreliable Labels
Data Science Institute(数据科学研究所);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
在保持所有任务相关信息的同时消除偏差对于公平表示学习方法来说是具有挑战性的,因为它们会产生随机或退化的表示。标签,当敏感属性与标签相关时。现有的工作建议注入的标签信息的学习过程中,以克服这些问题。然而,观察到的标签是干净的这一假设并不总是得到满足。事实上,标签偏见被认为是导致歧视的主要来源。换句话说,公平预处理方法在学习过程或评估阶段忽略了标签中编码的区分。这种矛盾给学习表征的公平性打上了一个问号。为了规避这个问题,我们探讨了以下问题:\emph{Can we learn fair representations predictable to latent ideal fair labels given only access to unreliable labels?}在这项工作中,我们提出了一个\textbf{D}电子- \textbf{B}基于\textbf{R} epresentation学习\textbf{F}空气(DBRF)框架,解开的敏感信息从非敏感属性,同时保持学习表示偏向理想的公平标签,而不是观察到的可预测的。我们通过信息论的概念,如互信息和信息瓶颈,制定了去偏学习框架。其核心理念是,DBRF主张在敏感信息有利于不可靠标签预测的情况下,不使用不可靠标签进行监管。在合成数据和真实数据上的实验结果表明,DBRF有效地学习了理想标签的去偏表示。
2022-08-01 cs.AI cs.CY cs.LG
Hierarchy exploitation to detect missing annotations on hierarchical multi-label classification
Pontificia Universidad Javeriana(哈维里亚那天主教大学);KU Leuven(鲁汶大学);imec(比利时微电子研究中心)
在过去十年中,基因组数据的可用性呈指数级增长,这主要是由于新测序技术的发展。基于从越来越多的基因组数据中提取的基因(和基因产物)之间的相互作用,许多研究都集中在识别基因和功能之间的关联上。虽然这些研究已经显示出巨大的希望,但用功能注释基因的问题仍然是一个公开的挑战。在这项工作中,我们提出了一种方法来检测分层多标签分类数据集的缺失注释。我们提出了一种方法,利用类层次结构计算聚合概率的路径类从叶子到根为每个实例。所提出的方法是在预测缺失基因功能注释的背景下提出的,其中这些聚合概率进一步用于选择一组注释以通过体内实验进行验证。在水稻品种Oriza sativa Japonica上的实验表明,将类的层次结构纳入方法中通常会提高预测性能,与文献中的竞争对手方法相比,我们提出的方法会产生更好的结果。
2022-07-13 cs.LG
Dynamic Programming for Instance Annotation in Multi-instance Multi-label Learning
Oregon State University(俄勒冈州立大学)
为分类标记数据需要大量的人力。为了降低标签成本,而不是标记每个实例,一组实例(袋)由单个袋标签标记。然后使用计算机算法来推断袋子中每个实例的标签,这一过程称为实例注释。由于实例标签的模糊性,这项任务具有挑战性。我们提出了一个判别概率模型的实例注释问题,并引入了一个期望最大化的推理框架,基于极大似然方法。对于许多概率方法,给定其袋标签的实例标签后验概率的蛮力计算是袋中实例数量的指数。我们的主要贡献是一个动态规划方法计算的后验是线性的实例数。我们评估我们的方法使用基准和现实世界的数据集,在域的鸟鸣,图像注释和活动识别。在许多情况下,所提出的框架优于,有时显着,目前最先进的MIML学习方法,无论是在实例标签预测和袋标签预测。
2014-11-14 cs.LG stat.ML
Label noise in segmentation networks : mitigation must deal with bias
École Polytechnique de Montréal(蒙特利尔理工学院)
不完美的标签限制了深度神经网络学习的预测质量。这在医学图像分割中特别相关,其中参考注释很难收集并且即使在专家注释器之间也会有很大差异。先前关于减轻标签噪声的工作集中在大多数均匀噪声的简单模型上。在这项工作中,我们探讨有偏见和无偏见的错误,人为地引入到脑肿瘤的MRI数据的注释。我们发现,监督和半监督分割方法是强大的或相当强大的无偏误差,但有偏误差敏感。因此,重要的是要识别在医学图像标签中预期的错误的种类,特别是减轻有偏见的错误。
2021-07-05 cs.CV cs.LG
Active Annotation: bootstrapping annotation lexicon and guidelines for supervised NLU learning
自然语言理解(NLU)模型通常在监督学习框架中训练。在意图分类的情况下,预测的标签是预定义的,并且基于设计的注释模式,而标记过程是基于繁重的任务,其中注释者手动检查每个话语并分配相应的标签。我们提出了一种主动注释(AA)方法,在该方法中,我们结合了嵌入空间中的无监督学习方法、人在环验证过程和语言见解,以创建可以开放类别并随时间推移而适应的词典。特别地,注释器使用迭代过程在注释期间动态地定义y标签空间,而不需要关于输入数据的先验知识。我们在一个真实的用例NLU场景中评估了所提出的注释范例。结果表明,我们的主动标注范例实现了准确和更高质量的训练数据,与传统的人类驱动的基线标注方法相比,标注速度高出一个数量级。
2019-08-12 cs.CL cs.LG
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab(松下人工智能实验室);AIoli Labs(AIoli实验室);Panasonic Technology Division(松下技术部门)
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略,其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展,但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性,我们将AutoAugment重新定义为广义自动数据集优化(AutoDO)任务,该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中,我们显式地估计一组每点超参数,以灵活地改变训练数据的分布。特别是,我们包括用于增强,损失权重和软标签的超参数,这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架,使用Fisher信息,并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示,与之前的方法相比,带有标签噪声的有偏数据集的性能提高了9.3%,重要的是,对于代表性不足的SVHN类,性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Embracing Biased Transition Matrices for Complementary-Label Learning with Many Classes
National Taiwan University(国立台湾大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究院先进智能项目中心)
本文提出了一种新的框架BICL,通过设计偏置的标签生成过程来克服传统互补标签学习在多类设置中的限制,从而在CIFAR-100和TinyImageNet-200上实现了传统方法的七倍以上准确率提升。
2026-05-18 cs.AI cs.CV cs.LG
Enriched Annotations for Tumor Attribute Classification from Pathology Reports with Limited Labeled Data
University of California Berkeley(加州大学伯克利分校);University of California San Francisco(加州大学旧金山分校)
精准医疗有可能彻底改变医疗保健,但患者的大部分数据都被锁定在非结构化的自由文本中,限制了有效的个性化治疗的研究和交付。由于高质量注释所需的高水平专业知识,从临床笔记中生成用于信息抽取的大型注释数据集通常具有挑战性且昂贵。为了使小数据集的自然语言处理,我们开发了一种新的丰富的层次注释方案和算法,监督行注意力(SLA),并应用该算法预测分类肿瘤属性从肾脏和结肠癌病理报告加州大学旧金山分校(UCSF)。虽然以前的工作只注释文档级别的标签,我们还要求注释者丰富传统的标签,要求他们也突出显示相关的行或潜在的行的最终标签,这导致每个文档所需的注释时间增加了20%。通过丰富的注释,我们开发了一种简单且可解释的机器学习算法,该算法首先预测文档中的相关行,然后预测肿瘤属性。我们的研究结果表明,在每个癌症32,64,128和186个标记文档的小数据集大小中,SLA只需要一半的标记文档数量作为最先进的方法,就可以在我们进行的绝大多数比较中获得类似或更好的微观f1和宏观f1分数。考虑到增加的注释时间,这导致总注释时间比现有技术减少40%。
2020-12-15 cs.CL cs.LG
Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield(谢菲尔德大学)
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题,提出利用标注者置信度、次选标签及分歧生成软标签的方法,可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
Learning with Different Amounts of Annotation: From Zero to Many Labels
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
训练NLP系统通常假设访问每个示例具有单个人类标签的注释数据。鉴于注释者的不完美标记和语言的固有歧义,我们假设单个标签不足以学习语言解释的频谱。我们探索新的注释分布方案,分配多个标签每个例子的一个小子集的训练样本。以标注更少的示例为代价引入这样的多标签示例在自然语言推理任务和实体分类任务上带来了明显的收益,即使当我们简单地首先用单个标签数据进行训练,然后用多标签示例进行微调时。扩展MixUp数据增强框架,我们提出了一种学习算法,可以从具有不同注释量(零个,一个或多个标签)的训练样本中学习。该算法有效地结合了来自不均匀训练数据的信号,并在低注释预算和跨域设置中带来了额外的增益。总之,我们的方法在两个任务中实现了一致的增益,这表明在训练样本之间不均匀地分布标签对许多NLP任务都是有益的。
2021-09-10 cs.AI cs.CL cs.LG
Active learning with biased non-response to label requests
London School of Economics(伦敦政治经济学院);Meta
本研究针对主动学习场景中有偏标注无响应损害模型性能的问题,提出基于成本的采样修正方法UCB-EU,经多场景实验及电商真实数据验证可有效缓解性能下降,同时明确了该方法仍存在局限的场景。
2024-03-11 cs.LG stat.ME stat.ML
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University(麦吉尔大学)
本文针对多标签文本分类中标注稀缺问题,提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法,在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出一种任务无关的标签距离建模方法,实现跨多种复杂标注任务的通用聚合,并研究影响准确性的因素、模型选择导航及模型正确性诊断,同时引入单元测试和更优的半监督学习方法。
2023-12-20 cs.CL cs.LG
Bounded Expectation of Label Assignment: Dataset Annotation by Supervised Splitting with Bias-Reduction Techniques
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
注释大型未标记数据集可能是机器学习应用程序的主要瓶颈。我们介绍了一个方案,用于推断标签的未标记的数据在一小部分的成本标记整个数据集。我们的计划,有界期望的标签分配(BELA),greenhouse查询的甲骨文(或人类labeler)和分区的数据集,以找到数据子集,大多具有相同的标签。然后,BELA可以通过每个子集中已知标签的多数投票来推断标签。BELA通过最大化正确标记示例的预期数量的下限来确定是否从子集中分割或标记。我们的方法与现有的分层标签方案不同,使用监督模型来划分数据,从而避免依赖可能无法按标签准确分组数据的无监督聚类方法。我们设计BELA的策略,以避免偏见,可以通过这种自适应分区。我们在三个数据集上评估了BELA,发现它优于现有的自适应标签策略。
2021-02-25 cs.LG stat.ML
Robustness to Subpopulation Shift with Domain Label Noise via Regularized Annotation of Domains
Google(谷歌公司)
针对域标签噪声下子群体漂移的鲁棒性,提出域的正则化标注(RAD)方法,无需显式域标注即可训练鲁棒最后一层分类器,在5%噪声下优于依赖标注的最先进方法。
2024-06-26 cs.LG stat.ML
Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
当注释者标记数据时,质量保证的一个关键指标是注释者间一致性(IAA):注释者在标签上达成一致的程度。虽然许多IAA措施存在简单的分类和顺序标签任务,相对较少的工作考虑了更复杂的标签任务,如结构化,多对象,和自由文本注释。Krippendorff的alpha以用于简单的标记任务而闻名,确实有一个基于距离的公式,具有更广泛的适用性,但很少有工作研究其在复杂注释任务中的有效性和一致性。我们调查的IAA措施的设计和评估复杂的注释任务,评估跨越七个不同的任务:图像边界框,图像关键点,文本序列标记,排名列表,自由文本翻译,数字向量和语法树。我们发现可解释性的困难和选择距离函数的复杂性是在这些任务中普遍应用克里彭多夫阿尔法的关键障碍。我们提出了两个新的,更可解释的措施,表明他们产生更一致的IAA措施跨任务和注释距离函数。
2022-12-15 cs.CL cs.LG
Translate and Label! An Encoder-Decoder Approach for Cross-lingual Semantic Role Labeling
Heidelberg University(海德堡大学)
我们提出了一个跨语言的编码器-解码器模型,同时翻译和生成句子的语义角色标注注释在资源贫乏的目标语言。与注释投影技术不同,我们的模型在推理时不需要并行数据。我们的方法可以应用于单语,多语言和跨语言设置,并能够产生依赖性为基础的和基于跨度的SRL注释。我们使用知名的SRL数据集在不同的单语和多语言设置中对我们的模型的标记性能进行基准测试。然后,我们在跨语言设置中训练我们的模型以生成新的SRL标记数据。最后,我们通过使用生成的数据来增强资源贫乏语言的训练基础并进行手动评估来衡量我们方法的有效性,以表明它可以生成高质量的句子并分配准确的语义角色注释。我们提出的架构提供了一个灵活的方法,利用SRL数据在多种语言。
2019-08-29 cs.CL cs.LG
Label Cleaning Multiple Instance Learning: Refining Coarse Annotations on Single Whole-Slide Images
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medicine(约翰斯·霍普金斯医学院)
在病理学样本的全切片图像(WSIs)中注释癌区域在临床诊断、生物医学研究和机器学习算法开发中起着关键作用。然而,生成详尽且准确的注释是劳动密集型的、具有挑战性的并且成本高。仅绘制粗略和近似的注释是一项更容易的任务,成本更低,并且减轻了病理学家的工作量。在本文中,我们研究的问题,细化这些近似注释在数字病理学,以获得更准确的。以前的一些工作已经探索了从这些不准确的注释中获得机器学习模型,但很少有人解决细化问题,其中错误标记的区域应该被明确识别和纠正,并且所有这些都需要-通常非常大-数量的训练样本。我们提出了一种方法,名为标签清洗多实例学习(LC-MIL),细化粗注释在一个单一的WSI,而不需要外部训练数据。从具有不准确标签的WSI中裁剪的补丁在多实例学习框架内联合处理,从而减轻其对预测模型的影响并改进分割。我们在具有乳腺癌淋巴结转移、肝癌和结直肠癌样本的异质WSI集上的实验表明,LC-MIL显着细化了粗糙的注释,甚至在从单个幻灯片学习时,也优于最先进的替代方案。此外,我们展示了如何真正的病理学家绘制的注释可以有效地细化和改进所提出的方法。所有这些结果都表明LC-MIL是一种有前途的轻量级工具,可以从粗注释的病理集提供细粒度注释。
2022-06-07 cs.CV cs.LG
DiPietro-Hazari Kappa: A Novel Metric for Assessing Labeling Quality via Annotation
数据是现代机器学习的关键组成部分,但用于评估数据标签质量的统计数据在文献中仍然很少。在这里,我们介绍了DiPietro-Hazari Kappa,这是一种新的统计指标,用于评估人类注释背景下建议的数据集标签的质量。DiPietro-Hazari Kappa基于经典的Fleiss Kappa注释者间一致性测量,量化了在随机机会之上获得的经验注释者一致性差异。我们提供了一个彻底的理论检查弗莱斯的卡帕之前,转向我们的推导DiPietro-Hazari卡帕。最后,我们总结了一个矩阵公式和一套程序指令,便于计算实现。
2022-09-17 cs.LG math.ST stat.TH
Deep Learning for Earth Image Segmentation based on Imperfect Polyline Labels with Annotation Errors
The University of Alabama(阿拉巴马大学)
近年来,深度学习技术(例如,U-Net,DeepLab)在图像分割方面取得了巨大的成功。这些模型的性能在很大程度上依赖于高质量的地面实况片段标签。不幸的是,在许多现实世界的问题中,地面实况段标签通常具有几何注释错误,这是由于手动注释错误、GPS错误或以粗略分辨率视觉解释背景图像。这种定位误差将显著影响现有深度学习算法的训练性能。现有的标签错误的研究模型地面真值错误的标签语义(假设标签位置是正确的)或模型标签位置错误与简单的方形补丁移位。这些方法不能完全结合标签定位误差的几何特性。为了填补这一空白,本文提出了一种基于EM算法的通用学习框架,以更新深度学习模型参数并同时推断隐藏的真实标签位置。在流线细化应用程序中对真实世界水文数据集的评估表明,所提出的框架在分类准确性方面优于基线方法(将误报数量减少67%,将误报数量减少55%)。
2020-10-02 cs.CV cs.LG eess.IV
Robust Assignment of Labels for Active Learning with Sparse and Noisy Annotations
University of Warsaw(华沙大学);QED Software(QED软件公司)
针对主动学习中标注稀疏且有噪声的问题,本文提出两种利用未标注样本空间的标注统一算法,在四个公开数据集上验证了其在估计标注者可靠性和分配真实标签方面优于现有方法和多数投票。
2023-07-25 cs.HC cs.LG
Learning to Segment from Noisy Annotations: A Spatial Correction Approach
Stony Brook University(石溪大学);Morgan Stanley(摩根士丹利);CUNY Queens College(纽约市立大学皇后学院)
针对医学图像分割中具有空间相关性和分布偏差的噪声标注问题,本文提出一种编码空间相关性与偏差的马尔可夫模型及渐进式标签校正方法,并在合成与真实噪声标注上取得优于现有方法的性能。
2023-07-21 cs.CV cs.LG eess.IV
Learning to Contextually Aggregate Multi-Source Supervision for Sequence Labeling
University of Southern California(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
序列标记是解决各种自然语言处理问题的基本框架。它的性能在很大程度上受到监督学习场景中标注质量和数量的影响,并且获得地面真值标签通常是昂贵的。在许多情况下,地面真值标签并不存在,但是可以访问噪声注释或来自不同域的注释。在本文中,我们提出了一个新的框架共识网络(ConNet),可以在来自多个来源的注释上进行训练(例如,群组注释、跨域数据.)。它学习每个源的个体表示,并通过上下文感知注意模块动态地聚合特定于源的知识。最后,它导致一个模型,反映了多个来源之间的协议(共识)。我们在两个实际的多源学习环境中评估了所提出的框架:人群注释学习和无监督跨领域模型自适应。大量的实验结果表明,我们的模型在这两种设置中实现了显着的改进,比现有的方法。我们还表明,该方法可以适用于各种任务,并应付不同的编码器。
2020-04-16 cs.CL cs.LG
Multi-Label Annotation Aggregation in Crowdsourcing
众包作为一种基于人工的计算手段,已被广泛用于标注大规模无标签数据集。一个明显的挑战是如何聚合这些由一组异构注释器提供的可能有噪声的标签。另一个挑战来自于在甚至不知道基本事实的情况下评估注释者可靠性的困难,这可以用于在众包平台中建立激励机制。当每个实例同时与许多可能的标签相关联时,由于其组合性质,问题变得更加困难。在本文中,我们提出了新的灵活的贝叶斯模型和高效的推理算法,多标签标注聚合,同时考虑到注释器的可靠性和标签依赖性。在真实数据集上的大量实验证实,所提出的方法优于其他竞争对手的替代方案,该模型可以恢复注释器的类型,具有较高的准确性。
2020-10-18 cs.AI cs.HC cs.LG
LEAN-LIFE: A Label-Efficient Annotation Framework Towards Learning from Explanation
University of Southern California(南加州大学);Information Science Institute, University of Southern California(南加州大学信息科学研究所);Snap Inc.(Snap公司)
成功训练深度神经网络需要大量的标记数据。然而,每个标签只提供有限的信息来学习,并且收集必要数量的标签需要大量的人力。在这项工作中,我们介绍了LEAN-LIFE,一个基于Web的,标签高效的序列标签和分类任务的注释框架,具有易于使用的UI,不仅允许注释器为任务提供所需的标签,而且还可以为每个标签决策提供学习。这样的解释使我们能够从未标记的实例中生成有用的附加标记数据,从而支持可用的训练数据池。在三个流行的NLP任务(命名实体识别,关系抽取,情感分析)中,我们发现使用这种增强的监督可以使我们的模型超过竞争基准F1分数超过5-10个百分点,同时使用2倍更少的标记实例。我们的框架是第一个利用这种增强的监督技术,并这样做了三个重要的任务-从而为用户提供改进的注释建议,并能够构建(数据,标签,解释)三元组而不是常规(数据,标签)对的数据集。
2020-04-16 cs.AI cs.CL cs.LG
Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels
University of Pennsylvania(宾夕法尼亚大学)
本文评估了用生成式LLM生成的标签替代人工标注数据来微调监督文本分类器的潜力,提出推荐工作流并在14个任务上复现实验,发现基于LLM标签微调的模型表现与人工标注相当,是一种快速高效且低成本的构建方法。
2024-06-25 cs.CL cs.LG
Adaptive Label Smoothing To Regularize Large-Scale Graph Training
Rice University(莱斯大学);University of Georgia(佐治亚大学);Samsung Research America(三星美国研究院);Samsung Electronics(三星电子)
图神经网络(GNNs)通过递归地聚集来自其邻居的信息来学习节点表示,已经成为许多领域中的主要计算工具。为了处理大规模图,大多数现有方法将输入图划分为多个子图(例如,通过节点聚类)并应用批量训练以节省存储器成本。然而,这种批量训练会导致每个批次内的标签偏差,从而导致模型预测的过度自信。由于具有正相关标签的连接节点往往被分配在一起,传统的交叉熵最小化过程将参与批量中有偏类的预测,并可能加剧过拟合问题。为了克服标签偏差问题,我们提出了自适应标签平滑(ALS)方法,以取代一个热硬标签与平滑的,学习分配标签的信心从有偏见的类到其他。具体地说,ALS传播节点标签聚合的邻域标签分布在一个预处理步骤,然后更新的最佳平滑标签在线,以适应特定的图结构。在真实数据集上的实验表明,ALS可以普遍应用于主要的可扩展学习框架,以校准有偏的标签,提高泛化性能。
2021-08-30 cs.AI cs.LG
RePOPE: Impact of Annotation Errors on the POPE Benchmark
Tübingen AI Center – University of Tübingen(图宾根人工智能中心 – 图宾根大学)
本研究重新标注POPE基准图像,发现MSCOCO标签错误分布不均,修订后模型排名显著变化,凸显标签质量对物体幻觉评估的重要性。
2025-04-22 cs.AI cs.CV cs.LG
Generating Labels for Regression of Subjective Constructs using Triplet Embeddings
University of Southern California(南加州大学);Signal Analysis and Interpretation Lab(信号分析与解释实验室)
人类注释在计算模型中扮演着重要的角色,其中研究中的目标结构是隐藏的,例如情感维度。这在机器学习中尤其相关,其中从相关的可观察信号(例如,音频、视频、文本)来支持模型训练和测试。目前的研究趋势集中在纠正人工制品和偏见的注释过程中引入的注释,同时融合到一个单一的注释。在这项工作中,我们提出了一种新的注释方法,使用三重嵌入。通过将绝对注释过程提升到相对注释,其中注释者以三元组比较各个目标构造,我们利用了人类注释者的绝对评级比较的准确性。然后,我们在欧几里得空间中构建一个一维嵌入,该嵌入在时间上进行索引,并作为回归的标签。在这种设置中,注释融合自然地发生为不同注释器之间的采样三元组比较的集合的联合。我们表明,通过使用我们提出的采样方法来找到一个嵌入,我们能够准确地表示合成隐藏的结构在噪声采样条件下的时间。我们使用从Mechanical Turk收集的人类注释进一步验证了这种方法,并表明我们可以恢复隐藏结构的底层结构,直到偏差和缩放因子。
2020-02-18 cs.LG stat.ML
Unbiased Learning to Rank with Biased Continuous Feedback
Tencent(腾讯)
这是一个众所周知的挑战,学习一个公正的排名与偏见的反馈。无偏学习排名(LTR)算法,这是验证模型的相对相关性准确的基础上嘈杂的反馈,是有吸引力的候选人,并已被应用于许多应用程序与单一的分类标签,如用户点击信号。然而,现有的无偏LTR方法不能正确地处理连续反馈,这是必不可少的许多工业应用,如内容推荐系统。为了提供个性化的高质量推荐结果,推荐系统需要对分类和连续的有偏反馈(如点击和停留时间)进行建模。因此,我们设计了一种新的无偏LTR算法来解决这些挑战,该算法创新性地以成对的方式对位置偏差进行建模,并引入成对的信任偏差来明确地分离位置偏差,信任偏差和用户相关性,并且可以用于连续和分类反馈。在公共基准数据集和腾讯新闻大规模推荐系统的内部实时流量上的实验结果表明,该方法在连续标签上具有较好的效果,在分类标签上也具有较好的性能。
2023-03-08 cs.IR cs.LG
End-to-End Label Uncertainty Modeling in Speech Emotion Recognition using Bayesian Neural Networks and Label Distribution Learning
Universität Hamburg(汉堡大学)
针对语音情感识别中标注主观性导致的标签不确定性问题,提出基于Student's t分布的端到端贝叶斯神经网络方法,在两个真实数据集上取得最优不确定性建模效果,跨语料库表现稳定。
2023-06-13 cs.LG eess.AS
Active Multi-Label Crowd Consensus
College of Computer and Information Sciences, Southwest University(西南大学计算机与信息科学学院);George Mason University(乔治梅森大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
众包是一种经济有效的策略,旨在通过在线平台收集数据注释。具有不同专业知识的人群工作者为他们的服务付费,任务请求者通常预算有限。如何为多标签数据收集可靠的注释以及如何在预算范围内计算共识是一个有趣且具有挑战性但很少研究的问题。在本文中,我们提出了一种新的方法来实现主动多标签群体共识(AMCC)。AMCC考虑了工人的共性和个性,并假设工人可以被组织成不同的群体。每个组都包括一组共享类似注释行为和标签相关性的工作者。为了实现有效的多标签共识,AMCC通过共性和个性的线性组合对工作者的注释进行建模,并通过为组分配较小的权重来减少不可靠工作者的影响。为了以更低的成本收集可靠的注释,AMCC引入了一种主动的众包学习策略,该策略选择样本-标签-工作者三元组。在三元组中,所选样本和标签对于共识模型来说是最具信息性的,并且所选工作人员可以以低成本可靠地注释样本。我们在多标签数据集上的实验结果证明了AMCC在计算人群共识和通过选择具有成本效益的三元组来减少预算方面优于最先进的解决方案。
2019-11-07 cs.HC cs.LG
Improving Training on Noisy Stuctured Labels
Stanford University(斯坦福大学)
细粒度的注释--例如密集的图像标签、图像分割和文本标记--在许多机器学习应用中很有用,但它们的生成是劳动密集型的。此外,在这些细粒度的注释中经常存在系统的、结构化的错误。例如,一辆汽车可能在图像中完全没有注释,或者汽车和街道之间的边界可能只被粗略地注释。对具有此类结构化错误的数据进行标准ML训练,会产生具有偏差和性能较差的模型。在这项工作中,我们提出了一个新的框架的纠错网络(ECN),以解决学习的挑战,在细粒度的注释结构化错误的存在。给定一个具有常见结构化错误的大型噪声数据集,以及一个具有更准确注释的小得多的数据集,与用于在噪声数据上训练的标准方法相比,ECN能够大幅提高细粒度注释的预测。它通过学习利用注释和噪声标签中的结构来做到这一点。在图像分割和文本标注上的系统实验表明,ECN在改进噪声结构化标签的训练方面具有很强的性能。
2020-03-08 cs.CL cs.LG stat.ML
Constructing Artificial Data for Fine-tuning for Low-Resource Biomedical Text Tagging with Applications in PICO Annotation
University College London(伦敦大学学院);AIG(美国国际集团)
生物医学文本标记系统受到标记训练数据缺乏的困扰。最近已经尝试使用预先训练的编码器来处理这个问题。预训练的编码器提供输入文本的表示,然后将其馈送到特定于任务的层进行分类。整个网络根据来自目标任务的标记数据进行微调。不幸的是,一个低资源的生物医学任务往往有太少的标记的例子,令人满意的微调。此外,如果标签空间很大,则对于大多数标签,它包含很少或不包含带标签的实例。大多数生物医学标记系统将标签视为索引,忽略了这些标签通常是以自然语言表达的概念的事实,例如"脑成像上病变的外观"。为了解决这些问题,我们建议使用标签文本(即标签的名称)作为相应的标签索引(即标签的索引)的输入来构建额外的标签实例。事实上,我们提出了一些策略,从一个标签制造多个人工标记的实例。然后,网络在真实和这些新构建的人工标记实例的组合上进行微调。我们评估了一个重要的低资源生物医学任务称为\textit{PICO annotation},这需要标记原始文本描述临床试验与标签对应的不同方面的试验,即PICO(人群,干预/对照,结果)的试验特征。我们的实证结果表明,所提出的方法实现了一个新的国家的最先进的性能PICO注释与竞争对手的基线非常显着的改善。
2020-01-14 cs.CL cs.LG stat.ML
Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild
TU Delft(代尔夫特理工大学);Instituto Tecnologico de Costa Rica(哥斯达黎加技术学院)
笑被认为是快乐的最明显的信号之一。笑声被公认为是一种多模态现象,但最常见的是通过感知笑声来检测。目前还不清楚当通过笑声的身体动作从视频等其他形式注释时,笑声的感知和注释有何不同。在本文中,我们在这个方向上迈出了第一步,询问是否以及如何可以注释笑声时,只有音频,只有视频(包含全身运动信息)或视听形式可供注释。我们询问笑的注释是否在模态之间是一致的,并比较标记模态对机器学习模型性能的影响。我们比较注释和模型的笑声检测,强度估计和分割,在以前的研究中常见的三个任务的笑声。我们的4000多个注释从48个注释者获得的分析揭示了证据的不一致的看法笑,其强度之间的方式。进一步分析注释对统一的视听参考注释显示,召回是较低的平均视频相比,音频条件下,但往往会增加与强度的笑声样本。我们的机器学习实验比较了最先进的单峰(基于音频、基于视频和基于加速度)和多模态模型在输入模态、训练标签模态和测试标签模态的不同组合下的性能。无论训练标签模式如何,具有视频和加速度输入的模型都具有类似的性能,这表明使用视频获取的标签来训练模型用于从身体运动中检测笑声可能是完全合适的,尽管它们的评分者间一致性较低。
2022-11-02 cs.CV cs.CY cs.LG
A Self Supervised StyleGAN for Image Annotation and Classification with Extremely Limited Labels
Tel-Aviv University(特拉维夫大学)
提出SS-StyleGAN,一种自监督方法,利用StyleGAN潜空间编码器在极少量标注数据(如50或10个样本)下实现强分类性能,并在COVID-19和肝肿瘤病理识别任务中验证优越性。
2023-12-26 cs.CV cs.LG eess.IV
SelecMix: Debiased Learning by Contradicting-pair Sampling
Seoul National University(首尔国立大学);University of Tübingen(图宾根大学);Idiap Research Institute(Idiap研究所);NAVER AI Lab(NAVER人工智能实验室)
用ERM(经验风险最小化)训练的神经网络有时会学习非预期的决策规则,特别是当它们的训练数据有偏差时,即,当训练标签与不期望的特征强烈相关时。为了防止网络学习这样的特征,最近的方法增加了训练数据,使得显示虚假相关性的示例(即,偏见一致的例子)成为少数,而另一个,偏见冲突的例子变得普遍。然而,这些方法有时难以训练和扩展到真实世界的数据,因为它们依赖于生成模型或分离表示。我们提出了一种基于mixup的替代方案,这是一种流行的增强方法,可以创建训练样本的凸组合。我们的方法称为SelecMix,将mixup应用于矛盾的示例对,定义为显示(i)相同的标签但不相似的偏置特征,或(ii)不同的标签但相似的偏置特征。识别这样的对需要比较关于未知的偏置特征的示例。为此,我们利用了一个辅助对比模型,该模型具有流行的启发式,即在训练过程中优先学习有偏见的特征。标准基准测试的实验表明,该方法的有效性,特别是当标签噪声复杂的偏见冲突的例子识别。
2022-11-04 cs.AI cs.CV cs.LG
ENHANCE (ENriching Health data by ANnotations of Crowd and Experts): A case study for skin lesion classification
Fontys University of Applied Science(方提斯应用科学大学);Eindhoven University of Technology(埃因霍温理工大学);IT University of Copenhagen(哥本哈根信息技术大学)
我们提出了ENHANCE,一个开放的数据集,具有多个注释,以补充现有的ISIC和PH 2皮肤病变分类数据集。此数据集包含来自非专家注释源的视觉ABC(不对称,边界,颜色)特征的注释:本科生,Amazon MTurk的人群工作人员和经典的图像处理算法。在本文中,我们首先分析的注释和病变的诊断标签之间的相关性,以及研究不同的注释源之间的协议。总的来说,我们发现弱相关性的非专家注释与诊断标签,不同的注释来源之间的低协议。然后,我们研究了多任务学习(MTL)与注释作为额外的标签,并表明,非专家注释可以通过MTL改善(集成)最先进的卷积神经网络。我们希望我们的数据集可以用于进一步研究多个注释和/或MTL。所有数据和模型都可以在Github上找到:https://github.com/raumannsr/ENHANCE。
2021-12-24 cs.CV cs.HC cs.LG
MuSE-ing on the Impact of Utterance Ordering On Crowdsourced Emotion Annotations
University of Michigan--Ann Arbor(密歇根大学安娜堡分校);University of Michigan--Flint(密歇根大学弗林特分校)
情感识别算法依赖于用高质量标签注释的数据。然而,情感表达和感知本质上是主观的。通常没有一个注释可以明确地声明为“正确”。因此,注释将根据收集注释的方式进行着色。在本文中,我们进行众包实验,调查这两个注释本身和这些算法的性能的影响。我们关注一个关键问题:语境的影响。我们提出了一个新的情感数据集,多模态应激情感(MuSE),并注释数据集使用两个条件:随机化,其中注释者以随机顺序呈现剪辑,和上下文化,其中注释者以顺序呈现剪辑。我们发现,上下文标记方案的结果注释更类似于扬声器自己的自我报告的标签,从随机方案生成的标签是最容易预测的自动化系统。
2019-03-27 cs.HC cs.LG cs.SD
Data Cleansing with Contrastive Learning for Vocal Note Event Annotations
Ircam(声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Spotify
数据清洗是一种用于清洗数据集中错误标签的策略,但在音乐信息检索中尚未得到广泛应用。以前提出的数据清洗模型不考虑结构化(例如,时变)标签,例如音乐数据常见的标签。我们提出了一种新的数据清洗模型的时变,结构化的标签,利用本地结构的标签,并证明其有用的声乐音符事件注释音乐。%我们的模型通过自动创建可能正确标签的局部变形,以对比学习方式进行训练。我们的模型以对比学习的方式进行训练,通过自动对比可能正确的标签对与它们的局部变形。我们证明,与使用原始数据集训练时的准确性相比,使用我们提出的策略训练时,转录模型的准确性大大提高。此外,我们使用我们的模型来估计DALI数据集中的注释出错率,并强调这种类型的模型的其他潜在用途。
2021-04-27 cs.IR cs.LG cs.SD