Crowdsourcing Airway Annotations in Chest Computed Tomography Images
Eindhoven University of Technology(埃因霍温理工大学);Erasmus MC - University Medical Center Rotterdam(伊拉斯谟医学中心-鹿特丹大学医学中心);Erasmus MC - Sophia Children’s Hospital(伊拉斯谟医学中心-索菲亚儿童医院);University of Copenhagen(哥本哈根大学)
在胸部计算机断层扫描(CT)扫描中测量气道对于表征囊性纤维化等疾病非常重要,但手动执行非常耗时。机器学习算法提供了一种替代方案,但需要大量带注释的扫描来获得良好的性能。我们调查众包是否可以用来收集气道注释。我们在24名受试者的气道已知位置生成图像切片,并要求人群工作人员勾勒出气道腔和气道壁。在结合多个人群工作人员之后,我们将测量结果与专家在原始扫描中所做的测量结果进行比较。与我们的初步研究类似,很大一部分注释被排除在外,可能是由于工人误解了说明。在排除这样的注释之后,可以观察到与专家的中等到强的相关性,尽管这些相关性略低于专家间的相关性。此外,本研究中受试者的结果差异很大。虽然人群在注释气道方面具有潜力,但需要进一步开发以使其足够健壮以在实践中收集注释。对于重现性,数据和代码可在线获得:\url{http://github.com/adriapr/crowdairway.git}。
2020-11-20 cs.CV cs.HC
Grid Labeling: Crowdsourcing Task-Specific Importance from Visualizations
本文提出Grid Labeling标注方法,通过自适应网格动态分割可视化以高效收集任务特定重要性数据,实验表明其相比ImportAnnots和BubbleView噪声更低、一致性更高且负担更小。
2025-04-28 cs.HC
The Challenge of Variable Effort Crowdsourcing and How Visible Gold Can Help
我们考虑一类可变工作量的人工注释任务,其中每个项目所需的标签数量可以有很大变化(例如,找到图像中的所有面部、文本中的命名实体、音频记录中的鸟叫声等)。在这样的任务中,某些项目需要比其他项目更多的精力来注释。此外,直到每个条目被注释之后才知道每个条目的注释工作,因为确定所需的标签数量是注释任务本身的隐含部分。在具有众包注释器的图像边界框任务中,我们发现注释器的准确性和召回率随着努力的增加而不断下降。我们假设这种下降的原因,并研究了一套方法来抵消它。首先,我们在这个任务上的基准一套一般的最佳实践方法的质量众包。值得注意的是,这些方法中只有一种真正提高了质量:使用可见的黄金问题,在工作中定期向工人提供关于其准确性的反馈。鉴于这些有希望的结果,我们然后调查和评估可见黄金方法的变体,从而得到进一步的改进。最终结果表明,在基线上的边界框精度提高了7%。我们讨论了可见黄金的方法和有前途的未来研究方向的一般性。
2021-05-20 cs.HC
Crowdsourcing Learning as Domain Adaptation: A Case Study on Named Entity Recognition
Tianjin University(天津大学)
众包被认为是有效的监督学习的一个有前景的解决方案,旨在建立大规模的注释训练数据的人群工作者。以往的研究主要集中在减少来自监督模型的众包注释的噪声的影响。我们在这项工作中采取了不同的观点,将所有众包注释视为个人注释者的黄金标准。通过这种方式,我们发现众包可以高度类似于领域自适应,然后跨领域方法的最新进展几乎可以直接应用于众包。本文以命名实体识别(NER)为研究对象,提出了一种基于领域自适应领域自适应方法的标注者感知表示学习模型。我们研究了无监督和有监督的众包学习,假设没有或只有小规模的专家注释可用。在基准众包NER数据集上的实验结果表明,我们的方法是非常有效的,从而带来了新的最先进的性能。此外,在监督设置下,我们可以实现令人印象深刻的性能增益,只有一个非常小的规模的专家注释。
2021-11-15 cs.CL cs.HC cs.LG
Bornil: An open-source sign language data crowdsourcing platform for AI enabled dialect-agnostic communication
本文提出Bornil,一个开源多语言手语数据众包平台,支持录制、注释和验证,并基于收集的孟加拉手语最大数据集进行深度学习识别建模,以促进方言无关通信。
2023-08-29 cs.HC
Crowdsourcing in Computer Vision
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
计算机视觉系统需要大量手动注释的数据来正确学习具有挑战性的视觉概念。众包平台提供了一种廉价的方法来捕获人类的知识和理解,用于大量的视觉感知任务。在这项调查中,我们描述了计算机视觉研究人员使用众包收集的注释类型,以及他们如何确保这些数据具有高质量,同时最大限度地减少注释工作。我们首先讨论两种经典的数据汇集(例如,对象识别)和最近的(例如,视觉讲故事)视觉任务。然后,我们总结了创建有效的数据汇集接口和工作流的关键设计决策,并提出了智能选择最重要的数据实例进行注释的策略。最后,我们总结了对计算机视觉众包未来的一些思考。
2016-11-07 cs.CV cs.HC
Toward Annotator Group Bias in Crowdsourcing
Michigan State University(密歇根州立大学);ByteDance Inc.(字节跳动公司)
众包已经成为收集带注释的数据以训练监督机器学习模型的流行方法。然而,注释者的偏见可能会导致有缺陷的注释。虽然有一些作品研究个体注释者的偏见,注释者的群体效应在很大程度上被忽视。在这项工作中,我们发现,在同一人口统计组的注释者往往表现出一致的群体偏见在注释任务,因此,我们进行了初步的研究注释者群体偏见。我们首先实证验证了注释者群体偏见在各种现实世界的众包数据集的存在。然后,我们开发了一个新的概率图形框架GroupAnno,以捕获注释者群体偏见与新的扩展期望最大化(EM)训练算法。我们在合成和真实世界的数据集上进行实验。实验结果表明,我们的模型在建模标注群体偏见的标签聚合和模型学习竞争基线的有效性。
2021-10-08 cs.HC cs.LG
Crowdsourcing subjective annotations using pairwise comparisons reduces bias and error compared to the majority-vote method
本文提出结合成对比较与Elo评分的众包主观标注流程,通过理论框架和智能体模型证明其相比多数投票法能更有效降低随机误差与偏差,并实现为开源Python包。
2023-06-01 cs.CY cs.HC
A Dataset for the Validation of Truth Inference Algorithms Suitable for Online Deployment
University of Science and Technology of China(中国科学技术大学);NetEase Inc.(网易公司);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Anhui Province Key Laboratory of Big Data Analysis and Application(安徽省大数据分析与应用重点实验室)
本文发布了一个包含约两千名工人、一百万任务和六百万标注、带时间戳的真实众包数据集,用于验证适合在线部署的真值推断算法,并评估了多种代表性算法的有效性。
2024-03-10 cs.HC cs.LG
Crowdsourcing with Meta-Workers: A New Way to Save the Budget
Southwest University(西南大学);Shandong University(山东大学);George Mason University(乔治梅森大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
由于互联网工作者的不可靠性,很难令人满意地完成一个众包项目,特别是当任务多,预算有限。近年来,元学习为少样本学习带来了新的活力,使得仅使用少量训练样本就可以获得性能良好的分类器。在这里,我们介绍了\emph{meta-worker}的概念,它是一种通过元学习训练的机器注释器,用于任务类型(即,图像分类)非常适合AI。与普通的群体工作者不同,元工作者可以是可靠的、稳定的,更重要的是,不知疲倦和自由的。我们首先对未标记的数据进行聚类,并要求crowd workers重复注释聚类中心附近的实例;然后利用已注释的数据和元训练数据集,使用不同的元学习算法构建一个元工作者集群。随后,元工作者被要求注释剩余的众包任务。Jensen-Shannon分歧用于衡量元工作者提供的注释之间的不一致性,这决定了是否应该邀请人群工作者对同一任务进行进一步注释。最后,我们对元工作者的偏好进行建模,并通过加权多数投票来计算共识注释。我们的实证研究证实,通过结合机器和人类智能,我们可以以比最先进的任务分配方法更低的预算完成众包项目,同时实现更高或相当的质量。
2021-11-07 cs.AI cs.HC cs.LG
Scalable Annotation of Fine-Grained Categories Without Experts
Stanford University(斯坦福大学);University of Michigan(密歇根大学)
我们提出了一个众包的工作流程来收集图像注释的视觉上相似的合成类别,而不需要专家。在动物中,分类和视觉相似性之间有直接的联系:例如,柯利(一种狗)看起来更像其他柯利(例如光滑柯利),而不是灰狗(另一种狗)。然而,在诸如汽车的合成类别中,具有类似分类的对象可以具有非常不同的外观:例如,2011年福特F-150 Supercrew-HD看起来与2011年福特F-150 Supercrew-LL相同,但与2011年福特F-150 Supercrew-SVT非常不同。我们引入了一个基于图的众包算法,自动组视觉上无法区分的对象在一起。使用我们的工作流程,我们标记了约1,000名Amazon Mechanical Turk工作人员的712,430张图像;产生了迄今为止报告的最大的细粒度视觉数据集,其中包含2,657种汽车类别,其注释成本是聘请专家的1/20。
2017-09-07 cs.CV cs.HC
Identifying Terms and Conditions Important to Consumers using Crowdsourcing
条款和条件(T& C)在网络上无处不在,通常包含对消费者重要的信息,但很少阅读。以前的研究已经探索了使用手动标签器、自然语言处理和深度学习技术来暴露令人担忧的隐私政策的方法。然而,这项先前的工作使用预先确定的类别进行注释,并且没有调查消费者从他们的角度真正认为重要的是什么。在本文中,我们将众包与T& C中“重要的是什么”的开放定义相结合。我们提出了一个工作流程,包括成对比较,协议验证,和布拉德利-特里排名建模,有效地建立排名的T&C声明从非专家的群众工作者在这个开放的定义,并进一步分析消费者的喜好。我们将此工作流程应用于来自27个电子商务网站的1,551个T&C语句,由3,462个独特的人群工作人员进行203,068次成对比较,并对被认为重要/不重要的语句进行主题和可读性分析。我们发现,消费者特别关心与售后和金钱相关的政策,并倾向于将难以理解的声明视为更重要的。我们还提出了机器学习模型来识别消费者认为重要的T&C条款,最多达到92.7%的平衡准确率,91.6%的召回率和89.2%的准确率。我们预见使用我们的工作流程和模型来有效和可靠地突出大规模网站上的重要T& C,提高消费者的意识
2021-11-30 cs.HC
Improve Learning from Crowds via Generative Augmentation
University of Virginia(弗吉尼亚大学)
众包为监督式机器学习提供了一种有效的标签收集模式。然而,为了控制注释成本,众包数据中的每个实例通常由少量注释器注释。这会产生稀疏性问题,并限制在此类数据上训练的机器学习模型的质量。在本文中,我们研究如何处理稀疏众包数据使用数据增强。具体来说,我们建议通过增强原始稀疏注释来直接学习分类器。我们使用生成对抗网络实现高质量增强的两个原则:1)生成的注释应该遵循真实注释的分布,这是由鉴别器测量的; 2)生成的注释应该具有与地面实况标签的高互信息,这是由辅助网络测量的。在三个真实数据集上对一系列最先进的群体学习方法进行了广泛的实验和比较,证明了我们的数据增强框架的有效性。它显示了我们的算法在低预算众包中的潜力。
2021-07-22 cs.CV cs.HC cs.LG
Learning from Crowds by Modeling Common Confusions
University of Virginia(弗吉尼亚大学)
众包提供了一种以低成本获得大量标记数据的实用方法。然而,注释器的注释质量差异很大,这给从众包注释中学习高质量模型带来了新的挑战。在这项工作中,我们提供了一个新的视角,将注释噪音分解为常见噪音和个别噪音,并根据实例难度和注释者专业知识在每个实例注释者的基础上区分混淆源。我们通过一个端到端的学习解决方案来实现这种新的众包模型,该解决方案具有两种类型的噪声适应层:一种是在注释者之间共享的,以捕获他们共同共享的混淆,另一种是与每个注释者相关的,以实现个人混淆。为了识别每个注释中的噪声源,我们使用一个辅助网络来选择关于实例和注释器的两个噪声适应层。在合成和真实世界的基准上进行的大量实验证明了我们提出的通用噪声自适应解决方案的有效性。
2021-06-12 cs.CV cs.HC cs.LG
Towards Long-term Annotators: A Supervised Label Aggregation Baseline
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);University of Science and Technology of China(中国科学技术大学)
本文提出一种无需推理时更新模型且能利用历史标注记录的监督式标签聚合方法 SuperLA,在 22 个数据集和 11 种基线对比中表现更优且效率显著。
2023-11-15 cs.HC cs.LG
Extracting Human Attention through Crowdsourced Patch Labeling
Seoul National University(首尔大学)
针对图像分类数据集偏差问题,提出结合AI辅助与众包的块标注方法提取人类注意力,有效缓解模型偏差并提升标注效率。
2024-03-22 cs.CV cs.HC
Learning Ambiguity from Crowd Sequential Annotations
City University of Hong Kong(香港城市大学)
大多数众包学习方法将注释者之间的分歧视为嘈杂的标签,而专家之间的分歧通常是自然语言中固有的模糊性和不确定性的良好指标。在本文中,我们提出了一个框架,称为学习模糊性从人群顺序注释(LA-SCA),探讨可靠的注释者之间的相互分歧,并有效地保持混乱的标签信息。首先,一个层次贝叶斯模型的开发来推断地面真相从人群和组注释相似的可靠性在一起。通过对每个序列中注释者所参与的组的大小、注释者的可靠性和元素的无歧义性之间的关系进行建模,计算可靠注释者之间对歧义元素的不一致性,以获得标签混淆信息,该信息被并入成本敏感的序列标签。在POS标签和NER任务上的实验结果表明,我们提出的框架在从人群中推断地面真相和预测未知序列方面具有竞争力的性能,并且解释层次聚类结果有助于发现具有相似可靠性的注释者的标记模式。
2023-01-04 cs.AI cs.CL cs.HC
Truth Discovery in Sequence Labels from Crowds
Iowa State University(爱荷华州立大学);Lehigh University(理海大学)
针对众包序列标注中复杂依赖关系导致的聚合难题,提出基于优化的聚合方法$AggSLC$,联合考虑任务特征与工人可靠性,理论证明其有限步收敛,在多数据集上优于现有方法。
2023-07-01 cs.HC cs.LG
No Need to Sacrifice Data Quality for Quantity: Crowd-Informed Machine Annotation for Cost-Effective Understanding of Visual Data
Quality-Match GmbH(Quality-Match有限公司);University of Ottawa(渥太华大学);Bosch Research(博世研究院)
本文提出一种众包知情的机器标注框架,通过预测软标签后验分布实现大规模视觉数据质量检查,在自动驾驶数据集上显著降低成本并可靠预测人类不确定性。
2024-08-19 cs.CV cs.HC cs.LG
If in a Crowdsourced Data Annotation Pipeline, a GPT-4
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, San Francisco(加利福尼亚大学旧金山分校)
本文比较 GPT-4 与规范执行的 MTurk 众包标注流程,发现 GPT-4 准确率略高,且将二者标签互补聚合可进一步提升标注准确性。
2024-06-28 cs.AI cs.CL cs.HC