What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks?
New York University（纽约大学）；National Institute of Informatics（国立情报学研究所）；Stony Brook University（石溪大学）；Amazon（亚马逊）
众包被广泛用于为常见的自然语言理解任务创建数据。尽管这些数据集对于测量和改进语言模型理解的重要性，但很少关注用于收集数据集的众包方法。在本文中，我们比较了在以前的工作中提出的干预措施的有效性，以提高数据质量。我们使用多项选择问答作为测试平台，并通过分配众包工作者在四种不同的数据汇集协议之一下编写问题来进行随机试验。我们发现，要求工人写解释他们的例子是一个无效的独立的策略，提高NLU的例子的难度。然而，我们发现，培训众包工作者，然后使用收集数据、发送反馈和根据专家判断对工作者进行资格认证的迭代过程，是收集具有挑战性数据的有效手段。但事实证明，使用众包而不是专家判断来评估员工并发送反馈并不有效。我们观察到，通过几项措施，来自专家评估的迭代方案的数据更具挑战性。值得注意的是，该数据一致同意部分的人类-模型差距平均是基线方案数据差距的两倍。
2021-06-01 cs.AI cs.CL cs.HC
Atelier: Repurposing Expert Crowdsourcing Tasks as Micro-internships
专家众包市场在促进工人职业和技能发展方面具有尚未开发的潜力。目前，许多工人无法投入时间和牺牲学习新技能所需的收入，而且缺乏经验使得即使他们这样做也很难得到工作机会。在本文中，我们试图通过将市场上现有的任务重新定位为有指导的、有报酬的、真实世界的工作经验来降低技能发展的门槛，我们称之为微型实习。我们在Atelier中实例化了这个想法，Atelier是一个微型实习平台，将人群实习生与人群导师联系起来。Atelier指导导师-实习生配对，将专家众包任务分解为里程碑，审查中间输出，并一起解决问题。我们进行了一项实地实验，将Atelier的指导模式与现实世界编程众包任务中的非指导替代方案进行了比较，发现Atelier帮助实习生保持前进的进展并吸收最佳实践。
2016-02-22 cs.HC
Understanding Task Design Trade-offs in Crowdsourced Paraphrase Collection
University of Michigan（密歇根大学）
语言多样的数据集对于训练和评估强大的机器学习系统至关重要，但数据汇集是一个昂贵的过程，通常需要专家。众包释义生成过程是扩展自然语言数据集的有效手段，但对设计任务时出现的权衡分析有限。本文首次系统研究了众包释义收集的关键因素。我们考虑指令，激励措施，数据域和工作流程的变化。我们手动分析释义的正确性、语法性和语言多样性。我们的观察结果提供了新的洞察力的准确性和多样性之间的权衡，在人群的反应，作为任务设计的结果，为未来的释义生成程序提供指导。
2017-10-19 cs.CL cs.HC
Crowdsourcing Information Extraction for Biomedical Systematic Reviews
信息抽取是进行生物医学系统文献综述实践中的关键步骤。提取的结构化数据可以通过统计元分析等方法进行汇总。通常，训练有素的领域专家提取数据进行系统评价。进行生物医学系统评价的高昂费用促使研究人员探索成本较低的方法，以实现类似的严格性，而不影响质量。众包就是这样一种有前途的办法。在这项正在进行的研究中，我们设计了一个众包的生物医学信息抽取的任务。我们简要报告迭代设计过程和两个试点测试的结果。我们发现，在任务说明中给出更具体的例子可以帮助工人更好地理解任务，特别是对于抽象和令人困惑的概念。我们发现，只有少数工人完成了大部分工作，而且我们的薪酬水平似乎对低收入国家的工人更具吸引力。在未来，我们将进一步评估我们的结果与参考金标准提取，从而评估任务人群工作者提取生物医学干预信息进行系统评价的可行性。
2016-09-05 cs.HC
Unsupervised Crowdsourcing with Accuracy and Cost Guarantees
IIT Bombay（印度理工学院孟买分校）
我们考虑的问题的成本最优利用的众包平台的二进制，无监督分类的项目集合，给定一个规定的错误阈值。假设众包平台上的工作人员根据他们的技能、经验和/或过去的表现被分成多个类别。我们通过一个未知的混淆矩阵和一个（已知的）每个标签预测要支付的价格来对每个工人类进行建模。在这种情况下，我们提出了从工人那里获取标签预测的算法，以及推断项目的真实标签的算法。我们证明，如果（未标记的）项目的数量足够大，我们的算法满足规定的错误阈值，产生的成本是接近最优的。最后，我们通过一个广泛的案例研究来验证我们的算法，以及一些受其启发的算法。
2022-07-05 cs.HC cs.LG
CrowdSpeech and VoxDIY: Benchmark Datasets for Crowdsourced Audio Transcription
Yandex；Carnegie Mellon University（卡内基梅隆大学）
特定领域的数据是机器学习系统从基准测试成功转移到现实生活的关键。在诸如图像分类这样的简单问题中，众包已成为廉价和省时的数据汇集的标准工具之一：这在很大程度上要归功于聚合方法研究的进展。然而，众包对更复杂任务的适用性（例如，语音识别）由于缺乏用于这些模态的原则性聚集方法而仍然是有限的。为更高级的应用程序设计聚合方法的主要障碍是缺乏训练数据，在这项工作中，我们专注于弥合语音识别中的这一差距。为此，我们收集并发布了CrowdSpeech --第一个公开的大规模众包音频传输数据集。现有的和新的聚合方法对我们的数据进行评估显示出改进的空间，这表明我们的工作可能需要设计更好的算法。在更高的层面上，我们还为更普遍的挑战做出贡献，即通过众包开发可靠的数据汇集方法。在这方面，我们设计了一个原则性的管道，用于在任何新的领域构建众包音频传输数据集。我们通过构建VoxDIY -对应于俄语的CrowdSpeech来展示其在资源不足的语言上的适用性。我们还发布了代码，允许完全复制我们的数据汇集管道，并通过众包分享有关数据汇集最佳实践的各种见解。
2021-10-20 cs.HC cs.LG cs.SD
Bornil: An open-source sign language data crowdsourcing platform for AI enabled dialect-agnostic communication
本文提出Bornil，一个开源多语言手语数据众包平台，支持录制、注释和验证，并基于收集的孟加拉手语最大数据集进行深度学习识别建模，以促进方言无关通信。
2023-08-29 cs.HC
The Challenge of Variable Effort Crowdsourcing and How Visible Gold Can Help
我们考虑一类可变工作量的人工注释任务，其中每个项目所需的标签数量可以有很大变化（例如，找到图像中的所有面部、文本中的命名实体、音频记录中的鸟叫声等）。在这样的任务中，某些项目需要比其他项目更多的精力来注释。此外，直到每个条目被注释之后才知道每个条目的注释工作，因为确定所需的标签数量是注释任务本身的隐含部分。在具有众包注释器的图像边界框任务中，我们发现注释器的准确性和召回率随着努力的增加而不断下降。我们假设这种下降的原因，并研究了一套方法来抵消它。首先，我们在这个任务上的基准一套一般的最佳实践方法的质量众包。值得注意的是，这些方法中只有一种真正提高了质量：使用可见的黄金问题，在工作中定期向工人提供关于其准确性的反馈。鉴于这些有希望的结果，我们然后调查和评估可见黄金方法的变体，从而得到进一步的改进。最终结果表明，在基线上的边界框精度提高了7%。我们讨论了可见黄金的方法和有前途的未来研究方向的一般性。
2021-05-20 cs.HC
Crowdsourcing with Unsure Option
Nanjing University（南京大学）
众包的一个基本问题是高精度聚合所需的工人数量和支付预算之间的权衡。为了节省预算，确保众包标签的高质量非常重要，因此标签收集的总成本将降低。由于工人的自信心往往与他们的能力有密切的关系，质量控制的一个可能的方法是要求工人只有在他们感到有信心的时候才归还标签，通过提供不确定的选择。另一方面，允许员工选择不确定的选项也会导致预算浪费的潜在危险。在这项工作中，我们提出了分析，以了解当提供不确定的选项确实导致显着的成本降低，以及如何设置的信心阈值。我们还提出了一个在线机制，这是替代阈值选择时，估计的人群能力分布是困难的。
2017-08-12 cs.AI cs.HC
Online Assignment of Heterogeneous Tasks in Crowdsourcing Markets
我们调查的问题异构任务分配在众包市场的请求者的角度来看，谁有一个任务的集合。工人们一个接一个地上网，每个人都声明一组他们可以解决的可行任务，以及每个可行任务的期望报酬。请求者必须即时决定将哪个任务（如果有的话）分配给工作者，同时只将工作者分配给可行的任务。目标是在固定的总预算下最大化分配的任务数量。我们提供了一个在线算法，这个问题，并证明了一个上限的竞争比，这个算法对任意（可能是最坏的情况下）序列的工人谁想要小的付款相对于请求者的总预算。我们进一步显示了几乎匹配的竞争比在此设置中的任何算法的下界。最后，我们提出了一个不同的算法，实现了改进的竞争比的随机排列模型，其中工人的到达顺序是随机选择的。除了这些强有力的理论保证，我们进行了模拟数据的实验，证明了我们的算法的实用性。
2015-08-14 cs.DS cs.HC
Enhanced Nearest Neighbor Classification for Crowdsourcing
Purdue University（普渡大学）；Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Moody’s Analytics, Inc.（穆迪分析公司）
在机器学习中，众包是标记大量数据的经济方式。然而，所产生的标签中的噪声可能会降低应用于标记数据的任何分类方法的准确性。我们提出了一个增强的最近邻分类器（ENN）来克服这个问题。开发了两种算法来估计工人质量（这在实践中往往是未知的）：一种是通过将$k$ NN分类器应用于专家数据来构建基于去噪工人标签的估计;另一种是即使没有访问专家数据也能工作的迭代算法。除了强有力的数值证据，我们提出的方法被证明可以实现与基于高质量专家数据的Oracle版本相同的遗憾。作为一个技术的副产品，分配给每个工人的样本量的下限，以达到最佳的收敛速度的遗憾。
2022-02-26 cs.HC cs.LG stat.ML
Crowdsourcing Airway Annotations in Chest Computed Tomography Images
Eindhoven University of Technology（埃因霍温理工大学）；Erasmus MC - University Medical Center Rotterdam（伊拉斯谟医学中心-鹿特丹大学医学中心）；Erasmus MC - Sophia Children’s Hospital（伊拉斯谟医学中心-索菲亚儿童医院）；University of Copenhagen（哥本哈根大学）
在胸部计算机断层扫描（CT）扫描中测量气道对于表征囊性纤维化等疾病非常重要，但手动执行非常耗时。机器学习算法提供了一种替代方案，但需要大量带注释的扫描来获得良好的性能。我们调查众包是否可以用来收集气道注释。我们在24名受试者的气道已知位置生成图像切片，并要求人群工作人员勾勒出气道腔和气道壁。在结合多个人群工作人员之后，我们将测量结果与专家在原始扫描中所做的测量结果进行比较。与我们的初步研究类似，很大一部分注释被排除在外，可能是由于工人误解了说明。在排除这样的注释之后，可以观察到与专家的中等到强的相关性，尽管这些相关性略低于专家间的相关性。此外，本研究中受试者的结果差异很大。虽然人群在注释气道方面具有潜力，但需要进一步开发以使其足够健壮以在实践中收集注释。对于重现性，数据和代码可在线获得：\url{http://github.com/adriapr/crowdairway.git}。
2020-11-20 cs.CV cs.HC
Crowdsourcing Ground Truth for Medical Relation Extraction
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Google Research（谷歌研究院）；CAS IBM Netherlands（荷兰IBM认知计算系统研究中心）
认知计算系统需要人类标记的数据进行评估，并且通常用于训练。收集这些数据的标准做法最大限度地减少了注释者之间的分歧，我们发现这导致数据无法解释语言中固有的歧义。我们已经提出了通过众包收集真值的CrowdTruth方法，该方法重新考虑了人在机器学习中的作用，基于注释者之间的分歧为文本中的歧义等现象提供了有用的信号。我们报告使用这种方法来建立一个带注释的数据集的医学关系抽取的$cause$和$treat$的关系，以及如何在监督训练实验中执行此数据。我们证明，通过建模模糊性，标记的数据收集从人群工作人员可以（1）达到该任务的领域专家的质量水平，同时降低成本，（2）提供更好的训练数据的规模比远程监督。我们进一步提出并验证了新的加权措施的精度，召回率和F-措施，占模糊的人类和机器在这项任务上的表现。
2017-10-03 cs.CL cs.HC
Construction and application of artificial intelligence crowdsourcing map based on multi-track GPS data
University of Aberdeen（阿伯丁大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Trine University（特莱恩大学）；Columbia University（哥伦比亚大学）
本文研究基于多轨GPS数据的人工智能众包地图构建方法，通过融合低精度轨迹生成高精度数据并提取关键点，以低成本实现高精度地图更新，并分析其应用形式以促进智能汽车自动驾驶发展。
2024-02-24 cs.AI cs.HC
Training Affective Computer Vision Models by Crowdsourcing Soft-Target Labels
Stanford University（斯坦福大学）；Cognoa（Cognoa公司）
情感分类器传统上预测离散的情感。然而，情感表达往往是主观的，因此需要一种方法来处理主观标签。我们探索使用众包来获取可靠的软目标标签，并评估用这些标签训练的情感检测分类器。我们的研究集中在儿童情感面部表情（CAFE）数据集上，这是一个描述儿科面部表情的图像的黄金标准集合，每个图像有100个人类标签。为了测试众包生成这些标签的可行性，我们使用Microworker为207张CAFE图像获取标签。我们评估未过滤的工人以及通过短人群过滤过程选择的工人。然后，我们使用数据集提供的原始100个注释在软目标CAFE标签上训练两个版本的分类器：（1）用传统的独热编码标签训练的分类器，以及（2）用表示CAFE注释器响应分布的矢量标签训练的分类器。我们将两个分类器的softmax输出分布与分类器的输出概率分布和人类标签分布之间的L1距离的2样本独立t检验进行比较。虽然未经过滤的人群工作者与CAFE的一致性较弱，但过滤后的人群在许多情绪上100%同意CAFE标签。虽然独热编码分类器的F1分数相对于地面实况CAFE标签要高得多（94.33%对78.68%），但人群训练分类器的输出概率向量更接近人类标签的分布（t=3.2827，p=0.0014）。报告一个情感概率分布，说明人类解释的主观性。众包，包括一个足够的过滤机制，是一个可行的解决方案，获得软目标标签。
2021-09-22 cs.CV cs.HC
Insights from an experiment crowdsourcing data from thousands of US Amazon users: The importance of transparency, money, and data use
本文通过实验性众包工具收集 5000 余名美国用户的 Amazon 购买历史，证明透明度、金钱激励和人口统计特征显著影响数据共享，并为伦理化用户数据收集提供依据。
2024-08-07 cs.CY cs.HC
Sharing Practices for Datasets Related to Accessibility and Aging
来自残疾人和老年人的数据集在创新、基准测试和减轻辅助性和包容性人工智能应用程序的偏见方面发挥着重要作用。然而，它们是稀缺的。我们对过去35年来手动定位在不同学科中的137个可访问性数据集进行了系统回顾。我们的分析强调了研究人员如何在数据汇集和共享中处理利益和风险之间的紧张关系。我们揭示了数据汇集的目的、术语、样本大小、数据类型和焦点社区之间的数据共享实践的模式。最后，我们批判性地反思了与定位和共享可访问性数据集相关的挑战和机遇，这些挑战和机遇要求技术，法律和机构隐私框架更适合这些社区的关注。
2021-08-24 cs.HC
BUOCA: Budget-Optimized Crowd Worker Allocation
Boston University（波士顿大学）
由于担心众包中的人为错误，标准做法是从多个互联网工作者那里收集同一数据点的标签。我们在这里表明，由此产生的预算可以更有效地使用灵活的工人分配策略，要求更少的工人分析易于标记的数据，更多的工人分析需要额外审查的数据。我们的主要贡献是展示如何分配的工人的数量，一个任务可以计算最佳的任务功能的基础上，而不使用工人配置文件。我们的目标任务是在显微镜图像中描绘细胞，并分析推文中对2016年美国总统候选人的情绪。首先，我们提出了一个算法，计算最优化的人群工作分配（BUOCA）。接下来，我们训练一个机器学习系统（BUOCA-ML），该系统预测最大化标记准确性所需的人群工作人员的最佳数量。我们表明，计算的分配可以在保持标签准确性的同时节省大量的众包预算（高达49%）。最后，我们设想了一个人机系统，用于在超出众包可行性的范围内执行自动优化的数据分析。
2019-01-11 cs.HC cs.LG stat.ML
A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
KAIST（韩国科学技术院）；University of Chicago（芝加哥大学）
本文提出一种众包的 $d$-type specialization model，允许任务和工人具有未知类型且类型数可缩放，刻画了最优样本复杂度，提出阶数最优的标签推断算法，在合成和真实数据集上均优于现有方法。
2023-09-13 cs.HC cs.IT cs.LG
Origins of Algorithmic Instabilities in Crowdsourced Ranking
众包系统汇集了许多人的决策，以帮助用户快速识别高质量的选项，例如问题的最佳答案或有趣的新闻故事。众包中一个长期存在的问题是，选项质量和人类判断力如何相互作用，以影响集体结果，例如选项的感知受欢迎程度。我们通过进行对照实验来解决这一限制，受试者在两个排名选项之间进行选择，其质量可以独立变化。我们使用这些数据来构建一个模型，该模型量化了在两个选项之间做出决定时，判断能力和选项质量如何结合。该模型显示，受欢迎程度排名可能是不稳定的：除非两个选项之间的质量差异足够高，否则不能保证质量较高的选项最终排名靠前。为了纠正这种不稳定性，我们创建了一种算法，该算法考虑了判断推理来推断最佳选项并将其排在第一位。如果数据与模型匹配，则该算法保证是最优的。然而，当数据与模型不匹配时，模拟表明，在实践中，该算法对任何两个选择题的排名都更好，或者至少与基于流行度和基于最近度的排名一样好。我们的工作表明，依赖于用户行为数学模型推理的算法可以大大改善众包系统的结果。
2020-10-23 cs.HC cs.SI
Improve Learning from Crowds via Generative Augmentation
University of Virginia（弗吉尼亚大学）
众包为监督式机器学习提供了一种有效的标签收集模式。然而，为了控制注释成本，众包数据中的每个实例通常由少量注释器注释。这会产生稀疏性问题，并限制在此类数据上训练的机器学习模型的质量。在本文中，我们研究如何处理稀疏众包数据使用数据增强。具体来说，我们建议通过增强原始稀疏注释来直接学习分类器。我们使用生成对抗网络实现高质量增强的两个原则：1）生成的注释应该遵循真实注释的分布，这是由鉴别器测量的; 2）生成的注释应该具有与地面实况标签的高互信息，这是由辅助网络测量的。在三个真实数据集上对一系列最先进的群体学习方法进行了广泛的实验和比较，证明了我们的数据增强框架的有效性。它显示了我们的算法在低预算众包中的潜力。
2021-07-22 cs.CV cs.HC cs.LG
Data Safety vs. App Privacy: Comparing the Usability of Android and iOS Privacy Labels
本研究通过24名用户的半结构化访谈，对比了Android Data Safety Labels与iOS App Privacy Labels的设计差异，发现两者在直观性、信息呈现及安全实践内容上各有优劣，为隐私标签的可用性改进提供了依据。
2024-01-06 cs.HC
Exploring Smart Commercial Building Occupants' Perceptions and Notification Preferences of Internet of Things Data Collection in the United States
本文通过对492名美国智能商业建筑使用者的在线调查，揭示了其对物联网数据收集的认知不足与误解，并发现多数人偏好推送式隐私通知，而移动应用通知在商业建筑中最不受欢迎。
2023-11-30 cs.CR cs.CY cs.HC
Mobile community sensing with smallholder farmers in a developing nation; A scaled pilot for crop health monitoring
此前，作物病虫害监测方面的众包实验一直作为小规模社区感知活动进行试验，有选定的小农户、推广人员和专家。虽然这些试点项目已经证明了使用移动电话进行社区感知的可行性，可以全年收集大量实时数据，以补充低资源的农业专家调查，但它们在推广社区感知系统与农民社区规模化实施的想法方面受到限制。这项工作提出了一个移动特设监测的规模部署的情况下，众包实时监测数据的木薯从超过175个小农户在乌干达。本文介绍了一个修改后的移动特设监测生态系统，以适应小农代理，通信模型和数据汇集模型，旨在涵盖空间利益的规模，监测，部署计划，培训方法和激励结构。该文件还介绍了农民代理人提供的早期成果，这些成果可用于监测种植材料在各区之间的流动，绘制木薯品种、繁殖地点和很少或根本无法获得农业推广服务的社区的地图，并可能指导高发病率地区的精确专家调查。
2019-08-19 cs.CY cs.HC cs.SI
Mapping Child Malnutrition and Measuring Efficiency of Community Healthcare Workers through Location Based Games in India
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Tampere University（坦佩雷大学）
本文通过基于位置的游戏收集儿童营养数据，提升社区医疗工作者的工作效率和数据准确性，验证了游戏化方法在空间数据采集中的有效性。
2026-04-08 cs.CY cs.HC
A Toolkit for Virtual Reality Data Collection
University of Hamburg（汉堡大学）；University of Münster（明斯特大学）
针对VR数据集规模不足的挑战，提出多功能数据收集工具包，通过OpenXR或虚拟设备兼容任意设备，并引入强调伦理与标准化的数据收集流程。
2024-12-23 cs.AI cs.HC cs.LG
