Evaluating Complex Task through Crowdsourcing: Multiple Views Approach
University of Louisville(路易斯维尔大学)
随着大规模开放式在线课程的普及,通过众包进行评分已成为大规模课程的普遍方法。然而,对于复杂任务的评分,这需要特定的技能和努力来评分,众包遇到了来自人群的工人的知识不足的限制。由于群体评分者知识的局限性,基于局部视角的评分成为众包评估复杂任务的一大挑战。特别是对于那些不仅需要特定知识进行评分,而且应该作为一个整体进行评分而不是分解为更小更简单的子任务的任务。我们提出了一个框架,通过多个视图,这是由专家定义的任务,以提供统一的不同的分级角度来分级复杂的任务。基于评分者方差的聚合算法用于组合每个视图的评分。我们还检测评分员的偏见模式,并消除他们对任务的每个观点的偏见。偏差模式决定了评分者之间的行为偏差,这是通过统计技术检测的。所提出的方法进行了分析上的合成数据集。我们表明,我们的模型给出了更准确的结果相比,没有不同的意见和去偏置算法的分级方法。
2017-03-30 cs.AI cs.HC
Investigating Crowdsourcing to Generate Distractors for Multiple-Choice Assessments
我们提出并分析了一项试点研究的结果,该研究探讨了如何在多项选择概念清单(理解的概念测试)中产生干扰因素(不正确的答案选择)的过程中使用众包。据我们所知,我们是第一个提出和研究这种方法的。使用Amazon Mechanical Turk,我们收集了来自网络安全评估工具项目的网络安全概念清单和数字逻辑概念清单的几个问题的大约180个开放式回答。我们通过过滤响应、对相似响应进行分组、选择四个最频繁的组并为每个组精炼一个代表性的干扰项来生成初步的干扰项。我们从两个方面分析了数据。首先,我们比较了反应和由此产生的干扰与上述清单。第二,我们从Amazon Mechanical Turk获得了关于其他受试者的新测试项目草案(包括干扰项)的反馈。使用众包的挑战包括控制主题的选择和过滤掉不反映真正努力的答复。尽管有这些挑战,我们的研究结果表明,众包可以是一个非常有用的工具,在产生有效的干扰(有吸引力的主题谁不理解的目标概念)。我们的研究结果还表明,这种方法比传统的方法更快,更容易,更便宜,传统的方法是让一个或多个专家起草干扰物,并与受试者进行大声交谈,以发现他们的误解。我们的结果是重要的,因为产生有效的干扰是创建多项选择评估中最困难的步骤之一。
2019-09-10 cs.HC
Unsupervised Crowdsourcing with Accuracy and Cost Guarantees
IIT Bombay(印度理工学院孟买分校)
我们考虑的问题的成本最优利用的众包平台的二进制,无监督分类的项目集合,给定一个规定的错误阈值。假设众包平台上的工作人员根据他们的技能、经验和/或过去的表现被分成多个类别。我们通过一个未知的混淆矩阵和一个(已知的)每个标签预测要支付的价格来对每个工人类进行建模。在这种情况下,我们提出了从工人那里获取标签预测的算法,以及推断项目的真实标签的算法。我们证明,如果(未标记的)项目的数量足够大,我们的算法满足规定的错误阈值,产生的成本是接近最优的。最后,我们通过一个广泛的案例研究来验证我们的算法,以及一些受其启发的算法。
2022-07-05 cs.HC cs.LG
Crowdsourcing Multiple Choice Science Questions
University College London(伦敦大学学院);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了一种新的方法来获得高质量的,有针对性的多项选择题人群工作者。在不牺牲答案选项的原创性、相关性或多样性的情况下,生成这些问题可能很困难。我们的方法通过利用一个大型的特定领域的文本语料库和一个小的现有问题集来解决这些问题。它为文档选择和答案干扰项选择生成模型建议,以帮助人类问题生成过程。通过这种方法,我们组装了SciQ,一个包含13.7K多项选择科学考试问题的数据集(数据集可在http://allenai.org/data.html上获得)。我们证明了该方法通过提供对这个新数据集的分析并通过显示人类无法区分众包问题和原始问题来产生域内问题。当使用SciQ作为现有问题的额外训练数据时,我们观察到真实科学考试的准确性提高。
2017-07-19 cs.AI cs.CL cs.HC
Crowdsourcing On-street Parking Space Detection
Oxford Brookes University(牛津布鲁克斯大学);IBM Analytics(IBM分析事业部)
随着车辆数量的持续增长,城市街道上的停车位非常珍贵。此外,由于缺乏关于街道停车位的知识,启发式绕街区不仅花费驾驶员的时间和燃料,而且增加了城市拥堵。在最近建设方便,绿色和节能的智能城市的趋势之后,我们重新思考了备受瞩目的智能停车系统所采用的常见技术,并提出了一个用户参与(众包)和基于声纳的原型来识别城市路边停车位。该原型包括一个超声波传感器,一个GPS接收器和相关的Arduino微控制器。它安装在汽车的乘客侧,用于测量车辆到最近的路边障碍物的距离。在牛津的惠特利周围进行了多次道路测试,以收集结果并模仿众包方法。通过从采集的轨迹中提取停放车辆的特征,开发了一种监督学习算法来估计路边停车占用率和发现违规停车车辆。一个数量估计模型推导出计算所需的传感单元的数量,以覆盖城市街道。将该估计定量地与固定感测解决方案进行比较。结果表明,众包的方式将需要显着更少的传感器相比,固定的传感系统。
2016-03-01 cs.HC cs.LG
Transfer from Multiple Linear Predictive State Representations (PSR)
Worcester Polytechnic Institute(伍斯特理工学院)
在本文中,我们解决的问题,从多个部分可观察的源环境的政策,部分可观察的目标环境建模为预测状态表示。这是一种全新的方法,除了在完全可观察域中转移的情况之外,没有以前的工作。我们开发的算法,成功地实现政策转移时,我们有模型的源和目标任务,并详细讨论其性能和缺点。这些算法可以作为部分可观测性领域迁移学习的起点。
2017-02-07 cs.LG
Efficient Crowdsourcing via Proxy Voting
众包平台提供了一种通过聚合多个不合格工人的答案来标记数据的方法。我们介绍了一个\textit{simple}和\textit{budget efficient}众包方法称为代理众包(PCS)。PCS从两组工作者收集答案:\textit{leaders}(也称为代理)和\textit{followers}。每个领导者完全回答了调查,而每个追随者只回答了其中的一小部分。然后,我们根据其答案最接近的追随者数量对每个领导者进行加权,并使用任何标准聚合方法(例如,分类标签的复数或连续标签的均值)。我们比较经验的PCS的性能,未加权聚合,保持问题(预算)的总数固定。我们表明,PCS提高了多个数据集的聚合答案的准确性,无论是分类标签还是连续标签。总的来说,我们建议的方法提高了准确性,同时简单且易于实现。
2018-06-16 cs.GT cs.HC
A Comparative Study on Annotation Quality of Crowdsourcing and LLM via Label Aggregation
University of Yamanashi(山梨大学)
本文构建众包数据集基准,比较个体众包与 LLM 标签及聚合标签质量,并提出 Crowd-LLM 混合聚合方法,证明加入优质 LLM 标签可提升众包聚合标签质量。
2024-01-18 cs.CL cs.HC
BUOCA: Budget-Optimized Crowd Worker Allocation
Boston University(波士顿大学)
由于担心众包中的人为错误,标准做法是从多个互联网工作者那里收集同一数据点的标签。我们在这里表明,由此产生的预算可以更有效地使用灵活的工人分配策略,要求更少的工人分析易于标记的数据,更多的工人分析需要额外审查的数据。我们的主要贡献是展示如何分配的工人的数量,一个任务可以计算最佳的任务功能的基础上,而不使用工人配置文件。我们的目标任务是在显微镜图像中描绘细胞,并分析推文中对2016年美国总统候选人的情绪。首先,我们提出了一个算法,计算最优化的人群工作分配(BUOCA)。接下来,我们训练一个机器学习系统(BUOCA-ML),该系统预测最大化标记准确性所需的人群工作人员的最佳数量。我们表明,计算的分配可以在保持标签准确性的同时节省大量的众包预算(高达49%)。最后,我们设想了一个人机系统,用于在超出众包可行性的范围内执行自动优化的数据分析。
2019-01-11 cs.HC cs.LG stat.ML
Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment
Kyoto University(京都大学)
针对众包多准则评估中的认知偏差问题,构建众包评估数据集研究准则间偏差影响,并提出两种考虑准则间关系的贝叶斯意见聚合模型结构,有效减少偏差并提升聚合准确性。
2024-07-10 cs.HC cs.LG
OSINT Research Studios: A Flexible Crowdsourcing Framework to Scale Up Open Source Intelligence Investigations
针对OSINT调查难以扩展的问题,本文采用DBR方法构建ORS社会技术系统,培训新手众包人员支持专业人员跨领域发现与验证开源情报,定性评估表明其能促进合乎道德且有效的调查。
2024-01-01 cs.HC
A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
KAIST(韩国科学技术院);University of Chicago(芝加哥大学)
本文提出一种众包的 $d$-type specialization model,允许任务和工人具有未知类型且类型数可缩放,刻画了最优样本复杂度,提出阶数最优的标签推断算法,在合成和真实数据集上均优于现有方法。
2023-09-13 cs.HC cs.IT cs.LG
Crowdsourcing Airway Annotations in Chest Computed Tomography Images
Eindhoven University of Technology(埃因霍温理工大学);Erasmus MC - University Medical Center Rotterdam(伊拉斯谟医学中心-鹿特丹大学医学中心);Erasmus MC - Sophia Children’s Hospital(伊拉斯谟医学中心-索菲亚儿童医院);University of Copenhagen(哥本哈根大学)
在胸部计算机断层扫描(CT)扫描中测量气道对于表征囊性纤维化等疾病非常重要,但手动执行非常耗时。机器学习算法提供了一种替代方案,但需要大量带注释的扫描来获得良好的性能。我们调查众包是否可以用来收集气道注释。我们在24名受试者的气道已知位置生成图像切片,并要求人群工作人员勾勒出气道腔和气道壁。在结合多个人群工作人员之后,我们将测量结果与专家在原始扫描中所做的测量结果进行比较。与我们的初步研究类似,很大一部分注释被排除在外,可能是由于工人误解了说明。在排除这样的注释之后,可以观察到与专家的中等到强的相关性,尽管这些相关性略低于专家间的相关性。此外,本研究中受试者的结果差异很大。虽然人群在注释气道方面具有潜力,但需要进一步开发以使其足够健壮以在实践中收集注释。对于重现性,数据和代码可在线获得:\url{http://github.com/adriapr/crowdairway.git}。
2020-11-20 cs.CV cs.HC
A Light-weight, Effective and Efficient Model for Label Aggregation in Crowdsourcing
Hefei University of Technology(合肥工业大学);University of Tasmania(塔斯马尼亚大学);Data61, CSIRO(联邦科学与工业研究组织Data61);Auckland University of Technology(奥克兰理工大学)
由于众包标签中的噪声,标签聚合(LA)已经成为后处理众包标签的标准过程。LA方法通过对工人素质进行建模,从众包标签中估计真实标签。大多数现有的LA方法是迭代的性质。他们需要多次遍历所有众包标签,以便联合并迭代地更新真实标签和工人质量,直到收敛。因此,这些方法具有高的空间和时间复杂度。在本文中,我们将LA视为一个动态系统,并将其建模为动态贝叶斯网络。从动态模型中,我们得到了两个轻量级的算法,LA \textsuperscript{onepass}和LA \textsuperscript{twopass},它可以有效地和高效地估计工人的质量和真正的标签,通过遍历所有的标签最多两次。由于动态特性,所提出的算法还可以在线估计真实标签,而无需重新访问历史数据。我们从理论上证明了所提出的算法的收敛性,并限制了估计工人质量的误差。我们还分析了所提出的算法的空间和时间复杂度,并表明它们是等同于多数表决。在20个真实数据集上进行的实验表明,所提出的算法可以有效地和高效地聚合标签在离线和在线设置,即使他们遍历所有的标签最多两次。
2022-11-19 cs.AI cs.HC cs.LG
Learning From Crowdsourced Noisy Labels: A Signal Processing Perspective
Department of Electrical and Computer Engineering, University of Central Florida(中央佛罗里达大学电气与计算机工程系);School of Electrical Engineering and Computer Science, Oregon State University(俄勒冈州立大学电气工程与计算机科学学院);Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系)
本文从信号处理视角综述众包噪声标签学习方法,涵盖经典统计模型到深度学习,并探讨RLHF与DPO等新兴方向。
2025-07-02 cs.AI cs.HC cs.LG
Crowdsourcing for Identification of Polyp-Free Segments in Virtual Colonoscopy Videos
虚拟结肠镜检查(VC)允许医生在重建的3D结肠模型内虚拟导航以搜索结直肠息肉。虽然VC被广泛认为是识别息肉的高度敏感和特异性测试,但一个限制是阅读时间,每位患者可能需要超过30分钟。大量的结肠通常没有息肉,并且识别这些无息肉段的方法在减少询问放射科医生所需的阅读时间方面可能是有价值的。为此,我们测试了非专家工作者的集体群体智力识别息肉候选者和无息肉区域的能力。我们向每个工作人员展示了20段短视频,这些视频飞过一段虚拟结肠,并要求人群确定在该视频片段中是否观察到可能的息肉。我们在Amazon Mechanical Turk上评估了我们的框架,发现人群在识别包含临床证明的息肉的视频片段时能够实现80.0%的灵敏度和86.5%的特异性。由于每个息肉出现在多个连续段中,因此实际上识别了所有息肉。使用人群结果作为第一遍,理论上放射科医生可以跳过80%的视频片段,相当于显著节省时间,并能够执行更多的VC检查。
2017-07-24 cs.HC
CROWDLAB: Supervised learning to infer consensus labels and quality scores for data with multiple annotators
Cleanlab(Cleanlab公司)
用于分类的真实世界数据通常由多个注释器标记。为了分析这些数据,我们引入了CROWDLAB,这是一种直接的方法,可以利用任何经过训练的分类器来估计:(1)聚合可用注释的每个示例的共识标签;(2)每个共识标签正确的可能性的置信度得分;(3)每个注释者的评级量化其标签的整体正确性。在众包中估计相关量的现有算法通常依赖于具有迭代推理的复杂生成模型。CROWDLAB使用简单的加权集合。现有的算法往往只依赖于注释器的统计数据,忽略了从注释派生的例子的功能。CROWDLAB利用任何在这些特征上训练的分类器模型,因此可以更好地在具有相似特征的示例之间进行概括。在真实世界的多注释器图像数据上,我们提出的方法提供了比Dawid-Skene/GLAD等现有算法更好的(1)-(3)估计。
2023-01-27 cs.HC cs.LG stat.ML
What's Your Value of Travel Time? Collecting Traveler-Centered Mobility Data via Crowdsourcing
流动性和交通,就其性质而言,涉及人群,需要多个利益相关者的协调-如政策制定者,规划者,交通运营商和旅行者本身。然而,传统的方法一直专注于节省时间,向用户提出包括最短或最快路径的解决方案。我们认为,这种对旅行时间价值的方法是不是集中在旅行者的角度来看。到目前为止,很少有研究从旅行者群体中挖掘数据来测试新的移动模式的功效和效率。在本文中,我们建立在一个不同的范例值得的时间,旅行者可以使用他们的旅行时间用于其他活动,我们提出了一个新的数据集,其中包含有关旅行者和他们的旅程,从一个专用的移动应用程序收集的数据。每次旅行都包含多方面的信息:从交通方式,通过其评估,到积极和消极的经验因素。为了展示这一新数据集的潜力,我们还提出了一个用例,将相应的行程与不同的交通方式进行比较,研究对使用自行车和公共交通作为汽车替代品的用户产生负面影响的体验因素。最后,我们讨论了其他应用领域和研究机会,使数据集。
2021-04-12 cs.CY cs.HC
How Does Tweet Difficulty Affect Labeling Performance of Annotators?
众包是一种以中等成本获得标记数据的流行方法,例如用于推文,然后可以用于文本挖掘任务。为了缓解这种情况下的低质量标签问题,已经分析了多种人为因素,以识别和处理提供此类标签的工人。然而,很少考虑的一个方面是标记tweet的固有困难以及这如何影响注释者分配给这些tweet的标签的可靠性。因此,我们在这项初步研究中使用Twitter上的分层情感标签任务来调查这种联系。我们发现,这两个因素之间确实存在关系,假设注释者之前已经标记了一些推文:分配给简单推文的标签比分配给困难推文的标签更可靠。因此,在我们的实验中,在简单的推文上训练预测器可以将性能提高6%。这意味着主动学习技术和众包的潜在改进。
2018-08-01 cs.HC
Content Transfer Across Multiple Screens with Combined Eye-Gaze and Touch Interaction -- A Replication Study
在本文中,我们描述了两年前复制我们的一项研究的结果,该研究比较了在VR中跨多个屏幕传输内容的两种技术。先前研究的结果表明,在任务完成时间、模拟器疾病、任务负荷和可用性方面,组合的凝视和触摸输入可以优于双手触摸输入。除了模拟器疾病,这些发现可以通过复制来验证。关于模拟器疾病的差异和其他测量的绝对分数的变化可以通过具有较少VR体验的不同用户组来解释。
2022-10-24 cs.HC