Older Adults' Motivation and Engagement with Diverse Crowdsourcing Citizen Science Tasks
在这项探索性研究中,我们评估了与不同公民科学任务互动的老年人的参与,表现和偏好。在最近活跃在Zooniverse平台上的40个项目中,我们选择了8个不同但标准化的微任务,图像、音频、文本和模式识别每类各2个。接下来,33名老年人在家里完成了这些微任务,并在完成后立即评估了每个任务,最后分享了什么可以鼓励他们在空闲时间参与这些任务。根据研究结果,我们得出初步结论,老年人的动机从事这样的众包任务,并提出一些指导方针,任务设计,同时讨论有趣的途径,为进一步调查在该地区的众包为老年人。
2022-07-07 cs.CY cs.HC
The Importance of Worker Reputation Information in Microtask-Based Crowd Work Systems
本文提出了第一个系统的调查人群工作系统的潜在性能收益,来自在请求者的个人工作者的声誉的可用信息。特别是,我们第一次正式的最优任务分配问题时,工人的声誉估计是可用的,作为最大化的单调(次模)函数受拟阵约束。然后,作为优化问题的NP-难,我们提出了一个简单而有效的贪婪启发式任务分配算法。我们还提出了一个简单的“最大后验”决策规则和基于消息传递的决策算法。最后,我们测试和比较不同的解决方案,表明系统性能可以大大受益于工人的声誉信息。我们的主要发现是:i)在任务分配中甚至可以有效地利用对工作者信誉的很大程度上不准确的估计,以极大地提高系统性能; ii)随着工作者信誉估计变得不准确,最大后验决策规则的性能迅速下降; iii)当工人的声誉估计明显不准确时,将我们提出的任务分配算法与消息传递决策算法相结合,可以获得最佳性能。
2016-05-26 cs.HC
Accurate inference of crowdsourcing properties when using efficient allocation strategies
University of Vermont(佛蒙特大学)
分配策略通过减少准确完成单个任务所需的工作来提高众包的效率。然而,这些算法通过优先将工人分配到容易的任务上来引入偏差,从而导致不再代表所有任务的已完成任务集。这种偏见挑战了对问题范围属性(如典型任务难度)或群体属性(如工人完成时间)的推断,这些重要信息超出了群体响应本身。在这里,我们研究的推理问题的属性时,使用分配算法,以提高人群的效率。我们介绍了决策显式概率抽样(DEPS),一种新的方法来执行推理的问题属性,同时考虑到潜在的偏见所引入的分配策略。真实和合成众包数据的实验表明,DEPS优于基线推理方法,同时仍然利用分配方法的效率收益。在使用非代表性数据时执行一般属性的准确推断的能力允许众包者从给定的众包数据集中提取更多的知识。
2022-04-27 cs.HC cs.LG stat.AP
Efficient Crowd Exploration of Large Networks: The Case of Causal Attribution
准确有效地众包复杂的、开放式的任务可能很困难,因为众包参与者倾向于喜欢简短、重复的“微任务”。我们研究了大型网络的众包,其中人群通过微任务提供网络拓扑。群体可以探索许多类型的社会和信息网络,但我们专注于因果归因网络,这是一个重要的网络,表明因果关系。我们在Amazon Mechanical Turk(AMT)上进行实验,测试工作人员如何提出和验证个体因果关系,并介绍了一种独立人群工作人员探索大型网络的方法。该方法的核心是迭代路径细化,是一种通过微任务进行有效探索的理论原则机制。我们评估的方法,使用合成网络,并将其应用于AMT提取一个大规模的因果归因网络,然后调查这个网络的结构,以及活动模式和效率的工人谁构建了这个网络。工人互动揭示了因果感知的重要特征,它们产生的网络数据可以提高我们对因果关系和因果推理的理解。
2018-10-07 cs.CY cs.HC cs.SI
Open-Set Crowdsourcing using Multiple-Source Transfer Learning
Southwest University(西南大学);Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research(山东大学-南洋理工大学人工智能联合研究中心);George Mason University(乔治梅森大学);King Abudullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出并定义了一个新的众包场景,即开集众包,我们只知道一个不熟悉的众包项目的大致主题,而不知道它的标签空间,即可能的标签集合。这仍然是一个任务标注问题,但对任务和标签空间的不熟悉阻碍了任务和工人的建模,也阻碍了真值推理。我们提出了一个直观的解决方案,OSCrowd。首先,OSCrowd将人群主题相关数据集集成到一个大的源域中,以促进部分迁移学习来近似这些任务的标签空间推理。接下来,它根据类别相关性为每个源域分配权重。在此之后,它使用多源开放集迁移学习来建模人群任务并分配可能的注释。迁移学习给出的标注空间和标注将用于指导和规范人群工作者的标注。我们在一个在线场景中验证了OSCrowd,并证明了OSCrowd解决了开集众包问题,比相关的众包解决方案更好。
2021-11-07 cs.HC cs.LG stat.ML
TurkScanner: Predicting the Hourly Wage of Microtasks
拥挤的市场里的工人们为谋生而挣扎。其中一个原因是,工人很难准确衡量微任务的小时工资,因此他们最终只能以很少的工资从事劳动。一般来说,工作人员提供的关于任务的信息很少,并且只能依赖于嘈杂的信号,例如任务的文本描述或请求者的评级。这项研究探讨了各种计算方法,用于预测工作时间(从而每小时工资)所需的任务的基础上收集的数据,从其他工人完成人群工作。我们提供以下贡献。(i)一种数据汇集方法,用于收集关于群体工作任务的真实训练数据以及工人完成任务所需的时间;(ii)TurkScanner:一种机器学习方法,可以预测完成任务所需的工作时间(因此可以隐含地提供预期的小时工资)。我们使用84名Amazon Mechanical Turk员工安装的Web浏览器扩展程序收集了9,155条数据记录,并探索了自动和询问员工准确记录工作时间的挑战。TurkScanner使用约150个衍生特征创建,能够在75%的误差内预测所有测试微任务中69.6%的时薪。未来研究的方向包括观察工具对人们工作实践的影响,使这种方法适应请求者工具以更好地设定价格,以及预测工作的其他要素(例如,接受可能性和工作者任务偏好)。
2019-03-17 cs.HC
Data Quality in Crowdsourcing and Spamming Behavior Detection
Arizona State University(亚利桑那州立大学)
本文提出基于方差分析的众包数据质量与垃圾行为的行为检测的系统方法,通过方差分析识别垃圾行为,提升了数据质量。
2025-06-25 cs.HC cs.LG stat.AP
Next Generation Crowdsourcing for Collective Intelligence
利用IT媒介的群体的新技术,如众测、情景众包、空间众包和可穿戴设备众包,现在已经出现。这些技术,在这里被称为下一代众包,用于扩展众包努力超越迄今为止占主导地位的桌面计算范例。这些技术采用新的硬件、软件和人员配置,代表了以IT为媒介的群体的新组织形式。然而,目前尚不清楚这些新技术如何改变IT介导的群体的过程和结果,以达到集体智慧的目的?这项探索性工作的目的是开始回答这个问题。这项工作概述了第一代众包范式的相关研究结果,然后审查有关新一代众包技术的新兴文献。在此审查的前提下,形成了一个集体详尽和相互排斥的类型学,组织下一代众包技术沿两个显着的尺寸共同所有第一代众包技术。因此,这项工作位于现有的众包文献中的下一代众包技术,并确定新的研究途径,直接从分析。
2017-02-10 cs.CY cs.HC
How to Work a Crowd: Developing Crowd Capital Through Crowdsourcing
传统上,“人群”一词几乎完全用于围绕共同目标、情感或体验进行自我组织的人。然而,今天,公司在讨论如何将个人集合用于组织目的时经常提到群体。众包,即利用信息技术将业务责任外包给大众,现在可以显著影响公司利用以前无法获得的资源建立竞争优势的能力。尽管如此,许多管理者对考虑众包犹豫不决,因为他们不明白众包的各种类型如何为公司增加价值。作为回应,我们解释了什么是众包,它提供的优势以及企业如何追求众包。我们首先制定众包类型学,并展示其四个类别(众包投票、微任务、创意和解决方案众包)如何帮助公司开发众包资本,这是一种从人群中利用的组织级资源。然后,我们提出了一个三步的过程模型产生人群资本。第一步包括重要的考虑因素,这些因素决定了如何构建群体。第二步概述了企业需要发展的能力,以从人群中获取和吸收资源(知识、劳动力、资金)。第三步处理关键的决策领域,管理者需要解决有效地吸引人群。
2017-02-13 cs.CY cs.HC
Unsupervised Crowdsourcing with Accuracy and Cost Guarantees
IIT Bombay(印度理工学院孟买分校)
我们考虑的问题的成本最优利用的众包平台的二进制,无监督分类的项目集合,给定一个规定的错误阈值。假设众包平台上的工作人员根据他们的技能、经验和/或过去的表现被分成多个类别。我们通过一个未知的混淆矩阵和一个(已知的)每个标签预测要支付的价格来对每个工人类进行建模。在这种情况下,我们提出了从工人那里获取标签预测的算法,以及推断项目的真实标签的算法。我们证明,如果(未标记的)项目的数量足够大,我们的算法满足规定的错误阈值,产生的成本是接近最优的。最后,我们通过一个广泛的案例研究来验证我们的算法,以及一些受其启发的算法。
2022-07-05 cs.HC cs.LG
The State of Pilot Study Reporting in Crowdsourcing: A Reflection on Best Practices and Guidelines
该研究通过对171篇相关文献的系统综述,发现众包领域试点研究存在报告不足的问题,进而提出了报告最佳实践指南及平台设计启示。
2023-12-13 cs.CY cs.HC
Knowledge Learning with Crowdsourcing: A Brief Review and Systematic Perspective
Nanjing University of Science and Technology(南京理工大学)
大数据具有海量、高速、多样性、价值稀疏性和不确定性等特点,使得从大数据中获取知识充满挑战。随着众包的出现,可以按需获得多样化的信息,从而使群体的智慧易于参与,以促进知识学习过程。在过去的十三年里,人工智能社区的研究人员做出了巨大的努力,以消除从人群中学习的障碍。这篇集中的调查论文从数据、模型和学习过程三个维度的系统视角全面回顾了众包学习的技术进展。除了回顾现有的重要工作外,本文还特别强调在每个维度上提供一些有希望的蓝图,并讨论我们过去研究工作的经验教训,这将为新的研究人员照亮道路,并鼓励他们做出新的贡献。
2022-06-19 cs.AI cs.HC cs.LG
Crowdsourcing Creative Work
这篇基于文章的博士论文探讨了两个领先的众包平台上众包创意工作的利益相关者的观点和经验。论文分为两个部分。在第一部分中,我们从人群工作者的角度探讨创造性工作。在第二部分中,我们探讨和研究了不同语境下的请求者视角和几个案例。这项研究是探索性的,我们使用基于调查和人工制品的方法在人机交互(HCI)领域常见的经验见解。在前一种方法中,我们探讨了可能限制付费众包平台上创造性工作的关键问题。在后一种方法中,我们创建计算人工制品,以从众包创造性工作的众包工作者和请求者那里获得真实的经验。本文根据人群工作者的人口统计学特征、性格特征和对创造性工作的偏好,将人群工作者分为五种原型。我们建议将众包平台上的创意工作分为三部分:创意任务、创意测试和创意判断(也称为创意反馈)。本文进一步探讨了新兴的研究课题,即如何支持请求者解释和评估复杂的创造性工作。最后,我们讨论了设计对研究和实践的影响,并对未来众包平台上的创造性工作提出了愿景,目的是赋予众包工作者权力,并围绕创造性微工作的定制平台培养一个生态系统。关键词:创意工作,创意,创意支持工具,众包
2022-03-20 cs.HC
Comparing Generic and Community-Situated Crowdsourcing for Data Validation in the Context of Recovery from Substance Use Disorders
将合适的工人群体作为众包的目标通常会取得更好的质量结果。有针对性的众包的一个独特例子是寻找社区工作者,他们熟悉特定群体的背景和规范,可以帮助产生更好的结果或准确性。这些社区人群工作者可以通过不同的方式从通用的在线众包平台或在线恢复社区招募。我们评估了三种不同的方法来招募通用和社区人群的招聘时间和成本,以及任务完成的准确性。我们认为,酗酒者匿名(AA),最大的同龄人支持组恢复酗酒者的背景下,识别和验证AA会议信息的任务。我们讨论了招聘有偿与无偿社区工作者的好处和权衡,并为未来的研究提供了影响,在恢复的背景下和相关领域的HCI,众包ICT系统的设计。
2020-12-13 cs.HC cs.SI
CrowDC: A Divide-and-Conquer Approach for Paired Comparisons in Crowdsourcing
基于主观性对一组样本进行排名,例如流媒体视频的体验质量或图像的幸福感,一直是典型的众包任务。许多研究采用配对比较分析来解决挑战,因为它通过允许参与者选择单一解决方案来减少参与者的工作量。尽管如此,为了彻底比较所有目标组合,任务的数量呈二次方增加。本文提出了一种分而治之的配对比较算法--CrowDC。仿真结果表明,当排序超过100个项目时,CrowDC可以减少40-50%的任务数量,同时保持90-95%的准确率。
2023-02-23 cs.HC cs.SI
Mechanical Novel: Crowdsourcing Complex Work through Reflection and Revision
众包系统通过将工作分解为独立的部分来完成大规模和快速的任务。然而,许多类型的复杂创造性工作,如小说写作,仍然无法为大众所接受,因为工作是紧密相互依赖的:改变故事的一部分可能会引发整体情节的变化,反之亦然。从专家作者的写作中获得灵感,我们提出了一种技术,用于实现与人群相互依赖的复杂目标。使用这种技术,群组在反射和修订之间循环,反射用于选择高级别目标,修订用于将该目标分解为低级别的可操作任务。我们在Mechanical Novel中体现了这种方法,这是一个在Amazon Mechanical Turk上众包短篇小说故事的系统。在实地实验中,Mechanical Novel比迭代众包工作流程产生了更高质量的故事。我们的研究结果表明,围绕高层次的目标进行群体工作,可以使工作人员协调他们的努力来完成复杂的工作。
2016-11-08 cs.HC
A Comparative Study on Annotation Quality of Crowdsourcing and LLM via Label Aggregation
University of Yamanashi(山梨大学)
本文构建众包数据集基准,比较个体众包与 LLM 标签及聚合标签质量,并提出 Crowd-LLM 混合聚合方法,证明加入优质 LLM 标签可提升众包聚合标签质量。
2024-01-18 cs.CL cs.HC
MOOCs and Crowdsourcing: Massive Courses and Massive Resources
在观察到MOOC和众包现象具有几个重要特征的前提下,包括IT中介,大规模的人类参与以及对参与者的不同开放程度,这项工作系统化了MOOC和众包现象的比较。在这样做的过程中,我们了解到,这两个领域共享进一步的共同特征,包括相似的IT结构,知识生成能力,中介服务提供商的存在,以及旨在吸引和维持参与者活动的技术。直接从这个分析,我们讨论了未来的研究在这两个领域的新方向,并得出了可操作的影响,在这两个领域的从业者和研究人员。
2017-02-10 cs.CY cs.HC
Reply & Supply: Efficient crowdsourcing when workers do more than answer questions
众包的工作原理是将许多小任务分配给大量的工作人员,但众包的真正潜力在于工作人员做的不仅仅是执行简单的任务--他们可以运用自己的经验和创造力为众包者提供新的和意想不到的信息。其中一种情况是,工作人员不仅回答了众包者的问题,而且还为随后的人群分析提供了新的问题,从而产生了越来越多的问题。这种增长为早期的问题创造了固有的偏见,因为一个工人早期引入的问题可以由更多的后续工人回答,而不是稍后引入的问题。在这里,我们研究如何执行有效的众包与这样不断增长的问题集。通过将问题集建模为相互关联的问题网络,我们引入了算法,通过在探索新问题和解决当前问题之间有效地分配工作人员来帮助减少增长偏差。实验和仿真表明,这些算法可以有效地探索一个无界的问题集,而不会失去信心的人群答案。
2017-08-15 cond-mat.dis-nn cs.HC cs.SI
What do crowd workers think about creative work?
众包平台是招募在线研究参与者和从人群中收集数据的强大而方便的手段。随着信息工作越来越多地被机器学习算法自动化,创造力$-$,即人类的发散和收敛思维能力$-$将在在线众包平台上发挥越来越重要的作用。然而,我们缺乏对人群工作者对创造性工作的看法的见解。在人机交互(HCI)的研究中,人群参与创造性工作的能力和意愿似乎在很大程度上是毋庸置疑的。深入了解工人的观点是罕见的,但很重要,因为它们可以为更高有效性的研究设计提供信息。鉴于创造力将在众包中发挥越来越重要的作用,必须了解员工如何看待创造性工作。在本文中,我们总结了我们最近在两个通用众包平台(亚马逊土耳其机器人和多产)上以工作者为中心的创造性工作研究。我们的研究阐明了这两个众包平台上的众包工作者的创造性工作。这项工作确定了几种对创造性工作持不同态度的典型工人类型,并讨论了众包平台上创造性工作的常见陷阱。
2020-02-24 cs.HC
Crowdsourcing: A Framework for Usability Evaluation
本研究针对传统软件可用性评估成本高、耗时长的问题,通过系统映射研究、多组对比实验及案例研究,构建并验证了众包可用性检查框架,证明新手在启发式规则指导下可达到专家评估水平,为预算有限的软件公司提供了可行的可用性评估方案。
2024-08-13 cs.HC cs.SE
Analytic Methods for Optimizing Realtime Crowdsourcing
实时众包研究表明,通过管理一个小规模、反应迅速的工人群体,可以在几秒钟内招募到付费人群。实时人群使以交互速度响应的人群驱动系统成为可能:例如,相机,机器人和即时民意调查。到目前为止,这些技术主要是概念验证原型:研究尚未试图了解它们如何大规模工作或优化其成本/性能权衡。本文利用排队论分析了实时众包的预约模型,特别是其期望等待时间和成本的请求。我们提供了一个算法,允许请求者,以尽量减少其成本的性能要求。然后,我们提出并分析了三种技术来提高性能:推送通知,共享的保留池,和precruitment,这涉及到调用保留工人之前,任务实际到达。一项实验验证发现,预先确定的工作人员在发布任务后500毫秒开始执行任务,提供的结果低于终端用户保持流状态的一秒认知阈值。
2012-04-13 cs.HC cs.SI physics.soc-ph
Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth
DIMACS, Rutgers University(Rutgers大学DIMACS研究中心)
本文针对众包标注中LLM作弊问题,提出一种基于同伴预测的免训练评分机制,在无真值条件下利用工作者答案间相关性检测LLM污染,并给出理论保证与实证验证。
2025-11-06 cs.AI cs.GT cs.HC