The Challenges of Crowd Workers in Rural and Urban America
群众工作有可能帮助传统上受到缺乏经济机会困扰的地区的金融复苏，例如，农村然而，我们目前对来自农村和超级农村地区的人群工作者所面临的挑战的信息有限，因为他们努力通过人群工作场所谋生。本文探讨了农村和超级农村亚马逊机械土耳其人（MTurk）人群工人的挑战和优势，并将其与城市地区的工人进行了对比。基于对来自美国不同地理区域的421名人群工作者的调查，我们发现，在不同的地区，人们是如何努力融入人群工作的。我们发现，尽管存在不平等和障碍，但农村工人往往比城市工人更努力地完成微观任务。我们还确定了与时间维度和个人主义有关的文化特征，这些特征为我们提供了对人群工作者的深入了解，以及他们在演出平台上取得成功的必要素质。最后，我们根据我们的研究结果提供设计建议，以创建更具包容性的人群工作平台和工具
2020-12-30 cs.HC
A Data-Driven Analysis of Workers' Earnings on Amazon Mechanical Turk
越来越多的人在网上工作，其特点是工资低;然而，我们对工资分配和低/高收入的原因知之甚少。我们记录了2，676名员工在Amazon Mechanical Turk上执行380万项任务。我们的任务级别分析显示，员工的平均时薪仅为2美元/小时，只有4%的员工的时薪超过7.25美元/小时。平均请求者支付超过11美元/小时，尽管低收入的请求者发布更多的工作。我们的工资计算受到无薪工作如何计入工资计算的影响，例如，搜索任务、处理被拒绝的任务以及处理最终未提交的任务所花费的时间。我们进一步探讨了产生更高时薪的任务和工作模式的特征。我们的分析为未来的平台设计和工人工具提供了信息，为人群工作创造了更积极的未来。
2017-12-28 cs.CY cs.HC
Breaking Monotony with Meaning: Motivation in Crowdsourcing Markets
我们进行了第一个自然的现场实验，以探讨任务的“意义”和工人的努力之间的关系。我们从亚马逊的土耳其机器人（MTurk）（一个在线劳动力市场）雇佣了大约2,500名工人，为医学图像贴标签。尽管给定了相同的任务，但我们通过实验操纵了任务的框架方式。有意义治疗组的受试者被告知他们标记肿瘤细胞是为了帮助医学研究人员，零背景条件下的受试者（对照组）没有被告知任务的目的，与之形成鲜明对比的是，粉碎治疗组的受试者没有被告知背景，并被告知他们的工作将被丢弃。我们发现，当一项任务的框架更有意义时，员工更有可能参与其中。我们还发现，有意义的处理增加了产出的数量（质量变化不大），而切碎的处理降低了产出的质量（数量没有变化）。我们相信这些结果将推广到其他短期劳动力市场。我们的研究还讨论了MTurk作为一个令人兴奋的平台，在经济学中运行自然领域的实验。
2012-10-03 cs.HC stat.OT
Deploying a Robust Active Preference Elicitation Algorithm on MTurk: Experiment Design, Interface, and Evaluation for COVID-19 Patient Prioritization
USC Center for AI in Society（南加州大学人工智能与社会中心）；USC School of Philosophy（南加州大学哲学学院）
本研究针对COVID-19患者医疗资源优先级分配问题，开发在线偏好启发平台，通过193名MTurk用户验证了鲁棒主动偏好启发算法比随机查询性能高21%，弥补了仿真假设的局限性。
2023-11-06 cs.AI cs.HC
Crowd Coach: Peer Coaching for Crowd Workers' Skill Growth
传统就业通常为工人提供提高技能以获得更好机会的机制。然而，像Amazon Mechanical Turk（AMT）这样的群体工作平台通常不支持技能开发（即，在工作中变得更快更好）。虽然研究人员已经开始解决这个问题，但大多数解决方案都依赖于愿意提供帮助的专家或请求者。然而，请求者通常缺乏必要的知识，而专家很少，而且价格昂贵。为了进一步促进人群工作者的技能增长，我们提出了人群教练，一个系统，使工作人员在工作时接受同伴教练。我们进行了一个现场实验和现实世界的部署，研究人群教练在野外。数百名工人在各种任务中使用Crowd Coach，包括写作，做调查和标记图像。我们发现Crowd Coach在不牺牲工作质量的情况下提高了工作人员的速度，特别是在音频转录任务中。我们认为，同伴教练系统具有更好地支持人群工作者在工作中的技能发展的潜力。最后，我们从我们的研究设计的影响。
2018-11-13 cs.HC
What do crowd workers think about creative work?
众包平台是招募在线研究参与者和从人群中收集数据的强大而方便的手段。随着信息工作越来越多地被机器学习算法自动化，创造力$-$，即人类的发散和收敛思维能力$-$将在在线众包平台上发挥越来越重要的作用。然而，我们缺乏对人群工作者对创造性工作的看法的见解。在人机交互（HCI）的研究中，人群参与创造性工作的能力和意愿似乎在很大程度上是毋庸置疑的。深入了解工人的观点是罕见的，但很重要，因为它们可以为更高有效性的研究设计提供信息。鉴于创造力将在众包中发挥越来越重要的作用，必须了解员工如何看待创造性工作。在本文中，我们总结了我们最近在两个通用众包平台（亚马逊土耳其机器人和多产）上以工作者为中心的创造性工作研究。我们的研究阐明了这两个众包平台上的众包工作者的创造性工作。这项工作确定了几种对创造性工作持不同态度的典型工人类型，并讨论了众包平台上创造性工作的常见陷阱。
2020-02-24 cs.HC
Fulfillment of the Work Games: Warehouse Workers' Experiences with Algorithmic Management
本文基于对 Amazon 履约中心两年的民族志研究，探讨了仓库工人对算法管理的体验与抵制实践，揭示了工人如何通过“工作游戏”能动地应对算法控制，以深化对算法管理下社会技术劳动系统的批判与理解。
2025-08-13 cs.HC
Exploring Effectiveness of Inter-Microtask Qualification Tests in Crowdsourcing
众包中的资格测试通常用于通过测量员工执行微任务的能力来预过滤员工。虽然为每种任务类型创建资格测试被认为是一种常见且合理的方法，但本研究调查了当在多种任务类型中使用相同的资格测试时，其员工过滤性能。在Amazon Mechanical Turk上，我们在六种不同的情况下测试了注释准确性，其中任务由两个不同的难度级别组成，来自相同的现实世界领域：四种组合情况，其中资格测试和实际任务彼此相同或不同，以及另外两种情况，即要求具有硕士资格的工人只执行实际任务。实验结果证明了以下两个发现：i）被分配到困难的资格测试的工人得分更高，无论实际任务的难度如何; ii）具有硕士资格的工人在低难度任务中获得了更好的注释准确性，但在高难度任务中不如通过资格测试的人准确。
2020-12-20 cs.HC
Qualitative Framing of Financial Incentives - A Case of Emotion Annotation
亚马逊土耳其机器人（Amazon Mechanical Turk）等在线劳动力平台为引发对判断任务的反应提供了一个有效的框架。以前的研究表明，员工对经济激励的反应最好，特别是额外的奖金。然而，大多数经过测试的激励措施都涉及用公式而不是简单的英语描述奖金条件。我们认为，不同的英语激励（或定性框架）将导致工人的绩效差异，特别是当任务难度不同。在本文中，我们报告了一个众包实验的初步结果，比较工人的绩效只使用定性框架的财政激励。我们的研究结果表明，工人的性能显着增加，使用一个特定的精心制定的定性框架的启发同行真理血清。只有当任务的难度很高时，才能观察到这种积极的影响，而当任务很容易时，使用哪种激励措施没有区别。
2016-09-02 cs.HC
Crowd Work on a CV? Understanding How AMT Fits into Turkers' Career Goals and Professional Profiles
2013年，学者们为群体工作的可持续性和道德未来制定了一个框架，建议使用职业阶梯，以便群体工作能够带来职业发展和更多的经济流动性。五年后，我们在Amazon Mechanical Turk（AMT）的背景下考虑了这一愿景。为了了解工人目前如何看待他们在AMT上的经历，以及他们如何在职业生活中公开展示和分享这些经历，我们对AMT工人进行了一项调查研究（n=98）。我们管理的调查包括多项选择、二元和开放式（短段落）项目的组合，以衡量土耳其人在更广泛的工作经验和职业目标背景下对AMT的看法。这项工作扩展了对人群工作者是谁以及他们为什么要人群工作的现有理解，试图更好地了解人群工作如何影响Turkers的职业概况，以及我们如何随后更好地支持人群工作者的职业发展。我们的调查结果可以为更好的工具的设计提供信息，以使人群工作者能够在AMT内外进行专业发展。
2019-02-13 cs.HC
Quantifying the Invisible Labor in Crowd Work
众包市场为工人提供了一个集中的地方来寻找有偿工作。乍看之下可能并不明显的是，除了为了报酬而做的工作，人群工作者还必须在这些市场中承担各种无报酬的无形劳动，这最终会降低工人的时薪。无形的劳动包括寻找好的任务，消息请求者或管理付款。然而，我们目前对人群工作者实际花在无形劳动上的时间以及经济成本知之甚少。为了确保人群工作的公平和公正的未来，我们需要确保工人们所做的所有工作都得到公平的报酬。在本文中，我们进行了一项实地研究，以量化人群工作中的无形劳动。我们构建了一个插件来记录Amazon Mechanical Turk上的100名工人在完成40，903项任务时投入无形劳动的时间。如果我们忽略工人花在无形劳动上的时间，工人的平均小时工资是$3.76. But, we estimated that crowd workers in our study spent 33% of their time daily on invisible labor, dropping their median hourly wage to $ 2.83。我们发现，无形劳动力对工人的影响取决于他们的技能水平和工人的人口统计。无形劳动类别花费的时间最多，也是最常见的，围绕着工人必须管理他们的付款。第二个最耗时的无形劳动力类别涉及高度警惕，工人警惕地查看新发布工作的请求者的个人资料或警惕地寻找劳动力。我们希望通过我们…
2021-10-01 cs.HC
TurkScanner: Predicting the Hourly Wage of Microtasks
拥挤的市场里的工人们为谋生而挣扎。其中一个原因是，工人很难准确衡量微任务的小时工资，因此他们最终只能以很少的工资从事劳动。一般来说，工作人员提供的关于任务的信息很少，并且只能依赖于嘈杂的信号，例如任务的文本描述或请求者的评级。这项研究探讨了各种计算方法，用于预测工作时间（从而每小时工资）所需的任务的基础上收集的数据，从其他工人完成人群工作。我们提供以下贡献。(i)一种数据汇集方法，用于收集关于群体工作任务的真实训练数据以及工人完成任务所需的时间;（ii）TurkScanner：一种机器学习方法，可以预测完成任务所需的工作时间（因此可以隐含地提供预期的小时工资）。我们使用84名Amazon Mechanical Turk员工安装的Web浏览器扩展程序收集了9，155条数据记录，并探索了自动和询问员工准确记录工作时间的挑战。TurkScanner使用约150个衍生特征创建，能够在75%的误差内预测所有测试微任务中69.6%的时薪。未来研究的方向包括观察工具对人们工作实践的影响，使这种方法适应请求者工具以更好地设定价格，以及预测工作的其他要素（例如，接受可能性和工作者任务偏好）。
2019-03-17 cs.HC
The Problems with Proxies: Making Data Work Visible through Requester Practices
本研究调查52位数据工作请求者的实践，揭示对工人身份和能力的误解及不尊重专业知识的资格任务，损害数据质量和AI伦理，倡导政策变革以改进任务设计并尊重数据工作者。
2024-08-21 cs.HC
In Search of Ambiguity: A Three-Stage Workflow Design to Clarify Annotation Guidelines for Crowd Workers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon AI（亚马逊人工智能）
我们提出了一种新的三阶段查找-解决-标签工作流程，用于众包注释，以减少任务指令中的歧义，从而提高注释质量。第一阶段（FIND）要求人群找出在给定任务指令的情况下，正确标签似乎不明确的例子。工人们还被要求提供一个简短的标签，描述了具体的实例所体现的模糊概念。我们比较了协作与非协作设计的这一阶段。在阶段2（解决）中，请求者选择这些模糊示例中的一个或多个来标记（解决模糊）。新标签会自动注入到任务指令中，以提高清晰度。最后，在第3阶段（LABEL），工作人员使用修订后的指南和明确的示例执行实际注释。我们比较了使用这些示例的三种设计：仅示例，仅标记，或两者兼而有之。我们报告了使用Amazon的Mechanical Turk进行的六个任务设计的图像标记实验。结果表明，注释准确性得到了提高，并对众包注释任务的有效设计有了进一步的了解。
2021-12-04 cs.AI cs.HC
But Who Protects the Moderators? The Case of Crowdsourced Image Moderation
虽然已经开发了检测系统来识别色情和暴力等淫秽内容，但人工智能还不足以完全自动化这项任务。由于需要人工验证，社交媒体公司可能会聘请内部审核员，从第三方聘请专业人员，或外包给在线劳动力市场，以实现商业内容审核的目的。这些内容版主经常完全暴露在极端内容中，可能会遭受持久的心理和情感伤害。在这项工作中，我们的目标是通过调查以下问题来缓解这个问题：我们如何才能揭示最小的信息量的人类审查，这样一个令人反感的图像仍然可以被正确识别？我们设计并进行实验，其中模糊的图形和非图形图像由Amazon Mechanical Turk（AMT）上的人类主持人过滤。我们观察模糊如何影响适度的经验方面的图像分类的准确性，界面的可用性，和工人的情绪健康。
2020-01-05 cs.HC
Experimental Evidence for Using a TTM Stages of Change Model in Boosting Progress Toward 2FA Adoption
来自健康心理学的行为改变想法也可以帮助提高最终用户对安全建议的遵从性，例如采用双因素身份验证（2FA）。我们的研究将跨理论模型的变化阶段从健康和健康研究调整到网络安全环境。我们首先创建并验证一个评估，以确定Amazon Mechanical Turk上尚未为其帐户启用2FA的员工处于第1阶段（无意采用2FA）或第2-3阶段（有采用2FA的意图）。我们随机分配参与者接受不同内容的信息干预（强调过程，规范或两者兼而有之）或不。三天后，我们再次对员工进行了Amazon 2FA采用阶段的调查。我们发现，干预组的人比对照组的人在行动/维持（阶段4-5）方面取得了更大的进展，而那些接受强调启用2FA过程的内容的人更有可能朝着2FA采用的方向发展。我们的工作有助于支持应用阶段的变化模型在可用的安全。
2022-05-14 cs.CR cs.HC
ENHANCE (ENriching Health data by ANnotations of Crowd and Experts): A case study for skin lesion classification
Fontys University of Applied Science（方提斯应用科学大学）；Eindhoven University of Technology（埃因霍温理工大学）；IT University of Copenhagen（哥本哈根信息技术大学）
我们提出了ENHANCE，一个开放的数据集，具有多个注释，以补充现有的ISIC和PH 2皮肤病变分类数据集。此数据集包含来自非专家注释源的视觉ABC（不对称，边界，颜色）特征的注释：本科生，Amazon MTurk的人群工作人员和经典的图像处理算法。在本文中，我们首先分析的注释和病变的诊断标签之间的相关性，以及研究不同的注释源之间的协议。总的来说，我们发现弱相关性的非专家注释与诊断标签，不同的注释来源之间的低协议。然后，我们研究了多任务学习（MTL）与注释作为额外的标签，并表明，非专家注释可以通过MTL改善（集成）最先进的卷积神经网络。我们希望我们的数据集可以用于进一步研究多个注释和/或MTL。所有数据和模型都可以在Github上找到：https://github.com/raumannsr/ENHANCE。
2021-12-24 cs.CV cs.HC cs.LG
Do I Look Like a Criminal? Examining how Race Presentation Impacts Human Judgement of Recidivism
了解种族信息如何影响在线系统中的人类决策在当今世界至关重要。以前的工作表明，刑事被告的种族信息，当作为一个文本字段，对用户的累犯的判断没有显着的影响。我们复制并扩展了这项工作，以探索如何以及何时种族信息影响用户的判断，就显着性的介绍。我们的研究结果表明，在种族标签中添加照片对女性用户的累犯预测有显著影响，但对男性用户没有影响。被告的种族也影响了这些结果，与白人被告相比，黑人被告更不可能被预测重新犯罪。这些结果对系统设计师如何选择显示种族信息有很大的影响，并提醒研究人员在使用亚马逊土耳其机器人时要注意性别和种族的影响。
2020-02-04 cs.HC
Truth Discovery in Sequence Labels from Crowds
Iowa State University（爱荷华州立大学）；Lehigh University（理海大学）
针对众包序列标注中复杂依赖关系导致的聚合难题，提出基于优化的聚合方法$AggSLC$，联合考虑任务特征与工人可靠性，理论证明其有限步收敛，在多数据集上优于现有方法。
2023-07-01 cs.HC cs.LG
Scalable Annotation of Fine-Grained Categories Without Experts
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）
我们提出了一个众包的工作流程来收集图像注释的视觉上相似的合成类别，而不需要专家。在动物中，分类和视觉相似性之间有直接的联系：例如，柯利（一种狗）看起来更像其他柯利（例如光滑柯利），而不是灰狗（另一种狗）。然而，在诸如汽车的合成类别中，具有类似分类的对象可以具有非常不同的外观：例如，2011年福特F-150 Supercrew-HD看起来与2011年福特F-150 Supercrew-LL相同，但与2011年福特F-150 Supercrew-SVT非常不同。我们引入了一个基于图的众包算法，自动组视觉上无法区分的对象在一起。使用我们的工作流程，我们标记了约1，000名Amazon Mechanical Turk工作人员的712，430张图像;产生了迄今为止报告的最大的细粒度视觉数据集，其中包含2，657种汽车类别，其注释成本是聘请专家的1/20。
2017-09-07 cs.CV cs.HC
Unveiling the Inter-Related Preferences of Crowdworkers: Implications for Personalized and Flexible Platform Design
本研究调查150名Amazon Mechanical Turk工作者，首次分析设备、工作阶段等因素的关联差异，识别出三类偏好群体，并据此提出个性化、灵活的众包平台设计启示。
2024-09-06 cs.HC
An Empirical Analysis on Transparent Algorithmic Exploration in Recommender Systems
UNIST（蔚山科学技术院）；Department of Computer Science and Engineering（计算机科学与工程学院）
所有用于推荐的学习算法都面临着在利用用户偏好的部分知识以获得短期满意度和探索其他用户偏好以获得长期覆盖之间不可避免的关键权衡。虽然探索是必不可少的推荐系统的长期成功，探索已被认为是降低用户满意度的风险。风险的原因是，选择用于探索的项目经常与用户的兴趣不匹配。为了减轻这种风险，推荐系统将选择用于探索的项目混合到推荐列表中，将项目伪装为推荐以引起对项目的反馈，从而发现用户的其他口味。这种混合方法已被广泛应用于许多广告商，但很少有研究，评估混合方法的有效性或提出一种新的方法来获得用户反馈而不欺骗用户。在这项工作中，我们的目标是提出一种新的方法，没有任何欺骗的反馈启发，并比较我们的方法与传统的混合方法进行评估。为此，我们设计了一个推荐界面，揭示了哪些项目是探索，并进行了主题内的研究与94 MTurk工人。我们的研究结果表明，用户留下了显着更多的反馈项目选择探索与我们的界面。此外，用户评价我们的新界面在新颖性，多样性，透明度，信任和满意度方面优于传统的混合界面。最后，路径分析表明，只有在我们的新界面，探索导致增加以用户为中心的评价指标。我们的工作为如何设计界面铺平了道路，该界面利用基于用户反馈信号的学习算法，提供更好的用户体验并收集更多反馈数据。
2021-08-12 cs.HC cs.IR cs.LG
InstructableCrowd: Creating IF-THEN Rules for Smartphones via Conversations with the Crowd
Pennsylvania State University（宾夕法尼亚州立大学）；Ariel University（阿里埃勒大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言界面已经成为现代数字生活的常见部分。聊天机器人利用基于文本的对话与用户进行通信;智能手机上的个人助理（如Google Assistant）直接从用户那里获取语音命令;语音控制设备（如Amazon Echo）使用语音作为唯一的输入模式。在本文中，我们介绍了InstructableCrowd，这是一个群体驱动的系统，允许用户通过对话对他们的设备进行编程。用户向系统口头表达问题，其中一组群组工作人员集体响应并编程相关的多部分“若-则”规则来帮助用户。由InstructableCrowd生成的“若-则”规则连接相关传感器组合（例如，位置、天气、设备加速度等）到有用的效应器（例如，文本消息、设备警报等）。我们的研究表明，非程序员可以使用InstructableCrowd的对话界面来创建“若-则”规则，与手动创建的规则相比，这些规则具有类似的质量。InstructableCrowd通常说明用户如何与他们的设备对话，不仅触发简单的语音命令，而且个性化他们日益强大和复杂的设备。
2019-09-12 cs.CL cs.HC
