Identify ambiguous tasks combining crowdsourced labels by weighting Areas Under the Margin
IMAG；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；LIRMM；INRIA（法国国家信息与自动化研究所）；IUF
本文提出加权边缘下面积（WAUM）方法，通过按任务相关分数加权AUM来识别并剔除众包学习中的模糊任务，在模拟和真实数据集上验证了其能提升泛化性能。
2023-11-30 cs.HC cs.LG stat.ML
Worker Discretion Advised: Co-designing Risk Disclosure in Crowdsourced Responsible AI (RAI) Content Work
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文探讨了在众包负责任的人工智能内容工作中如何平衡工人保护与任务设计者需求，通过共设计研讨会提出风险披露机制的设计建议和特征概念。
2026-03-31 cs.CY cs.HC
Optimal Crowdsourced Classification with a Reject Option in the Presence of Spammers
我们探索设计一个有效的众包系统的$M$ -ary分类任务。人群工作者完成简单的二进制微任务，其结果被聚合以给出最终决策。我们考虑的场景是，工作者有一个拒绝选项，这样当他们无法或选择不响应二进制微任务时，他们就可以跳过微任务。我们提出了一种聚合方法，使用加权多数表决规则，每个工人的响应被分配一个优化的权重，以最大限度地提高人群的分类性能。
2017-10-26 cs.HC cs.SI
Proceedings of the CSCW 2021 Workshop -- Investigating and Mitigating Biases in Crowdsourced Data
本卷包含在CSCW 2021研讨会上提出的立场文件-调查和减轻众包数据中的偏见，于2021年10月23日在线举行，在第24届计算机支持的协作工作和社会计算会议（CSCW 2021）上。研讨会探讨了特定的众包工作流程、工人属性和工作实践如何导致数据偏差。研讨会还讨论了减轻标签偏见的研究方向，特别是在众包背景下，以及这种方法对工人的影响。
2021-11-29 cs.HC
The Effect of Class Imbalance and Order on Crowdsourced Relevance Judgments
在本文中，我们研究的影响，人群工作者的效率和有效性的优势，一类在他们处理的数据。我们的目的是了解是否有任何积极或消极的偏见，工人看到许多负面的例子，在识别积极的标签。为了验证我们的假设，我们设计了一个实验，要求人群工作者判断以不同顺序呈现的文档的相关性。我们的研究结果表明，有一个显着的改善质量的相关性判断时，提出相关的结果之前，非相关的。
2016-09-04 cs.HC cs.IR
Improving Data Quality via Pre-Task Participant Screening in Crowdsourced GUI Experiments
Meiji University（明治大学）；LY Corporation（LY公司）
通过预任务筛选减少粗心工人，提升GUI性能模型的拟合优度和预测准确性。
2026-02-24 cs.HC
Towards Fair Pay and Equal Work: Imposing View Time Limits in Crowdsourced Image Classification
针对众包图像分类中因完成时间差异导致的薪酬不公问题，本文通过设定查看时间限制的人类研究，发现其对绩效影响随时间增加而减弱，共识算法可保障数据质量，且工作者偏好较短限制，提出该方法能提升薪酬公平性与可预测性。
2024-11-29 cs.HC
Decision Support for Increasing the Efficiency of Crowdsourced Software Development
众包软件开发（CSD）为大量值得信赖的软件工作者提供了一系列指定的任务。Topcoder是一个领先的CSD全过程管理平台。虽然越来越多地被接受为软件开发的现实选择，但对Topcoder的软件人群工作者行为的初步分析显示，82.9%的任务退出率令人担忧。此外，大量任务没有收到任何成功的提交。在本文中，我们报告了一种方法来提高CSD的效率。我们应用大量数据分析和机器学习来（i）对替代技术分析进行比较分析，以预测每个任务的赢家和输家的可能性，（ii）显著减少注册但不合适的任务中不成功的开发工作量，（iii）识别并排名每个任务最合格的注册工人，以及（iv）提供对获得任何成功提交的风险的任务的可靠预测。我们的研究结果和分析表明，随机森林（RF）为基础的预测技术进行最好的替代技术研究。应用RF，向工作人员推荐的任务可以在很大程度上减少非成功的开发工作量。平均而言，在30天的时间内，对于有经验的人来说，每个注册任务分别节省3.5和4.6个人日。没有经验的工人。对于工作者的任务相关推荐，我们可以准确地在排名最高的工作者中推荐至少1个实际获胜者，特别是每个任务的前2名推荐工作者中有94.07%的时间。最后，我们可以预测，超过80%的F-测量，任务可能不会得到任何提交，从而触发CSD平台或任务请求者的及时纠正措施。
2016-10-13 cs.HC cs.SE
Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management
众包是大规模生成训练数据的主要手段，当与复杂的机器学习算法相结合时，众包是影响我们生活各个领域的各种新兴自动化应用的推动者。本文调查了新兴领域的正式推理和优化开放式众包，一个流行的和至关重要的，但严重不足的一类众包-众包数据管理的下一个前沿。潜在的挑战包括在没有一个工人同意对方的情况下提取正确的答案，在回答任务时对工人采用的各种观点进行梳理，以及在适合问题的许多开放式操作员之间进行有效选择。我们描述的方法，我们已经发现是有效的开放式众包，从我们的经验，在这个领域。
2016-10-17 cs.HC
A Light-weight, Effective and Efficient Model for Label Aggregation in Crowdsourcing
Hefei University of Technology（合肥工业大学）；University of Tasmania（塔斯马尼亚大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Auckland University of Technology（奥克兰理工大学）
由于众包标签中的噪声，标签聚合（LA）已经成为后处理众包标签的标准过程。LA方法通过对工人素质进行建模，从众包标签中估计真实标签。大多数现有的LA方法是迭代的性质。他们需要多次遍历所有众包标签，以便联合并迭代地更新真实标签和工人质量，直到收敛。因此，这些方法具有高的空间和时间复杂度。在本文中，我们将LA视为一个动态系统，并将其建模为动态贝叶斯网络。从动态模型中，我们得到了两个轻量级的算法，LA \textsuperscript{onepass}和LA \textsuperscript{twopass}，它可以有效地和高效地估计工人的质量和真正的标签，通过遍历所有的标签最多两次。由于动态特性，所提出的算法还可以在线估计真实标签，而无需重新访问历史数据。我们从理论上证明了所提出的算法的收敛性，并限制了估计工人质量的误差。我们还分析了所提出的算法的空间和时间复杂度，并表明它们是等同于多数表决。在20个真实数据集上进行的实验表明，所提出的算法可以有效地和高效地聚合标签在离线和在线设置，即使他们遍历所有的标签最多两次。
2022-11-19 cs.AI cs.HC cs.LG
If in a Crowdsourced Data Annotation Pipeline, a GPT-4
The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）
本文比较 GPT-4 与规范执行的 MTurk 众包标注流程，发现 GPT-4 准确率略高，且将二者标签互补聚合可进一步提升标注准确性。
2024-06-28 cs.AI cs.CL cs.HC
Crowdsourced Hypothesis Generation and their Verification: A Case Study on Sleep Quality Improvement
临床研究往往是必要的探索重要的研究问题;然而，这种方法有时是耗时耗钱。另一种极端的方法是收集和汇总群众的意见，从群众过去的经验和知识中得出结果。为了探索一种既能利用严格的临床方法又能利用群众观点的方法的解决方案，我们设计了一个框架，将众包作为研究过程的一部分，让群众工作者像科学家一样进行“伪”前瞻性研究。本研究评估了所提出的框架的可行性，以产生一个特定的主题的假设，并验证他们在现实世界中雇用许多人群工作者。该框架包括基于人群的工作流程的两个阶段。在阶段1 -假设生成和排名阶段-我们的系统向工作人员提出两种类型的问题，以收集一些假设并对其进行排名。在阶段2 -假设验证阶段-系统要求工作人员通过在现实生活中实现其中一个来验证阶段1中排名靠前的假设。通过实验，我们探索框架的潜力和局限性，以产生和评估有关导致良好睡眠的因素的假设。我们对睡眠质量显著改善的研究结果显示了我们框架的基本可行性，表明基于人群的研究与专家在某个领域的知识是一致的。
2022-05-16 cs.HC
PreCog: Improving Crowdsourced Data Quality Before Acquisition
众包系统的质量控制至关重要。这通常在数据汇集之后进行，通常使用额外的众包任务来评估和提高质量。这些事后方法很容易增加采集过程的成本和延迟-特别是在收集高质量数据很重要的情况下。在本文中，我们主张基于反馈的预组织接口优化，可以帮助工作人员在提交数据之前提高数据质量，并且非常适合于补充事后技术。我们提出了明确支持这种接口优化常见的完整性约束，以及更模糊的文本采集任务，质量是不明确的预识别系统。然后，我们开发了段预测解释模式，用于检测低质量的文本段，并生成规定性的解释，以帮助工人提高他们的文本输入。我们独特的分割和规范性解释的组合对于Precog在两个真实领域收集比非Precog方法多2倍的高质量文本数据是必要的。
2017-04-07 cs.DB cs.HC
Diverse Perspectives Can Mitigate Political Bias in Crowdsourced Content Moderation
本研究评估了众包工人识别政治内容的可行性，发现由异质工人汇总判断可缓解政治偏见，并提出了实现更公平标注的策略。
2023-05-23 cs.CY cs.HC
Herding the Crowd: Automated Planning for Crowdsourced Planning
Arizona State University（亚利桑那州立大学）
人们对众包和人工计算产生了极大的兴趣。人类计算应用的一个子类是针对涉及规划（例如旅行规划）和调度（例如会议调度）的任务的那些。这些工作大部分都出现在传统的自动规划论坛之外，而且在一开始，人们并不清楚自动规划是否在这些人类计算系统中发挥了很大的作用。然而，有趣的是，对这些系统的研究表明，即使是对人类规划者进行自动监督的原始形式，也有助于显着提高人类/人群的有效性。在本文中，我们将认为，在这些系统中使用的自动化监督可以被视为一个原始的自动化规划，并有几个更复杂的自动化规划的机会，有效地引导众包规划。然而，当前规划技术的直接适应受到人类工作者和自动规划器之间的能力不匹配的阻碍。我们确定了两个重要的挑战，需要克服这种适应规划技术可以发生之前：（i）解释人类工作者（和请求者）的输入和（ii）指导或批评的计划正在由人类工作者武装只有不完整的域和偏好模型。在本文中，我们讨论了处理这些挑战的方法，并根据他们在处理这些挑战时所做的具体选择来描述现有的人类计算系统。
2013-07-29 cs.AI cs.HC
CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development
一个典型的众包软件开发（CSD）市场由一系列作为服务需求的软件任务和一群作为服务供应商的自由职业者开发人员组成。高度动态和竞争的CSD市场可能会由于不可预见的风险而导致任务失败，例如对共享工人供应的竞争加剧，或与工人经验和技能相关的不确定性等。为了提高CSD的有效性，必须更好地了解和规划与CSD过程相关的动态工人特征和风险。在本文中，我们提出了一个混合仿真模型，CrowdSim，预测众包任务失败的风险，在竞争激烈的CSD平台。CrowdSim由三个层次组成：宏观层次基于系统动力学反映整个众包平台，中观层次基于离散事件仿真表示任务生存周期，微观层次基于Agent仿真模拟众包工作者的决策过程。CrowdSim的评估通过三个CSD的决策方案，以证明其有效性，使用真实世界的历史数据集和结果表明CrowdSim的潜力，使众包管理人员探索众包结果相对于不同的任务调度选项。
2021-03-17 cs.HC cs.MA cs.SE
But Who Protects the Moderators? The Case of Crowdsourced Image Moderation
虽然已经开发了检测系统来识别色情和暴力等淫秽内容，但人工智能还不足以完全自动化这项任务。由于需要人工验证，社交媒体公司可能会聘请内部审核员，从第三方聘请专业人员，或外包给在线劳动力市场，以实现商业内容审核的目的。这些内容版主经常完全暴露在极端内容中，可能会遭受持久的心理和情感伤害。在这项工作中，我们的目标是通过调查以下问题来缓解这个问题：我们如何才能揭示最小的信息量的人类审查，这样一个令人反感的图像仍然可以被正确识别？我们设计并进行实验，其中模糊的图形和非图形图像由Amazon Mechanical Turk（AMT）上的人类主持人过滤。我们观察模糊如何影响适度的经验方面的图像分类的准确性，界面的可用性，和工人的情绪健康。
2020-01-05 cs.HC
In Search of Ambiguity: A Three-Stage Workflow Design to Clarify Annotation Guidelines for Crowd Workers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon AI（亚马逊人工智能）
我们提出了一种新的三阶段查找-解决-标签工作流程，用于众包注释，以减少任务指令中的歧义，从而提高注释质量。第一阶段（FIND）要求人群找出在给定任务指令的情况下，正确标签似乎不明确的例子。工人们还被要求提供一个简短的标签，描述了具体的实例所体现的模糊概念。我们比较了协作与非协作设计的这一阶段。在阶段2（解决）中，请求者选择这些模糊示例中的一个或多个来标记（解决模糊）。新标签会自动注入到任务指令中，以提高清晰度。最后，在第3阶段（LABEL），工作人员使用修订后的指南和明确的示例执行实际注释。我们比较了使用这些示例的三种设计：仅示例，仅标记，或两者兼而有之。我们报告了使用Amazon的Mechanical Turk进行的六个任务设计的图像标记实验。结果表明，注释准确性得到了提高，并对众包注释任务的有效设计有了进一步的了解。
2021-12-04 cs.AI cs.HC
Learning Effective Embeddings From Crowdsourced Labels: An Educational Case Study
TAL AI Lab（好未来人工智能实验室）；Michigan State University（密歇根州立大学）
学习表示已被证明在许多机器学习任务中是有帮助的。大多数现有的表示学习方法的成功通常需要大量一致且无噪声的标签。然而，在许多现实世界的场景中，标签是不可访问的，它们通常由人群注释。在实践中，众包标签通常在众包工作者之间不一致，因为他们具有不同的专业知识，并且众包标签的数量非常有限。因此，直接采用众包标签用于现有的表示学习算法是不合适的并且是次优的。在本文中，我们研究了上述问题，并提出了一种新的框架，\textbf{R} epresentation \textbf{L} earning与众包\textbf{L} abels，即，“RLL”，它通过联合一致地解决有限和不一致的标签带来的挑战来学习具有众包标签的数据表示。建议的表示学习框架在两个现实世界的教育应用程序进行评估。实验结果证明了我们的方法在从人群中的有限标记数据中学习表示方面的好处，并表明RLL能够超越最先进的基线。此外，对RLL进行了详细的实验，以充分了解其关键部件和相应的性能。
2019-07-18 cs.HC cs.LG stat.ML
Tuning Crowdsourced Human Computation
随着众包使用的增加，考虑性能优化非常重要。为此，可以将每个工作者视为HPU（人类处理单元），并从传统计算机或具有CPU的云节点上的性能优化中汲取灵感。然而，当我们为此目的详细描述HPU时，我们发现CPU和HPU之间存在重要差异，从而需要全新的优化算法。在本文中，我们研究了特定的优化问题，获得最快的结果与固定的总预算的众包作业。在众包中，工作通常被分解为一系列小任务，一次分配给一个工人。我们考虑三种情况下增加的复杂性：相同的回合同质任务，多回合同质任务，多回合异构任务。对于每一种情况下，我们分析的随机行为的HPU时钟频率作为一个功能的报酬。在此基础上，我们提出了一个最优的预算分配策略，以最大限度地减少作业完成的延迟。我们通过Amazon Mechanical Turk上的大量模拟和实验来验证我们的结果。
2016-10-14 cs.HC cs.PF
On the impact of predicate complexity in crowdsourced classification tasks
本文探讨了众包任务设计中的一个具体而相关的问题，并提供了指导：如何制定一个复杂的问题，用于分类一组项目。在微任务市场，分类仍然是最受欢迎的任务之一。我们在信息检索和多谓词分类的上下文中扩展我们的工作，即，基于一组条件对一组项目进行分类。我们的实验涵盖了广泛的任务和领域，并考虑人群工作者单独和协同机器学习分类器。我们提供的经验证据如何得到的分类性能是由不同的谓词制定策略的影响，强调谓词制定作为一个任务设计维度在众包的重要性。
2020-11-17 cs.HC
Crowdsourcing Creative Work
这篇基于文章的博士论文探讨了两个领先的众包平台上众包创意工作的利益相关者的观点和经验。论文分为两个部分。在第一部分中，我们从人群工作者的角度探讨创造性工作。在第二部分中，我们探讨和研究了不同语境下的请求者视角和几个案例。这项研究是探索性的，我们使用基于调查和人工制品的方法在人机交互（HCI）领域常见的经验见解。在前一种方法中，我们探讨了可能限制付费众包平台上创造性工作的关键问题。在后一种方法中，我们创建计算人工制品，以从众包创造性工作的众包工作者和请求者那里获得真实的经验。本文根据人群工作者的人口统计学特征、性格特征和对创造性工作的偏好，将人群工作者分为五种原型。我们建议将众包平台上的创意工作分为三部分：创意任务、创意测试和创意判断（也称为创意反馈）。本文进一步探讨了新兴的研究课题，即如何支持请求者解释和评估复杂的创造性工作。最后，我们讨论了设计对研究和实践的影响，并对未来众包平台上的创造性工作提出了愿景，目的是赋予众包工作者权力，并围绕创造性微工作的定制平台培养一个生态系统。关键词：创意工作，创意，创意支持工具，众包
2022-03-20 cs.HC
Supporting Creative Work with Crowd Feedback Systems
群体反馈系统有可能通过来自群体的反馈来支持创意工作者。在CHI '19设计群体动力创意支持系统（DC2S2）研讨会的这份立场文件中，我们提出了三种创意支持工具，我们探讨了如何通过众包的形成性和总结性反馈来帮助创意工作者。对于这三个群体反馈系统中的每一个，我们都为未来的研究提供了一个思路。
2020-04-20 cs.HC
Crowdsourcing with Meta-Workers: A New Way to Save the Budget
Southwest University（西南大学）；Shandong University（山东大学）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于互联网工作者的不可靠性，很难令人满意地完成一个众包项目，特别是当任务多，预算有限。近年来，元学习为少样本学习带来了新的活力，使得仅使用少量训练样本就可以获得性能良好的分类器。在这里，我们介绍了\emph{meta-worker}的概念，它是一种通过元学习训练的机器注释器，用于任务类型（即，图像分类）非常适合AI。与普通的群体工作者不同，元工作者可以是可靠的、稳定的，更重要的是，不知疲倦和自由的。我们首先对未标记的数据进行聚类，并要求crowd workers重复注释聚类中心附近的实例;然后利用已注释的数据和元训练数据集，使用不同的元学习算法构建一个元工作者集群。随后，元工作者被要求注释剩余的众包任务。Jensen-Shannon分歧用于衡量元工作者提供的注释之间的不一致性，这决定了是否应该邀请人群工作者对同一任务进行进一步注释。最后，我们对元工作者的偏好进行建模，并通过加权多数投票来计算共识注释。我们的实证研究证实，通过结合机器和人类智能，我们可以以比最先进的任务分配方法更低的预算完成众包项目，同时实现更高或相当的质量。
2021-11-07 cs.AI cs.HC cs.LG
News Ninja: Gamified Annotation of Linguistic Bias in Online News
News Ninja是一款通过游戏化机制收集媒体语言偏差众包数据的工具，经其培训的众包工作者在数据质量相似时能取得比专家更高的标注者一致性，有效降低数据收集成本并促进长期偏差缓解。
2024-07-24 cs.HC
How Crowd Worker Factors Influence Subjective Annotations: A Study of Tagging Misogynistic Hate Speech in Tweets
本研究通过两项Mechanical Turk众包实验和访谈，发现标注者的政治倾向、道德、人格及性别歧视态度显著影响厌女仇恨言论标注的准确性与倾向，并揭示平台结构等外部因素同样塑造标注结果。
2023-09-03 cs.HC
Observations From an Online Security Competition and Its Implications on Crowdsourced Security
众包安全行业，特别是漏洞赏金计划，在过去几年中发展迅速，已成为许多公司软件安全审查的主要来源。然而，学术文献在很大程度上忽略了安全团队，特别是在人群工作环境中。因此，我们对分布式安全团队如何组织、协作以及他们需要什么技术知之甚少。我们通过与计算机安全夺旗（CTF）竞赛的前五名团队（18，201个参赛团队）进行焦点小组讨论来填补这一空白。我们发现，这些团队采用了一套以专业为中心的策略，这使他们能够减少与分散，双重工作和缺乏以前的合作有关的问题。通过观察当前安全人群工作平台中以个体工作者为中心的模型存在的问题，我们的研究案例表明，将安全工作扩展到团队是可行的和有益的。最后，我们确定了各种领域，保证未来的工作，如社会身份的问题，在高技能人群的工作环境。
2022-04-26 cs.CR cs.HC
QButterfly: Lightweight Survey Extension for Online User Interaction Studies for Non-Tech-Savvy Researchers
我们提供了一个用户友好，灵活，轻量级的开源HCI工具包（github.com/QButterfly），允许不懂技术的研究人员使用广泛的Qualtrics和LimeSurvey平台进行在线用户交互研究。这些平台已经提供了丰富的功能（例如，用于实验或可用性测试），并因此使其自身适于扩展以显示激励网页和记录点击流。该工具包包括一个嵌入了JavaScript的调查模板、一个嵌入HTML网页的JavaScript库以及用于分析所收集数据的脚本。在数据汇集后，无需特殊编程技能即可设置研究或匹配调查数据和用户交互数据。我们在实验室和现场研究中对该软件进行了经验验证。我们的结论是，这个扩展，即使在其初步版本，有潜力使在线用户交互研究（例如，与众包参与者）可供更广泛的研究人员使用。
2023-01-18 cs.HC
Probabilistic Multigraph Modeling for Improving the Quality of Crowdsourced Affective Data
我们提出了一种概率方法来联合建模的参与者的可靠性和人类的规律性众包情感研究。可靠性衡量的是受试者认真回答问题的可能性;规律性衡量的是人们同意目标人群认真回答的频率。众包为基础的研究或实验，依赖于人类自我报告的影响，提出了额外的挑战相比，典型的众包研究，试图获得具体的非情感标签的对象。典型的非情感众包研究一直在大量追求参与者的可靠性，而情感实验本身的规律性尚未得到彻底考虑。人们经常观察到，不同的人对同一个测试问题表现出不同的感受，这首先并没有唯一的正确答案。因此，一个人的回答的高可靠性不能最终导致个体之间的高度共识。相反，研究者对在全球范围内检验群体共识感兴趣。建立在任务和工人之间的协议多图，我们的概率模型区分主体规律性和人口可靠性。我们证明了该方法的有效性，对大规模众包情感数据进行深入的鲁棒分析，包括通过向人类受试者提供视觉刺激收集的情感和美学评估。
2017-01-06 cs.HC stat.ML
TruEyes: Utilizing Microtasks in Mobile Apps for Crowdsourced Labeling of Machine Learning Datasets
Center for Digital Technology and Management（数字技术与管理中心）；Technical University of Munich（慕尼黑工业大学）；Ludwig Maximilian University（路德维希-马克西米利安大学）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
监督式机器学习在研究和工业中的应用越来越多，这增加了对标记数据集的需求。众包已经成为创建数据标签的流行方法。然而，处理大量任务会导致工人疲劳，对标签质量产生负面影响。为了解决这个问题，我们提出了TruEyes，一个协作众包系统，使微任务的移动应用程序用户的分布。TruEyes允许机器学习从业者发布标签任务，移动应用开发者整合任务广告进行货币化，用户标记数据而不是观看广告。为了评估该系统，我们进行了一项实验，有N=296名参与者。我们的研究结果表明，标记数据的质量与传统的众包方法相当，大多数用户更喜欢任务广告而不是传统广告。我们讨论了系统的扩展，并解决如何移动广告空间可以作为一种生产资源，在未来。
2022-09-29 cs.AI cs.HC cs.SE
Web-Based VR Experiments Powered by the Crowd
我们建立在虚拟现实（VR）设备和Web技术的日益可用性，使用众包技术在VR中进行行为实验。一种新的招募和验证方法允许我们创建一个从Amazon Mechanical Turk招募的合格实验参与者小组。使用这个小组，我们运行了三个不同的众包VR实验，每个实验都再现了三个VR错觉之一：地点错觉，化身错觉和可扩展性错觉。我们的经验和工人对这些实验的反馈表明，使用众包进行基于Web的VR实验已经是可行的，尽管仍然存在一些挑战，包括规模。网络上的这种众包VR实验有可能最终以低成本支持不同人群的可复制VR实验。
2018-02-26 cs.HC
Crowdsourcing Learning as Domain Adaptation: A Case Study on Named Entity Recognition
Tianjin University（天津大学）
众包被认为是有效的监督学习的一个有前景的解决方案，旨在建立大规模的注释训练数据的人群工作者。以往的研究主要集中在减少来自监督模型的众包注释的噪声的影响。我们在这项工作中采取了不同的观点，将所有众包注释视为个人注释者的黄金标准。通过这种方式，我们发现众包可以高度类似于领域自适应，然后跨领域方法的最新进展几乎可以直接应用于众包。本文以命名实体识别（NER）为研究对象，提出了一种基于领域自适应领域自适应方法的标注者感知表示学习模型。我们研究了无监督和有监督的众包学习，假设没有或只有小规模的专家注释可用。在基准众包NER数据集上的实验结果表明，我们的方法是非常有效的，从而带来了新的最先进的性能。此外，在监督设置下，我们可以实现令人印象深刻的性能增益，只有一个非常小的规模的专家注释。
2021-11-15 cs.CL cs.HC cs.LG
Multiview Representation Learning from Crowdsourced Triplet Comparisons
Kyoto University（京都大学）；University of Yamanashi（山梨大学）
众包已被用于在许多领域大规模收集数据。三元组相似性比较是一种众包任务，其中众包工作者被问到这样一个问题：“在三个给定的对象中，哪两个更相似？””这对人类来说是很容易回答的。然而，该比较有时可以基于多个视图，即，不同的独立属性，如颜色和形状。对于相同的三个对象，每个视图可能导致不同的结果。尽管在之前的工作中提出了一种生成多视图嵌入的算法，但它至少涉及两个问题：（1）现有算法无法独立预测新样本的多视图嵌入，以及（2）不同的人可能喜欢不同的视图。在这项研究中，我们提出了一个端到端的归纳深度学习框架来解决多视图表示学习问题。实验结果表明，该方法可以得到任意对象的多视图嵌入，其中每个视图对应于对象的一个独立属性。我们从一个众包平台收集了两个数据集，实验研究我们提出的方法与传统基线方法相比的性能。
2023-02-08 cs.CV cs.HC
Investigating Differences in Crowdsourced News Credibility Assessment: Raters, Tasks, and Expert Criteria
关于气候变化和疫苗安全等关键问题的错误信息经常在在线社交和搜索平台上被放大。由外行人进行内容可信度评估的众包已被提议作为一种战略，试图通过大规模复制专家的评估来打击错误信息。在这项工作中，我们调查新闻的可信度评估人群与专家，了解他们之间的评级何时以及如何不同。我们收集了一个数据集，其中包含来自2个人群群体-新闻专业学生和Upwork工作者-以及2个专家组-记者和科学家-的4，000多个可信度评估，这些评估涉及与气候科学相关的50篇新闻文章，这是一个公众舆论和专家共识之间普遍脱节的话题。检查评级，我们发现由于人群的构成，如评级者的人口统计和政治倾向，以及人群被分配评级的任务范围，如文章的体裁和出版物的党派性，导致性能差异。最后，我们发现专家评估之间的差异，由于不同的专家标准，新闻与科学专家使用-差异，可能会导致人群的差异，但也提出了一种方法来减少差距，设计人群的任务量身定制的特定专家标准。从这些发现中，我们概述了未来的研究方向，以更好地设计适合特定人群和内容类型的人群流程。
2020-08-21 cs.HC
Truth Discovery in Sequence Labels from Crowds
Iowa State University（爱荷华州立大学）；Lehigh University（理海大学）
针对众包序列标注中复杂依赖关系导致的聚合难题，提出基于优化的聚合方法$AggSLC$，联合考虑任务特征与工人可靠性，理论证明其有限步收敛，在多数据集上优于现有方法。
2023-07-01 cs.HC cs.LG
A Survey on Task Assignment in Crowdsourcing
质量改进方法对于收集高质量的众包数据至关重要，无论是用于研究还是行业应用。一种流行的和广泛适用的方法是任务分配，动态调整人群工作流参数。在这项调查中，我们回顾任务分配方法，解决：异构任务分配，问题分配，众包和多元化问题。我们讨论和对比这些方法如何估计工人的表现，并强调其实施中的潜在挑战。最后，我们讨论了任务分配方法的未来研究方向，以及众包平台和其他利益相关者如何从中受益。
2021-11-15 cs.HC
Accurate inference of crowdsourcing properties when using efficient allocation strategies
University of Vermont（佛蒙特大学）
分配策略通过减少准确完成单个任务所需的工作来提高众包的效率。然而，这些算法通过优先将工人分配到容易的任务上来引入偏差，从而导致不再代表所有任务的已完成任务集。这种偏见挑战了对问题范围属性（如典型任务难度）或群体属性（如工人完成时间）的推断，这些重要信息超出了群体响应本身。在这里，我们研究的推理问题的属性时，使用分配算法，以提高人群的效率。我们介绍了决策显式概率抽样（DEPS），一种新的方法来执行推理的问题属性，同时考虑到潜在的偏见所引入的分配策略。真实和合成众包数据的实验表明，DEPS优于基线推理方法，同时仍然利用分配方法的效率收益。在使用非代表性数据时执行一般属性的准确推断的能力允许众包者从给定的众包数据集中提取更多的知识。
2022-04-27 cs.HC cs.LG stat.AP
Towards Long-term Annotators: A Supervised Label Aggregation Baseline
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
本文提出一种无需推理时更新模型且能利用历史标注记录的监督式标签聚合方法 SuperLA，在 22 个数据集和 11 种基线对比中表现更优且效率显著。
2023-11-15 cs.HC cs.LG
What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks?
New York University（纽约大学）；National Institute of Informatics（国立情报学研究所）；Stony Brook University（石溪大学）；Amazon（亚马逊）
众包被广泛用于为常见的自然语言理解任务创建数据。尽管这些数据集对于测量和改进语言模型理解的重要性，但很少关注用于收集数据集的众包方法。在本文中，我们比较了在以前的工作中提出的干预措施的有效性，以提高数据质量。我们使用多项选择问答作为测试平台，并通过分配众包工作者在四种不同的数据汇集协议之一下编写问题来进行随机试验。我们发现，要求工人写解释他们的例子是一个无效的独立的策略，提高NLU的例子的难度。然而，我们发现，培训众包工作者，然后使用收集数据、发送反馈和根据专家判断对工作者进行资格认证的迭代过程，是收集具有挑战性数据的有效手段。但事实证明，使用众包而不是专家判断来评估员工并发送反馈并不有效。我们观察到，通过几项措施，来自专家评估的迭代方案的数据更具挑战性。值得注意的是，该数据一致同意部分的人类-模型差距平均是基线方案数据差距的两倍。
2021-06-01 cs.AI cs.CL cs.HC
Locating Risk: Task Designers and the Challenge of Risk Disclosure in RAI Content Work
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
研究探讨任务设计者在RAI内容工作中如何披露风险，通过23份访谈揭示风险识别与沟通的实践，强调支持任务设计者提升工人福祉与AI伦理的技术有效性。
2026-03-31 cs.CY cs.HC
LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出LabelAId，结合程序化弱监督与FT-Transformer的即时AI干预模型，提升众包标注质量与领域知识，实验显示错误推断准确率提升36.7%，并在Project Sidewalk中验证了其有效性。
2024-03-14 cs.AI cs.HC cs.LG
Is Crowdsourcing a Puppet Show? Detecting a New Type of Fraud in Online Platforms
本文揭示了 Amazon MTurk 等众包平台中由单一实体控制多个账户的新型欺诈行为，发现大量账户疑似木偶账户，并提出相应的检测对策以确保数据完整性。
2025-10-31 cs.HC
