Morphological Matrices as a Tool for Crowdsourced Ideation
设计一个新颖的产品是一项艰巨的任务，不适合非专业的人群工作者。在这篇正在进行的论文中，我们首先激发了为什么说服性产品的设计是研究创造力和创造性飞跃的有趣背景。然后，我们提出了一个试点研究的众包设计的说服性产品。该试点研究激发了我们随后对使用形态矩阵作为众包构思和产品设计工具的可行性研究。有了形态矩阵，工作人员就能够为新的说服性产品提出有效的、更相关的想法。
2021-10-07 cs.HC
Optimal Crowdsourced Classification with a Reject Option in the Presence of Spammers
我们探索设计一个有效的众包系统的$M$ -ary分类任务。人群工作者完成简单的二进制微任务，其结果被聚合以给出最终决策。我们考虑的场景是，工作者有一个拒绝选项，这样当他们无法或选择不响应二进制微任务时，他们就可以跳过微任务。我们提出了一种聚合方法，使用加权多数表决规则，每个工人的响应被分配一个优化的权重，以最大限度地提高人群的分类性能。
2017-10-26 cs.HC cs.SI
The Effect of Class Imbalance and Order on Crowdsourced Relevance Judgments
在本文中，我们研究的影响，人群工作者的效率和有效性的优势，一类在他们处理的数据。我们的目的是了解是否有任何积极或消极的偏见，工人看到许多负面的例子，在识别积极的标签。为了验证我们的假设，我们设计了一个实验，要求人群工作者判断以不同顺序呈现的文档的相关性。我们的研究结果表明，有一个显着的改善质量的相关性判断时，提出相关的结果之前，非相关的。
2016-09-04 cs.HC cs.IR
A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
KAIST（韩国科学技术院）；University of Chicago（芝加哥大学）
本文提出一种众包的 $d$-type specialization model，允许任务和工人具有未知类型且类型数可缩放，刻画了最优样本复杂度，提出阶数最优的标签推断算法，在合成和真实数据集上均优于现有方法。
2023-09-13 cs.HC cs.IT cs.LG
Proceedings of the CSCW 2021 Workshop -- Investigating and Mitigating Biases in Crowdsourced Data
本卷包含在CSCW 2021研讨会上提出的立场文件-调查和减轻众包数据中的偏见，于2021年10月23日在线举行，在第24届计算机支持的协作工作和社会计算会议（CSCW 2021）上。研讨会探讨了特定的众包工作流程、工人属性和工作实践如何导致数据偏差。研讨会还讨论了减轻标签偏见的研究方向，特别是在众包背景下，以及这种方法对工人的影响。
2021-11-29 cs.HC
Mitigating Observation Biases in Crowdsourced Label Aggregation
Kyoto University（京都大学）
众包已经被广泛用于以低成本从大量人力资源高效地获得用于监督学习的标记数据集。然而，从众包中获得高质量结果的技术挑战之一是处理由人类执行工作的事实引起的可变性和偏差，各种研究已经解决了这个问题，通过整合冗余收集的响应来提高质量。在这项研究中，我们专注于众包中的观察偏差。工人响应的频率和任务的复杂性发生变化，这可能会影响聚合结果，当它们与响应的质量相关时。我们还提出了众包响应的统计聚合方法，该方法与因果推断中使用的观测数据偏差消除方法相结合。通过使用合成和真实数据集与/不人工注入垃圾邮件和串通工人的实验，我们验证了所提出的方法提高了聚合精度存在较强的观察偏差和鲁棒性的垃圾邮件和串通工人。
2023-02-25 cs.HC cs.LG
Improving Data Quality via Pre-Task Participant Screening in Crowdsourced GUI Experiments
Meiji University（明治大学）；LY Corporation（LY公司）
通过预任务筛选减少粗心工人，提升GUI性能模型的拟合优度和预测准确性。
2026-02-24 cs.HC
Decision Support for Increasing the Efficiency of Crowdsourced Software Development
众包软件开发（CSD）为大量值得信赖的软件工作者提供了一系列指定的任务。Topcoder是一个领先的CSD全过程管理平台。虽然越来越多地被接受为软件开发的现实选择，但对Topcoder的软件人群工作者行为的初步分析显示，82.9%的任务退出率令人担忧。此外，大量任务没有收到任何成功的提交。在本文中，我们报告了一种方法来提高CSD的效率。我们应用大量数据分析和机器学习来（i）对替代技术分析进行比较分析，以预测每个任务的赢家和输家的可能性，（ii）显著减少注册但不合适的任务中不成功的开发工作量，（iii）识别并排名每个任务最合格的注册工人，以及（iv）提供对获得任何成功提交的风险的任务的可靠预测。我们的研究结果和分析表明，随机森林（RF）为基础的预测技术进行最好的替代技术研究。应用RF，向工作人员推荐的任务可以在很大程度上减少非成功的开发工作量。平均而言，在30天的时间内，对于有经验的人来说，每个注册任务分别节省3.5和4.6个人日。没有经验的工人。对于工作者的任务相关推荐，我们可以准确地在排名最高的工作者中推荐至少1个实际获胜者，特别是每个任务的前2名推荐工作者中有94.07%的时间。最后，我们可以预测，超过80%的F-测量，任务可能不会得到任何提交，从而触发CSD平台或任务请求者的及时纠正措施。
2016-10-13 cs.HC cs.SE
Towards Fair Pay and Equal Work: Imposing View Time Limits in Crowdsourced Image Classification
针对众包图像分类中因完成时间差异导致的薪酬不公问题，本文通过设定查看时间限制的人类研究，发现其对绩效影响随时间增加而减弱，共识算法可保障数据质量，且工作者偏好较短限制，提出该方法能提升薪酬公平性与可预测性。
2024-11-29 cs.HC
Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management
众包是大规模生成训练数据的主要手段，当与复杂的机器学习算法相结合时，众包是影响我们生活各个领域的各种新兴自动化应用的推动者。本文调查了新兴领域的正式推理和优化开放式众包，一个流行的和至关重要的，但严重不足的一类众包-众包数据管理的下一个前沿。潜在的挑战包括在没有一个工人同意对方的情况下提取正确的答案，在回答任务时对工人采用的各种观点进行梳理，以及在适合问题的许多开放式操作员之间进行有效选择。我们描述的方法，我们已经发现是有效的开放式众包，从我们的经验，在这个领域。
2016-10-17 cs.HC
If in a Crowdsourced Data Annotation Pipeline, a GPT-4
The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）
本文比较 GPT-4 与规范执行的 MTurk 众包标注流程，发现 GPT-4 准确率略高，且将二者标签互补聚合可进一步提升标注准确性。
2024-06-28 cs.AI cs.CL cs.HC
A Light-weight, Effective and Efficient Model for Label Aggregation in Crowdsourcing
Hefei University of Technology（合肥工业大学）；University of Tasmania（塔斯马尼亚大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Auckland University of Technology（奥克兰理工大学）
由于众包标签中的噪声，标签聚合（LA）已经成为后处理众包标签的标准过程。LA方法通过对工人素质进行建模，从众包标签中估计真实标签。大多数现有的LA方法是迭代的性质。他们需要多次遍历所有众包标签，以便联合并迭代地更新真实标签和工人质量，直到收敛。因此，这些方法具有高的空间和时间复杂度。在本文中，我们将LA视为一个动态系统，并将其建模为动态贝叶斯网络。从动态模型中，我们得到了两个轻量级的算法，LA \textsuperscript{onepass}和LA \textsuperscript{twopass}，它可以有效地和高效地估计工人的质量和真正的标签，通过遍历所有的标签最多两次。由于动态特性，所提出的算法还可以在线估计真实标签，而无需重新访问历史数据。我们从理论上证明了所提出的算法的收敛性，并限制了估计工人质量的误差。我们还分析了所提出的算法的空间和时间复杂度，并表明它们是等同于多数表决。在20个真实数据集上进行的实验表明，所提出的算法可以有效地和高效地聚合标签在离线和在线设置，即使他们遍历所有的标签最多两次。
2022-11-19 cs.AI cs.HC cs.LG
Crowdsourced Hypothesis Generation and their Verification: A Case Study on Sleep Quality Improvement
临床研究往往是必要的探索重要的研究问题;然而，这种方法有时是耗时耗钱。另一种极端的方法是收集和汇总群众的意见，从群众过去的经验和知识中得出结果。为了探索一种既能利用严格的临床方法又能利用群众观点的方法的解决方案，我们设计了一个框架，将众包作为研究过程的一部分，让群众工作者像科学家一样进行“伪”前瞻性研究。本研究评估了所提出的框架的可行性，以产生一个特定的主题的假设，并验证他们在现实世界中雇用许多人群工作者。该框架包括基于人群的工作流程的两个阶段。在阶段1 -假设生成和排名阶段-我们的系统向工作人员提出两种类型的问题，以收集一些假设并对其进行排名。在阶段2 -假设验证阶段-系统要求工作人员通过在现实生活中实现其中一个来验证阶段1中排名靠前的假设。通过实验，我们探索框架的潜力和局限性，以产生和评估有关导致良好睡眠的因素的假设。我们对睡眠质量显著改善的研究结果显示了我们框架的基本可行性，表明基于人群的研究与专家在某个领域的知识是一致的。
2022-05-16 cs.HC
Diverse Perspectives Can Mitigate Political Bias in Crowdsourced Content Moderation
本研究评估了众包工人识别政治内容的可行性，发现由异质工人汇总判断可缓解政治偏见，并提出了实现更公平标注的策略。
2023-05-23 cs.CY cs.HC
CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development
一个典型的众包软件开发（CSD）市场由一系列作为服务需求的软件任务和一群作为服务供应商的自由职业者开发人员组成。高度动态和竞争的CSD市场可能会由于不可预见的风险而导致任务失败，例如对共享工人供应的竞争加剧，或与工人经验和技能相关的不确定性等。为了提高CSD的有效性，必须更好地了解和规划与CSD过程相关的动态工人特征和风险。在本文中，我们提出了一个混合仿真模型，CrowdSim，预测众包任务失败的风险，在竞争激烈的CSD平台。CrowdSim由三个层次组成：宏观层次基于系统动力学反映整个众包平台，中观层次基于离散事件仿真表示任务生存周期，微观层次基于Agent仿真模拟众包工作者的决策过程。CrowdSim的评估通过三个CSD的决策方案，以证明其有效性，使用真实世界的历史数据集和结果表明CrowdSim的潜力，使众包管理人员探索众包结果相对于不同的任务调度选项。
2021-03-17 cs.HC cs.MA cs.SE
Herding the Crowd: Automated Planning for Crowdsourced Planning
Arizona State University（亚利桑那州立大学）
人们对众包和人工计算产生了极大的兴趣。人类计算应用的一个子类是针对涉及规划（例如旅行规划）和调度（例如会议调度）的任务的那些。这些工作大部分都出现在传统的自动规划论坛之外，而且在一开始，人们并不清楚自动规划是否在这些人类计算系统中发挥了很大的作用。然而，有趣的是，对这些系统的研究表明，即使是对人类规划者进行自动监督的原始形式，也有助于显着提高人类/人群的有效性。在本文中，我们将认为，在这些系统中使用的自动化监督可以被视为一个原始的自动化规划，并有几个更复杂的自动化规划的机会，有效地引导众包规划。然而，当前规划技术的直接适应受到人类工作者和自动规划器之间的能力不匹配的阻碍。我们确定了两个重要的挑战，需要克服这种适应规划技术可以发生之前：（i）解释人类工作者（和请求者）的输入和（ii）指导或批评的计划正在由人类工作者武装只有不完整的域和偏好模型。在本文中，我们讨论了处理这些挑战的方法，并根据他们在处理这些挑战时所做的具体选择来描述现有的人类计算系统。
2013-07-29 cs.AI cs.HC
But Who Protects the Moderators? The Case of Crowdsourced Image Moderation
虽然已经开发了检测系统来识别色情和暴力等淫秽内容，但人工智能还不足以完全自动化这项任务。由于需要人工验证，社交媒体公司可能会聘请内部审核员，从第三方聘请专业人员，或外包给在线劳动力市场，以实现商业内容审核的目的。这些内容版主经常完全暴露在极端内容中，可能会遭受持久的心理和情感伤害。在这项工作中，我们的目标是通过调查以下问题来缓解这个问题：我们如何才能揭示最小的信息量的人类审查，这样一个令人反感的图像仍然可以被正确识别？我们设计并进行实验，其中模糊的图形和非图形图像由Amazon Mechanical Turk（AMT）上的人类主持人过滤。我们观察模糊如何影响适度的经验方面的图像分类的准确性，界面的可用性，和工人的情绪健康。
2020-01-05 cs.HC
Tuning Crowdsourced Human Computation
随着众包使用的增加，考虑性能优化非常重要。为此，可以将每个工作者视为HPU（人类处理单元），并从传统计算机或具有CPU的云节点上的性能优化中汲取灵感。然而，当我们为此目的详细描述HPU时，我们发现CPU和HPU之间存在重要差异，从而需要全新的优化算法。在本文中，我们研究了特定的优化问题，获得最快的结果与固定的总预算的众包作业。在众包中，工作通常被分解为一系列小任务，一次分配给一个工人。我们考虑三种情况下增加的复杂性：相同的回合同质任务，多回合同质任务，多回合异构任务。对于每一种情况下，我们分析的随机行为的HPU时钟频率作为一个功能的报酬。在此基础上，我们提出了一个最优的预算分配策略，以最大限度地减少作业完成的延迟。我们通过Amazon Mechanical Turk上的大量模拟和实验来验证我们的结果。
2016-10-14 cs.HC cs.PF
TruEyes: Utilizing Microtasks in Mobile Apps for Crowdsourced Labeling of Machine Learning Datasets
Center for Digital Technology and Management（数字技术与管理中心）；Technical University of Munich（慕尼黑工业大学）；Ludwig Maximilian University（路德维希-马克西米利安大学）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
监督式机器学习在研究和工业中的应用越来越多，这增加了对标记数据集的需求。众包已经成为创建数据标签的流行方法。然而，处理大量任务会导致工人疲劳，对标签质量产生负面影响。为了解决这个问题，我们提出了TruEyes，一个协作众包系统，使微任务的移动应用程序用户的分布。TruEyes允许机器学习从业者发布标签任务，移动应用开发者整合任务广告进行货币化，用户标记数据而不是观看广告。为了评估该系统，我们进行了一项实验，有N=296名参与者。我们的研究结果表明，标记数据的质量与传统的众包方法相当，大多数用户更喜欢任务广告而不是传统广告。我们讨论了系统的扩展，并解决如何移动广告空间可以作为一种生产资源，在未来。
2022-09-29 cs.AI cs.HC cs.SE
Truth Discovery in Sequence Labels from Crowds
Iowa State University（爱荷华州立大学）；Lehigh University（理海大学）
针对众包序列标注中复杂依赖关系导致的聚合难题，提出基于优化的聚合方法$AggSLC$，联合考虑任务特征与工人可靠性，理论证明其有限步收敛，在多数据集上优于现有方法。
2023-07-01 cs.HC cs.LG
Towards Long-term Annotators: A Supervised Label Aggregation Baseline
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
本文提出一种无需推理时更新模型且能利用历史标注记录的监督式标签聚合方法 SuperLA，在 22 个数据集和 11 种基线对比中表现更优且效率显著。
2023-11-15 cs.HC cs.LG
