Crowd Guilds: Worker-led Reputation and Feedback on Crowdsourcing Platforms
人群工作者是分散的。虽然分权的目的是利用独立的判断来促进高质量的结果，但矛盾的是，它削弱了对高质量工作至关重要的行为和机构。声誉是一个核心例子：众包系统依赖于分散的工作人员和请求者的声誉评分，但这些评分是众所周知的夸大和缺乏信息。在本文中，我们从历史上的工人行会（例如，在丝绸贸易中）来设计和实施群体行会：集中的群体工作者群体，他们通过双盲同行评估来集体证明彼此的质量。一个为期两周的现场实验比较了群体行会传统的分散的群体工作模式。与当前的群体工作平台上可用的信号相比，群体行会产生的声誉信号与地面真实工作者质量的相关性更强，并且比传统模型更准确。
2017-02-28 cs.HC
Crowdsourcing Creative Work
这篇基于文章的博士论文探讨了两个领先的众包平台上众包创意工作的利益相关者的观点和经验。论文分为两个部分。在第一部分中，我们从人群工作者的角度探讨创造性工作。在第二部分中，我们探讨和研究了不同语境下的请求者视角和几个案例。这项研究是探索性的，我们使用基于调查和人工制品的方法在人机交互（HCI）领域常见的经验见解。在前一种方法中，我们探讨了可能限制付费众包平台上创造性工作的关键问题。在后一种方法中，我们创建计算人工制品，以从众包创造性工作的众包工作者和请求者那里获得真实的经验。本文根据人群工作者的人口统计学特征、性格特征和对创造性工作的偏好，将人群工作者分为五种原型。我们建议将众包平台上的创意工作分为三部分：创意任务、创意测试和创意判断（也称为创意反馈）。本文进一步探讨了新兴的研究课题，即如何支持请求者解释和评估复杂的创造性工作。最后，我们讨论了设计对研究和实践的影响，并对未来众包平台上的创造性工作提出了愿景，目的是赋予众包工作者权力，并围绕创造性微工作的定制平台培养一个生态系统。关键词：创意工作，创意，创意支持工具，众包
2022-03-20 cs.HC
Exploring Effectiveness of Inter-Microtask Qualification Tests in Crowdsourcing
众包中的资格测试通常用于通过测量员工执行微任务的能力来预过滤员工。虽然为每种任务类型创建资格测试被认为是一种常见且合理的方法，但本研究调查了当在多种任务类型中使用相同的资格测试时，其员工过滤性能。在Amazon Mechanical Turk上，我们在六种不同的情况下测试了注释准确性，其中任务由两个不同的难度级别组成，来自相同的现实世界领域：四种组合情况，其中资格测试和实际任务彼此相同或不同，以及另外两种情况，即要求具有硕士资格的工人只执行实际任务。实验结果证明了以下两个发现：i）被分配到困难的资格测试的工人得分更高，无论实际任务的难度如何; ii）具有硕士资格的工人在低难度任务中获得了更好的注释准确性，但在高难度任务中不如通过资格测试的人准确。
2020-12-20 cs.HC
Crowdsourcing Information Extraction for Biomedical Systematic Reviews
信息抽取是进行生物医学系统文献综述实践中的关键步骤。提取的结构化数据可以通过统计元分析等方法进行汇总。通常，训练有素的领域专家提取数据进行系统评价。进行生物医学系统评价的高昂费用促使研究人员探索成本较低的方法，以实现类似的严格性，而不影响质量。众包就是这样一种有前途的办法。在这项正在进行的研究中，我们设计了一个众包的生物医学信息抽取的任务。我们简要报告迭代设计过程和两个试点测试的结果。我们发现，在任务说明中给出更具体的例子可以帮助工人更好地理解任务，特别是对于抽象和令人困惑的概念。我们发现，只有少数工人完成了大部分工作，而且我们的薪酬水平似乎对低收入国家的工人更具吸引力。在未来，我们将进一步评估我们的结果与参考金标准提取，从而评估任务人群工作者提取生物医学干预信息进行系统评价的可行性。
2016-09-05 cs.HC
Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management
众包是大规模生成训练数据的主要手段，当与复杂的机器学习算法相结合时，众包是影响我们生活各个领域的各种新兴自动化应用的推动者。本文调查了新兴领域的正式推理和优化开放式众包，一个流行的和至关重要的，但严重不足的一类众包-众包数据管理的下一个前沿。潜在的挑战包括在没有一个工人同意对方的情况下提取正确的答案，在回答任务时对工人采用的各种观点进行梳理，以及在适合问题的许多开放式操作员之间进行有效选择。我们描述的方法，我们已经发现是有效的开放式众包，从我们的经验，在这个领域。
2016-10-17 cs.HC
Treating Crowdsourcing as Examination: How to Score Tasks and Online Workers?
Southwest University（西南大学）
众包是一种在线外包模式，可以解决当前机器学习算法对海量标注数据的迫切需求。任务发布者在众包平台上发布任务，众包平台通过互联网雇佣在线工作人员来完成任务，然后将结果汇总并返回给请求者。如何对不同类型的工人和任务之间的交互进行建模是一个热点。本文根据工作者的能力将其分为专家型、普通型、马虎型和垃圾型四种类型，并根据任务的难度将其分为难、中、易任务。我们相信，即使是专家也会在困难的任务中苦苦挣扎，而马虎的工人也能把简单的任务做对，垃圾邮件发送者总是故意给出错误的答案。因此，好的考试任务应该具有适度的难度和区分度，以便更客观地对工人进行评分。因此，我们首先主要在中等难度的任务上对工作人员的能力进行评分，然后在推断任务的基本事实时降低草率工作人员的答案的权重并修改垃圾邮件发送者的答案。采用概率图模型模拟任务执行过程，采用迭代法依次计算和更新地面实况、工人能力和任务难度。在模拟和真实的众包场景中验证了算法的正确性和有效性。
2022-04-26 cs.DB cs.HC cs.LG
The Roles of Familiarity Design in Active Ageing
老年人在与技术互动时往往会遇到困难。这是因为这些技术的软件和硬件组件不熟悉老年人的心理模型。这是因为缺乏实证研究，说明如何将熟悉的概念融入互动技术系统的设计中，以弥合阻碍当今老年人积极参与此类技术的数字鸿沟。本文采用多管齐下的方法。我们研究了设计中的熟悉度对老年人采用健康游戏的影响，生产性老化中的熟悉度，高效协作众包中的熟悉度，通过基于熟悉度的智能个性化众包和基于熟悉度的代理增强代际众包的生产性老化。研究结果表明，设计的熟悉度显著提高了老年用户的感知满意度和采用可能性。这些结果可能有利于智能接口代理设计时，这些代理需要与老年用户进行交互。提出了一种众包算法CrowdAsm。通过使用CrowdAsm，我们能够考虑预算，具有所需技能的工人的可用性以及他们的跟踪记录来动态组装工人团队，以完成需要具有不同技能的工人之间协作的众包任务。理论分析表明，CrowdAsm可以实现接近最优利润的协作众包系统，如果工人遵循的建议。
2016-01-26 cs.HC
Reply & Supply: Efficient crowdsourcing when workers do more than answer questions
众包的工作原理是将许多小任务分配给大量的工作人员，但众包的真正潜力在于工作人员做的不仅仅是执行简单的任务--他们可以运用自己的经验和创造力为众包者提供新的和意想不到的信息。其中一种情况是，工作人员不仅回答了众包者的问题，而且还为随后的人群分析提供了新的问题，从而产生了越来越多的问题。这种增长为早期的问题创造了固有的偏见，因为一个工人早期引入的问题可以由更多的后续工人回答，而不是稍后引入的问题。在这里，我们研究如何执行有效的众包与这样不断增长的问题集。通过将问题集建模为相互关联的问题网络，我们引入了算法，通过在探索新问题和解决当前问题之间有效地分配工作人员来帮助减少增长偏差。实验和仿真表明，这些算法可以有效地探索一个无界的问题集，而不会失去信心的人群答案。
2017-08-15 cond-mat.dis-nn cs.HC cs.SI
Does Confidence Reporting from the Crowd Benefit Crowdsourcing Performance?
我们探索设计一个有效的众包系统的$M$ -ary分类任务。人群工作者完成简单的二进制微任务，其结果被聚合以给出最终的分类决策。我们考虑的场景是，工作者有一个拒绝选项，这样当他们无法或选择不响应二进制微任务时，他们就可以跳过微任务。此外，工人报告量化的信心水平时，他们能够提交明确的答案。我们提出了一种聚合方法，使用加权多数表决规则，每个工人的响应被分配一个优化的权重，以最大限度地提高人群的分类性能。我们得到一个反直观的结果，分类性能并没有受益于工人报告量化的信心。因此，众包系统设计者应该在不需要置信度报告的情况下采用拒绝选项。
2017-04-03 cs.HC cs.SI
Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing
Zhejiang University（浙江大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；JD.COM Silicon Valley Research Center（京东硅谷研发中心）；Squirrel AI Learning（松鼠AI智适应教育）
众包因其方便地从非专家工人而不是专家那里收集标签而备受关注。然而，由于来自非专家的高水平噪声，需要通过结合源可信度来学习真实标签的聚合模型。在本文中，我们提出了一种新的框架，基于图神经网络聚集人群标签。我们在工作者和任务之间构建了一个异构图，并推导出一个新的图神经网络来学习节点的表示和真实标签。此外，我们通过在图神经网络中增加一个同质注意层，利用了同类节点（工作者或任务）之间未知的潜在交互。在13个真实世界数据集上的实验结果表明，该模型的性能优于最先进的模型。
2021-05-13 cs.HC cs.LG
Measuring the Expertise of Workers for Crowdsourcing Applications
众包平台使公司能够向大量用户提出任务。工人根据他们完成的任务的严重程度获得工作报酬。在这方面，评价群众的反应质量仍然是最重要的问题之一。已经提出了几种方法来估计人群工作者的专业水平。我们提出了一个创新的专业知识的措施，假设我们拥有一个客观的比较有关项目的数据集。我们的方法是基于信念函数理论的四个因素的定义。我们将我们的方法与来自真实实验的数据集上的Fagin距离进行了比较，在该实验中，用户必须评估某些音频记录的质量。然后，我们建议将Fagin距离和我们的专业知识测度相融合。
2019-06-24 cs.HC cs.SI
Comparing Generic and Community-Situated Crowdsourcing for Data Validation in the Context of Recovery from Substance Use Disorders
将合适的工人群体作为众包的目标通常会取得更好的质量结果。有针对性的众包的一个独特例子是寻找社区工作者，他们熟悉特定群体的背景和规范，可以帮助产生更好的结果或准确性。这些社区人群工作者可以通过不同的方式从通用的在线众包平台或在线恢复社区招募。我们评估了三种不同的方法来招募通用和社区人群的招聘时间和成本，以及任务完成的准确性。我们认为，酗酒者匿名（AA），最大的同龄人支持组恢复酗酒者的背景下，识别和验证AA会议信息的任务。我们讨论了招聘有偿与无偿社区工作者的好处和权衡，并为未来的研究提供了影响，在恢复的背景下和相关领域的HCI，众包ICT系统的设计。
2020-12-13 cs.HC cs.SI
Prototype Tasks: Improving Crowdsourcing Results through Rapid, Iterative Task Design
低质量的结果一直是微任务众包平台上的一个长期问题，赶走了请求者，并为工人的低工资辩护。到目前为止，工人们一直被指责为低质量的结果：据说他们尽可能少地努力，不注意细节，缺乏专业知识。在本文中，我们假设请求者也可能对低质量的工作负责：他们启动不明确的任务设计，甚至混淆认真的工作人员，指定边缘情况下，并忽略包括示例。我们引入了原型任务，这是一种众包策略，要求所有新的任务设计都要启动少量的样本任务。工作人员尝试这些任务，并留下反馈，使requester在发布it.We报告的现场实验中，经历原型任务迭代的任务比原来的任务设计产生更高质量的工作结果。通过这项研究，我们认为，一个简单而快速的迭代周期可以提高群众工作，我们提供的经验证据，请求者的“质量”直接影响结果的质量。
2017-07-18 cs.HC
An Efficient and Truthful Pricing Mechanism for Team Formation in Crowdsourcing Markets
在众包市场中，请求者希望组建一个工作团队来执行需要各种技能的复杂任务。候选工人宣传他们的认证技能，并为他们的参与出价。我们设计了四种激励机制来选择工人组成一个有效的团队（可以完成任务），并确定每个工人的报酬。我们研究的盈利能力，个人的理性，计算效率和真实性的四个机制。我们的分析表明，TruTeam，四个机制之一，是优于其他，特别是由于其计算效率和真实性。我们的大量模拟证实了分析结果，并证明TruTeam是众包市场中团队组建的高效且真实的定价机制。
2018-12-12 cs.GT cs.HC
Analysis of Minimax Error Rate for Crowdsourcing and Its Application to Worker Clustering Model
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
虽然众包已成为标记数据的重要手段，但人们对从众包工作者产生的不可靠标签中估计地面真相非常感兴趣。Dawid和Skene（DS）模型是众包研究中最著名的模型之一。尽管它的实际普及，理论误差分析DS模型已进行限制性假设类先验，混淆矩阵，或每个工人提供的标签数量。在本文中，我们推导出一个更广泛的类众包模型，包括DS模型作为一个特殊情况下，更实际的设置下的极大极小错误率。我们进一步提出了工人聚类模型，这是更实用的DS模型下真正的众包设置。我们的理论分析的广泛适用性，使我们能够立即调查的行为，这不能被现有的研究分析提出的模型。实验结果表明，由理论分析得到的极大极小错误率的下界与估计值的经验误差有很强的相似性。
2018-06-09 cs.HC cs.LG stat.ML
The Labor Economics of Paid Crowdsourcing
众包是一种“同行生产”的形式，传统上由员工完成的工作被外包给一个“不确定的，通常是一个开放的电话形式的一大群人”。“我们提出了一个工人为有偿众包项目提供劳动力的模型。我们还介绍了一种新的方法来估计工人的保留工资-最低工资的工人愿意接受的任务和我们的劳动力供给模型中的关键参数。它表明，亚马逊的土耳其机器人（AMT）工人样本的保留工资近似于对数正态分布，工资中位数为1.38美元/小时。在工资中位数下，粗放型劳动供给的点弹性为0.43。我们讨论如何使用我们的校准模型，使应用工作的预测。该模型的两个实验测试表明，许多工人理性地回应提供的激励措施。然而，一个不平凡的一部分科目似乎设置收入目标。这些“目标收入者”不仅考虑提供的工资（这是理性模型预测的），还考虑他们与收入目标的接近程度。有趣的是，许多工人显然更喜欢收入总额被5整除，大概是因为这些数额是很好的目标。
2010-01-05 cs.CY cs.HC
Cicero: Multi-Turn, Contextual Argumentation for Accurate Crowdsourcing
确保高质量众包工作的传统方法未能在困难问题上实现高精度。当大多数人感到困惑时，聚合冗余的答案往往在最困难的问题上失败。论证已被证明是有效地减轻这些缺点。然而，现有的论证系统只支持有限的互动，并显示工人一般的理由，而不是针对他们的推理上下文特定的参数。本文介绍了西塞罗，一个新的工作流程，提高了人群的准确性，通过实时，同步论证，从事工人在多轮，上下文的讨论困难的任务。我们的实验表明，相比以前的论证系统，只有提高平均个人工作人员的准确性由6.8个百分点的关系抽取域，我们的工作流程实现了16.7个百分点的改善。此外，以前的论证方法不适用于有许多可能答案的任务;相比之下，Cicero在这些情况下工作得很好，将Codenames域的准确率从66.7%提高到98.8%。
2018-10-25 cs.HC
Universal Clustering via Crowdsourcing
考虑通过使用众包平台中可用的人类智能，对从离散集合中提取的对象进行无监督聚类。本文定义和研究了通用聚类问题，使用人群工作者的反应，没有工人的可靠性或任务难度的知识。我们随机工人的响应分布模型，将性状的记忆相似的对象和性状之间的距离不同的对象。我们特别感兴趣的两种限制工人类型-临时工人谁保留没有记忆的反应和长期工人的记忆。我们首先定义这些限制情况下的聚类算法，然后将它们集成到一个统一的工人模型的算法。我们证明了算法的渐近一致性，并建立了算法样本复杂度的充分条件。逆向论证建立了样本复杂度的必要条件，证明了所定义的算法在成本上是渐近阶最优的。
2016-10-05 cs.HC cs.IT math.IT
Crowdsourcing with Meta-Workers: A New Way to Save the Budget
Southwest University（西南大学）；Shandong University（山东大学）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于互联网工作者的不可靠性，很难令人满意地完成一个众包项目，特别是当任务多，预算有限。近年来，元学习为少样本学习带来了新的活力，使得仅使用少量训练样本就可以获得性能良好的分类器。在这里，我们介绍了\emph{meta-worker}的概念，它是一种通过元学习训练的机器注释器，用于任务类型（即，图像分类）非常适合AI。与普通的群体工作者不同，元工作者可以是可靠的、稳定的，更重要的是，不知疲倦和自由的。我们首先对未标记的数据进行聚类，并要求crowd workers重复注释聚类中心附近的实例;然后利用已注释的数据和元训练数据集，使用不同的元学习算法构建一个元工作者集群。随后，元工作者被要求注释剩余的众包任务。Jensen-Shannon分歧用于衡量元工作者提供的注释之间的不一致性，这决定了是否应该邀请人群工作者对同一任务进行进一步注释。最后，我们对元工作者的偏好进行建模，并通过加权多数投票来计算共识注释。我们的实证研究证实，通过结合机器和人类智能，我们可以以比最先进的任务分配方法更低的预算完成众包项目，同时实现更高或相当的质量。
2021-11-07 cs.AI cs.HC cs.LG
The Importance of Being Earnest in Crowdsourcing Systems
本文提出了第一个系统的调查潜在的性能收益众包系统，来自在请求者的个人工作认真（声誉）的可用信息。特别是，我们第一次正式的最优任务分配问题时，工人的声誉估计是可用的，作为最大化的单调（次模）函数受拟阵约束。然后，作为优化问题的NP-难，我们提出了一个简单而有效的贪婪启发式任务分配算法。我们还提出了一个简单的“最大后验”决策规则。最后，我们测试和比较不同的解决方案，表明系统性能可以大大受益于工人的声誉信息。我们的主要发现是：i）在任务分配中甚至可以有效地利用对工作者信誉的很大程度上不准确的估计，以极大地提高系统性能; ii）随着工作者信誉估计变得不准确，最大后验决策规则的性能迅速下降; iii）当工人的声誉估计明显不准确时，将我们提出的任务分配算法与文献中介绍的LRA决策规则相结合，可以获得最佳性能。
2014-11-26 cs.HC cs.SI
Quantifying and Avoiding Unfair Qualification Labour in Crowdsourcing
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
广泛的工作支持支付人群工人至少相当于美国联邦最低工资的工资。与此同时，关于收集高质量注释的研究建议使用一种资格，要求工人以前完成一定数量的任务。如果大多数公平支付的请求者要求工人已经完成了大量的任务，那么工人需要完成大量的低收入工作，然后才能获得公平的工资。通过对工人讨论的分析和对研究人员的指导，我们估计工人在低收入任务上花费了大约2.25个月的全职努力，以获得更高收入任务所需的资格。我们讨论了这种资格的替代品，并进行了两个NLP任务的资格和工作质量之间的相关性的研究。我们发现，在收集高质量数据的同时，可以减轻工人的负担。
2021-05-26 cs.CL cs.HC
Millionaire: A Hint-guided Approach for Crowdsourcing
现代机器学习正在向复杂模型时代迁移，这需要大量注释良好的数据。虽然众包是实现这一目标的一个有前途的工具，但现有的众包方法几乎无法获得足够数量的高质量标签。本文以《百万富翁》游戏节目中的“带提示的猜测”回答策略为启发，将提示引导的方法引入众包中以应对这一挑战。我们的方法鼓励员工在不确定问题时从提示中获得帮助。具体来说，我们提出了一个混合阶段设置，包括主阶段和提示阶段。当工作人员在主舞台上面对任何不确定的问题时，他们被允许进入提示阶段，在做出任何回答之前查找提示。一个独特的支付机制，满足两个重要的设计原则的众包。此外，建议的机制进一步鼓励高素质的工人少使用提示，这有助于识别和分配更大的可能性支付给他们。在Amazon Mechanical Turk上进行的实验表明，该方法能够以较低的成本确保足够数量的高质量标签，并检测出高质量的工人。
2018-03-06 cs.GT cs.HC
Quantifying the Invisible Labor in Crowd Work
众包市场为工人提供了一个集中的地方来寻找有偿工作。乍看之下可能并不明显的是，除了为了报酬而做的工作，人群工作者还必须在这些市场中承担各种无报酬的无形劳动，这最终会降低工人的时薪。无形的劳动包括寻找好的任务，消息请求者或管理付款。然而，我们目前对人群工作者实际花在无形劳动上的时间以及经济成本知之甚少。为了确保人群工作的公平和公正的未来，我们需要确保工人们所做的所有工作都得到公平的报酬。在本文中，我们进行了一项实地研究，以量化人群工作中的无形劳动。我们构建了一个插件来记录Amazon Mechanical Turk上的100名工人在完成40，903项任务时投入无形劳动的时间。如果我们忽略工人花在无形劳动上的时间，工人的平均小时工资是$3.76. But, we estimated that crowd workers in our study spent 33% of their time daily on invisible labor, dropping their median hourly wage to $ 2.83。我们发现，无形劳动力对工人的影响取决于他们的技能水平和工人的人口统计。无形劳动类别花费的时间最多，也是最常见的，围绕着工人必须管理他们的付款。第二个最耗时的无形劳动力类别涉及高度警惕，工人警惕地查看新发布工作的请求者的个人资料或警惕地寻找劳动力。我们希望通过我们…
2021-10-01 cs.HC
Unsupervised Crowdsourcing with Accuracy and Cost Guarantees
IIT Bombay（印度理工学院孟买分校）
我们考虑的问题的成本最优利用的众包平台的二进制，无监督分类的项目集合，给定一个规定的错误阈值。假设众包平台上的工作人员根据他们的技能、经验和/或过去的表现被分成多个类别。我们通过一个未知的混淆矩阵和一个（已知的）每个标签预测要支付的价格来对每个工人类进行建模。在这种情况下，我们提出了从工人那里获取标签预测的算法，以及推断项目的真实标签的算法。我们证明，如果（未标记的）项目的数量足够大，我们的算法满足规定的错误阈值，产生的成本是接近最优的。最后，我们通过一个广泛的案例研究来验证我们的算法，以及一些受其启发的算法。
2022-07-05 cs.HC cs.LG
Feature Based Task Recommendation in Crowdsourcing with Implicit Observations
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Microsoft Research（微软研究院）；New Jersey Institute of Technology（新泽西理工学院）
众包中的现有研究已经调查了如何基于工作者已经完成的任务向工作者推荐任务，称为{ \em隐式反馈}。另一方面，我们研究任务推荐问题，在这里我们利用任务的隐式反馈和显式特征。我们假设我们有一组工人，一组任务，交互（例如工人完成特定任务的次数），以及每个任务的显式特征（例如任务位置）。我们打算通过利用隐式交互以及任务中是否存在显式特征来向工人推荐任务。我们正式的问题作为一个优化问题，提出了两个替代的问题配方和各自的解决方案，利用隐式反馈，明确的功能，以及任务之间的相似性。我们使用两个大规模的真实世界数据集，将我们提出的解决方案与多种最先进的技术进行了比较。
2016-09-07 cs.AI cs.HC
A Truthful Mechanism with Biparameter Learning for Online Crowdsourcing
Indian Institute of Science（印度科学学院）
我们研究的问题分配可分割的工作，到达网上，工人在众包设置，其中涉及学习两个参数的战略行为的工人。每个作业被分成一定数量的任务，然后分配给工人。每个到达的工作必须在截止日期内完成，每个任务必须完成满足失败概率的上限。工作人口是同质的，而工人在成本、完成时间和失败时间方面是异质的。每个工人的工作完成时间和故障时间是随机的，具有固定但未知的手段。请求者面临的挑战是同时学习每个（战略行为）工人的两个独立的参数，即平均作业完成时间和平均故障时间。工作者的失败时间取决于工作者处理任务的持续时间。假设非战略工人开始，我们解决这个双参数学习问题，应用鲁棒UCB算法。然后，我们非平凡地将该算法扩展到工人对其成本具有战略性的设置。我们提出的机制是优势策略、激励相容和事后个体理性的，具有渐近最优的后悔性能。
2016-02-12 cs.AI cs.GT cs.HC
Location Privacy in Spatial Crowdsourcing
空间众包是一种新的平台，它使个人参与收集和分析环境、社交及其他时空信息。使用SC，请求者将他们的时空任务外包给一组工作者，这些工作者将通过物理旅行到任务的位置来执行任务。本章确定了在空间众包的两个主要阶段，任务和报告对工人和请求者的隐私威胁。任务分配是确定哪些任务应该分配给哪些工人的过程。该过程由空间众包服务器（SC服务器）处理。后一个阶段是报告，其中工作人员前往任务的位置，完成任务并将其报告上传到SC服务器。面临的挑战是，在不披露工人的实际地点（至少在他们同意执行任务之前）和任务本身（至少向没有被分配这些任务的工人）的情况下，在供应链中实现有效和高效的任务分配和报告。本章的目的是提供一个国家的最先进的空间众包保护用户的位置隐私的概述。我们提供了一个比较研究的任务发布模式（推与拉），问题的焦点（任务和报告），威胁（服务器，请求者和工人），和底层的技术方法（从匿名，伪装，扰动到基于交换和基于防御的技术）方面的一套不同的解决方案。突出的优点和缺点的技术，导致开放的问题和未来的工作进行讨论。
2017-04-23 cs.CR cs.CY cs.DB
Context-Aware Hierarchical Online Learning for Performance Maximization in Mobile Crowdsourcing
TU Darmstadt（达姆施塔特工业大学）；Bilkent University（比尔肯特大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of Oxford（牛津大学）
在移动众包（MCS）中，移动用户完成外包的人工智能任务。MCS需要适当的任务分配策略，因为不同的工人可能在接受率和质量方面有不同的表现。任务分配是具有挑战性的，因为工人的表现（i）可能会波动，这取决于工人当前的个人背景和任务背景，（ii）不是先验已知的，而是必须随着时间的推移而学习。此外，学习上下文特定的工作者性能需要访问上下文信息，由于通信开销或隐私问题，上下文信息可能在中央实体处不可用。此外，评估工人的表现可能需要昂贵的质量评估。在本文中，我们提出了一个上下文感知的分层在线学习算法解决MCS的性能最大化的问题。在我们的算法中，本地控制器（LC）在移动终端的工人定期观察工人的上下文，她/他的决定接受或拒绝任务和完成任务的质量。基于这些观察，LC定期估计工人的特定于上下文的性能。然后，移动众包平台（MCSP）基于从LC接收的绩效估计来选择工作者。这种分层方法使LC能够学习特定于上下文的工作器性能，并且它使MCSP能够选择合适的工作器。此外，我们的算法在本地保留了工人上下文，并保持所需的质量评估的数量较低。我们证明了我们的算法收敛到最优的任务分配策略。此外，该算法优于简单的任务分配策略在实验中的基础上合成和真实的数据。
2018-11-08 cs.HC cs.LG cs.SI
Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities
Nanyang Technological University（南洋理工大学）
参与众包平台的工作者可以有广泛的能力和兴趣。众包中的一个重要问题是任务推荐问题，其中最匹配特定工作者的偏好和可靠性的任务被推荐给该工作者。如果任务推荐方案分配的任务更有可能被更有可能可靠地完成任务的工作人员接受，则会为任务请求者带来更好的性能。如果没有关于工人的先验信息，他的偏好和可靠性需要随着时间的推移而学习。在本文中，我们提出了一个多臂强盗（MAB）框架来学习工人的偏好和他的可靠性，为不同类别的任务。然而，与经典的MAB问题不同，工人完成任务的奖励是不可观察的。因此，我们包括使用黄金任务（即，其解决方案已知为\emph{a priori}且不产生任何奖励的任务）。我们的模型可以被看作是MAB的一个新变体，其中随机奖励只能在使用黄金任务的时间步上观察到，并且估计向工作者推荐任务的预期奖励的准确性取决于使用的黄金任务的数量。我们发现，最佳的遗憾是$O(\sqrt{n})$，其中$n$是推荐给工人的任务数。我们开发了三种任务推荐策略来确定不同任务类别的黄金任务数量，并证明了它们是顺序最优的。仿真结果验证了我们的方法的有效性。
2018-07-27 cs.HC cs.LG cs.SI
Online Assignment of Heterogeneous Tasks in Crowdsourcing Markets
我们调查的问题异构任务分配在众包市场的请求者的角度来看，谁有一个任务的集合。工人们一个接一个地上网，每个人都声明一组他们可以解决的可行任务，以及每个可行任务的期望报酬。请求者必须即时决定将哪个任务（如果有的话）分配给工作者，同时只将工作者分配给可行的任务。目标是在固定的总预算下最大化分配的任务数量。我们提供了一个在线算法，这个问题，并证明了一个上限的竞争比，这个算法对任意（可能是最坏的情况下）序列的工人谁想要小的付款相对于请求者的总预算。我们进一步显示了几乎匹配的竞争比在此设置中的任何算法的下界。最后，我们提出了一个不同的算法，实现了改进的竞争比的随机排列模型，其中工人的到达顺序是随机选择的。除了这些强有力的理论保证，我们进行了模拟数据的实验，证明了我们的算法的实用性。
2015-08-14 cs.DS cs.HC
Study on Patterns and Effect of Task Diversity in Software Crowdsourcing
Stevens Institute of Technology（史蒂文斯理工学院）
背景：软件众包的成功依赖于稳定的任务供给和活跃的工作人员库。现有的分析显示，软件众包市场的平均任务失败率为15.7%。目标：本研究的目的是实证研究软件众包平台中任务多样性的模式和效果，以提高软件众包的成功率和效率。方法：本文提出了一个概念性的任务多样性模型，并提出了一种测量和分析任务多样性的方法，具体包括对相似任务进行分组，根据竞争水平对它们进行排序，并识别区分这些竞争水平的主导属性，然后研究任务多样性对众包平台中任务成功和工作者绩效的影响。本文的实证研究是基于领先的软件众包平台TopCoder一年多的真实数据进行的。结果：我们发现，奖金和任务复杂性是区分不同竞争水平的主导属性。基于这些优势属性，我们发现了三个任务多样性模式（配置）从工人的行为角度：响应奖励，响应奖励和复杂性和过度响应奖励。研究结果表明：1）响应奖励配置的任务密度和工作者可靠性最高; 2）响应奖励和复杂性配置的任务密度和工作者可靠性最高; 3）响应奖励配置的任务稳定性最高，相似性不高的任务失败率最低。
2020-07-29 cs.AI cs.HC cs.SE
Crowdsourcing with Unsure Option
Nanjing University（南京大学）
众包的一个基本问题是高精度聚合所需的工人数量和支付预算之间的权衡。为了节省预算，确保众包标签的高质量非常重要，因此标签收集的总成本将降低。由于工人的自信心往往与他们的能力有密切的关系，质量控制的一个可能的方法是要求工人只有在他们感到有信心的时候才归还标签，通过提供不确定的选择。另一方面，允许员工选择不确定的选项也会导致预算浪费的潜在危险。在这项工作中，我们提出了分析，以了解当提供不确定的选项确实导致显着的成本降低，以及如何设置的信心阈值。我们还提出了一个在线机制，这是替代阈值选择时，估计的人群能力分布是困难的。
2017-08-12 cs.AI cs.HC
Sequential Multi-Class Labeling in Crowdsourcing
Nanyang Technological University（南洋理工大学）
我们考虑一个众包平台，其中工人对众包者提出的问题的回答被用来确定多类标签问题的隐藏状态。由于工人可能不可靠，我们建议进行顺序提问，其中向工人提出的问题是根据之前的问题和答案设计的。我们提出了一个部分可观测马尔可夫决策过程（POMDP）框架，以确定最佳的提问策略，受众包的预算约束。由于这种POMDP制定一般是棘手的，我们开发了一个次优的方法的基础上，一个$q$ ary Ulam-Rényi游戏。我们还提出了一个采样启发式，它可以与标准的POMDP求解器，使用我们的Ulam-Rényi策略。我们通过模拟证明，我们的方法优于基于纠错编码的非顺序策略，并且不利用工人以前的反应。
2018-05-19 cs.CY cs.HC cs.LG
Avoiding Imposters and Delinquents: Adversarial Crowdsourcing and Peer Prediction
Stanford University（斯坦福大学）
我们考虑一个众包模型，其中$n$工人被要求评价质量的$n$项目以前产生的其他工人。一组未知的$αn$工作者生成可靠的评级，而其余的工作者可能会表现得任意，甚至可能是敌对的。实验的管理者还可以手动评估少量项目的质量，并希望将几乎所有高质量项目与最多$ε$部分低质量项目一起策划。也许令人惊讶的是，我们表明，这是可能的，需要管理人员和每个工人的工作量，不与$n$的规模：数据集可以与每个工人的$\tilde{O}\Big(\frac{1}{βα^3ε^4}\Big)$评级，和经理的$\tilde{O}\Big(\frac{1}{βε^2}\Big)$评级，其中$β$是高质量项目的分数。我们的研究结果扩展到更一般的设置同行预测，包括同行评分在线教室。
2016-06-16 cs.CR cs.DS cs.GT
Inference Aided Reinforcement Learning for Incentive Mechanism Design in Crowdsourcing
Nanyang Technological University（南洋理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Harvard University（哈佛大学）
众包的激励机制旨在激励在经济上自利的工作者制作和报告高质量的标签。现有的机制通常是作为一次性静态解决方案开发的，假设对工作者模型有一定程度的了解（专业知识水平，努力的成本等）。在本文中，我们提出了一种新的推理辅助强化机制，它可以学习顺序地激励高质量的数据，并且不需要这样的先验假设。具体来说，我们首先设计了一个吉布斯抽样增强贝叶斯推理算法估计工人的标签策略，从收集的标签在每一步。然后，我们提出了一种强化激励学习（RIL）方法，建立在上述估计的基础上，以揭示工人对不同报酬的反应。RIL动态确定付款，而无需访问任何地面实况标签。我们从理论上证明了RIL能够激励理性的工人提供高质量的标签。实证结果表明，我们的机制表现一贯良好的理性和非完全理性（自适应学习）的工人模型。此外，与现有的一次性机制相比，RIL提供的付款更稳健，差异更小。
2018-06-01 cs.GT cs.HC cs.LG
Online Decision Making in Crowdsourcing Markets: Theoretical Challenges (Position Paper)
在过去的十年中，众包已经成为一种廉价而有效的方法，可以为计算机难以解决但人类可能解决的简单任务提供解决方案。众包市场的普及和前景导致了对算法设计的实证和理论研究，以优化这些市场的各个方面，如定价和任务分配。现有的关于众包市场的理论研究大多集中在在线决策的大类问题上;任务请求者或众包平台本身会反复决定要设定的价格、要过滤掉的工人、要分配给特定工人的问题或其他事情。这些决策通常是复杂的，需要算法来了解可用任务或工人随时间的分布，并考虑工人的战略（有时是非理性）行为。随着人类计算发展到自己的领域，以原则性的方式解决这些挑战的时机已经成熟。然而，似乎很难在一个单一的连贯模型中涵盖众包市场的所有相关方面。在本文中，我们反映了建模问题，抑制在线众包决策的理论研究，并确定了一些步骤。本文源于作者对这些问题的沮丧，我们希望它能鼓励社区尝试理解，辩论并最终解决这些问题。作者欢迎对本文未来修订的反馈。
2013-11-26 cs.CY cs.HC cs.SI
A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
KAIST（韩国科学技术院）；University of Chicago（芝加哥大学）
本文提出一种众包的 $d$-type specialization model，允许任务和工人具有未知类型且类型数可缩放，刻画了最优样本复杂度，提出阶数最优的标签推断算法，在合成和真实数据集上均优于现有方法。
2023-09-13 cs.HC cs.IT cs.LG
Prospect Theory Based Crowdsourcing for Classification in the Presence of Spammers
Syracuse University（雪城大学）
我们认为，通过众包的$M$ -ary分类问题，其中人群工作人员响应简单的二进制问题和答案通过决策融合聚合。当工人不具备专业知识或正确回答问题的信心较低时，他们可以选择拒绝回答问题。我们进一步认为，在人群中有垃圾邮件发送者，他们对问题的回答是随机猜测。在鼓励拒绝选项的支付机制下，我们研究了诚实工人和垃圾邮件发送者的行为，他们的目标是最大化他们的金钱回报。为了准确地描述人类的行为方面，我们采用前景理论建模的合理性的人群工作者，其感知的成本和概率被扭曲的基础上，一些价值和权重函数，分别。此外，我们估计垃圾邮件发送者的数量，并采用加权多数表决决策规则，我们分配给每个工人的最佳权重，以最大限度地提高系统的性能。推导出正确分类的概率和渐进系统性能。我们还提供了仿真结果来证明我们的方法的有效性。
2020-04-28 cs.HC cs.LG stat.ML
Redefining Research Crowdsourcing: Incorporating Human Feedback with LLM-Powered Digital Twins
Princeton University（普林斯顿大学）
针对众包平台中AI使用导致数据有效性受损的问题，提出结合人类反馈与LLM数字孪生的混合框架，实验表明该方法在提升生产力和减少决策疲劳的同时保持了响应质量，有助于平衡可扩展性与真实性。
2025-05-29 cs.CL cs.CY cs.HC
LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs
Carnegie Mellon University（卡内基梅隆大学）
本文研究LLM能否复现复杂众包流水线，发现其可模拟部分人类计算能力但表现受能力认知、子任务技能与交互模态影响，并提出该平台可评估LLM任务优势及人机协作潜力。
2025-01-09 cs.CL cs.HC
A Minimax Optimal Algorithm for Crowdsourcing
Telecom ParisTech（巴黎电信高等技术学校）；Centrale-Supelec（中央理工-高等电力学院）
我们考虑的问题，准确地估计工人的可靠性的基础上，他们提供的嘈杂的标签，这是一个基本的问题，在众包。我们提出了一个新的下界的极小极大估计误差，适用于任何估计过程。我们进一步提出了三角估计（TE），估计工人的可靠性的算法。TE具有低复杂度，当标签由工作者实时提供时可以在流设置中实现，并且不依赖于迭代过程。我们进一步证明了TE是极大极小最优的，并符合我们的下界。最后，我们评估了TE和其他最先进算法在合成数据集和真实数据集上的性能。
2017-10-25 cs.HC cs.LG cs.SI
BUOCA: Budget-Optimized Crowd Worker Allocation
Boston University（波士顿大学）
由于担心众包中的人为错误，标准做法是从多个互联网工作者那里收集同一数据点的标签。我们在这里表明，由此产生的预算可以更有效地使用灵活的工人分配策略，要求更少的工人分析易于标记的数据，更多的工人分析需要额外审查的数据。我们的主要贡献是展示如何分配的工人的数量，一个任务可以计算最佳的任务功能的基础上，而不使用工人配置文件。我们的目标任务是在显微镜图像中描绘细胞，并分析推文中对2016年美国总统候选人的情绪。首先，我们提出了一个算法，计算最优化的人群工作分配（BUOCA）。接下来，我们训练一个机器学习系统（BUOCA-ML），该系统预测最大化标记准确性所需的人群工作人员的最佳数量。我们表明，计算的分配可以在保持标签准确性的同时节省大量的众包预算（高达49%）。最后，我们设想了一个人机系统，用于在超出众包可行性的范围内执行自动优化的数据分析。
2019-01-11 cs.HC cs.LG stat.ML
From Task Tuning to Task Assignment in Privacy-Preserving Crowdsourcing Platforms
众包平台的专业化工作者简档可以包含大量的识别和可能敏感的个人信息（例如，个人偏好、技能、可用插槽、可用设备）引起强烈的隐私问题。这导致了保护隐私的众包平台的设计，旨在实现高效的众包流程，同时即使在平台不完全可信的情况下也能提供强有力的隐私保证。在本文中，我们提出了两个贡献。首先，我们提出了PKD算法的目标是支持各种各样的聚合使用的工人配置文件在一个隐私保护的众包平台。PKD算法将同态加密和差分隐私组合在一起，用于计算实际工人群体的多维技能空间的（扰动的）分区和每个分区的工人的（扰动的）数目。其次，我们建议受益于私人信息检索技术的最新进展，以设计一个解决方案，任务分配，是私人和负担得起的。我们进行了深入研究的问题，使用PIR技术提出任务的工人，表明它是NP-难的，并提出了PKD PIR包装启发式分组任务一起根据分区输出的PKD算法。简而言之，我们设计了PKD算法和PKD PIR Packing启发式算法，我们正式证明了它们对诚实但好奇的工人和/或平台的安全性，我们分析了它们的复杂性，并通过在合成和现实数据集上进行广泛的实验评估，证明了它们在现实生活中的质量和可负担性。
2020-07-10 cs.CR cs.CY cs.DB
Security Risks of AI Agents Hiring Humans: An Empirical Marketplace Study
本文通过实证研究揭示了AI代理通过市场平台雇佣人类时存在的安全风险，发现32.7%的赏金来自自动化渠道，识别出六种可购买的滥用类型，并指出现有基本防御措施的缺失。
2026-02-23 cs.CR cs.HC
Efficient Crowdsourcing via Proxy Voting
众包平台提供了一种通过聚合多个不合格工人的答案来标记数据的方法。我们介绍了一个\textit{simple}和\textit{budget efficient}众包方法称为代理众包（PCS）。PCS从两组工作者收集答案：\textit{leaders}（也称为代理）和\textit{followers}。每个领导者完全回答了调查，而每个追随者只回答了其中的一小部分。然后，我们根据其答案最接近的追随者数量对每个领导者进行加权，并使用任何标准聚合方法（例如，分类标签的复数或连续标签的均值）。我们比较经验的PCS的性能，未加权聚合，保持问题（预算）的总数固定。我们表明，PCS提高了多个数据集的聚合答案的准确性，无论是分类标签还是连续标签。总的来说，我们建议的方法提高了准确性，同时简单且易于实现。
2018-06-16 cs.GT cs.HC
Enhancing Worker Recruitment in Collaborative Mobile Crowdsourcing: A Graph Neural Network Trust Evaluation Approach
School of Computer and Control Engineering, Yantai University（烟台大学计算机与控制工程学院）；Georgia State University（佐治亚州立大学）
针对协作式移动众包中的工人招募问题，提出基于图卷积神经网络的信任强化评估框架TREF，结合禁忌搜索算法与边缘计算实现分布式招募，在五个真实数据集上验证了其优于基线方法的性能。
2024-03-22 cs.AI cs.HC cs.LG
Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
众包在用于获得大量标记数据的机器学习应用中获得了极大的普及。众包既便宜又快捷，但存在数据质量低的问题。为了解决众包中的这一基本挑战，我们提出了一个简单的支付机制，以激励员工只回答他们确定的问题，跳过其余的问题。令人惊讶的是，在温和和自然的“没有免费的午餐”的要求，这种机制是唯一的激励兼容的支付机制可能。我们还表明，在所有可能的激励兼容的机制（可能会或可能不会满足没有免费的午餐），我们的机制使最小的可能支付给垃圾邮件发送者。我们进一步将我们的结果扩展到一个更一般的设置中，工人需要为每个问题提供量化的信心。有趣的是，这种独特的机制采取了“倍增”的形式。该机制的简单性是一个额外的好处。在涉及900多个工人-任务对的初步实验中，我们观察到在相同或更低的货币支出下，这种独特的机制使出错率显著下降。
2015-12-16 cs.GT cs.HC cs.LG
Budget-Optimal Task Allocation for Reliable Crowdsourcing Systems
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众包系统，其中许多任务被电子地分配给许多“信息件工作者”，已经成为在诸如图像分类、数据录入、光学字符识别、推荐和校对等领域中的大规模问题的人力解决的有效范例。由于这些低收入的工人可能是不可靠的，几乎所有这样的系统都必须设计方案来增加对他们答案的信心，通常是通过多次分配每个任务并以适当的方式组合答案，例如多数投票。在本文中，我们考虑了这种众包任务的一般模型，并提出了最小化总价格的问题（即，任务分配的数量），其必须被支付以实现目标总体可靠性。我们给出了一个新的算法来决定哪些任务分配给哪些工人，并从工人的答案推断正确的答案。我们表明，我们的算法，灵感来自信念传播和低秩矩阵近似，显着优于多数表决，事实上，是最佳的，通过比较的甲骨文，知道每个工人的可靠性。此外，我们比较我们的方法与更一般的一类算法，可以动态分配任务。通过自适应地决定向下一个到达的工人询问哪些问题，人们可能希望更有效地减少不确定性。我们表明，也许令人惊讶的是，必要的最低价格，以实现目标的可靠性尺度在自适应和非自适应的情况下，以相同的方式。因此，我们的非自适应方法在这两种情况下都是最优的。这在很大程度上取决于工人是转瞬即逝的，不能被剥削。因此，从架构上讲，我们的研究结果表明，建立一个可靠的工人声誉系统是充分利用自适应设计的潜力至关重要。
2013-03-26 cs.DS cs.HC cs.LG
Boomerang: Rebounding the Consequences of Reputation Feedback on Crowdsourcing Platforms
付费众包平台遭受低质量的工作和不公平的拒绝，但矛盾的是，大多数工作者和请求者都有很高的声誉得分。这些夸大的分数，使高质量的工作和工人难以找到，源于社会压力，以避免给予负面反馈。我们介绍了Boomerang，一个众包声誉系统，通过将反馈的结果直接反馈给提供反馈的人，从而获得更准确的反馈。使用Boomerang，请求者发现他们的高评分工人可以最早访问他们未来的任务，工人可以在他们的任务提要顶部找到来自他们的高评分请求者的任务。现场实验证实，Boomerang使工人和请求者提供的反馈更接近他们的个人意见。受激励相容性的博弈论概念的启发，Boomerang为交互设计提供了机会，以激励诚实的报告而不是战略性的不诚实。
2019-04-14 cs.CY cs.HC econ.GN
An Empirical Investigation of Worker Communities in TopCoder
软件众包平台采用外部奖励，如评级或排名系统来激励员工。这样的评级系统是嘈杂的，并提供有限的知识，工人的喜好和表现。为了更好地了解软件众包中的工人可靠性和可信度，本文报告了一项实证研究，该研究基于领先的软件众包平台之一TopCoder的一年多的真实数据。为此，首先，我们根据常见的任务注册创建一个活跃工作者的二分网络。然后，我们使用Clauset-Newman-Moore图聚类算法来识别网络中的工人簇。最后，我们进行了一个实证评估，测量和分析工人的行为，每个识别社区的平台，工人的评级。更具体地说，工人的行为是根据他们的表现，在可靠性，可信度和成功;他们的偏好，在效率和弹性;和战略的舒适性，信心和欺骗性。这项研究的主要结果确定了四个社区的积极工作者：混合排名，高排名，中等排名，低排名。这项研究表明，低排名的社区与最可靠的工人，平均可靠性为25%，而混合排名的社区包含最值得信赖的工人，平均可信度为16%。这些经验证据有助于探索资源选择，同时了解未知资源之间的关系，以提高任务成功率。
2022-01-18 cs.HC cs.SE cs.SI
CrowdMOT: Crowdsourcing Strategies for Tracking Multiple Objects in Videos
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Houzz, Inc.（Houzz公司）
众包是一种有价值的方法，可以以比领域专家更可扩展的方式跟踪视频中的对象。然而，现有的框架并不能产生高质量的结果，特别是对于对象分裂的场景。为了解决这个缺点，我们引入了一个名为CrowdMOT的众包平台，并研究了两个微任务设计决策：（1）是否分解任务，以便每个工作人员负责注释视频子段中的所有对象，而不是注释整个视频中的单个对象，以及（2）是否将先前工作人员的注释显示给下一个工作任务的个人。我们对各种各样的视频进行实验，这些视频显示了熟悉的物体（又名-人）和不熟悉的物体（又名-细胞）。我们的研究结果突出了策略，有效地收集更高质量的注释比观察时，使用当今最先进的众包系统所采用的策略。
2020-09-29 cs.CV cs.HC
Analytic Methods for Optimizing Realtime Crowdsourcing
实时众包研究表明，通过管理一个小规模、反应迅速的工人群体，可以在几秒钟内招募到付费人群。实时人群使以交互速度响应的人群驱动系统成为可能：例如，相机，机器人和即时民意调查。到目前为止，这些技术主要是概念验证原型：研究尚未试图了解它们如何大规模工作或优化其成本/性能权衡。本文利用排队论分析了实时众包的预约模型，特别是其期望等待时间和成本的请求。我们提供了一个算法，允许请求者，以尽量减少其成本的性能要求。然后，我们提出并分析了三种技术来提高性能：推送通知，共享的保留池，和precruitment，这涉及到调用保留工人之前，任务实际到达。一项实验验证发现，预先确定的工作人员在发布任务后500毫秒开始执行任务，提供的结果低于终端用户保持流状态的一秒认知阈值。
2012-04-13 cs.HC cs.SI physics.soc-ph
Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth
DIMACS, Rutgers University（Rutgers大学DIMACS研究中心）
本文针对众包标注中LLM作弊问题，提出一种基于同伴预测的免训练评分机制，在无真值条件下利用工作者答案间相关性检测LLM污染，并给出理论保证与实证验证。
2025-11-06 cs.AI cs.GT cs.HC
On the Improvement of Quality and Reliability of Trust Cues in Micro-task Crowdsourcing (Position paper)
微任务众包已经成为从大量不同人群中获取高质量数据的成功手段。在这种情况下，所有参与者（即请求者、工作者和平台所有者）之间的信任是接受和长期成功的关键因素。由于参与者对“现实生活”中的会议没有期望，因此信任只能通过计算机中介的信任线索来归因，如工人资格和请求者评级。这些线索往往是孤立进行的技术或社会评估的结果，只考虑相关属性的一个子集，并与异步和不对称的互动。在本文中，我们提倡新一代的微任务众包系统，追求信任的整体理解，通过提供一个开放的，透明的，隐私友好的，社会意识的观点，所有的演员的微任务众包环境。
2017-02-11 cs.HC cs.SI
