Doubly Robust Crowdsourcing
University of California, Santa Barbara（加州大学圣巴巴拉分校）
正如我们今天所看到的，大规模标记数据集是点燃人工智能革命不可或缺的燃料。大多数这样的数据集都是使用众包服务构建的，例如Amazon Mechanical Turk，它以公平的价格提供来自非专家的噪声标签。这些数据集的庞大规模要求每个数据点只能收集几个标签。我们将测试时间标签聚合问题表示为推断预期投票得分的统计估计问题。通过模仿工人与监督学习者，并使用它们在一个双重强大的估计框架，我们证明了估计的方差可以大大减少，即使学习者是一个穷人的近似。合成和真实世界的实验表明，通过将双重鲁棒方法与自适应工人/项目选择规则相结合，我们通常需要更低的标签成本来实现与理想世界中几乎相同的准确性，在理想世界中，所有工人都标记所有数据点。
2022-03-11 cs.HC cs.LG stat.ML
Enhanced Nearest Neighbor Classification for Crowdsourcing
Purdue University（普渡大学）；Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Moody’s Analytics, Inc.（穆迪分析公司）
在机器学习中，众包是标记大量数据的经济方式。然而，所产生的标签中的噪声可能会降低应用于标记数据的任何分类方法的准确性。我们提出了一个增强的最近邻分类器（ENN）来克服这个问题。开发了两种算法来估计工人质量（这在实践中往往是未知的）：一种是通过将$k$ NN分类器应用于专家数据来构建基于去噪工人标签的估计;另一种是即使没有访问专家数据也能工作的迭代算法。除了强有力的数值证据，我们提出的方法被证明可以实现与基于高质量专家数据的Oracle版本相同的遗憾。作为一个技术的副产品，分配给每个工人的样本量的下限，以达到最佳的收敛速度的遗憾。
2022-02-26 cs.HC cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University（雪城大学）
在本文中，我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的，他们执行的测试与错误，我们研究了决策树的建设，以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系，提出了两种决策树设计算法。此外，工人分配问题进行了研究时，工人可以被分配到不同的测试的决策树，以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
KAIST（韩国科学技术院）；University of Chicago（芝加哥大学）
本文提出一种众包的 $d$-type specialization model，允许任务和工人具有未知类型且类型数可缩放，刻画了最优样本复杂度，提出阶数最优的标签推断算法，在合成和真实数据集上均优于现有方法。
2023-09-13 cs.HC cs.IT cs.LG
Budget-Optimal Task Allocation for Reliable Crowdsourcing Systems
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众包系统，其中许多任务被电子地分配给许多“信息件工作者”，已经成为在诸如图像分类、数据录入、光学字符识别、推荐和校对等领域中的大规模问题的人力解决的有效范例。由于这些低收入的工人可能是不可靠的，几乎所有这样的系统都必须设计方案来增加对他们答案的信心，通常是通过多次分配每个任务并以适当的方式组合答案，例如多数投票。在本文中，我们考虑了这种众包任务的一般模型，并提出了最小化总价格的问题（即，任务分配的数量），其必须被支付以实现目标总体可靠性。我们给出了一个新的算法来决定哪些任务分配给哪些工人，并从工人的答案推断正确的答案。我们表明，我们的算法，灵感来自信念传播和低秩矩阵近似，显着优于多数表决，事实上，是最佳的，通过比较的甲骨文，知道每个工人的可靠性。此外，我们比较我们的方法与更一般的一类算法，可以动态分配任务。通过自适应地决定向下一个到达的工人询问哪些问题，人们可能希望更有效地减少不确定性。我们表明，也许令人惊讶的是，必要的最低价格，以实现目标的可靠性尺度在自适应和非自适应的情况下，以相同的方式。因此，我们的非自适应方法在这两种情况下都是最优的。这在很大程度上取决于工人是转瞬即逝的，不能被剥削。因此，从架构上讲，我们的研究结果表明，建立一个可靠的工人声誉系统是充分利用自适应设计的潜力至关重要。
2013-03-26 cs.DS cs.HC cs.LG
Variational Bayesian Inference for Crowdsourcing Predictions
IBM Research（IBM研究院）
众包已经成为执行许多机器学习任务的有效手段，例如图像和其他数据集的注释和标记。在大多数早期的众包环境中，任务涉及分类，即为每个任务分配一组离散标签中的一个。然而，最近已经尝试了更复杂的任务，包括要求众包工作人员分配连续标签或预测。本质上，这涉及使用众包进行功能估计。我们被这个问题所激励，去推动诸如协作预测之类的应用，也就是说，利用群众的智慧来更准确地预测数量。为此，我们提出了一种贝叶斯方法，专门针对减轻过拟合，一个典型的障碍，在实践中准确的预测模型。特别是，我们开发了一个变分贝叶斯技术两个不同的工人噪声模型-一个假设工人的噪声是独立的，另一个假设工人的噪声具有潜在的低秩结构。我们对合成和真实世界数据集的评估表明，这些贝叶斯方法的性能显着优于现有的非贝叶斯方法，因此可能对这类众包问题有用。
2020-06-02 cs.AI cs.LG stat.ML
Open-Set Crowdsourcing using Multiple-Source Transfer Learning
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；George Mason University（乔治梅森大学）；King Abudullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出并定义了一个新的众包场景，即开集众包，我们只知道一个不熟悉的众包项目的大致主题，而不知道它的标签空间，即可能的标签集合。这仍然是一个任务标注问题，但对任务和标签空间的不熟悉阻碍了任务和工人的建模，也阻碍了真值推理。我们提出了一个直观的解决方案，OSCrowd。首先，OSCrowd将人群主题相关数据集集成到一个大的源域中，以促进部分迁移学习来近似这些任务的标签空间推理。接下来，它根据类别相关性为每个源域分配权重。在此之后，它使用多源开放集迁移学习来建模人群任务并分配可能的注释。迁移学习给出的标注空间和标注将用于指导和规范人群工作者的标注。我们在一个在线场景中验证了OSCrowd，并证明了OSCrowd解决了开集众包问题，比相关的众包解决方案更好。
2021-11-07 cs.HC cs.LG stat.ML
Unlearn What You Have Learned: Adaptive Crowd Teaching with Exponentially Decayed Memory Learners
Arizona State University（亚利桑那州立大学）
随着人们对大量有标签数据需求的不断增加，众包技术已经被应用于许多大规模的数据挖掘应用中。然而，现有的众包研究主要集中在标签推理和激励设计方面。在本文中，我们解决了一个不同的问题，自适应人群教学，这是机器教学在众包的背景下的一个子领域。与机器相比，人类非常擅长学习特定的目标概念（例如，将图像分类到给定的类别中），并且它们还可以容易地将所学习的概念转移到类似的学习任务中。因此，利用众包更有效的方式是通过监督人群以教学的形式进行标签。为了同时进行教学和专业知识评估，我们提出了一个自适应的教学框架JEDI构建个性化的最佳教学集的众包工作者。在JEDI教学中，教师假设每个学习者的记忆力都呈指数衰减。此外，它通过在教学有用性方面仔细平衡教学多样性和学习者的准确学习来确保学习过程的全面性。最后，我们通过与综合学习者和真正的众包工作者的多个数据集上的最先进技术进行比较，验证了JEDI教学的有效性和有效性。
2018-05-25 cs.HC cs.LG stat.ML
Optimizing the Wisdom of the Crowd: Inference, Learning, and Teaching
Arizona State University（亚利桑那州立大学）
对大量数据的前所未有的需求催化了人类洞察与机器学习技术相结合的趋势，这促进了使用众包来有效且高效地获取标签信息。众包领域的经典研究主要集中在分类环境下的标签推理问题。然而，推断真实标签需要复杂的聚合模型，这些模型通常只能在某些假设下表现良好。同时，无论聚合模型多么复杂，生成人群标签的真实模型仍然是未知的。因此，标签推理问题永远不能完美地推断出地面真理。基于众包标签是丰富的并且利用聚合将丢失这种丰富的注释信息（例如，哪个工人提供哪个标签），我们认为，关键是要考虑众包工人的不同标签能力以及它们的相关性。为了应对上述挑战，我们建议解决三个研究问题，即推理，学习和教学。
2018-06-23 cs.HC cs.LG stat.ML
Exact Exponent in Optimal Rates for Crowdsourcing
在许多机器学习应用中，众包已经成为标签收集的主要手段。在本文中，我们研究的最佳错误率聚合标签提供了一组非专家工人。在经典的Dawid-Skene模型下，我们建立了具有精确指数$mI(π)$的匹配上下界，其中$m$是工人的数量，$I(π)$是表征工人集体能力的平均平均信息.误差指数的这种精确表征允许我们陈述精确的样本量要求$m>\frac{1}{I(π)}\log\frac{1}ε$，以实现$ε$误分类误差。此外，我们的研究结果意味着最优的各种期望最大化算法的众包初始化的相合估计量。
2016-05-26 math.ST stat.ML stat.TH
Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing
New York University（纽约大学）；University of Iowa（爱荷华大学）
基于两两比较的排序聚合有着广泛的应用。虽然相当多的研究已经致力于发展的排名聚合算法，一个基本的问题是如何有效地收集大量的高质量的成对比较的排名的目的。由于许多众包服务的出现，一群工人经常被雇佣来进行成对比较，每对他们比较一个小的金钱奖励。由于不同的工作者具有不同的可靠性水平，并且不同的对具有不同的模糊性水平，因此希望明智地分配有限的预算用于在项目和工作者对之间进行比较，使得可以从比较结果准确地推断全局排名。为此，我们将众包排名中的主动抽样问题建模为贝叶斯马尔可夫决策过程，该过程在预算约束下动态选择项目对和工人以提高排名精度。我们进一步开发了一个计算效率高的采样政策的基础上的知识梯度以及矩匹配技术的后验近似。在合成数据和真实数据上的实验结果表明，该策略以较低的标记代价实现了较高的排序精度。
2016-12-21 cs.LG stat.ME stat.ML
An End-to-End Deep RL Framework for Task Arrangement in Crowdsourcing Platforms
The University of Hong Kong（香港大学）；University of Ioannina（约阿尼纳大学）；Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）
在本文中，我们提出了一个深度强化学习（RL）框架的任务安排，这是一个关键的问题，众包平台的成功。以往的工作通过监督学习方法向工作者进行任务的个性化推荐。然而，他们中的大多数人只考虑工人或请求者的利益独立。此外，它们无法处理动态环境，可能会产生次优结果。为了解决这些问题，我们利用深度Q网络（DQN），一种基于RL的方法结合神经网络来估计推荐任务的预期长期回报。DQN本质上同时考虑了当前和未来的回报，并且可以实时更新以处理不断变化的数据和动态变化。此外，我们设计了两个DQN，捕获工人和请求者的利益，并最大限度地提高平台的利润。为了有效地学习DQN中的价值函数，我们还提出了新的状态表示，仔细设计了Q值的计算，并预测转移概率和未来状态。在合成数据集和真实数据集上的实验证明了该框架的优越性能。
2019-11-04 cs.DB cs.LG stat.ML
Error Rate Bounds and Iterative Weighted Majority Voting for Crowdsourcing
University of California（加利福尼亚大学）
众包已经成为人工计算标记大型数据集的有效和流行的工具。由于工人可能不可靠，因此在众包中通常将多个工人分配给一个任务，并聚合标签以获得高质量的结果。在本文中，我们提供了有限样本指数界的错误率（概率和期望）的一般聚集规则下的Dawid-Skene众包模型。该界可用于分析多种聚集方法，包括多数表决、加权多数表决和Oracle最大后验概率（MAP）规则。我们表明，甲骨文MAP规则近似优化我们的上界加权多数表决的平均错误率在一定的设置。我们提出了一个迭代加权多数表决（IWMV）方法，优化错误率界和近似的Oracle MAP规则。它的一步版本在错误率上有可证明的理论保证。IWMV方法直观，计算简单。模拟和真实数据的实验结果表明，IWMV的性能至少与最先进的方法相当，并且它具有比最先进的方法低得多的计算成本（大约快一百倍）。
2014-11-15 cs.HC cs.LG math.PR
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
Minimax Optimal Convergence Rates for Estimating Ground Truth from Crowdsourced Labels
众包已经成为许多现实世界机器学习应用中标签收集的主要手段。从众包工作者提供的噪声标签中推断真实标签的经典方法是Dawid-Skene估计。本文证明了Dawid-Skene估计的投影期望最大化算法的收敛速度。显示指数的收敛速度被证明是最佳的，通过一个下界参数。我们的工作解决了长期存在的问题，是否Dawid-Skene估计有良好的理论保证，除了在实践中观察到的良好性能。此外，与多数表决的比较研究说明了Dawid-Skene估计的优点和缺陷。
2016-05-30 math.ST stat.ML stat.TH
