Task Assignment on Spatial Crowdsourcing [Experiments and Analyses] (Technical Report)
近年来,随着移动设备和众包平台的快速发展,空间众包引起了数据库界的广泛关注。具体而言,空间众包是指根据工作者的位置向其发送基于位置的请求,工作者需要物理移动到指定位置进行任务。空间众包中的任务分配问题已经有很多研究,但是,他们的问题设置是不一样的。因此,很难比较现有算法在空间众包任务分配上的性能。在本文中,我们提出了一个全面的实验比较现有的算法在空间众包任务分配。具体来说,我们首先给出了一般的定义空间工作者和空间任务的基础上的定义,在现有的作品,使现有的算法可以应用于相同的合成和真实的数据集。然后,我们提供了一个统一的实现空间众包(开源)的任务分配问题的所有测试算法。最后,基于合成数据集和真实数据集的结果,我们讨论了测试算法的优点和缺点,这可以指导未来在同一领域的研究和空间众包系统的实际实现。
2018-09-06 cs.DB
Group Rotation Type Crowdsourcing
执行连续人工任务流的一个常见工作流是将工作人员分成组,让一个组执行新到达的任务,然后轮换这些组。我们把这种类型的工作流称为组轮换。本文讨论了如何管理群体轮换型众包,在众包设置的群体轮换的问题。在群体轮换型众包中,由于工作人员的频繁进出,必须动态地改变群体结构。本文提出了一种方法,探索一个设计空间的方法,为集团旋转型众包集团重组。
2016-09-01 cs.DB
Budget-aware Online Task Assignment in Spatial Crowdsourcing
移动互联网技术的普及刺激了各种空间众包应用的出现。某些应用程序服务于请求者,预算提供者,他们向平台提交一批任务和固定预算,希望寻找合适的工作人员来完成最大数量的任务。平台注重优化分配策略,寻求消耗较少资源的工作者-任务对,以满足请求者的需求。现有的预算约束下的任务分配研究主要集中在静态离线场景,其中所有工人和任务的时空信息是预先已知的。然而,工人通常出现在真实的空间众包平台,现有的解决方案很难处理它。在本文中,我们正式定义了一个新的问题预算感知的在线任务分配(BOA)在空间众包应用。BOA的目标是在预算约束下最大化分配的工人-任务对的数量,其中工人动态地出现在平台上。为了解决BOA问题,我们首先提出了一个有效的基于阈值的贪心算法Greedy-RT,它利用一个随机生成的阈值,以修剪对大旅行成本。与简单贪心算法相比,Greedy-RT算法在敌手模型下表现较好,但在随机模型下不稳定,因为其随机生成的阈值可能导致匹配质量较差。然后,我们提出了一种改进的算法Greedy-OT,它可以从历史数据中学习近似最优阈值,从而显着提高了两种模型的匹配大小。最后,通过在真实数据集和人工数据集上的大量实验,验证了所提方法的有效性和高效性。
2018-07-26 cs.DB
FROG: A Fast and Reliable Crowdsourcing Framework (Technical Report)
几十年来,众包得到了学术界和工业界的广泛关注,它将许多任务外包给人类工人。现有的工作考虑通过投票或学习方法来提高任务准确性,通常没有充分考虑减少任务完成的延迟。当任务请求者发布一组任务(例如,情感分析),并且只有在完成最后一个任务之后才能获得所有任务的答案。因此,即使该组中的一个任务的时间延迟也可能将任务请求者的下一步工作从几分钟延迟到几天,这对于任务请求者来说是非常不希望的。受任务准确性和延迟的重要性的启发,在本文中,我们将提出一种新的众包框架,即快速可靠的crOwdsourcinG框架(FROG),智能地将任务分配给工人,从而减少任务的延迟,并满足任务的预期准确性。具体来说,我们的FROG框架包括两个重要的组件,任务调度和通知模块。对于任务调度模块,我们正式的FROG任务调度(FROG-TS)的问题,其中服务器主动分配工人的任务具有高可靠性和低延迟。我们证明了FROG-TS问题是NP-困难的。因此,我们设计了两种启发式方法,基于请求和基于批处理的调度。对于通知模块,我们定义了一个有效的工人通知(EWN)的问题,它只发送任务邀请那些工人接受任务的概率高。为了解决EWN问题,我们提出了一个光滑的核密度估计方法来估计工人接受任务邀请的概率。通过大量的实验,我们证明了我们提出的FROG平台的有效性和效率的真实和合成数据集。
2018-02-23 cs.DB
Treating Crowdsourcing as Examination: How to Score Tasks and Online Workers?
Southwest University(西南大学)
众包是一种在线外包模式,可以解决当前机器学习算法对海量标注数据的迫切需求。任务发布者在众包平台上发布任务,众包平台通过互联网雇佣在线工作人员来完成任务,然后将结果汇总并返回给请求者。如何对不同类型的工人和任务之间的交互进行建模是一个热点。本文根据工作者的能力将其分为专家型、普通型、马虎型和垃圾型四种类型,并根据任务的难度将其分为难、中、易任务。我们相信,即使是专家也会在困难的任务中苦苦挣扎,而马虎的工人也能把简单的任务做对,垃圾邮件发送者总是故意给出错误的答案。因此,好的考试任务应该具有适度的难度和区分度,以便更客观地对工人进行评分。因此,我们首先主要在中等难度的任务上对工作人员的能力进行评分,然后在推断任务的基本事实时降低草率工作人员的答案的权重并修改垃圾邮件发送者的答案。采用概率图模型模拟任务执行过程,采用迭代法依次计算和更新地面实况、工人能力和任务难度。在模拟和真实的众包场景中验证了算法的正确性和有效性。
2022-04-26 cs.DB cs.HC cs.LG
Evaluating the Crowd with Confidence
工人质量控制是众包系统的一个关键方面;通常占用了投入众包的很大一部分时间和金钱。在这项工作中,我们设计的技术,以产生工人出错率估计的置信区间,从而使工人质量的更好的评价。我们表明,我们的技术在一系列真实世界的数据集上生成正确的置信区间,并通过使用它们来驱逐表现不佳的工人,并提供答案准确性的置信区间,从而展示了广泛的适用性。
2014-11-12 cs.DB
Select Your Questions Wisely: For Entity Resolution With Crowd Errors
由于图像聚类和自然语言处理等固有的复杂性,众包在实体解析任务中变得越来越重要。与基于机器的自动化技术相比,人类可以为这些困难的问题提供更有见地的信息。然而,由于缺乏领域专业知识或严肃性,模糊性,甚至由于恶意意图,人类工作人员可能会犯错误。最先进的文献通常通过多数表决或通过分配一个普遍的出错率来处理人为错误。然而,这样的方法是不完整的,并且通常是不一致的,因为众包工作者的专业知识是多样的,可能存在偏差,从而使得在所有众包任务上假设所有工作者的通用出错率在很大程度上是不合适的。为此,我们通过考虑一个不确定的图模型来缓解上述挑战,其中两个记录A和B之间的边概率表示在A和B是否是同一实体的问题上投“是”票的人群工作人员的比例。为了反映不同众包任务的独立性,我们应用了可能世界的概念,并为下一个众包以及实体解决问题开发了无参数算法。特别是,使用我们的框架,实体分辨率的问题变得相当于找到最大似然聚类;而对于下一个众包,我们确定的记录对,最大限度地增加了最大似然聚类的可靠性。基于对真实世界数据集的详细实证分析,我们发现,我们提出的解决方案,PERC(概率实体分辨率与不完美的人群)提高了15%的质量,并降低了50%的总体成本的基于众包的实体解决问题。
2017-08-25 cs.DB
A Real-Time Framework for Task Assignment in Hyperlocal Spatial Crowdsourcing
空间众包(SC)是一个新的平台,从事个人收集各种类型的空间数据的行为。这种数据汇集方法可以显著降低成本和周转时间,并且在城市环境感测中特别有用,其中传统手段无法提供细粒度的现场数据。在这项研究中,我们引入了超本地空间众包,其中位于任务时空附近的所有工作人员都有资格执行任务,例如,报告他们所在地区和时间的降水量。在这种情况下,对于每个时间段或整个活动,通常存在预算约束,即要激活以执行任务的工作人员的数量。因此,尽管工人和任务的到来是动态的,但挑战是在预算限制下最大限度地增加分配的任务数量。我们介绍了几个问题的变种,如每一个时间段与每一个活动的成本和二元效用与基于距离的效用的分类。我们研究了离线环境下任务分配问题的难度,并提出了在线算法,该算法利用了随着时间的推移所获得的空间和时间知识。我们的实验进行了SCAWG工具产生的空间众包工作负载和广泛的结果表明,我们提出的解决方案的有效性和效率。
2017-04-26 cs.DB
Truth Inference on Sparse Crowdsourcing Data with Local Differential Privacy
众包已经成为一种新的解决问题的范例,用于解决对计算机来说很难但对人类来说很容易的任务。然而,由于从被招募的参与者(工人)收集的答案可能包含敏感信息,众包引起了严重的隐私问题。本文研究了局部差分隐私(LDP)下的答案隐私保护问题,个体工作者独立地随机化他们的答案,并将扰动后的答案发送给任务请求者.实用程序的目标是能够推断出真实的答案(即,真实性)从扰动数据以高精度。LDP扰动的挑战之一是工作者答案的稀疏性(即,每个工人只回答少量的任务)。现有方法的简单扩展(例如,Laplace扰动和随机化响应)在稀疏数据上的真值推理可能会产生很大的误差。因此,我们设计了一个有效的新的矩阵分解(MF)算法下的LDP。我们证明了我们的MF算法可以提供LDP保证和小的真值推理误差,而不管工人答案的稀疏性。我们在真实世界和合成数据集上进行了广泛的实验,并证明MF算法在稀疏众包数据上的性能优于现有的LDP算法。
2018-08-24 cs.CR cs.DB
In-Route Task Selection in Crowdsourcing
众包中的一个重要问题是向工人分配任务。我们考虑工作者在优选/典型路径上行进的场景(例如,从学校到家庭),并且存在一组可执行的任务。此外,我们假设:每个任务产生积极的回报,工人具有执行所有可用任务所必需的技能,并且他/她愿意可能偏离他/她的优选路径,只要他/她至多行进总的给定距离/时间。我们称这个问题为路线内任务选择(IRTS)问题,并使用天际线范式对其进行研究,以获得精确的非支配解集,即,这是一个实际相关的问题,因为它赋予工人权力,因为他/她可以实时的决定哪些任务更适合他/她的需求和/或可用性。在证明了IRTS问题是NP难的之后,我们提出了一个精确的(但昂贵的)解决方案和其他一些实用的启发式解决方案。虽然精确的解决方案是只适合于合理的小IRTS的情况下,启发式解决方案可以产生解决方案,具有良好的价值观的精度和召回的实际规模的问题,事实上,最常见的次秒,查询处理时间。
2018-09-14 cs.DB
"The Whole Is Greater Than the Sum of Its Parts": Optimization in Collaborative Crowdsourcing
在这项工作中,我们开始调查合作众包的优化机会。许多流行的应用程序,如协作文档编辑,句子翻译或公民科学诉诸于这种特殊形式的基于人类的计算,其中,需要具有适当技能和专业知识的人群工作人员组成团队来解决复杂的任务。任何协作众包过程的核心都是工作人员之间成功协作的方面,这是第一次正式化,然后在这项工作中进行优化。我们的形式主义认为,两个主要的合作相关的人的因素,亲和力和上临界质量,适当地改编自组织科学和社会理论。我们的贡献是(a)提出了一个全面的合作众包优化模型,(b)严格的理论分析,以了解所提出的问题的硬度,(c)一系列有效的精确和近似算法与可证明的理论保证。最后,我们提出了一组详细的实验结果,来自两个现实世界的协作众包应用程序使用亚马逊土耳其机械,以及进行合成数据分析的可扩展性和定性方面,我们提出的算法。我们的实验结果成功地证明了我们提出的解决方案的有效性。
2015-04-12 cs.DB
Location Privacy in Spatial Crowdsourcing
空间众包是一种新的平台,它使个人参与收集和分析环境、社交及其他时空信息。使用SC,请求者将他们的时空任务外包给一组工作者,这些工作者将通过物理旅行到任务的位置来执行任务。本章确定了在空间众包的两个主要阶段,任务和报告对工人和请求者的隐私威胁。任务分配是确定哪些任务应该分配给哪些工人的过程。该过程由空间众包服务器(SC服务器)处理。后一个阶段是报告,其中工作人员前往任务的位置,完成任务并将其报告上传到SC服务器。面临的挑战是,在不披露工人的实际地点(至少在他们同意执行任务之前)和任务本身(至少向没有被分配这些任务的工人)的情况下,在供应链中实现有效和高效的任务分配和报告。本章的目的是提供一个国家的最先进的空间众包保护用户的位置隐私的概述。我们提供了一个比较研究的任务发布模式(推与拉),问题的焦点(任务和报告),威胁(服务器,请求者和工人),和底层的技术方法(从匿名,伪装,扰动到基于交换和基于防御的技术)方面的一套不同的解决方案。突出的优点和缺点的技术,导致开放的问题和未来的工作进行讨论。
2017-04-23 cs.CR cs.CY cs.DB
Optimization in Knowledge-Intensive Crowdsourcing
我们提出SmartCrowd,优化协作知识密集型众包的框架。SmartCrowd在向员工分配任务的过程中考虑了人为因素,从而脱颖而出。人的因素指的是工人在不同技能方面的专长、他们的预期最低工资以及他们的可用性。在SmartCrowd中,我们将任务分配制定为优化问题,并依赖于预索引工人和自适应地维护索引,以这种方式,任务分配过程在定性和计算时间方面都得到优化。我们提出了严格的理论分析的优化问题,并提出了最佳和近似算法。最后,我们使用真实数据和合成数据进行了广泛的性能和质量实验,以证明SmartCrowd中的自适应索引对于实现高效、高质量的任务分配是必要的。
2014-01-07 cs.DB cs.SI
From Task Tuning to Task Assignment in Privacy-Preserving Crowdsourcing Platforms
众包平台的专业化工作者简档可以包含大量的识别和可能敏感的个人信息(例如,个人偏好、技能、可用插槽、可用设备)引起强烈的隐私问题。这导致了保护隐私的众包平台的设计,旨在实现高效的众包流程,同时即使在平台不完全可信的情况下也能提供强有力的隐私保证。在本文中,我们提出了两个贡献。首先,我们提出了PKD算法的目标是支持各种各样的聚合使用的工人配置文件在一个隐私保护的众包平台。PKD算法将同态加密和差分隐私组合在一起,用于计算实际工人群体的多维技能空间的(扰动的)分区和每个分区的工人的(扰动的)数目。其次,我们建议受益于私人信息检索技术的最新进展,以设计一个解决方案,任务分配,是私人和负担得起的。我们进行了深入研究的问题,使用PIR技术提出任务的工人,表明它是NP-难的,并提出了PKD PIR包装启发式分组任务一起根据分区输出的PKD算法。简而言之,我们设计了PKD算法和PKD PIR Packing启发式算法,我们正式证明了它们对诚实但好奇的工人和/或平台的安全性,我们分析了它们的复杂性,并通过在合成和现实数据集上进行广泛的实验评估,证明了它们在现实生活中的质量和可负担性。
2020-07-10 cs.CR cs.CY cs.DB
Privacy-Preserving Batch-based Task Assignment in Spatial Crowdsourcing with Untrusted Server
在本文中,我们研究了空间众包中的隐私保护任务分配,其中工人和任务的位置,在他们发布到服务器之前,与地理不可侵犯性(基于位置的系统的差分隐私概念)扰动。与之前研究的在线设置不同,每个任务在到达时立即分配,我们的目标是基于批处理的设置,其中服务器在一批任务到达后最大化成功分配的任务数量。为了实现这一目标,我们提出了k-Switch解决方案,它首先将工人分成小组的基础上扰动工人/任务之间的距离,然后利用同态加密(HE)的安全计算,以提高任务分配。此外,我们通过限制k以下的小群组的大小来加快基于HE的计算。大量的实验表明,就成功分配的任务数量而言,k-Switch解决方案将基于批处理的基线提高了5.9倍,将现有的在线解决方案提高了1.74倍,并且没有隐私泄露。
2021-08-23 cs.CR cs.DB
Eliciting Worker Preference for Task Completion
NJIT(新泽西理工学院);Univ. Grenoble Alpes, CNRS, LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、信息学实验室)
目前的众包平台对工人反馈的支持很少。工人有时会被邀请发布自由文本,描述他们在完成任务时的经验和偏好。他们还可以使用Turker Nation1等论坛来交换任务和请求者的首选项。事实上,众包平台在很大程度上依赖于观察工人并隐含地推断他们的偏好。在这项工作中,我们认为,要求工人明确表明他们的喜好,改善他们的经验,在任务完成,因此,他们的贡献的质量。明确的启发确实可以帮助建立更准确的工人模型,以完成任务,捕捉工人的偏好不断变化的性质。我们设计了一个工人模型,其准确性通过请求对任务因素(如所需技能、任务报酬和任务相关性)的偏好来迭代提高。我们提出了一个通用的框架,开发有效的解决方案,在现实的情况下,并进行了广泛的实验,显示显式偏好诱导的好处,隐式的统计意义。
2018-01-10 cs.AI cs.DB
An End-to-End Deep RL Framework for Task Arrangement in Crowdsourcing Platforms
The University of Hong Kong(香港大学);University of Ioannina(约阿尼纳大学);Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
在本文中,我们提出了一个深度强化学习(RL)框架的任务安排,这是一个关键的问题,众包平台的成功。以往的工作通过监督学习方法向工作者进行任务的个性化推荐。然而,他们中的大多数人只考虑工人或请求者的利益独立。此外,它们无法处理动态环境,可能会产生次优结果。为了解决这些问题,我们利用深度Q网络(DQN),一种基于RL的方法结合神经网络来估计推荐任务的预期长期回报。DQN本质上同时考虑了当前和未来的回报,并且可以实时更新以处理不断变化的数据和动态变化。此外,我们设计了两个DQN,捕获工人和请求者的利益,并最大限度地提高平台的利润。为了有效地学习DQN中的价值函数,我们还提出了新的状态表示,仔细设计了Q值的计算,并预测转移概率和未来状态。在合成数据集和真实数据集上的实验证明了该框架的优越性能。
2019-11-04 cs.DB cs.LG stat.ML