Context-Aware Hierarchical Online Learning for Performance Maximization in Mobile Crowdsourcing
TU Darmstadt（达姆施塔特工业大学）；Bilkent University（比尔肯特大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of Oxford（牛津大学）
在移动众包（MCS）中，移动用户完成外包的人工智能任务。MCS需要适当的任务分配策略，因为不同的工人可能在接受率和质量方面有不同的表现。任务分配是具有挑战性的，因为工人的表现（i）可能会波动，这取决于工人当前的个人背景和任务背景，（ii）不是先验已知的，而是必须随着时间的推移而学习。此外，学习上下文特定的工作者性能需要访问上下文信息，由于通信开销或隐私问题，上下文信息可能在中央实体处不可用。此外，评估工人的表现可能需要昂贵的质量评估。在本文中，我们提出了一个上下文感知的分层在线学习算法解决MCS的性能最大化的问题。在我们的算法中，本地控制器（LC）在移动终端的工人定期观察工人的上下文，她/他的决定接受或拒绝任务和完成任务的质量。基于这些观察，LC定期估计工人的特定于上下文的性能。然后，移动众包平台（MCSP）基于从LC接收的绩效估计来选择工作者。这种分层方法使LC能够学习特定于上下文的工作器性能，并且它使MCSP能够选择合适的工作器。此外，我们的算法在本地保留了工人上下文，并保持所需的质量评估的数量较低。我们证明了我们的算法收敛到最优的任务分配策略。此外，该算法优于简单的任务分配策略在实验中的基础上合成和真实的数据。
2018-11-08 cs.HC cs.LG cs.SI
Graph Mining Meets Crowdsourcing: Extracting Experts for Answer Aggregation
Tokyo Institute of Technology（东京工业大学）；RIKEN AIP（日本理化学研究所革新智能综合研究中心）；The University of Tokyo（东京大学）
聚合来自众包工作者的响应是众包过程中的一项基本任务。在少数专家被大量非专家压倒的情况下，大多数答案聚合算法（如多数投票）无法识别正确答案。因此，从人群工作者中提取可靠的专家至关重要。在这项研究中，我们引入了“专家核心”的概念，这是一组工人，是非常不可能包含一个非专家。我们设计了一个基于图挖掘的高效算法，精确计算专家核。为了回答聚合任务，我们提出了两种类型的算法。第一个将专家核心纳入现有的答案聚合算法，如多数表决，而第二个利用专家核心提取算法提供的信息有关的工人的可靠性。然后，我们给出了第一种类型的算法的理论依据。使用合成和真实世界的数据集的计算实验表明，我们提出的答案聚合算法优于国家的最先进的算法。
2019-05-17 cs.AI cs.HC cs.LG
Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities
Nanyang Technological University（南洋理工大学）
参与众包平台的工作者可以有广泛的能力和兴趣。众包中的一个重要问题是任务推荐问题，其中最匹配特定工作者的偏好和可靠性的任务被推荐给该工作者。如果任务推荐方案分配的任务更有可能被更有可能可靠地完成任务的工作人员接受，则会为任务请求者带来更好的性能。如果没有关于工人的先验信息，他的偏好和可靠性需要随着时间的推移而学习。在本文中，我们提出了一个多臂强盗（MAB）框架来学习工人的偏好和他的可靠性，为不同类别的任务。然而，与经典的MAB问题不同，工人完成任务的奖励是不可观察的。因此，我们包括使用黄金任务（即，其解决方案已知为\emph{a priori}且不产生任何奖励的任务）。我们的模型可以被看作是MAB的一个新变体，其中随机奖励只能在使用黄金任务的时间步上观察到，并且估计向工作者推荐任务的预期奖励的准确性取决于使用的黄金任务的数量。我们发现，最佳的遗憾是$O(\sqrt{n})$，其中$n$是推荐给工人的任务数。我们开发了三种任务推荐策略来确定不同任务类别的黄金任务数量，并证明了它们是顺序最优的。仿真结果验证了我们的方法的有效性。
2018-07-27 cs.HC cs.LG cs.SI
Reply & Supply: Efficient crowdsourcing when workers do more than answer questions
众包的工作原理是将许多小任务分配给大量的工作人员，但众包的真正潜力在于工作人员做的不仅仅是执行简单的任务--他们可以运用自己的经验和创造力为众包者提供新的和意想不到的信息。其中一种情况是，工作人员不仅回答了众包者的问题，而且还为随后的人群分析提供了新的问题，从而产生了越来越多的问题。这种增长为早期的问题创造了固有的偏见，因为一个工人早期引入的问题可以由更多的后续工人回答，而不是稍后引入的问题。在这里，我们研究如何执行有效的众包与这样不断增长的问题集。通过将问题集建模为相互关联的问题网络，我们引入了算法，通过在探索新问题和解决当前问题之间有效地分配工作人员来帮助减少增长偏差。实验和仿真表明，这些算法可以有效地探索一个无界的问题集，而不会失去信心的人群答案。
2017-08-15 cond-mat.dis-nn cs.HC cs.SI
Does Confidence Reporting from the Crowd Benefit Crowdsourcing Performance?
我们探索设计一个有效的众包系统的$M$ -ary分类任务。人群工作者完成简单的二进制微任务，其结果被聚合以给出最终的分类决策。我们考虑的场景是，工作者有一个拒绝选项，这样当他们无法或选择不响应二进制微任务时，他们就可以跳过微任务。此外，工人报告量化的信心水平时，他们能够提交明确的答案。我们提出了一种聚合方法，使用加权多数表决规则，每个工人的响应被分配一个优化的权重，以最大限度地提高人群的分类性能。我们得到一个反直观的结果，分类性能并没有受益于工人报告量化的信心。因此，众包系统设计者应该在不需要置信度报告的情况下采用拒绝选项。
2017-04-03 cs.HC cs.SI
Optimal Team Recruitment Strategies for Collaborative Mobile Crowdsourcing Systems
移动设备的广泛传播已经实现了称为移动众包（MCS）的新的创新范例，其中概念是允许实体，例如，个人或地方当局，雇用工人来帮助连接的人群，执行任务或服务。一些复杂的任务需要多个工作人员的协作，以确保其成功完成。在这种情况下，任务请求者需要雇用一组社会联系和协作的工人，同时具有足够的技能来完成任务。在本文中，我们开发了两种招聘策略的协作MCS框架中，虚拟团队形成根据四个不同的标准：专业知识水平，社会关系强度，招聘成本，和招聘人员的信心水平。第一个建议的战略是一个基于平台的方法，利用平台知识，形成团队。第二种是基于领导者的方法，使用团队成员对他们的社交网络（SN）邻居的知识来指定一个组领导者，该领导者招募合适的团队。这两种方法都建模为整数线性规划，从而在最佳的团队形成。实验结果表明，当改变成员的SN边缘度时，两种虚拟团队分组策略之间的性能折衷。与基于领导者的策略相比，基于平台的策略招募了一支技能更高的团队，但SN关系更低，成本更高。
2020-04-28 cs.CY cs.SI cs.SY
Measuring the Expertise of Workers for Crowdsourcing Applications
众包平台使公司能够向大量用户提出任务。工人根据他们完成的任务的严重程度获得工作报酬。在这方面，评价群众的反应质量仍然是最重要的问题之一。已经提出了几种方法来估计人群工作者的专业水平。我们提出了一个创新的专业知识的措施，假设我们拥有一个客观的比较有关项目的数据集。我们的方法是基于信念函数理论的四个因素的定义。我们将我们的方法与来自真实实验的数据集上的Fagin距离进行了比较，在该实验中，用户必须评估某些音频记录的质量。然后，我们建议将Fagin距离和我们的专业知识测度相融合。
2019-06-24 cs.HC cs.SI
Comparing Generic and Community-Situated Crowdsourcing for Data Validation in the Context of Recovery from Substance Use Disorders
将合适的工人群体作为众包的目标通常会取得更好的质量结果。有针对性的众包的一个独特例子是寻找社区工作者，他们熟悉特定群体的背景和规范，可以帮助产生更好的结果或准确性。这些社区人群工作者可以通过不同的方式从通用的在线众包平台或在线恢复社区招募。我们评估了三种不同的方法来招募通用和社区人群的招聘时间和成本，以及任务完成的准确性。我们认为，酗酒者匿名（AA），最大的同龄人支持组恢复酗酒者的背景下，识别和验证AA会议信息的任务。我们讨论了招聘有偿与无偿社区工作者的好处和权衡，并为未来的研究提供了影响，在恢复的背景下和相关领域的HCI，众包ICT系统的设计。
2020-12-13 cs.HC cs.SI
Mobile crowdsourcing - activation of smartphones users to elicit specialized knowledge through worker profile match
应用于移动设备的众包模型不断达到解决复杂问题的新方法，现在使用便携式先进设备，用户不限于固定使用。由于缺乏经验或恶意的工作人员，众包模式存在一个开放的质量问题。在本文中，我们提出了一个模型和一个简短的规范的平台捆绑广泛可用的众包机制，试图利用工人的个人特点，以最大限度地。分析解决方案依赖于按本地化类别分类的地理数据。其次，我们通过精确分析他们的活动历史来描述移动工作者。这项研究的结果将对更好地了解移动设备用户的潜在潜力产生影响。它不仅有助于提高结果的质量，而且还为实施“抽搐众包”或紧急救济系统开辟了可能性。分配给移动设备所有者的特殊任务可以帮助那些需要帮助的人，使他们成为任务创建者。
2015-05-28 cs.CY cs.SI
The Importance of Being Earnest in Crowdsourcing Systems
本文提出了第一个系统的调查潜在的性能收益众包系统，来自在请求者的个人工作认真（声誉）的可用信息。特别是，我们第一次正式的最优任务分配问题时，工人的声誉估计是可用的，作为最大化的单调（次模）函数受拟阵约束。然后，作为优化问题的NP-难，我们提出了一个简单而有效的贪婪启发式任务分配算法。我们还提出了一个简单的“最大后验”决策规则。最后，我们测试和比较不同的解决方案，表明系统性能可以大大受益于工人的声誉信息。我们的主要发现是：i）在任务分配中甚至可以有效地利用对工作者信誉的很大程度上不准确的估计，以极大地提高系统性能; ii）随着工作者信誉估计变得不准确，最大后验决策规则的性能迅速下降; iii）当工人的声誉估计明显不准确时，将我们提出的任务分配算法与文献中介绍的LRA决策规则相结合，可以获得最佳性能。
2014-11-26 cs.HC cs.SI
A Minimax Optimal Algorithm for Crowdsourcing
Telecom ParisTech（巴黎电信高等技术学校）；Centrale-Supelec（中央理工-高等电力学院）
我们考虑的问题，准确地估计工人的可靠性的基础上，他们提供的嘈杂的标签，这是一个基本的问题，在众包。我们提出了一个新的下界的极小极大估计误差，适用于任何估计过程。我们进一步提出了三角估计（TE），估计工人的可靠性的算法。TE具有低复杂度，当标签由工作者实时提供时可以在流设置中实现，并且不依赖于迭代过程。我们进一步证明了TE是极大极小最优的，并符合我们的下界。最后，我们评估了TE和其他最先进算法在合成数据集和真实数据集上的性能。
2017-10-25 cs.HC cs.LG cs.SI
Multicategory Crowdsourcing Accounting for Plurality in Worker Skill and Intention, Task Difficulty, and Task Heterogeneity
众包允许立即在网络上招募工人来注释图像，网页或文档数据库。然而，工人的不可靠性阻止了从表面上看待工人的反应。因此，来自多个工作者的响应通常被聚合以更可靠地推断地面实况答案。研究了基于随机建模和基于确定性目标函数的两种多类别答案空间上的人群聚集方法。我们的随机模型的答案生成合理地捕捉工人的技能，意图和任务难度之间的相互作用，并允许我们建立广泛的工人类型的模型。我们的确定性目标为基础的方法不假设一个模型的工人响应生成。相反，它的目标是最大化加权多个群体决策的平均总置信度。在这两种方法中，我们显式地对单个工人的技能和意图进行建模，以提高人群聚集。我们的方法适用于无监督和半监督的设置，也当一批任务是异构的。如实验观察到的，所提出的方法可以击败群众的暴政，当大量的非熟练和恶意的工人中有少数熟练工人时，它们特别有利。
2013-07-28 cs.IR cs.SI
It's about time: Online Macrotask Sequencing in Expert Crowdsourcing
Trier University of Applied Sciences（特里尔应用科学大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
我们介绍了任务分配和排序（TAS）的问题，它增加了时间轴的角度专家众包优化。专家众包涉及宏任务，如文档编写、产品设计或Web开发，这些任务比典型的二进制微任务花费更多时间，需要专家技能，对主题具有不同程度的知识，并要求众包工作者建立在彼此的贡献之上。目前的作品通常假设离线优化模型，认为工人和任务到达已知，不考虑时间的元素。然而，实际上，时间是至关重要的：任务有最后期限，专家工作人员只能在特定的时间段，工作人员/任务的到达并不是先验的。我们的工作是第一个解决在线，异构，时间受限的宏任务的最佳任务排序的问题。我们提出tas在线，在线算法，旨在完成尽可能多的任务，尽可能在预算内，所需的质量和给定的时间轴，没有未来的输入信息，有关工作发布日期或工人的可用性。将tas-online与四个典型的基准测试进行比较，结果表明，该方法可以完成更多的作业，降低作业流时间，提高作业质量。这项工作对提高当前众包平台的服务质量具有实际意义，使他们能够为专家任务提供成本，质量和时间上的改进。
2016-01-15 cs.AI cs.SI
Reliable Crowdsourcing for Multi-Class Labeling using Coding Theory
众包系统通常具有在他们被分配的任务上执行不可靠的工作的众包工作者。在本文中，我们提出了使用错误控制码和解码算法来设计可靠的分类，尽管不可靠的人群工作的众包系统。基于编码理论的技术也使我们能够向人群工作者提出易于回答的二元问题。我们考虑三种不同的众包模型：系统与独立的群众工作者，系统与同行依赖的奖励计划，和系统的工人有共同的信息来源。对于这些模型中的每一个，我们分析分类性能与建议的基于编码的计划。我们开发了一个排序原则的质量人群，并描述了系统性能的变化与质量的人群。我们还表明，工人之间的配对和多样化的问题有助于提高系统的性能。我们使用亚马逊Mechanical Turk（一个众包微任务平台）的模拟数据和真实数据集证明了所提出的基于编码的方案的有效性。结果表明，使用好的代码可能会提高性能的众包任务，典型的多数投票的方法。
2014-01-22 cs.IT cs.SI math.IT
Influence-aware Task Assignment in Spatial Crowdsourcing (Technical Report)
随着智能手机的广泛普及，旨在为移动工作者分配空间任务的空间众包（SC）越来越受到学术界和工业界的关注。其中一个主要问题是如何最好地分配任务给工人。给定一个工作者和一个任务，工作者会根据自己对任务的亲和力选择接受任务，并且工作者可以传播任务的信息以吸引更多的工作者来执行任务，这些因素可以被测量为工作者-任务影响。由于工作者对任务的亲和力不同，任务发布者可能会要求执行任务的工作者传播任务的信息，以吸引更多的工作者来执行任务，因此在进行分配时，分析工作者-任务影响是很重要的。我们提出并解决了一个新的影响感知的任务分配问题，在SC中，任务分配给工人的方式，实现高的工人任务的影响。特别是，我们的目标是最大限度地增加分配的任务和工人任务的影响。为了解决这个问题，我们首先通过识别工人的历史任务执行模式来确定工人对任务的亲和力。其次，发展了一种历史接受方法来衡量工人执行任务的意愿，即，当工人被告知时，他们访问任务位置的概率。接下来，我们提出了一种基于随机反向可达的传播优化算法，该算法利用反向可达集来计算工作人员被告知社交网络中的任务的概率。基于以上三个因素对工作者-任务影响的影响，本文提出了三种影响感知的任务分配算法，其目标是最大化分配的任务数和工作者-任务影响。在两个真实数据集上进行的大量实验为我们的解决方案的有效性提供了详细的见解。
2022-03-27 cs.SI
Online Decision Making in Crowdsourcing Markets: Theoretical Challenges (Position Paper)
在过去的十年中，众包已经成为一种廉价而有效的方法，可以为计算机难以解决但人类可能解决的简单任务提供解决方案。众包市场的普及和前景导致了对算法设计的实证和理论研究，以优化这些市场的各个方面，如定价和任务分配。现有的关于众包市场的理论研究大多集中在在线决策的大类问题上;任务请求者或众包平台本身会反复决定要设定的价格、要过滤掉的工人、要分配给特定工人的问题或其他事情。这些决策通常是复杂的，需要算法来了解可用任务或工人随时间的分布，并考虑工人的战略（有时是非理性）行为。随着人类计算发展到自己的领域，以原则性的方式解决这些挑战的时机已经成熟。然而，似乎很难在一个单一的连贯模型中涵盖众包市场的所有相关方面。在本文中，我们反映了建模问题，抑制在线众包决策的理论研究，并确定了一些步骤。本文源于作者对这些问题的沮丧，我们希望它能鼓励社区尝试理解，辩论并最终解决这些问题。作者欢迎对本文未来修订的反馈。
2013-11-26 cs.CY cs.HC cs.SI
Reputation-based Incentive Protocols in Crowdsourcing Applications
University of California, Los Angeles（加州大学洛杉矶分校）
众包网站（如Yahoo！答案，亚马逊机械土耳其人，等等。近年来出现了一种新的技术，允许来自世界各地的请求者发布任务，并从同样全球的工人中寻求帮助。然而，内在的激励问题存在于众包应用程序的工人和请求者是自私的，旨在战略上最大限度地提高自己的利益。在本文中，我们提出了一种新的基于重复博弈的博弈论模型，为工人提供激励，使他们努力工作。由于在社会福利中，工人追求自身利益时出现的非合作均衡与理想的帕累托有效结果之间总是存在差距，因此我们提出了一类新的基于社会规范的激励协议，该协议将声誉机制整合到目前在众包网站上实施的现有定价方案中，以改善在这种应用中出现的非合作均衡的性能。首先，我们将众包网站上的交流制定为一个双边市场，请求者和工作者匹配并反复玩赠送礼物的游戏。随后，我们研究了协议设计者的问题，找到一个最佳的和可持续的（均衡）协议，实现最高的社会福利的网站。我们证明了所提出的激励协议可以使网站运行接近帕累托效率。此外，我们还研究了另一种情况下，协议设计者的目的是最大限度地提高网站的收入和评估最佳协议的性能。
2011-08-10 cs.AI cs.GT cs.SI
PSC: A Pattern-Based Temporal and Spatial Crowdsourcing Platform to Improve Performance, Reliability, and Privacy
在本文中，我们研究了一种新的空间众包系统中的工作人员的时间可用性和他们的空间位置是已知的先验。因此，不仅基于人类工作者的当前位置和区域中可用的任务，而且还基于在给定任务应当被接受、处理和完成的特定时间期间工作者的可用性，来执行对工作者的任务分配。让系统确定工人的日常模式（通过工人注册时的预定义调查问卷，或通过从工人的移动设备存档数据，或通过在路上和实时输入的状态数据）消除了许多不成功的任务分配，因此显著提高了系统的效率。在最初的空间众包（SC）框架中，SC服务器在每个时间实例以及每当新任务或新工作者进入系统时都在本地优化任务分配。我们的新框架（PSC），另一方面，允许用户进入他们的日常工作，时间，空间和可用性模式先验。这使得系统更加稳定和模式机会主义。PSC服务器可以专注于接收和归档新条目（例如，工作者、任务以及它们的标准）在繁忙时间（例如，当系统中有许多新条目时），并且可以集中在安静时间期间的优化和计算（例如，当系统中的新条目较少时）。让任务优化过程发生在安静的时候，当系统几乎没有变化时，使性能更加稳定和可靠。它还允许PSC系统具有系统的全局视图，并执行全局优化以提高性能。
2015-07-30 cs.SI
From Zero to The Hero: A Collaborative Market Aware Recommendation System for Crowd Workers
Stevens Institute of Technology（史蒂文斯理工学院）
软件众包的成功依赖于活跃和值得信赖的工人供应池。人群工作者行为的不确定性使得预测工作者的成功并相应地计划具有挑战性。在竞争激烈的众包市场中，对共享任务的成功竞争给众包工作者的决策过程增加了另一层不确定性。对软件工作者行为的初步分析显示，82.9%的任务丢失率令人震惊。这些因素导致需要一个自动化的推荐系统，以提高CSD工作人员在竞争中成功的可见性和可预测性。为此，本文提出了一个协同推荐系统的人群工作者。建议的推荐系统方法使用五个输入指标的基础上工人的合作历史，工人的喜好，在采取任务的奖金和持续时间，工人的专业，和工人的熟练程度。然后，所提出的方法建议最合适的任务，工人竞争的基础上，工人的成功概率的任务。对260名活跃人群工作者的实验结果表明，仅遵循任务推荐的前三个成功概率，工作者的成功率可达86%
2021-07-06 cs.HC cs.LG cs.SE
An Analytic Approach to People Evaluation in Crowdsourcing Systems
在众包系统中，工人选择是一个重要且具有挑战性的问题。这种选择通常是根据对参加这种系统的工人个人的声誉的评估。然而，评估这种经过计算的声誉的可信度和充分性是一个真正的挑战。在本文中，我们提出了一个分析模型，它利用完成的任务的值，评估者的可信度的任务的结果和时间的评估这些任务的结果，以计算一个准确和可信的声誉排名的参与工人和公平排名的评估者。该模型已被实施和实验验证。
2012-11-14 cs.IR cs.SI
An Empirical Investigation of Worker Communities in TopCoder
软件众包平台采用外部奖励，如评级或排名系统来激励员工。这样的评级系统是嘈杂的，并提供有限的知识，工人的喜好和表现。为了更好地了解软件众包中的工人可靠性和可信度，本文报告了一项实证研究，该研究基于领先的软件众包平台之一TopCoder的一年多的真实数据。为此，首先，我们根据常见的任务注册创建一个活跃工作者的二分网络。然后，我们使用Clauset-Newman-Moore图聚类算法来识别网络中的工人簇。最后，我们进行了一个实证评估，测量和分析工人的行为，每个识别社区的平台，工人的评级。更具体地说，工人的行为是根据他们的表现，在可靠性，可信度和成功;他们的偏好，在效率和弹性;和战略的舒适性，信心和欺骗性。这项研究的主要结果确定了四个社区的积极工作者：混合排名，高排名，中等排名，低排名。这项研究表明，低排名的社区与最可靠的工人，平均可靠性为25%，而混合排名的社区包含最值得信赖的工人，平均可信度为16%。这些经验证据有助于探索资源选择，同时了解未知资源之间的关系，以提高任务成功率。
2022-01-18 cs.HC cs.SE cs.SI
Analytic Methods for Optimizing Realtime Crowdsourcing
实时众包研究表明，通过管理一个小规模、反应迅速的工人群体，可以在几秒钟内招募到付费人群。实时人群使以交互速度响应的人群驱动系统成为可能：例如，相机，机器人和即时民意调查。到目前为止，这些技术主要是概念验证原型：研究尚未试图了解它们如何大规模工作或优化其成本/性能权衡。本文利用排队论分析了实时众包的预约模型，特别是其期望等待时间和成本的请求。我们提供了一个算法，允许请求者，以尽量减少其成本的性能要求。然后，我们提出并分析了三种技术来提高性能：推送通知，共享的保留池，和precruitment，这涉及到调用保留工人之前，任务实际到达。一项实验验证发现，预先确定的工作人员在发布任务后500毫秒开始执行任务，提供的结果低于终端用户保持流状态的一秒认知阈值。
2012-04-13 cs.HC cs.SI physics.soc-ph
Optimization in Knowledge-Intensive Crowdsourcing
我们提出SmartCrowd，优化协作知识密集型众包的框架。SmartCrowd在向员工分配任务的过程中考虑了人为因素，从而脱颖而出。人的因素指的是工人在不同技能方面的专长、他们的预期最低工资以及他们的可用性。在SmartCrowd中，我们将任务分配制定为优化问题，并依赖于预索引工人和自适应地维护索引，以这种方式，任务分配过程在定性和计算时间方面都得到优化。我们提出了严格的理论分析的优化问题，并提出了最佳和近似算法。最后，我们使用真实数据和合成数据进行了广泛的性能和质量实验，以证明SmartCrowd中的自适应索引对于实现高效、高质量的任务分配是必要的。
2014-01-07 cs.DB cs.SI
On the Improvement of Quality and Reliability of Trust Cues in Micro-task Crowdsourcing (Position paper)
微任务众包已经成为从大量不同人群中获取高质量数据的成功手段。在这种情况下，所有参与者（即请求者、工作者和平台所有者）之间的信任是接受和长期成功的关键因素。由于参与者对“现实生活”中的会议没有期望，因此信任只能通过计算机中介的信任线索来归因，如工人资格和请求者评级。这些线索往往是孤立进行的技术或社会评估的结果，只考虑相关属性的一个子集，并与异步和不对称的互动。在本文中，我们提倡新一代的微任务众包系统，追求信任的整体理解，通过提供一个开放的，透明的，隐私友好的，社会意识的观点，所有的演员的微任务众包环境。
2017-02-11 cs.HC cs.SI
ZebraLancer: Decentralized Crowdsourcing of Human Knowledge atop Open Blockchain
我们设计并实现了第一个私有和匿名的去中心化众包系统ZebraLancer，并克服了去中心化众包的两个基本挑战，即，数据泄露和身份泄露首先，我们的外包然后证明方法解决了区块链透明度和数据机密性之间的紧张关系，以保证数据众包的基本效用/公平性要求，从而确保：（i）请求者不会支付超过数据应得的费用，根据她的任务通过区块链发布时宣布的政策;（ii）如果每个工人向区块链提交数据，他确实会根据政策获得报酬;（iii）上述属性不仅在没有中央仲裁器的情况下实现，而且不会将数据泄露给开放的区块链。其次，区块链的透明性允许人们通过参与历史来推断工作者和请求者的私人信息。简单地启用匿名似乎是尝试，但将允许恶意工作者多次提交以获得奖励。ZebraLancer还通过允许匿名请求/提交而不牺牲责任来克服这个问题。其背后的想法是一种微妙的可链接性：如果一个工作者对一个任务提交了两次，任何人都可以链接这些提交，否则他将保持匿名，不受任务的影响。为了实现这种微妙的可链接性，我们提出了一种新的密码学概念，即，通用前缀匿名身份验证。我们注意到新的匿名认证方案可能是独立的兴趣。最后，我们实现了一个常见的图像注释任务的协议，并将其部署在以太坊的测试网络中。实验结果表明，我们的协议在现有的现实世界的区块链上的适用性。
2020-05-07 cs.CR cs.DC cs.HC
Multi-team Formation System for Collaborative Crowdsourcing
本文针对复杂协作众包的多团队组建需求，提出基于社交网络信息的启发式优化算法，通过仿真实验验证该算法性能优于爬山法，并明确了关键参数对效果的影响规律。
2025-11-14 cs.SI
Multi-Task Diffusion Incentive Design for Mobile Crowdsourcing in Social Networks
针对大规模众包中工人池不足的问题，提出基于社交网络多任务扩散的激励机制MT-DM-L，利用MT-RR集合近似效用，在保证个体理性、真实性和计算效率的同时实现近似最优。\n
2023-03-22 cs.GT cs.SI
Building Robust Crowdsourcing Systems with Reputation-aware Decision Support Techniques
众包是指从一大群无关的人那里征求贡献的安排。由于这一性质，众包者（或任务请求者）常常面临工作人员能力的不确定性，这反过来又影响所获得结果的质量和及时性。信任是人们用来促进人类社会互动的一种机制，在人类社会中，风险和不确定性是常见的。建立一个强大的众包系统的关键挑战是如何使信任意识的任务授权决策，有效地利用工人（或受托代理人）的能力，以实现高社会福利？本书介绍了应对这一挑战的研究。它超越了现有的信任管理研究框架，删除了一个广泛的假设隐含通过现有的研究：受托人代理可以处理无限数量的交互请求每离散的时间单位，而不会损害其性能的任务请求者（或信任代理）。基于拥塞博弈原理，将众包决策支持问题转化为多主体信任博弈问题，提出了两种信任感知交互决策方法：社会福利声誉感知决策优化方法（SWORD）和信任主体公平利用分布式请求接受方法（DRAFT）。SWORD是为集中式系统设计的，而DRAFT是为完全分布式系统设计的。理论分析表明，这两种方法产生的社会福利可以通过调整一个关键参数而更接近最优。有了这两种方法，众包系统的研究框架可以得到丰富，以处理更现实的情况下，工人有不同的和有限的能力。
2016-01-22 cs.CY cs.MA cs.SI
