From Zero to The Hero: A Collaborative Market Aware Recommendation System for Crowd Workers
Stevens Institute of Technology（史蒂文斯理工学院）
软件众包的成功依赖于活跃和值得信赖的工人供应池。人群工作者行为的不确定性使得预测工作者的成功并相应地计划具有挑战性。在竞争激烈的众包市场中，对共享任务的成功竞争给众包工作者的决策过程增加了另一层不确定性。对软件工作者行为的初步分析显示，82.9%的任务丢失率令人震惊。这些因素导致需要一个自动化的推荐系统，以提高CSD工作人员在竞争中成功的可见性和可预测性。为此，本文提出了一个协同推荐系统的人群工作者。建议的推荐系统方法使用五个输入指标的基础上工人的合作历史，工人的喜好，在采取任务的奖金和持续时间，工人的专业，和工人的熟练程度。然后，所提出的方法建议最合适的任务，工人竞争的基础上，工人的成功概率的任务。对260名活跃人群工作者的实验结果表明，仅遵循任务推荐的前三个成功概率，工作者的成功率可达86%
2021-07-06 cs.HC cs.LG cs.SE
Approval Voting and Incentives in Crowdsourcing
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
对标记训练数据的需求日益增长，使得众包成为机器学习的重要组成部分。然而，众包标签的质量受到三个因素的不利影响：（1）工人不是专家;（2）工人的激励与请求者的激励不一致;（3）界面不允许工人准确地传达他们的知识，迫使他们在一组选项中做出单一选择。在本文中，我们解决这些问题，通过引入批准投票，利用专业知识的工人谁拥有部分知识的真实答案，并将其与（“严格适当”）激励兼容的补偿机制。我们严格的理论保证，我们的机制的最优性，连同一个简单的公理表征。我们还对亚马逊土耳其机器人进行了初步的实证研究，验证了我们的方法。
2015-09-07 cs.AI cs.GT cs.LG
An Incentive Compatible Multi-Armed-Bandit Crowdsourcing Mechanism with Quality Assurance
考虑一个请求者，他希望将一系列相同的二进制标记任务众包给一个工人池，以便以成本最优的方式为每个任务实现有保证的准确性。工人是异质的，具有未知但固定的素质，他们的成本是私人的。问题是为每个任务选择一个最佳的工人子集，以便从选定的工人获得的结果保证目标精度水平。这个问题是一个具有挑战性的，即使在一个非战略性的设置，因为聚合标签的准确性取决于未知的质量。我们开发了一种新的多臂强盗（MAB）机制来解决这个问题。首先，我们提出了一个框架，保证精度Bandit（AAB），这导致了一个MAB算法，约束的信心界的非战略设置（CCB-NS）。我们推导出一个上界的时间步长的算法选择一个次优集，这取决于目标的准确性水平和真实的质量。当请求者不仅要了解工人的素质，还要了解他们的真实成本时，就会出现更具挑战性的情况。本文对CCB-NS算法进行了改进，得到了一种自适应的探测分离算法，我们称之为{ \em策略设置的约束置信界（CCB-S）}。CCB-S算法产生一个事后单调分配规则，从而可以转化为一个事后激励相容的事后个体理性机制，学习工人的素质，以成本最优的方式保证给定的目标精度水平。我们提供了一个下界的次数任何算法应该选择一个次优集，我们看到，下界匹配我们的上限到一个常数因子。我们提供的见解，这个框架的实际实施，通过一个说明性的例子，我们通过模拟显示我们的算法的有效性。
2015-06-17 cs.GT cs.LG
Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing
Singapore University of Technology and Design（新加坡科技设计大学）；Hong Kong University of Science and Technology（香港科技大学）
针对移动众包中工人可能策略性谎报偏好反馈的问题，提出一种动态贝叶斯博弈模型和在线加权聚合机制，确保工人诚实反馈并实现次线性遗憾。
2026-05-22 cs.AI cs.LG
Learning an Optimization Algorithm through Human Design Iterations
Arizona State University（亚利桑那州立大学）
通过众包解决优化设计问题面临着一个困境：一方面，人类已经被证明在寻找高维或离散解空间的某些现实世界问题的好解时比算法更有效;另一方面，建立众包环境的成本，群体特定领域能力的不确定性，以及群体缺乏承诺，所有这些都导致设计众包在现实世界中缺乏应用。因此，我们的动机是调查的解决方案搜索机制，其中的优化算法进行调整的基础上，人类示范解决方案搜索，使搜索可以继续后，人类参与者放弃的问题。为此，我们将迭代搜索过程建模为贝叶斯优化（BO）算法，并提出了一种逆BO（IBO）算法来找到基于人类解决方案的BO参数的最大似然估计。我们通过一个车辆设计和控制问题，BO的搜索性能可以提高恢复其参数的基础上有效的人类搜索。因此，IBO有潜力提高设计众包活动的成功率，只需要好的搜索策略，而不是从人群中找到好的解决方案。
2017-04-26 cs.LG
Local Differential Privacy based Federated Learning for Internet of Things
Nanyang Technological University（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学联合研究院）
车联网（IoT）是物联网的一个很有前途的分支。车联网模拟了Waze、Uber、Amazon Mechanical Turk等多种众包应用，这些应用的用户将实时交通信息上报到云服务器，云服务器根据用户上报的交通信息训练机器学习模型，实现智能交通管理。然而，众包应用程序所有者可以很容易地推断出用户的位置信息，这引起了严重的位置隐私的用户的关注。此外，随着车辆数量的增加，车辆与云服务器之间的频繁通信会产生意想不到的通信成本。为了避免隐私威胁和降低通信成本，本文提出将联邦学习和局部差分隐私（LDP）相结合，以便于众包应用实现机器学习模型。具体来说，我们提出了四个LDP机制来扰动车辆产生的梯度。提出了三输出机制，该机制引入了三种不同的输出可能性，以在隐私预算较小时提供高准确性。三路输出的输出可能性可以用两位编码，以降低通信成本。此外，当隐私预算较大时，为了最大化性能，提出了一种最优分段机制（PM-OPT）。我们进一步提出了一种次优机制（PM-OPT），它具有简单的公式和与PM-OPT相当的效用。然后，我们将三输出和PM-OPT相结合，构建了一种新的混合机制。
2020-12-22 cs.CR cs.LG
Proof-of-Collaborative-Learning: A Multi-winner Federated Learning Consensus Algorithm
University of Manitoba（曼尼托巴大学）
本文提出协作学习证明，一种多赢家联邦学习共识机制，将区块链算力用于训练联邦学习模型，并设计了模型评估、攻击防御及公平奖励分配机制。
2024-07-24 cs.DC cs.LG
A Reputation Mechanism Is All You Need: Collaborative Fairness and Adversarial Robustness in Federated Learning
University of Singapore（新加坡大学）；Ant financial（蚂蚁金融）
联邦学习（FL）是一种新兴的实用框架，用于在多个参与者（如最终用户、组织和公司）之间进行有效和可扩展的机器学习。然而，大多数现有的FL或分布式学习框架都没有很好地解决两个重要问题：协作公平性和对抗鲁棒性（例如搭便车者和恶意参与者）。在传统的FL中，所有参与者都获得全局模型（平等奖励），这可能对高贡献的参与者不公平。此外，由于缺乏一个安全机制，搭便车者或恶意advertisers可以游戏的系统访问的全球模型免费或破坏it. In本文中，我们提出了一种新的鲁棒性和公平的联邦学习（RFFL）框架，通过信誉机制，同时实现合作的公平性和对抗性的鲁棒性。RFFL通过经由其上传的梯度（使用向量相似性）检查其贡献来维护每个参与者的声誉，从而识别要移除的非贡献或恶意参与者。我们的方法与众不同，不需要任何辅助/验证数据集。在基准数据集上的大量实验表明，RFFL可以实现高公平性，对不同类型的对手具有很强的鲁棒性，同时实现有竞争力的预测精度。
2021-07-27 cs.LG stat.ML
An Efficient Hashing-based Ensemble Method for Collaborative Outlier Detection
School of Computer Science, University of Auckland（奥克兰大学计算机科学学院）
在协作离群值检测中，多个参与者交换在分散设备上训练的本地检测器，而不交换自己的数据。协同离群点检测的一个关键问题是在不侵犯参与者数据隐私和降低检测精度的前提下，有效地聚合多个局部检测器形成全局检测器。我们研究了位置敏感的基于散列的集成方法来检测协作离群值，因为它们是可合并的，并且与差分私有机制兼容。我们提出的LSH iTables很简单，在许多真实世界的数据集上，在集中式和分散式场景中的表现优于最近的集成竞争对手。
2022-01-18 cs.LG
Incentive Mechanism Design for Resource Sharing in Collaborative Edge Learning
Alibaba Group（阿里巴巴集团）；Alibaba-NTU Joint Research Institute (JRI)（阿里巴巴-南洋理工大学联合研究院（JRI））；Nanyang Technological University (NTU)（南洋理工大学（NTU））；The University of British Columbia（不列颠哥伦比亚大学）；Hong Kong University of Science and Technology（香港科技大学）
在5G及以后的网络中，预计人工智能应用将越来越普遍。这需要从当前以云为中心的模型训练方法向基于边缘计算的协作学习方案（称为边缘学习）进行范式转换，其中模型训练在网络边缘执行。在本文中，我们首先介绍了协作边缘学习的原理和技术。然后，我们确定边缘学习的成功、可扩展的实现需要终端设备和边缘服务器的通信、缓存、计算和学习资源（3C-L）以有效的方式联合利用。但是，用户在没有得到适当补偿的情况下不得同意贡献其资源。考虑到边缘节点的异构性，例如，在可用计算资源方面，我们讨论了激励机制设计的挑战，以促进边缘学习的资源共享。此外，我们提出了一个案例研究，涉及使用深度学习为边缘学习贡献的新数据定价的最优拍卖设计。性能评估表明，我们提出的拍卖的基准计划的收入最大化的属性。
2020-05-31 cs.LG cs.NI
Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms
Seoul National University（首尔大学）
基于神经网络的协同过滤模型最近开始受到关注。研究的一个分支是基于使用深度生成模型来模拟用户偏好，其中变分自动编码器被证明可以产生最先进的结果。然而，当前用于CF的变分自动编码器存在一些潜在的问题特性。第一个是VAE在学习用户偏好的潜在表示时引入的过于简单的先验知识。另一个是模型无法学习每个网络具有多个隐藏层的更深层次的表示。我们的目标是采用适当的技术来缓解变分自动编码器CF的上述问题，并进一步提高推荐性能。我们的工作是第一个应用灵活的先验协同过滤，并表明，简单的先验（在原始VAE）可能过于限制，以充分模拟用户的喜好和设置一个更灵活的先验提供了显着的收益。我们实验VampPrior，最初提出的图像生成，检查灵活的先验CF的效果。我们还表明，VampPriors加上门控机制优于SOTA结果，包括在2个流行的基准数据集（MovieLens和Netflix）上有意义的利润率的协同过滤的变分自动编码器。
2019-11-03 cs.IR cs.LG stat.ML
Mechanisms for Data Sharing in Collaborative Causal Inference (Extended Version)
University of Lübeck（吕贝克大学）；University of Hamburg（汉堡大学）
本文针对协作因果推断中数据共享的激励问题，提出基于CPDAG比较的数据估值方案，用于公平奖励或最大化各参与方的数据贡献。
2024-07-04 cs.AI cs.LG stat.ME
BCFNet: A Balanced Collaborative Filtering Network with Attention Mechanism
Sun Yat-sen University（中山大学）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
基于协同过滤（CF）的推荐方法已经被广泛研究，其通常可以分为两种类型，即，基于表示学习的CF方法和基于匹配函数学习的CF方法。表示学习试图为用户和项目的表示学习一个公共的低维空间。在这种情况下，如果用户和项目在公共空间中具有更高的相似性，则它们匹配得更好。匹配函数学习试图直接学习将用户-项目对映射到匹配分数的复杂匹配函数。虽然这两种方法都发展得很好，但它们有两个基本缺陷，即，表示学习依赖于应用点积，其对用户和项目的潜在特征具有有限的表达性，而匹配函数学习在捕获低秩关系方面具有弱点。为了克服这些缺陷，我们提出了一种新的推荐模型平衡协同过滤网络（BCFNet），它具有两种类型的方法的优点。此外，设计了一种注意力机制，以更好地捕捉隐含反馈中的隐藏信息，增强神经网络的学习能力。此外，设计了一个平衡模块来缓解DNN中的过拟合问题。在8个真实数据集上的实验证明了该模型的有效性。
2021-04-11 cs.AI cs.IR cs.LG
Neighborhood-Enhanced and Time-Aware Model for Session-based Recommendation
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
基于会话的推荐以其高度的实用价值成为推荐系统领域的研究热点之一。以往的深度学习方法大多关注当前会话内的序列特征，而忽略了会话间包含丰富协作信息的上下文相似性和时间相似性。本文提出了一种新的神经网络框架，即用于基于会话的推荐的邻域增强和时间感知推荐机（NETA）。首先，我们引入了一个有效的邻域检索机制来发现包含协作信息的相似会话;然后，我们设计了一个具有时间感知的引导注意机制来从邻域会话中提取协作表示，特别是单独考虑会话之间的时间新近性;最后，我们设计了一个简单的合作，注意力机制，以确定预测下一个项目时，互补的合作表示的重要性。世界数据集证明了我们提出的模型的有效性。
2019-10-01 cs.IR cs.LG
On the Mechanisms of Collaborative Learning in VAE Recommenders
Amazon（亚马逊公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Monash University（莫纳什大学）
本文研究了基于VAE的推荐系统中协作学习的机制，分析了潜在接近性对协作的影响，并提出了锚点正则化器以实现用户与项目间的信号共享。
2026-02-14 cs.AI cs.LG
Quantitative analysis of Matthew effect and sparsity problem of recommender systems
HC Research（HC研究院）；HC Financial Service Group（HC金融服务集团）
推荐系统已经获得了巨大的商业成功。推荐技术在电子商务、在线音乐FM、在线新闻门户等领域得到了广泛的应用，然而与输入数据结构相关的一些问题对推荐系统的性能提出了严峻的挑战。其中两个问题是马太效应和稀疏性问题。马太效应严重地使推荐系统的输出偏向于受欢迎的项目。数据稀疏性问题直接影响推荐结果的覆盖率。协同过滤是一个简单的基准普遍采用的行业作为基线推荐系统的设计。了解协同过滤的底层机制是进一步优化的关键。本文对协同过滤特定上下文环境下的马太效应和稀疏性问题进行了深入的定量分析。我们比较了基于用户和基于项目的协同过滤的基本机制，并为工业推荐系统的构建者提供了见解。
2019-09-24 cs.IR cs.LG
