HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation
最近，众包已经成为一个有效的范例，人力大规模的问题解决在各个领域。然而，任务请求者通常具有有限的预算量，因此期望具有明智地分配预算以实现更好质量的策略。在本文中，我们研究的积极抽样策略的HodgeRank框架中的信息最大化的原则，一种基于Hodge分解的成对排序数据与多个工人的方法。该原则展示了两种情况下的主动采样：费舍尔信息最大化，导致无监督采样的基础上的顺序最大化的图代数连通性，而不考虑标签;和贝叶斯信息最大化，选择样本的最大信息增益从之前到后，这给出了一个监督采样，涉及标签收集。实验结果表明，与传统的抽样方案相比，本文提出的方法提高了抽样效率，具有一定的实用价值。
2017-11-16 stat.ML
Semi-Self Representation Learning for Crowdsourced WiFi Trajectories
National Yang Ming Chiao Tung University（国立阳明交通大学）；Chunghwa Telecom Laboratories（中华电信研究所）；Yuan Ze University（元智大学）
针对众包WiFi轨迹标注成本高的问题，提出一种半自表示学习方法，利用小规模有标签数据集自动标注大规模无标签数据集，通过“剪切并翻转”增强与两阶段学习实现高精度定位。
2025-04-02 cs.CV cs.LG
Bayesian Crowdsourcing with Constraints
University of Minnesota（明尼苏达大学）
众包已经成为一种强大的范例，通过利用大量的人类注释者来有效地标记大型数据集并执行各种学习任务。当关于数据的附加信息可用时，增强来自人类注释者的标签聚合的半监督众包方法是很好的动机。这项工作涉及半监督众包分类，在两种半监督制度下：a）标签约束，为数据子集提供地面真实标签; b）可能更容易获得实例级约束，指示数据对之间的关系。贝叶斯算法的基础上变分推理的发展，为每个政权，和他们的量化改进的性能，相比无监督众包，分析和经验验证了几个众包数据集。
2021-07-16 cs.LG stat.ML
Inferring ground truth from multi-annotator ordinal data: a probabilistic approach
Yandex Labs（Yandex实验室）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
用于大规模数据注释任务的流行方法是众包，其中每个数据点由多个噪声注释器标记。我们考虑的问题，推断真值从嘈杂的序数标签从不同的和未知的专业知识水平的多个注释。有序数据的注释模型主要是作为其二元/分类对应物的扩展而提出的，并且在众包文献中很少受到关注。我们提出了一个新的模型，众包有序的数据，占例如困难，以及注释专家，并推导出变分贝叶斯推断算法的参数估计。我们分析了二进制/分类标签的几种最先进的注释器模型的序数扩展，并评估了所有模型在两个真实世界数据集上的性能，这些数据集包含通过Amazon的Mechanical Turk收集的序数查询-URL相关性得分。我们的结果表明，所提出的模型表现得更好或与现有的最先进的方法一样好，并且更能抵抗“垃圾”注释器（即，注释者随机分配标签而不实际查看实例）比流行的基线（如平均值、中位数和多数投票）更有效，这些基线不考虑注释者的专业知识。
2013-04-30 cs.LG stat.ML
A Streaming Algorithm for Crowdsourced Data Classification
Telecom ParisTech（巴黎电信学院）；Centrale-Supelec（中央理工-高等电力学院）
我们提出了一种基于众包的数据二进制分类的流算法。该算法通过将她的标签与相同任务上的其他标签进行比较来学习每个标签的能力，并使用此信息来最小化每个任务的预测错误率。我们提供的性能保证，我们的算法为一个固定的人口独立的标签。特别是，我们表明，我们的算法是最佳的意义上说，与已知的标签错误概率的最佳决策相比，累积的遗憾是有限的，独立的任务数量的标签。该算法的复杂性是线性的标记器的数量和任务的数量，一些对数因子。数值实验表明，我们的算法相比，现有的算法，包括简单多数表决和期望最大化算法，在合成和真实数据集的性能。
2016-02-23 cs.LG stat.ML
Truthful Incentive Mechanism for Federated Learning with Crowdsourced Data Labeling
Auburn University（奥本大学）
联邦学习（FL）已经成为一种有前途的范例，其以分布式方式在客户端设备上训练机器学习（ML）模型，而不需要将客户端的数据传输到FL服务器。在机器学习的许多应用中，训练数据的标签需要由人类代理手动生成。在本文中，我们研究了FL与众包数据标记，其中FL的每个参与客户端的本地数据由客户端手动标记。我们考虑客户端的策略行为，这些客户端可能没有在本地数据标记和本地模型计算中做出所需的努力，并且可能向FL服务器误报其本地模型。我们将训练损失的性能界限描述为客户端的数据标记工作，本地计算工作和报告的本地模型的函数。我们设计了真实的激励机制，激励战略客户做出真实的努力，并向服务器报告真实的本地模型。真实的设计利用了训练损失对客户努力和局部模型的非平凡依赖性。在真实的机制下，我们描述了服务器的最优本地计算工作分配。我们评估提出的FL算法与众包数据标签和激励机制，使用实验。
2023-01-31 cs.AI cs.DC cs.LG
On the Informativeness of Supervision Signals
Princeton University（普林斯顿大学）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）
本文利用信息论比较不同监督信号对表征学习的影响，证明大数据场景下硬标签足够有效，而少样本和分布外泛化需更丰富监督，并通过大规模众包实验和成本效益分析给出优化监督成本的权衡曲线。
2023-07-04 cs.AI cs.LG
Identify ambiguous tasks combining crowdsourced labels by weighting Areas Under the Margin
IMAG；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；LIRMM；INRIA（法国国家信息与自动化研究所）；IUF
本文提出加权边缘下面积（WAUM）方法，通过按任务相关分数加权AUM来识别并剔除众包学习中的模糊任务，在模拟和真实数据集上验证了其能提升泛化性能。
2023-11-30 cs.HC cs.LG stat.ML
Optimal Inference in Crowdsourced Classification via Belief Propagation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众包系统在解决低收入工人的大规模标签任务方面很受欢迎。我们研究了在流行的Dawid-Skene模型下从可能错误的众包标签中恢复真实标签的问题。为了解决这个推理问题，最近已经提出了几种算法，但最好的已知保证仍然显着大于基本限制。我们通过在基本极限上引入更严格的下限并证明置信传播（BP）完全匹配这个下限来缩小这一差距。保证BP的最优性是最强的，在这个意义上，它是信息理论上不可能的任何其他算法正确地标记一个更大的部分的任务。实验结果表明，BP是接近最佳的所有制度的考虑，并提高竞争的最先进的算法。
2017-01-12 cs.LG stat.ML
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
Coding for Crowdsourced Classification with XOR Queries
Department of Electrical Engineering
本文将众包标签/分类问题建模为稀疏编码的源编码问题，其中每个查询答案被视为代码位，是少量标签的XOR，作为源信息位。在本文中，我们利用这个问题和研究的稀疏表示的信道编码问题的代码之间的连接，提供查询计划几乎最佳数量的查询，其中每个只涉及一个常数数量的标签。我们还将这种情况扩展到一些工人可能没有反应的情况。对于这种情况下，我们提出查询方案，每个查询只涉及日志n个项目，其中n是要标记的项目的总数。此外，我们考虑两个相关的标签系统的分类，并提供两个阶段的查询计划，几乎最佳的查询数量，每个涉及一个常数的标签。
2020-01-31 cs.IT cs.LG math.IT
Challenges and Opportunities for Machine Learning Classification of Behavior and Mental State from Images
Stanford University（斯坦福大学）
计算机视觉（CV）分类器可以区分和检测非语言的社会人类行为和精神状态，可以帮助精神病学和行为科学的数字诊断和治疗。虽然可以使用标准机器学习管道开发用于传统和结构化分类任务的CV分类器，用于监督学习，包括数据标记，预处理和训练卷积神经网络，但在尝试此过程进行行为表型分析时会出现几个痛点。在这里，我们讨论了这个领域的挑战和相应的机会，包括处理异构数据，避免有偏见的模型，标记大量和重复的数据集，使用模糊或复合类标签，管理隐私问题，创建适当的表示和个性化模型。我们讨论了当前CV领域最先进的研究成果，如数据策展、数据增强、众包标签、主动学习、强化学习、生成模型、表示学习、联邦学习和元学习。我们强调至少一些机器学习的进步，需要成像分类器成功和可靠地检测人类的社会线索。
2022-01-26 cs.CV cs.LG
Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
针对含噪众包标签的端到端深度学习，本文证明CCEM在有限样本和不完整标注下的可辨识性，并提出两种正则化变体以提升参数辨识性能。
2023-06-05 cs.LG eess.SP stat.ML
Optimal Fair Aggregation of Crowdsourced Noisy Labels using Demographic Parity Constraints
University of California, Berkeley（加州大学伯克利分校）；Université de Paris（巴黎大学）；CNRS（国家科学研究中心）
针对众包标签聚合中的公平性问题，提出在ε-公平框架下分析多数投票和最优贝叶斯聚合的公平性差距，并推广多类公平后处理算法以强制执行人口统计平价约束。
2026-06-07 cs.LG
Enhancing kelp forest detection in remote sensing images using crowdsourced labels with Mixed Vision Transformers and ConvNeXt segmentation models
Taylor & Francis（泰勒与弗朗西斯）；Albert-Ludwigs-Universität（阿尔伯特-路德维希-弗赖堡大学）；Institut für Informatik（计算机科学研究所）
本研究结合众包标签与混合视觉变换器及ConvNeXt模型，利用Landsat影像构建海藻冠层检测流程，实现高检测率与低误报，展示了机器学习与众包数据在环境监测中的潜力。
2025-01-23 cs.AI cs.CV cs.LG
OpinionRank: Extracting Ground Truth Labels from Unreliable Expert Opinions with Graph-Based Spectral Ranking
Rowan University（罗文大学）
随着更大、更全面的数据集成为当代机器学习的标准，获得可靠、可信的标签信息来训练复杂模型变得越来越困难。为了解决这个问题，众包已经成为一种流行的，廉价的，高效的数据采掘解决方案，用于执行分布式标签收集。然而，众包注释本质上是不可信的，因为标签是由匿名志愿者提供的，他们可能具有不同的、不可靠的专业知识。更糟糕的是，亚马逊Mechanical Turk等常用平台上的一些参与者可能是敌对的，并在最终用户不知情的情况下故意提供不正确的标签信息。我们讨论了三个传统的模型的标签生成过程中，描述其参数化和基于模型的方法来解决它们。然后，我们提出了OpinionRank，一个无模型的，可解释的，基于图形的光谱算法，用于将众包注释集成到可靠的标签中，以执行监督或半监督学习。我们的实验表明，OpinionRank表现良好，与更高度参数化的算法相比。我们还表明，OpinionRank可扩展到非常大的数据集和标签源的数量，并且需要比以前的方法少得多的计算资源。
2021-05-15 cs.AI cs.LG stat.ML
Disaster mapping from satellites: damage detection with crowdsourced point labels
Lancaster University（兰卡斯特大学）；University of Bath（巴斯大学）；University of Oxford（牛津大学）
灾害事件发生后立即提供的高分辨率卫星图像对于响应规划至关重要，因为它有助于对关键基础设施状况（如建筑物损坏、洪水和通道障碍）的广泛情况了解。这种规模的破坏测绘将需要数百个专家工时。然而，众包和深度学习的最新进展相结合，将实时的所需的工作量减少到了几个小时。要求志愿者放置点标记，而不是实际受损区域的形状，大大减少了灾难期间响应所需的分析时间。然而，不同的志愿者可能在他们的标记不一致。这项工作提出了聚合潜在的不一致的损伤标记训练一个神经网络损伤检测器的方法。
2021-11-05 cs.CV cs.LG eess.IV
Mitigating Observation Biases in Crowdsourced Label Aggregation
Kyoto University（京都大学）
众包已经被广泛用于以低成本从大量人力资源高效地获得用于监督学习的标记数据集。然而，从众包中获得高质量结果的技术挑战之一是处理由人类执行工作的事实引起的可变性和偏差，各种研究已经解决了这个问题，通过整合冗余收集的响应来提高质量。在这项研究中，我们专注于众包中的观察偏差。工人响应的频率和任务的复杂性发生变化，这可能会影响聚合结果，当它们与响应的质量相关时。我们还提出了众包响应的统计聚合方法，该方法与因果推断中使用的观测数据偏差消除方法相结合。通过使用合成和真实数据集与/不人工注入垃圾邮件和串通工人的实验，我们验证了所提出的方法提高了聚合精度存在较强的观察偏差和鲁棒性的垃圾邮件和串通工人。
2023-02-25 cs.HC cs.LG
Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning Classification
The University of Arizona（亚利桑那大学）
提出Crowd-Certain标签聚合方法，利用标注者与分类器一致性及预测概率提升效率，在多数据集上准确率优于十种现有方法且校准更佳。
2023-10-25 cs.GT cs.LG
Soft-Label Integration for Robust Toxicity Classification
Northwestern University（西北大学）；The University of Tokyo（东京大学）
针对毒性分类中单一标注局限性和分布偏移问题，提出集成众包标注与软标签的双层优化框架，并用GroupDRO优化权重，提升平均和最差组准确率。
2024-11-07 cs.AI cs.CR cs.LG
If in a Crowdsourced Data Annotation Pipeline, a GPT-4
The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）
本文比较 GPT-4 与规范执行的 MTurk 众包标注流程，发现 GPT-4 准确率略高，且将二者标签互补聚合可进一步提升标注准确性。
2024-06-28 cs.AI cs.CL cs.HC
An Active Learning Approach for Jointly Estimating Worker Performance and Annotation Reliability with Crowdsourced Data
University of Central Florida（中佛罗里达大学）；Iowa State University（爱荷华州立大学）
众包平台为训练监督分类器提供了一个实用的解决方案，可以负担得起对大型数据集进行注释的问题。不幸的是，糟糕的工人性能经常威胁到注释的可靠性，并且为每个实例请求多个标签可能导致成本大幅增加，而无法保证良好的结果。使用主动学习选择过程来最小化所需的训练样本减少了标记要求，但是可能由于关注错误的注释而危及分类器训练。本文提出了一种主动学习方法，其中工人的表现，任务难度和注释的可靠性联合估计和用于计算风险函数指导样本选择过程。我们证明了所提出的方法，它采用主动学习与贝叶斯网络，显着提高训练精度和正确排名的专业知识未知的标签在注释噪声的存在。
2014-01-16 cs.HC cs.LG
FIS-ONE: Floor Identification System with One Label for Crowdsourced RF Signals
University of Colorado Boulder（科罗拉多大学博尔德分校）；Texas State University（德克萨斯州立大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对众包RF信号楼层识别中标签稀缺问题，提出仅需底层一个标签的FIS-ONE，通过注意力图神经网络聚类与等价于TSP的簇索引实现显著性能提升。
2023-07-12 cs.LG cs.NI eess.SP
End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis
Technical University of Munich（慕尼黑工业大学）
本文提出一种改进的端到端标注者偏差建模与真实标签估计方法，以减少现有方法的偏差失配，在单标注者场景下提升准确性，并发布10,000条有机食品领域情感数据集。
2023-07-24 cs.CL cs.HC cs.LG
MuSE-ing on the Impact of Utterance Ordering On Crowdsourced Emotion Annotations
University of Michigan--Ann Arbor（密歇根大学安娜堡分校）；University of Michigan--Flint（密歇根大学弗林特分校）
情感识别算法依赖于用高质量标签注释的数据。然而，情感表达和感知本质上是主观的。通常没有一个注释可以明确地声明为“正确”。因此，注释将根据收集注释的方式进行着色。在本文中，我们进行众包实验，调查这两个注释本身和这些算法的性能的影响。我们关注一个关键问题：语境的影响。我们提出了一个新的情感数据集，多模态应激情感（MuSE），并注释数据集使用两个条件：随机化，其中注释者以随机顺序呈现剪辑，和上下文化，其中注释者以顺序呈现剪辑。我们发现，上下文标记方案的结果注释更类似于扬声器自己的自我报告的标签，从随机方案生成的标签是最容易预测的自动化系统。
2019-03-27 cs.HC cs.LG cs.SD
Robust Subjective Visual Property Prediction from Crowdsourced Pairwise Labels
Queen Mary University of London（伦敦玛丽女王大学）；Peking University（北京大学）
从图像和视频中估计主观视觉特性的问题引起了越来越多的关注。主观视觉属性本身（例如图像和视频兴趣度）或作为视觉识别的中间表示（例如相对属性）是有用的。由于其模糊的性质，注释主观视觉属性的值以学习预测模型是具有挑战性的。为了使注释更可靠，最近的研究采用众包工具来收集成对比较标签，因为人类注释者在对两个图像/视频进行排名（例如，哪一个更有趣）方面要比单独给每个图像/视频一个绝对值要好得多。然而，使用众包数据也会引入离群值。现有方法依赖于多数投票来修剪注释离群值/错误。因此，它们需要收集大量的成对标记。更重要的是，作为一种局部离群点检测方法，多数投票在识别可能导致全局排名不一致的离群点方面是无效的。在本文中，我们提出了一种更有原则的方法来识别注释离群值，通过将主观视觉属性预测任务制定为统一的鲁棒学习排序问题，同时解决离群值检测和学习排序。不同于现有的方法，所提出的方法集成本地成对比较标签在一起，以尽量减少成本，对应于全球排名顺序的不一致性。这不仅可以更好地检测注释离群值，还可以使用极其稀疏的注释进行学习。在各种基准数据集上的广泛实验表明，我们的新方法显着优于最先进的替代方案。
2015-07-27 cs.CV cs.LG cs.MM
Multi-task Ensembles with Crowdsourced Features Improve Skin Lesion Diagnosis
Fontys University of Applied Science（方提斯应用科学大学）；Eindhoven University of Technology（埃因霍温理工大学）；Middle East Technical University（中东技术大学）
机器学习需要大量的注释数据。由于专家注释的高成本，众包，其中非专家被要求标记或概述图像，已被提议作为替代方案。尽管有许多有希望的结果被报道，但诊断众包标签的质量仍然不清楚。我们建议通过询问人群图像的视觉特征来解决这个问题，这些特征可以更直观地提供，并通过集成策略在多任务学习框架中使用这些特征。我们将我们提出的方法与来自ISIC 2017挑战数据集的一组2000个皮肤病变的基线模型进行了比较。基线模型仅预测来自皮肤病变图像的二进制标签，而我们的多任务模型还预测以下特征之一：病变的不对称性、边界不规则性和颜色。我们发现，具有单个众包功能的多任务模型对模型的影响有限，但当组合在一个集合中时，会导致更好的泛化。基线模型的受试者工作特征曲线下面积为0.794，多任务集成的受试者工作特征曲线下面积分别为0.811和0.808。最后，我们讨论了研究结果，确定了一些局限性，并建议进一步研究的方向。这些模型的代码可在https://github.com/raumannsr/hints_crowd上获得。
2020-07-06 cs.CV cs.HC cs.LG
Supervised Collective Classification for Crowdsourcing
University of Michigan（密歇根大学）；Amazon Corporate LLC（亚马逊公司）；Georgia Institute of Technology（佐治亚理工学院）；National Taiwan University of Science and Technology（台湾科技大学）
众包利用群体的智慧通过信息进行集体分类（例如，物品的标签）。目前的众包算法主要是无监督的方法，不知道众包数据的质量。在本文中，我们提出了一种监督集体分类算法，其目的是从训练数据中识别可靠的标记者（例如，已知标签的项目）。可靠性（即，加权因子）通过鞍点算法确定。在多个众包数据上的实验结果表明，监督方法比非监督方法具有更好的分类精度，并且我们提出的方法优于其他算法。
2015-09-08 cs.LG cs.SI stat.ML
Perception-Driven Bias Detection in Machine Learning via Crowdsourced Visual Judgment
Department of Computer Science（计算机科学系）；Oklahoma State University（俄克拉荷马州立大学）
针对传统机器学习偏见检测依赖敏感标签、适用性受限的问题，提出利用众包视觉判断的感知驱动检测框架，通过轻量网页平台收集非专业用户的视觉判断来标记偏见，经验证该方法可靠且可扩展，为公平性审计提供了高效可解释的新途径。
2025-05-21 cs.HC cs.LG
Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems
Riiid! AI Research（Riiid人工智能研究院）
与人工智能（AI）的许多其他领域一样，教育领域的AI（AIEd）中也有一些特定的任务，这些任务的标签既稀缺又昂贵，例如预测考试成绩或复习正确性。规避标签稀缺问题的一种常见方法是预先训练一个模型来学习学习项目内容的表示。然而，这样的方法未能利用可用的学生交互数据的全部范围，并且不对学生学习行为进行建模。为此，我们提出了评估建模，一类基本的预培训任务，一般的互动教育系统。评价是学生与系统互动的一个特征，可以作为教学评价。例如，学生回答的正确性和及时性。评估建模是以交互的周围环境为条件的评估预测。虽然对大量可用的交互式功能进行预训练是很自然的，但将预测目标限制在评估中会将任务的相关性集中在标签稀缺的教育问题上，并减少不太相关的噪音。虽然不同组合的评估的有效性是开放的探索，我们建议评估建模作为一阶的指导原则，选择适当的预培训任务的标签稀缺的教育问题。
2021-06-28 cs.AI cs.HC cs.LG
Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds
Peking University（北京大学）；The Center on Frontiers of Computing Studies（前沿计算研究中心）；Nat’l Eng. Lab. for Video Technology（国家工程实验室（视频技术））；Cooperative Medianet Innovation Center（协同媒体网络创新中心）；PengCheng Lab（鹏城实验室）；Deepwise AI Lab（深睿人工智能实验室）
从群体中提取标签是获得大量标签数据的一种潜在方法。尽管已经开发了各种各样的方法来从人群中学习，但一个关键的挑战仍然没有解决：\emph{learning from crowds without knowing the information structure among the crowds a priori, when some people of the crowds make highly correlated mistakes and some of them label effortlessly (e.g. randomly)}。我们提出了一个信息理论的方法，最大值，从人群中联合学习，一个共同的假设：众包标签和数据是独立的条件地面真相。Max-Risk同时聚合众包标签并学习准确的数据分类器。此外，我们设计了一个准确的数据人群预测器，它采用数据和众包标签来预测地面真相。据我们所知，这是第一个解决上述从人群中学习的挑战的算法。除了理论验证外，我们还通过经验表明，我们的算法在大多数设置中（包括真实世界的数据）都达到了最先进的结果，并且是第一个对各种信息结构具有鲁棒性的算法。代码可在\hyperlink{https://github.com/Newbeeer/Max-MIG}{https://github.com/Newbeeer/Max-MIG}上获得
2019-05-31 cs.HC cs.IT cs.LG
Dual-Primal Graph VAEs for Noisy Label Aggregation
Zuckerman Institute（扎克曼研究所）；Columbia University（哥伦比亚大学）
提出双原图变分自动编码器，将真实标签作为潜变量实现无监督学习，在众包基准获最优性能，还可扩充图纳入辅助信息提升分类性能。
2026-10-08 cs.LG
Enabling Fast and Accurate Crowdsourced Annotation for Elevation-Aware Flood Extent Mapping
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Utah State University（犹他州立大学）；Luminary Cloud（Luminary Cloud公司）
针对洪水范围映射深度学习模型需大量标注数据的问题，提出基于网络的众包标注应用FloodTrace，引入拓扑分割工具提升效率，经用户研究验证其标注时间短且众包数据训练模型性能与专家标注相当。
2025-04-17 cs.CV cs.LG
Inferring Concept Prerequisite Relations from Online Educational Resources
Videoken；IIIT-B（印度国际信息技术研究所班加罗尔分校）；National University of Singapore（新加坡国立大学）
互联网拥有丰富且快速增长的高质量教育内容来源。现代大规模在线教育技术应用，如个性化推荐和自动课程创建，需要推断教育概念之间的先决条件关系。我们提出了PREEQ，一个新的监督学习方法推断概念的先决条件关系。PREREQ是使用从成对潜在狄利克雷分配模型获得的概念的潜在表示和基于暹罗网络架构的神经网络设计的。PREREQ可以从课程先决条件和标记的概念先决条件数据中学习未知的概念先决条件。它在基准数据集上的性能优于最先进的方法，并且可以有效地从非常少的训练数据中学习。PREEQ还可以使用未标记的视频播放列表（一种稳步增长的训练数据来源）来学习概念先决条件，从而消除了对课程先决条件的手动注释的需要。
2019-01-23 cs.AI cs.CL cs.LG
TutlAit v1: a crowdsourced Moroccan Tamazight speech dataset with Arabic transcriptions and regional accent labels
Cadi Ayyad University（卡迪·阿雅德大学）
该论文介绍TutlAit数据集，一个众包的摩洛哥塔马齐格特语音语料库，配有阿拉伯语转写和地区口音标签，包含约20.9小时音频，可用于语音识别、翻译和口音识别。
2026-10-01 cs.CL cs.LG
An Exploration of Active Learning for Affective Digital Phenotyping
Stanford University（斯坦福大学）
阻碍人类行为机器学习模型广泛发展的一些最严重的瓶颈包括缺乏标记的训练数据和难以获得高质量的标签。主动学习是一种使用算法来计算地选择数据点的有用子集以使用模型不确定性和数据相似性的度量来标记的范例。我们探索自然的计算机视觉情感数据，一个特别异构和复杂的数据空间，由于固有的主观标签的主动学习。使用从自闭症儿童的治疗性智能手机游戏中获得的游戏玩法收集的帧，我们使用游戏玩法提示作为元数据来帮助主动学习过程，运行主动学习的模拟。我们发现，使用在游戏过程中产生的信息的主动学习稍微优于随机选择相同数量的标记帧。接下来，我们研究一种利用主观数据进行主动学习的方法，例如在情感计算中，并且可以为每个图像获取多个众包标签。使用儿童情感面部表情（CAFE）数据集，我们模拟了众包许多标签的主动学习过程，并发现使用众包标签分布的熵对帧进行优先级排序导致与随机帧选择相比分类交叉熵损失较低。总的来说，这些结果表明试点评估的两种新的主动学习方法的主观情感数据收集在嘈杂的设置。
2022-04-06 cs.CV cs.LG
Labels Generated by Large Language Models Help Measure People's Empathy in Vitro
本文探讨了利用大型语言模型生成的标签提升主流模型监督训练的潜力，通过噪声标签校正和训练数据增强策略，提高了共情计算任务的准确性，并在公开数据集上取得了显著成果。
2025-07-16 cs.CL cs.LG
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues
SCALE Initiative, Stanford University（斯坦福大学SCALE计划）
针对LLM注释不透明的问题，提出EduBehaviors框架，通过测量可观察行为并学习分类器，在TalkMoves数据集上达到宏F1 0.673，并提供工具包以支持可审计的教育对话编码。
2026-10-15 cs.CL cs.CY cs.LG
Human Transcription Quality Improvement
Amazon（亚马逊）
针对众包语音转录质量低的问题，提出置信度再处理与自动纠错两阶段方法，构建并发布 LibriCrowd，显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
Improve Learning from Crowds via Generative Augmentation
University of Virginia（弗吉尼亚大学）
众包为监督式机器学习提供了一种有效的标签收集模式。然而，为了控制注释成本，众包数据中的每个实例通常由少量注释器注释。这会产生稀疏性问题，并限制在此类数据上训练的机器学习模型的质量。在本文中，我们研究如何处理稀疏众包数据使用数据增强。具体来说，我们建议通过增强原始稀疏注释来直接学习分类器。我们使用生成对抗网络实现高质量增强的两个原则：1）生成的注释应该遵循真实注释的分布，这是由鉴别器测量的; 2）生成的注释应该具有与地面实况标签的高互信息，这是由辅助网络测量的。在三个真实数据集上对一系列最先进的群体学习方法进行了广泛的实验和比较，证明了我们的数据增强框架的有效性。它显示了我们的算法在低预算众包中的潜力。
2021-07-22 cs.CV cs.HC cs.LG
Privacy-Preserved Automated Scoring using Federated Learning for Educational Research
AI4STEM Education Center（AI4STEM教育中心）；Department of Mathematics, Science, and Social Studies Education（数学、科学与社会科学教育系）；University of Georgia（佐治亚大学）
本文提出一种基于联邦学习和LoRA参数高效微调的教育评估自动评分框架，通过自适应加权聚合策略应对数据异质性，在保护隐私的同时取得了接近集中式模型的评分准确率。
2025-05-08 cs.AI cs.LG
Leveraging Label Semantics and Meta-Label Refinement for Multi-Label Question Classification
Faculty of artificial intelligence in education（教育人工智能学院）
针对多标签问题分类中标签重叠与长尾分布难题，提出RR2QC方法，利用标签语义和元标签细化，结合数学LLM提取潜在信息，在多个教育数据集上显著提升Precision@K和F1分数。
2025-04-25 cs.CL cs.LG
Online Crowdsourcing
随着现代互联网平台的成功，如亚马逊土耳其机器人，现在从非专家那里收集大量手工标记的样本是正常的。基于期望最大化更新的Dawid-Skene算法被广泛应用于从噪声众包标签中推断真实标签。然而，Dawid-Skene方案需要所有的数据来执行每个EM迭代，并且对于流数据或大规模数据可能是不可行的。在本文中，我们提供了一个在线版本的Dawid-Skene算法，只需要一个数据帧的每次迭代。此外，我们证明了在温和的条件下，在线Dawid-Skene计划与投影收敛到一个平稳点的边缘对数似然观测数据。实验结果表明，与基于Dawid-Skene方案的其他方法相比，在线Dawid-Skene方案达到了最先进的性能。
2019-02-08 cs.LG
Learning From Noisy Singly-labeled Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云科技）
监督学习依赖于带注释的示例，这些示例被视为\emph{ground truth}。但这些标签通常来自嘈杂的众包平台，如Amazon Mechanical Turk。从业者通常会为每个示例收集多个标签，并汇总结果以减轻噪音（经典的众包问题）。给定固定的注释预算和无限的未标记数据，冗余注释是以较少的标记示例为代价的。这就提出了两个基本问题：（1）我们怎样才能最好地向吵闹的工人学习？(2)我们应该如何分配我们的标记预算，以最大限度地提高分类器的性能？我们提出了一种新的算法，用于从嘈杂的众包数据中联合建模标签和工人质量。交替最小化在循环中进行，根据与当前模型的不一致来估计工人质量，然后通过优化考虑工人质量的当前估计的损失函数来更新模型。与以前的方法不同，即使每个示例只有一个注释，我们的算法也可以估计工人质量。我们为使用我们的算法学习的模型建立了一个泛化误差范围，并从理论上建立了当工人质量高于阈值时，最好一次标记许多示例（而不是多次）。在ImageNet（模拟嘈杂的工人）和MS-COCO（使用真正的众包标签）上进行的实验证实了我们算法的好处。
2018-05-20 cs.LG
AHEAD: Advancing Multi-Class Label Aggregation with Interpretable Cross-Annotator Modeling
研究多类标签聚合问题，提出AHEAD框架，通过图神经网络学习交叉注释器上下文，聚合特征得到注释器嵌入并解码为混淆矩阵，结合高置信度注释器缓解训练问题，实验表明该方法显著提高标签准确性和可扩展性。
2026-07-22 cs.LG
Convergence Behavior of an Adversarial Weak Supervision Method
University of California, San Diego（加州大学圣迭戈分校）
本研究分析对抗性弱监督方法在对数损失下的收敛行为，刻画解的形式、与逻辑回归的联系、一致性和收敛速率，并指出概率方法可能不一致，实验验证了理论结果。
2024-05-25 cs.LG
Towards Long-term Annotators: A Supervised Label Aggregation Baseline
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
本文提出一种无需推理时更新模型且能利用历史标注记录的监督式标签聚合方法 SuperLA，在 22 个数据集和 11 种基线对比中表现更优且效率显著。
2023-11-15 cs.HC cs.LG
Student Performance Prediction with Optimum Multilabel Ensemble Model
Mekelle University（默克莱大学）
衡量教育质量的重要标准之一是学生在学术环境中的表现。如今，大量的数据存储在教育机构的学生，这可以帮助发现洞察学生是如何学习的，以及如何提高他们的表现提前使用数据采掘技术。在本文中，我们开发了一个学生成绩预测模型，预测高中学生下学期的五门课程的表现。我们将我们的预测系统建模为多标签分类任务，并使用支持向量机（SVM），随机森林（RF），K-最近邻（KNN）和多层感知器（MLP）作为基础分类器来训练我们的模型。我们进一步提高了预测模型的性能，使用最先进的分区方案将标签空间划分为更小的空间，并使用标签幂集（LP）转换方法将每个标签集转换为多类分类任务。与其他多标签学习任务（如二进制相关性和分类器链）相比，该模型在不同的评估指标方面取得了更好的性能。
2019-09-06 cs.CY cs.LG stat.ML
Calpric: Inclusive and Fine-grain Labeling of Privacy Policies with Crowdsourcing and Active Learning
University of Toronto（多伦多大学）
本文提出基于众包和主动学习的自动化隐私政策分类工具Calpric，通过主动选择信息量最大的片段标注，仅需62%标注工作量即可达到同等F1分数，并有效解决数据集类别不平衡问题。
2026-09-25 cs.CL cs.CR cs.LG
Calpric: Inclusive and Fine-grain Labeling of Privacy Policies with Crowdsourcing and Active Learning
University of Toronto（多伦多大学）
针对隐私政策训练数据获取成本高的问题，提出Calpric，结合自动文本选择、主动学习与众包标注，低成本生成大规模平衡数据集，实现细粒度标注。
2026-09-22 cs.CL cs.CR cs.HC
Street to Cloud: Improving Flood Maps With Crowdsourcing and Semantic Segmentation
Cloud to Street；Rutgers University（罗格斯大学）；European Space Agency（欧洲空间局）
为了解决气候脆弱地区洪水造成的日益严重的破坏，我们提出了Street to Cloud，这是一个机器学习管道，用于将众包的地面实况数据整合到洪水卫星图像的分割中。我们提出这种方法作为一种解决方案，以产生高质量的劳动密集型任务，手工标记的训练数据，并证明在我们的模型中不同的合理的众包方法的成功和失败。Street to Cloud利用社区报告和机器学习生成新颖的、接近实时的洪水范围洞察，用于应急响应。
2020-11-05 cs.CV cs.LG
