Salutary Labeling with Zero Human Annotation
Brandeis University（布兰迪斯大学）
本文提出增益标注方法，利用影响函数自动为信息量最大的样本分配最具正向影响的标签，无需人工标注，在九个基准数据集上超越传统主动学习策略，并探索了LLM微调应用。
2024-09-30 cs.LG
Truth Inference at Scale: A Bayesian Model for Adjudicating Highly Redundant Crowd Annotations
University of Melbourne（墨尔本大学）
众包是为机器学习创建培训和评估数据集的一种廉价而流行的手段，但它带来了“真理推理”的问题，因为不能完全信任个人工人提供可靠的注释。对注释聚合模型的研究试图推断出潜在的“真实”注释，这已被证明可以提高众包数据的效用。然而，现有技术仅在低冗余设置中胜过简单基线，其中每个实例的注释数量低（$\le 3$），或者在工作者不可靠并且产生低质量注释的情况下（例如，通过垃圾邮件、随机或敌对行为。）正如我们所展示的，众包产生的数据集通常不是这种类型：数据是高度冗余的注释（每个实例都有$\ge 5$注释），绝大多数工作人员都能产生高质量的输出。在这些设置中，多数投票启发式执行得非常好，大多数真理推理模型都不如这个简单的基线。我们提出了一种新的技术，基于共轭先验的贝叶斯图形模型，和简单的迭代期望最大化推理。我们的技术产生竞争力的性能，以国家的最先进的基准方法，是唯一的方法，显着优于多数票启发式在单侧水平0.025，显着性检验。此外，我们的技术很简单，只需要50行代码就可以实现，几秒钟就可以完成训练。
2019-02-24 cs.IR cs.LG stat.ML
Leveraging Pre-Trained 3D Object Detection Models For Fast Ground Truth Generation
University of Waterloo（滑铁卢大学）
由于生成注释所需的工作量，用于自动驾驶的3D对象检测器训练仅限于小数据集。减少任务复杂性和注释器完成的任务切换量是减少生成3D限界框注释所需的工作量和时间的关键。本文介绍了一种新的真值生成方法，该方法将人类监督与预训练的神经网络相结合，以生成每个实例的3D点云分割，3D边界框和类注释。注释器提供对象锚点点击，其行为类似于种子，以生成3D形式的实例分割结果。属于每个实例的点然后用于回归对象质心、限界框尺寸和对象方向。我们提出的注释方案需要30倍的人工注释时间。我们使用KITTI 3D目标检测数据集来评估我们的注释方案的效率和质量。我们还在Autonomoose自动驾驶汽车的以前看不见的数据上测试了所提出的方案，以证明网络的泛化能力。
2018-07-16 cs.AI cs.LG stat.ML
Joint Multi-Dimensional Model for Global and Time-Series Annotations
众包是一种流行的方法来收集未标记的数据实例的注释。它涉及到为每个数据实例从几个通常是天真的未经训练的注释器收集大量注释，然后将其组合以估计地面实况。此外，对诸如情感之类的结构的注释通常是多维的，注释者对每个实例的多个维度进行评级，诸如效价和唤醒。然而，大多数注释融合方案忽略了这一方面，并单独对每个维度进行建模。在这项工作中，我们通过提出一个多维注释融合的生成模型来解决这个问题，该模型对维度进行建模，从而获得更准确的地面实况估计。我们提出的模型是适用于全球和时间序列的注释融合问题，并把地面真理作为一个潜在的变量扭曲的注释。使用期望最大化算法估计模型参数，并使用合成数据和真实情感语料库以及带有人类注释的人工任务来评估其性能
2020-05-06 cs.LG stat.ML
Noisy Supervision for Correcting Misaligned Cadaster Maps Without Perfect Ground Truth Data
Inria（法国国家信息与自动化研究所）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；LuxCarta Technology（LuxCarta科技公司）
在机器学习中，当完美的真值标签可用时，完全监督的方法可以实现特定任务的最佳性能。然而，标签通常是嘈杂的，特别是在遥感中，手动管理的公共数据集很少。我们研究了多模态地籍图对齐问题，其中可用的注释是未对齐的多边形，导致嘈杂的监督。随后，我们建立了多轮训练计划，在每一轮纠正真值注释，以便在下一轮更好地训练模型。我们证明了通过迭代训练一个更好的对齐模型来纠正注释对齐，可以减少数据集的噪声。
2019-03-12 cs.CV cs.LG stat.ML
Understanding and Mitigating Annotation Bias in Facial Expression Recognition
University of California, Los Angeles（加州大学洛杉矶分校）
计算机视觉模型的性能取决于其训练数据的大小和质量。最近的研究揭示了常见图像数据集中以前未知的成分偏差，这些偏差导致模型输出偏斜，并提出了减轻这些偏差的方法。然而，大多数现有的作品假设人类生成的注释可以被认为是黄金标准和公正的。在本文中，我们揭示了这种假设可能是有问题的，并且应该特别注意防止模型学习这种注释偏差。我们专注于面部表情识别，并比较实验室控制和野生数据集之间的标签偏差。我们证明了许多表情数据集在性别之间存在显著的注释偏差，特别是在快乐和愤怒的表情方面，并且传统方法无法完全减轻训练模型中的这种偏差。为了消除表情注释偏差，我们提出了一个AU校准的面部表情识别（AUC-FER）框架，利用面部动作单元（AU），并将三重损失的目标函数。实验结果表明，该方法是更有效地消除表达式注释偏见比现有的技术。
2021-08-19 cs.AI cs.CV cs.LG
SUDO: a framework for evaluating clinical artificial intelligence systems without ground-truth annotations
Cedars-Sinai Medical Center（西达赛奈医疗中心）；Flatiron Health（Flatiron健康公司）；New York University School of Medicine（纽约大学医学院）
针对分布偏移且缺乏真实标注时临床AI系统难以评估的问题，提出SUDO框架，通过分配临时标签训练不同模型来评估性能并识别不可靠预测，有助于模型选择与算法偏见评估。
2024-01-02 cs.AI cs.CY cs.LG
Measuring Model Biases in the Absence of Ground Truth
Google（谷歌）；Ulm University（乌尔姆大学）；Ethical AI LLC（Ethical AI有限责任公司）
机器学习中的偏差测量通常关注跨身份子组（如男性和女性）的模型性能。然而，这些方法并不直接测量模型可能已经学习的关联，例如标签和身份子组之间的关联。此外，测量模型的偏差需要一个完全注释的评估数据集，这在实践中可能不容易获得。我们提出了一个优雅的数学解决方案，同时解决这两个问题，使用图像分类作为一个工作的例子。通过将分类模型对给定图像的预测视为一组类似于一袋单词的标签，我们对模型学习到的关于不同身份标签的偏见进行排名。我们使用（男人，女人）作为身份标签集的具体示例（尽管该集合不需要是二进制的），并为最偏向于一个身份或另一个身份的标签呈现排名。我们演示了不同的关联度量的统计特性如何导致最“性别偏见”标签的不同排名，并得出结论，归一化逐点互信息（nPMI）是最有用的在实践中。最后，我们宣布了一个使用TensorBoard的开源nPMI可视化工具。
2021-06-06 cs.CV cs.LG
Posthoc Verification and the Fallibility of the Ground Truth
University of Notre Dame（圣母大学）
分类器通常使用预先注释的数据集，其中模型通过通常由人工注释标签组成的测试集上的预定义度量进行评估。在这些评估中使用的度量与定义良好的真值标签的可用性相关联，并且这些度量通常不允许不精确的匹配。这些嘈杂的真值标签和严格的评估度量可能会损害评估结果的有效性和真实性。在目前的工作中，我们讨论了这些问题，并进行了系统的事后验证实验的实体链接（EL）的任务。与传统方法不同，传统方法要求注释者提供自由形式的注释，我们要求注释者在事实发生后验证注释的正确性（即，posthoc）。与预注释评估相比，根据事后评估方法，最先进的EL模型表现非常好。事后验证还允许验证真值数据集。令人惊讶的是，我们发现来自EL模型的预测具有与真值相似或更高的验证率。最后，我们对这些调查结果进行了讨论，并为今后的评估提出了建议。
2021-06-02 cs.AI cs.CL cs.LG
Learning from Crowds with Sparse and Imbalanced Annotations
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing University（南京大学）
传统的监督学习需要训练数据的基础事实标签，在许多情况下，收集这些标签是困难的。最近，众包已经建立了自己作为一个有效的标签解决方案，通过诉诸非专家人群。为了减少标记错误的影响，一种常见的做法是将每个实例分发给多个工作者，而每个工作者只注释数据的子集，从而导致{ \it稀疏注释}现象。在本文中，我们注意到，当遇到阶级不平衡，即，当基础事实标签是{ \it class-imbalanced}时，稀疏注释倾向于偏斜地分布，这因此会严重地偏置学习算法。为了解决这个问题，我们提出了一种基于自训练的方法，名为{ \it Self-Crowd}，通过逐步添加自信的伪注释和重新平衡注释分布。具体来说，我们提出了一个分布感知的置信度措施，以选择自信的伪注释，它采用的reservation策略过采样少数注释和欠采样的多数注释。在一个现实世界的众包图像分类任务，我们表明，所提出的方法在整个训练过程中产生更平衡的注释比分布不可知的方法，并大大提高了学习性能在不同的注释稀疏水平。
2021-07-11 cs.LG
CataractSAM-2: A Domain-Adapted Model for Anterior Segment Surgery Segmentation and Scalable Ground-Truth Annotation
Thomas Jefferson High School for Science and Technology（托马斯·杰弗逊高中科学与技术学校）；Mass Eye and Ear, Harvard Medical School（麻省眼耳研究所，哈佛医学院）；Harvard Ophthalmology AI Lab, Schepens Eye Research Institute of Mass Eye and Ear, Harvard Medical School（哈佛眼科学人工智能实验室，麻省眼耳研究所的谢普恩斯眼研究学院，哈佛医学院）
本文提出CataractSAM-2，一种针对白内障眼科手术视频的实时语义分割模型，结合稀疏提示与视频掩码传播框架，提升标注效率并推动高质量地面真实标注的可扩展生成。
2026-03-23 cs.AI cs.CV cs.DB
Impact of Ground Truth Annotation Quality on Performance of Semantic Image Segmentation of Traffic Conditions
为城市场景理解准备高质量的数据集是一项劳动密集型任务，特别是为自动驾驶应用设计的数据集。这些数据集的粗真值（GT）注释的应用在不损害语义图像分割的准确性的情况下（通过联合上的平均交集- mIoU）可以在其实际应用之前简化和加速数据集准备和模型微调。在这里，针对Cityscapes数据集的精细和粗略注释图像，给出了通过PSPNet深度学习架构获得的语义分割准确性的比较分析结果。调查了两种情况：场景1 -用于训练和预测的精细GT图像，以及场景2 -用于训练的精细GT图像和用于预测的粗略GT图像。所得到的结果表明，对于最重要的类的语义图像分割的平均精度值为粗GT注释高于细GT的，和标准偏差值是反之亦然。这意味着对于某些应用程序，可以排除一些不重要的类，并且可以针对粗GT数据集上的某些类和特定区域进一步调整模型，甚至不会损失准确性。此外，这打开了使用深度神经网络来准备这种粗糙GT数据集的前景。
2018-12-30 cs.CV cs.LG stat.ML
Deep Learning for Earth Image Segmentation based on Imperfect Polyline Labels with Annotation Errors
The University of Alabama（阿拉巴马大学）
近年来，深度学习技术（例如，U-Net，DeepLab）在图像分割方面取得了巨大的成功。这些模型的性能在很大程度上依赖于高质量的地面实况片段标签。不幸的是，在许多现实世界的问题中，地面实况段标签通常具有几何注释错误，这是由于手动注释错误、GPS错误或以粗略分辨率视觉解释背景图像。这种定位误差将显著影响现有深度学习算法的训练性能。现有的标签错误的研究模型地面真值错误的标签语义（假设标签位置是正确的）或模型标签位置错误与简单的方形补丁移位。这些方法不能完全结合标签定位误差的几何特性。为了填补这一空白，本文提出了一种基于EM算法的通用学习框架，以更新深度学习模型参数并同时推断隐藏的真实标签位置。在流线细化应用程序中对真实世界水文数据集的评估表明，所提出的框架在分类准确性方面优于基线方法（将误报数量减少67%，将误报数量减少55%）。
2020-10-02 cs.CV cs.LG eess.IV
Approaching Peak Ground Truth
Helmholtz AI（亥姆霍兹人工智能）；Helmholtz Zentrum München（亥姆霍兹慕尼黑中心）；Technical University Munich（慕尼黑工业大学）；TranslaTUM - Central Institute for Translational Cancer Research, Technical University of Munich（慕尼黑工业大学TranslaTUM——转化癌症研究中央研究所）；Klinikum rechts der Isar, Technical University of Munich（慕尼黑工业大学伊萨尔河右岸医院）；German Center for Neurodegenerative Diseases (DZNE)（德国神经退行性疾病中心（DZNE））；Helmholtz Institute Munich (iTERM)（亥姆霍兹慕尼黑研究所（iTERM））；University of Gothenburg（哥德堡大学）；Sahlgrenska Academy（萨尔格伦斯卡学院）
机器学习模型通常通过计算与参考注释的相似性来评估，并通过最大化与参考注释的相似性来训练。特别是在生物医学领域，注释是主观的，并且具有低的评分者间和评分者内可靠性。由于注释只反映了对现实世界的一种解释，因此即使模型达到了很高的相似性分数，这也可能导致次优预测。在这里，PGT的理论概念进行了介绍。PGT标记了一个点，超过该点，与\emph{reference annotation}的相似性的增加停止转化为更好的RWMP。此外，提出了一种定量的技术来近似PGT通过计算间和内评级的可靠性。最后，四个类别的PGT感知策略，以评估和提高模型的性能进行审查。
2023-03-18 cs.AI cs.CV cs.LG
The XPRESS Challenge: Xray Projectomic Reconstruction -- Extracting Segmentation with Skeletons
Harvard Medical School（哈佛医学院）；Northeastern University（东北大学）；Harvard University（哈佛大学）；Boston College（波士顿学院）；MIT（麻省理工学院）；ESRF, The European Synchrotron（欧洲同步辐射装置）；Boston Children’s Hospital（波士顿儿童医院）
神经元的布线和连接形成神经系统功能的结构基础。在体积电子显微镜（EM）和图像分割的进步，使电路图（连接组学）在小鼠大脑的局部区域内的映射。然而，由于技术挑战，目前在整个大脑上应用体积EM还不可行。因此，缺乏大脑区域之间远程连接的全面地图。最近，我们证明了X射线全息纳米断层扫描（XNH）可以提供比EM更大规模的脑组织高分辨率图像。特别是，XNH非常适合解析大型有髓鞘轴突束（白质），这些轴突束构成了大部分长距离连接（投射），并且对于区域间通信至关重要。因此，XNH为全脑投影提供了成像解决方案。然而，由于XNH数据通常是以比EM更低的分辨率和更大的视场收集的，因此XNH图像的准确分割仍然是我们在这里提出的一个重要挑战。在这项任务中，我们提供了体积XNH图像的皮质白质轴突从小鼠大脑与地面实况注释轴突轨迹。地面实况的手动体素注释是训练分割网络的耗时瓶颈。另一方面，基于XML的地面实况注释要快得多，并且足以确定连接性。因此，我们鼓励参与者制定方法来利用基于网络的培训。为此，我们提供了两种类型的地面实况注释：一个小体积的体素明智的注释和一个更大的体积与基于体素的注释。将根据提交的分割与地面实况骨架注释的一致程度来评估数据集。
2023-02-24 cs.CV cs.LG q-bio.NC
DocOCR-Eval: A Correction-Based Framework for OCR Tool Selection Without Ground Truth
针对文档解析中OCR工具选择难题，尤其是标签稀缺情况，提出无标注评估框架DocOCR-Eval。它采用三阶段校正和排序策略，通过跨多个MLLM聚合改善与基于标注排名的对齐，能在现实有限标签设置中实现可靠OCR工具选择并提供实用指导。
2026-07-21 cs.AI cs.CL cs.LG
Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；ETH Zürich（苏黎世联邦理工学院）
在实践中，决策算法通常是在表现出各种偏见的数据上训练的。决策者通常旨在根据一些假设或预期是无偏见的地面实况目标做出决策，即，平均分布在社会显著群体中。在许多实际环境中，地面实况不能直接观察到，相反，我们必须依赖地面实况的有偏见的代理测量，即，有偏见的标签。此外，数据通常被选择性地标记，即，甚至仅对于接收到肯定判决的数据的一小部分观察到有偏标签。为了克服标签和选择偏差，最近的工作提出了学习随机，通过i）在每个时间步在线训练新策略和ii）强制公平性作为对性能的约束来探索决策策略。然而，现有的方法只使用标记的数据，忽略了大量的未标记的数据，从而遭受高不稳定性和变化的学习决策政策在不同的时间。在本文中，我们提出了一种新的方法的基础上变分自动编码器的实际公平决策。我们的方法学习一个无偏的数据表示，利用标记和未标记的数据，并使用表示学习在线过程中的策略。使用合成数据，我们实证验证，我们的方法收敛到最佳（公平）的政策，根据地面真理与低方差。在现实世界的实验中，我们进一步表明，我们的训练方法不仅提供了一个更稳定的学习过程，而且产生的政策比以前的方法具有更高的公平性和实用性。
2022-07-04 cs.AI cs.HC cs.LG
Skeleton Ground Truth Extraction: Methodology, Annotation Tool and Benchmarks
Soochow University（苏州大学）；Jagiellonian University（雅盖隆大学）；Heriot-Watt University (Malaysia)（赫瑞-瓦特大学（马来西亚））；Clobotics（扩博智能）；Fraunhofer FIT（弗劳恩霍夫信息技术研究所）；University of Hospital of Cologne（科隆大学医院）；Southeast University（东南大学）；University of Lübeck（吕贝克大学）
针对现有数据集缺乏骨架真值且标准不一致的问题，提出一种基于诊断性假设扩展理论的启发式提取策略，并开发工具SkeView为17个数据集生成真值，实验验证了其质量与一致性。
2023-10-10 cs.CV cs.LG
Targeted Activation Penalties Help CNNs Ignore Spurious Signals
Imperial College London（帝国理工学院）；Charing Cross Hospital（查林十字医院）
针对深度CNN依赖训练数据虚假信号致泛化差且现有方法易让虚假信号重现的问题，提出TAP方法，通过惩罚激活控制虚假信号重现、降低训练成本，且可用预训练标注替代真实标注，在多数据集和架构上优于现有基线。
2023-12-17 cs.CV cs.LG
A Guide for Manual Annotation of Scientific Imagery: How to Prepare for Large Projects
University of Missouri - St. Louis（密苏里大学-圣路易斯分校）；Georgia State University（佐治亚州立大学）；Bay Area Environmental Research Institute（湾区环境研究 institute）
针对手动标注图像数据需求高但复杂标注项目管理缺乏讨论的问题，本文结合大型项目经验提供科学图像标注项目准备指南，涵盖核心概念、偏差缓解及工具推荐，旨在降低各领域标注项目成本。
2025-08-20 cs.LG
Self-paced learning to improve text row detection in historical documents with missing labels
University of Bucharest（布加勒斯特大学）
光学字符识别系统的一个重要的初始步骤是检测文本行。为了解决这一任务的背景下，历史数据与丢失的标签，我们提出了一个自定步调的学习算法能够提高行检测性能。我们推测，具有更多真实边界框的页面不太可能有缺失的注释。基于这一假设，我们将训练样本按照地面实况边界框的数量降序排序，并将它们组织成k个批次。使用我们的自定进度的学习方法，我们训练一个行检测器超过k次迭代，逐步添加具有更少地面实况注释的批次。在每次迭代中，我们使用非最大值抑制将地面实况边界框与伪边界框（由模型本身预测的边界框）组合在一起，并在下一次训练迭代中包含结果注释。我们证明了我们的自定进度学习策略在两个历史文档数据集上带来了显着的性能提升，提高了YOLOv4的平均精度，其中一个数据集超过12%，另一个数据集超过39%。
2022-08-15 cs.CV cs.LG
A Note on Data Biases in Generative Models
Heidelberg University（海德堡大学）
人们很容易认为机器不太容易出现不公平和偏见。然而，机器学习方法基于数据计算其输出。虽然偏差可以在开发流程的任何阶段进入，但模型特别容易接受它们所训练的数据集的镜像偏差，因此不一定反映世界的真相，但主要是关于数据的真相。为了提高人们对现代算法和塑造它们的数据之间关系的认识，我们使用了一个条件可逆神经网络来从不同数据集共享的信息中分离出特定于网络的信息。通过这种方式，我们可以将相同的图像投影到不同的数据集上，从而揭示其固有的偏见。我们使用这种方法来（i）调查数据集质量对生成模型性能的影响，（ii）展示数据集的社会偏见如何被生成模型复制，以及（iii）通过不同数据集（如照片，油画肖像和动画）之间的不成对传输来呈现创造性应用。我们的代码和交互式演示可在https://github.com/CompVis/net2net上获得。
2020-12-04 cs.CV cs.LG
Confidence Calibration under Ambiguous Ground Truth
School of Computer Science, University of Sydney（悉尼大学计算机科学学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
研究提出了一种考虑模糊性的后处理校准方法，以提高在真实标注分布下的置信度校准质量，通过不同方法在多个基准上验证了其有效性。
2026-03-24 cs.AI cs.LG
CrowdTeacher: Robust Co-teaching with Noisy Answers & Sample-specific Perturbations for Tabular Data
Emory University（埃默里大学）
具有地面实况标签的样本在许多领域中可能并不总是可用的。虽然已经探索了从众包标签中学习，但现有模型仍然可能在稀疏，不可靠或发散的注释中失败。协同教学方法已经显示出有希望的改进计算机视觉问题的噪声标签，采用两个分类器训练彼此的置信样本在每一批。受在训练过程中分离自信和不确定样本的想法的启发，我们将其扩展到众包问题。我们的模型CrowdTeacher使用的思想是，输入空间模型中的扰动可以提高分类器对噪声标签的鲁棒性。将众包注释视为噪声标记的来源，我们基于来自聚合注释的确定性来扰动样本。受干扰的样本被输入到协同教学算法中，该算法经过调整以适应较小的表格数据。我们展示了使用CrowdTeacher在各种标签密度设置下对合成和真实数据集的预测能力的提升。我们的实验表明，我们提出的方法击败基线建模个别注释，然后将它们结合起来，方法同时学习分类器和推断真理标签，并通过共同的真理推理方法与聚合标签的协同教学算法。
2021-03-31 cs.AI cs.LG
Learning from Imperfect Annotations
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
今天的许多机器学习系统都是在大量人类注释的数据上训练的。需要高水平能力的数据注释任务使得数据采集昂贵，而产生的标签通常是主观的、不一致的，并且可能包含各种人为偏见。为了提高数据质量，从业者通常需要为每个示例收集多个注释，并在训练模型之前对其进行聚合。这种多阶段方法导致冗余注释，并且可能经常产生不完美的"地面实况"，这可能限制训练准确的机器学习模型的潜力。我们提出了一个新的端到端框架，使我们能够：（i）将聚合步骤与模型训练合并，从而允许深度学习系统学习直接从可用数据预测地面实况估计，以及（ii）对示例的困难进行建模，并学习注释器的表示，使我们能够估计并考虑他们的能力。我们的方法是通用的，有很多应用，包括在众包数据上训练更准确的模型，集成学习，以及从未标记数据中估计分类器精度。我们在5个不同难度的众包数据集上对我们的方法进行了广泛的实验评估，结果显示，与当前最先进的聚合注释方法相比，准确率提高了25%，并且显著减少了所需的注释冗余。
2020-04-07 cs.LG stat.ML
Modeling Human Annotation Errors to Design Bias-Aware Systems for Social Stream Processing
George Mason University（乔治梅森大学）；Universitat Pompeu Fabra（庞培法布拉大学）
高质量的人工注释是为社交媒体创建有效的机器学习系统所必需的。低质量的人工注释间接导致了不准确或有偏见的学习系统的创建。我们表明，人类注释质量取决于向注释者显示的实例的排序（称为"注释时间表"），并且可以通过向注释者提供的实例排序中的本地更改来改进，从而为高效的实时社交媒体分析提供更准确的数据流注释。我们提出了一个错误缓解主动学习算法，是强大的，在某些情况下，人为错误时，决定一个注释时间表。我们验证了人为错误模型，并通过对危机期间相关社交媒体帖子的分类任务进行实验，对所提出的算法进行了强基线评估。根据这些实验，考虑将数据实例呈现给人类注释者的顺序导致机器学习的准确性的增加以及对人类学习中可能影响自动分类器的一些潜在偏见的认识。
2019-07-16 cs.LG cs.SI
Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation
针对遥感语义分割的标注缺陷问题，提出无参考指标 CMF，通过反事实视图与视觉-语言判断器审计真实掩码，在多数据集上验证其性能优于基线，可作为标注审计工具。
2026-08-11 cs.CV cs.LG
Inferring object rankings based on noisy pairwise comparisons from multiple annotators
对一组对象进行排序涉及建立允许在该组中的任何一对对象之间进行比较的顺序。通常情况下，由于排名顺序的基础事实不可用，研究人员求助于从多个注释者获得判断，然后基于人群的集体知识推断基础事实。然而，聚合通常是特设的，并且涉及在推断基本事实（例如，多数票）时强加严格的假设。在这项工作中，我们提出了基于期望最大化（EM）的算法，该算法依赖于多个注释者和对象属性的判断来推断潜在的地面真相。该算法学习潜在的地面实况和对象属性之间的关系，以及注释器特定的翻转概率，这是评估注释器质量的一个指标。我们进一步扩展了期望最大化算法，以允许基于手头的对象对的可变翻转概率。我们测试我们的算法在两个数据集与合成注释和研究的影响，注释质量和数量的推断地面真相。我们还获得了其他两个数据集上的结果，并根据数据特征解释了输出趋势。
2016-12-13 cs.LG stat.ML
Learning to Contextually Aggregate Multi-Source Supervision for Sequence Labeling
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
序列标记是解决各种自然语言处理问题的基本框架。它的性能在很大程度上受到监督学习场景中标注质量和数量的影响，并且获得地面真值标签通常是昂贵的。在许多情况下，地面真值标签并不存在，但是可以访问噪声注释或来自不同域的注释。在本文中，我们提出了一个新的框架共识网络（ConNet），可以在来自多个来源的注释上进行训练（例如，群组注释、跨域数据.）。它学习每个源的个体表示，并通过上下文感知注意模块动态地聚合特定于源的知识。最后，它导致一个模型，反映了多个来源之间的协议（共识）。我们在两个实际的多源学习环境中评估了所提出的框架：人群注释学习和无监督跨领域模型自适应。大量的实验结果表明，我们的模型在这两种设置中实现了显着的改进，比现有的方法。我们还表明，该方法可以适用于各种任务，并应付不同的编码器。
2020-04-16 cs.CL cs.LG
Automated Ground Truth Estimation of Vulnerable Road Users in Automotive Radar Data Using GNSS
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
注释汽车雷达数据是一项艰巨的任务。本文介绍了一种自动获取数据标签的方法，它使用一个高精度和便携式全球导航卫星系统（GNSS）。建议的系统进行了讨论，除了其他标签采集技术和手动数据注释的问题描述的修订。文章最后系统地比较了传统的手工标记和自动数据采集。结果表明，所提出的方法没有相关的标签精度损失的明显优势。在测量的雷达数据中可以观察到微小的变化，但由此引入的GNSS参考偏差显然被无可争议的时间节省所抵消。除了数据注释之外，所提出的系统还可以提供用于验证对象跟踪或其他自动驾驶系统应用的真值。
2019-05-27 cs.LG eess.SP stat.ML
Disentangling Human Error from the Ground Truth in Segmentation of Medical Images
University College London（伦敦大学学院）；Microsoft Research（微软研究院）
近年来，越来越多地使用监督学习方法进行分割任务。然而，这些算法的预测性能取决于标签的质量。这个问题在医学图像领域中特别相关，其中注释成本和观察者间的可变性都很高。在典型的标签获取过程中，不同的人类专家在他们自己的偏见和能力水平的影响下提供他们对“真实”分割标签的估计。将这些噪声标签盲目地视为真值限制了自动分割算法可以实现的性能。在这项工作中，我们提出了一种使用两个耦合的CNN从纯粹的噪声观测中联合学习单个注释器的可靠性和真实的分割标签分布的方法。两者的分离是通过鼓励所估计的注释器最大程度地不可靠，同时用有噪声的训练数据实现高保真度来实现的。我们首先定义了一个玩具分割数据集的基础上MNIST和研究所提出的算法的属性。然后，我们证明了该方法在三个公共医学成像分割数据集上的实用性，这些数据集具有模拟（必要时）和真实的不同注释：1）MSLSC（多发性硬化病变）; 2）BraTS（脑肿瘤）; 3）LIDC-IDRI（肺部异常）。在所有情况下，我们的方法都优于竞争方法和相关基线，特别是在注释数量较少且分歧量较大的情况下。实验还显示了较强的捕捉标注者错误的复杂空间特征的能力。
2020-10-23 cs.CV cs.LG
CytoCrowd: A Multi-Annotator Benchmark Dataset for Cytology Image Analysis
Sun Yat-sen University（中山大学）；Hong Kong University of Science and Technology（香港科技大学）
CytoCrowd是一个包含446张高分辨率细胞学图像的数据集，提供四个病理学家的冲突注释和一个资深专家的金牌标准，用于评估注释聚合算法和计算机视觉任务的基准测试。
2026-09-22 cs.CV cs.HC cs.LG
Structurally Human, Semantically Biased: Detecting LLM-Generated References with Embeddings and GNNs
Vrije Universiteit Brussel（布鲁塞尔自由大学）；SEAS, Harvard University（哈佛大学工程学院）
本文通过嵌入和图神经网络检测LLM生成的参考文献，发现其拓扑结构接近人类，但语义特征可被识别。
2026-01-28 cs.LG
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne（墨尔本大学）；Xi'an Jiaotong University（西安交通大学）
本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
Inferring ground truth from multi-annotator ordinal data: a probabilistic approach
Yandex Labs（Yandex实验室）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
用于大规模数据注释任务的流行方法是众包，其中每个数据点由多个噪声注释器标记。我们考虑的问题，推断真值从嘈杂的序数标签从不同的和未知的专业知识水平的多个注释。有序数据的注释模型主要是作为其二元/分类对应物的扩展而提出的，并且在众包文献中很少受到关注。我们提出了一个新的模型，众包有序的数据，占例如困难，以及注释专家，并推导出变分贝叶斯推断算法的参数估计。我们分析了二进制/分类标签的几种最先进的注释器模型的序数扩展，并评估了所有模型在两个真实世界数据集上的性能，这些数据集包含通过Amazon的Mechanical Turk收集的序数查询-URL相关性得分。我们的结果表明，所提出的模型表现得更好或与现有的最先进的方法一样好，并且更能抵抗“垃圾”注释器（即，注释者随机分配标签而不实际查看实例）比流行的基线（如平均值、中位数和多数投票）更有效，这些基线不考虑注释者的专业知识。
2013-04-30 cs.LG stat.ML
The 'Problem' of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
标签中的人为变化通常被认为是噪音。机器学习（ML）的注释项目旨在最大限度地减少人类标签的变化，并假设最大限度地提高数据质量，进而优化和最大限度地提高机器学习指标。然而，这种常规实践假设存在真值，并且忽略了由于不一致、注释中的主观性或多个合理答案而在标记中存在真正的人类变化。在这份立场文件中，我们认为，人类标签变异的这个大问题仍然存在，迫切需要更多的关注，以推动我们的领域向前发展。这是因为人类标签的变化会影响ML管道的所有阶段：数据，建模和评估。然而，很少有作品认为所有这些方面联合，现有的研究是支离破碎的。我们调和了以前提出的不同的人类标签变异概念，提供了一个公开可用的数据集与未聚合的标签，描述了迄今为止提出的方法，确定差距，并提出了前进的道路。随着数据集变得越来越可用，我们希望这种对“问题”的综合看法将导致对可能的战略进行公开讨论，以制定根本性的新方向。
2022-11-04 cs.CL cs.LG
An Empirical Study into Annotator Agreement, Ground Truth Estimation, and Algorithm Evaluation
University of Strasbourg（斯特拉斯堡大学）
虽然注释者之间的协议已在过去从统计的角度进行了研究，很少有工作试图量化的程度，这种现象影响计算机视觉（CV）目标检测算法的评价。许多研究人员在实验中使用真值（GT），而GT通常来自于一个注释者的观点。意见的不同如何影响算法的评估？四个典型的CV问题的例子被选择，和一种方法被应用到每个量化的注释者之间的差异，并提供深入了解背后的协议和使用GT的机制。它被发现，当检测线性对象注释协议是非常低的。物体位置的一致性，线性的或其他的，可以部分地通过基本的图像属性来解释。自动对象检测器进行了比较，注释协议，发现存在一个明确的关系。几种方法用于计算GT从一些注释被应用，并在对象检测器的性能所产生的差异进行量化。据发现，检测器的排名是高度依赖于用于形成GT的方法。它还发现，虽然STAPLE和LSML GT估计方法似乎代表使用个别注释测量的性能的平均值，当有几个注释，或有一个大的方差在他们，这些估计往往会降低。此外，最常用的注释组合方法之一-一致性投票-强调更明显的特征，这导致高估了算法的性能。最后，它的结论是，在某些数据集，它可能不可能与任何信心，一个算法优于另一个评估时，一个GT和计算置信界限的方法进行了讨论。
2016-04-26 cs.AI cs.CV cs.LG
AI Assisted Annotator using Reinforcement Learning
GE Healthcare（通用电气医疗）；Colorado State University（科罗拉多州立大学）
医疗保健数据受到噪音和缺乏地面真相的影响。随着数据在医疗保健中被清理和注释，数据的成本会增加。与其他数据集不同，医疗数据注释对于准确的地面实况至关重要，需要医疗领域的专业知识才能获得更好的患者结果。在这项工作中，我们报告了使用强化学习来模拟医疗事件注释器的决策过程，以自动化注释和标记。增强代理学习基于专家所做的注释来注释警报数据。我们的方法在医疗报警数据集上显示出很好的结果。我们使用由专家注释的监测设备的数据训练DQN和A2C代理。这些RL代理学习专家注释行为的初步结果是有希望的。A2C代理在学习给定状态下的稀疏事件方面表现更好，从而与DQN代理相比选择更多正确的动作。据我们所知，这是第一个用于医疗事件注释自动化的强化学习应用，具有深远的实际用途。
2020-06-11 cs.AI cs.LG eess.SP
Assessing Data Quality of Annotations with Krippendorff Alpha For Applications in Computer Vision
Accenture Federal Services（埃森哲联邦服务公司）
当前的监督式深度学习框架依赖于带注释的数据来对给定任务的底层数据分布进行建模。特别是对于由深度学习驱动的计算机视觉算法，注释数据的质量是实现所需算法性能的最关键因素。数据注释通常是一个手动过程，注释者遵循指南并以最佳猜测方式操作。注释者之间的标注标准可能会显示标注结果的差异。这可能会影响算法推理性能。鉴于深度学习在计算机视觉中的普及和广泛使用，需要越来越多的自定义数据集来训练神经网络以处理不同类型的任务。不幸的是，没有充分理解影响注释数据质量的因素，以及它如何转化为算法性能。在本文中，我们研究了这个问题的目标检测和识别。我们进行了几个数据注释实验，以衡量注释者之间的一致性和一致性，以及地面真理的选择如何影响感知算法的性能。我们提出了一种方法来监控图像标记过程中的注释质量，以及如何使用它来衡量性能。我们还表明，忽略监视注释过程可能会导致算法精度的显着损失。通过这些实验，我们观察到标记过程的知识，训练数据，以及用于算法评估的地面实况数据是准确评估AI系统可信度的基本组成部分。
2019-12-20 cs.CV cs.LG
Whose Ground Truth? Embracing Ambiguity in Human-Centered AI
Massachusetts Institute of Technology（麻省理工学院）；Novo Nordisk A/S（诺和诺德公司）；Copenhagen Business School（哥本哈根商学院）；Aalborg University（奥尔堡大学）
该论文针对以人为中心AI中传统真实值假设忽略人类解释多样性的问题，提出应建模合理人类判断的解释空间，区分有意义歧义与标注噪声，以开发更贴合人类多样性的AI。
2026-10-09 cs.AI cs.LG
Evaluating Uplift Modeling under Structural Biases: Insights into Metric Stability and Model Robustness
College of Computer Science and Software Engineering（计算机科学与软件工程学院）；Shenzhen University（深圳大学）；School of Computing and Information Technology（计算与信息科技学院）；Great Bay University（大湾大学）
针对现实营销数据中的多种偏差，设计半合成基准框架，发现TARNet具有鲁棒性，且与ATE对齐的指标更稳定。
2026-06-17 cs.LG
Local Label-Informed Feature Transfer for Generating Ground-Truth Medical Images: A Comparison of GAN- and Diffusion-Based Approaches
研究针对医学成像中验证XAI方法缺少真实数据的问题，提出LLIFT框架，用GAN和扩散两种范式实现，能生成含真实病变的半合成脑磁共振图像，为评估XAI方法提供了可控真实数据，且评估效果良好。
2026-07-22 cs.CV cs.LG
Align Before You Combine: Reference Space Calibration for Supervision Without Ground Truth
Lafayette College（拉斐特学院）
提出先校准后融合的框架，利用合成序数参考空间对齐子集评分器，无需真值标签或共享标注空间，在三个基准上优于未校准平均，且降低计算成本。
2026-10-08 cs.AI cs.LG
OpinionRank: Extracting Ground Truth Labels from Unreliable Expert Opinions with Graph-Based Spectral Ranking
Rowan University（罗文大学）
随着更大、更全面的数据集成为当代机器学习的标准，获得可靠、可信的标签信息来训练复杂模型变得越来越困难。为了解决这个问题，众包已经成为一种流行的，廉价的，高效的数据采掘解决方案，用于执行分布式标签收集。然而，众包注释本质上是不可信的，因为标签是由匿名志愿者提供的，他们可能具有不同的、不可靠的专业知识。更糟糕的是，亚马逊Mechanical Turk等常用平台上的一些参与者可能是敌对的，并在最终用户不知情的情况下故意提供不正确的标签信息。我们讨论了三个传统的模型的标签生成过程中，描述其参数化和基于模型的方法来解决它们。然后，我们提出了OpinionRank，一个无模型的，可解释的，基于图形的光谱算法，用于将众包注释集成到可靠的标签中，以执行监督或半监督学习。我们的实验表明，OpinionRank表现良好，与更高度参数化的算法相比。我们还表明，OpinionRank可扩展到非常大的数据集和标签源的数量，并且需要比以前的方法少得多的计算资源。
2021-05-15 cs.AI cs.LG stat.ML
MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices
University of Oxford（牛津大学）；Apple（苹果公司）
高质量的3D地面实况形状对于3D对象重建评估至关重要。然而，在现实中很难创建物体的复制品，即使是3D扫描仪生成的3D重建也会产生导致评估偏差的伪影。为了解决这个问题，我们介绍了一种新的多视图RGBD数据集捕获使用移动终端，其中包括高度精确的3D地面实况注释为153个对象模型具有不同的3D结构集。我们通过利用具有已知几何形状的乐高模型作为图像捕获的3D结构，在不依赖高端3D扫描仪的情况下获得精确的3D地面真实形状。由在移动终端上捕获的高分辨率RGB图像和低分辨率深度图提供的独特数据模式，当与精确的3D几何注释相结合时，为高保真3D重建的未来研究提供了独特的机会。此外，我们评估了一系列的三维重建算法的建议数据集。项目页面：www.example.com
2023-03-09 cs.CV cs.LG
Coarse-to-Fine Annotation Enrichment for Semantic Segmentation Learning
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）
丰富的高质量注释数据对于语义分割学习至关重要，但获取密集的像素级地面实况既耗时又费力。粗略的注释（例如，粗糙多边形）提供了一种经济的替代方案，遗憾的是，使用该替代方案，训练阶段几乎不能产生令人满意的性能。为了以较低的时间成本生成高质量的注释数据进行准确分割，本文提出了一种新的注释丰富策略，该策略将现有的训练数据的粗注释扩展到更细的尺度。在Cityscapes和PASCAL VOC 2012基准测试上进行的大量实验表明，使用我们框架中丰富的注释训练的神经网络比使用原始粗糙标签训练的神经网络有显著的改进。这是非常有竞争力的性能，通过使用人类注释的密集注释。所提出的方法也优于其他国家的最先进的弱监督分割方法。
2018-08-22 cs.CV cs.LG
Augmenting NLP data to counter Annotation Artifacts for NLI Tasks
在本文中，我们探讨了注释伪影-这种现象，其中大型预训练的NLP模型在基准数据集上实现了高性能，但实际上并没有“解决”底层任务，而是依赖于一些数据集伪影（在训练，验证和测试集上相同）来找出正确的答案。我们在著名的自然语言推理任务中探索了这一现象，首先使用对比和对抗性示例来理解模型性能的局限性，并展示了注释工件（注释器构建训练数据的方式）产生的偏见之一。然后，我们提出了一个数据增强技术来解决这个偏差，并衡量其有效性。
2023-02-09 cs.CL cs.LG
Large Language Models are Geographically Biased
Stanford University（斯坦福大学）
该研究从地理学视角探究大语言模型的地理偏见，发现模型虽能做出高相关性的零样本地理空间预测，但对低社会经济地区存在明显主观偏见，还提出偏见评分量化方法，揭示不同模型偏见程度差异显著。
2024-10-05 cs.AI cs.CL cs.CY
Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models
Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI）；LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；University of California, Berkeley（加州大学伯克利分校）
本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。
2026-03-29 cs.CL cs.CV cs.CY
Systematic biases when using deep neural networks for annotating large catalogs of astronomical images
Kansas State University（堪萨斯州立大学）
深度卷积神经网络（DCNN）由于其非参数性质、良好的性能以及通过TensorFlow等库的可访问性，已成为自动图像注释的最常见解决方案。在其他领域中，DCNN也是一种常见的方法来注释数字巡天获得的大型天文图像数据库。DCNN的主要缺点之一是复杂的非直观规则，使DCNN充当“黑盒子”，以用户不清楚的方式提供注释。因此，用户通常无法知道DCNN使用什么信息进行分类。在这里，我们证明了DCNN的训练对训练数据的上下文敏感，例如天空中物体的位置。我们发现，对于椭圆星系和螺旋星系的基本分类，用于训练的星系的天空位置影响算法的行为，并导致一个小的，但一致的和统计上显着的偏差。这种偏差以基本星系形态分布的宇宙尺度各向异性的形式表现出来。因此，虽然DCNN是注释扩展源图像的强大工具，但星系形态学训练集的构建应该考虑对象视觉外观以外的更多方面。在任何情况下，用深度神经网络创建的表现出宇宙学各向异性迹象的目录都应该被解释为具有一致性偏差的可能性。
2022-01-10 astro-ph.CO astro-ph.GA cs.CV
Deep learning for Aerosol Forecasting
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所Mila）
再分析数据集结合数值物理模型和有限的观测，以生成地球系统中变量的综合估计，容易对地面实况产生偏差。NASA Modern-Era Retrospective Analysis for Research and Applications，Version 2（MERRA-2）气溶胶光学厚度（AOD）数据集与先前研究中的气溶胶机器人网络（AERONET）地面测量结果相比存在偏差，这促使全球开发了基于深度学习的AOD预测模型。这项研究结合了卷积神经网络（CNN）与MERRA-2，对所有AERONET网站进行了测试。新的基于CNN的混合模型提供了比仅使用MERRA-2再分析更好的估计值，该估计值与AERONET地面实况进行了验证。
2019-10-14 cs.CV cs.LG physics.ao-ph
