FECT: Factuality Evaluation of Interpretive AI-Generated Claims in Contact Center Conversation Transcripts
Cresta, University of Waterloo(Cresta,滑铁卢大学)
针对联络中心对话分析中LLM幻觉问题,提出3D标注范式与FECT基准数据集,用于自动评估解释性AI生成主张的事实性。
2025-07-26 cs.AI cs.CL cs.LG
crowd-hpo: Realistic Hyperparameter Optimization and Benchmarking for Learning from Crowds with Noisy Labels
University of Kassel(卡塞尔大学)
本文提出 crowd-hpo 框架,在仅使用带噪声众包验证数据的情况下选择超参数配置,以改善从众包中学习方法的泛化性能,从而实现更公平、更现实的基准测试。
2025-07-17 cs.LG
Label-Removed Generative Adversarial Networks Incorporating with K-Means
Nankai University(南开大学);Tianjin University(天津大学);Hunan University(湖南大学)
生成对抗网络(GANs)在生成逼真图像方面取得了巨大成功。其中大多数是条件模型,尽管在实践中获取类标签是昂贵和耗时的。为了减少对标记数据的依赖,我们提出了一种无条件生成对抗模型,称为K-Means-GAN(KM-GAN),它将K-Means中更新中心的思想融入到GANs中。具体来说,我们通过对从网络中提取的特征应用K-Means来重新设计GANs的框架。利用从K-Means获得的标签,我们从深度度量学习(DML)的角度提出了新的目标函数。与以往的工作不同,在KM-GAN中,将样本作为特征提取器而不是分类器,同时利用K-Means使样本的特征更具代表性。在MNIST,Fashion-10,CIFAR-10和CelebA等数据集上进行了实验,结果表明KM-GAN生成的样本质量与一些条件生成对抗模型相当。
2019-02-19 cs.LG stat.ML
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University(阿马西亚大学);Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心);Sabuncu Brain Research Center, Bilkent University(比尔肯特大学萨本朱脑研究中心)
黑色素瘤是一种致命的皮肤癌,是可以治愈的,并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而,由于黑色素瘤是一种罕见的疾病,现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来,由于大多数类别的统计优势,这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题,我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失(COM-三重)来实现的,该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心,而不是最小化分类错误,因此它对类不平衡不太敏感。为了避免对标记数据的需要,我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明,COM-三重损失的深度聚类优于三重损失的聚类,以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
Learning from Multiple Annotators by Incorporating Instance Features
Nanjing University(南京大学)
从多个注释器中学习的目的是从训练实例中诱导出高质量的分类器,其中每个实例都与多个注释器在其不同能力和自身偏见的影响下提供的一组可能有噪声的标签相关联。在对从潜在真标签到观测标签的概率转移过程建模时,大多数现有方法采用注释者的类级混淆矩阵,观测标签不依赖于实例特征,而由真标签决定。它可能会限制分类器可以实现的性能。在这项工作中,我们提出了噪声转移矩阵,它结合了实例特征对注释器的性能的影响,基于混淆矩阵。此外,我们提出了一个简单而有效的学习框架,它包括一个分类器模块和噪声转移矩阵模块在一个统一的神经网络架构。实验结果表明,我们的方法相比,国家的最先进的方法的优越性。
2021-06-29 cs.LG
Dirichlet Process with Mixed Random Measures: A Nonparametric Topic Model for Labeled Data
KAIST(韩国科学技术院)
我们描述了一个非参数的主题模型标记的数据。该模型使用混合随机测度(MRM)作为HDP框架的狄利克雷过程(DP)的基本分布,因此我们称之为DP-MRM。为了对标记数据进行建模,我们为每个标签定义了一个DP分布的随机度量,由此产生的模型为每个标签生成了无限数量的主题。我们将DP-MRM应用于单标记和多标记的文档语料库,并将其与MedLDA,LDA-SVM和Labeled-LDA在标签预测上的性能进行比较。我们进一步增强了模型,结合ddCRP和建模多标记图像的图像分割和对象标记,比较nCuts和rddCRP的性能。
2012-06-18 cs.LG stat.ML
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI;Stanford University(斯坦福大学);Brown University(布朗大学)
我们提出了一种新的策略,当标记的训练数据有限时,将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型,我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器,我们首先提示模型回答关于一个例子的多个不同的查询,并定义如何将可能的响应映射到标签和弃权的投票。然后,我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明,在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中,这种方法可以显著提高超过zero-shot的性能,平均减少19.5%的错误。我们还发现,这种方法产生的分类器具有可比或更高的准确性,从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
FedMT: Federated Learning with Mixed-type Labels
Institute of Statistics and Big Data(统计与大数据研究院);Renmin University of China(中国人民大学);MetaAI(元宇宙人工智能实验室);The University of British Columbia(不列颠哥伦比亚大学);RIKEN(理化学研究所);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出了一种与模型无关的联邦学习方法FedMT,通过估计标签空间对应关系并投影分类分数来构建损失函数,有效解决了不同数据中心标注标准不一致导致的混合类型标签问题,显著提升了分类准确率。
2024-02-15 cs.AI cs.DC cs.LG
Robustness and Reliability When Training With Noisy Labels
Linköping University(林雪平大学)
为监督学习标记数据可能是昂贵和耗时的,并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时,这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此,虽然深度神经网络已被证明能够拟合随机标签,但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而,此类观察结果涉及准确性的鲁棒性,如果可靠的不确定性量化至关重要,则这是不够的。我们证明了这一点,通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外,我们评估了一组鲁棒的损失函数,其特征在于噪声不敏感,渐近风险最小化。我们发现,严格适当的和强大的损失函数都提供渐近鲁棒性的准确性,但都不能保证最终的模型是校准。此外,即使使用鲁棒损失函数,过拟合在实践中也是一个问题。有了这些结果,我们的目标是解释观察到的鲁棒性常见的训练实践,如早期停止,标签噪声。此外,我们的目标是鼓励开发新的噪声鲁棒算法,不仅保持准确性,但也确保可靠性。
2022-05-12 cs.LG stat.ML
FedSLD: Federated Learning with Shared Label Distribution for Medical Image Classification
University of Pittsburgh(匹兹堡大学)
从本质上讲,医学研究中的机器学习需要仔细注意遵守数据隐私的规定,这使得很难在从不同医疗中心收集的数据上训练机器学习模型。未能利用相同类型的数据可能会导致训练模型的泛化能力较差。联邦学习(FL)能够协同训练联合模型,同时保持多个医疗中心的数据分散。然而,联邦优化经常受到跨医疗中心的数据分布的异质性的影响。在这项工作中,我们提出了联邦学习与共享标签分布(FedSLD)的分类任务,一种方法,假设知识的标签分布的所有参与的客户端在联邦。FedSLD在优化过程中根据分布知识调整每个数据样本对本地目标的贡献,减轻所有客户端之间数据异构性带来的不稳定性。我们进行了广泛的实验,四个公开的图像数据集与不同类型的非IID数据分布。我们的研究结果表明,FedSLD实现了更好的收敛性能比比较领先的FL优化算法,提高测试精度高达5.50个百分点。
2021-10-15 cs.LG
Beyond the Selected Completely At Random Assumption for Learning from Positive and Unlabeled Data
KU Leuven(鲁汶大学)
大多数积极的和未标记的数据都会受到选择偏差的影响。例如,标记的示例可以从正集合中选择,因为它们更容易获得或更明显地是正的。本文探讨了如何在这种环境下进行学习。我们提出并从理论上分析了一种基于药物风险的方法,将标签机制。此外,我们研究在哪些假设下,学习是可能的,当标签机制没有完全理解,并提出了一个实用的方法来实现这一点。我们的实证分析支持的理论结果,并表明,考虑到选择偏差的可能性,即使在标签机制是未知的,提高了训练的分类。
2019-06-28 cs.LG stat.ML
GBRIP: Granular Ball Representation for Imbalanced Partial Label Learning
Hong Kong Baptist University(香港浸会大学);University of Macau(澳门大学);Jiangxi Agricultural University(江西农业大学)
针对偏标记学习中类间与类内不平衡特征交织的难题,提出GBRIP框架,利用粗粒度粒球表示与多中心损失构建特征空间并优化标签消歧,在标准基准上优于现有最先进方法。
2024-12-19 cs.CV cs.LG
Adaptive Margin Ordinal Loss: Penalizing Center-Class Hedging in Ordinal Classification
Data Science Institute & Department of Civil, Construction & Environmental Engineering(数据科学研究所与土木、建筑与环境工程系);University of Delaware(特拉华大学)
针对序数分类中神经网络预测向中心类别对冲的问题,提出自适应边际序数损失(AMOL),通过乘性权重惩罚中心类别预测,在四个基准上取得最佳或并列最佳QWK,并引入中心对冲率(CHR)作为诊断指标。
2026-09-11 cs.AI cs.LG
Active Learning++: Incorporating Annotator's Rationale using Local Model Explanation
Stony Brook University(石溪大学);IBM Research AI(IBM研究院人工智能)
我们提出了一个新的主动学习(AL)框架,主动学习++,它可以利用注释者的标签,以及它的理由。注释器可以通过基于输入特征对于给定查询的重要性对输入特征进行排名来提供选择标签的理由。为了纳入这一额外的输入,我们修改了不同意的措施,为装袋为基础的查询委员会(QBC)抽样策略。我们没有对所有委员会模型进行同等的加权来选择下一个实例,而是将更高的权重分配给与注释者的排名更一致的委员会模型。具体来说,我们为每个委员会模型生成了一个基于特征重要性的局部解释。由注释器提供的特征排名与本地模型解释之间的相似性得分用于为每个对应的委员会模型分配权重。这种方法适用于任何类型的ML模型,使用模型不可知技术来生成本地解释,如LIME。通过模拟研究,我们表明,我们的框架显着优于基于QBC的香草AL框架。
2020-09-06 cs.AI cs.HC cs.LG
Data Programming using Continuous and Quality-Guided Labeling Functions
IIT Bombay(印度理工学院孟买分校)
标记数据的稀缺性是监督学习模型的瓶颈。为处理这个问题而发展的一种范例是数据编程。现有的数据编程范式允许人类监督提供一组离散的标签功能(LF),输出可能有噪声的标签输入实例和生成模型巩固弱标签。我们通过支持输出与标签噪声相关的连续分数(而不是硬标签)的函数来增强和推广这种范式。我们在五个应用程序中表明,连续的LF更自然地编程,并导致更好的召回。我们还表明,现有的生成模型的准确性是不稳定的初始化,训练时期,和学习率。我们将控制权交给数据程序员,通过为每个LF提供直观的质量指南来指导培训过程。我们提出了一个优雅的方法,将这些指南的生成模型。我们的整体方法,称为CAGE,使数据编程范式比其他基于初始化,符号惩罚或软精度约束的技巧更可靠。
2019-11-22 cs.CL cs.LG stat.ML
Incorporating Attributes and Multi-Scale Structures for Heterogeneous Graph Contrastive Learning
Department of Computer Science and Technology, Ocean University of China(计算机科学与技术系,中国海洋大学)
本文提出异构图对比学习框架ASHGCL,通过属性、高阶和低阶结构三视图及属性增强正样本选择策略,缓解采样偏差,在多个数据集上超越无监督基线并媲美有监督方法。
2025-08-19 cs.LG cs.SI
Multi-Label Class Balancing Algorithm for Action Unit Detection
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
孤立的面部运动,所谓的动作单位,可以描述组合的情绪或身体状态,如疼痛。由于数据集是有限的,大多数是不平衡的,我们提出了一种方法,将多标签类平衡算法。本次提交将在2020年IEEE面部和手势识别会议上接受野外情感行为分析(ABAW)挑战的动作单元检测任务。
2020-02-08 cs.CV cs.LG eess.IV
Lotus at SemEval-2025 Task 11: RoBERTa with Llama-3 Generated Explanations for Multi-Label Emotion Classification
Persian Gulf University(波斯湾大学)
针对多标签情感分类中情感表达模糊的问题,提出结合Llama-3生成解释性内容与RoBERTa的方法,提升F1分数(尤其恐惧、喜悦、悲伤情感),解决歧义与情感线索重叠挑战,推动情感检测进展。
2025-04-16 cs.AI cs.LG
Label-consistent clustering for evolving data
CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心);KTH Royal Institute of Technology(皇家理工学院);Digital Futures(数字未来)
本文提出了一种标签一致的k中心算法,用于在演化数据中保持解决方案的一致性,通过最小化与先前解决方案的变化来实现渐进式优化。
2025-12-17 cs.DS cs.LG
Cluster-Guided Unsupervised Domain Adaptation for Deep Speaker Embedding
Shanghai Acoustics Laboratory, Chinese Academy of Sciences(中国科学院上海声学实验室);University of Chinese Academy of Sciences(中国科学院大学);The Shenzhen Research Institute, The Hong Kong Polytechnic University(香港理工大学深圳研究院);The Hong Kong Polytechnic University(香港理工大学)
本文提出聚类引导的无监督域适应框架,通过聚类打标签并联合训练说话人嵌入网络,在CN-Celeb1上达到8.10%的EER,优于监督基线39.6%。
2023-03-28 cs.LG cs.SD eess.AS
Kernelized Supervised Dictionary Learning
在本文中,我们提出了监督字典学习(SDL),将信息的类标签到学习的字典。为此,我们建议在信号与其相应标签之间的依赖性最大化的空间中学习字典。为了最大限度地提高这种依赖性,最近推出的希尔伯特施密特独立准则(HSIC)。SDL的这种新方法的主要优点之一是,它可以很容易地通过将一个内核,特别是一个数据派生的内核,如归一化压缩距离,到制定内核化。学习的字典是紧凑的,所提出的方法是快速的。我们使用真实世界的数据表明,它优于文献中的其他无监督和监督字典学习方法。
2013-11-26 cs.CV cs.LG
Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning
RIKEN Center for AIP(理化学研究所人工智能研究中心);University of Tokyo(东京大学)
本文针对半监督多标签学习(SSMLL)中伪标签易出现假阳性或漏标问题,提出类感知伪标签标注方法(CAP),通过引入类感知阈值与类分布感知策略对齐伪标签与真实分布,并在理论上验证了估计分布正确性及泛化误差界,多基准实验证实其有效性。
2023-05-20 cs.LG
Back to Reality: Weakly-supervised 3D Object Detection with Shape-guided Label Enhancement
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心)
在本文中,我们提出了一种弱监督的方法,用于3D目标检测,这使得有可能训练一个强大的3D检测器与位置级注释(即对象中心的注释)。为了弥补从框注释到中心的信息丢失,我们的方法,即回到现实(BR),利用合成的3D形状将弱标签转换为完全注释的虚拟场景作为更强的监督,并反过来利用完美的虚拟标签来补充和细化真实标签。具体来说,我们首先组装成物理上合理的虚拟场景根据粗糙的场景布局从位置级注释提取的三维形状。然后,我们回到现实中,通过应用虚拟到现实的领域自适应方法,细化弱标签,并额外监督与虚拟场景的检测器的训练。此外,我们提出了一个更具挑战性的benckmark室内3D目标检测与更多的多样性,在对象大小,以更好地显示BR的潜力。在不到5%的标记劳动力的情况下,我们在广泛使用的ScanNet数据集上实现了与一些流行的全监督方法相当的检测性能。代码可在:https://github.com/wyf-ACCEPT/BackToReality
2022-03-27 cs.AI cs.CV cs.LG
A Relational-learning Perspective to Multi-label Chest X-ray Classification
NEC Labs(NEC实验室)
胸部X射线图像的多标签分类经常使用判别方法来执行,即学习将图像直接映射到其二进制标签。这样的方法使得合并辅助信息(诸如标注不确定性或标签之间的依赖性)变得具有挑战性。为此,我们提出了一种新的知识图谱重新制定的多标签分类,这不仅很容易增加预测性能的编码器,但也作为一个通用框架,引入新的领域知识。具体来说,我们构建了一个多模态的知识图谱的胸部X射线图像和它的标签和构成多标签分类作为一个链接预测问题。然后,可以通过添加附加节点和它们之间的关系来简单地实现对辅助信息的描述。当在公开可用的射线照片数据集(CheXpert)上进行测试时,我们使用朴素知识图谱的关系重构通过实现83.5%的ROC曲线下的面积而优于最新技术水平,这比纯粹的判别方法提高了“sim 1”。
2021-03-10 cs.AI cs.CV cs.LG
A Deep-Learning Intelligent System Incorporating Data Augmentation for Short-Term Voltage Stability Assessment of Power Systems
Northeast Electric Power University(东北电力大学);National Key Laboratory of Science and Technology on Vessel Integrated Power System, Naval University of Engineering(海军工程大学舰船综合电力系统国家重点实验室)
面对昂贵而繁琐的数据汇集和标注的困难,如何使基于深度学习的短期电压稳定评估(STVSA)模型在较小的训练数据集上良好工作是一个具有挑战性和紧迫性的问题。虽然通过应急模拟可以直接生成足够大的数据集,但这种数据生成过程通常是繁琐和低效的;而数据增强提供了一种低成本和有效的方法,通过标签保持转换来人为地膨胀具有代表性和多样化的训练数据集。在这方面,本文提出了一种新的深度学习智能系统,结合数据增强的STVSA的电力系统。首先,由于缺乏可靠的定量标准来判断特定电力系统的稳定状态,半监督聚类学习被用来获得原始小数据集的标记样本。其次,为了使深度学习适用于小数据集,引入了基于条件最小二乘生成对抗网络(LSGAN)的数据增强,通过人工创建额外的有效样本来扩展原始数据集。第三,为了从系统扰动后的动态轨迹中提取时间依赖关系,建立了一种基于注意力机制的双向门控递归单元评估模型,该模型能够双向学习重要的时间依赖关系并自动分配注意力权重。测试结果表明,该方法能够在原始小数据集上获得更好的精度和更快的响应时间。除了分类准确性,这项工作采用统计措施,全面检查的性能的建议。
2021-12-05 cs.LG cs.SY eess.SP
Re-thinking Human Activity Recognition with Hierarchy-aware Label Relationship Modeling
针对人类活动识别中层级结构研究不足的问题,提出H-HAR方法,通过基于图的层级感知标签关系建模增强扁平模型,在复杂活动数据上验证有效,可集成至先进HAR模型提升性能。
2024-02-11 cs.HC cs.LG eess.SP
Additive Angular Margin for Few Shot Learning to Classify Clinical Endoscopy Images
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
内窥镜检查是一种广泛使用的成像模式,用于诊断和治疗中空器官(例如胃肠道、肾脏和肝脏)中的疾病。然而,由于不同的模态和在不同临床中心使用不同的成像协议,在推广深度学习模型时带来了重大挑战。此外,来自不同临床中心的大型数据集的组装可能会引入巨大的标签偏差,从而使任何学习模型无法使用。此外,当使用新的模态或存在具有罕见模式的图像时,需要大量类似的图像数据及其相应的标签来训练这些模型。在这项工作中,我们建议使用一个少样本学习的方法,需要更少的训练数据,可以用来预测标签类的测试样本从一个看不见的数据集。在少样本学习的原型网络框架下,提出了一种新的加性角间隔度量。我们将我们的方法与几种已建立的方法进行了比较,这些方法采用了一个大型队列的多中心、多器官和多模式内窥镜检查数据。该算法优于现有的最先进的方法。
2020-03-26 cs.CV cs.LG eess.IV
Hierarchical Multi-Agent Framework for Carbon-Efficient Liquid-Cooled Data Center Clusters
Hewlett Packard Enterprise(慧与科技);Amazon(亚马逊)
针对云计算环境影响问题,提出基于强化学习的分层控制器Green-DCC,通过纳入天气等因素动态优化数据中心集群的工作负载与液冷,同步优化多数据中心并提供可持续性机器学习研究的基准仿真。
2025-02-12 cs.AI cs.LG cs.SY
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia(弗吉尼亚大学)
针对医疗多标签分类的长尾标签分布问题,提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法,在少样本类别上优于现有模型,还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG