Interaction Matching for Long-Tail Multi-Label Classification
Georgetown University(乔治城大学);Adobe Inc.(奥多比公司)
我们提出了一个优雅的和有效的方法来解决现有的多标签分类模型的局限性,通过将交互匹配,一个概念是有用的ad-hoc搜索结果排名。通过执行软n-gram交互匹配,我们将标签与自然语言描述(这在大多数多标签任务中很常见)进行匹配。我们的方法可以用来增强现有的多标签分类方法,这是偏向于频繁出现的标签。我们评估我们的方法在两个具有挑战性的任务:自动医疗编码的临床笔记和自动标记的实体,从软件教程文本。我们的结果表明,我们的方法可以在宏观性能上产生高达11%的相对改进,其中大部分增益源于训练集中不经常出现的标签(即,标签的长尾)。
2020-05-18 cs.CL
LiGCN: Label-interpretable Graph Convolutional Networks for Multi-label Text Classification
Yale University(耶鲁大学);Trinity College Dublin(都柏林圣三一学院);Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Tokyo(东京大学);University College Dublin(都柏林大学)
多标签文本分类(MLTC)是自然语言处理(NLP)中一个极具吸引力和挑战性的研究课题。与单标签文本分类相比,MLTC在实际中有着更广泛的应用。在本文中,我们提出了一个标签可解释的图卷积网络模型来解决MLTC问题,通过建模令牌和标签的节点在一个异构的图。通过这种方式,我们能够考虑多种关系,包括令牌级关系。此外,该模型允许更好的可解释性预测的标签作为标记标签的边缘被暴露。我们在四个真实世界的数据集上评估了我们的方法,它与选定的基线方法相比取得了有竞争力的分数。具体而言,该模型在小标签集MLTC中实现了0.14的F1得分增益,在大标签集场景中实现了0.07的F1得分增益。
2022-05-22 cs.CL
Pseudo Labeling and Negative Feedback Learning for Large-scale Multi-label Domain Classification
Amazon Alexa AI(亚马逊Alexa AI)
在大规模领域分类中,一个话语可以由具有重叠能力的多个领域处理。然而,在实践中,仅为每个训练话语提供有限数量的地面实况域,而知道尽可能多的正确目标标签有助于提高模型性能。在本文中,给定每个训练话语的一个地面真域,我们将始终以最高置信度预测的域作为训练的附加伪标签。为了减少由于不正确的伪标签而导致的预测错误,我们利用具有负系统响应的话语来降低错误预测域的置信度。从智能会话系统的用户话语评估,我们表明,所提出的方法显着提高域分类的性能与假设重排序。
2020-03-08 cs.CL
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University(浙江师范大学);Stanford University(斯坦福大学)
在自然语言处理中,极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类(XMTC)的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就,但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义,但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络(GUDN),以帮助微调预训练模型,以指导以后的分类。此外,GUDN使用原始标签语义结合一个有用的标签加固策略,有效地探索文本和标签之间的潜在空间,缩小语义差距,这可以进一步提高预测精度。实验结果表明,GUDN在Eurlex-4k上的性能优于最先进的方法,并且在其他流行的数据集上具有竞争力的结果。在另一个实验中,我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
Retrieval-augmented Multi-label Text Classification
University of Copenhagen(哥本哈根大学)
本文提出一种基于检索增强的多标签文本分类方法,通过交叉注意力机制融合从训练集中检索的相似文档特征,显著提升了模型在不频繁标签长尾及低资源场景下的分类性能。
2023-05-22 cs.CL
Is BERT Robust to Label Noise? A Study on Learning with Noisy Labels in Text Classification
Saarland University(萨尔大学)
当人工注释者出错或数据是通过弱监督或远程监督生成时,训练数据中的不正确标签就会出现。它已被证明,复杂的噪声处理技术-通过建模,清理或过滤的嘈杂的情况下-需要防止模型拟合这个标签噪声。然而,我们在这项工作中表明,对于使用现代NLP模型(如BERT)的文本分类任务,在各种噪声类型下,现有的噪声处理方法并不总是提高其性能,甚至可能使其恶化,这表明需要进一步研究。我们还通过全面的分析来支持我们的观察。
2022-04-20 cs.CL
Unsupervised Label Refinement Improves Dataless Text Classification
The University of Chicago(芝加哥大学);Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
无数据文本分类能够通过为任何与标签描述配对的文档分配分数来将文档分类为以前看不见的标签。虽然很有前途,但它关键依赖于每个下游任务的标签集的准确描述。这种依赖导致无数据分类器对标签描述的选择高度敏感,阻碍了无数据分类在实践中的广泛应用。在本文中,我们提出了以下问题:如何使用下游任务数据集的输入来改进无数据文本分类?我们的主要解决方案是基于聚类的方法。给定一个无数据分类器,我们的方法使用k-means聚类改进其预测集。我们证明了我们的方法的广泛适用性,通过提高性能的两个广泛使用的分类器架构,一个编码文本类别对两个独立的编码器和一个单一的联合编码器。实验表明,我们的方法一致地提高了跨不同数据集的无数据分类,并使分类器对标签描述的选择更具鲁棒性。
2020-12-08 cs.CL
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Cloud Xiaowei(腾讯云小微)
在多标签文本分类(MLTC)中,每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性,以前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而,它们往往遭受标签顺序依赖性,标签组合过拟合和错误传播问题。为了解决这些问题,我们引入了一种新的多任务学习方法来增强标签相关性反馈。我们首先利用联合嵌入(JE)机制,同时获得文本和标签表示。在MLTC任务中,采用文档-标签交叉注意(CA)机制来生成更具区分力的文档表示。此外,我们还提出了两个辅助标签共现预测任务来增强标签相关性学习:1)成对标签共现预测(PLCP)和2)条件标签共现预测(CLCP)。在AAPD和RCV 1-V2数据集上的实验结果表明,该方法的性能大大优于竞争基线。我们分析了低频标签性能,标签依赖性,标签组合多样性和覆盖速度,以显示我们提出的方法对标签相关性学习的有效性。
2021-06-06 cs.CL
Multi-Task Label Embedding for Text Classification
State Key Lab of Advanced Optical Communication System and Network(区域光纤通信网与新型光通信系统国家重点实验室)
文本分类中的多任务学习利用相关任务之间的隐式相关性来提取共同特征并获得性能增益。然而,大多数以前的工作将每个任务的标签视为独立且无意义的独热向量,这导致潜在信息的丢失,并且使得这些模型难以联合学习三个或更多任务。本文提出了多任务标签嵌入技术,将文本分类中的标签转换为语义向量,从而将原始任务转化为向量匹配任务。我们实现了多任务标签嵌入的无监督,监督和半监督模型,所有这些模型都利用了任务之间的语义相关性,并且随着涉及更多任务,扩展和传输变得特别方便。在五个文本分类基准数据集上的大量实验表明,我们的模型可以有效地提高相关任务的性能,标签的语义表示和彼此的附加信息。
2017-10-17 cs.CL
Imbalanced multi-label classification using multi-task learning with extractive summarization
Yale University(耶鲁大学)
摘要提取和不平衡多标签分类通常需要大量的训练数据来避免过拟合。在生成训练数据的成本很高的情况下,利用任务之间的信息是增加可用信息量的一种有吸引力的方法。本文采用提取摘要器和基于RNN的分类器的多任务训练,相对于RNN基线,分别将摘要和分类准确率提高了50%和75%。我们假设,连接句子编码的基础上,文件和类上下文增加了高度可变的语料库的概括性。
2019-03-16 cs.CL
Balancing Methods for Multi-label Text Classification with Long-Tailed Class Distribution
Roche (China) Holding Ltd.(罗氏(中国)控股有限公司);Bogazici University(博加齐奇大学);Roche Müstahzarları San A.Ş.(罗氏制药工业股份公司);F. Hoffmann-La Roche AG(霍夫曼-拉罗氏公司)
多标签文本分类是一项具有挑战性的任务,因为它需要捕获标签依赖性。当类分布是长尾分布时,它变得更具挑战性。恢复和重新加权是用于解决类不平衡问题的常用方法,然而,当除了类不平衡之外还存在标签依赖时,它们是无效的,因为它们导致对公共标签的过采样。本文介绍了平衡损失函数在多标签文本分类中的应用。我们在一个有90个标签的一般域数据集(路透社-21578)和一个有18211个标签的PubMed域特定数据集上进行实验。我们发现,一个分布平衡的损失函数,它本质上解决了类的不平衡和标签链接的问题,优于常用的损失函数。分布均衡方法已成功地应用于图像识别领域。在这里,我们展示了它们在自然语言处理中的有效性。源代码可在https://github.com/Roche/BalancedLossNLP上获得。
2021-10-15 cs.CL
Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models
Department of Computer Science, University of Sheffield, UK(计算机科学系,谢菲尔德大学)
针对零样本分类中标签选项对上下文学习性能影响未充分探索的问题,提出LOADS方法,基于激活分布峰度选择最优标签集,无需标记数据,在多任务多模型上性能提升显著。
2025-08-26 cs.CL
Cluster-Guided Label Generation in Extreme Multi-Label Classification
Amazon Alexa AI(亚马逊Alexa人工智能);University of Minnesota(明尼苏达大学)
对于极端多标签分类(XMC),现有的基于分类的模型对尾部标签的分类效果不佳,并且常常忽略标签之间的语义关系,例如将“Wikipedia”和“Wiki”视为独立的标签。在本文中,我们将XMC转换为生成任务(XLGen),在这里我们受益于预训练的文本到文本模型。然而,在没有任何约束或指导的情况下,从极大的标签空间生成标签是具有挑战性的。因此,我们建议使用标签聚类信息来指导标签生成,以分层方式生成较低级别的标签。我们还发现,基于频率的标签排序和使用解码集成方法是XLGen改进的关键因素。具有集群指导的XLGen在尾部标签上的性能显著优于分类和生成基线,并且在四个流行的XMC基准测试中也普遍提高了整体性能。在人体评价中,我们还发现XLGen生成看不见但似乎合理的标签。我们的代码现在可以在https://github.com/alexa/xlgen-eacl-2023上找到。
2023-02-17 cs.CL cs.LG
Knowledge-Based Construction of Confusion Matrices for Multi-Label Classification Algorithms using Semantic Similarity Measures
University of Sfax(斯法克斯大学)
到目前为止,多标签分类算法已经使用统计方法进行了评估,这些方法不考虑所考虑的类别的语义,并且完全依赖于抽象计算,如贝叶斯推理。目前,有几种尝试开发基于本体的方法,以更好地评估监督分类算法。在这篇研究论文中,我们定义了一种新的方法,使用本体驱动的基于特征的语义相似性度量,在多标签分类中将预期标签与预测标签对齐,并使用它来开发一种方法,用于创建精确的混淆矩阵,以更有效地评估多标签分类算法。
2021-08-16 cs.CL cs.LG
Label prompt for multi-label text classification
Jilin University(吉林大学)
多标签文本分类的关键问题之一是如何利用标签之间的相关性。然而,在复杂和未知的标签空间中直接建模标签之间的相关性是非常具有挑战性的。受语言模型完形填空题思想的启发,本文提出了一种标签掩码多标签文本分类模型(LM-MTC)。LM-MTC能够通过预训练语言模型的强大能力来捕获标签之间的隐式关系。在此基础上,我们为每个潜在的标签分配不同的标记,并以一定的概率随机屏蔽标记,以建立基于标签的屏蔽语言模型(MLM)。我们将MTC和MLM一起进行训练,进一步提高了模型的泛化能力。在多个数据集上的大量实验证明了该方法的有效性。
2023-03-15 cs.AI cs.CL
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Label Confusion Learning to Enhance Text Classification Models
AI Lab, School of Information Management and Engineering, Shanghai University of Finance and Economics(上海财经大学信息管理与工程学院AI实验室)
将真实标签表示为独热向量是训练文本分类模型的常见做法。然而,one-hot表示可能不能充分反映实例和标签之间的关系,因为标签通常不是完全独立的,并且实例在实践中可能涉及多个标签。不充分的one-hot表示往往会使模型训练过度自信,这可能导致任意预测和模型过拟合,特别是对于混乱的数据集(具有非常相似的标签的数据集)或噪声数据集(具有标签错误的数据集)。虽然使用标签平滑(LS)的训练模型可以在一定程度上缓解这个问题,但它仍然无法捕捉标签之间的真实关系。在本文中,我们提出了一种新的标签混淆模型(LCM)作为增强组件,目前流行的文本分类模型。LCM可以通过在训练过程中计算实例和标签之间的相似度来学习标签混淆以捕获标签之间的语义重叠,并生成更好的标签分布来替换原始的one-hot标签向量,从而提高最终的分类性能。在五个文本分类基准数据集上进行的大量实验揭示了LCM对几种广泛使用的深度学习分类模型的有效性。进一步的实验也验证了LCM方法对混乱或噪声数据集的处理特别有效,并且优于标签平滑方法。
2020-12-09 cs.AI cs.CL
Does Head Label Help for Long-Tailed Multi-Label Text Classification
Beijing Jiaotong University(北京交通大学)
多标签文本分类(MLTC)的目标是从多个候选标签中选择最相关的标签来标注文档。在实际应用中,标签频率的分布通常呈现长尾,即,少数标签与大量文档相关联(也称为,头标签),而大部分标签与少量文档(也称为尾部标签)。为了解决尾部标签分类的训练数据不足的挑战,我们提出了一个头到尾网络(HTTN),将元知识从数据丰富的头部标签转移到数据贫乏的尾部标签。元知识是从Few-Shot网络参数到多样本网络参数的映射,旨在提高尾分类器的泛化能力。在三个基准数据集上的大量实验结果表明,HTTN始终优于最先进的方法。代码和超参数设置是为了重现性而发布的
2021-01-24 cs.CL cs.LG
Expert Knowledge-Guided Length-Variant Hierarchical Label Generation for Proposal Classification
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Central Florida(中佛罗里达大学);University of Macau(澳门大学)
为了促进科学和技术的发展,研究提案被提交给政府机构开发的公开竞争项目(例如,NSF)。提案分类是实现有效和公平评审任务的最重要任务之一。建议分类旨在将建议分类为长度可变的标签序列。在本文中,我们制定的建议分类问题成一个层次多标签分类任务。虽然有一些先前的研究,提案分类表现出独特的特点:1)提案的分类结果是在一个层次的学科结构,具有不同的粒度水平; 2)提案包含多种类型的文档; 3)领域专家可以经验性地提供部分标签,可以利用,以提高任务的性能。在本文中,我们专注于开发一个新的深度提案分类框架,以联合建模这三个特征。特别地,为了顺序地生成标签,我们利用先前生成的标签来预测下一级的标签;为了集成来自专家的部分标签,我们使用这些经验部分标签的嵌入来初始化神经网络的状态。我们的模型可以自动识别标签序列的最佳长度,以停止下一个标签预测。最后,我们提出了广泛的结果表明,我们的方法可以联合模型部分标签,文本信息和标签序列中的语义依赖关系,从而实现先进的性能。
2021-09-15 cs.CL cs.LG
One Size Does Not Fit All: Exploring Variable Thresholds for Distance-Based Multi-Label Text Classification
University of Antwerp (CLiPS)(安特卫普大学(CLiPS));Textgain
针对多标签文本分类中单一阈值不适用问题,提出利用验证集优化标签特定阈值的新方法,显著优于固定阈值和统一阈值方法。
2025-10-13 cs.AI cs.CL
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University(莫斯科鲍曼国立技术大学)
本文讨论了度量分类算法的改进问题。特别是,它研究了算法的k-最近的邻居,其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分,已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验,并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
自然语言处理中的许多任务可以看作是多标签分类问题。然而,大多数现有模型都是用标准交叉熵损失函数训练的,并且使用固定的预测策略(例如,阈值为0.5),这完全忽略了不同标签之间的复杂性和依赖性。在本文中,我们提出了一种元学习方法来捕获这些复杂的标签依赖关系。更具体地说,我们的方法利用元学习器来联合学习不同标签的训练策略和预测策略。然后使用训练策略训练具有交叉熵损失函数的分类器,并且进一步实施预测策略以进行预测。在细粒度实体分类和文本分类上的实验结果表明,该方法可以获得更准确的多标签分类结果。
2019-09-09 cs.CL cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前,大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索,如标签信息。在本研究中,我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的,但简单的,我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码,以将通用文本嵌入(由上下文信息学习器编码)映射到不同的标签空间,从而产生标签式嵌入。在我们提出的框架中,标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此,得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验,以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
Text Classification Using Label Names Only: A Language Model Self-Training Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
当前的文本分类方法通常需要大量的人工标记的文档作为训练数据,这在实际应用中可能是昂贵的并且难以获得。人类可以在没有看到任何标记示例的情况下执行分类,而只是基于描述要分类的类别的一小部分单词。在本文中,我们探讨的潜力,只使用标签名称的每个类训练分类模型的未标记的数据,而不使用任何标记的文件。我们使用预训练的神经语言模型作为类别理解的一般语言知识源和文档分类的表示学习模型。我们的方法(1)将语义相关的词与标签名称相关联,(2)找到类别指示词并训练模型来预测其隐含的类别,以及(3)通过自我训练来推广模型。我们表明,我们的模型在四个基准数据集上实现了约90%的准确率,包括主题和情感分类,而不使用任何标记文档,而是从每个类最多3个单词(大多数情况下为1个)作为标签名称监督的未标记数据中学习。
2020-10-14 cs.CL cs.LG
Handling Realistic Label Noise in BERT Text Classification
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究BERT在特征依赖型和标注者分歧合成型等真实标签噪声下的性能下降问题,通过评估集成与噪声清洗方法来提升其分类鲁棒性。
2023-10-20 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Zhejiang University(浙江大学);UCLA(加利福尼亚大学洛杉矶分校)
针对仅部分正类有标注的多标签正样本-未标记学习问题,提出结合强化学习探索能力与监督学习利用能力的MLPAC框架,在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
Recent Advances in Hierarchical Multi-label Text Classification: A Survey
Beijing University Of Posts and Telecommunications(北京邮电大学);Patent Examination Cooperation, CNIPA(国家知识产权局专利审查协作中心);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学)
本文综述了分层多标签文本分类的最新进展,涵盖开源数据集、主要方法、评估指标、学习策略及当前挑战,并提出了未来的研究方向。
2023-07-30 cs.AI cs.CL
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们考虑的问题,多标签分类的标签位于一个层次结构。然而,与大多数现有的作品在分层多标签分类,我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功,这让我们受到鼓舞,我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势:i)分类器更好地泛化,因为它利用了标签上存在层次结构的先验知识,以及ii)除了标签同现信息之外,标签嵌入还可以受益于输入数据点的流形结构,从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明,联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外,建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习,并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Image Classification for Arabic: Assessing the Accuracy of Direct English to Arabic Translations
Prince Sattam Bin Abdulaziz University(萨塔姆·本·阿卜杜勒阿齐兹大学)
图像分类是一个正在进行的研究挑战。大多数现有的研究集中在英语语言的图像分类,但很少有阿拉伯语的图像分类的研究。将图像分类扩展到阿拉伯语有几个应用。本研究探讨了一种方法,用于生成阿拉伯语标签的对象的图像。本研究中使用的方法涉及将ImageNet上当前可用的标签直接从英语翻译为阿拉伯语,ImageNet是一种常用于图像分类研究的数据库。本研究的目的是测试该方法的准确性。在这项研究中,从ImageNet中随机选择了2,887张标记的图像。所有标签都是使用谷歌翻译从英语翻译成阿拉伯语的。对翻译的准确性进行了评价。结果表明,65.6%的阿拉伯语标签是准确的。这项研究对图像分类文献做出了三个重要贡献:(1)它确定了为图像提供阿拉伯语标签的算法的基线准确度水平,(2)它提供了1,895张带有准确阿拉伯语标签的图像,(3)提供了从英语到阿拉伯语的图像标签翻译的准确性。
2019-07-07 cs.CL cs.CV
Multi-label classification of open-ended questions with BERT
University of Waterloo(滑铁卢大学);GESIS, Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS))
本文研究德语社会科学调查中开放式问题的多标签分类,发现BERT相比传统算法具有更低的0/1损失,且仅需单一模型即可实现接近全自动的分类。
2023-04-06 cs.CL stat.AP
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University(武汉大学软件工程国家重点实验室)
手动标记文档既繁琐又昂贵,但它对于训练传统的文本分类器至关重要。近年来,一些无数据文本分类技术被提出来解决这个问题。然而,现有的工作主要集中在单标签分类问题,即,每个文件被限制为属于一个单一的类别。在本文中,我们提出了一种新的种子引导的多标签主题模型,命名为SMTM。SMTM利用与每个类别相关的几个种子词,对没有任何标记文档的文档集合进行多标记分类。在SMTM中,每个类别都与一个单独的类别主题相关联,该主题涵盖了类别的含义。为了适应多标签文档,我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说,在不使用任何阈值调优的情况下,SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督,我们提出了种子引导的偏置GPU(即,广义波利亚瓮)抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明,SMTM比最先进的替代方案实现了更好的分类精度,甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University(上海外国语大学)
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验,揭示了标签平滑不仅能提升分类性能,还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
An Effective Label Noise Model for DNN Text Classification
Wayne State University(韦恩州立大学);Interactions Digital Roots
由于大型的人工标注数据集存在标记错误,因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注,但训练文本分类模型却没有受到关注。在本文中,我们提出了一种训练深度网络的方法,该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层(噪声模型),它将标签噪声的统计数据建模到卷积神经网络(CNN)架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的,这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验,我们表明这种方法使CNN能够学习更好的句子表示,即使对极端的标签噪声也是鲁棒的。我们发现,适当的初始化和正则化的噪声模型是至关重要的。此外,通过对比的结果集中在大批量大小减轻标签噪声的图像分类,我们发现,改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Multi-task Learning of Pairwise Sequence Classification Tasks Over Disparate Label Spaces
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Insight Research Centre, National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校Insight研究中心);Aylien Ltd., Dublin(Aylien有限公司)
我们结合多任务学习和半监督学习,在不同的标签空间之间引入联合嵌入空间,并学习标签嵌入之间的传递函数,使我们能够联合利用未标记的数据和辅助的注释数据集。我们评估我们的方法对不同的标签空间的各种序列分类任务。我们超越了强大的单任务和多任务基线,并实现了基于主题的情感分析的新技术水平。
2018-04-09 cs.CL cs.NE stat.ML
Hyperbolic Interaction Model For Hierarchical Multi-Label Classification
Beijing Jiaotong University(北京交通大学)
与传统的分类任务假设标签互斥不同,层次多标签分类(HMLC)的目标是为每个实例分配多个标签,标签按照层次关系组织。除了标签,由于语言本体是内在的层次结构,词与词之间的概念关系也可以形成层次结构。因此,学习从单词层次结构到标签层次结构的映射可能是一个挑战。我们建议将单词和标签层次结构嵌入到双曲空间中。其主要原因是双曲空间的树状性与具有层次结构的符号数据的复杂性相匹配。设计了一种新的双曲交互模型(HyperIM)来学习标签感知的文档表示,并对HMLC进行预测。在三个基准数据集上进行了广泛的实验。实验结果表明,该模型能够真实地捕捉复杂的数据结构,与现有方法相比,进一步提高了HMLC的性能。为了方便未来的研究,我们的代码是公开的。
2019-09-04 cs.CL cs.LG stat.ML
Order-free Learning Alleviating Exposure Bias in Multi-label Classification
National Taiwan University(台湾大学)
多标签分类(MLC)为每个样本分配多个标签。先前的研究表明,MLC可以转换为一个序列预测问题与递归神经网络(RNN)解码器的标签依赖性建模。然而,训练RNN解码器需要预定义的标签顺序,这在MLC规范中并不直接可用。此外,这样训练的RNN倾向于过拟合训练集中的标签组合,并且难以生成看不见的标签序列。在本文中,我们提出了一个新的框架MLC不依赖于一个预定义的标签顺序,从而消除曝光偏差。在三个多标签分类基准数据集上的实验结果表明,该方法的性能大大优于竞争基线。我们还发现,与基线模型相比,所提出的方法生成训练期间未看到的标签组合的概率更高。实验结果表明,该方法具有较好的泛化能力。
2019-09-08 cs.CL cs.LG cs.SD