One Size Does Not Fit All: Exploring Variable Thresholds for Distance-Based Multi-Label Text Classification
University of Antwerp (CLiPS)(安特卫普大学(CLiPS));Textgain
针对多标签文本分类中单一阈值不适用问题,提出利用验证集优化标签特定阈值的新方法,显著优于固定阈值和统一阈值方法。
2025-10-13 cs.AI cs.CL
Handling Realistic Label Noise in BERT Text Classification
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究BERT在特征依赖型和标注者分歧合成型等真实标签噪声下的性能下降问题,通过评估集成与噪声清洗方法来提升其分类鲁棒性。
2023-10-20 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Zhejiang University(浙江大学);UCLA(加利福尼亚大学洛杉矶分校)
针对仅部分正类有标注的多标签正样本-未标记学习问题,提出结合强化学习探索能力与监督学习利用能力的MLPAC框架,在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University(浙江师范大学);Stanford University(斯坦福大学)
在自然语言处理中,极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类(XMTC)的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就,但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义,但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络(GUDN),以帮助微调预训练模型,以指导以后的分类。此外,GUDN使用原始标签语义结合一个有用的标签加固策略,有效地探索文本和标签之间的潜在空间,缩小语义差距,这可以进一步提高预测精度。实验结果表明,GUDN在Eurlex-4k上的性能优于最先进的方法,并且在其他流行的数据集上具有竞争力的结果。在另一个实验中,我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
Cluster-Guided Label Generation in Extreme Multi-Label Classification
Amazon Alexa AI(亚马逊Alexa人工智能);University of Minnesota(明尼苏达大学)
对于极端多标签分类(XMC),现有的基于分类的模型对尾部标签的分类效果不佳,并且常常忽略标签之间的语义关系,例如将“Wikipedia”和“Wiki”视为独立的标签。在本文中,我们将XMC转换为生成任务(XLGen),在这里我们受益于预训练的文本到文本模型。然而,在没有任何约束或指导的情况下,从极大的标签空间生成标签是具有挑战性的。因此,我们建议使用标签聚类信息来指导标签生成,以分层方式生成较低级别的标签。我们还发现,基于频率的标签排序和使用解码集成方法是XLGen改进的关键因素。具有集群指导的XLGen在尾部标签上的性能显著优于分类和生成基线,并且在四个流行的XMC基准测试中也普遍提高了整体性能。在人体评价中,我们还发现XLGen生成看不见但似乎合理的标签。我们的代码现在可以在https://github.com/alexa/xlgen-eacl-2023上找到。
2023-02-17 cs.CL cs.LG
OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification
Polytechnic Institute(理工学院);Zhejiang University(浙江大学);College of Computer Science and Technology(计算机科学与技术学院)
极端多标签文本分类(XMTC)是从一个非常大规模的标签集合中找到最相关的子集标签的任务。最近,一些深度学习模型在XMTC任务中取得了最先进的成果。这些模型通常通过全连接层作为模型的最后一层来预测所有标签的得分。然而,这样的模型不能为每个文档预测一个相对完整和可变长度的标签子集,因为它们通过固定的阈值选择与文档相关的正标签,或者按照分数的降序取前k个标签。一种不太流行的深度学习模型称为序列到序列(Seq 2Seq),专注于预测序列风格中的可变长度正标签。然而,XMTC任务中的标签本质上是一个无序的集合,而不是一个有序的序列,标签的默认顺序限制了Seq 2Seq模型的训练。为了解决Seq 2Seq中的这一限制,我们提出了一个自回归序列到集合模型,用于XMTC任务,名为OTSeq 2Set。我们的模型生成的预测在学生强迫计划,并训练的损失函数的基础上,使置换不变性的二分匹配。同时,我们使用最佳传输距离作为度量,以迫使模型专注于语义标签空间中最近的标签。实验表明,OTSeq 2Set在4个基准数据集上的性能优于其他竞争基线。特别是,在具有31 k标签的维基百科数据集上,它在micro-F1得分上优于最先进的Seq 2Seq方法16.34%。该代码可在https://github.com/caojie54/OTSeq2Set上获得。
2022-11-14 cs.AI cs.CL cs.LG
Extreme Multi-Label Legal Text Classification: A case study in EU Legislation
Athens University of Economics and Business(雅典经济与商业大学);University of Sheffield(谢菲尔德大学)
我们认为极端多标签文本分类(XMTC)在法律领域的任务。我们发布了来自欧盟公共文件数据库EURLEX的57 K立法文件的新数据集,并使用多学科词库EUROVOC的概念进行注释。该数据集比以前的EURLEX数据集大得多,适用于XMTC、Few-Shot和零样本学习。通过对几种神经分类器的实验,我们发现,具有自我注意力的BIGRU优于目前采用标签式注意力的多标签最先进的方法。在标签式注意力网络中,用BIGRU取代CNN可以获得最佳的整体性能。
2019-05-26 cs.CL
On Data Augmentation for Extreme Multi-label Classification
University of Utah(犹他大学)
在本文中,我们专注于数据增强的极端多标签分类(XMC)问题。XMC最具挑战性的问题之一是长尾标签分布,即使是强大的模型也会受到监管不足的影响。为了减轻这种标签偏见,我们提出了一个简单有效的增强框架和一个新的最先进的分类器。我们的增强框架利用预训练的GPT-2模型来生成输入文本的标签不变扰动,以增强现有的训练数据。因此,它比基线模型有了很大的改进。我们的贡献是两个因素:(1)我们引入了一个新的最先进的分类器,它使用标签注意力与RoberTa,并将其与我们的增强框架相结合,以进一步改进;(2)我们提出了一个广泛的研究,在XMC任务中,不同的增强方法有多有效。
2020-09-22 cs.AI cs.CL cs.IR
DECAF: Deep Extreme Classification with Label Features
IIT Delhi(德里印度理工学院);Microsoft Research(微软研究院);IIT Kanpur(坎普尔印度理工学院)
极端多标签分类(XML)涉及使用来自极大标签集的最相关标签子集来标记数据点,具有若干应用,例如具有数百万产品的产品到产品推荐。虽然领先的XML算法可以扩展到数百万个标签,但它们在很大程度上忽略了标签元数据,如标签的文本描述。另一方面,可以通过使用深度网络的表示学习来利用标签元数据的经典技术在极端环境中挣扎。本文开发了DECAF算法,通过学习由标签元数据丰富的模型来解决这些挑战,这些标签元数据使用深度网络联合学习模型参数和特征表示,并在数百万标签的规模上提供准确的分类。DECAF对模型架构设计、初始化和训练做出了具体贡献,使其能够在公开可用的基准产品到产品推荐数据集(如LF-AmazonTitles-1.3M)上提供比领先的极端分类器高出2-6%的准确预测。与此同时,DECAF的推理速度比领先的深度极端分类器快22倍,这使得它适用于需要在几毫秒内进行预测的实时应用。DECAF的代码可在以下URL https://github.com/Extreme-classification/DECAF上获得。
2021-08-01 cs.CL cs.IR cs.LG
LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification
Beihang University(北京航空航天大学);Capital Normal University(首都师范大学)
极端多标签文本分类(XMC)是从一个大的标签集中找到最相关的标签的任务。如今,基于深度学习的方法已经在XMC中取得了显著的成功。然而,现有的方法(例如,AttentionXML和X-Transformer等)仍然存在1)将多个模型结合起来对一个数据集进行训练和预测; 2)在训练标签排序模型的过程中静态地抽取负标签,这降低了模型的效率和准确性。为了解决上述问题,我们提出了LightXML,它采用端到端训练和动态负标签采样。在LightXML中,我们使用生成式协作网络来召回和排名标签,其中标签召回部分生成否定和肯定标签,标签排名部分从这些标签中区分肯定标签。通过这些网络,在标签排名部分训练期间,通过馈送相同的文本表示来动态地对负面标签进行采样。大量的实验表明,LightXML在五个极端的多标签数据集上的性能优于最先进的方法,具有更小的模型大小和更低的计算复杂性。特别是,在具有670 K标签的Amazon数据集上,与AttentionXML相比,LightXML可以将模型大小减少72%。
2021-01-09 cs.CL cs.LG
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University(上海外国语大学)
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验,揭示了标签平滑不仅能提升分类性能,还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
LabelCoRank: Revolutionizing Long Tail Multi-Label Classification with Co-Occurrence Reranking
China University of Mining & Technology, Beijing(中国矿业大学(北京));Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出LabelCoRank方法,通过两阶段标签共现重排序优化初始分类结果,并将重排序标签表示融入文本特征,以缓解多标签文本分类中的长尾问题,在多个数据集上验证了其有效性和鲁棒性。
2025-03-11 cs.CL
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University(复旦大学);Kyoto University(京都大学);Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是大数据时代的一个重要问题,用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到,例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋(BOW)作为输入,忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题:1)未能捕获每个标签的重要潜台词; 2)缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型,称为AttentionXML,具有两个独特的功能:1)以原始文本为输入的多标签注意力机制,可以捕获文本中与每个标签最相关的部分; 2)浅而宽的概率标签树(PLT),可以处理数百万个标签,特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能,包括Amazon-3 M约300万个标签。在所有实验设置下,AttentionXML的性能优于所有竞争方法。实验结果还表明,AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
ECLARE: Extreme Classification with Label Graph Correlations
IIT Delhi(德里印度理工学院);UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院);IIT Kanpur(坎普尔印度理工学院)
深度极端分类(XC)旨在训练深度架构,这些架构可以使用极大标签集中最相关的标签子集来标记数据点。XC的核心效用来自于预测训练过程中很少看到的标签。这种罕见的标签是个性化推荐的关键,可以让用户感到高兴和惊讶。然而,大量的稀有标签和每个稀有标签的少量训练数据提供了显著的统计和计算挑战。最先进的深度XC方法试图通过合并标签的文本描述来解决这个问题,但没有充分解决这个问题。本文介绍了ECLARE,这是一种可扩展的深度学习架构,不仅包含标签文本,还包含标签相关性,可在几毫秒内提供准确的实时预测。ECLARE的核心贡献包括一个简单的架构和可扩展的技术,以训练深度模型以及数百万标签规模的标签相关图。特别是,ECLARE提供的预测是2%至14%以上的准确性都公开可用的基准数据集,以及专有数据集的相关产品推荐任务来源于必应搜索引擎。ECLARE代码可在https://github.com/Extreme-classification/ECLARE上找到。
2021-07-31 cs.CL cs.IR cs.LG
Open Vocabulary Extreme Classification Using Generative Models
Meta AI
极端多标签分类(XMC)任务的目的是用来自极大标签集的标签子集来标记内容。标签词汇表通常由领域专家预先定义,并假定捕获所有必要的标签。然而,在现实世界的情况下,这个标签集,虽然大,往往是不完整的,专家经常需要细化它。开发系统,简化这一过程,我们介绍了开放词汇XMC(OXMC)的任务:给定一个内容,预测一组标签,其中一些可能是已知的标签集之外。因此,除了没有某些标签的训练数据-如zero-shot分类中的情况-模型还需要即时创建一些标签。我们提出了GROOV,一个微调的seq 2seq模型OXMC生成的标签集作为一个平面序列,并使用一个新的损失独立于预测的标签顺序进行训练。我们展示了该方法的有效性,并对流行的XMC数据集进行了实验,GROOV能够预测给定词汇之外的有意义的标签,同时与已知标签的最先进解决方案保持一致。
2022-05-12 cs.CL cs.LG
Open-world Multi-label Text Classification with Extremely Weak Supervision
University of California San Diego(加州大学圣地亚哥分校);Cisco(思科)
针对极弱监督下的开放世界多标签文本分类任务,提出X-MLClass方法,通过迭代挖掘文档主导关键词发现长尾标签、构建完整标签空间,显著提升了标签覆盖率与分类准确率。
2024-07-08 cs.CL
Extreme Zero-Shot Learning for Extreme Text Classification
极限多标签文本分类(XMC)问题涉及从大型标签集中为输入文本实例找到最相关的标签。然而,XMC设置面临两个挑战:(1)在动态环境中预测看不见的标签是不可推广的,以及(2)它需要大量的监督(实例,标签)对,这对于新兴领域来说可能很难获得。最近,广义zero-shot XMC(GZ-XMC)的设置已被研究和ZestXML相应地提出来处理看不见的标签,这仍然需要大量的注释(实例,标签)对。在本文中,我们考虑一个更实际的场景称为极端Zero-Shot XMC(EZ-XMC),其中不需要监督,只有原始文本的实例和标签是可访问的。Few-Shot XMC(FS-XMC)是EZ-XMC的扩展,具有有限的监督。为了学习实例和标签与原始文本的语义嵌入,我们建议使用自监督对比损失来预训练基于transformer的编码器。具体来说,我们开发了一种预训练方法MACLR,它充分利用了原始文本的技术,包括多尺度自适应聚类,标签正则化和使用伪正对的自我训练。在四个公共EZ-XMC数据集上的实验结果表明,与所有其他领先的基线方法相比,MACLR实现了更好的性能,特别是平均精度和召回率提高了约5-10%。此外,我们还表明,当训练中有有限数量的地面真值阳性对时,我们的预训练编码器可以在FS-XMC上进一步改进。通过在这样的Few-Shot子集上微调编码器,MACLR仍然显著优于其他极端分类器。
2021-12-16 cs.CL cs.LG
AX-MABSA: A Framework for Extremely Weakly Supervised Multi-label Aspect Based Sentiment Analysis
University of Edinburgh(爱丁堡大学);Huawei Research Centre(华为研究中心)
基于方面的情感分析是一个主要的研究领域,在社交媒体分析,商业,金融和健康方面具有潜在的应用。这方面的先前工作主要基于监督方法,少数技术使用弱监督,仅限于预测每个评论句子的单个方面类别。在本文中,我们提出了一个极弱监督的多标签方面类别情感分析框架,不使用任何标记的数据。我们只依赖于每个类的一个单词作为初始指示信息。我们进一步提出了一个自动选词技术来选择这些种子类别和情感词。我们探索了无监督的语言模型后训练,以提高整体性能,并提出了一个多标签生成器模型,以生成多个方面的类别,每个审查句子的情感对。在四个基准数据集上进行的实验显示,我们的方法明显优于其他弱监督基线。
2022-11-07 cs.CL
GILE: A Generalized Input-Label Embedding for Text Classification
Idiap Research Institute(IDIAP研究所)
神经文本分类模型通常将输出标签视为缺乏描述和语义的分类变量。这迫使它们的参数化依赖于标签集的大小,因此,它们无法扩展到大型标签集并推广到不可见的标签集。现有的联合输入标签文本模型通过利用标签描述来克服这些问题,但它们无法捕获复杂的标签关系,具有严格的参数化,并且它们在看不见的标签上的增益通常是以训练期间看到的标签的弱性能为代价的。在本文中,我们提出了一个新的输入标签模型,它概括了以前的这种模型,解决了它们的局限性,并且不会影响看到的标签的性能。该模型由一个容量可控的联合非线性输入-标签嵌入和一个联合空间相关的分类单元组成,该分类单元采用交叉熵损失进行训练以优化分类性能。我们评估模型的全资源和低或零资源的多语言新闻和生物医学文本分类与一个大的标签集。我们的模型优于单语和多语言模型,不利用标签语义和以前的联合输入标签空间模型在这两种情况下。
2019-01-30 cs.CL
Label-Wise Document Pre-Training for Multi-Label Text Classification
Center of Intelligence Science and Technology, Beijing University of Posts and Telecommunications(北京邮电大学智能科学与技术中心)
多标签文本分类(MLTC)的一个主要挑战是刺激性地利用可能的标签差异和标签相关性。在本文中,我们通过开发Label-Wise Pre-Training(LW-PT)方法来解决这一挑战,以获得具有标签感知信息的文档表示。其基本思想是,多标签文档可以表示为多个标签表示的组合,并且相关标签总是在相同或相似的文档中共存。LW-PT通过构建标签式文档分类任务和训练标签式文档编码器来实现这一思想。最后,预训练的标签式编码器通过下游MLTC任务进行微调。大量的实验结果表明,该方法具有显着的优势,比以前的国家的最先进的模型,能够发现合理的标签关系。该代码的发布是为了方便其他研究人员。
2020-08-15 cs.CL
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
Georgia State University(佐治亚州立大学)
针对极端多标签文本分类中稀疏标签嵌入的局限,提出MatchXML框架,通过label2vec生成稠密标签嵌入、构建分层标签树,结合多类特征训练线性排序器,在准确率和速度上均优于现有方法。
2024-03-11 cs.CL cs.LG
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Web Services AI Labs(亚马逊云服务人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
在文本分类任务中,有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而,在预训练过程中使用标签语义还没有得到广泛的探讨。因此,我们提出标签语义感知预训练(LSAP),以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练,将标签语义纳入预训练的生成模型(在我们的案例中为T5)。由于一般领域的预训练需要大量的数据,我们开发了一个过滤和标记管道,可以从未标记的文本中自动创建标记-标签对。我们对意图(ATIS,Snips,TOPv 2)和主题分类(AG News,Yahoo!答案)。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进,同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
SGM: Sequence Generation Model for Multi-label Classification
Beijing Institute of Big Data Research, Peking University(北京大学北京大数据研究院);Peking University(北京大学)
多标签分类是自然语言处理中一个重要而又具有挑战性的任务。它比单标签分类更复杂,因为标签往往是相关的。现有的方法往往忽略了标签之间的相关性。此外,文本的不同部分可以对预测不同的标签做出不同的贡献,这是现有模型没有考虑的。在本文中,我们提出了多标签分类任务视为一个序列生成问题,并采用一种新的解码器结构的序列生成模型来解决它。大量的实验结果表明,我们提出的方法优于以前的工作,由一个相当大的保证金。实验结果表明,该方法不仅能捕捉标签之间的相关性,而且在预测不同标签时,能自动选择信息量最大的词。
2018-06-15 cs.CL
Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification
Sunshine Insurance Group Corporation Limited(阳光保险集团股份有限公司);Tsinghua University(清华大学)
本文提出一种标签依赖感知的集合预测网络,利用图卷积网络建模标签相关性,并引入Bhattacharyya距离提升召回,在多标签文本分类任务上优于现有基线。
2024-03-14 cs.CL
Retrieval-augmented Encoders for Extreme Multi-label Text Classification
Amazon Search(亚马逊搜索)
针对极端多标签分类中泛化与记忆能力难以兼顾的问题,提出检索增强编码器RAEXMC,为双编码器配备检索增强能力,无需额外参数即可高效记忆,在四个基准上超越SOTA的DE方法且实现10倍以上加速。
2025-02-15 cs.CL
Interaction Matching for Long-Tail Multi-Label Classification
Georgetown University(乔治城大学);Adobe Inc.(奥多比公司)
我们提出了一个优雅的和有效的方法来解决现有的多标签分类模型的局限性,通过将交互匹配,一个概念是有用的ad-hoc搜索结果排名。通过执行软n-gram交互匹配,我们将标签与自然语言描述(这在大多数多标签任务中很常见)进行匹配。我们的方法可以用来增强现有的多标签分类方法,这是偏向于频繁出现的标签。我们评估我们的方法在两个具有挑战性的任务:自动医疗编码的临床笔记和自动标记的实体,从软件教程文本。我们的结果表明,我们的方法可以在宏观性能上产生高达11%的相对改进,其中大部分增益源于训练集中不经常出现的标签(即,标签的长尾)。
2020-05-18 cs.CL
LiGCN: Label-interpretable Graph Convolutional Networks for Multi-label Text Classification
Yale University(耶鲁大学);Trinity College Dublin(都柏林圣三一学院);Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Tokyo(东京大学);University College Dublin(都柏林大学)
多标签文本分类(MLTC)是自然语言处理(NLP)中一个极具吸引力和挑战性的研究课题。与单标签文本分类相比,MLTC在实际中有着更广泛的应用。在本文中,我们提出了一个标签可解释的图卷积网络模型来解决MLTC问题,通过建模令牌和标签的节点在一个异构的图。通过这种方式,我们能够考虑多种关系,包括令牌级关系。此外,该模型允许更好的可解释性预测的标签作为标记标签的边缘被暴露。我们在四个真实世界的数据集上评估了我们的方法,它与选定的基线方法相比取得了有竞争力的分数。具体而言,该模型在小标签集MLTC中实现了0.14的F1得分增益,在大标签集场景中实现了0.07的F1得分增益。
2022-05-22 cs.CL
Pseudo Labeling and Negative Feedback Learning for Large-scale Multi-label Domain Classification
Amazon Alexa AI(亚马逊Alexa AI)
在大规模领域分类中,一个话语可以由具有重叠能力的多个领域处理。然而,在实践中,仅为每个训练话语提供有限数量的地面实况域,而知道尽可能多的正确目标标签有助于提高模型性能。在本文中,给定每个训练话语的一个地面真域,我们将始终以最高置信度预测的域作为训练的附加伪标签。为了减少由于不正确的伪标签而导致的预测错误,我们利用具有负系统响应的话语来降低错误预测域的置信度。从智能会话系统的用户话语评估,我们表明,所提出的方法显着提高域分类的性能与假设重排序。
2020-03-08 cs.CL
CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification
Aalto University(阿尔托大学)
极端多标签文本分类(XMC)涉及学习一个分类器,该分类器可以从数百万个标签选择中为输入分配最相关的标签子集。最近的方法(如XR-Transformer和LightXML)利用Transformer实例来实现最先进的性能。然而,在这个过程中,这些方法需要在性能和计算要求之间做出各种权衡。与基于Bi-LSTM的AttentionXML相比,一个主要的缺点是它们无法在标签树中为每个分辨率保留单独的特征表示。因此,我们提出了CascadeXML,一个端到端的多分辨率学习管道,它可以利用多层架构的Transformer模型参加不同的标签分辨率与单独的功能表示。CascadeXML显著优于所有现有的方法,在由多达300万个标签组成的基准数据集上获得了非平凡的收益。CascadeXML的代码将在\url{https://github.com/xmc-aalto/cascadexml}上公开提供。
2022-10-29 cs.CL cs.LG stat.ML
Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification
Flexport(飞协博)
极端多标签文本分类(XMTC)是从一个非常大的预定义类别空间中为每个文档添加相关标签的任务。最近,大型预训练的Transformer模型在XMTC中取得了显著的性能改进,XMTC通常使用特殊CLS令牌的嵌入来将整个文档语义表示为全局特征向量,并将其与候选标签进行匹配。然而,我们认为,这样一个全球性的特征向量可能不足以表示不同粒度级别的语义在文档中,并补充它与本地字级功能可以带来额外的收益。基于这一认识,我们提出了一种方法,结合本地和全局功能产生的Transformer模型,以提高分类器的预测能力。我们的实验表明,该模型的性能优于或相当于基准数据集上的最先进的方法。
2022-04-02 cs.CL cs.LG
Your Extreme Multi-label Classifier is Secretly a Hierarchical Text Classifier for Free
Ulm University, Germany(乌尔姆大学);University of Southern Denmark, Odense, Denmark(南部丹麦大学)
本文研究了HTC和XML模型在对方数据集上的表现,发现XML模型因内部层次结构而更有效,而HTC模型因无法处理大规模标签而表现较差。
2026-01-26 cs.CL
A Simple but Effective Closed-form Solution for Extreme Multi-label Learning
Hokkaido University(北海道大学);The University of Tokyo(东京大学)
针对极端多标签学习现有模型超参数多、复现难的问题,提出基于岭回归的单超参数闭式解方法,结合频率加权增强低频标签预测,在多个基准数据集上性能比肩甚至优于多超参数模型,且实现简单。
2025-01-17 cs.AI cs.CL cs.IR
Retrieval-augmented Multi-label Text Classification
University of Copenhagen(哥本哈根大学)
本文提出一种基于检索增强的多标签文本分类方法,通过交叉注意力机制融合从训练集中检索的相似文档特征,显著提升了模型在不频繁标签长尾及低资源场景下的分类性能。
2023-05-22 cs.CL
Knowledge-Based Construction of Confusion Matrices for Multi-Label Classification Algorithms using Semantic Similarity Measures
University of Sfax(斯法克斯大学)
到目前为止,多标签分类算法已经使用统计方法进行了评估,这些方法不考虑所考虑的类别的语义,并且完全依赖于抽象计算,如贝叶斯推理。目前,有几种尝试开发基于本体的方法,以更好地评估监督分类算法。在这篇研究论文中,我们定义了一种新的方法,使用本体驱动的基于特征的语义相似性度量,在多标签分类中将预期标签与预测标签对齐,并使用它来开发一种方法,用于创建精确的混淆矩阵,以更有效地评估多标签分类算法。
2021-08-16 cs.CL cs.LG
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Does Head Label Help for Long-Tailed Multi-Label Text Classification
Beijing Jiaotong University(北京交通大学)
多标签文本分类(MLTC)的目标是从多个候选标签中选择最相关的标签来标注文档。在实际应用中,标签频率的分布通常呈现长尾,即,少数标签与大量文档相关联(也称为,头标签),而大部分标签与少量文档(也称为尾部标签)。为了解决尾部标签分类的训练数据不足的挑战,我们提出了一个头到尾网络(HTTN),将元知识从数据丰富的头部标签转移到数据贫乏的尾部标签。元知识是从Few-Shot网络参数到多样本网络参数的映射,旨在提高尾分类器的泛化能力。在三个基准数据集上的大量实验结果表明,HTTN始终优于最先进的方法。代码和超参数设置是为了重现性而发布的
2021-01-24 cs.CL cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Expert Knowledge-Guided Length-Variant Hierarchical Label Generation for Proposal Classification
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Central Florida(中佛罗里达大学);University of Macau(澳门大学)
为了促进科学和技术的发展,研究提案被提交给政府机构开发的公开竞争项目(例如,NSF)。提案分类是实现有效和公平评审任务的最重要任务之一。建议分类旨在将建议分类为长度可变的标签序列。在本文中,我们制定的建议分类问题成一个层次多标签分类任务。虽然有一些先前的研究,提案分类表现出独特的特点:1)提案的分类结果是在一个层次的学科结构,具有不同的粒度水平; 2)提案包含多种类型的文档; 3)领域专家可以经验性地提供部分标签,可以利用,以提高任务的性能。在本文中,我们专注于开发一个新的深度提案分类框架,以联合建模这三个特征。特别地,为了顺序地生成标签,我们利用先前生成的标签来预测下一级的标签;为了集成来自专家的部分标签,我们使用这些经验部分标签的嵌入来初始化神经网络的状态。我们的模型可以自动识别标签序列的最佳长度,以停止下一个标签预测。最后,我们提出了广泛的结果表明,我们的方法可以联合模型部分标签,文本信息和标签序列中的语义依赖关系,从而实现先进的性能。
2021-09-15 cs.CL cs.LG
From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning
Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗肯科特中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文提出 PUSL,将 OXMC 重构为无限关键词生成任务,并结合 F1@O 与 B@k 指标,缓解缺失标签导致的生成不足和评估失真问题。
2025-01-09 cs.CL cs.IR
Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
自然语言处理中的许多任务可以看作是多标签分类问题。然而,大多数现有模型都是用标准交叉熵损失函数训练的,并且使用固定的预测策略(例如,阈值为0.5),这完全忽略了不同标签之间的复杂性和依赖性。在本文中,我们提出了一种元学习方法来捕获这些复杂的标签依赖关系。更具体地说,我们的方法利用元学习器来联合学习不同标签的训练策略和预测策略。然后使用训练策略训练具有交叉熵损失函数的分类器,并且进一步实施预测策略以进行预测。在细粒度实体分类和文本分类上的实验结果表明,该方法可以获得更准确的多标签分类结果。
2019-09-09 cs.CL cs.LG
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前,大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索,如标签信息。在本研究中,我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的,但简单的,我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码,以将通用文本嵌入(由上下文信息学习器编码)映射到不同的标签空间,从而产生标签式嵌入。在我们提出的框架中,标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此,得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验,以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
Text Classification Using Label Names Only: A Language Model Self-Training Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
当前的文本分类方法通常需要大量的人工标记的文档作为训练数据,这在实际应用中可能是昂贵的并且难以获得。人类可以在没有看到任何标记示例的情况下执行分类,而只是基于描述要分类的类别的一小部分单词。在本文中,我们探讨的潜力,只使用标签名称的每个类训练分类模型的未标记的数据,而不使用任何标记的文件。我们使用预训练的神经语言模型作为类别理解的一般语言知识源和文档分类的表示学习模型。我们的方法(1)将语义相关的词与标签名称相关联,(2)找到类别指示词并训练模型来预测其隐含的类别,以及(3)通过自我训练来推广模型。我们表明,我们的模型在四个基准数据集上实现了约90%的准确率,包括主题和情感分类,而不使用任何标记文档,而是从每个类最多3个单词(大多数情况下为1个)作为标签名称监督的未标记数据中学习。
2020-10-14 cs.CL cs.LG
An Effective Label Noise Model for DNN Text Classification
Wayne State University(韦恩州立大学);Interactions Digital Roots
由于大型的人工标注数据集存在标记错误,因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注,但训练文本分类模型却没有受到关注。在本文中,我们提出了一种训练深度网络的方法,该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层(噪声模型),它将标签噪声的统计数据建模到卷积神经网络(CNN)架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的,这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验,我们表明这种方法使CNN能够学习更好的句子表示,即使对极端的标签噪声也是鲁棒的。我们发现,适当的初始化和正则化的噪声模型是至关重要的。此外,通过对比的结果集中在大批量大小减轻标签噪声的图像分类,我们发现,改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Order-free Learning Alleviating Exposure Bias in Multi-label Classification
National Taiwan University(台湾大学)
多标签分类(MLC)为每个样本分配多个标签。先前的研究表明,MLC可以转换为一个序列预测问题与递归神经网络(RNN)解码器的标签依赖性建模。然而,训练RNN解码器需要预定义的标签顺序,这在MLC规范中并不直接可用。此外,这样训练的RNN倾向于过拟合训练集中的标签组合,并且难以生成看不见的标签序列。在本文中,我们提出了一个新的框架MLC不依赖于一个预定义的标签顺序,从而消除曝光偏差。在三个多标签分类基准数据集上的实验结果表明,该方法的性能大大优于竞争基线。我们还发现,与基线模型相比,所提出的方法生成训练期间未看到的标签组合的概率更高。实验结果表明,该方法具有较好的泛化能力。
2019-09-08 cs.CL cs.LG cs.SD