IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics（上海财经大学）
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前，忽略了标签文本中包含的暗示性信息。事实上，人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构，通过连体的BERT和名为IDEA（Interactive DoublE Attentions）的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息，这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法，具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Attentional Multilabel Learning over Graphs: A Message Passing Approach
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们解决了一个很大程度上开放的问题，多标签分类图。与传统的向量输入不同，图具有丰富的可变大小的子结构，这些子结构在某些方面与标签相关。我们相信，揭示这些关系可能是分类性能和可解释性的关键。我们引入GAML（图注意力多标签学习），一种新的图神经网络，可以有效地处理这个问题。GAML将标签视为辅助节点，并结合输入图对其进行建模。通过对标签节点和输入节点迭代地应用消息传递和注意力机制，GAML可以在各种分辨率下捕获标签和输入子图之间的关系。此外，我们的模型可以利用显式标签依赖性。由于我们提出的分层注意力，它还与标签数量和图大小呈线性关系。我们评估GAML的一组广泛的实验与图形结构的输入和经典的非结构化输入。结果表明，GAML显著优于其他竞争方法。重要的是，GAML可以实现直观的可视化，以便更好地理解标签-子结构关系和解释模型行为。
2018-04-11 cs.AI cs.LG stat.ML
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
LA-HCN: Label-based Attention for Hierarchical Multi-label TextClassification Neural Network
Nanyang Technological University（南洋理工大学）
分层多标签文本分类（HMTC）近年来由于其对大量现实世界应用的适用性而越来越受欢迎。现有的HMTC算法主要集中在分类器的设计上，例如局部、全局或两者的组合。然而，很少有研究集中在层次特征提取和探索之间的关联的层次标签和文本。本文提出了一种基于标签的注意力的分层多标签文本分类神经网络（LA-HCN），该网络中的标签注意力模块用于根据不同层次的标签从文本中分层提取重要信息。此外，层次信息在保持基于层次标签的信息的同时跨层次共享。获得单独的本地和全局文档嵌入，并将其用于促进各自的本地和全局分类。在我们的实验中，LA-HCN优于其他国家的最先进的神经网络为基础的HMTC算法在四个公共HMTC数据集。消融研究也证明了所提出的基于标签的注意模块以及新颖的局部和全局嵌入和分类的有效性。通过可视化学习的注意力（单词），我们发现LA-HCN能够提取对应于不同标签的有意义的信息，这些信息提供了可能对人类分析师有帮助的可解释性。
2021-04-10 cs.AI cs.CL
ML-Net: multi-label classification of biomedical texts with deep neural networks
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）；The University of Texas School of Biomedical Informatics（德克萨斯大学生物医学信息学学院）
在多标签文本分类中，每个文本文档可以被分配一个或多个标签。由于这种性质，多标签文本分类任务通常被认为比二进制或多类文本分类问题更具挑战性。作为在生物医学中具有广泛应用的重要任务，例如分配诊断代码，近年来已经提出了许多不同的计算方法（例如，为每个标签训练和组合二进制分类器）。然而，许多人遭受适度的准确性和效率，只有有限的成功，在实际应用中。我们提出了ML-Net，一种新的深度学习框架，用于生物医学文本的多标签分类。作为一个端到端系统，ML-Net将标签预测网络与自动标签计数预测机制相结合，通过利用每个标签的预测置信度得分和目标文档中的上下文信息来输出最佳标签集。我们评估ML-Net三个独立的，公开可用的语料库中的两种文本类型：生物医学文献和临床笔记。对于评估，使用基于示例的措施，如精度，召回率和f-测量。ML-Net与几个有竞争力的机器学习基线模型进行了比较。我们的基准测试结果表明，ML-Net在生物医学文本的多标签分类方面优于最先进的方法。ML-NET在生物医学中的不同文本类型上进行评估时也表现出鲁棒性。与传统的机器学习方法不同，ML-Net不需要人工进行特征工程，并且是针对具有大量标签的任务的高效且可扩展的方法（无需为每个单独的标签构建单独的分类器）。最后，ML-NET能够以更系统和准确的方式基于文档上下文动态估计标签计数。
2018-11-15 cs.CL cs.IR cs.LG
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
KeNet:Knowledge-enhanced Doc-Label Attention Network for Multi-label text classification
Baidu Inc.（百度公司）；Fudan University（复旦大学）
针对多标签文本分类中短文档多标签及标签关联问题，提出知识增强的文档-标签注意力网络（KeNet），融合外部知识与注意力机制，在三个数据集上超越现有最优方法。
2024-03-04 cs.CL
Joint Embedding of Words and Labels for Text Classification
Duke University（杜克大学）
词嵌入是在学习文本序列表示时捕捉词间语义重叠的有效中间表示。我们建议将文本分类视为标签-词联合嵌入问题：每个标签与词向量嵌入在同一空间中。我们引入了一个注意力框架，衡量文本序列和标签之间的嵌入的兼容性。注意力是在标记样本的训练集上学习的，以确保在给定文本序列的情况下，相关单词的权重高于不相关单词。我们的方法保持了词嵌入的可解释性，并且除了输入文本序列之外，还具有利用替代信息源的内置能力。在几个大型文本数据集上的广泛结果表明，所提出的框架在准确性和速度方面都大大优于最先进的方法。
2018-05-10 cs.CL cs.LG
Does Head Label Help for Long-Tailed Multi-Label Text Classification
Beijing Jiaotong University（北京交通大学）
多标签文本分类（MLTC）的目标是从多个候选标签中选择最相关的标签来标注文档。在实际应用中，标签频率的分布通常呈现长尾，即，少数标签与大量文档相关联（也称为，头标签），而大部分标签与少量文档（也称为尾部标签）。为了解决尾部标签分类的训练数据不足的挑战，我们提出了一个头到尾网络（HTTN），将元知识从数据丰富的头部标签转移到数据贫乏的尾部标签。元知识是从Few-Shot网络参数到多样本网络参数的映射，旨在提高尾分类器的泛化能力。在三个基准数据集上的大量实验结果表明，HTTN始终优于最先进的方法。代码和超参数设置是为了重现性而发布的
2021-01-24 cs.CL cs.LG
LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification
Beihang University（北京航空航天大学）；Capital Normal University（首都师范大学）
极端多标签文本分类（XMC）是从一个大的标签集中找到最相关的标签的任务。如今，基于深度学习的方法已经在XMC中取得了显著的成功。然而，现有的方法（例如，AttentionXML和X-Transformer等）仍然存在1）将多个模型结合起来对一个数据集进行训练和预测; 2）在训练标签排序模型的过程中静态地抽取负标签，这降低了模型的效率和准确性。为了解决上述问题，我们提出了LightXML，它采用端到端训练和动态负标签采样。在LightXML中，我们使用生成式协作网络来召回和排名标签，其中标签召回部分生成否定和肯定标签，标签排名部分从这些标签中区分肯定标签。通过这些网络，在标签排名部分训练期间，通过馈送相同的文本表示来动态地对负面标签进行采样。大量的实验表明，LightXML在五个极端的多标签数据集上的性能优于最先进的方法，具有更小的模型大小和更低的计算复杂性。特别是，在具有670 K标签的Amazon数据集上，与AttentionXML相比，LightXML可以将模型大小减少72%。
2021-01-09 cs.CL cs.LG
Modeling Text-Label Alignment for Hierarchical Text Classification
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
针对层次文本分类中文本与动态标签层次对齐困难的问题，提出基于对比学习的文本-标签对齐损失及HTLA模型，结合BERT和GPTrans生成层次感知表示，在基准数据集上验证了有效性。
2024-09-01 cs.CL
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University（麦吉尔大学）
本文针对多标签文本分类中标注稀缺问题，提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法，在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Accurate Use of Label Dependency in Multi-Label Text Classification Through the Lens of Causality
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）
针对多标签文本分类中标签依赖被误用导致预测偏差的问题，提出反事实文本分类器（CFTC），利用因果推断消除相关性捷径，在三个数据集上显著优于基线。
2023-10-11 cs.AI cs.CL cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
针对现有层次多标签文本分类（HMTC）对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题，提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL，在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University（上海外国语大学）
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验，揭示了标签平滑不仅能提升分类性能，还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
GILE: A Generalized Input-Label Embedding for Text Classification
Idiap Research Institute（IDIAP研究所）
神经文本分类模型通常将输出标签视为缺乏描述和语义的分类变量。这迫使它们的参数化依赖于标签集的大小，因此，它们无法扩展到大型标签集并推广到不可见的标签集。现有的联合输入标签文本模型通过利用标签描述来克服这些问题，但它们无法捕获复杂的标签关系，具有严格的参数化，并且它们在看不见的标签上的增益通常是以训练期间看到的标签的弱性能为代价的。在本文中，我们提出了一个新的输入标签模型，它概括了以前的这种模型，解决了它们的局限性，并且不会影响看到的标签的性能。该模型由一个容量可控的联合非线性输入-标签嵌入和一个联合空间相关的分类单元组成，该分类单元采用交叉熵损失进行训练以优化分类性能。我们评估模型的全资源和低或零资源的多语言新闻和生物医学文本分类与一个大的标签集。我们的模型优于单语和多语言模型，不利用标签语义和以前的联合输入标签空间模型在这两种情况下。
2019-01-30 cs.CL
Automatically Identifying Words That Can Serve as Labels for Few-Shot Text Classification
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心（LMU Munich））；LMU Munich（慕尼黑大学）
最近的一种用于Few-Shot文本分类的方法是将文本输入转换为包含某种形式的任务描述的完形填空题，用预先训练的语言模型处理它们，并将预测的单词映射到标签。手动定义单词和标签之间的映射需要领域专业知识和对语言模型能力的理解。为了缓解这个问题，我们设计了一种方法，自动找到这样的映射给少量的训练数据。对于许多任务，我们的方法找到的映射执行几乎手工制作的标签到单词的映射。
2020-10-26 cs.AI cs.CL cs.LG
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University（浙江师范大学）；Stanford University（斯坦福大学）
在自然语言处理中，极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类（XMTC）的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就，但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义，但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络（GUDN），以帮助微调预训练模型，以指导以后的分类。此外，GUDN使用原始标签语义结合一个有用的标签加固策略，有效地探索文本和标签之间的潜在空间，缩小语义差距，这可以进一步提高预测精度。实验结果表明，GUDN在Eurlex-4k上的性能优于最先进的方法，并且在其他流行的数据集上具有竞争力的结果。在另一个实验中，我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification
Qifu Technology（奇富科技）；Peking University（北京大学）
本文针对 SemEval-2023 任务 4 的多标签人类价值观识别问题，提出基于 Roberta 的标签表示多头注意力模型，并结合对比学习增强的 K 近邻机制，最终在测试集上取得 F1 分数 0.533、排名第四的成绩。
2023-07-11 cs.CL
Deep Semantic Role Labeling with Self-Attention
Xiamen University（厦门大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
语义角色标注（SRL）被认为是自然语言理解的关键步骤，并得到了广泛的研究。近年来，基于递归神经网络（RNN）的端到端SRL得到了越来越多的关注。然而，RNN处理结构信息和长程依赖关系仍然是一个主要挑战。在本文中，我们提出了一个简单而有效的架构SRL，旨在解决这些问题。我们的模型是基于自我注意力，它可以直接捕捉两个令牌之间的关系，而不管它们的距离。我们的单个模型在CoNLL-2005共享任务数据集上实现了F $_1=83.4$，在CoNLL-2012共享任务数据集上实现了F $_1=82.7$，分别通过$1.8$和$1.0$ F $_1$得分优于先前的最先进的结果。此外，我们的模型是计算效率高，解析速度是每秒50 K令牌在一个泰坦X GPU。
2017-12-05 cs.CL
Extreme Multi-Label Legal Text Classification: A case study in EU Legislation
Athens University of Economics and Business（雅典经济与商业大学）；University of Sheffield（谢菲尔德大学）
我们认为极端多标签文本分类（XMTC）在法律领域的任务。我们发布了来自欧盟公共文件数据库EURLEX的57 K立法文件的新数据集，并使用多学科词库EUROVOC的概念进行注释。该数据集比以前的EURLEX数据集大得多，适用于XMTC、Few-Shot和零样本学习。通过对几种神经分类器的实验，我们发现，具有自我注意力的BIGRU优于目前采用标签式注意力的多标签最先进的方法。在标签式注意力网络中，用BIGRU取代CNN可以获得最佳的整体性能。
2019-05-26 cs.CL
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Web Services AI Labs（亚马逊云服务人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）
在文本分类任务中，有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而，在预训练过程中使用标签语义还没有得到广泛的探讨。因此，我们提出标签语义感知预训练（LSAP），以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练，将标签语义纳入预训练的生成模型（在我们的案例中为T5）。由于一般领域的预训练需要大量的数据，我们开发了一个过滤和标记管道，可以从未标记的文本中自动创建标记-标签对。我们对意图（ATIS，Snips，TOPv 2）和主题分类（AG News，Yahoo！答案）。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进，同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification
Sunshine Insurance Group Corporation Limited（阳光保险集团股份有限公司）；Tsinghua University（清华大学）
本文提出一种标签依赖感知的集合预测网络，利用图卷积网络建模标签相关性，并引入Bhattacharyya距离提升召回，在多标签文本分类任务上优于现有基线。
2024-03-14 cs.CL
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
在这篇文章中，我们将提出一个自然语言处理的文本分类过程中使用基于内容的路由器。本文的最终目标是从广告的纯文本中预测合法广告所描述的事件。这个问题纯粹是一个监督问题，将涉及使用NLP技术和传统的建模方法，通过使用多标签残差卷积神经网络的文本分类。我们将解释到位的方法来解决分类广告的问题，遇到的困难和实验结果。
2022-09-30 cs.AI cs.CL cs.LG
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent Cloud Xiaowei（腾讯云小微）
在多标签文本分类（MLTC）中，每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性，以前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而，它们往往遭受标签顺序依赖性，标签组合过拟合和错误传播问题。为了解决这些问题，我们引入了一种新的多任务学习方法来增强标签相关性反馈。我们首先利用联合嵌入（JE）机制，同时获得文本和标签表示。在MLTC任务中，采用文档-标签交叉注意（CA）机制来生成更具区分力的文档表示。此外，我们还提出了两个辅助标签共现预测任务来增强标签相关性学习：1）成对标签共现预测（PLCP）和2）条件标签共现预测（CLCP）。在AAPD和RCV 1-V2数据集上的实验结果表明，该方法的性能大大优于竞争基线。我们分析了低频标签性能，标签依赖性，标签组合多样性和覆盖速度，以显示我们提出的方法对标签相关性学习的有效性。
2021-06-06 cs.CL
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University（女王大学创新实验室研究所与电子与计算机工程系）；Amazon.com Inc（亚马逊公司）
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型，使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近，像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而，在现有的工作中，预训练的模型没有得到充分的研究，因为它们不会为文本或标签生成单独的矢量表示，因此将它们与传统的图形编码方法相结合是不直观的。在本文中，我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理（RLHR）的方法，以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时，为了克服平面预测的弱点，我们设计了一个回滚算法，可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明，我们的方法取得了更好的性能，并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL
LiGCN: Label-interpretable Graph Convolutional Networks for Multi-label Text Classification
Yale University（耶鲁大学）；Trinity College Dublin（都柏林圣三一学院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；University of Tokyo（东京大学）；University College Dublin（都柏林大学）
多标签文本分类（MLTC）是自然语言处理（NLP）中一个极具吸引力和挑战性的研究课题。与单标签文本分类相比，MLTC在实际中有着更广泛的应用。在本文中，我们提出了一个标签可解释的图卷积网络模型来解决MLTC问题，通过建模令牌和标签的节点在一个异构的图。通过这种方式，我们能够考虑多种关系，包括令牌级关系。此外，该模型允许更好的可解释性预测的标签作为标记标签的边缘被暴露。我们在四个真实世界的数据集上评估了我们的方法，它与选定的基线方法相比取得了有竞争力的分数。具体而言，该模型在小标签集MLTC中实现了0.14的F1得分增益，在大标签集场景中实现了0.07的F1得分增益。
2022-05-22 cs.CL
Label-Wise Document Pre-Training for Multi-Label Text Classification
Center of Intelligence Science and Technology, Beijing University of Posts and Telecommunications（北京邮电大学智能科学与技术中心）
多标签文本分类（MLTC）的一个主要挑战是刺激性地利用可能的标签差异和标签相关性。在本文中，我们通过开发Label-Wise Pre-Training（LW-PT）方法来解决这一挑战，以获得具有标签感知信息的文档表示。其基本思想是，多标签文档可以表示为多个标签表示的组合，并且相关标签总是在相同或相似的文档中共存。LW-PT通过构建标签式文档分类任务和训练标签式文档编码器来实现这一思想。最后，预训练的标签式编码器通过下游MLTC任务进行微调。大量的实验结果表明，该方法具有显着的优势，比以前的国家的最先进的模型，能够发现合理的标签关系。该代码的发布是为了方便其他研究人员。
2020-08-15 cs.CL
Label prompt for multi-label text classification
Jilin University（吉林大学）
多标签文本分类的关键问题之一是如何利用标签之间的相关性。然而，在复杂和未知的标签空间中直接建模标签之间的相关性是非常具有挑战性的。受语言模型完形填空题思想的启发，本文提出了一种标签掩码多标签文本分类模型（LM-MTC）。LM-MTC能够通过预训练语言模型的强大能力来捕获标签之间的隐式关系。在此基础上，我们为每个潜在的标签分配不同的标记，并以一定的概率随机屏蔽标记，以建立基于标签的屏蔽语言模型（MLM）。我们将MTC和MLM一起进行训练，进一步提高了模型的泛化能力。在多个数据集上的大量实验证明了该方法的有效性。
2023-03-15 cs.AI cs.CL
Text2Tree: Aligning Text Representation to the Label Tree Hierarchy for Imbalanced Medical Classification
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Text2Tree算法，仅利用ICD标签树层次结构，通过级联注意力模块及相似性代理学习和差异性混合学习两种新方案，在不平衡医学文本分类任务上稳定超越现有方法。
2023-11-28 cs.CL
One Size Does Not Fit All: Exploring Variable Thresholds for Distance-Based Multi-Label Text Classification
University of Antwerp (CLiPS)（安特卫普大学（CLiPS））；Textgain
针对多标签文本分类中单一阈值不适用问题，提出利用验证集优化标签特定阈值的新方法，显著优于固定阈值和统一阈值方法。
2025-10-13 cs.AI cs.CL
Is BERT Robust to Label Noise? A Study on Learning with Noisy Labels in Text Classification
Saarland University（萨尔大学）
当人工注释者出错或数据是通过弱监督或远程监督生成时，训练数据中的不正确标签就会出现。它已被证明，复杂的噪声处理技术-通过建模，清理或过滤的嘈杂的情况下-需要防止模型拟合这个标签噪声。然而，我们在这项工作中表明，对于使用现代NLP模型（如BERT）的文本分类任务，在各种噪声类型下，现有的噪声处理方法并不总是提高其性能，甚至可能使其恶化，这表明需要进一步研究。我们还通过全面的分析来支持我们的观察。
2022-04-20 cs.CL
Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy
University of Malaya（马来亚大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）
极端多标签文本分类利用标签层次结构将极端标签划分为多个标签组，将任务转化为简单的多组多标签分类任务。目前的研究将标签编码为固定长度的向量，需要为不同的标签组建立多个分类器。问题是如何只构建一个分类器而不牺牲层次结构中的标签关系。本文采用多答案提问任务进行极端多标签分类。本文还提出了一种辅助分类评价指标。本研究将所提出的方法与评估指标应用于法律领域。讨论了合法Berts的利用和任务分配的研究。实验结果表明，提出的层次结构和多答案提问任务可以对EURLEX数据集进行极端的多标签分类。而在对多标签分类任务进行微调时，领域自适应的BERT模型在本实验中并没有表现出明显的优势。该方法在理论上也适用于零样本学习。
2023-03-02 cs.CL
Balancing Methods for Multi-label Text Classification with Long-Tailed Class Distribution
Roche (China) Holding Ltd.（罗氏（中国）控股有限公司）；Bogazici University（博加齐奇大学）；Roche Müstahzarları San A.Ş.（罗氏制药工业股份公司）；F. Hoffmann-La Roche AG（霍夫曼-拉罗氏公司）
多标签文本分类是一项具有挑战性的任务，因为它需要捕获标签依赖性。当类分布是长尾分布时，它变得更具挑战性。恢复和重新加权是用于解决类不平衡问题的常用方法，然而，当除了类不平衡之外还存在标签依赖时，它们是无效的，因为它们导致对公共标签的过采样。本文介绍了平衡损失函数在多标签文本分类中的应用。我们在一个有90个标签的一般域数据集（路透社-21578）和一个有18211个标签的PubMed域特定数据集上进行实验。我们发现，一个分布平衡的损失函数，它本质上解决了类的不平衡和标签链接的问题，优于常用的损失函数。分布均衡方法已成功地应用于图像识别领域。在这里，我们展示了它们在自然语言处理中的有效性。源代码可在https://github.com/Roche/BalancedLossNLP上获得。
2021-10-15 cs.CL
Multi-Task Label Embedding for Text Classification
State Key Lab of Advanced Optical Communication System and Network（区域光纤通信网与新型光通信系统国家重点实验室）
文本分类中的多任务学习利用相关任务之间的隐式相关性来提取共同特征并获得性能增益。然而，大多数以前的工作将每个任务的标签视为独立且无意义的独热向量，这导致潜在信息的丢失，并且使得这些模型难以联合学习三个或更多任务。本文提出了多任务标签嵌入技术，将文本分类中的标签转换为语义向量，从而将原始任务转化为向量匹配任务。我们实现了多任务标签嵌入的无监督，监督和半监督模型，所有这些模型都利用了任务之间的语义相关性，并且随着涉及更多任务，扩展和传输变得特别方便。在五个文本分类基准数据集上的大量实验表明，我们的模型可以有效地提高相关任务的性能，标签的语义表示和彼此的附加信息。
2017-10-17 cs.CL
Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification
Fudan University（复旦大学）；University of Sydney（悉尼大学）
图神经网络（GNN）在图节点分类任务中已经普遍存在。大多数GNN方法通过聚集其邻居的信息来迭代地更新节点嵌入。然而，他们经常遭受负面的干扰，由于边缘连接节点与不同的标签。减轻这种负面干扰的一种方法是使用注意力来学习聚合的权重，但目前基于注意力的GNN只考虑特征相似性，并且缺乏监督。在本文中，我们考虑了图节点的标签依赖，并提出了一个解耦的注意力机制学习硬和软的注意力。通过对具有较少类间边的精细图结构的标签学习硬注意力，从而减少聚集的负干扰。软注意力的目的是学习基于特征的聚合权重，以增强消息传递过程中的信息增益。特别是，我们制定我们的模型下EM框架，学习的注意是用来指导标签传播的M-步骤和特征传播的E-步骤，分别。在六个著名的基准图数据集上进行了大量的实验，以验证所提出的方法的有效性。
2022-02-01 cs.AI cs.LG
Recent Advances in Hierarchical Multi-label Text Classification: A Survey
Beijing University Of Posts and Telecommunications（北京邮电大学）；Patent Examination Cooperation, CNIPA（国家知识产权局专利审查协作中心）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）
本文综述了分层多标签文本分类的最新进展，涵盖开源数据集、主要方法、评估指标、学习策略及当前挑战，并提出了未来的研究方向。
2023-07-30 cs.AI cs.CL
Attention based Sentence Extraction from Scientific Articles using Pseudo-Labeled data
DA-IICT
在这项工作中，我们提出了一个弱监督的句子提取技术，以确定重要的句子在科学论文中，是值得列入摘要。我们提出了一种新的基于注意力的深度学习架构，该架构联合学习以识别重要内容，以及指示值得总结的句子的提示短语。我们提出了一种新的上下文嵌入技术，用于使用主题模型确定给定论文的焦点，并将其与基于LSTM的序列编码器联合使用，以学习句子单词的注意力权重。我们使用ACL anthology公开提供的文章集合进行实验。我们的系统实现了更好的性能，在几个ROUGE指标方面，相比几个国家的最先进的提取技术。它还生成了更连贯的摘要，并保留了文件的整体结构。
2018-02-13 cs.AI cs.CL cs.IR
Label Confusion Learning to Enhance Text Classification Models
AI Lab, School of Information Management and Engineering, Shanghai University of Finance and Economics（上海财经大学信息管理与工程学院AI实验室）
将真实标签表示为独热向量是训练文本分类模型的常见做法。然而，one-hot表示可能不能充分反映实例和标签之间的关系，因为标签通常不是完全独立的，并且实例在实践中可能涉及多个标签。不充分的one-hot表示往往会使模型训练过度自信，这可能导致任意预测和模型过拟合，特别是对于混乱的数据集（具有非常相似的标签的数据集）或噪声数据集（具有标签错误的数据集）。虽然使用标签平滑（LS）的训练模型可以在一定程度上缓解这个问题，但它仍然无法捕捉标签之间的真实关系。在本文中，我们提出了一种新的标签混淆模型（LCM）作为增强组件，目前流行的文本分类模型。LCM可以通过在训练过程中计算实例和标签之间的相似度来学习标签混淆以捕获标签之间的语义重叠，并生成更好的标签分布来替换原始的one-hot标签向量，从而提高最终的分类性能。在五个文本分类基准数据集上进行的大量实验揭示了LCM对几种广泛使用的深度学习分类模型的有效性。进一步的实验也验证了LCM方法对混乱或噪声数据集的处理特别有效，并且优于标签平滑方法。
2020-12-09 cs.AI cs.CL
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University（阿尔托大学）
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而，关于这个主题的现有研究主要利用卷积和递归神经网络，它们通常比新型Transformers的性能要差。另一方面，应用Transformers的系统只关注目标文档，忽略了标签描述所包含的丰富语义信息。为了解决这个问题，我们开发了一个基于transformer的生物医学文本分类器，考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型（PTM）。我们在两个公共医疗数据集上的结果表明，所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Constructing Artificial Data for Fine-tuning for Low-Resource Biomedical Text Tagging with Applications in PICO Annotation
University College London（伦敦大学学院）；AIG（美国国际集团）
生物医学文本标记系统受到标记训练数据缺乏的困扰。最近已经尝试使用预先训练的编码器来处理这个问题。预训练的编码器提供输入文本的表示，然后将其馈送到特定于任务的层进行分类。整个网络根据来自目标任务的标记数据进行微调。不幸的是，一个低资源的生物医学任务往往有太少的标记的例子，令人满意的微调。此外，如果标签空间很大，则对于大多数标签，它包含很少或不包含带标签的实例。大多数生物医学标记系统将标签视为索引，忽略了这些标签通常是以自然语言表达的概念的事实，例如"脑成像上病变的外观"。为了解决这些问题，我们建议使用标签文本（即标签的名称）作为相应的标签索引（即标签的索引）的输入来构建额外的标签实例。事实上，我们提出了一些策略，从一个标签制造多个人工标记的实例。然后，网络在真实和这些新构建的人工标记实例的组合上进行微调。我们评估了一个重要的低资源生物医学任务称为\textit{PICO annotation}，这需要标记原始文本描述临床试验与标签对应的不同方面的试验，即PICO（人群，干预/对照，结果）的试验特征。我们的实证结果表明，所提出的方法实现了一个新的国家的最先进的性能PICO注释与竞争对手的基线非常显着的改善。
2020-01-14 cs.CL cs.LG stat.ML
Hierarchically-Refined Label Attention Network for Sequence Labeling
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
CRF已被用作统计序列标记的强大模型。然而，对于神经序列标记，与BiLSTM-softmax局部分类相比，BiLSTM-CRF并不总是产生更好的结果。这可能是因为CRF的简单马尔可夫标签转换模型在强神经编码上没有提供太多的信息增益。为了更好地表示标签序列，我们研究了一个分层细化的标签注意力网络，该网络明确地利用标签嵌入，并通过给每个单词递增细化的标签分布与分层注意力来捕获潜在的长期标签依赖性。在词性标注、NER和CCG超标注上的实验结果表明，该模型不仅在参数数量相近的情况下提高了整体标注准确率，而且与BiLSTM-CRF相比，训练和测试速度明显加快。
2019-11-07 cs.CL
A Pseudo Label-wise Attention Network for Automatic ICD Coding
Central South University（中南大学）；Old Dominion University（欧道明大学）
自动国际疾病分类（ICD）编码被定义为一种文本多标签分类问题，由于标签数量非常大且标签分布不均衡，因此具有一定的难度。标签式注意力机制被广泛应用于自动ICD编码中，因为它可以为不同ICD代码的完整电子病历（EMR）中的每个单词分配权重。然而，标签式注意力机制是计算冗余和昂贵的。在本文中，我们提出了一个伪标签明智的注意力机制来解决这个问题。伪标签式注意力机制自动合并相似的ICD代码，并针对相似的ICD代码仅计算一种注意力模式，而不是针对不同的ICD代码计算不同的注意力模式，这极大地压缩了注意力模式的数量并提高了预测精度。此外，我们采用了一种更方便有效的方法来获得ICD向量，因此我们的模型可以通过计算EMR向量和ICD向量之间的相似度来预测新的ICD代码。大量的实验表明，我们的模型的优越性能。在公共MIMIC-III数据集和私有Xiangya数据集上，我们的模型分别达到了0.583和0.806的微观f1，优于其他竞争模型。此外，我们验证了我们的模型在预测新的ICD代码的能力。本研究的案例展示了伪标签式注意是如何工作的，并证明了伪标签式注意力机制的有效性。
2021-06-18 cs.CL
Assertion Detection in Multi-Label Clinical Text using Scope Localization
Siemens Healthineers（西门子医疗）
临床领域中的多标签语句（文本）源于对患者护理过程中场景的丰富描述。用于断言检测的最先进的方法主要通过为每个句子（文本）设置单个断言标签来解决此任务。此外，很少有基于规则的方法和深度学习方法在单标签文本上执行否定/断言范围检测。这是一个重大的挑战，扩展这些方法来解决多标签的句子，而不降低性能。因此，我们开发了一种卷积神经网络（CNN）架构，以单阶段端到端的方式定位多个标签及其范围，并证明我们的模型在多标签临床文本上的表现至少比最先进的模型好12%。
2020-05-19 cs.CL cs.CV cs.LG
Position-Aware Self-Attention based Neural Sequence Labeling
School of Computer Science and Technology, Huazhong University of Science and Technology (HUST)（华中科技大学计算机科学与技术学院）；School of Computer, Beijing Institute of Technology（北京理工大学计算机学院）；School of Computer, Central China Normal University（华中师范大学计算机学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST)（华中科技大学电子信息与通信学院）
序列标注是自然语言处理中的一项基本任务，已得到广泛的研究。最近，基于RNN的序列标记模型越来越受到关注。尽管通过学习长短期（即，连续）依赖性，顺序处理输入的方式可能限制捕获句子内的标记上的非连续关系的能力。为了解决这个问题，我们专注于如何有效地建模连续和离散的依赖关系，每个令牌，以提高序列标记的性能。具体来说，我们提出了一个创新的基于注意力的模型（称为位置感知的自我注意力，即，PSA）以及神经网络架构内的精心设计的自注意上下文融合层，以探索输入序列的位置信息，用于捕获令牌之间的潜在关系。对序列标记领域的三个经典任务进行了广泛的实验，词性标注、命名实体识别和短语组块等实验结果表明，在没有任何外部知识的情况下，我们提出的模型在各种度量方面都优于现有技术。
2021-10-16 cs.CL cs.LG
Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
Khoury College of Computer Sciences, Northeastern University（东北大学克劳利计算机科学学院）
PLANT通过学习排序模型预训练注意力，提升多标签文本分类性能，尤其在少样本和稀有标签任务中表现突出。
2025-12-26 cs.CL cs.LG
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
A Label Attention Model for ICD Coding from Clinical Text
Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，澳大利亚联邦科学与工业研究组织）；VinAI Research（VinAI研究院）
ICD编码是将国际疾病分类诊断代码分配给卫生专业人员（如临床医生）记录的临床/医疗记录的过程。该过程需要大量的人力资源，因此成本高且容易出错。为了处理该问题，机器学习已经被用于自动ICD编码。以前的最先进的模型是基于卷积神经网络，使用单个/几个固定的窗口大小。然而，临床文本中与ICD代码相关的文本片段之间的长度和相互依赖性差异很大，导致难以确定最佳窗口大小。在本文中，我们提出了一个新的标签注意力模型的自动ICD编码，它可以处理的ICD代码相关的文本片段的不同长度和相互依赖性。此外，由于大多数ICD代码不经常使用，导致数据极不平衡的问题，我们还提出了一个分层的联合学习机制，扩展我们的标签注意力模型来处理这个问题，使用代码之间的层次关系。我们的标签注意力模型在三个基准MIMIC数据集上取得了新的最先进的结果，联合学习机制有助于提高非频繁代码的性能。
2020-07-13 cs.CL cs.LG
Paying Per-label Attention for Multi-label Extraction from Radiology Reports
Canon Medical Research Europe（佳能医疗欧洲研究中心）；University of St Andrews（圣安德鲁斯大学）；Institute of Neuroscience & Psychology, University of Glasgow（格拉斯哥大学神经科学与心理学研究所）；University of Edinburgh（爱丁堡大学）
训练医学图像分析模型需要大量的专业注释数据，这是耗时和昂贵的获得。图像通常伴随着自由文本放射学报告，这是一个丰富的信息来源。在本文中，我们使用深度学习从头部CT报告中自动提取结构化标签，用于疑似中风患者的成像。首先，我们提出了一组31个标签，对应于与神经系统异常相关的放射学发现（例如高密度）和临床印象（例如出血）。其次，受以前工作的启发，我们扩展了现有的国家的最先进的神经网络模型与标签依赖的注意力机制。使用这种机制和简单的合成数据增强，我们能够鲁棒地提取许多标签与一个单一的模型，根据放射科医生的报告（阳性，不确定，阴性）进行分类。该方法可用于进一步的研究，以有效地从医学文本中提取多个标签。
2020-08-07 cs.CL cs.LG eess.IV
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University（首尔国立大学）；Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
在本文中，我们提出了一个基于注意力的分类器，预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程，它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用，我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型，其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia（不列颠哥伦比亚大学）；Curai（Curai公司）；Vatic Investments（Vatic投资公司）
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表，要么需要跨度注释。在本文中，我们提出了一种方法，用于连接一组开放的实体，不需要任何跨度注释。我们的方法，开放集标签注意力Transformer（OSLAT），使用标签-注意力机制来学习候选实体上下文文本表示。我们发现，OSLAT不仅可以链接实体，但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT：（1）在没有显式跨度注释的情况下训练跨度提取，以及（2）在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
