Extreme Zero-Shot Learning for Extreme Text Classification
极限多标签文本分类（XMC）问题涉及从大型标签集中为输入文本实例找到最相关的标签。然而，XMC设置面临两个挑战：（1）在动态环境中预测看不见的标签是不可推广的，以及（2）它需要大量的监督（实例，标签）对，这对于新兴领域来说可能很难获得。最近，广义zero-shot XMC（GZ-XMC）的设置已被研究和ZestXML相应地提出来处理看不见的标签，这仍然需要大量的注释（实例，标签）对。在本文中，我们考虑一个更实际的场景称为极端Zero-Shot XMC（EZ-XMC），其中不需要监督，只有原始文本的实例和标签是可访问的。Few-Shot XMC（FS-XMC）是EZ-XMC的扩展，具有有限的监督。为了学习实例和标签与原始文本的语义嵌入，我们建议使用自监督对比损失来预训练基于transformer的编码器。具体来说，我们开发了一种预训练方法MACLR，它充分利用了原始文本的技术，包括多尺度自适应聚类，标签正则化和使用伪正对的自我训练。在四个公共EZ-XMC数据集上的实验结果表明，与所有其他领先的基线方法相比，MACLR实现了更好的性能，特别是平均精度和召回率提高了约5-10%。此外，我们还表明，当训练中有有限数量的地面真值阳性对时，我们的预训练编码器可以在FS-XMC上进一步改进。通过在这样的Few-Shot子集上微调编码器，MACLR仍然显著优于其他极端分类器。
2021-12-16 cs.CL cs.LG
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
Georgia State University（佐治亚州立大学）
针对极端多标签文本分类中稀疏标签嵌入的局限，提出MatchXML框架，通过label2vec生成稠密标签嵌入、构建分层标签树，结合多类特征训练线性排序器，在准确率和速度上均优于现有方法。
2024-03-11 cs.CL cs.LG
Data Programming using Continuous and Quality-Guided Labeling Functions
IIT Bombay（印度理工学院孟买分校）
标记数据的稀缺性是监督学习模型的瓶颈。为处理这个问题而发展的一种范例是数据编程。现有的数据编程范式允许人类监督提供一组离散的标签功能（LF），输出可能有噪声的标签输入实例和生成模型巩固弱标签。我们通过支持输出与标签噪声相关的连续分数（而不是硬标签）的函数来增强和推广这种范式。我们在五个应用程序中表明，连续的LF更自然地编程，并导致更好的召回。我们还表明，现有的生成模型的准确性是不稳定的初始化，训练时期，和学习率。我们将控制权交给数据程序员，通过为每个LF提供直观的质量指南来指导培训过程。我们提出了一个优雅的方法，将这些指南的生成模型。我们的整体方法，称为CAGE，使数据编程范式比其他基于初始化，符号惩罚或软精度约束的技巧更可靠。
2019-11-22 cs.CL cs.LG stat.ML
DECAF: Deep Extreme Classification with Label Features
IIT Delhi（德里印度理工学院）；Microsoft Research（微软研究院）；IIT Kanpur（坎普尔印度理工学院）
极端多标签分类（XML）涉及使用来自极大标签集的最相关标签子集来标记数据点，具有若干应用，例如具有数百万产品的产品到产品推荐。虽然领先的XML算法可以扩展到数百万个标签，但它们在很大程度上忽略了标签元数据，如标签的文本描述。另一方面，可以通过使用深度网络的表示学习来利用标签元数据的经典技术在极端环境中挣扎。本文开发了DECAF算法，通过学习由标签元数据丰富的模型来解决这些挑战，这些标签元数据使用深度网络联合学习模型参数和特征表示，并在数百万标签的规模上提供准确的分类。DECAF对模型架构设计、初始化和训练做出了具体贡献，使其能够在公开可用的基准产品到产品推荐数据集（如LF-AmazonTitles-1.3M）上提供比领先的极端分类器高出2-6%的准确预测。与此同时，DECAF的推理速度比领先的深度极端分类器快22倍，这使得它适用于需要在几毫秒内进行预测的实时应用。DECAF的代码可在以下URL https://github.com/Extreme-classification/DECAF上获得。
2021-08-01 cs.CL cs.IR cs.LG
Label Semantic Expansion via Label Guided Neural Topic Modeling
Division of Artificial Intelligence, Lingnan University（岭南大学人工智能学院）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院）
该研究提出LGNTM模型，通过“主题服务于标签”的标签语义扩展方法，在多任务实验中展现出优异的标签-主题对齐、标签扩展等性能。
2026-09-01 cs.AI cs.CL
Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy
University of Malaya（马来亚大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）
极端多标签文本分类利用标签层次结构将极端标签划分为多个标签组，将任务转化为简单的多组多标签分类任务。目前的研究将标签编码为固定长度的向量，需要为不同的标签组建立多个分类器。问题是如何只构建一个分类器而不牺牲层次结构中的标签关系。本文采用多答案提问任务进行极端多标签分类。本文还提出了一种辅助分类评价指标。本研究将所提出的方法与评估指标应用于法律领域。讨论了合法Berts的利用和任务分配的研究。实验结果表明，提出的层次结构和多答案提问任务可以对EURLEX数据集进行极端的多标签分类。而在对多标签分类任务进行微调时，领域自适应的BERT模型在本实验中并没有表现出明显的优势。该方法在理论上也适用于零样本学习。
2023-03-02 cs.CL
TLAG: An Informative Trigger and Label-Aware Knowledge Guided Model for Dialogue-based Relation Extraction
Peking University（北京大学）
基于对话的关系抽取（DRE）旨在预测对话中所提及的论元对的关系类型。最新的生物增强方法提出了触发预测任务，以促进DRE。然而，这些方法不能充分利用触发信息，甚至会给关系抽取带来噪声。为了解决这些问题，我们提出了TLAG，它充分利用触发器和标签感知的知识来指导关系抽取。首先，我们设计了一个自适应触发融合模块，充分利用触发信息。然后，我们引入标签感知知识，以进一步提高我们的模型的性能。在DialogRE数据集上的实验结果表明，TLAG的性能优于基准模型，详细的分析表明了该方法的有效性。
2023-03-30 cs.CL
LST: Lexicon-Guided Self-Training for Few-Shot Text Classification
Yonsei University（延世大学）
自训练提供了一种有效的方法，可以使用极少量的标记数据为未标记数据创建伪标签。许多最先进的自训练方法都依赖于不同的正则化方法来防止过拟合和提高泛化能力。然而，它们仍然严重依赖于最初用有限的标记数据作为伪标签训练的预测，并且可能会根据第一次预测将过度自信的标签信念放在错误的类别上。为了解决文本分类中的这个问题，我们引入了LST，这是一种简单的自训练方法，它使用词典以丰富的语言方式指导伪标签机制。我们通过预测看不见的数据的置信度来不断改进词典，以便在训练迭代中更好地教授伪标签。我们证明，这种简单而精心制作的词汇知识实现了1.0-2.0%的性能比目前最先进的方法，每类30个标记的样本的五个基准数据集。
2022-02-05 cs.CL
ECLARE: Extreme Classification with Label Graph Correlations
IIT Delhi（德里印度理工学院）；UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）；IIT Kanpur（坎普尔印度理工学院）
深度极端分类（XC）旨在训练深度架构，这些架构可以使用极大标签集中最相关的标签子集来标记数据点。XC的核心效用来自于预测训练过程中很少看到的标签。这种罕见的标签是个性化推荐的关键，可以让用户感到高兴和惊讶。然而，大量的稀有标签和每个稀有标签的少量训练数据提供了显著的统计和计算挑战。最先进的深度XC方法试图通过合并标签的文本描述来解决这个问题，但没有充分解决这个问题。本文介绍了ECLARE，这是一种可扩展的深度学习架构，不仅包含标签文本，还包含标签相关性，可在几毫秒内提供准确的实时预测。ECLARE的核心贡献包括一个简单的架构和可扩展的技术，以训练深度模型以及数百万标签规模的标签相关图。特别是，ECLARE提供的预测是2%至14%以上的准确性都公开可用的基准数据集，以及专有数据集的相关产品推荐任务来源于必应搜索引擎。ECLARE代码可在https://github.com/Extreme-classification/ECLARE上找到。
2021-07-31 cs.CL cs.IR cs.LG
Label-Guided Prompt for Multi-label Few-shot Aspect Category Detection
Shenyang Aerospace University（沈阳航空航天大学）；Beijing Normal University（北京师范大学）
针对多标签少样本方面类别检测中关键词方法易受类别无关词干扰的问题，提出标签引导提示方法，结合上下文语义和大型语言模型生成的类别描述构建判别性原型，在两个公开数据集上Macro-F1提升3.86%-4.75%。
2024-07-30 cs.AI cs.CL
CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification
Aalto University（阿尔托大学）
极端多标签文本分类（XMC）涉及学习一个分类器，该分类器可以从数百万个标签选择中为输入分配最相关的标签子集。最近的方法（如XR-Transformer和LightXML）利用Transformer实例来实现最先进的性能。然而，在这个过程中，这些方法需要在性能和计算要求之间做出各种权衡。与基于Bi-LSTM的AttentionXML相比，一个主要的缺点是它们无法在标签树中为每个分辨率保留单独的特征表示。因此，我们提出了CascadeXML，一个端到端的多分辨率学习管道，它可以利用多层架构的Transformer模型参加不同的标签分辨率与单独的功能表示。CascadeXML显著优于所有现有的方法，在由多达300万个标签组成的基准数据集上获得了非平凡的收益。CascadeXML的代码将在\url{https://github.com/xmc-aalto/cascadexml}上公开提供。
2022-10-29 cs.CL cs.LG stat.ML
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University（浙江师范大学）；Stanford University（斯坦福大学）
在自然语言处理中，极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类（XMTC）的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就，但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义，但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络（GUDN），以帮助微调预训练模型，以指导以后的分类。此外，GUDN使用原始标签语义结合一个有用的标签加固策略，有效地探索文本和标签之间的潜在空间，缩小语义差距，这可以进一步提高预测精度。实验结果表明，GUDN在Eurlex-4k上的性能优于最先进的方法，并且在其他流行的数据集上具有竞争力的结果。在另一个实验中，我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
Semantic Role Labeling Guided Multi-turn Dialogue ReWriter
Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
对于多轮对话重写，有效地建模对话上下文中的语言知识并去除噪声的能力是提高其性能的关键。现有的注意力模型在没有预先关注的情况下关注所有的单词，这导致对一些不准确的单词的不准确集中。在本文中，我们建议使用语义角色标注（SRL），它突出了谁对谁做了什么的核心语义信息，为重写器模型提供额外的指导。实验表明，这些信息显着改善了基于RoberTa的模型，该模型已经优于以前的最先进的系统。
2020-10-03 cs.AI cs.CL
Uncertainty Guided Label Denoising for Document-level Distant Relation Extraction
Nanjing University of Science and Technology（南京理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Northeastern University（东北大学）
本文提出UGDRE框架，通过实例级不确定性估计和针对长尾关系的动态阈值筛选伪标签，有效降低文档级远程关系抽取中的标签噪声，并在RE-DocRED上显著超越强基线。
2023-05-26 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Inferring Prototypes for Multi-Label Few-Shot Image Classification with Word Vector Guided Attention
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；CRIL - University of Artois & CNRS（法国国立计算机与自动化研究所 - 阿图瓦大学与法国国家科学研究中心）；University of Essex（埃塞克斯大学）；Cardiff University（卡迪夫大学）
多标签Few-Shot图像分类（ML-FSIC）是基于少量训练样本为先前未见过的图像分配描述性标签的任务。多标签设置的一个关键特性是图像通常具有多个标签，这些标签通常指的是图像的不同区域。因此，在基于度量的设置中，当估计原型时，确定哪些区域与哪些标签相关是重要的，但是有限的训练数据量使得这非常具有挑战性。作为一种解决方案，在本文中，我们建议使用词嵌入作为一种形式的先验知识的意义的标签。特别是，视觉原型的支持图像的局部特征图的聚合，使用依赖于标签嵌入的注意力机制。作为一个重要的优势，我们的模型可以推断出未知标签的原型，而不需要微调任何模型参数，这证明了它强大的泛化能力。COCO和PASCAL VOC上的实验进一步表明，我们的模型大大提高了目前的最先进的。
2021-12-07 cs.CL cs.CV
Extreme Multi-Label Legal Text Classification: A case study in EU Legislation
Athens University of Economics and Business（雅典经济与商业大学）；University of Sheffield（谢菲尔德大学）
我们认为极端多标签文本分类（XMTC）在法律领域的任务。我们发布了来自欧盟公共文件数据库EURLEX的57 K立法文件的新数据集，并使用多学科词库EUROVOC的概念进行注释。该数据集比以前的EURLEX数据集大得多，适用于XMTC、Few-Shot和零样本学习。通过对几种神经分类器的实验，我们发现，具有自我注意力的BIGRU优于目前采用标签式注意力的多标签最先进的方法。在标签式注意力网络中，用BIGRU取代CNN可以获得最佳的整体性能。
2019-05-26 cs.CL
On Data Augmentation for Extreme Multi-label Classification
University of Utah（犹他大学）
在本文中，我们专注于数据增强的极端多标签分类（XMC）问题。XMC最具挑战性的问题之一是长尾标签分布，即使是强大的模型也会受到监管不足的影响。为了减轻这种标签偏见，我们提出了一个简单有效的增强框架和一个新的最先进的分类器。我们的增强框架利用预训练的GPT-2模型来生成输入文本的标签不变扰动，以增强现有的训练数据。因此，它比基线模型有了很大的改进。我们的贡献是两个因素：（1）我们引入了一个新的最先进的分类器，它使用标签注意力与RoberTa，并将其与我们的增强框架相结合，以进一步改进;（2）我们提出了一个广泛的研究，在XMC任务中，不同的增强方法有多有效。
2020-09-22 cs.AI cs.CL cs.IR
In-Context Example Ordering Guided by Label Distributions
Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院）；Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；Dataminr, Inc.（Dataminr公司）
本文将上下文示例排序视为优化问题，提出两条由模型概率预测引导的排序原则，在13个数据集和9个自回归LLM上验证其能提升分类准确率、减少校准误差并优化示例选择。
2024-02-18 cs.CL
LLMs are Better Than You Think: Label-Guided In-Context Learning for Named Entity Recognition
Johns Hopkins University（约翰霍普金斯大学）；Optum（奥普姆）
针对现有命名实体识别ICL方法示例检索相关性低的问题，提出无需训练的DEER方法，利用标签token级统计优化示例与纠错，性能超越现有ICL方法且媲美监督微调。
2025-10-29 cs.CL
Financial Numeric Extreme Labelling: A Dataset and Benchmarking for XBRL Tagging
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；Goldman Sachs（高盛集团）
本文针对 SEC 财务报表中数字片段的 XBRL 标签自动分配问题，构建含 2,794 个标签的 FNXL 数据集，并比较序列标注与“抽取+极端分类”流水线，后者在低频标签上略优。
2023-06-06 cs.AI cs.CE cs.CL
