Open Vocabulary Extreme Classification Using Generative Models
Meta AI
极端多标签分类（XMC）任务的目的是用来自极大标签集的标签子集来标记内容。标签词汇表通常由领域专家预先定义，并假定捕获所有必要的标签。然而，在现实世界的情况下，这个标签集，虽然大，往往是不完整的，专家经常需要细化它。开发系统，简化这一过程，我们介绍了开放词汇XMC（OXMC）的任务：给定一个内容，预测一组标签，其中一些可能是已知的标签集之外。因此，除了没有某些标签的训练数据-如zero-shot分类中的情况-模型还需要即时创建一些标签。我们提出了GROOV，一个微调的seq 2seq模型OXMC生成的标签集作为一个平面序列，并使用一个新的损失独立于预测的标签顺序进行训练。我们展示了该方法的有效性，并对流行的XMC数据集进行了实验，GROOV能够预测给定词汇之外的有意义的标签，同时与已知标签的最先进解决方案保持一致。
2022-05-12 cs.CL cs.LG
Extreme Zero-Shot Learning for Extreme Text Classification
极限多标签文本分类（XMC）问题涉及从大型标签集中为输入文本实例找到最相关的标签。然而，XMC设置面临两个挑战：（1）在动态环境中预测看不见的标签是不可推广的，以及（2）它需要大量的监督（实例，标签）对，这对于新兴领域来说可能很难获得。最近，广义zero-shot XMC（GZ-XMC）的设置已被研究和ZestXML相应地提出来处理看不见的标签，这仍然需要大量的注释（实例，标签）对。在本文中，我们考虑一个更实际的场景称为极端Zero-Shot XMC（EZ-XMC），其中不需要监督，只有原始文本的实例和标签是可访问的。Few-Shot XMC（FS-XMC）是EZ-XMC的扩展，具有有限的监督。为了学习实例和标签与原始文本的语义嵌入，我们建议使用自监督对比损失来预训练基于transformer的编码器。具体来说，我们开发了一种预训练方法MACLR，它充分利用了原始文本的技术，包括多尺度自适应聚类，标签正则化和使用伪正对的自我训练。在四个公共EZ-XMC数据集上的实验结果表明，与所有其他领先的基线方法相比，MACLR实现了更好的性能，特别是平均精度和召回率提高了约5-10%。此外，我们还表明，当训练中有有限数量的地面真值阳性对时，我们的预训练编码器可以在FS-XMC上进一步改进。通过在这样的Few-Shot子集上微调编码器，MACLR仍然显著优于其他极端分类器。
2021-12-16 cs.CL cs.LG
Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy
University of Malaya（马来亚大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）
极端多标签文本分类利用标签层次结构将极端标签划分为多个标签组，将任务转化为简单的多组多标签分类任务。目前的研究将标签编码为固定长度的向量，需要为不同的标签组建立多个分类器。问题是如何只构建一个分类器而不牺牲层次结构中的标签关系。本文采用多答案提问任务进行极端多标签分类。本文还提出了一种辅助分类评价指标。本研究将所提出的方法与评估指标应用于法律领域。讨论了合法Berts的利用和任务分配的研究。实验结果表明，提出的层次结构和多答案提问任务可以对EURLEX数据集进行极端的多标签分类。而在对多标签分类任务进行微调时，领域自适应的BERT模型在本实验中并没有表现出明显的优势。该方法在理论上也适用于零样本学习。
2023-03-02 cs.CL
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
Georgia State University（佐治亚州立大学）
针对极端多标签文本分类中稀疏标签嵌入的局限，提出MatchXML框架，通过label2vec生成稠密标签嵌入、构建分层标签树，结合多类特征训练线性排序器，在准确率和速度上均优于现有方法。
2024-03-11 cs.CL cs.LG
Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification
Flexport（飞协博）
极端多标签文本分类（XMTC）是从一个非常大的预定义类别空间中为每个文档添加相关标签的任务。最近，大型预训练的Transformer模型在XMTC中取得了显著的性能改进，XMTC通常使用特殊CLS令牌的嵌入来将整个文档语义表示为全局特征向量，并将其与候选标签进行匹配。然而，我们认为，这样一个全球性的特征向量可能不足以表示不同粒度级别的语义在文档中，并补充它与本地字级功能可以带来额外的收益。基于这一认识，我们提出了一种方法，结合本地和全局功能产生的Transformer模型，以提高分类器的预测能力。我们的实验表明，该模型的性能优于或相当于基准数据集上的最先进的方法。
2022-04-02 cs.CL cs.LG
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University（浙江师范大学）；Stanford University（斯坦福大学）
在自然语言处理中，极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类（XMTC）的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就，但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义，但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络（GUDN），以帮助微调预训练模型，以指导以后的分类。此外，GUDN使用原始标签语义结合一个有用的标签加固策略，有效地探索文本和标签之间的潜在空间，缩小语义差距，这可以进一步提高预测精度。实验结果表明，GUDN在Eurlex-4k上的性能优于最先进的方法，并且在其他流行的数据集上具有竞争力的结果。在另一个实验中，我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification
Aalto University（阿尔托大学）
极端多标签文本分类（XMC）涉及学习一个分类器，该分类器可以从数百万个标签选择中为输入分配最相关的标签子集。最近的方法（如XR-Transformer和LightXML）利用Transformer实例来实现最先进的性能。然而，在这个过程中，这些方法需要在性能和计算要求之间做出各种权衡。与基于Bi-LSTM的AttentionXML相比，一个主要的缺点是它们无法在标签树中为每个分辨率保留单独的特征表示。因此，我们提出了CascadeXML，一个端到端的多分辨率学习管道，它可以利用多层架构的Transformer模型参加不同的标签分辨率与单独的功能表示。CascadeXML显著优于所有现有的方法，在由多达300万个标签组成的基准数据集上获得了非平凡的收益。CascadeXML的代码将在\url{https://github.com/xmc-aalto/cascadexml}上公开提供。
2022-10-29 cs.CL cs.LG stat.ML
A Simple but Effective Closed-form Solution for Extreme Multi-label Learning
Hokkaido University（北海道大学）；The University of Tokyo（东京大学）
针对极端多标签学习现有模型超参数多、复现难的问题，提出基于岭回归的单超参数闭式解方法，结合频率加权增强低频标签预测，在多个基准数据集上性能比肩甚至优于多超参数模型，且实现简单。
2025-01-17 cs.AI cs.CL cs.IR
From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning
Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗肯科特中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出 PUSL，将 OXMC 重构为无限关键词生成任务，并结合 F1@O 与 B@k 指标，缓解缺失标签导致的生成不足和评估失真问题。
2025-01-09 cs.CL cs.IR
OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification
Polytechnic Institute（理工学院）；Zhejiang University（浙江大学）；College of Computer Science and Technology（计算机科学与技术学院）
极端多标签文本分类（XMTC）是从一个非常大规模的标签集合中找到最相关的子集标签的任务。最近，一些深度学习模型在XMTC任务中取得了最先进的成果。这些模型通常通过全连接层作为模型的最后一层来预测所有标签的得分。然而，这样的模型不能为每个文档预测一个相对完整和可变长度的标签子集，因为它们通过固定的阈值选择与文档相关的正标签，或者按照分数的降序取前k个标签。一种不太流行的深度学习模型称为序列到序列（Seq 2Seq），专注于预测序列风格中的可变长度正标签。然而，XMTC任务中的标签本质上是一个无序的集合，而不是一个有序的序列，标签的默认顺序限制了Seq 2Seq模型的训练。为了解决Seq 2Seq中的这一限制，我们提出了一个自回归序列到集合模型，用于XMTC任务，名为OTSeq 2Set。我们的模型生成的预测在学生强迫计划，并训练的损失函数的基础上，使置换不变性的二分匹配。同时，我们使用最佳传输距离作为度量，以迫使模型专注于语义标签空间中最近的标签。实验表明，OTSeq 2Set在4个基准数据集上的性能优于其他竞争基线。特别是，在具有31 k标签的维基百科数据集上，它在micro-F1得分上优于最先进的Seq 2Seq方法16.34%。该代码可在https://github.com/caojie54/OTSeq2Set上获得。
2022-11-14 cs.AI cs.CL cs.LG
Extreme Multi-Label Legal Text Classification: A case study in EU Legislation
Athens University of Economics and Business（雅典经济与商业大学）；University of Sheffield（谢菲尔德大学）
我们认为极端多标签文本分类（XMTC）在法律领域的任务。我们发布了来自欧盟公共文件数据库EURLEX的57 K立法文件的新数据集，并使用多学科词库EUROVOC的概念进行注释。该数据集比以前的EURLEX数据集大得多，适用于XMTC、Few-Shot和零样本学习。通过对几种神经分类器的实验，我们发现，具有自我注意力的BIGRU优于目前采用标签式注意力的多标签最先进的方法。在标签式注意力网络中，用BIGRU取代CNN可以获得最佳的整体性能。
2019-05-26 cs.CL
Financial Numeric Extreme Labelling: A Dataset and Benchmarking for XBRL Tagging
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；Goldman Sachs（高盛集团）
本文针对 SEC 财务报表中数字片段的 XBRL 标签自动分配问题，构建含 2,794 个标签的 FNXL 数据集，并比较序列标注与“抽取+极端分类”流水线，后者在低频标签上略优。
2023-06-06 cs.AI cs.CE cs.CL
Open-world Multi-label Text Classification with Extremely Weak Supervision
University of California San Diego（加州大学圣地亚哥分校）；Cisco（思科）
针对极弱监督下的开放世界多标签文本分类任务，提出X-MLClass方法，通过迭代挖掘文档主导关键词发现长尾标签、构建完整标签空间，显著提升了标签覆盖率与分类准确率。
2024-07-08 cs.CL
AstroConcepts: A Large-Scale Multi-Label Classification Corpus for Astrophysics
本文提出AstroConcepts语料库，包含21702篇天文学论文摘要，标注2367个概念，用于研究极端类别不平衡问题，揭示了词汇受限LLM、领域适应和频率分层评估等关键发现。
2026-04-02 astro-ph.IM cs.CL cs.IR
Exploring space efficiency in a tree-based linear model for extreme multi-label classification
National Taiwan University（国立台湾大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对极限多标签分类中基于树的线性模型的空间复杂度问题，通过理论和实证分析发现稀疏数据下权重向量存在零值，仅存储非零元素可实现高达95%的存储空间缩减，并提供训练前模型大小估计方法以避免不必要的剪枝。
2024-10-12 cs.CL cs.LG
Retrieval-augmented Encoders for Extreme Multi-label Text Classification
Amazon Search（亚马逊搜索）
针对极端多标签分类中泛化与记忆能力难以兼顾的问题，提出检索增强编码器RAEXMC，为双编码器配备检索增强能力，无需额外参数即可高效记忆，在四个基准上超越SOTA的DE方法且实现10倍以上加速。
2025-02-15 cs.CL
Your Extreme Multi-label Classifier is Secretly a Hierarchical Text Classifier for Free
Ulm University, Germany（乌尔姆大学）；University of Southern Denmark, Odense, Denmark（南部丹麦大学）
本文研究了HTC和XML模型在对方数据集上的表现，发现XML模型因内部层次结构而更有效，而HTC模型因无法处理大规模标签而表现较差。
2026-01-26 cs.CL
Imposing Label-Relational Inductive Bias for Extremely Fine-Grained Entity Typing
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；IBM Research（IBM研究院）
现有的实体分类系统通常利用知识库（KB）模式提供的类型层次来建模标签相关性，从而提高整体性能。然而，这样的技术不能直接应用于类型集不受KB模式限制并且包括大量自由格式类型的更开放和实际的场景。为了在不访问手动注释的标签结构的情况下对底层标签相关性进行建模，我们引入了一种新的标签关系归纳偏差，由图传播层表示，该层有效地编码了全局标签共现统计数据和单词级相似性。在具有超过10，000个自由形式类型的大型数据集上，配备有基于注意力的匹配模块的图形增强模型能够实现高得多的召回分数，同时保持高水平的精确度。具体而言，它实现了15.3%的相对F1改进，并且输出的不一致性也更少。我们进一步表明，我们提出的图形层的简单修改也可以提高传统的和广泛测试的数据集，只包括KB模式类型的性能。
2019-03-06 cs.CL
An Extreme Multi-label Text Classification (XMTC) Library Dataset: What if we took "Use of Practical AI in Digital Libraries" seriously?
本文提出了一种基于权威术语的多标签文本分类方法，通过发布双语目录记录和可机器操作的GND分类法，提升数字图书馆中人工智能的实用性与透明性。
2026-03-11 cs.AI cs.CL cs.DL
Extreme Multi-Label Skill Extraction Training using Large Language Models
Ghent University（根特大学）；imec（比利时微电子研究中心）；TechWolf（TechWolf公司）
针对极端多标签技能提取任务缺乏大规模标注数据集的问题，提出利用大语言模型生成全合成标注数据集，并结合对比学习策略，在三个基准上使R-Precision@5较原有方法提升15至25个百分点。
2023-07-20 cs.CL
From Extreme Multi-label to Multi-class: A Hierarchical Approach for Automated ICD-10 Coding Using Phrase-level Attention
CodaMetrix；Enlitic
临床编码是根据临床叙述中捕获的上下文为医疗事件分配一组字母数字代码（称为ICD（国际疾病分类））的任务。ICD-10是ICD的最新版本，包括70，000多个编码。由于这是一项劳动密集型且容易出错的任务，因此使用机器学习对医疗报告进行自动ICD编码在过去十年中获得了极大的兴趣。现有文献将此问题建模为多标签任务。然而，这种多标签方法是具有挑战性的，由于极大的标签集的大小。此外，预测的可解释性对最终用户至关重要（例如，医疗保健提供商和保险公司）。在本文中，我们提出了一种新的方法，自动ICD编码的极端多标签问题转化为一个简单的多类问题，使用分层解决方案。我们通过广泛的数据汇集来获取短语级人类编码器注释，以监督我们的模型学习输入文本和预测ICD代码之间的特定关系，从而使这种方法可行。我们的方法采用了两个独立训练的网络，句子标签和ICD分类器，分层堆叠，以预测医疗报告的代码集。句子标记器识别包含与ICD编码相关的医学事件或概念的焦点句子。使用监督注意力机制，ICD分类器然后为每个焦点句子分配ICD代码。所提出的方法在子集准确性方面优于强基线23%，在micro-F1中为18%，在基于实例的F-1中为15%。通过我们提出的方法，可解释性不是通过内隐学习的注意力分数来实现的，而是通过将每个预测归因于人类编码器选择的特定句子和单词来实现的。
2022-03-09 cs.AI cs.CL
InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification
Aalto University（阿尔托大学）；Microsoft Corporation（微软公司）；BITS Pilani（皮拉尼 Bits 大学）；University of Bath（巴斯大学）
本文提出轻量级卷积架构InceptionXML和同步负采样流水线SyncXML，用于短文本极端分类，在模型大小和推理效率上显著优于现有方法，仅需2% FLOPs即可超越Transformer基线。
2024-05-03 cs.AI cs.CL cs.LG
In-Context Learning for Extreme Multi-Label Classification
Ghent University – imec（根特大学 – imec）；Stanford University（斯坦福大学）
提出 Infer--Retrieve--Rank 程序并用 DSPy 实现与优化，使语言模型结合检索器以数十个标注示例完成极端多标签分类，在多个基准上达到先进性能。
2024-01-22 cs.AI cs.CL
Automated ICD Coding using Extreme Multi-label Long Text Transformer-based Models
University of New South Wales（新南威尔士大学）；CSIRO（联邦科学与工业研究组织）；Australian Institute of Health and Welfare（澳大利亚健康与福利研究所）
本研究针对自动化ICD编码的极端多标签和长文本挑战，优化了PLM-ICD模型并提出了XR-LAT模型，在MIMIC-III数据集上创下新SOTA表现。
2022-12-13 cs.CL
Priberam at MESINESP Multi-label Classification of Medical Texts Task
Priberam Labs（Priberam实验室）
医学文章为许多医疗从业者和专业人士提供最新的治疗和诊断技术。现有的公共数据库，如MEDLINE，包含超过2700万篇文章，如果不使用高效的搜索引擎，就很难提取相关内容。信息检索工具是至关重要的，以便导航和提供有意义的建议的文章和治疗。将这些文章分类为更广泛的医学主题可以提高相关文章的检索效率。为MESINESP任务考虑的医疗标签集大约有数千个标签（DeCS代码），这属于极端的多标签分类问题。医学主题的异质性和高度层次结构使得手动分类文章的任务非常费力和昂贵。因此，分类过程自动化至关重要。典型的机器学习算法对于如此大量的标签在计算上变得苛刻，并且在这样的数据集上实现更好的召回成为未解决的问题。这项工作介绍了Priberam在BioASQ任务Mesinesp的参与。我们通过使用四种不同的模型来解决大型多标签分类问题：支持向量机（SVM）、定制搜索引擎（Priberam Search）、基于BERT的分类器以及所有先前模型的SVM排名集成。结果表明，所有三个单独的模型表现良好，最好的表现是由他们的合奏，授予普里伯拉姆在目前的挑战第六位，使其成为第二个最好的团队。
2021-05-12 cs.CL cs.LG
Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction
提出极限多标签知识图谱链接预测任务，并用融合实体、关系与文本的检索增强小参数语言模型，验证差异化KG增强策略和文本信息的显著性能收益。
2024-05-21 cs.AI cs.CL
Hybrid X-Linker: Automated Data Generation and Extreme Multi-label Ranking for Biomedical Entity Linking
LASIGE, Faculdade de Ciências, Universidade de Lisboa（里斯本大学理学院LASIGE实验室）；Universidad de Málaga（马拉加大学）；Research Institute of Multilingual Language Technologies, Universidad de Málaga（马拉加大学多语言语言技术研究院）
本文提出Hybrid X-Linker流水线，通过自动生成大规模训练数据，将极端多标签排序方法用于生物医学实体链接，在多个疾病和化学数据集上取得领先或接近领先的top-1准确率。
2024-07-08 cs.AI cs.CL cs.DL
A Benchmark on Extremely Weakly Supervised Text Classification: Reconcile Seed Matching and Prompting Approaches
University of California, San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）
本文提出首个极弱监督文本分类（XWS-TC）基准，在标准化数据集与超参数下公平比较了SEED与PROMPT两种方法，发现两者竞争力相当且各有鲁棒性特点，聚类后处理能共同提升性能。
2023-05-22 cs.CL
