Making sense of electrical vehicle discussions using sentiment analysis on closely related news and user comments
UC Berkeley（加州大学伯克利分校）
我们使用了一个标记明智和文档明智的情感分析，使用无监督和监督模型应用于新闻和用户评论数据集。我们的标记方面的情感分析发现两组之间的情感存在统计学上的显著差异（两者都是非常大的N），我们的文档方面的监督情感分析发现情感没有显著差异。
2022-06-19 cs.AI cs.CL
Authors Should Label Their Own Documents
Echo Group（Echo集团）；University of Southern California（南加州大学）
本文提出作者标注技术，通过作者自身标注提升数据质量，实验显示其在点击率和实用性上优于传统标注方法。
2026-01-07 cs.CL
Document-Level Supervision for Multi-Aspect Sentiment Analysis Without Fine-grained Labels
AWS AI Labs（AWS人工智能实验室）
本文提出一种基于VAE的主题建模方法，利用文档级监督进行多方面情感分析，无需细粒度标签，在两个基准数据集上显著优于基线。
2023-10-10 cs.CL
Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics（电气工程与信息学院）；Bandung Institute of Technology（万隆理工学院）
在本文中，我们提出了一个多文档摘要系统使用语义角色标注（SRL）和语义图的印尼新闻文章。为了改进现有的摘要器，我们的系统修改的摘要器，采用主语，谓语，宾语和状语（SVOA）提取谓词论元结构（PAS）提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法，以确定与决策树分类器的重要PAS，因为没有遗传算法的汇总器，给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明，该模型在100字摘要中的平均ROUGE-2召回率为0.313，在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop
Acquia
大多数关于文本分类的文献将其视为监督学习问题：给定标记文档的语料库，训练分类器，使其能够准确预测未见过文档的类别。然而，在工业中，对于一个企业来说，拥有整个文档语料库的情况并不少见，其中很少或根本没有分类，或者现有的分类变得毫无意义。例如，对于Web内容，糟糕的分类管理可能会导致标签被不加区别地应用，从而使通过这些标签进行过滤毫无帮助。我们的工作旨在使用人在回路方法对整个未标记文档语料库进行分类，其中内容所有者手动对每个类别中的一个或两个文档进行分类，其余的可以自动分类。这种“Few-Shot”学习方法需要丰富的文档表示，这样那些已经手动标记的文档就可以被视为原型，而其余文档的自动分类只是测量到原型的距离的简单情况。这种方法使用预先训练的词嵌入，其中使用组成词嵌入的简单加权平均来表示文档。我们已经在现有的标记数据集上测试了该方法的准确性，并在这里提供了结果。我们还提供了代码来重现我们在20个新闻组数据集上获得的结果。
2018-04-05 cs.CL
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent Cloud Xiaowei（腾讯云小微）
在多标签文本分类（MLTC）中，每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性，以前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而，它们往往遭受标签顺序依赖性，标签组合过拟合和错误传播问题。为了解决这些问题，我们引入了一种新的多任务学习方法来增强标签相关性反馈。我们首先利用联合嵌入（JE）机制，同时获得文本和标签表示。在MLTC任务中，采用文档-标签交叉注意（CA）机制来生成更具区分力的文档表示。此外，我们还提出了两个辅助标签共现预测任务来增强标签相关性学习：1）成对标签共现预测（PLCP）和2）条件标签共现预测（CLCP）。在AAPD和RCV 1-V2数据集上的实验结果表明，该方法的性能大大优于竞争基线。我们分析了低频标签性能，标签依赖性，标签组合多样性和覆盖速度，以显示我们提出的方法对标签相关性学习的有效性。
2021-06-06 cs.CL
Open-world Multi-label Text Classification with Extremely Weak Supervision
University of California San Diego（加州大学圣地亚哥分校）；Cisco（思科）
针对极弱监督下的开放世界多标签文本分类任务，提出X-MLClass方法，通过迭代挖掘文档主导关键词发现长尾标签、构建完整标签空间，显著提升了标签覆盖率与分类准确率。
2024-07-08 cs.CL
Retrieval-augmented Multi-label Text Classification
University of Copenhagen（哥本哈根大学）
本文提出一种基于检索增强的多标签文本分类方法，通过交叉注意力机制融合从训练集中检索的相似文档特征，显著提升了模型在不频繁标签长尾及低资源场景下的分类性能。
2023-05-22 cs.CL
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Automatic Labelling of Topics with Neural Embeddings
IBM Research（IBM研究院）；The University of Melbourne（墨尔本大学）
由主题模型生成的主题通常表示为术语列表。为了减少为最终用户解释这些主题的认知开销，我们建议用一个简洁的短语来概括主题或想法。使用维基百科文档标题作为标签候选者，我们计算文档和单词的神经嵌入，以选择与主题最相关的标签。与最先进的主题标签系统相比，我们的方法更简单，更有效，并找到更好的主题标签。
2016-12-23 cs.CL
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University（武汉大学软件工程国家重点实验室）
手动标记文档既繁琐又昂贵，但它对于训练传统的文本分类器至关重要。近年来，一些无数据文本分类技术被提出来解决这个问题。然而，现有的工作主要集中在单标签分类问题，即，每个文件被限制为属于一个单一的类别。在本文中，我们提出了一种新的种子引导的多标签主题模型，命名为SMTM。SMTM利用与每个类别相关的几个种子词，对没有任何标记文档的文档集合进行多标记分类。在SMTM中，每个类别都与一个单独的类别主题相关联，该主题涵盖了类别的含义。为了适应多标签文档，我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说，在不使用任何阈值调优的情况下，SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督，我们提出了种子引导的偏置GPU（即，广义波利亚瓮）抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明，SMTM比最先进的替代方案实现了更好的分类精度，甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究零样本多标签文本分类，提出利用文档元数据诱导对比学习（MICoL）方法，通过文档元数据构建相似文档对训练分类器，在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
Deep Label-Wise Attentive Temporal Convolutional Networks Improve Medical Coding
Yale University（耶鲁大学）
研究医学编码难题，提出由多层时间卷积网络和标签明智注意力组成的深度神经模型，相比之前模型，F-1分数显著提高，召回分数大幅增加，对临床决策支持有重要意义。
2026-07-29 cs.CL cs.LG
Does Head Label Help for Long-Tailed Multi-Label Text Classification
Beijing Jiaotong University（北京交通大学）
多标签文本分类（MLTC）的目标是从多个候选标签中选择最相关的标签来标注文档。在实际应用中，标签频率的分布通常呈现长尾，即，少数标签与大量文档相关联（也称为，头标签），而大部分标签与少量文档（也称为尾部标签）。为了解决尾部标签分类的训练数据不足的挑战，我们提出了一个头到尾网络（HTTN），将元知识从数据丰富的头部标签转移到数据贫乏的尾部标签。元知识是从Few-Shot网络参数到多样本网络参数的映射，旨在提高尾分类器的泛化能力。在三个基准数据集上的大量实验结果表明，HTTN始终优于最先进的方法。代码和超参数设置是为了重现性而发布的
2021-01-24 cs.CL cs.LG
Text Classification Using Label Names Only: A Language Model Self-Training Approach
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
当前的文本分类方法通常需要大量的人工标记的文档作为训练数据，这在实际应用中可能是昂贵的并且难以获得。人类可以在没有看到任何标记示例的情况下执行分类，而只是基于描述要分类的类别的一小部分单词。在本文中，我们探讨的潜力，只使用标签名称的每个类训练分类模型的未标记的数据，而不使用任何标记的文件。我们使用预训练的神经语言模型作为类别理解的一般语言知识源和文档分类的表示学习模型。我们的方法（1）将语义相关的词与标签名称相关联，（2）找到类别指示词并训练模型来预测其隐含的类别，以及（3）通过自我训练来推广模型。我们表明，我们的模型在四个基准数据集上实现了约90%的准确率，包括主题和情感分类，而不使用任何标记文档，而是从每个类最多3个单词（大多数情况下为1个）作为标签名称监督的未标记数据中学习。
2020-10-14 cs.CL cs.LG
Kaggle LSHTC4 Winning Solution
The University of Waikato（怀卡托大学）；Aalto University（阿尔托大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们在2014年Kaggle大规模分层文本分类（LSHTC）竞赛中的获奖作品主要由扩展多项式朴素贝叶斯的稀疏生成模型的集合组成。基本分类器由分层平滑模型组成，该模型结合了文档，标签和层次级别的Multinomials，并使用TF-IDF和BM 25的变体进行特征预处理。通过不同类型的折叠和针对不同措施的随机搜索优化来引入额外的多样化。集成算法通过预测每个标签的文档来优化macroFscore，而不是通常的每个文档的标签预测。文档的分数是通过基分类器输出的加权投票来预测的，该基分类器输出具有加权线性堆叠的变体。每个标签的文档数量是使用标签先验和投票分数阈值来选择的。本文档描述了用于构建我们的解决方案的模型和软件。可以通过运行Kaggle包中包含的脚本来为我们的解决方案重现结果。一个包省略预先计算的结果文件也分发。所有代码都是开源的，在GNU GPL 2.0和GPL 3.0下发布，用于Weka和Meka依赖项。
2014-05-09 cs.AI cs.CL cs.IR
Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification
Flexport（飞协博）
极端多标签文本分类（XMTC）是从一个非常大的预定义类别空间中为每个文档添加相关标签的任务。最近，大型预训练的Transformer模型在XMTC中取得了显著的性能改进，XMTC通常使用特殊CLS令牌的嵌入来将整个文档语义表示为全局特征向量，并将其与候选标签进行匹配。然而，我们认为，这样一个全球性的特征向量可能不足以表示不同粒度级别的语义在文档中，并补充它与本地字级功能可以带来额外的收益。基于这一认识，我们提出了一种方法，结合本地和全局功能产生的Transformer模型，以提高分类器的预测能力。我们的实验表明，该模型的性能优于或相当于基准数据集上的最先进的方法。
2022-04-02 cs.CL cs.LG
Comparison of Classification Algorithms Used Medical Documents Categorization
Ondokuz Mayıs Üniversitesi（翁多库兹·马伊斯大学）
基于文本的文档量日益增加。医学文档位于这种不断增长的文本文档中。在这项研究中，用于文本分类的技术应用于医疗文档和评估分类性能。使用的数据集是多类别和多标记的。采用卡方（Chi Square，CHI）技术进行特征选择，采用SMO、NB、C4.5、RF和KNN算法进行分类。本研究的目的是，各种分类器的成功评估多类和多标签的数据集组成的医疗文件。在前400个特征中，KNN分类器最成功，而在后400个特征中SMO分类器最成功。
2018-11-02 cs.CL cs.IR cs.LG
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Robust Document Representations using Latent Topics and Metadata
J.P. Morgan AI Research（摩根大通人工智能研究（J.P. Morgan AI Research））
使用自定义softmax输出层对预训练的神经语言模型进行任务特定的微调是最近处理文档分类问题时的实际方法。当在训练时标记的示例不可用时，以及当必须利用文档中的元数据工件时，这种技术是不够的。我们通过生成文档表示来解决这些挑战，这些文档表示以与任务无关的方式捕获文本和元数据工件。与传统的基于自回归或自编码的训练不同，我们的新的自监督方法在生成文本嵌入时学习输入空间的软分区。具体来说，我们采用预先学习的主题模型分布作为代理标签，并构建一个基于KL散度的损失函数。我们的解决方案还显式地合并了元数据，而不仅仅是用文本来扩充它们。所生成的文档嵌入表现出组成特征，并直接用于下游分类任务，以从少量标记的示例中创建决策边界，从而避免复杂的识别方法。我们通过广泛的评估证明，我们提出的跨模型融合解决方案在多个数据集上的性能优于几个竞争基线。
2020-10-23 cs.AI cs.CL cs.LG
Labeled Interactive Topic Models
University of Maryland（马里兰大学）
本文提出一种带标签的交互式神经主题模型，允许用户为主题分配单词标签以引导模型更新，并通过人类研究证明该方法能改善文档排名得分，帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention
University of California, Los Angeles（加州大学洛杉矶分校）；Yahoo Research（雅虎研究院）
自然语言处理技术在关键短语生成方面已经显示出有希望的结果。然而，\emph{neural}关键短语生成的主要挑战之一是使用深度神经网络处理长文档。通常，文档在作为神经网络的输入之前被截断。因此，模型可能会错过目标文档中传达的要点。为了克服这一限制，我们提出了\emph{SEG-Net}，神经关键短语生成模型，它由两个主要组成部分，（1）选择器，选择文档中的突出句子和（2）提取器生成器，共同提取和生成关键短语从选定的句子。SEG-Net使用Transformer（一种自我关注的架构）作为基本构建块，并使用新颖的\emph{layer-wise}覆盖关注来总结文档中讨论的大多数要点。在科学和网络文档的七个关键词生成基准上的实验结果表明，SEG-Net的性能大大优于最先进的神经生成方法。
2021-06-04 cs.CL
A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data
University College Dublin（都柏林大学）；Teagasc Agriculture and Food Development Authority（爱尔兰农业与食品发展局）；ADAPT Research Centre（ADAPT研究中心）
使用有限的标记数据训练深度学习模型对于许多NLP任务（包括文档分类）来说是一个有吸引力的场景。虽然随着最近BERT的出现，深度学习语言模型可以在文档分类中实现相当好的性能，但在长文档分类中应用BERT类模型的实用性缺乏证据。这项工作介绍了一个长文本特定的模型-层次BERT模型（HBM）-学习文本的文本级特征，并在有限的标记数据的情况下工作得很好。各种评估实验表明，HBM可以实现更高的性能，在文档分类比以前的国家的最先进的方法，只有50至200个标记的实例，特别是当文档很长。此外，作为HBM的一个额外好处，由学习过的HBM识别的突出句子对于根据用户研究标记文档的解释非常有用。
2021-06-12 cs.CL
A Pseudo Label-wise Attention Network for Automatic ICD Coding
Central South University（中南大学）；Old Dominion University（欧道明大学）
自动国际疾病分类（ICD）编码被定义为一种文本多标签分类问题，由于标签数量非常大且标签分布不均衡，因此具有一定的难度。标签式注意力机制被广泛应用于自动ICD编码中，因为它可以为不同ICD代码的完整电子病历（EMR）中的每个单词分配权重。然而，标签式注意力机制是计算冗余和昂贵的。在本文中，我们提出了一个伪标签明智的注意力机制来解决这个问题。伪标签式注意力机制自动合并相似的ICD代码，并针对相似的ICD代码仅计算一种注意力模式，而不是针对不同的ICD代码计算不同的注意力模式，这极大地压缩了注意力模式的数量并提高了预测精度。此外，我们采用了一种更方便有效的方法来获得ICD向量，因此我们的模型可以通过计算EMR向量和ICD向量之间的相似度来预测新的ICD代码。大量的实验表明，我们的模型的优越性能。在公共MIMIC-III数据集和私有Xiangya数据集上，我们的模型分别达到了0.583和0.806的微观f1，优于其他竞争模型。此外，我们验证了我们的模型在预测新的ICD代码的能力。本研究的案例展示了伪标签式注意是如何工作的，并证明了伪标签式注意力机制的有效性。
2021-06-18 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Learning Section Weights for Multi-Label Document Classification
Elsevier B.V.（爱思唯尔公司）；Tarbiat Modares University（塔比亚特·莫达雷斯大学）；University of Amsterdam（阿姆斯特丹大学）；Elsevier Information Systems GmbH（爱思唯尔信息系统有限公司）
本文提出名为LSW的新方法，通过前馈层学习文档不同章节的权重并纳入预测，在arXiv和Elsevier数据集上优于现有方法，宏平均F1和召回率均提升1.3%。
2023-11-26 cs.CL
Czech Text Document Corpus v 2.0
University of West Bohemia（西波西米亚大学）
本文介绍了一个用于自动分类的捷克语文本文档集“Czech Text Document Corpus v2.0”。它由捷克通讯社提供的文本文件组成，可在http://ctdc.kiv.zcu.cz/上免费获得。创建该语料库是为了方便对捷克数据的文件分类方法进行直接比较。它特别致力于评估多标签文档分类方法，因为一个文档通常被标记有多个标签。除了关于文档类的信息之外，语料库还在形态层被注释。本文进一步显示了选定的国家的最先进的方法在这个语料库的结果，提供了一个简单的比较与这些方法的可能性。
2018-01-30 cs.CL
Information Extraction from Heterogeneous Documents without Ground Truth Labels using Synthetic Label Generation and Knowledge Distillation
Amazon（亚马逊公司）
本文提出任务感知指令标注（TAIL）方法，通过合成标签生成和基于响应的知识蒸馏，在无真实标签的异构视觉丰富文档上微调多模态模型，以更低成本和更快速度实现与Claude 3 Sonnet相当或更优的信息抽取性能。
2024-11-25 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen（哥本哈根大学）；Athens University of Economics and Business（雅典经济与商业大学）；Cognitiv+ Ltd.（Cognitiv+ 有限公司）
我们介绍了MULTI-EURLEX，一个新的多语言数据集的主题分类的法律文件。该数据集包含65，000条欧盟（EU）法律，官方翻译为23种语言，并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性，而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台，其中我们利用一种语言（源）中的注释训练文档对另一种语言（目标）中的文档进行分类。我们发现，在单一源语言中微调多语言预训练模型（XLM-ROBERTA，MT5）会导致灾难性的多语言知识遗忘，因此，到其他语言的zero-shot迁移很差。适应策略，即部分微调，适配器，BITFIT，LNFIT，最初提出来加速新的最终任务的微调，有助于保留预训练的多语言知识，大大提高zero-shot跨语言迁移，但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
Deep Neural Networks for Czech Multi-label Document Classification
University of West Bohemia（西波西米亚大学）；NTIS - New Technologies for the Information Society（NTIS - 信息社会新技术研究所）
本文主要研究捷克语文本文档的多标签自动分类。目前的方法通常使用一些预处理，这可能会产生负面影响（信息丢失，额外的实现工作等）。因此，我们想省略它，并使用从简单特征学习的深度神经网络。这一选择的动机是它们在许多其他机器学习领域的成功使用。比较了两种不同的网络：第一种是标准的多层感知器，而第二种是流行的卷积网络。捷克报纸语料库上的实验表明，这两个网络显着优于基线方法，使用了丰富的功能集与最大熵分类器。我们还表明，卷积网络给出了最好的结果。
2020-10-06 cs.CL
Improving the Accuracy and Efficiency of Legal Document Tagging with Large Language Models and Instruction Prompts
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
针对法律多标签分类面临的语言复杂、标签依赖及不平衡等挑战，提出Legal-LLM方法，将其重构为结构化生成任务并微调LLM，在两个基准数据集上优于多种基线模型，且在处理标签不平衡等方面有效。
2025-04-12 cs.CL
PAWLS: PDF Annotation With Labels and Structure
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Adobe的可移植文档格式（PDF）是一种流行的方式，用于分发具有丰富视觉标记的仅限查看的文档。这对希望使用PDF文档中包含的信息进行训练模型或数据分析的NLP从业者提出了挑战，因为注释这些文档很困难。在本文中，我们提出了PDF注释与标签和结构（PAWLS），一个新的注释工具，专为PDF文档格式。PAWLS特别适用于混合模式注释和注释者需要扩展上下文来准确注释的场景。PAWLS支持基于跨度的文本注释、N元关系和自由形式的非文本边界框，所有这些都可以以方便的格式导出，用于训练多模态机器学习模型。只读PAWLS服务器可在https://pawls.apps.allenai.org/上获得，源代码可在https://github.com/allenai/pawls上获得。
2021-01-25 cs.CL
Efficient Few-shot Learning for Multi-label Classification of Scientific Documents with Many Classes
Technical University of Munich（慕尼黑工业大学）
本文提出 FusionSent 方法，通过对比微调两个句嵌入模型并融合参数，在无需提示的情况下高效实现多类别科学文档少样本分类，并引入包含 203,961 篇文章和 130 个类别的 arXiv 多标签分类数据集。
2024-10-21 cs.CL
Distant IE by Bootstrapping Using Lists and Document Structure
Carnegie Mellon University（卡内基梅隆大学）；Baidu USA（百度美国）；US Development Center, Baidu USA（百度美国研发中心）
用于信息抽取（IE）的远距离标记遭受有噪声的训练数据。我们描述了一种通过识别潜在实例标签之间的耦合约束来减少与远程IE相关的噪声的方法。作为耦合的一个例子，列表中的项目可能具有相同的标签。耦合的第二个例子来自于对文档结构的分析：在一些语料库中，可以识别部分，使得同一部分中的项目可能具有相同的标签。这样的部分并不存在于所有的语料库中，但我们表明，即使是一个小的，结构良好的语料库的耦合约束增强一个大的语料库可以大大提高性能，加倍F1的一个任务。
2016-01-04 cs.CL
ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement
Bloomberg（彭博公司）
本研究针对文档级事件论元抽取任务，提出层级框架ULTRA，结合成对自精炼与LEAFER方法，缓解大语言模型位置偏差与论元边界定位难题，性能较强基线提升9.8%。
2025-03-20 cs.CL
Interpretable Low-Rank Document Representations with Label-Dependent Sparsity Patterns
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
在文档分类的上下文中，其中在文档的语料库中，它们的标签标签是容易知道的，机会在于利用标签信息来学习具有更好的区分属性的文档表示空间。为此，在本文中，应用变分贝叶斯监督非负矩阵分解（监督vbNMF）与标签驱动的稀疏结构的系数提出了歧视性的非减法潜在语义成分发生在TF-IDF文档表示的学习。约束是这样的，追求的组件是经常出现在一个小的标签集，使其有可能产生独特的标签特定的稀疏激活模式的文档表示。一个简单的措施，这种稀疏结构的质量，被称为标签间稀疏性，介绍和实验紧密联系的分类性能。代表一个很大的实际方便，标签间稀疏性被证明是很容易控制在监督的vbNMF由一个单一的参数。
2014-07-25 cs.CL cs.IR cs.LG
Memorizing Documents with Guidance in Large Language Models
KAIST AI（韩国科学技术院人工智能学院）；INEEJI
本研究提出逐文档记忆架构与文档引导损失，在训练中追踪大语言模型的文档记忆，实验验证其可为不同文档分配独立记忆条目，并提升生成时文档相关内容的召回率。
2024-06-23 cs.AI cs.CL
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Mind Your Neighbours: Leveraging Analogous Instances for Rhetorical Role Labeling for Legal Documents
School of Computation, Information, and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文针对法律判决书修辞角色标注中标注数据有限和标签不平衡等挑战，提出利用语义相似邻居实例的推理插值与原型对比学习方法，显著提升宏观F1并验证了跨法律领域的迁移能力。
2024-03-31 cs.CL
Label-Free Multi-Domain Machine Translation with Stage-wise Training
Communication University of China（中国传媒大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京）
提出无标签多领域机器翻译模型，通过分阶段训练和Gumbel-Max路由，在德英翻译六个领域上超越多数有监督模型。
2023-05-06 cs.CL
Uncertainty Guided Label Denoising for Document-level Distant Relation Extraction
Nanjing University of Science and Technology（南京理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Northeastern University（东北大学）
本文提出UGDRE框架，通过实例级不确定性估计和针对长尾关系的动态阈值筛选伪标签，有效降低文档级远程关系抽取中的标签噪声，并在RE-DocRED上显著超越强基线。
2023-05-26 cs.AI cs.CL
Structured Summarization: Unified Text Segmentation and Segment Labeling as a Generation Task
Meta AI
文本分割的目的是将文本划分为连续的、语义连贯的片段，而片段标记处理为每个片段生成标签。过去的工作已经成功地解决了文档和对话的分割和标记问题。这可以通过特定于任务的管道、监督和无监督学习目标的组合来实现。在这项工作中，我们提出了一个单一的编码器-解码器神经网络，可以处理长文档和对话，同时训练分割和段标记使用标准的监督。我们成功地展示了一种方法来解决组合任务作为一个纯粹的生成任务，我们称之为结构化摘要。我们将相同的技术应用于文档和会话数据，并且在高资源和低资源设置下，我们展示了跨数据集的分割和标记的最新性能。我们的研究结果建立了一个强有力的情况下，考虑文本分割和段标记作为一个整体，并走向通用的技术，不依赖于领域的专业知识或特定任务的组件。
2022-09-28 cs.CL
Aspect-augmented Adversarial Networks for Domain Adaptation
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们介绍了一种神经方法，用于在同一领域的两个（源和目标）分类任务或方面之间进行迁移学习。我们不是在目标标签上训练，而是使用与源和目标方面有关的一些关键字来指示句子相关性，而不是文档类标签。通过学习以方面依赖的方式嵌入和软选择相关句子来对文档进行编码。在源编码文档和标签上训练共享分类器，并将其应用于目标编码文档。我们通过方面对抗训练确保传输，以便编码的文档作为集合是方面不变的。实验结果表明，我们的方法在两个数据集上优于不同的基线和模型变体，在病理数据集上提高了27%，在回顾数据集上提高了5%。
2017-09-25 cs.CL
UniVIE: A Unified Label Space Approach to Visual Information Extraction from Form-like Documents
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
UniVIE 将表单视觉信息提取统一为关系预测问题，通过单一标签空间和由粗到细的树生成策略，结合树注意力掩码与树层级嵌入，在 HierForms 和 SIBR 数据集上取得最先进结果。
2024-01-17 cs.CL
Large Language Model-guided Document Selection
Apple（苹果公司）
本文提出用大语言模型作为文档评分器并蒸馏出分类器，以指导通用领域预训练语料的筛选，在丢弃75%数据后仅用最多70%的FLOPs即可达到与全量训练相当的质量。
2024-06-07 cs.CL
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich（慕尼黑工业大学）
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用，包括案例摘要、语义搜索、论点挖掘等。在这项工作中，我们重新制定的任务在跨度水平识别跨度的多个连续的句子，共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场（CRF），共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略，以缓解法律专业领域的数据稀缺性，其中单个文档往往很长，注释成本很高。我们的实验表明，在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
On Evaluation of Document Classification using RVL-CDIP
Vanderbilt University（范德堡大学）；University of Michigan（密歇根大学）
本研究揭示RVL-CDIP基准存在标签噪声、多标签、训练测试重叠及敏感信息等问题，并倡导创建新基准以改进文档分类评估。
2023-06-21 cs.CL
MHLAT: Multi-hop Label-wise Attention Model for Automatic ICD Coding
Central South University（中南大学）
针对自动ICD编码中标签多、文本长及预训练模型内存开销大的问题，提出多跳标签级注意力模型MHLAT，在三个MIMIC基准数据集上以更少参数取得显著更好或具竞争力的性能。
2023-09-16 cs.AI cs.CL
Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework
University of California, San Diego（加州大学圣地亚哥分校）
实体识别是理解文档图像的一项基本任务。传统的序列标记框架将实体类型视为类ID，并依赖于大量的数据和高质量的注释来学习语义，这在实践中通常是昂贵的。在本文中，我们的目标是建立一个实体识别模型，只需要几个镜头的注释文档图像。为了克服数据限制，我们建议利用标签表面名称来更好地通知目标实体类型语义的模型，并将标签嵌入到空间嵌入空间中以捕获区域和标签之间的空间对应关系。具体来说，我们超越了序列标记，并开发了一个新的标签感知seq 2seq框架，激光。该模型遵循一个新的标签计划，生成的标签表面名称逐字显式生成实体后。在训练过程中，LASER通过更新标签表面名称表示来细化标签语义，并加强标签区域相关性。通过这种方式，LASER通过语义和布局对应从文档图像中识别实体。在两个基准数据集上的大量实验证明了激光在Few-Shot设置下的优越性。
2022-03-30 cs.AI cs.CL cs.CV
None Class Ranking Loss for Document-Level Relation Extraction
National University of Singapore（新加坡国立大学）
文档级关系抽取（RE）的目的是抽取跨多个句子表达的实体之间的关系，这可以被看作是一个多标签分类问题。在典型的文档中，大多数实体对不表达任何预定义的关系，并且被标记为“无”或“无关系”。为了获得良好的文档级RE性能，将这些非类实例（实体对）与预定义类（关系）的实例区分开来是至关重要的。然而，大多数现有的方法只估计预定义的关系独立的概率，而不考虑“无关系”的概率。这忽略了实体对的上下文以及none类和预定义类之间的标签相关性，导致次优预测。为了解决这个问题，我们提出了一个新的多标签损失，鼓励每个预定义的类和无类之间的标签置信度得分的大幅度，这使得捕获的标签相关性和上下文相关的阈值标签预测。为了进一步增强对可能出现在真实世界RE数据集中的正负不平衡和错误标记数据的鲁棒性，我们提出了一种边缘正则化和边缘移动技术。实验结果表明，我们的方法显着优于现有的多标签损失的文档级RE和工作在其他多标签任务，如情感分类时，没有类实例可用于训练。
2022-05-03 cs.CL cs.LG
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University（特拉维夫大学）；Ariel University（阿里埃勒大学）；Bar-Ilan University（巴伊兰大学）；Microsoft（微软）
我们提出了一种新的模型，根据其语义相似性的源（查询）文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题，但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而，在大多数常见的现实情况下，相似性排名是一个无监督的问题，因为相似性标签不可用。此外，一个理想的模型不应该受到文档长度的限制。因此，我们引入SDR，这是一种用于文档相似性的自监督方法，可以应用于任意长度的文档。重要的是，SDR可以有效地应用于非常长的文档，超过了Longformer的4，096个最大令牌限制。对大型文档数据集的广泛评估表明，SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究，并作为对社区的额外贡献，我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
MultiVerS: Improving scientific claim verification with weak supervision and full-document context
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
科学声明验证任务要求NLP系统标记支持或反驳输入声明的科学文档，并选择证明每个预测标签的证据句子（或理由）。在这项工作中，我们提出了MultiVerS，它预测了一个事实检查标签，并确定了理由，在一个多任务的方式的基础上共享编码的索赔和完整的文档上下文。这种方法实现了两个关键的建模目标。首先，它确保所有相关的上下文信息都被纳入每个标签决策。其次，它使模型能够从用文档级事实检查标签注释的实例中学习，但缺乏文档级的基本原理。这使得MultiVerS能够通过对使用高精度语法标记的科学文档进行训练来执行弱监督领域自适应。我们的方法在三个科学声明验证数据集上优于两个竞争基线，在零/Few-Shot领域自适应实验中表现特别出色。我们的代码和数据可在www.example.com上获得。
2022-05-09 cs.AI cs.CL
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Incremental Active Opinion Learning Over a Stream of Opinionated Documents
Swedish Institute of Computer Science (SICS Swedish ICT)（瑞典计算机科学研究所（SICS瑞典信息与通信技术研究院））；Ludwig-Maximilians University（路德维希-马克西米利安大学）；Otto-von-Guericke University（奥托·冯·格里克大学）
从自认为的文档（如tweets或产品评论）中学习的应用程序面临两个挑战。首先，固执己见的文件构成了一个不断发展的流，其中作者的态度和词汇本身可能会发生变化。其次，文档的标签是稀缺的，单词的标签是不可靠的，因为一个词的情感取决于作者心中的（未知的）上下文。大多数关于在固执己见的流上进行挖掘的研究都集中在问题的第一个方面，而对于第二个方面，则假设流中的标签持续供应。这样的假设是乌托邦式的，因为流是无限的，标签成本是禁止的。为此，我们研究了主动流学习算法的潜力，要求标签的需求。我们提出的ACOSTREAM 1方法只适用于有限的标签：它使用标记文档的初始种子，偶尔会向人类专家请求文档的额外标签，并在利用可用标记文档的同时逐渐适应底层流。在其核心，ACOSTREAM由一个MNB分类器加上“采样”策略，为新的未标记的文档请求类标签。在实验中，我们通过改变以下参数来评估分类器随时间的性能：（a）固执己见流的类分布，同时假设词汇表中的单词集是固定的，但它们的极性可能会随着类分布而变化;以及（b）每个时刻到达的未知单词的数量，而类极性也可能会变化。我们的研究结果表明，主动学习流的意见，文件，提供了良好的性能，而需要一个小的选择标签
2015-09-03 cs.CL cs.IR cs.LG
