Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
神经序列标记（Neural Sequence Labeling，NSL）的目的是为输入的语言符号分配标记，其应用范围非常广泛，如命名实体识别（Named Entity Recognition，NER）和槽填充（slot filling）等。然而，传统的基于监督的方法在很大程度上依赖于大量的人工标注数据，由于数据隐私和计算效率问题，这在现实世界中可能不可行。本文提出了SeqUST，一种新的不确定性感知的NSL自训练框架，以解决标记数据稀缺的问题，并有效地利用未标记的数据。具体而言，我们将蒙特卡罗（MC）的贝叶斯神经网络（BNN）的辍学执行不确定性估计在令牌级别，然后选择可靠的语言令牌从未标记的数据的基础上的模型的信心和确定性。一个设计良好的掩蔽序列标记任务与噪声鲁棒损失支持鲁棒训练，其目的是抑制噪声伪标签的问题。此外，我们开发了一个基于高斯的一致性正则化技术，以进一步提高模型的鲁棒性高斯分布扰动表示。这有效地消除了源于伪标记增强数据的过拟合困境。在六个基准测试上的大量实验表明，我们的SeqUST框架有效地提高了自训练的性能，并且在低资源场景中始终大幅优于强基线
2023-02-17 cs.CL
Radically Lower Data-Labeling Costs for Visually Rich Document Extraction Models
Google（谷歌）
为视觉丰富的文档（如发票）构建自动提取模型的一个关键瓶颈是获取数千个高质量标记文档的成本，这些文档是训练具有可接受精度的模型所需的。我们提出选择性标签，以简化标签任务，提供“是/否”标签的候选人提取预测的模型训练部分标记的文件。我们将其与自定义主动学习策略相结合，以找到模型最不确定的预测。我们通过对来自3个不同领域的文档类型的实验表明，选择性标记可以降低$10\times$获取标记数据的成本，而精度损失可以忽略不计。
2022-10-28 cs.CL
MARRO: Multi-headed Attention for Rhetorical Role Labeling in Legal Documents
University of Utah（犹他大学）；Bosch Research（博世研究院）；Indian Institute of Technology Kharagpur（印度克勒格布尔理工学院）；Indian Institute of Science Education and Research Kolkata（印度加尔各答科学教育与研究学院）
针对法律文书长、术语专、标注少导致的修辞角色识别难题，本文提出基于多任务学习和多头注意力的 MARRO 模型，并以标签偏移为辅助任务，在印度与英国最高法院数据集上达到最优性能。
2025-03-08 cs.AI cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
Generating Information-Seeking Conversations from Unlabeled Documents
Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；KAIST AI（韩国科学技术院人工智能学院）；NAVER CLOVA
在本文中，我们介绍了一种新的框架，SIMSEEK，（模拟信息寻求对话从无标签的文件），并比较它的两个变种。在我们的基准SIMSEEK-SYM中，提问者根据回答者的预定答案生成后续问题。而SIMSEEK-ASYM则是先生成问题，然后在会话语境下找到相应的答案。我们的实验表明，他们可以合成有效的CQA和会话搜索任务的训练资源。因此，SIMSEEK-ASYM的对话不仅在我们的实验中有了更多的改进，而且在人类评估中也得到了好评。我们最终发布了一个大规模的合成对话资源WIKI-SIMSEEK，其中包含基于维基百科文档构建的200万个CQA对。有了这个数据集，我们的CQA模型在最近的CQA基准测试QuAC上达到了最先进的性能。
2022-10-24 cs.CL
Rhetorical Role Labeling of Legal Documents using Transformers and Graph Neural Networks
BITS Pilani（比尔拉科学技术学院皮拉尼分校）
针对法律文档的修辞角色标注任务，本文在SemEval任务6子任务A上，实验了图卷积网络、标签传播算法及BERT变体等模型，以提升复杂法律文本分类的准确率。
2023-05-06 cs.CL
HiCuLR: Hierarchical Curriculum Learning for Rhetorical Role Labeling of Legal Documents
Technical University of Munich（慕尼黑工业大学）；Télécom Paris（巴黎电信学院）；South China University of Technology（华南理工大学）
本文提出分层课程学习框架HiCuLR，通过文档级课程和修辞角色级课程由易到难地训练模型，在法律文档修辞角色标注任务上取得有效提升。
2024-09-27 cs.CL
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich（慕尼黑工业大学）
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用，包括案例摘要、语义搜索、论点挖掘等。在这项工作中，我们重新制定的任务在跨度水平识别跨度的多个连续的句子，共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场（CRF），共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略，以缓解法律专业领域的数据稀缺性，其中单个文档往往很长，注释成本很高。我们的实验表明，在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics（电气工程与信息学院）；Bandung Institute of Technology（万隆理工学院）
在本文中，我们提出了一个多文档摘要系统使用语义角色标注（SRL）和语义图的印尼新闻文章。为了改进现有的摘要器，我们的系统修改的摘要器，采用主语，谓语，宾语和状语（SVOA）提取谓词论元结构（PAS）提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法，以确定与决策树分类器的重要PAS，因为没有遗传算法的汇总器，给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明，该模型在100字摘要中的平均ROUGE-2召回率为0.313，在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
关键字有效地概括了文档的内容，并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作，并且依赖于用于候选短语生成的词性（POS）过滤器。此外，它们不直接处理不同长度的关键词。我们克服了这些建模的缺点，在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征，以及来自各种无监督方法的预测，以训练我们的标记器。除了一个更自然的建模的关键词提取问题，我们表明，标记模型产生显着的性能优势，现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Structured Summarization: Unified Text Segmentation and Segment Labeling as a Generation Task
Meta AI
文本分割的目的是将文本划分为连续的、语义连贯的片段，而片段标记处理为每个片段生成标签。过去的工作已经成功地解决了文档和对话的分割和标记问题。这可以通过特定于任务的管道、监督和无监督学习目标的组合来实现。在这项工作中，我们提出了一个单一的编码器-解码器神经网络，可以处理长文档和对话，同时训练分割和段标记使用标准的监督。我们成功地展示了一种方法来解决组合任务作为一个纯粹的生成任务，我们称之为结构化摘要。我们将相同的技术应用于文档和会话数据，并且在高资源和低资源设置下，我们展示了跨数据集的分割和标记的最新性能。我们的研究结果建立了一个强有力的情况下，考虑文本分割和段标记作为一个整体，并走向通用的技术，不依赖于领域的专业知识或特定任务的组件。
2022-09-28 cs.CL
Learning Only from Relevant Keywords and Unlabeled Documents
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Chulalongkorn University（朱拉隆功大学）
我们考虑一个文档分类问题，文档标签是缺席的，但只有相关的关键字的目标类和未标记的文件。虽然基于伪标记的探试法已经被考虑，但对这个问题的理论理解仍然有限。此外，以前的方法不能很容易地将发达的技术在监督文本分类。在本文中，我们提出了一个理论上有保证的学习框架，该框架易于实现，并且具有灵活的模型选择，例如，线性模型或神经网络。我们展示了如何有效地优化受试者工作特征曲线（AUC）下的面积，并讨论了如何调整它来优化其他众所周知的评估指标，如准确性和F1-措施。最后，我们使用基准数据集显示我们的框架的有效性。
2019-10-30 cs.CL cs.LG stat.ML
Synthesizing Conversations from Unlabeled Documents using Automatic Response Segmentation
Amazon（亚马逊）
本文提出一种基于自动响应分割的对话合成方法，从无标注文档生成高质量训练数据，并在OR-QuAC基准上提升了ConvQA检索系统性能。
2024-06-06 cs.CL cs.LG
Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR
针对汉英混合语音识别训练数据不足的问题，提出迭代伪标签方法，通过多阶段训练与迭代优化利用无标注数据，在SEAME数据集上显著降低混合错误率。
2026-07-07 cs.CL
Authors Should Label Their Own Documents
Echo Group（Echo集团）；University of Southern California（南加州大学）
本文提出作者标注技术，通过作者自身标注提升数据质量，实验显示其在点击率和实用性上优于传统标注方法。
2026-01-07 cs.CL
Mind Your Neighbours: Leveraging Analogous Instances for Rhetorical Role Labeling for Legal Documents
School of Computation, Information, and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文针对法律判决书修辞角色标注中标注数据有限和标签不平衡等挑战，提出利用语义相似邻居实例的推理插值与原型对比学习方法，显著提升宏观F1并验证了跨法律领域的迁移能力。
2024-03-31 cs.CL
Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework
University of California, San Diego（加州大学圣地亚哥分校）
实体识别是理解文档图像的一项基本任务。传统的序列标记框架将实体类型视为类ID，并依赖于大量的数据和高质量的注释来学习语义，这在实践中通常是昂贵的。在本文中，我们的目标是建立一个实体识别模型，只需要几个镜头的注释文档图像。为了克服数据限制，我们建议利用标签表面名称来更好地通知目标实体类型语义的模型，并将标签嵌入到空间嵌入空间中以捕获区域和标签之间的空间对应关系。具体来说，我们超越了序列标记，并开发了一个新的标签感知seq 2seq框架，激光。该模型遵循一个新的标签计划，生成的标签表面名称逐字显式生成实体后。在训练过程中，LASER通过更新标签表面名称表示来细化标签语义，并加强标签区域相关性。通过这种方式，LASER通过语义和布局对应从文档图像中识别实体。在两个基准数据集上的大量实验证明了激光在Few-Shot设置下的优越性。
2022-03-30 cs.AI cs.CL cs.CV
Large-Context Conversational Representation Learning: Self-Supervised Learning for Conversational Documents
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话公司媒体情报研究所）
本文提出了一种新的自监督学习方法，用于处理由人与人之间对话的转录文本组成的会话文档。理解会话文档的关键技术之一是话语级顺序标注，其中标签以逐个话语的方式从文档中估计。话语级顺序标记的主要问题是难以收集标记的会话文档，因为手动注释非常昂贵。为了解决这个问题，我们提出了大上下文会话表示学习（LC-CRL），一种专门用于会话文档的自监督学习方法。LC-CRL中的自监督学习任务涉及基于大上下文语言建模使用所有周围话语来估计话语。通过这种方式，LC-CRL使我们能够有效地利用未标记的会话文档，从而增强了话语级顺序标记。使用呼叫中心会话数据集进行场景分割的实验结果表明了该方法的有效性。
2021-02-16 cs.CL cs.LG
Language Model-Driven Data Pruning Enables Efficient Active Learning
Lahore University of Management Sciences（拉合尔管理科学大学）
针对主动学习中未标注数据池大导致采集方法计算成本高的问题，提出两阶段即插即用剪枝策略ActivePrune，结合n-gram与量化LLM剪枝并优化多样性，在多任务多数据集上性能更优，端到端时间最多降74%。
2024-10-05 cs.CL cs.LG
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University（国立政治大学）
针对法律推荐系统标注数据集有限的问题，提出利用法律条文共引建立案例相似性并实现算法标注，结合微调文本嵌入模型和BiLSTM模块评估，推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
A Language-Agnostic Model for Semantic Source Code Labeling
Two Six Labs, LLC.（Two Six Labs有限责任公司）；Sophos（Sophos公司）
近年来，由于可用源代码的快速扩展，代码搜索和理解变得更加困难。当前的工具缺乏一种方法来大规模地标记任意代码，同时保持新的程序设计语言、库和功能的最新表示。对源代码的全面标记使用户能够搜索感兴趣的文档并对其内容进行深入了解。我们使用Stack Overflow代码片段及其标签来训练一个与语言无关的深度卷积神经网络，以自动预测源代码文档的语义标签。在Stack Overflow代码片段上，我们展示了在4，508个标签的长尾列表上ROC下的平均面积为0.957。我们还在从Github检索的各种未标记源代码文档上手动验证了模型输出，我们获得了86.6%的top-1准确率。这强烈表明该模型成功地将其知识从Stack Overflow片段转移到任意源代码文档。
2019-06-03 cs.CL cs.LG cs.SE
View Distillation with Unlabeled Data for Extracting Adverse Drug Effects from User-Generated Data
Emory University（埃默里大学）
我们提出了一种基于多层Transformers的算法，用于识别社交媒体数据中的药物不良反应（ADR）。我们的模型依赖于问题的属性和上下文词嵌入的特点，从文档中提取两个视图。然后，在每个视图上训练分类器来标记一组未标记的文档，以用作另一个视图中的新分类器的初始化器。最后，使用初始训练样本进一步训练每个视图中的初始化分类器。我们在最大的公开ADR数据集中评估了我们的模型。实验证明，我们的模型显着优于基于transformer的模型在特定领域的数据预训练。
2021-05-24 cs.CL cs.LG
Clinical Document Classification Using Labeled and Unlabeled Data Across Hospitals
Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织电子健康研究中心）；Royal Brisbane and Women’s Hospital（皇家布里斯班妇女医院）
在急诊科审查放射学报告是一项必要但艰巨的任务。对放射学报告中有异常病例的患者进行及时随访可能会极大地影响患者的结局，特别是如果他们出院时的初始诊断不同。已经设计了机器学习方法来加快这一过程并检测需要即时跟进的案例。然而，这些方法需要大量的标记数据来训练可靠的预测模型。准备如此大的数据集，需要由卫生专业人员手动注释，成本高，耗时长。本文研究了一种半监督学习框架，用于三家医院的放射学报告分类。主要目标是利用临床未标记数据，以便在有限的标记数据可用的情况下增强学习过程。为了进一步提高分类性能，我们还将迁移学习技术集成到半监督学习管道中。我们的实验结果表明，（1）卷积神经网络（CNN），虽然独立于任何特定问题的特征工程，但与传统的监督学习方法相比，实现了显着更高的有效性，（2）在训练基于CNN的分类器时利用未标记数据将对标记数据的依赖性降低了50%以上，以达到完全监督CNN的相同性能，以及（3）转移从外部源医院中的可用标记数据获得的知识显著地改善了半监督CNN模型相对于目标医院中的完全监督对应物的性能。
2018-12-04 cs.CL cs.LG
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要，因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中，我们发现了两个缺陷，广泛使用的贪婪标签的方法：它提供次优和确定性的预言。为了缓解这两个问题，我们提出了一个简单而有效的标签算法，创建软，基于期望的句子标签。我们定义了一个新的学习目标提取摘要，它结合了学习信号从多个甲骨文摘要，并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下，所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Joint Semantic Analysis with Document-Level Cross-Task Coherence Rewards
University of Copenhagen（哥本哈根大学）
共指消解和语义角色标注是捕捉语义的不同方面的NLP任务，分别指示哪些表达式指代同一实体，以及表达式在句子中充当什么语义角色。然而，它们通常是紧密相互依赖的，并且两者通常都需要自然语言理解。它们是否形成了文档的连贯抽象表示？我们提出了一个神经网络架构的联合共指消解和语义角色标注的英语，和训练图神经网络模型的“连贯性”的组合浅层语义图。使用所得到的一致性得分作为对我们的联合语义分析器的奖励，我们使用强化学习来鼓励文档和语义注释之间的全局一致性。这导致了来自不同领域的多个数据集的两个任务的改进，并且跨越了一系列不同表达能力的编码器，我们相信，这需要一种更全面的NLP语义方法。
2020-10-12 cs.CL
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
End-to-end ASR: from Supervised to Semi-Supervised Learning with Modern Architectures
Facebook
我们研究了ResNet，时间深度可分离ConvNets和语音识别的Transformers的半监督训练的伪标记，使用CTC或Seq2Seq损失函数。我们在标准LibriSpeech数据集上进行实验，并通过伪标签利用LibriVox中的其他未标记数据。我们表明，虽然基于transformer的声学模型具有优越的性能与监督数据集单独，半监督提高了所有模型的架构和损失函数和桥梁之间的性能差距。通过这样做，我们在标准监督学习设置中使用外部语言模型解码的端到端声学模型达到了新的最先进水平，并且使用半监督训练达到了新的绝对最先进水平。最后，我们研究了利用不同数量的未标记音频的效果，提出了几种方法来评估未标记音频的特性，从而改进了声学建模，并表明使用更多音频训练的声学模型对外部语言模型的依赖性更小。
2020-07-15 cs.CL cs.SD eess.AS
EviMap: Evidence-Grounded Hierarchical Topic Maps for Exploring Unlabeled Corpora
L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
EviMap通过提取文档内证据短语并组织成分层主题图谱，结合LLM和嵌入聚类，为未标注语料库提供可审计的主题概览，确保每个标签可追溯到原始文本。
2026-09-09 cs.CL cs.HC cs.IR
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
