An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.(Verint系统公司)
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理(IVA)的关键步骤。我们在Verint Intent Manager(VIM)中创建了一个灵活且可扩展的聚类管道,该管道集成了语言模型的微调、高性能k-NN库和社区发现技术,可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的,因为预先训练的语言模型不能编码文本,以有效地表面特定的聚类结构时,目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道,并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时,此群集管道可生成高质量的结果,从而提高数据分析师的性能,并减少从客户服务数据中揭示意图所需的时间,从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
Using novel data and ensemble models to improve automated labeling of Sustainable Development Goals
University of Basel(巴塞尔大学);Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所)
已经提出了一些基于文本的标签系统,以帮助监测联合国可持续发展目标(SDG)的工作。在这里,我们提出了一个系统的比较系统使用各种文本来源,并表明系统在其特异性(即,真阳性率)和灵敏度(即,真阴性率),具有系统偏差(例如,相对于其他人,对特定的SDG更敏感),并且容易受到分析文本的类型和数量的影响。然后,我们表明,一个合奏模型,池标记系统,消除了这些限制,超过了所有目前可用的系统的标记性能。我们的结论是,研究人员和政策制定者应该关心标签系统的选择,并且在基于自动化方法得出关于可持续发展目标工作的绝对和相对普遍性的结论时,应该支持集成方法。
2023-02-01 cs.CL
A Weakly Supervised Data Labeling Framework for Machine Lexical Normalization in Vietnamese Social Media
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出一种结合半监督学习与弱监督的自动标注框架,用于越南语社交媒体词汇规范化,在减少人工标注的同时取得82.72%的F1分数和高达99.22%的词汇完整性准确率,并使下游NLP任务平均准确率提升1-3%。
2024-09-30 cs.AI cs.CL
Can LLM Substitute Human Labeling? A Case Study of Fine-grained Chinese Address Entity Recognition Dataset for UAV Delivery
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本研究构建了CNER-UAV细粒度中文地址实体识别数据集,包含约12,000条样本,由人类专家和大型语言模型标注,并评估了经典NER模型,探讨了LLM替代人工标注的可行性。
2024-03-19 cs.AI cs.CL cs.IR
CheX-GPT: Harnessing Large Language Models for Enhanced Chest X-ray Report Labeling
Soombit AI(松比特人工智能);Kakao Brain(卡考大脑)
本研究提出CheX-GPT,利用GPT生成标注训练BERT模型,并引入MIMIC-500基准,实现高效、灵活、可扩展的胸部X光报告标注。
2024-11-06 cs.CL cs.IR
PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling
Department of Artificial Intelligence and AI Research Center, Chang Gung University(人工智能系及AI研究中心,长庚大学);Department of Radiology, Sijhih Cathay General Hospital(放射科,西吉医院);Department of Medical Imaging and Intervention, Chang Gung Memorial Hospital(医学影像与介入科,长庚纪念医院);Department of Trauma and Emergency Surgery, Chang Gung Memorial Hospital(创伤与急诊外科,长庚纪念医院);Department of Computer Science, National Tsing Hua University(计算机科学系,国立清华大学)
本文提出PromptRad,一种基于知识的多标签提示微调方法,用于在低资源环境下进行放射报告标注,通过引入UMLS元词典中的同义词增强类别表示,以更少的标注数据实现优于传统方法的性能。
2026-05-20 cs.AI cs.CL
Zero-shot prompt-based classification: topic labeling in times of foundation models in German Tweets
University Trier(特里尔大学);krAil
本研究在德语推文主题标注任务中实证评估零样本提示分类,证明其效果与微调BERT相当,且无需标注训练数据,凸显NLP领域范式转变。
2024-06-26 cs.AI cs.CL
Ensemble Learning for Large Language Models in Text and Code Generation: A Survey
School of Computing and Engineering, University of West London(西伦敦大学计算机与工程学院);Turing Intelligence Technology Limited(图灵智能科技有限公司);School of Computer Science, University of Leeds(利兹大学计算机科学学院)
本文综述了七种大语言模型集成方法(权重合并、知识融合、混合专家、奖励集成、输出集成、路由和级联),分析了它们在文本与代码生成中提升多样性、输出质量和应用灵活性的能力。
2026-06-24 cs.AI cs.CL cs.LG
Two-Stage Stance Labeling: User-Hashtag Heuristics with Graph Neural Networks
UNC-Charlotte(北卡罗来纳大学夏洛特分校)
针对社交媒体内容体量庞大、演变迅速导致的用户立场研究难题,提出结合用户-话题标签二分图启发式标注与用户交互图半监督GNN的两阶段方法,在气候变化、枪支管制推文数据集上性能优于文本分类器与GPT4零样本分类。
2024-05-17 cs.CL cs.LG cs.SI
Structured Summarization: Unified Text Segmentation and Segment Labeling as a Generation Task
Meta AI
文本分割的目的是将文本划分为连续的、语义连贯的片段,而片段标记处理为每个片段生成标签。过去的工作已经成功地解决了文档和对话的分割和标记问题。这可以通过特定于任务的管道、监督和无监督学习目标的组合来实现。在这项工作中,我们提出了一个单一的编码器-解码器神经网络,可以处理长文档和对话,同时训练分割和段标记使用标准的监督。我们成功地展示了一种方法来解决组合任务作为一个纯粹的生成任务,我们称之为结构化摘要。我们将相同的技术应用于文档和会话数据,并且在高资源和低资源设置下,我们展示了跨数据集的分割和标记的最新性能。我们的研究结果建立了一个强有力的情况下,考虑文本分割和段标记作为一个整体,并走向通用的技术,不依赖于领域的专业知识或特定任务的组件。
2022-09-28 cs.CL
Structured prediction models for RNN based sequence labeling in clinical text
University of Massachusetts(马萨诸塞大学);Bedford VAMC and CHOIR(贝德福德退伍军人医疗中心与CHOIR)
序列标记是一种广泛应用于非结构化自然语言数据的命名实体识别和信息抽取的方法。在临床领域,序列标记的一个主要应用涉及从电子健康记录叙述中提取医学实体,例如药物、适应症和副作用。在这个领域的序列标记,提出了自己的一套挑战和目标。在这项工作中,我们尝试了各种基于CRF的结构化学习模型和递归神经网络。我们扩展了先前研究的LSTM-CRF模型与显式建模的成对电位。我们还提出了一个近似版本的跳链CRF推理与RNN潜力。我们使用这些方法进行结构化预测,以提高准确的短语检测各种医疗实体。
2016-08-01 cs.CL
Empirical Error Modeling Improves Robustness of Noisy Neural Sequence Labeling
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学)
尽管最近取得了进展,但标准序列标记系统在处理嘈杂的用户生成的文本或消耗光学字符识别(OCR)过程的输出时经常失败。在本文中,我们通过提出一种经验错误生成方法来改进噪声感知训练方法,该方法采用经过训练的序列到序列模型来执行从无错误文本到错误文本的翻译。使用OCR引擎,我们生成了一个大型的并行文本语料库进行训练,并产生了几个真实世界的噪声序列标记基准进行评估。此外,为了克服在不完美的文本输入的情况下加剧的数据稀疏问题,我们学习了基于噪声语言模型的嵌入。我们的方法优于基线噪声生成和错误校正技术的错误序列标记数据集。为了方便将来对鲁棒性的研究,我们公开了我们的代码、嵌入和数据转换脚本。
2021-05-25 cs.CL
Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chinese Academy of Sciences(中国科学院大学);Cornell University(康奈尔大学)
本文提出一个结合伪标签生成与模型集成的分层框架,利用外部数据、交叉注意力与数据增强技术,显著提升了句子嵌入任务的准确率和 F1 分数。
2025-01-27 cs.AI cs.CL
An Empirical Study of Discriminative Sequence Labeling Models for Vietnamese Text Processing
College of Science, Vietnam National University(越南国立大学科学学院);FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);Alt Vietnam;FPT Technology Innovation, FPT Corp.(FPT集团FPT技术创新)
本文提出了两个广泛使用的序列预测模型,条件随机场(CRF)和长短期记忆网络(LSTM),越南语文本处理的两个基本任务,包括词性标注和命名实体识别的实证研究。我们表明,一个强大的下限标签准确性可以通过只依赖于简单的基于单词的功能,最小的手工制作的功能工程,90.65%和86.03%的性能得分的标准测试集上的两个任务分别获得。特别是,我们实证证明了惊人的效率词嵌入在这两个任务中,与两个模型。我们指出,最先进的LSTM模型并不总是优于传统的CRF模型,特别是在中等规模的数据集。最后,我们给出了一些建议和讨论,有效地使用序列标记模型在实际应用中。
2017-08-30 cs.CL
How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling?
Google Research(谷歌研究院)
针对生成式序列标注中跨度级置信度估计缺乏可靠方法的问题,本文提出利用beam search前k个预测的统计量的方法,经6个数据集验证可显著降低校准误差。
2024-01-31 cs.CL
Automatic semantic role labeling on non-revised syntactic trees of journalistic texts
University of São Paulo(圣保罗大学)
语义角色标注(Semantic Role Labeling,SRL)是一种自然语言处理任务,能够检测句子中描述的事件以及这些事件的参与者。对于巴西葡萄牙语(BP),最近有两项研究得出结论,在新闻文本中执行SRL。[1]使用PropBank.Br语料库获得了79.6的F1-measure分数,该语料库具有手动修改的句法树,[8],而不使用树库进行训练,对于相同的语料库获得了68.0的F1-measure分数。然而,使用手动修改的语法树,这项任务并不代表一个真正的应用场景。本文的目标是使用一个更大的和平衡的BP新闻文本语料库,评估SRL在修改和未修改的句法树上的性能。首先,我们已经证明[1]的系统在更大的语料库上也比[8]的系统表现得更好。第二,在未修改的句法树上训练的SRL系统比在金标准数据上训练的系统在未修改的树上表现得更好。
2017-04-10 cs.CL
Evaluating Factual Consistency of Texts with Semantic Role Labeling
Heidelberg University(海德堡大学)
本文提出无参考评估指标SRLScore,利用语义角色标注构建事实元组并通过可调机制评分,在英文摘要数据集上表现出与最先进方法相当的竞争力及稳定的跨域泛化能力。
2023-05-22 cs.CL
Teach me how to Label: Labeling Functions from Natural Language with Text-to-text Transformers
注释数据已成为训练准确机器学习模型的最重要瓶颈,特别是对于需要领域专业知识的领域。处理上述问题的最新方法提出使用自然语言解释而不是标记各个数据点,从而提高了人类注释者的效率并大大降低了成本。本文的重点是将这些自然语言描述转换为Python标签函数,通过使用预训练的文本到文本Transformers进行语义解析的新方法。在一系列的实验中,我们的方法在语义解析基准测试CoNaLa上达到了一个新的水平,超过了以前的最佳方法3.7个BLEU点。此外,在手动构造的自然语言标注-标记函数对的数据集上,我们实现了0.39的BLEU。我们的方法可以被看作是一个垫脚石模型,教导如何标记在自然语言,而不是提供特定的标记样本。我们的代码,构造的数据集和模型可在https://github.com/ypapanik/t5-for-code-generation上获得。
2021-01-18 cs.CL cs.LG
Type-supervised sequence labeling based on the heterogeneous star graph for named entity recognition
Jilin University(吉林大学)
命名实体识别是自然语言处理中的一项基本任务,它能识别非结构化文本中实体的跨度和类别。传统的序列标记方法忽略了嵌套实体,即包含在其他实体提及中的实体。许多方法试图解决这种情况,其中大多数依赖于复杂的结构或具有高计算复杂度。研究了包含文本节点和类型节点的异构星图的表示学习问题。此外,我们修改的图注意力机制到一个混合的形式,以解决其在特定的拓扑结构的不合理性。该模型在更新图中的节点之后执行类型监督序列标记。注释方案是单层序列标记的扩展,能够处理绝大多数嵌套实体。在公共NER数据集上的大量实验表明,我们的模型在提取平面和嵌套实体方面都是有效的。该方法在平面和嵌套数据集上都实现了最先进的性能。准确率的显著提高反映了多层标记策略的优越性。
2022-10-21 cs.CL
The Efficiency of Pre-training with Objective Masking in Pseudo Labeling for Semi-Supervised Text Classification
Department of Computing Science, Umeå University(计算机科学系,乌梅大学)
本文扩展 Hatefi 等人的半监督文本分类模型,在 Meta Pseudo Labels 教师-学生框架中加入基于目标掩码的无监督预训练,并通过英语和瑞典语三个数据集评估其性能。
2025-05-10 cs.CL
AutoWS: Automated Weak Supervision Framework for Text Classification
Amazon.com LLC(亚马逊有限责任公司)
创建大规模、高质量的标记数据已成为开发机器学习应用程序的主要瓶颈之一。已经开发了多种技术来降低对标记数据的依赖性(零/少样本学习、弱监督)或提高标记过程的效率(主动学习)。其中,弱监管已被证明可以通过采用领域专家设计的手工制作的标签功能来降低标签成本。我们提出了AutoWS -一种新的框架,以提高效率的弱监督过程,同时减少依赖领域专家。我们的方法需要一个小的一组标记的例子,每个标签类,并自动创建一组标签功能分配嘈杂的标签,以大量的未标记的数据。然后,可以将有噪声的标签聚合成由下游判别分类器使用的概率标签。我们的框架是全自动的,不需要用户的超参数规范。我们比较我们的方法与不同的国家的最先进的工作弱监督和嘈杂的培训。实验结果表明,我们的方法优于竞争基线。
2023-02-07 cs.CL
Where are We in Event-centric Emotion Analysis? Bridging Emotion Role Labeling and Appraisal-based Approaches
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
本文探讨事件中心情感分析中情感角色标注与基于评价的方法两种视角,指出情感与事件的双重关系,并讨论开放研究问题。
2023-10-12 cs.CL
Semantic Role Labeling for Knowledge Graph Extraction from Text
ISTC, CNR(意大利国家研究委员会科技认知研究所);University of Bologna(博洛尼亚大学);Università degli Studi di Cagliari(卡利亚里大学)
介绍了一种新的语义角色标注方法TakeFive,该方法将文本转换为面向框架的知识图谱。它执行依存句法分析,识别唤起词汇框架的单词,定位每个框架的角色和填充符,运行强制技术,并将结果形式化为知识图谱。这种形式化表示符合Framester中使用的框架语义,Framester是一种事实语言链接的数据资源。所获得的精确度,召回率和F1值表明TakeFive与其他现有方法,如SEMAFOR,Pikes,PathLSTM和FRED具有竞争力。最后讨论了如何将TakeFive和FRED相结合,获得更高的查准率、查全率和F1值。
2018-11-04 cs.AI cs.CL
Rhetorical Role Labeling of Legal Documents using Transformers and Graph Neural Networks
BITS Pilani(比尔拉科学技术学院皮拉尼分校)
针对法律文档的修辞角色标注任务,本文在SemEval任务6子任务A上,实验了图卷积网络、标签传播算法及BERT变体等模型,以提升复杂法律文本分类的准确率。
2023-05-06 cs.CL
Analyzing the Granularity and Cost of Annotation in Clinical Sequence Labeling
Duke University(杜克大学);The Australian National University(澳大利亚国立大学)
正如最近的顶级研究所示,在监督式机器学习(ML)中,注释良好的数据集对研究人员来说比以往任何时候都更加重要。然而,数据集注释过程及其相关的人力成本仍然被忽视。在这项工作中,我们分析了序列标记中的注释粒度和ML性能之间的关系,使用护理交接班的临床记录。我们首先研究了一个模型,仅从文本语言特征,没有额外的信息的基础上护理知识。我们发现,在此粒度下,该序列标签器在大多数类别中表现良好。然后,我们进一步包括护士的额外手动注释,并发现序列标记性能几乎保持不变。最后,我们给社区提供了一个指导和参考,因为投资回报率低,没有必要甚至不建议进行详细的粒度注释。因此,我们建议强调其他功能,如文本知识,为研究人员和从业者作为一个具有成本效益的来源,以提高序列标记性能。
2021-08-23 cs.CL
SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling
Georgia Institute of Technology(佐治亚理工学院)
本文提出Web标注工具SciAnnotate,支持手动标注与多源弱标签创建,并集成语言模型评估,通过弱标签去噪在材料合成NER任务上减少53.7%标注时间并提升1.6%召回率。
2022-08-07 cs.CL
GLaRA: Graph-based Labeling Rule Augmentation for Weakly Supervised Named Entity Recognition
University of Michigan(密歇根大学);Bosch Research and Technology Center(博世研究中心)
代替使用昂贵的手动注释,研究人员已经提出使用启发式标记规则来训练命名实体识别(NER)系统。然而,设计标签规则是具有挑战性的,因为它通常需要大量的手动工作和领域专业知识。为了缓解这个问题,我们提出了\textsc{GLaRA},一个基于图的标签规则增强框架,学习新的标签规则从未标记的数据。我们首先创建一个图,图中的节点表示从未标记数据中提取的候选规则。然后,我们设计了一个新的图神经网络,通过探索规则之间的语义关系来扩充标注规则。最后,我们应用未标记数据的增强规则来生成弱标记,并使用弱标记数据训练NER模型。我们在三个NER数据集上评估了我们的方法,发现当给定一小组种子规则时,我们可以在最佳基线上实现+20\%F1分数的平均改进。
2021-04-13 cs.CL
Small and Practical BERT Models for Sequence Labeling
我们提出了一个实用的计划,训练一个单一的多语言序列标记模型,产生的最先进的结果,是小的和足够快的运行在一个单一的CPU上。从公共多语言BERT检查点开始,我们的最终模型比最先进的多语言基线小6倍,快27倍,并且具有更高的准确性。我们证明了我们的模型在低资源语言上的表现尤其出色,并且可以在代码混合的输入文本上工作,而无需在代码混合的示例上进行显式训练。我们展示了我们的方法的有效性,通过报告的词性标注和形态预测70树库和48种语言。
2019-08-31 cs.CL
NAT: Noise-Aware Training for Robust Neural Sequence Labeling
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学)
序列标记系统不仅应该在理想条件下可靠地执行,而且还应该在输入损坏的情况下可靠地执行-因为这些系统通常处理用户生成的文本或遵循易于出错的上游组件。为此,我们制定了噪声序列标记问题,其中输入可能会经历一个未知的噪声过程,并提出了两个噪声感知训练(NAT)目标,提高了对扰动输入进行序列标记的鲁棒性:我们的数据增强方法使用干净和噪声样本的混合物训练神经模型,而我们的稳定性训练算法鼓励模型创建一个噪声不变的潜在表示。我们在训练时使用香草噪声模型。为了进行评估,我们使用原始数据及其受真实OCR错误和拼写错误干扰的变体。在英语和德语命名实体识别基准测试上进行的大量实验证实,NAT始终提高了流行序列标记模型的鲁棒性,保持了原始输入的准确性。我们将我们的代码和数据公开提供给研究社区。
2020-05-14 cs.CL
Efficient Topic Extraction via Graph-Based Labeling: A Lightweight Alternative to Deep Models
University of Limerick(利默里克大学);Euromed University Of Fez(弗斯欧罗姆大学);University Sidi Mohamed Ben Abdellah(西迪莫哈梅德·本·阿卜杜勒拉赫曼大学)
本文提出一种基于图的轻量级主题标注方法,通过语义关系扩展主题词并推导标签,在低计算成本下取得优于传统基准、可比 ChatGPT-3.5 的效果。
2025-11-06 cs.CL
Semantic Role Labeling for Learner Chinese: the Importance of Syntactic Parsing and L2-L1 Parallel Data
Peking University(北京大学)
本文以语义角色标注(SRL)为个案任务,以学习者汉语为个案语言,研究中介语语义语义解析。我们首先手动注释一组学习者文本的语义角色,以获得自动SRL的黄金标准。根据新的数据,我们然后评估三个现成的SRL系统,即,基于PCFGLA语法分析器的系统、基于神经语法分析器的系统和基于神经语法不可知的系统,来衡量汉语学习者自主学习的成功程度。我们发现两个不明显的事实:1)L1-句法分析训练的系统在L2数据上的表现相当糟糕; 2)两个基于句法分析的系统从L1数据到L2数据的性能下降要小得多,这表明句法分析在中介语SRL中的重要性。最后,本文提出了一种新的基于一致性的模型来挖掘大规模L2-L1并行数据中的语义一致性信息。然后,我们表明这些信息是非常有效的,以提高学习者的文本SRL。我们的模型实现了72.06的F分数,比最佳基线提高了2.02分。
2018-08-29 cs.CL
Improved and Efficient Conversational Slot Labeling through Question Answering
PolyAI Limited(PolyAI有限公司)
基于transformer的预训练语言模型(PLM)在大多数自然语言理解(NLU)任务中提供了无与伦比的性能,包括一系列问答(QA)任务。我们假设QA方法的改进也可以直接用于对话NLU;但是,对话任务必须是\textit{reformatted}到QA任务。特别是,我们专注于建模和研究\textit{slot labeling}(SL),NLU对话的一个重要组成部分,通过QA光学,旨在提高其性能和效率,并使其更有效和更有弹性地处理有限的任务数据。为此,我们做了一系列的贡献:1)我们演示了QA调整的PLM如何应用于SL任务,达到新的最先进的性能,在这种低数据制度中特别明显的大增益。2)我们建议利用上下文信息,需要解决模糊的值,简单地通过自然语言。3)通过使用轻量级而有效的适配器模块,提高了面向QA的微调的效率和紧凑性。4)权衡了QA数据集的一些质量,我们用更大的自动生成的QA数据集进行QA调优,达到了更高的性能。最后,我们的分析表明,我们的新的基于QA的插槽标签模型,支持的PLM,达到高数据制度的性能上限,要求在未来的工作更具挑战性和更细致入微的基准。
2022-04-05 cs.CL
Enhanced Labeling Technique for Reddit Text and Fine-Tuned Longformer Models for Classifying Depression Severity in English and Luganda
Handong Global University(汉东全球大学);Busitema University(布西特马大学);University of Uyo Teaching Hospital(乌约大学教学医院)
针对社交媒体抑郁严重程度识别,本文提出增强Reddit文本标注方法并微调Longformer,在英语和卢干达语定制数据集上分别以48%和45%的表现优于多种传统基线模型。
2024-01-25 cs.CL cs.LG
Automatic Coding for Neonatal Jaundice From Free Text Data Using Ensemble Methods
UC Berkeley(加州大学伯克利分校)
本研究探索创建一个机器学习模型,以自动识别新生儿重症监护室(NICU)患者是否在特定住院期间根据相关临床记录被诊断为新生儿黄疸。我们开发了一些文本预处理和特征选择的技术,并比较不同的分类模型的有效性。我们表明,使用集成决策树分类,无论是与AdaBoost和装袋,优于支持向量机(SVM),目前国家的最先进的新生儿黄疸编码技术。
2018-05-02 cs.CL
T-Projection: High Quality Annotation Projection for Sequence Labeling Tasks
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学HiTZ中心-Ixa)
本文提出T-Projection,利用多语言T5模型和机器翻译技术,将标注投影分解为候选生成与选择两步,在多语种实验中显著优于现有方法,有效缓解序列标注任务缺乏高质量训练数据的问题。
2023-10-24 cs.CL
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出JointMatch方法,通过自适应调整逐类阈值和双网络交叉标签互学习,解决半监督文本分类中的伪标签偏差与错误累积问题,在基准数据集上平均提升5.13%。
2023-10-23 cs.CL cs.LG
Neural Models for Sequence Chunking
IBM Watson(IBM 沃森)
许多自然语言理解(NLU)任务,例如浅解析(即,文本组块)和语义槽填充需要将代表性标签分配给句子中的有意义的组块。目前大多数基于深度神经网络(DNN)的方法将这些任务视为序列标记问题,其中单词而不是块被视为标记的基本单元。然后,这些块由标准IOB(Inside-Outside-Beginning)标签推断。在本文中,我们提出了一种替代方法,通过研究DNN用于序列分块,并提出了三个神经模型,以便每个块可以被视为一个完整的标记单元。实验结果表明,所提出的神经序列组块模型在文本组块和槽填充任务上都能达到最先进的性能。
2017-01-15 cs.CL
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要,因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中,我们发现了两个缺陷,广泛使用的贪婪标签的方法:它提供次优和确定性的预言。为了缓解这两个问题,我们提出了一个简单而有效的标签算法,创建软,基于期望的句子标签。我们定义了一个新的学习目标提取摘要,它结合了学习信号从多个甲骨文摘要,并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下,所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Beyond The Text: Analysis of Privacy Statements through Syntactic and Semantic Role Labeling
New York University(纽约大学)
本文制定了一个新的任务,从隐私政策中提取隐私参数,通过上下文完整性,一个既定的社会理论框架推理隐私规范的镜头。由律师撰写的隐私政策篇幅冗长,往往包含不完整和模糊的陈述。在本文中,我们表明,传统的NLP任务,包括最近提出的基于加密的解决方案,不足以解决隐私参数提取问题,并提供较差的精度和召回率。我们描述了4种不同类型的传统方法,可以部分地适应于解决不同程度的成功的参数提取任务:隐马尔可夫模型,BERT微调模型,依赖类型解析(DP)和语义角色标注(SRL)。基于对36个现实世界的主要企业的隐私政策的详细评估,我们证明了一个解决方案,结合语法DP加上特定类型的SRL任务提供了最高的准确性,从隐私声明中检索上下文隐私参数。我们还观察到,结合特定领域的知识对于实现高精度和召回率至关重要,从而激发了新的NLP研究来解决隐私领域的这一重要问题。
2020-10-01 cs.CL cs.CY
EmpLite: A Lightweight Sequence Labeling Model for Emphasis Selection of Short Texts
Samsung R&D Institute Bangalore(三星班加罗尔研发中心)
文本内容中的单词强调旨在通过改变大小、颜色、字体、样式(粗体、斜体等),和其他印刷特征。强调的词在吸引读者注意作者希望强调的特定信息方面非常有帮助。然而,使用用于社交媒体交互的软键盘来执行这种强调是耗时的并且具有相关联的学习曲线。在本文中,我们提出了一种新的方法来自动化的重点词检测短的书面文本。据我们所知,这项工作提出了第一个轻量级的深度学习方法,用于智能手机部署的重点选择。实验结果表明,我们的方法实现了可比的准确性在一个更低的模型大小比现有的模型。我们最好的轻量级模型的内存占用量为2.82 MB,在SemEval-2020公共基准数据集上的匹配得分为0.716。
2020-12-15 cs.CL cs.LG
Labeling, Cutting, Grouping: an Efficient Text Line Segmentation Method for Medieval Manuscripts
University of Fribourg(弗里堡大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Luleå University of Technology(吕勒奥理工大学)
本文介绍了一种通过集成基于深度学习的预分类和最先进的分割方法来提取文本行的新方法。复杂手写文档中的文本行提取是一个重大的挑战,即使是最现代的计算机视觉算法。历史手稿是一类特别难处理的文件,因为它们呈现出多种形式的噪音,如退化,渗透,行间注释和精心制作的脚本。在这项工作中,我们提出了一种新的方法,它使用语义分割在像素级的中间任务,其次是文本行提取步骤。我们在最近的一个具有挑战性的中世纪手稿数据集上测量了我们方法的性能,并通过将错误减少80.7%而超过了最先进的结果。此外,我们证明了我们的方法在不同脚本编写的各种其他数据集上的有效性。因此,我们的贡献是双重的。首先,我们证明了语义像素分割可以用作强去噪预处理步骤之前,执行文本行提取。其次,我们介绍了一种新颖的,简单的和强大的算法,利用高质量的语义分割,以实现99.42%行IU的文本行提取性能的一个具有挑战性的数据集。
2019-07-01 cs.CL cs.CV
Active learning for reducing labeling effort in text classification tasks
University of Groningen(格罗宁根大学);Open University of the Netherlands(荷兰开放大学)
标记数据可能是一项昂贵的任务,因为它通常由领域专家手动执行。这对于深度学习来说很麻烦,因为它依赖于大型标记数据集。主动学习(AL)是一种范式,旨在通过仅使用所使用的模型认为最具信息性的数据来减少标记工作。在文本分类环境中对AL进行的研究很少,并且几乎没有涉及最近最先进的自然语言处理(NLP)模型。在这里,我们提出了一个实证研究,比较不同的不确定性为基础的算法与BERT $_{base}$作为使用的分类。我们在两个NLP分类数据集上评估了这些算法:Stanford Sentiment Treebank和KvK-Frontpages。此外,我们探讨了旨在解决基于不确定性的AL的预设问题的算法,即它是不可扩展的,并且容易选择离群值。此外,我们探讨了查询池的大小对AL的性能的影响。然而,它被发现,建议的算法AL没有提高性能的AL;我们的研究结果表明,使用基于不确定性的AL与BERT $_{base}$优于随机抽样的数据。随着查询池大小的增大,这种性能差异会减小。
2021-11-03 cs.CL cs.LG
Improve Diverse Text Generation by Self Labeling Conditional Variational Auto Encoder
Alibaba Group(阿里巴巴集团);Beijing, China, 100102(中国北京,100102(注:此处为地址信息,不应提取为机构,原数据中可能存在格式混淆,仅保留明确的机构名Alibaba Group))
多样性在许多文本生成应用程序中起着至关重要的作用。近年来,条件变分自动编码器(CVAE)已经显示出很好的性能。然而,他们经常遇到所谓的KL消失问题。以前的工作减轻了这样的问题,启发式方法,如加强编码器或削弱解码器,同时优化CVAE目标函数。然而,这些方法的优化方向是隐含的,很难找到一个合适的程度,这些方法应该应用。在本文中,我们提出了一个明确的优化目标,以补充CVAE直接拉远离KL消失。事实上,这个目标项引导编码器朝向解码器的“最佳编码器”以增强表现力。一个标记网络被引入到估计的“最佳编码器”。它在CVAE的潜在空间中提供了一个连续的标签,以帮助在潜在变量和目标之间建立紧密的联系。整个方法称为自标记CVAE~(SLCVAE)。为了加速对不同文本生成的研究,我们还提出了一个大型的本地一对多数据集。在两个任务上进行了大量的实验,结果表明,我们的方法大大提高了生成的多样性,同时实现了与最先进的算法相比相当的准确性。
2019-03-26 cs.CL cs.LG stat.ML
The Power of Communities: A Text Classification Model with Automated Labeling Process Using Network Community Detection
Binghamton University, State University of New York(纽约州立大学宾汉姆顿分校);Waseda University(早稻田大学);Pypestream, Inc.(Pypestream公司)
文本分类是机器学习和人工智能研究中最关键的领域之一。它已经被积极地应用于许多商业应用中,例如会话智能系统、新闻文章分类、情感分析、情感检测系统以及我们日常生活中的许多其他推荐系统。有监督文本分类模型的一个问题是,模型的性能在很大程度上取决于通常由人类完成的数据标记的质量。在这项研究中,我们提出了一个新的网络社区发现为基础的方法来自动标记和分类文本数据到多类值空间。具体来说,我们建立网络的句子作为网络节点和成对的余弦相似度之间的词频反转的文档频率(TFIDF)的向量表示的句子作为网络链接的权重。我们使用Louvain方法来检测句子网络中的社区。我们在人类标记数据和网络社区发现标记数据上对支持向量机和随机森林模型进行了训练和测试。实验结果表明,基于网络社区发现标记数据的模型比基于人工标记数据的模型的分类准确率高2.68-3.75%。我们的方法可能有助于更准确的会话智能和其他文本分类系统的发展。
2019-11-14 cs.CL cs.IR cs.SI
Iterative Pseudo-Labeling for Speech Recognition
Facebook AI Research(Facebook人工智能研究院)
伪标记最近在端到端自动语音识别(ASR)中显示出希望。我们研究了迭代伪标记(IPL),一种半监督算法,有效地执行多次迭代的伪标记的未标记的数据作为声学模型的演变。特别是,IPL在每次迭代时使用标记数据和未标记数据的子集来微调现有模型。我们研究了IPL的主要组成部分:用语言模型解码和数据增强。然后,我们证明了IPL的有效性,通过实现国家的最先进的字的出错率在标准和低资源设置的Librispeech测试集。我们还研究了在不同语料库上训练的语言模型的效果,以表明IPL可以有效地利用额外的文本。最后,我们发布了一个新的大型领域内文本语料库,该语料库与Libris语音训练语料库不重叠,以促进低资源,半监督ASR的研究
2020-08-27 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练,为广泛的自然语言处理任务提供了强大的性能基础。然而,这种方法的适用性是未知的,当目标域从预训练语料库变化很大。我们特别感兴趣的场景是,标记数据仅在一个规范的源域(如newstext)中可用,而目标域与标记文本和预训练文本都不同。为了解决这种情况下,我们提出了域自适应微调,其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域:早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同,领域自适应微调在强BERT基线上产生了实质性的改进,在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是,域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
当注释者标记数据时,质量保证的一个关键指标是注释者间一致性(IAA):注释者在标签上达成一致的程度。虽然许多IAA措施存在简单的分类和顺序标签任务,相对较少的工作考虑了更复杂的标签任务,如结构化,多对象,和自由文本注释。Krippendorff的alpha以用于简单的标记任务而闻名,确实有一个基于距离的公式,具有更广泛的适用性,但很少有工作研究其在复杂注释任务中的有效性和一致性。我们调查的IAA措施的设计和评估复杂的注释任务,评估跨越七个不同的任务:图像边界框,图像关键点,文本序列标记,排名列表,自由文本翻译,数字向量和语法树。我们发现可解释性的困难和选择距离函数的复杂性是在这些任务中普遍应用克里彭多夫阿尔法的关键障碍。我们提出了两个新的,更可解释的措施,表明他们产生更一致的IAA措施跨任务和注释距离函数。
2022-12-15 cs.CL cs.LG
KPI Extraction from Maintenance Work Orders -- A Comparison of Expert Labeling, Text Classification and AI-Assisted Tagging for Computing Failure Rates of Wind Turbines
Fraunhofer Institute for Energy Economics and Energy System Technology(弗劳恩霍夫能源经济与能源系统技术研究所);National Institute for Standards and Technology(美国国家标准与技术研究院)
本文比较专家标注、文本分类和 AI 辅助标注三种维护工单 KPI 提取方法,验证其在风力涡轮机故障率与可靠性分析中的准确率和效率。
2023-12-06 cs.CL cs.LG
Automatic Labeling for Entity Extraction in Cyber Security
Oak Ridge National Laboratory(橡树岭国家实验室)
及时分析网络安全信息需要从非结构化文本中自动提取信息抽取。虽然现有技术的提取方法产生非常准确的结果,但它们需要充足的训练数据,这通常不可用于专门的应用,例如检测安全相关实体;此外,语料库的手动注释非常昂贵,并且通常不是可行的解决方案。作为回应,我们开发了一种非常精确的方法,通过利用相关的、特定于领域的结构化数据来自动标记来自多个数据源的文本,并提供对用网络安全实体注释的语料库的公共访问。接下来,我们实现了一个最大熵模型,该模型使用我们语料库的一部分($\sim$ 750,000个单词)的平均感知器进行训练,并实现了近乎完美的精确度,召回率和准确度,训练时间在17秒以内。
2014-06-09 cs.CL cs.IR
Semi-supervised Multitask Learning for Sequence Labeling
The ALTA Institute(ALTA研究院)
我们提出了一个序列标记框架,它有一个次要的训练目标,学习为数据集中的每个单词预测周围的单词。这种语言建模目标激励系统学习语义和句法组成的通用模式,这对于提高不同序列标记任务的准确性也很有用。该架构在一系列数据集上进行了评估,涵盖了学习者文本中的错误检测,命名实体识别,组块和POS标记的任务。新的语言建模目标在每个基准上提供了一致的性能改进,而不需要任何额外的注释或未注释的数据。
2017-04-24 cs.CL cs.LG cs.NE
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple(苹果公司)
提出跨语言伪标签方法,利用其他语言的字符级声学模型和目标语言模型约束,在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
Calpric: Inclusive and Fine-grain Labeling of Privacy Policies with Crowdsourcing and Active Learning
University of Toronto(多伦多大学)
本文提出基于众包和主动学习的自动化隐私政策分类工具Calpric,通过主动选择信息量最大的片段标注,仅需62%标注工作量即可达到同等F1分数,并有效解决数据集类别不平衡问题。
2026-09-25 cs.CL cs.CR cs.LG
Deep Embedding for Spatial Role Labeling
本文介绍了单词的视觉信息嵌入(VIEW),这是一种从使用Microsoft COCO数据集训练的深度神经模型中提取的单词的连续矢量表示,用于预测视觉对象之间的空间排列,并给出了文本描述。该模型由堆叠在长短期记忆(LSTM)网络顶部的深层多层感知器(MLP)组成,后者之前是嵌入层。应用VIEW将多模态背景知识转化为空间角色标注(SpRL)算法,识别文本中提到的对象之间的空间关系。这项工作也有助于一个新的方法来选择互补功能和微调方法MLP,提高了$F1$措施,在分类的话到空间的角色。VIEW使用SemEval-2013基准数据集SpaceEval的任务3进行评估。
2016-03-28 cs.CL cs.CV cs.LG
Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations
Infrrd AI Lab(Infrrd人工智能实验室)
我们提出了一种集成方法来预测线性规划应用题中的标签。实体识别和意义表征是NL4Opt竞赛中需要解决的两类任务。我们提出了ensembleCRF方法来识别命名实体的第一个任务。我们发现,在我们的分析中,单一模型并没有改善给定的任务。一组预测模型预测实体。在ensembleCRF方法中,将生成的结果合并以形成共识结果。我们提出了一个合奏文本生成器产生的代表性句子的第二个任务。由于输出中的溢出,我们考虑将问题划分为多个小任务。单个模型会根据提示生成不同的表示。所有生成的文本被组合以形成一个集合,并产生线性规划问题的数学意义。
2022-12-30 cs.AI cs.CL