A Hybrid Environment for Syntax-Semantic Tagging
本文描述了松弛标记算法在自然语言处理中的应用。受约束文法的启发,通过上下文约束对语言进行建模。这些约束允许使用实值statind“兼容性”。该技术被应用于词性标注、浅层句法分析和词义消歧。实验和结果的报告。所提出的方法使多功能约束模型的使用,同时解决几个NL消歧任务,以及语言和统计模型的合作。
1998-02-11 cmp-lg cs.CL
Rule-Based Semantic Tagging. An Application Undergoing Dictionary Glosses
本文提出的项目旨在形式化标准和程序,以便从解析的字典注释中提取语义信息。该项目的实际目的是通过无监督程序,从单语意大利语词典中生成语义网络(几乎是本体)。由于该项目涉及基于规则的解析,语义标记和词义消歧技术,其结果可能会发现兴趣也超出了这个直接的意图。在意义建设的句法和语义特征的合作进行了研究,并讨论了程序,允许翻译的句法依赖关系的语义关系。从这个项目中产生的过程也可以应用于字典注释之外的其他文本类型,因为它们将解析过程的输出转换为语义表示。此外,一些机制,可能会导致一种过程语义,通过它可以产生多个释义的一个给定的表达式。这意味着这些技术也可以在"查询扩展"策略、有趣的信息检索、搜索引擎和问答系统中找到应用。
2013-05-17 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
尽管神经序列到序列模型已经成功地应用于语义解析,但是它们在合成泛化方面失败,即,它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析,组合性是明确占符号语法,我们提出了一个新的解码框架,保留了表达性和一般性的序列到序列模型,同时具有词典风格的路线和解开信息处理。具体来说,我们分解解码成两个阶段,其中输入的话语是第一次标记的语义符号表示的含义的个别单词,然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明,该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
虽然神经机器翻译(NMT)模型在一个优雅的端到端框架中提供了更好的翻译质量,但它们对语言的了解还不太清楚。最近的工作已经开始评估NMT模型在形态和句法任务上学习的向量表示的质量。在本文中,我们研究了在NMT编码器的不同层学习的表示。我们在并行数据上训练NMT系统,并使用训练好的模型提取特征,用于训练分类器的两个任务:词性和语义标记。然后,我们测量分类器的性能作为给定任务的原始NMT模型的质量的代理。我们的定量分析产生了有趣的见解表示学习在NMT模型。例如,我们发现,较高的层更好地学习语义,而较低的层往往更适合词性标记。我们还观察到目标语言对源端表示的影响很小,特别是在高质量的NMT模型中。
2018-01-23 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp(安特卫普大学);TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务,使用弱监督的方法继续工作。我们研究了使用再训练技术的优点,该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入:(1)基于条件随机场和基于记忆的学习的判别序列标记器和(2)概率上下文无关文法归纳。实验结果表明,这种设置可以显着提高F分数,而不需要额外的信息源。此外,定性分析表明,弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Establishing Strong Baselines for the New Decade: Sequence Tagging, Syntactic and Semantic Parsing with BERT
Emory University(埃默里大学)
本文提出了三个任务,词性标注,句法分析和语义解析,使用最先进的上下文嵌入框架称为BERT的新的国家的最先进的模型。对于每个任务,我们首先复制和简化当前最先进的方法,以提高其模型效率。然后,我们使用BERT生成的令牌嵌入来评估我们在这三个任务上的简化方法。实验使用了12个中英文数据集。BERT模型的表现比之前表现最好的模型平均高出2.5%(最显著的情况为7.5%)。此外,深入分析的影响,BERT嵌入提供了使用自我注意,这有助于理解在这个丰富的,但表示。所有模型和源代码都是公开的,以便研究人员可以改进和利用它们来建立未来十年的强大基线。
2020-05-23 cs.CL
MaskParse@Deskin at SemEval-2019 Task 1: Cross-lingual UCCA Semantic Parsing using Recursive Masked Sequence Tagging
Orange Labs(奥兰治实验室);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
本文描述了我们的SemEval-2019 \textit{ Task 1: Cross-lingual Semantic Parsing with UCCA}递归系统。每个递归步骤由两部分组成。我们首先执行语义解析使用序列标签估计的概率的UCCA类别的句子。然后,我们应用解码策略来解释这些概率并构建图节点。解析是递归进行的,我们对句子进行第一次推理以提取主要场景和链接,然后使用反映先前步骤中所做决定的掩蔽功能递归地将模型应用于句子。过程继续,直到到达终端节点。我们选择了一个标准的神经标记器,我们专注于我们的递归解析策略和跨语言迁移问题,开发一个强大的模型,为法语,只使用很少的训练样本。
2019-10-07 cs.CL
Automatic tagging of knowledge points for K12 math problems
East China Normal University(华东师范大学)
实践问题知识点的自动标注是试题库管理、提高教学自动化和智能化的基础。因此,研究面向实际问题的自动标注技术具有重要的现实意义。然而,目前对数学问题知识点自动标注的研究还很少。数学文本由于包含符号、公式等独特的元素,其结构和语义比一般文本更为复杂。因此,直接应用一般领域的文本分类技术难以满足知识点预测的精度要求。以K12数学题为研究对象,提出了基于标签语义注意和多标签平滑结合文本特征的LABS模型,以提高数学题知识点的自动标注。该模型结合了一般领域的文本分类技术和数学文本的特点。结果表明,使用标签语义注意或多标签平滑的模型在精度,召回率和F1分数指标上优于传统的BiLSTM模型,而使用两者的LABS模型表现最好。可以看出,标签信息可以引导神经网络从问题文本中提取有意义的信息,提高了模型的文本分类性能。此外,结合文本特征的多标签平滑可以充分挖掘文本和标签之间的关系,提高模型对新数据的预测能力,提高模型的分类精度。
2022-08-21 cs.CL
Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions
Independent Researcher(独立研究者)
本文提出了一种基于集成大语言模型的语义标注方法,通过引入内容保留率和标签规范性指标,提高联合国安理会决议的标注准确性与效率。
2026-03-06 cs.CL
Improving Performance of Automatic Keyword Extraction (AKE) Methods Using PoS-Tagging and Enhanced Semantic-Awareness
Institute of Cyber Security for Society (iCSS) & School of Computing(社会网络安全研究所(iCSS)及计算机学院);University of Kent(肯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种基于后处理的通用方法,通过结合词性标注、专业术语库和Wikipedia命名实体增强语义感知,显著提升了五种最先进AKE方法在17个数据集上的F1分数(平均提升25.8%)。
2025-01-23 cs.CL cs.IR
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University(俄亥俄州立大学);Nationwide Children’s Hospital(全国儿童医院)
新颖的上下文可能经常出现在复杂的查询场景中,例如在涉及生物医学文献的循证医学(EBM)中,其可能不明确地指出现在任何基于事实或规则的知识源(例如,像UMLS的本体)中的实体或规范概念形式。此外,在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中,而是通过替代词汇形式存在于集合中。因此,受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发,我们开发了一种新的序列到集合框架,用于学习可以影响语料库内术语转移的文档表示,用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的,该设置不使用外部知识资源,只使用语料库派生的术语统计来驱动训练。此外,我们表明,使用我们的架构对大量未标记数据进行半监督训练,可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码,采用我们的序列到集合模型来推断语义标签,根据我们所知,在基于Okapi BM 25的文档检索系统上评估时,为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线(Soleimani et al,2016),用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Compositional Generalization without Trees using Multiset Tagging and Latent Permutations
University of Edinburgh(爱丁堡大学);Saarland University(萨尔大学);University of Amsterdam(阿姆斯特丹大学)
本文提出将语义解析分解为多重集标注与潜在排列预测两步,通过正则化线性规划求解排列,摆脱树结构归纳偏置,在COGS等基准上实现了更强的组合泛化和深层递归泛化能力。
2023-05-26 cs.CL
Hybrid Neural Tagging Model for Open Relation Extraction
Tongji University(同济大学)
开放式关系抽取(ORE)通过从非结构化文本中发现任意关系元组来获得语义表示仍然是一个挑战。传统的方法严重依赖于特征工程或句法分析,它们效率低下或错误级联。最近,利用监督深度学习结构来解决ORE任务是一种非常有前途的方法。然而,目前存在两个主要的挑战:(1)缺乏足够的标注语料来支持有监督的训练;(2)探索适合开放关系抽取特点的特定神经结构。在本文中,为了克服这些困难,我们建立了一个大规模的,高质量的训练语料库,在一个完全自动化的方式,并设计了一个标记方案,以协助转换成一个序列标记处理的ORE任务。此外,我们提出了一个混合神经网络模型(HNN 4 ORT)的开放关系标注。该模型使用有序神经元LSTM来编码潜在的语法信息,以捕获参数和关系之间的关联。它还出现了一种新的双重意识机制,包括局部意识注意和全局意识卷积。这种双重感知的互补性使得模型可以将文本级语义作为全局视角,同时实现显著的局部特征,实现稀疏标注。在各种测试集上的实验结果表明,与传统方法或其他神经模型相比,我们的模型可以达到最先进的性能。
2020-02-13 cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Alibaba Group(阿里巴巴集团)
在本文中,我们探讨了槽标记只有几个标记的支持句(a.k.a. Few-Shot)。与其他Few-Shot分类问题相比,Few-Shot槽标记面临着独特的挑战,因为它需要对标签之间的依赖关系进行建模。但是,由于标签集的差异,很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题,我们在条件随机场(CRF)中引入了一个折叠依赖转移机制,以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中,CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性,我们提出了一个标签增强的任务自适应投影网络(L-TapNet)的基础上,国家的最先进的Few-Shot分类模型- TapNet,利用标签名称语义表示标签。实验结果表明,我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever
Squirrel AI(松鼠AI);Michigan State University(密歇根州立大学)
针对现有基于编码的自动知识标注方法难以处理强领域知识类疑难案例的问题,本研究利用大语言模型实现数学题知识标注,并提出基于强化学习的灵活示例检索器,在提升标注效果的同时保证了上下文示例的使用效率。
2024-06-19 cs.AI cs.CL
TagRec: Automated Tagging of Questions with Hierarchical Learning Taxonomy
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院)
在线教育平台根据分层学习分类(主题-章节-主题)组织学术问题。使用现有分类法自动标记新问题将有助于将这些问题组织到分层分类法的不同类别中,以便可以基于章节等方面进行搜索。这个任务可以被公式化为一个扁平的多类分类问题。通常,基于平面分类的方法忽略了分层分类法中的术语与问题之间的语义相关性。一些传统的方法也遭受类不平衡的问题,因为他们只考虑叶节点,忽略了层次结构。因此,我们制定了一个基于相似性的检索任务,我们优化的分类和问题之间的语义相关性的问题。我们证明,我们的方法有助于处理看不见的标签,因此可以用于分类标记在野外。在这种方法中,我们用相应的答案来增强问题,以捕获更多的语义信息,然后将问题-答案对的上下文嵌入与相应的标签(分类)向量表示对齐。通过用损失函数微调基于Transformer的模型来对齐表示,所述损失函数是余弦相似性和铰链秩损失的组合。损失函数最大化问题-答案对与正确标签表示之间的相似性,并最小化与不相关标签的相似性。最后,我们在两个真实世界的数据集上进行了实验。我们表明,所提出的学习方法比使用多类分类方法和其他最先进的方法学习的表示的性能高出6%,如Recall@k所测量的。我们还展示了所提出的方法在看不见但相关的学习内容上的性能,如学习目标,而无需重新训练网络。
2021-07-03 cs.CL
Adobe-MIT submission to the DSTC 4 Spoken Language Understanding pilot task
Adobe Research(奥多比研究院);MIT(麻省理工学院);Massachusetts Institute of Technology(麻省理工学院)
对话状态跟踪挑战4(DSTC 4)提出了几个试点任务。在本文中,我们专注于口语语言理解试点任务,其中包括标记一个给定的话语与言语行为和语义槽。我们比较不同的分类器:最好的系统在语音行为识别测试集上对游客和导游分别获得0.52和0.67的F1分数,并且对导游和游客都获得0.52的语义标注F1分数。
2016-05-07 cs.AI cs.CL cs.LG
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)(Techo创业中心);Royal University of Phnom Penh (RUPP)(金边皇家大学)
高棉语文本从左到右书写,可选空格。空格不是用作单词边界,而是用于可读性或其他功能目的。分词是诸如词性(POS)标注之类的下游任务的优先步骤,因此,POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程,首先是分词,然后是对每个词的实际标注。在这项工作中,提出了一种使用单个深度学习模型的联合分词和POS标记方法,以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明,联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Context-Dependent Fine-Grained Entity Type Tagging
Google Inc.(谷歌公司)
实体类型标记是为文档中的每个实体引用分配类别标签的任务。虽然标准系统专注于一小部分类型,但最近的工作(Ling和Weld,2012)表明,使用大型细粒度标签集可以显著改善下游任务。在没有标记的训练数据的情况下,现有的细粒度标记系统使用从知识库中提取的解析实体及其类型自动获得示例。然而,由于适当的类型通常取决于上下文(例如,华盛顿可能被标记为城市或政府),因此该过程可能导致虚假标签,从而导致较差的泛化。我们提出了上下文相关的精细类型标记的任务,其中一个提到的可接受的标签集仅限于那些从本地上下文(例如句子或文档)推断。我们为这项任务引入了新的资源:12,017个引用注释了它们的上下文相关的精细类型,我们提供了这些数据的基线实验结果。
2016-08-01 cs.CL
Word Tagging with Foundational Ontology Classes: Extending the WordNet-DOLCE Mapping to Verbs
University of Passau(帕绍大学)
语义标注是处理大规模词汇信息的基础,它将信息映射到一组可分类的类别,在这些类别上可以应用规则和算法,基础本体类可以用作此类任务的正式类别集。之前WordNet名词同义词集和DOLCE之间的对齐为基于本体的注释提供了一个起点,但在NLP任务中,动词也非常重要。这项工作提出了一个扩展的WordNet-DOLCE名词映射,对齐动词根据其链接到名词表示perdurants,转移到动词的DOLCE类分配给名词,最好代表该动词的出现。为了评估这个资源的有用性,我们实现了一个基于基础本体的语义注释框架,它为文本中的每个单词或短语分配了一个高级基础类别,并将其与类似的注释工具进行了比较,准确率提高了9.05%。
2018-06-20 cs.CL
PAMPO: using pattern matching and pos-tagging for effective Named Entities recognition in Portuguese
INESC TEC;FCUP(波尔图大学理学院);ICMC-USP(圣保罗大学圣卡洛斯数学与计算机科学研究所);University of São Paulo(圣保罗大学);FEP(波尔图大学经济学院)
本文论述了实体提取任务(命名实体识别)的文本挖掘过程,旨在揭示非平凡的语义结构,如实体或社区之间的关系和相互作用。本文提出了一种简单有效的命名实体抽取算法。该方法采用灵活的模式匹配、词性标注和基于词典的规则,称为PAMPO(Pattern Matching and PO s tagingbased algorithm for NER)。它被开发用于处理用葡萄牙语编写的文本,但它也可能适用于其他语言。我们比较我们的方法与目前的替代品,支持命名实体识别(NER)的内容写在葡萄牙语。这些是炼金术师泽曼塔和伦勃朗在葡萄牙语写的几个文本上的实体提取方法的疗效评价表明,$recall$和$F_1$措施有相当大的改善。
2016-12-30 cs.CL cs.IR
Arabic Morphosyntactic Tagging and Dependency Parsing with Large Language Models
Computational Approaches to Modeling Language Lab(语言建模方法计算实验室);New York University Abu Dhabi(纽约大学阿布扎克分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文评估了大语言模型在阿拉伯语词法句法标注和依赖解析任务中的表现,发现提示设计和示例选择对性能影响显著,专有模型在特征层面标注接近监督基线,且在依赖解析中具有竞争力。
2026-09-04 cs.CL
Low-Resource Name Tagging Learned with Weakly Labeled Data
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
低资源语言或域中的名称标记遭受不充分的训练数据。现有的工作严重依赖于额外的信息,而留下那些在网络上广泛存在的嘈杂的注释。在本文中,我们提出了一种新的神经模型的名称标记仅基于弱标记(WL)的数据,使其可以应用于任何低资源设置。为了充分利用所有WL语句,我们将它们分为高质量和噪声部分,分别用于两个模块:(1)分类模块专注于大部分噪声数据,可以通过捕获文本上下文语义来有效和鲁棒地预训练标签分类器;以及(2)集中于高质量数据的昂贵的序列标记模块利用具有非实体采样的部分CRF来实现全局最优。两个模块通过共享参数组合。涉及五种低资源语言和细粒度食物域的广泛实验证明了我们的卓越性能(平均6%和7.8%F1增益)以及效率。
2019-08-26 cs.CL
Boosting Span-based Joint Entity and Relation Extraction via Squence Tagging Mechanism
National University of Defense Technology(国防科技大学)
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。最近的研究表明,令牌标签可以传达关键的特定于任务的信息和丰富的令牌语义。然而,据我们所知,由于完全放弃了序列标记机制,所有基于跨度的工作都没有使用令牌标签信息。为了解决这个问题,我们提出了序列标记增强的基于跨度的网络(Sequence Tagging enhancedSpan-based Network,STSN),它是一种基于跨度的联合抽取网络,通过从基于序列标记的NER中获得令牌BIO标签信息来增强。通过将多个注意力层进行深度叠加,设计了一种深度神经架构来构建STSN,每个注意力层由三个基本注意力单元组成。深度神经架构首先学习标记标签的语义表示和基于跨度的联合抽取,然后构建它们之间的信息交互,从而实现基于跨度的NER和RE之间的双向信息交互。此外,我们扩展了BIO标记方案,使STSN可以提取重叠实体。在三个基准数据集上的实验表明,我们的模型始终优于以前的最佳模型,创造了新的最先进的结果。
2022-07-16 cs.CL
Benchmarking zero-shot and few-shot approaches for tokenization, tagging, and dependency parsing of Tagalog text
Electrical and Electronics Engineering Institute(电气与电子工程学院);University of the Philippines(菲律宾大学)
任何书面语言中文本的语法分析通常涉及许多基本处理任务,例如标记化、形态标记和依存句法分析。对于具有大型数据集的语言,最先进的系统可以在这些任务上实现高准确性,但对于具有很少或没有注释数据的语言,结果很差。为了解决这个问题的TagSword语言,我们研究使用替代语言资源创建特定于任务的模型,在没有依赖性注释的TagSword数据。我们还探讨了使用词嵌入和数据增强,以提高性能时,只有少量的注释TagSign数据可用。我们表明,这些zero-shot和Few-Shot的方法产生了显着的改进,语法分析的域和域外的标签文本相比,国家的最先进的监督基线。
2023-01-06 cs.CL
Dialogue Act Tagging with Transformation-Based Learning
对于识别对话行为的任务,我们正在应用基于转换的学习(TBL)机器学习算法。为了避免稀疏数据的问题,我们提取的话语,如说话人的方向,标点符号,和一个新的功能,称为对话行为线索,我们发现这是更有效的比提示短语和词n-gram在实践中动机良好的功能的值。我们提出的策略,通过最小化训练语料库中的对话行为的分布的熵,过滤掉不相关的对话行为线索,并聚类语义相关的话,自动构建一组对话行为线索。此外,为了解决TBL的局限性,我们引入了Monte Carlo策略来有效地训练和委员会方法来计算置信度。这些想法结合在我们的工作实现中,它可以像任何其他报告的对话行为标记任务系统一样准确地标记保留的数据。
1998-06-08 cmp-lg cs.CL
eFontes. Part of Speech Tagging and Lemmatization of Medieval Latin Texts.A Cross-Genre Survey
Institute of Polish Language (Polish Academy of Sciences)(波兰科学院波兰语言研究所);AGH University(AGH大学);Enelpol(恩内波尔公司);Jagiellonian University(雅盖隆大学)
本文提出基于Transformers的eFontes模型,用于中世纪拉丁文本的词形还原、词性标注和形态特征确定,在UD及自建波兰中世纪拉丁语料库上训练,取得较高准确率,并展望扩展至命名实体识别。
2024-06-29 cs.CL cs.LG
Hierarchical Bracketing Encodings for Dependency Parsing as Tagging
Universidade da Coruña, CITIC(乌拉圭科鲁纳大学,CITIC);Tampere University, Math. Res. Centre, Computing Sciences(塔尔基大学,数学研究中心,计算科学);University of Helsinki, Faculty of Arts, Digital Humanities(赫尔辛基大学,人文学院,数字人文)
提出基于分层括号的序列标注依存解析编码,证明现有4位投影编码非最优,推导出仅用12标签的最优编码并扩展支持非投影性,在多树库上取得竞争性准确率。
2025-07-10 cs.CL
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt(达姆施塔特工业大学)
目前的序列标记方法是NLP的核心任务,是数据饥饿的,这促使使用众包作为获得标记数据的廉价方式。然而,注释器通常是不可靠的,并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题,我们提出了一个贝叶斯方法聚合序列标签,减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法,我们考虑到模型中的不确定性,这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别,信息抽取和参数挖掘,表明我们的顺序模型优于以前的最先进的状态。我们还发现,我们的方法可以通过更有效的主动学习降低众包成本,因为它更好地捕捉序列标签的不确定性时,有很少的注释。
2019-09-06 cs.CL cs.LG
Hierarchical Multi-Task Natural Language Understanding for Cross-domain Conversational AI: HERMIT NLU
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一种新的神经架构,用于口语对话系统中的广泛覆盖的自然语言理解。我们开发了一个分层的多任务架构,它提供了句子含义的多层表示(即,对话行为和框架式结构)。该架构是自我注意力机制和BiLSTM编码器的层次结构,随后是CRF标记层。我们描述了各种各样的实验,表明我们的方法在用对话行为和框架语义注释的数据集上获得了有希望的结果。此外,我们证明了它对不同的、公开可用的NLU数据集的适用性,该数据集注释了特定领域的意图和相应的语义角色,提供了比RASA、Dialogflow、LUIS和Watson等最先进的工具更高的整体性能。例如,我们在Rasa、Dialogflow和LUIS上的实体标记F分数平均提高了4.45%。
2019-10-02 cs.CL
#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出开放集细粒度指令标注器InsTag,用以量化SFT数据的多样性与复杂性,并据此选择6K样本训练TagLM,在MT-Bench上超越使用更多数据的开源模型。
2023-08-15 cs.AI cs.CL cs.LG
Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields
University of Bristol(布里斯托尔大学);Technische Universität Darmstadt(达姆施塔特工业大学)
我们比较了不同的模型低资源多任务序列标记,利用不同任务的标签序列之间的依赖关系。我们的分析针对的是每个示例都有多个任务标签的数据集。当前的方法要么为每个任务使用单独的模型,要么使用标准的多任务学习来学习共享的特征表示。然而,这些方法忽略了标签序列之间的相关性,这可以在具有小训练数据集的设置中提供重要信息。为了分析哪些场景可以从不同任务中的标签之间的依赖关系建模中获益,我们重新审视了动态条件随机场(CRF),并将其与深度神经网络相结合。我们比较了单任务,多任务和动态CRF设置三个不同的数据集在句子和文档水平在英语和德语低资源的情况下。我们表明,将来自预训练词性标记器的银色标签作为辅助任务可以提高下游任务的性能。我们发现,特别是在低资源的情况下,任务预测之间的相互依赖关系的显式建模优于单任务以及标准的多任务模型。
2020-05-01 cs.CL
GEDIT: Geographic-Enhanced and Dependency-Guided Tagging for Joint POI and Accessibility Extraction at Baidu Maps
Baidu Inc.(百度公司);Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
提供兴趣点(POI)的及时可访问性提醒在提高用户查找地点和做出访问决策的满意度方面起着至关重要的作用。然而,由于业务变化的动态性质,很难使POI数据库与真实世界的对应物保持同步。为了缓解这个问题,我们制定并提出了一个切实可行的解决方案,共同提取POI提到,并确定其耦合的无障碍标签从非结构化文本。我们将此任务视为序列标记问题,目标是从非结构化文本中生成<POI名称,可访问性标签>对。这个任务是具有挑战性的,因为有两个主要问题:(1)POI名称通常是新创造的单词,以便成功地注册新的实体或品牌,以及(2)文本中可能存在多个对,这需要处理一对多或多对一的映射,以使每个POI与其可访问性标签相耦合。为此,我们提出了一个地理增强和依赖性引导的序列标记(GEDIT)模型,同时解决这两个挑战。首先,为了缓解挑战1,我们开发了一个地理增强的预训练模型来学习文本表示。其次,为了减轻挑战#2,我们应用关系图卷积网络来从解析的依赖树学习树节点表示。最后,我们构建了一个神经序列标记模型,通过集成和馈送先前预先学习的表示到CRF层。在真实数据集上进行的大量实验证明了GEDIT的优越性和有效性。此外,它已经部署在百度地图的生产中。统计数据表明,在处理相同数量的文档时,该解决方案可以节省大量的人力和劳动力成本,是一种实用的POI可访问性维护方法。
2021-08-20 cs.CL
To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP
Technical University of Darmstadt(达姆施塔特工业大学)
数据饥渴的深度神经网络已经成为许多NLP任务的标准,包括传统的序列标记任务。尽管它们在高资源语言上具有最先进的性能,但在低资源场景中仍然落后于统计对手。对付这个问题的一种方法是文本增强,即,从现有数据生成新的合成训练数据点。虽然NLP最近见证了大量的文本增强技术,但该领域仍然缺乏对各种语言和序列标记任务的系统性能分析。为了填补这一空白,我们研究了三种类型的文本增强方法,它们对语法进行更改(例如,裁剪子句子),标记(例如,随机字插入)和字符(例如,字符交换)级别。我们系统地比较了他们的词性标记,依赖性分析和语义角色标注的一组不同的语言家族使用各种模型,包括依赖于预训练的多语言上下文语言模型,如mBERT的架构。增强最显着地提高了依存关系分析,其次是词性标注和语义角色标注。我们发现实验技术是有效的形态丰富的语言,而不是分析语言,如越南语。我们的研究结果表明,增强技术可以进一步改善基于mBERT的强基线。我们确定的字符级的方法是最一致的表演者,而同义词替换和语法增强提供不一致的改进。最后,我们讨论的结果最严重地依赖于任务,语言对,和模型类型。
2021-11-18 cs.AI cs.CL
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products(创新乳制品合作研究中心);The University of Melbourne(墨尔本大学);Victorian Bioinformatics Consortium(维多利亚生物信息学联盟);Monash University(莫纳什大学)
最近的一项研究报告了Muscorian的发展,这是一种通用的文本处理工具,用于从文本中提取蛋白质-蛋白质相互作用,其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的,因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性(POS)标记器作为POS标记的错误,并可能影响后续的文本语义分析,如浅层解析。本研究旨在评估词性(POS)标记的准确性,并试图探讨是否获得了可比的性能时,通用的POS标记,MontyTagger,被用来代替MedPost,一个tagger训练的生物医学文本。我们的结果表明,在生物医学文本上测试时,Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上,MontyTagger的精确度为55.6%,MedPost为56.8%,在非定向关系上,MontyTagger为86.1%,MedPost为81.8%。这是意料之外的,因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明,78.5%的标注错误被浅层句法分析所弥补。因此,尽管标记准确率为83.1%,但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
A Span Selection Model for Semantic Role Labeling
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tohoku University(东北大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
提出了一种简单而精确的基于跨度的语义角色标注模型。我们的模型直接考虑了所有可能的参数跨度,并为每个标签进行评分。在解码时,我们会选择评分较高的标记跨度。我们的模型的一个优点是允许我们设计和使用跨度级别的功能,这在基于令牌的BIO标记方法中很难使用。实验结果表明,我们的集成模型达到了最先进的结果,87.4 F1和87.0 F1的CoNLL-2005和2012数据集上,分别。
2018-10-04 cs.CL
Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research(百度研究院)
在本文中,我们提出了各种基于长短期记忆(LSTM)的序列标记模型。这些模型包括LSTM网络、双向LSTM(BI-LSTM)网络、带有条件随机场(CRF)层的LSTM(LSTM-CRF)和带有CRF层的双向LSTM(BI-LSTM-CRF)。我们的工作是第一个将双向LSTM CRF(表示为BI-LSTM-CRF)模型应用于NLP基准序列标记数据集。我们表明,由于双向LSTM组件,BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息,这要归功于CRF层。BI-LSTM-CRF模型可以在POS,分块和NER数据集上产生最先进的(或接近)准确性。此外,它是鲁棒的,与以前的观察相比,对词嵌入的依赖性更小。
2015-08-09 cs.CL
Quality-Aware Translation Tagging in Multilingual RAG system
Yonsei University(延世大学);University of Ulsan College of Medicine(釜山大学医学院);LG Electronics, Toronto AI Lab(LG电子,多伦多AI实验室)
提出QTT-RAG,通过评估翻译质量并附加分数元数据,提升多语言RAG在低资源场景下的响应生成性能,优于现有基线。
2025-10-27 cs.AI cs.CL
Domain adaptation for part-of-speech tagging of noisy user-generated text
University of Munich (LMU)(慕尼黑大学(LMU))
词性标注器的性能高度依赖于所处理文本的领域,并且对于许多领域,没有或只有非常少的训练数据可用。本文研究了用神经网络对用户生成的噪声文本进行词性标注的问题。我们提出了一个架构,训练一个大型新闻通讯语料库的领域模型,并通过使用它们作为训练的目标域(德国推文的数据集),其中有很少的注释可用的模型的先验转移这些权重。神经网络的核心有两个标准的双向LSTM。然而,我们发现关键还编码一组特定于任务的功能,并获得可靠的(源域和目标域)的单词表示。采用不同的正则化技术,如早期停止,辍学和微调的领域自适应先验权重进行实验。我们最好的模型使用来自领域模型的外部权重,以及特征嵌入,预训练的单词和子词嵌入,并实现了略高于90%的标记准确率,改进了该任务的先前技术水平。
2019-05-21 cs.CL cs.LG stat.ML
Incorporating Deep Syntactic and Semantic Knowledge for Chinese Sequence Labeling with GCN
Peking University(北京大学);Digital Humanities Center of Peking University(北京大学数字人文中心);School of Foreign Languages, Peking University(北京大学外国语学院)
针对中文序列标注未能利用句法、语义层次结构信息的问题,提出基于 GCN 编码两类特征的框架,并在五个基准上验证其性能提升。
2023-06-03 cs.AI cs.CL
Improving part-of-speech tagging via multi-task learning and character-level word representations
ABBYY(ABBYY公司);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在本文中,我们探讨了如何提高POS标记使用各种类型的辅助损失和不同的词表示。作为基线,我们使用了BiLSTM标签器,它能够在序列标签任务上实现最先进的结果。提出了一种基于前向神经网络的字符级词表示方法。这种表示在模型的速度和性能方面给了我们更好的结果。我们还应用了一种新的技术,用现有的词向量来预训练这种词表示。最后,我们为序列标签任务设计了一种新的辅助损失变体:对相邻标签的额外预测。这种损失迫使模型学习标签序列中的依赖关系,并加速训练过程。我们测试这些方法对英语和俄语。
2018-07-02 cs.AI cs.CL cs.LG
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China(中国科学技术大学管理学院)
金融命名实体识别(FinNER)是金融文本信息抽取领域的一个具有挑战性的课题,其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而,这样的序列标注模型不能充分利用文本中的语义信息。相反,我们制定了FinNER任务作为一个机器阅读理解(MRC)的问题,并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息,提取目标实体的起始索引和结束索引,无需条件随机场(CRF)等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%,与BiLSTM-CRF,BERT-Tagger和BERT-CRF等序列标记模型相比,平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL