Improving Portuguese Semantic Role Labeling with Transformers and Transfer Learning
LIAAD - INESC TEC；University of Porto（波尔图大学）
确定“谁对谁做了什么”的自然语言处理任务称为语义角色标注。对于英语，最近的方法基于Transformer模型已经允许在这个任务中的重大改进，在以前的状态的art.However，对于低资源的语言，如葡萄牙语，目前可用的语义角色标注模型是由稀缺的训练数据阻碍。在本文中，我们探索了一种模型架构，该架构仅包含一个预训练的基于transformer的模型，一个线性层，softmax和Viterbi解码。我们大幅提高了葡萄牙语的最先进性能超过15 F1。此外，我们利用跨语言的迁移学习，使用多语言的预训练模型，并从依存句法分析在葡萄牙语迁移学习，经验评估各种建议的方法，提高语义角色标注结果在葡萄牙语语料库。
2021-10-30 cs.CL
Simple BERT Models for Relation Extraction and Semantic Role Labeling
University of Waterloo（滑铁卢大学）
我们提出了简单的基于BERT的关系抽取和语义角色标注模型。近年来，通过结合词汇和句法特征（如词性标记和依赖树），使用神经模型实现了最先进的性能。在本文中，对这两个任务的数据集进行了广泛的实验，结果表明，在不使用任何外部特征的情况下，一个简单的基于BERT的模型可以实现最先进的性能。据我们所知，我们是第一个以这种方式成功应用BERT的公司。我们的模型为未来的研究提供了强有力的基线。
2019-04-10 cs.CL
A Sequence-to-Sequence Model for Semantic Role Labeling
Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”（莱布尼茨科学校园“实证语言学与计算语言建模”）；Heidelberg University（海德堡大学）
我们探索了一种新的方法，语义角色标注（SRL）铸造它作为一个序列到序列的过程。我们采用了一个基于注意力的模型丰富的复制机制，以确保忠实再生的输入序列，同时使交错生成的参数角色标签。在这里，我们将此模型应用于单语设置，对英语数据执行PropBank SRL。约束序列生成设置强制执行的复制机制，使我们能够分析手动标记的数据和基准对国家的最先进的序列标记模型的模型的性能和特殊属性。我们表明，我们的模型能够解决英语数据上的SRL参数标记任务，但需要添加进一步的结构解码约束，使模型真正具有竞争力。我们的工作代表了迈向更先进的，生成SRL标签设置的第一步。
2018-07-09 cs.CL
Polyglot Semantic Role Labeling
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
以前的多语言语义依存句法分析方法都是独立处理语言，没有利用语言间语义结构的相似性。我们尝试了一种新的方法，我们结合资源，从一对语言在CoNLL 2009年共享的任务，建立一个多语言语义角色标签。尽管没有平行的数据，和不同的语言之间的注释，我们的方法的结果在SRL性能的改善，在多种语言的单语基线。对多语言模式的分析表明，它在资源较少的环境中是有利的。
2018-05-29 cs.CL
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Semantic Role Labeling with Iterative Structure Refinement
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
现代最先进的语义角色标注（SRL）方法依赖于表达性句子编码器（例如，多层LSTM），但倾向于仅对各个变元标记决策之间的局部（如果有的话）交互进行建模。这与早期的工作形成了对比，也与个体论证的标签是强烈相互依赖的直觉形成了对比。我们通过{ \it迭代细化}对参数标签决策之间的交互进行建模。从因子分解模型产生的输出开始，我们使用精化网络迭代地精化它。而不是建模任意角色和单词之间的相互作用，我们编码先验知识的SRL问题，通过设计一个限制性的网络架构捕捉非本地的相互作用。这种建模选择可以防止过度拟合，并产生有效的模型，在所有7种CoNLL-2009语言上的表现优于强因子分解基线模型，并在其中5种语言上实现了最先进的结果，包括英语。
2019-09-07 cs.CL
SRLGRN: Semantic Role Labeling Graph Reasoning Network
Michigan State University（密歇根州立大学）
这项工作涉及的挑战，学习和推理多跳问答（QA）。我们提出了一个基于句子语义结构的图推理网络来学习跨段落的推理路径，并联合寻找支持事实和答案。建议的图是一个异构的文档级图，包含节点的类型句子（问题，标题，和其他句子），和语义角色标注子图每个句子，包含参数作为节点和谓词作为边缘。将源自SRL谓词的参数类型、参数短语和边的语义描述到图编码器中有助于找到推理路径以及推理路径的可解释性。我们提出的方法显示了竞争力的性能HotpotQA分心设置基准相比，最近的国家的最先进的模型。
2020-11-18 cs.CL
Syntax Aware LSTM Model for Chinese Semantic Role Labeling
Peking University（北京大学）
对于语义角色标注（SRL）任务，传统的方法和最近的基于递归神经网络（RNN）的方法在利用句法分析信息时，都采用了特征工程的方法。在本文中，我们提出了可感知的长短时间记忆（SA-LSTM）。SA-LSTM的结构根据依存句法分析信息进行修改，以架构工程的方式而不是特征工程的方式直接建模解析信息。我们通过实验证明，SA-LSTM从模型架构中获得了更多的改进。此外，根据学生t检验（$p<0.05$），SA-LSTM在CPB 1.0上的表现显著优于最新技术水平。
2017-04-20 cs.CL
Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics（电气工程与信息学院）；Bandung Institute of Technology（万隆理工学院）
在本文中，我们提出了一个多文档摘要系统使用语义角色标注（SRL）和语义图的印尼新闻文章。为了改进现有的摘要器，我们的系统修改的摘要器，采用主语，谓语，宾语和状语（SVOA）提取谓词论元结构（PAS）提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法，以确定与决策树分类器的重要PAS，因为没有遗传算法的汇总器，给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明，该模型在100字摘要中的平均ROUGE-2召回率为0.313，在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Syntax-aware Neural Semantic Role Labeling with Supertags
University of Washington（华盛顿大学）；Google（谷歌）；Yale University（耶鲁大学）；Elemental Cognition, LLP（元素认知有限责任合伙公司）
我们引入了一个新的语法感知模型依赖的语义角色标注，优于英语和西班牙语的语法不可知模型。我们使用BiLSTM来标记文本，其中包含从依赖解析中提取的超级标记，并将这些超级标记与单词和词性一起输入到深度高速公路BiLSTM中，以进行语义角色标注。我们的模型结合了早期模型的优势，执行SRL的基础上，一个完整的依赖关系解析与最近的模型，使用没有语法信息。我们的本地和非集成模型在CoNLL 09英语和西班牙语数据集上实现了最先进的性能。SRL模型受益于语法信息，我们表明，supertagging是一个简单的，强大的，强大的方式将语法纳入神经SRL系统。
2019-04-03 cs.CL
A Span Selection Model for Semantic Role Labeling
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种简单而精确的基于跨度的语义角色标注模型。我们的模型直接考虑了所有可能的参数跨度，并为每个标签进行评分。在解码时，我们会选择评分较高的标记跨度。我们的模型的一个优点是允许我们设计和使用跨度级别的功能，这在基于令牌的BIO标记方法中很难使用。实验结果表明，我们的集成模型达到了最先进的结果，87.4 F1和87.0 F1的CoNLL-2005和2012数据集上，分别。
2018-10-04 cs.CL
Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
最近的生物标记为基础的神经语义角色标注模型是非常高的性能，但假设黄金谓词作为输入的一部分，不能纳入跨级功能。我们提出了一个端到端的方法，共同预测所有的谓词，参数跨度，以及它们之间的关系。该模型对每个可能的词跨度对之间的关系（如果有的话）做出独立的决定，并学习上下文化的跨度表示，为每个决定提供丰富的共享输入特征。实验表明，这种方法设置了一个新的状态的最先进的PropBank SRL没有黄金谓词。
2018-08-13 cs.CL
Towards Semi-Supervised Learning for Deep Semantic Role Labeling
Carnegie Mellon University（卡内基梅隆大学）
神经模型在语义角色标注（SRL）方面表现出了几种最先进的性能。然而，神经模型需要大量的语义角色语料库，因此不适合低资源语言或领域。本文提出了一种半监督的语义角色标注方法，该方法在有限的SRL训练语料库中的性能优于现有技术。该方法基于通过用语法不一致性损失组件增强训练目标来显式地强制执行语法约束，并使用SRL未标记的实例来训练联合目标LSTM。在CoNLL-2012英语部分，提出的半监督训练1%，10% SRL标记数据和不同量的SRL未标记数据分别达到+1.58，+0.78 F1，超过在SOTA架构上使用ELMo对相同SRL标记数据进行训练的预训练模型。此外，通过使用推理时间上的语法不一致性损失，所提出的模型在1%，10% SRL标记的数据上分别比预训练模型达到+3.67，+2.1 F1。
2018-08-28 cs.CL
Building a Hebrew Semantic Role Labeling Lexical Resource from Parallel Movie Subtitles
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们提出了一个语义角色标注资源希伯来文建立半自动通过注释投影从英语。该语料库来自多语言OpenSubtitles数据集，包括简短的非正式句子，并已计算出可靠的语言注释。我们提供了一个完整的注释版本的数据，包括形态分析，依赖语法和语义角色标注在框架和PropBank风格。句子在英语和希伯来语之间对齐，双方都包括完整的注释和从英语参数到希伯来语参数的明确映射。我们在这个希伯来语资源上训练神经SRL模型，利用预训练的多语言BERT Transformer模型，并提供希伯来语SRL的第一个可用基线模型作为参考点。我们提供的代码是通用的，可以适应其他语言来引导SRL资源。
2020-05-17 cs.CL
High-order Semantic Role Labeling
Department of Computer Science and Engineering, Shanghai Jiao Tong University (SJTU)（上海交通大学计算机科学与工程系（SJTU））；National Institute of Information and Communications Technology (NICT)（日本信息与通信技术研究所（NICT））
语义角色标注主要用于标识谓词、参数及其语义关系。由于建模方法的局限性和谓词预识别条件的限制，以往的研究大多集中在谓词与论元之间的关系以及论元之间的相关性上，而谓词之间的相关性长期以来被忽略。在神经网络时代之前，高阶特征和结构学习在建模这种相关性时非常常见。在本文中，我们介绍了神经语义角色标注模型的高阶图结构，这使得该模型不仅可以显式地考虑孤立的谓词-论元对，但也谓词-论元对之间的相互作用。在CoNLL-2009基准测试的7种语言上的实验结果表明，高阶结构学习技术有利于强性能的SRL模型，并进一步提高了我们的基线，以实现新的最先进的结果。
2020-10-09 cs.CL
Hierarchical Multitask Learning with Dependency Parsing for Japanese Semantic Role Labeling Improves Performance of Argument Identification
pluszero Inc.（pluszero公司）；The University of Tokyo（东京大学）
随着FrameNet和PropBank的出现，英语中出现了许多语义角色标注系统。虽然对日语谓词论元结构分析的研究已经展开，但大多数研究都集中在表层事例上。日本的SRL模型在深度情况下的研究成果很少，而且模型的精度较低。因此，我们提出了一个分层的多任务学习方法与依存句法分析（DP），并表明我们的模型在日本SRL达到了最先进的结果。此外，我们进行实验，同时进行参数识别和参数分类的联合模型。结果表明，DP的多任务处理主要是有效的论点识别。
2021-02-26 cs.CL
Dependency and Span, Cross-Style Semantic Role Labeling on PropBank and NomBank
Shanghai Jiao Tong University（上海交通大学）
神经语义角色标注（SRL）的最新发展表明，依赖和跨度形式化/样式的性能都有很大的提高。虽然这两种风格在语言意义和计算方面有许多相似之处，但以往的研究大多集中在单一的风格上。在本文中，我们定义了一个新的跨风格的语义角色标签公约，并提出了一个新的跨风格的联合优化模型，设计了一个最基本的语言意义的语义角色，提供了一个解决方案，使两种风格的结果更具可比性，并允许两种形式主义的SRL受益于他们的自然联系，在语言学和计算。我们的模型学习了一个通用的语义参数结构，并能够以任何一种风格输出。此外，我们提出了一个语法辅助的方法，以统一提高学习的依赖和跨度表示。实验结果表明，本文提出的方法在跨集和依赖集SRL测试中都是有效的。
2021-02-10 cs.CL
Query Your Model with Definitions in FrameNet: An Effective Method for Frame Semantic Role Labeling
Peking University（北京大学）
框架语义角色标注（FSRL）识别参数，并使用框架网络中定义的框架语义角色标记它们。以往的研究倾向于将FSRL分为论元识别和角色分类。这些方法通常将角色分类建模为朴素的多类分类，并单独处理参数，这忽略了标签语义和参数之间的相互作用，从而阻碍了模型的性能和泛化。在本文中，我们提出了一个基于查询的框架命名为ArgumentExtractor与定义的框架网（AGED），以减轻这些问题。FrameNet中框架和框架元素（FE）的定义可用于查询文本中的参数。对文本定义对进行编码可以指导模型学习标签语义和加强参数交互。实验表明，AGED优于以前的国家的最先进的高达1.3 F1分数在两个框架网络数据集和泛化能力的AGED在zero-shot和fewshot场景。我们的代码和技术附录可在https://github.com/PKUnlp-icler/AGED上获得。
2022-12-05 cs.CL
Multi-Task Active Learning for Neural Semantic Role Labeling on Low Resource Conversational Corpus
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Universitas Indonesia（印度尼西亚大学）
大多数语义角色标注（SRL）方法都是有监督的方法，需要大量的标注语料，并且标注需要语言学专业知识。在本文中，我们提出了一个多任务主动学习框架语义角色标注与实体识别（ER）作为辅助任务，以减轻需要大量的数据和使用额外的信息，从ER，以帮助SRL。我们评估了我们在印度尼西亚对话数据集上的方法。我们的实验表明，多任务主动学习可以优于单任务主动学习方法和标准的多任务学习。根据我们的研究结果，在单任务和多任务环境下，与被动学习相比，主动学习使用的训练数据减少了12%，效率更高。我们还介绍了一个新的数据集SRL在印尼会话域，以鼓励在这方面的进一步研究。
2018-06-05 cs.CL
Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation
IBM Research（IBM研究院）；Google Research（谷歌研究院）
深度神经模型实现了语义角色标注的一些最佳结果。受基于实例的学习的启发，利用最近邻来处理低频上下文特定的训练样本，我们研究了在深度神经模型中使用记忆自适应技术。我们提出了一个参数化的邻域记忆自适应（PNMA）方法，使用一个参数化表示的最近邻居的令牌在内存中的激活和预测的基础上最相似的样本的训练数据。我们的经验表明，PNMA一贯提高SRL性能的基础模型，无论类型的词嵌入。再加上从BERT派生的上下文化的词嵌入，PNMA改进了现有的模型的跨度和依赖语义解析数据集，特别是在域外文本，达到F1分数80.2，和84.97的CoNLL 2005年，和CoNLL 2009年的数据集，分别。
2020-11-29 cs.CL
Character-Level Models versus Morphology in Semantic Role Labeling
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Edinburgh（爱丁堡大学）；Department of Computer Science（计算机科学系）；School of Informatics（信息学院）；Darmstadt, Germany（德国达姆施塔特）；Edinburgh, Scotland（苏格兰爱丁堡）
中间层模型已经成为一种流行的方法，特别是因为它们的可访问性和处理未知数据的能力。然而，很少有人知道他们的能力，揭示一个词的潜在形态结构，这是一个重要的技能，高层次的语义分析任务，如语义角色标注（SRL）。在这项工作中，我们训练各种类型的SRL模型，使用单词，字符和形态水平的信息，并分析字符的性能相比，几种语言的单词和形态。我们对每个形态学类型进行了深入的错误分析，并分析了与域外数据，训练数据大小，长范围依赖性和模型复杂性相关的字符级模型的优势和局限性。我们详尽的分析揭示了字符级模型的重要特征及其语义能力。
2018-05-30 cs.CL
Dependency or Span, End-to-End Uniform Semantic Role Labeling
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海交通大学上海市智能交互与认知工程重点实验室）
语义角色标注旨在发现句子的谓词论元结构。无语法输入的端到端SRL受到了广泛的关注。然而，它们大多集中在基于跨度或基于依赖的语义表示形式，并只显示特定的模型优化。同时，统一处理这两个SRL任务不太成功。本文提出了一个端到端的模型，依赖和跨度SRL与一个统一的参数表示，以处理两种不同类型的参数注释在一个统一的方式。此外，我们联合预测所有的谓词和参数，特别是包括长期被忽略的谓词识别子任务。我们的单一模型在跨度（CoNLL 2005，2012）和依赖性（CoNLL 2008，2009）SRL基准上都取得了新的最先进的结果。
2019-01-16 cs.CL
A Data-Driven Approach for Semantic Role Labeling from Induced Grammar Structures in Language
Philips Research（飞利浦研究院）；Baylor University（贝勒大学）；Tilburg University（蒂尔堡大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
语义角色在文本知识提取中起着重要的作用。当前的无监督方法利用语法结构的特征来归纳语义角色。然而，对这些语法的依赖使其难以适应嘈杂的新语言。在本文中，我们开发了一种数据驱动的方法来识别语义角色，该方法是完全无监督的，直到需要学习规则来识别语义角色出现的位置。具体来说，我们开发了一个改进的ADIOS算法的基础上ADIOS Solan等。（2005）学习语法结构，并使用这些语法结构来学习的规则，用于识别基于上下文的语法结构出现的语义角色。所获得的结果与目前的最先进的模型，本质上是依赖于人类注释的数据。
2016-06-20 cs.CL
Neural Unsupervised Semantic Role Labeling
Shanghai Jiao Tong University（上海交通大学）
语义角色标注（SRL）的任务是寻找谓词-论元结构。以前的SRL工作大多是有监督的，没有考虑标记每个例子的困难，这可能是非常昂贵和耗时的。在本文中，我们提出了第一个神经无监督模型SRL。为了将任务分解为两个参数相关的子任务，识别和聚类，我们提出了一个相应的由两个神经模块组成的管道。首先，我们训练两个语法感知的统计开发规则的神经模型。神经模型获取句子中每个标记的相关性信号，并将其输入BiLSTM，然后输入对抗层，同时进行噪声添加和分类，从而使模型能够学习句子的语义结构。然后，我们提出了另一个神经模型的参数角色聚类，这是通过聚类学习的参数嵌入偏向于他们的依赖关系。在CoNLL-2009英语数据集上的实验表明，我们的模型在参数识别和分类的非神经模型方面优于以前的最先进的基线。
2021-04-19 cs.CL
High-order Refining for End-to-end Chinese Semantic Role Labeling
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
当前的端到端语义角色标注主要是通过基于图的神经模型来完成的。然而，这些都是一阶模型，其中检测任何谓词-参数对的每个决策都是与本地特征隔离的。在本文中，我们提出了一个高阶精炼机制，执行所有谓词参数对之间的相互作用。基于基线图模型，我们的高阶细化模块通过注意力计算学习所有候选对之间的高阶特征，这些特征随后用于更新原始令牌表示。经过几次迭代的细化，底层的令牌表示可以用全局交互的特征来丰富。我们的高阶模型在中国SRL数据（包括CoNLL 09和Universal Proposition Bank）上取得了最先进的结果，同时缓解了长距离依赖问题。
2020-09-15 cs.CL
Cross-Lingual Semantic Role Labeling with High-Quality Translated Training Corpus
Wuhan University（武汉大学）；Tianjin University（天津大学）
语义角色标注是自然语言理解的关键，国内外学者对其进行了大量的研究。当大规模语料库可用于资源丰富的语言（如英语）时，监督方法已经取得了令人印象深刻的性能。而对于没有注释SRL数据集的低资源语言，要获得有竞争力的性能仍然是具有挑战性的。跨语言的语义标注是解决这一问题的有效途径之一，它在模型转换和标注投影的帮助下取得了很大的进展。在本文中，我们提出了一种新的替代方案的基础上，语料库翻译，构建高质量的训练数据集的目标语言从源金标准SRL注释。在通用命题库上的实验结果表明，基于自动化的方法是非常有效的，自动化的伪数据集可以显著提高目标语言SRL的性能。
2020-05-07 cs.CL
Sister Help: Data Augmentation for Frame-Semantic Role Labeling
University of California, Berkeley（加利福尼亚大学伯克利分校）；International Computer Science Institute, Berkeley（国际计算机科学研究所（伯克利））；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然FrameNet被广泛认为是自然语言处理中丰富的语义资源，但与其他常用的词汇资源（如PropBank和VerbNet）相比，其主要批评是缺乏覆盖面和标记数据相对较少。本文报告了一项旨在弥补这些差距的试点研究。我们提出了一种数据增强方法，它使用现有的特定于框架的注释，自动注释其他词汇单元的同一帧未注释。我们基于规则的方法定义了姐妹词汇单元的概念，并生成特定于框架的增强数据进行训练。我们目前的实验框架语义角色标注，这表明了这种数据增强的重要性：我们得到了很大的改善，以前的结果框架识别和参数识别的框架，利用全文和词典注释框架下。我们在数据增强上的发现突出了自动资源创建对框架语义解析中改进模型的价值。
2021-09-16 cs.CL
Affordance Extraction and Inference based on Semantic Role Labeling
LIAAD - INESC TEC；Faculty of Sciences - University of Porto（波尔图大学理学院）
常识推理对于自然语言处理的发展变得越来越重要。虽然词嵌入非常成功，但它们无法解释“咖啡”和“茶”的哪些方面使它们相似，或者它们如何与“商店”相关。在本文中，我们提出了一个明确的词表示，建立在分布假设代表语义角色的意义，并允许推理的关系，从他们的网格，支持的基于供给的索引假设。我们发现，我们的模型提高了无监督单词相似性任务的最新水平，同时允许从相同的向量空间直接推断新的关系。
2018-09-03 cs.CL
Syntax-aware Neural Semantic Role Labeling
Soochow University（苏州大学）；Heilongjiang University（黑龙江大学）；Alibaba Group（阿里巴巴集团）
语义角色标注（SRL），也称为浅层语义解析，是自然语言处理中一项重要而又具有挑战性的任务。由于句法结构和语义结构之间的紧密联系，传统的基于离散特征的自组织学习方法大量使用句法特征。相比之下，基于深度神经网络的方法通常将输入句子编码为单词序列，而不考虑句法结构。在这项工作中，我们调查了以前的几种编码语法树的方法，并深入研究了额外的语法感知表示是否有利于神经SRL模型。在基准测试CoNLL-2005数据集上的实验表明，语法感知的SRL方法可以有效地提高性能。通过额外的语法感知表示，我们的方法在测试数据上实现了新的最先进的85.6 F1（单个模型）和86.6 F1（集成），分别比ELMo的相应强基线高出0.8和1.0。详细的误差分析进行，以获得更多的见解所调查的方法。
2019-07-22 cs.CL
Syntax Role for Neural Semantic Role Labeling
Shanghai Jiao Tong University（上海交通大学）
语义角色标注（SRL）致力于识别句子的语义谓词-论元结构。以往基于传统模型的研究表明，句法信息对自主学习成绩有显著的影响;然而，句法信息的必要性受到了最近一些神经SRL研究的挑战，这些研究表明，在没有句法主干的情况下，句法信息的表现令人印象深刻，并表明句法信息对于神经语义角色标注变得不那么重要，特别是当与最近的深度神经网络和大规模预训练的语言模型配对时。尽管有这个概念，神经SRL领域仍然缺乏一个系统的和全面的调查，在SRL的相关性的句法信息，无论是依赖和单语和多语设置。本文旨在量化句法信息在深度学习框架中对神经SRL的重要性。我们介绍了三个典型的SRL框架（基线），基于序列，基于树，基于图，这是伴随着两类利用句法信息：基于语法修剪和基于语法特征。在CoNLL-2005、2009和2012基准测试中对所有可用语言进行了实验，结果表明神经SRL模型在一定条件下仍然可以受益于句法信息。此外，我们还展示了句法对神经SRL模型的定量意义，并使用现有模型进行了彻底的实证调查。
2020-09-12 cs.CL
CLAR: A Cross-Lingual Argument Regularizer for Semantic Role Labeling
IBM Research（IBM研究院）；Google Research（谷歌研究院）
语义角色标注（SRL）识别给定句子中的谓词-论元结构。虽然不同的语言有不同的参数注释，但多语言训练，即在多种语言上训练一个模型的想法，以前已经被证明优于单语基线，特别是对于低资源语言。事实上，即使是简单的数据组合也被证明是有效的，通过在共享的表示空间中表示遥远的词汇表来进行多语言训练。同时，尽管不同语言之间的参数注释不同，但某些参数标签确实在不同语言之间共享共同的语义含义（例如，参数标签在不同语言之间具有或多或少相似的语义含义）。为了利用跨语言注释空间中的这种相似性，我们提出了一种称为跨语言参数正则化器（CLAR）的方法。CLAR识别跨语言的这种语言注释相似性，并利用该信息来使用源语言参数所在的空间的变换来映射目标语言参数。通过这样做，我们的实验结果表明，CLAR一贯提高SRL性能的多语言单语和多语种基线低资源语言。
2020-11-09 cs.CL
Semantic Role Labeling for Learner Chinese: the Importance of Syntactic Parsing and L2-L1 Parallel Data
Peking University（北京大学）
本文以语义角色标注（SRL）为个案任务，以学习者汉语为个案语言，研究中介语语义语义解析。我们首先手动注释一组学习者文本的语义角色，以获得自动SRL的黄金标准。根据新的数据，我们然后评估三个现成的SRL系统，即，基于PCFGLA语法分析器的系统、基于神经语法分析器的系统和基于神经语法不可知的系统，来衡量汉语学习者自主学习的成功程度。我们发现两个不明显的事实：1）L1-句法分析训练的系统在L2数据上的表现相当糟糕; 2）两个基于句法分析的系统从L1数据到L2数据的性能下降要小得多，这表明句法分析在中介语SRL中的重要性。最后，本文提出了一种新的基于一致性的模型来挖掘大规模L2-L1并行数据中的语义一致性信息。然后，我们表明这些信息是非常有效的，以提高学习者的文本SRL。我们的模型实现了72.06的F分数，比最佳基线提高了2.02分。
2018-08-29 cs.CL
Incorporating Deep Syntactic and Semantic Knowledge for Chinese Sequence Labeling with GCN
Peking University（北京大学）；Digital Humanities Center of Peking University（北京大学数字人文中心）；School of Foreign Languages, Peking University（北京大学外国语学院）
针对中文序列标注未能利用句法、语义层次结构信息的问题，提出基于 GCN 编码两类特征的框架，并在五个基准上验证其性能提升。
2023-06-03 cs.AI cs.CL
Deep Semantic Role Labeling with Self-Attention
Xiamen University（厦门大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
语义角色标注（SRL）被认为是自然语言理解的关键步骤，并得到了广泛的研究。近年来，基于递归神经网络（RNN）的端到端SRL得到了越来越多的关注。然而，RNN处理结构信息和长程依赖关系仍然是一个主要挑战。在本文中，我们提出了一个简单而有效的架构SRL，旨在解决这些问题。我们的模型是基于自我注意力，它可以直接捕捉两个令牌之间的关系，而不管它们的距离。我们的单个模型在CoNLL-2005共享任务数据集上实现了F $_1=83.4$，在CoNLL-2012共享任务数据集上实现了F $_1=82.7$，分别通过$1.8$和$1.0$ F $_1$得分优于先前的最先进的结果。此外，我们的模型是计算效率高，解析速度是每秒50 K令牌在一个泰坦X GPU。
2017-12-05 cs.CL
Semantic Role Labeling Guided Out-of-distribution Detection
University of Adelaide（阿德莱德大学）；Harvard University（哈佛大学）
本文提出SRLOOD，一种利用语义角色标注引导的全局-局部特征学习进行无监督分布外检测的方法，在四个基准上达到最先进性能。
2024-03-18 cs.CL
End-to-end Semantic Role Labeling with Neural Transition-based Model
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）；School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）
端到端的语义角色标注（SRL）越来越受到人们的关注。它执行SRL的两个子任务：谓词识别和参数角色标记，联合。目前的研究主要集中在基于图的神经网络模型上，而基于迁移的神经网络框架已经被广泛应用于多个紧密相关的任务中，但对于联合任务的研究还没有。在本文中，我们提出了第一个工作的过渡为基础的神经模型的端到端SRL。我们的转换模型通过一组转换动作来逐步发现所有的谓词及其参数。这两个子任务的操作是相互执行的，以实现完整的交互。此外，我们建议高阶组合提取非局部特征，这可以进一步增强所提出的过渡模型。在CoNLL09和Universal Proposition Bank上的实验结果表明，该模型在保持高效解码性能的同时，具有较好的性能。我们还进行了详细的实验分析，深入了解我们提出的模型。
2021-01-02 cs.CL
Syntax-aware Multilingual Semantic Role Labeling
Shanghai Jiao Tong University（上海交通大学）
近年来，语义角色标注（SRL）取得了一系列的成功，并取得了更高的性能提升，这主要归功于句法整合和增强的词表示。然而，这些努力大多集中在英语上，而英语以外的多种语言的SRL受到的关注相对较少，因此一直处于欠发达状态。因此，本文旨在填补空白的多语言SRL特别关注的影响，语法和语境化的词表示。与现有的工作不同，我们提出了一种新的方法指导下的语法规则修剪参数，这使我们能够简单，有效地集成到多语言SRL模型的语法。我们提出了一个统一的SRL模型，设计用于多种语言的建议统一的语法增强。我们的模型在所有七种语言的CoNLL-2009基准测试中取得了新的最先进的结果。此外，我们提出了不同的语言之间的句法角色的讨论，并验证了多语言SRL的深度增强表示的有效性。
2019-09-10 cs.CL
Cross-lingual Semantic Role Labeling with Model Transfer
Wuhan University（武汉大学）；Tianjin University（天津大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
已有研究表明，跨语言语义角色标注可以在通用特征的帮助下通过模型迁移实现。在本文中，我们填补了跨语言SRL的空白，提出了一个端到端的SRL模型，结合了各种通用的功能和传输方法。我们研究了双语迁移和多源迁移，根据黄金或机器生成的句法输入，预训练的高阶抽象特征，和上下文化的多语言单词表示。在通用命题库语料库上的实验结果表明，跨语言SRL的性能可以通过利用不同的跨语言特征而变化。此外，功能是否是黄金标准也会对性能产生影响。准确地说，我们发现，黄金语法功能是更重要的跨语言SRL相比，自动生成的。此外，通用依赖结构特征能够提供最好的帮助，预训练的高阶特征和上下文化的单词表示都可以进一步带来显着的改进。
2020-08-24 cs.CL
Debugging Frame Semantic Role Labeling
University of Geneva（日内瓦大学）
我们提出了一个定量和定性分析的性能统计模型的帧语义结构提取。我们报告的复制研究框架1.7的数据，并表明，预处理工具包在参数识别性能中发挥了重要作用，观察收益的数量级类似于最近的框架语义解析模型所报告的。我们报告的鲁棒性，最近的统计分类框架语义解析的谓词-参数结构的词汇配置，依赖于人工增强的数据集，使用基于规则的算法结合效价模式匹配和词汇替换。我们证明了句法预处理在统计分类器的参数识别性能中起着重要的作用，并讨论了依赖分析器输出与FrameNet句法形式主义之间句法不匹配的核心原因。最后，我们提出了新的线索，以改善统计模型的框架语义解析，包括联合语法-语义解析依赖于FrameNet语法形式主义，潜在的类推理通过分裂和合并算法和神经网络架构依赖于丰富的输入表示的话。
2019-01-22 cs.CL
Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments
Institute of Artificial Intelligence, School of Computer Science and Technology（计算机科学与技术学院人工智能研究所）；Soochow University（苏州大学）；Huawei Cloud（华为云）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
语义角色标注（SRL）是自然语言处理领域的一项基本而又具有挑战性的任务。SRL近期的工作主要分为两条路线：1）基于生物的; 2）基于跨度的。尽管它们普遍存在，但它们都有一些内在的缺点，即没有考虑内部参数结构，这可能会阻碍模型的表达能力。关键的挑战是参数是平面结构，并且参数中的单词没有确定的子树实现。为了弥补这一点，在本文中，我们建议把扁平的参数跨度作为潜在的子树，从而减少SRL的树解析任务。特别是，我们配备了一个新的跨度约束TreeCRF制定，使树结构跨度意识，并进一步将其扩展到二阶的情况下。我们在CoNLL 05和CoNLL 12基准上进行了大量的实验。结果表明，我们的方法比以前所有的语法不可知的作品表现得更好，实现了新的国家的最先进的端到端和W/黄金谓词设置。
2022-09-17 cs.CL
Transition-based Semantic Role Labeling with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）
语义角色标注（Semantic role labeling，SRL）主要用于识别句子中的谓词-论元结构，在机器翻译和问答等自然语言处理任务中起着重要作用。实际上，所有可用的方法都不执行完整的SRL，因为它们依赖于预先确定的谓词，并且它们中的大多数遵循管道策略，使用特定的模型来执行一个或多个SRL子任务。此外，以前的方法有很强的依赖于语法信息，以实现最先进的性能，尽管语法树同样难以产生。这些简化和要求使得大多数SRL系统对于现实世界的应用是不切实际的。在这篇文章中，我们提出了第一个基于转换的SRL方法，该方法能够在一个从左到右的过程中完全处理输入句子，既不利用句法信息，也不诉诸于额外的模块。得益于我们基于指针网络的实现，完整的SRL可以在$O(n^2)$中准确高效地完成，在CoNLL-2009共享任务的大多数语言上实现了迄今为止的最佳性能。
2022-11-24 cs.CL
Semantic Role Labeling as Syntactic Dependency Parsing
Cornell University（康奈尔大学）；Bloomberg L.P.（彭博有限合伙公司）
我们减少（跨度为基础的）PropBank风格的语义角色标注（SRL）的任务，语法依存句法分析。我们的方法是由我们的实证分析，表明三个常见的句法模式占98%以上的SRL注释的英语和汉语数据的动机。基于这一观察，我们提出了一个转换方案，通过联合标签，允许高度准确地恢复到原始格式的依赖树表示包SRL注释。这种表示使我们能够训练统计依赖解析器来解决SRL和实现竞争力的性能与当前的最先进的状态。我们的研究结果表明，在编码语义角色关系的句法依赖树的承诺在其句法域的地方，并指出潜在的进一步整合的句法方法到语义角色标注在未来。
2020-10-21 cs.AI cs.CL
Automatic semantic role labeling on non-revised syntactic trees of journalistic texts
University of São Paulo（圣保罗大学）
语义角色标注（Semantic Role Labeling，SRL）是一种自然语言处理任务，能够检测句子中描述的事件以及这些事件的参与者。对于巴西葡萄牙语（BP），最近有两项研究得出结论，在新闻文本中执行SRL。[1]使用PropBank.Br语料库获得了79.6的F1-measure分数，该语料库具有手动修改的句法树，[8]，而不使用树库进行训练，对于相同的语料库获得了68.0的F1-measure分数。然而，使用手动修改的语法树，这项任务并不代表一个真正的应用场景。本文的目标是使用一个更大的和平衡的BP新闻文本语料库，评估SRL在修改和未修改的句法树上的性能。首先，我们已经证明[1]的系统在更大的语料库上也比[8]的系统表现得更好。第二，在未修改的句法树上训练的SRL系统比在金标准数据上训练的系统在未修改的树上表现得更好。
2017-04-10 cs.CL
A Syntax-aware Multi-task Learning Framework for Chinese Semantic Role Labeling
Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
语义角色标注的目的是识别句子的谓元-论元结构。受句法和语义之间强相关性的启发，以往的研究工作都致力于在句法知识的挖掘上提高自主学习的性能，并取得了显著的成果。基于自动句法树的流水线方法和基于标准句法树的多任务学习方法是两个常见的研究方向。在本文中，我们采用了一个简单的统一的基于跨度的模型为基于跨度和基于词的中文SRL作为一个强大的基线。此外，我们提出了一个MTL框架，其中包括基本的SRL模块和依赖分析器模块。与MTL中常用的硬参数共享策略不同，其主要思想是从依赖分析器中提取隐含的句法表示作为基本SRL模型的外部输入。在中国命题银行1.0和CoNLL-2009中文数据集上的实验表明，该框架可以有效地提高强基线上的性能。通过外部BERT表示，我们的框架在两个基准测试的两个测试数据上分别获得了新的最先进的87.54和88.5 F1分数。深入的分析进行，以获得更多的见解所提出的框架和语法的有效性。
2019-11-12 cs.CL
A Full End-to-End Semantic Role Labeler, Syntax-agnostic Over Syntax-aware?
Shanghai Jiao Tong University（上海交通大学）
语义角色标注是识别句子的谓元结构，包括谓词消歧和论元标注两个子任务。以往的研究通常将整个自主学习问题分解为两个或多个子任务。本文首次引入了一个端到端的神经模型，它可以一次性地统一处理谓词消歧和参数标注。使用biaffine评分器，我们的模型直接预测句子中所有给定单词对的所有语义角色标签，而不依赖于任何句法分析信息。具体来说，我们用非线性变换来增强BiLSTM编码器，以进一步区分给定句子中的谓词和参数，并通过采用biaffine注意机制将语义角色标注过程建模为词对分类任务。尽管所提出的模型对于本地解码器来说是语法不可知的，但在英语和中文的CoNLL-2008、2009基准测试中，它的性能优于最先进的语法感知SRL系统。据我们所知，我们报告的第一个语法不可知的SRL模型，超越所有已知的语法感知模型。
2018-08-14 cs.CL
Adaptive Convolution for Semantic Role Labeling
Shanghai Jiao Tong University（上海交通大学）
语义角色标注旨在通过构建谓词-论元结构来阐释句子的意义。最近的研究表明，有效地使用语法可以提高SRL的性能。然而，句法是一个复杂的语言线索，很难有效地应用于像SRL这样的下游任务。这项工作使用自适应卷积有效地编码语法，这为现有的卷积网络提供了强大的灵活性。现有的CNN可以帮助编码复杂的结构，如SRL的语法，但它仍然有缺点。与对不同输入使用相同滤波器的传统卷积网络相反，自适应卷积使用以语法信息输入为条件的自适应生成的滤波器。我们实现了这一点与过滤器生成网络，生成输入特定的过滤器的集成。这有助于模型关注输入中存在的重要语法特征，从而扩大了语法感知和语法不可知的SRL系统之间的差距。我们进一步研究了一种哈希技术，以压缩SRL的过滤器生成网络的可训练参数的大小。在CoNLL-2009数据集上的实验结果表明，该模型在英汉两种语言上的识别性能都明显优于以往的SRL系统
2020-12-27 cs.CL
Semantic Role Labeling Guided Multi-turn Dialogue ReWriter
Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
对于多轮对话重写，有效地建模对话上下文中的语言知识并去除噪声的能力是提高其性能的关键。现有的注意力模型在没有预先关注的情况下关注所有的单词，这导致对一些不准确的单词的不准确集中。在本文中，我们建议使用语义角色标注（SRL），它突出了谁对谁做了什么的核心语义信息，为重写器模型提供额外的指导。实验表明，这些信息显着改善了基于RoberTa的模型，该模型已经优于以前的最先进的系统。
2020-10-03 cs.AI cs.CL
Semantic Role Labeling for Knowledge Graph Extraction from Text
ISTC, CNR（意大利国家研究委员会科技认知研究所）；University of Bologna（博洛尼亚大学）；Università degli Studi di Cagliari（卡利亚里大学）
介绍了一种新的语义角色标注方法TakeFive，该方法将文本转换为面向框架的知识图谱。它执行依存句法分析，识别唤起词汇框架的单词，定位每个框架的角色和填充符，运行强制技术，并将结果形式化为知识图谱。这种形式化表示符合Framester中使用的框架语义，Framester是一种事实语言链接的数据资源。所获得的精确度，召回率和F1值表明TakeFive与其他现有方法，如SEMAFOR，Pikes，PathLSTM和FRED具有竞争力。最后讨论了如何将TakeFive和FRED相结合，获得更高的查准率、查全率和F1值。
2018-11-04 cs.AI cs.CL
Capturing Argument Interaction in Semantic Role Labeling with Capsule Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
语义角色标注（SRL）涉及从自然语言句子中提取命题（即谓词及其类型化参数）。最先进的SRL模型依赖于强大的编码器（例如，LSTM），并且不对参数之间的非局部交互进行建模。我们提出了一种新的方法来建模这些相互作用，同时保持有效的推理。具体来说，我们使用胶囊网络：每个命题被编码为\textit{capsules}的元组，每个参数类型（即角色）一个胶囊。这些元组充当整个命题的嵌入。在每一个网络层中，胶囊彼此交互，并与句子中的单词表示交互。每次迭代都会导致更新的命题嵌入和关于SRL结构的更新预测。我们的模型在所有7种CoNLL-2019语言上的表现都大大优于非细化基线模型，并在5种语言（包括英语）上实现了最先进的依赖SRL结果。我们分析的类型的错误纠正的细化程序。例如，每个角色通常（但不总是）最多填充一个参数。然而，强制执行这种近似约束是没有用的现代SRL系统，迭代过程纠正错误，捕捉这种直觉在一个灵活的和上下文敏感的方式。
2019-10-07 cs.CL
Translate and Label! An Encoder-Decoder Approach for Cross-lingual Semantic Role Labeling
Heidelberg University（海德堡大学）
我们提出了一个跨语言的编码器-解码器模型，同时翻译和生成句子的语义角色标注注释在资源贫乏的目标语言。与注释投影技术不同，我们的模型在推理时不需要并行数据。我们的方法可以应用于单语，多语言和跨语言设置，并能够产生依赖性为基础的和基于跨度的SRL注释。我们使用知名的SRL数据集在不同的单语和多语言设置中对我们的模型的标记性能进行基准测试。然后，我们在跨语言设置中训练我们的模型以生成新的SRL标记数据。最后，我们通过使用生成的数据来增强资源贫乏语言的训练基础并进行手动评估来衡量我们方法的有效性，以表明它可以生成高质量的句子并分配准确的语义角色注释。我们提出的架构提供了一个灵活的方法，利用SRL数据在多种语言。
2019-08-29 cs.CL cs.LG
An Argument-Marker Model for Syntax-Agnostic Proto-Role Labeling
Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”（莱布尼茨科学园区“实证语言学与计算语言建模”）
语义原型角色标注（SPRL）是语义角色标注（SRL）的替代方案，它超越了角色的类别定义，遵循Dowty基于特征的原型角色视图。该理论基于参与者对或多或少典型的代理人与患者属性的实例化来确定代理人与患者属性，例如，事件中的意志。为了执行SPRL，我们开发了一个具有自我注意力和同时学习的谓词-参数标记的分层模型的集合。我们的方法与最先进的方法相比具有竞争力，在任务的两个配方（多标签和多变量李克特尺度预测）中整体表现优于以前的工作。在以前的工作相比，我们的研究结果不依赖于黄金论点头来自补充黄金树银行。
2019-04-12 cs.CL
Dependency Graph Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究院）
本文通过扩展线性化方法处理重入和环，将语义依存与增强型通用依存图解析转化为序列标注任务，在保持高效率的同时取得接近最优的准确率。
2024-10-23 cs.CL
Evaluating Factual Consistency of Texts with Semantic Role Labeling
Heidelberg University（海德堡大学）
本文提出无参考评估指标SRLScore，利用语义角色标注构建事实元组并通过可调机制评分，在英文摘要数据集上表现出与最先进方法相当的竞争力及稳定的跨域泛化能力。
2023-05-22 cs.CL
Persian Semantic Role Labeling Using Transfer Learning and BERT-Based Models
Iran University of Science & Technology（伊朗科学技术大学）；Yasouj University（亚苏季大学）
针对波斯语传统SRL方法准确率低且依赖特征提取的问题，本文提出一种基于迁移学习和BERT的端到端语义角色标注方法，无需辅助特征，在相似条件下准确率提升超过16个百分点。
2023-06-17 cs.CL
