Neural Disease Named Entity Extraction with Character-based BiLSTM+CRF in Japanese Medical Text
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们提出了一个“端到端”的基于字符的递归神经网络，该网络从日本医学文本中提取疾病命名实体，并同时判断其模态为阳性或阴性;即，确认或否定所述疾病或症状。采用神经网络的动机是学习有效的词汇和结构表示功能的实体识别，也为积极/消极的分类从注释语料库，而不明确提供任何基于规则的或手动的功能集。我们证实了我们的方法优于以前的基于字符的CRF或SVM方法的结果。
2018-06-10 cs.CL cs.IR
Neural CRF Model for Sentence Alignment in Text Simplification
The Ohio State University（俄亥俄州立大学）
文本简化系统的成功与否很大程度上取决于训练语料库中复句-单句对的质量和数量，复句-单句对是通过对齐平行文章之间的句子来提取的。为了评估和提高句子对齐质量，我们从两个常用的文本简化语料库Newsela和Wikipedia中创建了两个手动注释的对齐数据集。我们提出了一种新的神经CRF对齐模型，它不仅利用了并行文档中句子的顺序性，而且还利用了神经句子对模型来捕获语义相似性。实验表明，我们提出的方法优于所有以前的单语句子对齐任务的F1超过5点。我们应用我们的CRF对齐器来构建两个新的文本简化数据集，Newsela-Auto和Wiki-Auto，与现有的数据集相比，它们更大，质量更好。在我们的数据集上训练的基于transformer的seq 2seq模型为自动和人工评估中的文本简化建立了一个新的最先进的技术。
2021-08-30 cs.CL
Segmental Recurrent Neural Networks for End-to-end Speech Recognition
Centre for Speech Technology Research, The University of Edinburgh（爱丁堡大学语音技术研究中心）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Computer Science & Engineering, The University of Washington（华盛顿大学计算机科学与工程系）
我们研究了用于端到端声学建模的分段递归神经网络。该模型将分段条件随机场（CRF）与用于特征提取的递归神经网络（RNN）连接起来。与大多数以前的基于CRF的声学模型相比，它不依赖于外部系统来提供特征或分割边界。相反，该模型将所有可能的分割边缘化，并从与分段CRF一起训练的RNN中提取特征。本质上，这个模型是独立的，可以端到端训练。在本文中，我们讨论了实际的训练和解码问题，以及在语音识别的背景下加快训练的方法。我们在TIMIT数据集上进行了实验。我们实现了17.3电话出错率（PER）从第一次通过解码-最好的报告结果使用CRF，尽管事实上，我们只使用零阶CRF，没有使用任何语言模型。
2016-06-20 cs.CL cs.LG cs.NE
Neural semi-Markov CRF for Monolingual Word Alignment
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
单语单词对齐对于研究细粒度编辑操作（即，删除，添加和替换）在文本到文本生成任务，如释义生成，文本简化，中和偏见的语言等，在本文中，我们提出了一种新的神经半马尔可夫CRF对齐模型，通过可变长度跨度统一的单词和短语对齐。我们还创建了一个新的基准与人类注释，涵盖四种不同的文本类型，以评估单语词对齐模型在更现实的设置。实验结果表明，我们提出的模型优于所有以前的单语词对齐方法，以及竞争性的基于QA的基线，这是以前只适用于双语数据。我们的模型对三个域外数据集表现出良好的泛化能力，并在两个下游应用中表现出很大的实用性：自动文本简化和句子对分类任务。
2021-06-16 cs.CL
Neural Chinese Named Entity Recognition via CNN-LSTM-CRF and Joint Training with Word Segmentation
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
中文命名实体识别是中文自然语言处理领域的一个重要课题。然而，CNER非常具有挑战性，因为中文实体名称高度依赖于上下文。此外，中文文本缺乏分隔词的分隔符，难以识别实体的边界。此外，在许多领域中，CNER的训练数据通常不足，并且注释足够的训练数据用于CNER是非常昂贵和耗时的。在本文中，我们提出了一种神经方法CNER。首先，我们引入CNN-LSTM-CRF神经架构来捕获CNER的本地和远程上下文。其次，我们提出了一个统一的框架，联合训练CNER和分词模型，以提高CNER模型识别实体边界的能力。第三，我们介绍了一种自动生成伪标记样本的方法，从现有的标记数据，可以丰富的训练数据。在两个基准数据集上的实验表明，该方法能有效地提高中文命名实体识别的性能，特别是在训练数据不足的情况下。
2019-04-26 cs.CL cs.LG stat.ML
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF: A Reproducibility Study
The Ohio State University（俄亥俄州立大学）
本文复现了 Ma 和 Hovy 提出的 BiLSTM-CNN-CRF 端到端序列标注架构，结合 CNN、BiLSTM 和 CRF 免除手工特征，在 CoNLL-2003 NER 上达到 91.18% F1 分数，并开源了 PyTorch 实现。
2025-10-13 cs.CL cs.LG
Masked Conditional Random Fields for Sequence Labeling
Xiaomi AI（小米AI）
基于条件随机场（CRF）的神经模型是解决序列标记问题的最有效方法之一。尽管CRF取得了巨大的成功，但它的缺点是偶尔会产生非法的标签序列，例如，在“0”标签之后紧接着含有“I-”标签的序列，这是基础BIO标签方案所禁止的。在这项工作中，我们提出了掩蔽条件随机场（MCRF），一个易于实现的CRF变体，在训练和解码阶段对候选路径施加限制。我们表明，所提出的方法彻底解决了这个问题，并带来了一致的改善现有的CRF为基础的模型，几乎为零的额外成本。
2021-03-19 cs.CL cs.LG
Transcription free filler word detection with Neural semi-CRFs
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
非语言填充词，如“呃”或“嗯”，是普遍存在于自发的讲话，并作为表示犹豫或不确定的指标。以前的作品，用于检测某些非语言填充词高度依赖于从一个完善的商业自动语音识别（ASR）系统transmittance。然而，某些ASR系统不是从许多方面普遍可访问的，例如，预算、目标语言和计算能力。在这项工作中，我们研究了不依赖于ASR系统的填充词检测系统。我们表明，通过使用结构化的状态空间序列模型（S4）和神经半马尔可夫条件随机场（半CRF），我们实现了6.4%（段级）和3.1%（事件级）的绝对F1的改进PodcastFillers数据集。我们还进行了定性分析的检测结果，分析我们所提出的系统的局限性。
2023-03-11 cs.CL eess.AS
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
Explore BiLSTM-CRF-Based Models for Open Relation Extraction
Australian National University（澳大利亚国立大学）；CSIRO Data61（联邦科学与工业研究组织Data61）
针对开放关系抽取中多重关系抽取的难点，提出基于BiLSTM-CRF结合不同上下文词嵌入的模型及新标注方案，经对比选出最优组合，提升了多重关系句子的抽取效果。
2024-07-09 cs.AI cs.CL cs.IR
Error Analysis for Vietnamese Named Entity Recognition on Deep Neural Network Models
University of Information Technology, Vietnam National University - Ho Chi Minh City（胡志明市越南国家大学信息技术大学）
近年来，越南语命名实体识别（NER）系统在使用深度神经网络方法时有了很大的突破。本文描述了越南语最新的名词性语言系统的主要错误。在越南NER数据集上对具有不同词嵌入的BLSTM-CNN-CRF和BLSTM-CRF模型进行实验后。该数据集由VLSP于2016年提供，用于评估大多数越南当前的NER系统。我们注意到BLSTM-CNN-CRF给出了更好的结果，因此，我们详细分析了该模型的误差。我们的错误分析结果为我们提供了深入的见解，以提高越南语的NER性能，并在未来的工作中提高语料库的质量。
2019-11-19 cs.CL cs.LG cs.NE
Hierarchically-Refined Label Attention Network for Sequence Labeling
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
CRF已被用作统计序列标记的强大模型。然而，对于神经序列标记，与BiLSTM-softmax局部分类相比，BiLSTM-CRF并不总是产生更好的结果。这可能是因为CRF的简单马尔可夫标签转换模型在强神经编码上没有提供太多的信息增益。为了更好地表示标签序列，我们研究了一个分层细化的标签注意力网络，该网络明确地利用标签嵌入，并通过给每个单词递增细化的标签分布与分层注意力来捕获潜在的长期标签依赖性。在词性标注、NER和CCG超标注上的实验结果表明，该模型不仅在参数数量相近的情况下提高了整体标注准确率，而且与BiLSTM-CRF相比，训练和测试速度明显加快。
2019-11-07 cs.CL
Locally-Contextual Nonlinear CRFs for Sequence Labeling
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
线性链条件随机场（CRF）与上下文词嵌入相结合的序列标记任务的最先进的性能。在许多这些任务中，当预测给定单词的标签时，相邻单词的身份通常是最有用的上下文信息。然而，上下文嵌入通常以任务不可知的方式训练。这意味着，虽然它们可以编码关于相邻字的信息，但不能保证。因此，设计序列标记架构以直接从嵌入中提取该信息可能是有益的。我们提出了局部上下文的非线性CRF序列标记。我们的方法在预测给定单词的标签时直接结合来自相邻嵌入的信息，并使用深度神经网络参数化潜在函数。我们的模型作为线性链CRF的替代品，在我们的消融研究中始终优于它。在各种各样的任务，我们的结果是具有竞争力的最好的公布的方法。特别是，我们超越了以前的国家的最先进的组块在CoNLL 2000和命名实体识别OntoNotes 5.0英语。
2021-03-30 cs.CL cs.LG stat.ML
NCRF++: An Open-source Neural Sequence Labeling Toolkit
Singapore University of Technology and Design（新加坡科技设计大学）
本文介绍了NCRF++，神经序列标记工具包。NCRF++是专为快速实现不同的神经序列标记模型与CRF推理层。它通过配置文件为用户提供了一个建立自定义模型结构的推理，具有灵活的神经特征设计和利用。基于PyTorch构建，核心运算采用批量计算，通过GPU加速，使工具包高效运行。它还包括大多数最先进的神经序列标记模型（如LSTM-CRF）的实现，便于对这些方法进行复制和改进。
2018-06-17 cs.CL
Improving Human Text Comprehension through Semi-Markov CRF-based Neural Section Title Generation
Harvard SEAS（哈佛大学工程与应用科学学院）；Adobe Research（奥多比研究院）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
长文档中的短部分标题通过引导读者将注意力集中在相关段落并提供有助于理解文档进展的锚点来支持读者。当对阅读能力较低的读者进行测量时，章节标题的积极影响甚至更加明显，例如在标签文本资源有限的社区中。因此，我们的目标是开发技术，在低资源环境中生成章节标题。特别是，我们提出了一个提取管道的章节标题生成，首先选择最突出的句子，然后应用基于删除的压缩。我们的压缩方法是基于半马尔可夫条件随机场，利用无监督的字表示，如ELMo或BERT，消除了对复杂的编码器-解码器架构的需要。结果表明，这种方法导致竞争力的性能与序列到序列模型与高资源，而强烈优于它与低资源。在一项针对不同阅读能力的受试者的人类受试者研究中，我们发现，我们的章节标题提高了完成理解任务的速度，同时保持了类似的准确性。
2019-04-15 cs.CL
Efficient Sequence Labeling with Actor-Critic Training
University of Alberta（阿尔伯塔大学）；Google（谷歌）
序列标记的神经方法通常使用条件随机场（CRF）来建模其输出依赖关系，而递归神经网络（RNN）用于其他任务中的相同目的。我们着手建立RNN作为CRF的一个有吸引力的替代品，用于序列标记。为此，我们解决了RNN最突出的缺点之一，即它在最大似然训练中不会暴露于自己的错误。我们将输出序列的预测框定为一个顺序决策过程，其中我们使用调整的演员-评论家算法（AC-RNN）训练网络。我们全面比较了这种策略与RNN和CRF在三个结构化输出任务上的最大似然训练。所提出的AC-RNN有效地匹配了CRF在NER和CCG标记上的性能，并且在机器音译上优于CRF。我们还表明，我们的训练策略明显优于解决RNN暴露偏差的其他技术，例如计划采样和自我批评策略训练。
2018-09-30 cs.AI cs.CL cs.LG
Exploring Segment Representations for Neural Segmentation Models
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
许多自然语言处理（NLP）任务可以归结为切分问题。在本文中，我们结合半CRF与神经网络来解决自然语言处理的分割任务。我们的模型通过组成输入设备和嵌入整个段来表示段。我们深入研究了不同的复合函数和不同的段嵌入。我们对两个典型的分词任务：命名实体识别（NER）和中文分词（CWS）进行了大量的实验。实验结果表明，我们的神经半CRF模型受益于代表整个段，并在CWS基准数据集上实现了最先进的性能，在CoNLL03数据集上取得了有竞争力的结果。
2016-04-19 cs.CL
AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海市智能视觉与成像工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
线性链条件随机场（CRF）模型是最广泛使用的神经序列标记方法之一。精确的概率推理算法，如前向-后向和维特比算法，通常应用于CRF模型的训练和预测阶段。然而，这些算法需要顺序计算，使得并行化是不可能的。在本文中，我们提出了采用并行近似变分推理算法的CRF模型。基于该算法，我们设计了一个近似推理网络，它可以与神经CRF模型的编码器连接，形成一个端到端的网络，该网络可以并行化，以实现更快的训练和预测。实验结果表明，我们提出的方法实现了12.7倍的改进，在解码速度与长句和竞争力的准确性相比，传统的CRF方法。
2020-10-12 cs.AI cs.CL
GNTeam at 2018 n2c2: Feature-augmented BiLSTM-CRF for drug-related entity recognition in hospital discharge summaries
School of Computer Science, The University of Manchester（曼彻斯特大学计算机学院）；Health eResearch Center, The University of Manchester（曼彻斯特大学健康电子研究中心）；The Alan Turing Institute（艾伦·图灵研究所）
监测药物给药和药物不良反应是药物警戒的关键部分。在本文中，我们探索通过深度学习从医院出院摘要中提取药物提及和药物相关信息（服用药物的原因，途径，频率，剂量，强度，形式，持续时间和不良事件），深度学习依赖于临床命名实体识别的各种表示。这项工作正式成为2018年n2 c2共享任务的一部分，我们使用提供的数据作为任务的一部分。我们开发了两种基于递归神经网络和预训练语言模型的深度学习架构。我们还探讨了临床命名实体识别的语义特征增强词表示的效果。我们的特征增强BiLSTM-CRF模型的F1得分为92.67%，在提交的n2 c2挑战系统中，实体提取子任务排名第4。使用预训练的特定领域词嵌入和用于标签优化的CRF层的递归神经网络执行药物、不良事件和相关实体提取，微平均F1分数超过91%。使用可用的临床NLP工具包提取语义特征来增强词向量可以进一步提高性能。词嵌入在相关文档的大型未注释语料库上进行预训练，并根据任务进行进一步微调，表现相当不错。然而，增加具有语义特征的词嵌入可以帮助提高来自电子健康记录的与药物相关的命名实体识别的性能（主要是通过提高精度）。
2019-09-23 cs.CL
Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media
University of Houston（休斯顿大学）；Universidad Nacional de Colombia（哥伦比亚国立大学）
识别文档中的命名实体是许多NLP应用程序中的关键任务。虽然目前最先进的方法，这个任务达到了高性能的干净的文本（如新闻类），这些算法显着降低，当它们被移动到嘈杂的环境，如社交媒体领域。我们提出了两个系统，解决了使用字符级语音和音位，词嵌入，和词性标签作为功能的社会媒体数据处理的挑战。第一个模型是多任务端到端双向长短期记忆（BLSTM）-条件随机场（CRF）网络，其输出层包含两个CRF分类器。第二个模型使用多任务BLSTM网络作为特征提取器，将学习转移到CRF分类器进行最终预测。我们的系统在2017年嘈杂用户生成文本研讨会数据集上的表现优于当前最先进的F1分数2.45%和3.69%，为社交媒体环境建立了更合适的方法。
2019-06-10 cs.CL
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University（FPT大学FPT技术研究院）；VNU University of Engineering and Technology（越南国立大学工程技术大学）
将书面文本转换为口语形式是任何文本到语音（TTS）系统中的一个基本问题。然而，为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战：（1）非标准词（NSW）的语义歧义，例如，数字、日期、范围、分数、缩写，以及（2）将NSW转换成可发音的音节，诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中，我们提出了一种新的两阶段归一化方法来应对这些挑战。首先，设计了一个基于模型的标签器来检测NSW。然后，根据NSW类型，基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场（CRF），BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验，该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段，我们提出了一个基于前向词典的最大匹配算法来拆分标签，电子邮件，URL和联系人姓名。标记阶段的实验结果表明，BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上，BERT-BiGRU-CRF模型的F1分数最高，达到95.00%。总的来说，我们的方法具有较低的句子出错率，CRF为8.15%，BiLSTM-CNN-CRF标签为7.11%，BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
microNER: A Micro-Service for German Named Entity Recognition based on BiLSTM-CRF
Universität Hamburg（汉堡大学）
在命名实体识别中，双向递归神经网络是近年来的研究热点。竞争方法在预训练的词嵌入以及字符嵌入模型方面有所不同，以最有效地表示序列信息。对于德语文本中的NER，这些模型变化尚未得到广泛研究。我们评估了两个标准德语数据集上不同单词和字符嵌入的性能，并特别关注词汇表外的单词。GermEval '14数据集的F-Scores高于82%，CoNLL' 03数据集的F-Scores高于85%，我们在此任务中实现了（接近）最先进的性能。我们发布了几个预先训练好的模型，这些模型被包装到基于Docker的微服务中，以便通过JSON API将德语NER轻松集成到其他应用程序中。
2018-11-07 cs.CL
Aspect Specific Opinion Expression Extraction using Attention based LSTM-CRF Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of Houston（休斯顿大学）
意见短语抽取是细粒度情感分析的关键任务之一。虽然意见表达可以是一般的主观表达，但体特定意见表达既包含体，也包含原始句子上下文中的意见表达。在这项工作中，我们制定的任务作为一个实例的令牌级序列标签。当句子中存在多个方面时，意见短语边界的检测变得困难，并且每个词的标签不仅取决于周围的词，而且还取决于所关注的方面。我们提出了一种具有双向LSTM（Bi-LSTM）和新型注意力机制的神经网络架构。Bi-LSTM层学习单词之间的各种顺序模式，而不需要任何手工制作的功能。注意力机制通过基于位置和内容的存储器捕获当多个方面存在于句子中时上下文词对特定方面意见表达的重要性。在最后一层中加入了条件随机场（CRF）模型，以显式地对输出标签之间的依赖关系进行建模。在www.example.com的酒店数据集上的实验结果表明，我们的方法优于几个最先进的基线。
2019-02-07 cs.CL
Recurrent neural networks with specialized word embeddings for health-domain named-entity recognition
University of Technology Sydney（悉尼科技大学）；Capital Markets Cooperative Research Center（资本市场合作研究中心）
背景关于药物名称识别（DNR）和临床概念提取（CCE）的先前最先进的系统集中于文本“特征工程”和常规机器学习算法（诸如条件随机场和支持向量机）的组合。然而，开发好的功能本质上是非常耗时的。相反，更现代的机器学习方法，如循环神经网络（RNN），已经证明能够从随机分配或自动单词“嵌入”中自动学习有效特征。目标. (i)创建一个高度精确的DNR和CCE系统，避免传统的耗时的特征工程。(ii)通过使用健康领域数据集（如MIMIC-III）创建更丰富、更专业的词嵌入。(iii)在三个当代数据集上评估我们的系统。方法.评估了两种深度学习方法，即双向LSTM和双向LSTM-CRF。CRF模型被设置为基线，以将深度学习系统与传统的机器学习方法进行比较。所有型号都使用相同的功能。结果我们使用双向LSTM-CRF模型获得了最佳结果，该模型的性能优于所有先前提出的系统。专门的嵌入有助于覆盖DDI-DrugBank和DDI-MedLine中的不常见单词，但在2010年i2 b2/VA IRB修订版数据集中没有。结论我们提出了一个国家的最先进的系统DNR和CCE。自动化的词嵌入使我们能够避免昂贵的特征工程，并实现更高的准确性。然而，嵌入需要在适合该领域的数据集上重新训练，以便充分覆盖特定领域的词汇表。
2018-06-25 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Investigating Self-Attention Network for Chinese Word Segmentation
Westlake University（西湖大学）
神经网络已经成为中文分词的主流方法。大多数现有的模型将任务转换为序列标记，使用BiLSTM-CRF表示输入并进行输出预测。最近，基于注意力的序列模型已经成为LSTM的一个极具竞争力的替代方案，它通过并行计算实现了更好的运行速度。本文研究了自注意网络在中文分词中的应用，并与BiLSTM-CRF模型进行了比较。此外，使用BERT的上下文字符嵌入的影响进行了研究，并提出了一种方法，将词的信息集成到SAN分割。结果表明，SAN提供了非常有竞争力的结果相比，BiLSTM，与BERT和词的信息进一步提高了领域内和跨领域的分割。我们的最终模型给出了6个异构域基准测试的最佳结果。
2019-07-26 cs.CL
End-to-end Recurrent Neural Network Models for Vietnamese Named Entity Recognition: Word-level vs. Character-level
Alt Inc（Alt公司）
本文展示了越南语命名实体识别的端到端神经网络架构。我们的最佳模型是双向长短期记忆（Bi-LSTM），卷积神经网络（CNN），条件随机场（CRF）的组合，使用预训练的词嵌入作为输入，在标准测试集上获得了88.59%的F1分数。我们的系统是能够实现一个相当的性能的第一排名系统的VLSP运动，而不使用任何语法或手工制作的功能。我们还提供了一个广泛的实证研究，使用常见的深度学习模型的越南语NER，在单词和字符的水平。
2017-07-21 cs.CL
Uncertainty-Aware Label Refinement for Sequence Labeling
Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
用于标签解码的条件随机场（CRF）在序列标签任务中已经变得无处不在。然而，局部标签依赖和低效率的Viterbi译码一直是一个需要解决的问题。在这项工作中，我们引入了一种新的两阶段标签解码框架来建模长期标签依赖关系，同时计算效率更高。一个基本模型首先预测草稿标签，然后一个新的双流自注意模型根据长范围标签依赖关系对这些草稿预测进行改进，可以实现并行解码以实现更快的预测。此外，为了减轻不正确的草稿标签的副作用，使用贝叶斯神经网络来指示错误概率高的标签，这可以极大地帮助防止错误传播。在三个序列标记基准上的实验结果表明，该方法不仅优于基于CRF的方法，而且大大加快了推理过程。
2020-12-19 cs.CL
