Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology（河内科技大学）；VCCorp（VCCorp公司）
本文提出了一种用于越南语序列标注任务的神经结构，包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型，该模型是双向长短期记忆和条件随机场的组合，它依赖于关于单词的两个信息源：从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明，该方法在两个任务上都达到了最佳的性能：词性标注的准确率为93.52%，NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
PiPMRE: A Pipeline Based on Language Model for Medical Relation Extraction
School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
本研究针对现有医学关系抽取方法的缺陷，提出基于语言模型的PiPMRE流水线框架，经实验验证其在公开数据集上性能优于现有最优方法，少样本场景下也表现出色。
2026-09-04 cs.CL
Boosting Span-based Joint Entity and Relation Extraction via Squence Tagging Mechanism
National University of Defense Technology（国防科技大学）
基于跨度的联合抽取以文本跨度的形式同时进行命名实体识别和关系抽取。最近的研究表明，令牌标签可以传达关键的特定于任务的信息和丰富的令牌语义。然而，据我们所知，由于完全放弃了序列标记机制，所有基于跨度的工作都没有使用令牌标签信息。为了解决这个问题，我们提出了序列标记增强的基于跨度的网络（Sequence Tagging enhancedSpan-based Network，STSN），它是一种基于跨度的联合抽取网络，通过从基于序列标记的NER中获得令牌BIO标签信息来增强。通过将多个注意力层进行深度叠加，设计了一种深度神经架构来构建STSN，每个注意力层由三个基本注意力单元组成。深度神经架构首先学习标记标签的语义表示和基于跨度的联合抽取，然后构建它们之间的信息交互，从而实现基于跨度的NER和RE之间的双向信息交互。此外，我们扩展了BIO标记方案，使STSN可以提取重叠实体。在三个基准数据集上的实验表明，我们的模型始终优于以前的最佳模型，创造了新的最先进的结果。
2022-07-16 cs.CL
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph Alignment Network and Word-pair Relation Tagging
South China University of Technology（华南理工大学）；The Peng Cheng Laboratory（鹏城实验室）；Yunnan University（云南大学）；The Hong Kong Polytechnic University（香港理工大学）
多模态命名实体识别（MNER）和多模态关系抽取（MRE）是多模态知识图谱构建任务中的两个基本子任务。然而，现有的方法通常独立地处理两个任务，这忽略了它们之间的双向交互。本文首次提出联合执行MNER和MRE作为一个联合的多模态实体-关系抽取任务（JMERE）。此外，现有的MNER和MRE模型只考虑了视觉图形和文本图形中的视觉对象与文本实体的对齐，而忽略了实体与实体之间以及对象与对象之间的关系。为了解决上述挑战，我们提出了一个边缘增强的图对齐网络和词对关系标记（EEGA）的JMERE任务。具体来说，我们首先设计了一个词对关系标记，利用MNER和MRE之间的双向交互，并避免错误传播。然后，我们提出了一个边增强的图对齐网络，通过对齐交叉图中的节点和边来增强JMERE任务。与已有的方法相比，该方法能够利用边缘信息辅助实体与对象之间的对齐，并发现实体与实体之间以及对象与对象之间的关系。实验结果表明了该模型的有效性。
2023-02-18 cs.AI cs.CL cs.MM
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University（乌普萨拉大学）；University of Helsinki（赫尔辛基大学）
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估，并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明，我们的模型是准确的和强大的数据集在不同的大小，类型和注释方案。我们在CTB 5上获得了最先进的性能，联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asian（微软亚洲研究院）；Educational Testing Service Research（美国教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的标记序列数据，例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段，已经得到了广泛的应用。在这项研究中，我们提出了使用BLSTM-RNN与词嵌入的词性（POS）标注任务。在Penn Treebank WSJ测试集上进行测试时，达到了97.40的标记准确率。在不使用形态特征的情况下，该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer
University of Oslo（奥斯陆大学）
本文提出首个挪威语检索增强模型 BRENT，基于 REALM 框架训练并分离读取器与检索器，验证其可提升抽取式问答且不损害多种 NLP 下游能力。
2023-04-19 cs.CL
Syntactic Patterns Improve Information Extraction for Medical Search
King’s College London（伦敦国王学院）；University of Pennsylvania（宾夕法尼亚大学）；Northeastern University（东北大学）；Rutgers University-Camden（罗格斯大学卡姆登分校）；Google Inc.（谷歌公司）
医疗专业人员通过指定患者类型、医疗干预和关注的结局指标来检索已发表文献。在本文中，我们展示了如何编码的语法模式的功能，提高性能的最先进的序列标记模型（线性和神经）的信息抽取这些医学相关的类别。我们提出了一个分析的类型的模式利用，和语义空间诱导这些，即，为识别的多令牌模式学习分布式表示。我们发现，这些学到的表示与那些构成的单字有很大的不同，这表明这些模式捕获了否则会丢失的上下文信息。
2018-04-30 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
双向长短期记忆（bi-LSTM）网络最近被证明可以成功地用于各种NLP序列建模任务，但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题，并评估双LSTM与字，字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型，它将POS标记损失函数与一个辅助损失函数相结合，该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能，尤其适用于形态复杂的语言。我们的分析表明，双LSTM对训练数据大小和标签损坏（在小噪声水平下）的敏感性低于以前的假设。
2016-07-21 cs.CL
TocBERT: Medical Document Structure Extraction Using Bidirectional Transformers
Institute of Research and Technology b-com（b-com研究院）
本研究提出TocBERT，一种基于双向Transformer的监督式文本分割方法，将其构建为NER问题并微调Bio-ClinicalBERT以分割MIMIC-III出院小结，在250份标注语料上F1分数达84.6%和72.8%，优于规则方法。
2024-06-27 cs.CL cs.IR cs.LG
A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis
Zhejiang Informatization Development Institute, Hangzhou Dianzi University（杭州电子科技大学浙江信息化发展研究院）
提出了一种新的命名实体识别（NER）方法，有效地利用了词性标注、汉语分词和句法分析的结果，同时避免了由于词性标注错误而导致的命名实体识别错误。首先利用Stanford自然语言处理工具对大规模无标记数据进行标注，以减少对标记数据的依赖;然后设计一种新的NLP模型g-BERT模型，对Transformers（BERT）模型中的双向编码器表示进行压缩，以减少计算量;最后基于中国NER数据集对该模型进行评估。实验结果表明，与BERT模型相比，g-BERT模型的计算量减少了60%，性能提高了2%，测试F1为96.5。
2021-01-11 cs.CL
Domain specific BERT representation for Named Entity Recognition of lab protocol
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
经过训练以从表示中预测属性的监督模型在各种任务上都达到了很高的准确性。例如，BERT家族似乎在从NER标记到其他语言任务范围的下游任务上工作得非常好。但是，医学领域的词汇表中包含了大量仅在医疗行业使用的不同的标记，如不同疾病、设备、生物体、药物等的名称，这使得传统的BERT模型很难创建上下文化的嵌入。在本文中，我们将说明系统的命名实体标注的基础上Bio-Bert。实验结果表明，我们的模型给出了实质性的改善，并站在F1分数方面的第四亚军，并在召回方面的第一亚军，只有2.21 F1分数落后于最好的一个。
2020-12-21 cs.CL
Part-of-Speech Tagging of Odia Language Using statistical and Deep Learning-Based Approaches
NIT Rourkela（鲁尔克拉国家技术学院）
自动词性标注是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER）、语音处理、信息抽取、词义消歧和机器翻译。它在英语和欧洲语言中已经取得了可喜的成果，但在印度语言中，特别是在Odia语言中，由于缺乏支持工具，资源和语言形态的丰富性，它还没有得到很好的探索。不幸的是，我们无法为Odia找到一个开源的POS标记器，并且只有少数尝试为Odia语言开发POS标记器。这项研究工作的主要贡献是提出了一种条件随机场（CRF）和基于深度学习的方法（CNN和双向长短期记忆）来开发Odia词性标注器。我们使用了一个可公开访问的语料库，数据集使用印度标准局（BIS）标记集进行注释。然而，全球大多数语言都使用带有通用重复性（UD）标记集的数据集。因此，为了保持一致性，Odia数据集应该使用相同的tagset。因此我们构造了一个从BIS标签集到UD标签集的简单映射。我们实验了不同的特征集输入到CRF模型中，观察了构造的特征集的影响。基于深度学习的模型包括Bi-LSTM网络、CNN网络、CRF层、字符序列信息和预训练的词向量。利用卷积神经网络（CNN）和Bi-LSTM网络提取字符序列信息。六种不同的组合的神经序列标签模型的实施，并研究其性能指标。据观察，具有字符序列特征和预训练词向量的Bi-LSTM模型取得了显着的最先进的结果。
2022-07-07 cs.CL
Modelling Radiological Language with Bidirectional Long Short-Term Memory Networks
出于从自由文本放射学报告中自动提取医疗信息的需要，我们提出了一种用于建模放射学语言的双向长短期记忆（BiLSTM）神经网络架构。该模型已被用来解决两个自然语言处理任务：医疗命名实体识别（NER）和否定检测。我们研究了学习几种类型的词嵌入是否会提高BiLSTM在这些任务上的表现。使用一个大型的胸部X光报告数据集，我们将所提出的模型与一个基于基线词典的NER系统和一个否定检测系统进行比较，该系统利用了NegEx算法的手工规则和从Stanford Dependency Parser获得的语法关系。与这些更传统的基于规则的系统相比，我们认为BiLSTM为我们的任务提供了一个强大的替代方案。
2016-09-27 cs.CL stat.ML
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.（德米罗伦技术公司）；Istanbul Technical University（伊斯坦布尔理工大学）；MEF University（MEF大学）
命名实体识别（NER）是一个广泛研究的任务，提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要，而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言，最近的研究工作证明了神经架构对格式良好的文本的有效性，并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中，我们实证研究使用最近的神经架构（双向长短期记忆和变压器为基础的网络）提出了土耳其NER标记在相同的设置。我们的研究结果表明，基于transformer的网络可以对长距离上下文进行建模，克服了BiLSTM网络的局限性，其中利用了字符，子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络，它具有一个条件随机场（CRF）层，可以在一个常见的数据集上得到最先进的结果（95.95\% f-测量）。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
Fine-tuning ERNIE for chest abnormal imaging signs extraction
Sun Yat-Sen University（中山大学）
胸部影像学报告描述了胸部X线摄影程序的结果。从胸部影像报告中自动提取异常影像征象在临床研究和广泛的下游医疗任务中具有举足轻重的作用。然而，目前对中文胸部影像学报告进行信息抽取的研究还很少。在本文中，我们制定了胸部异常影像体征提取序列标记和匹配问题。在此基础上，提出了一种以预训练的ERNIE为骨干的转移式异常影像体征提取器EASON（fine-tuning ERNIE with CRF for Abnormal Signs ExtractiON），可以解决数据不足的问题。此外，针对序列标注模型的结果，设计了一种简单有效的tag 2 relation算法，将序列标注模型中的身体部位和程度等属性赋予相应的异常影像学征象。我们在一家医疗大数据公司提供的语料库上对我们的方法进行了评估，实验结果表明，与其他基线相比，我们的方法实现了显著且一致的改进。
2020-11-08 cs.CL
Effective Use of Bidirectional Language Modeling for Transfer Learning in Biomedical Named Entity Recognition
Petuum Inc（Petuum公司）
生物医学命名实体识别（NER）是医学文档文本挖掘的一项基础工作，具有广泛的应用前景。近年来，基于深度学习的方法越来越受到关注，因为它们的参数可以端到端学习，而不需要手工设计的功能。然而，这些方法依赖于高质量的标记数据，这是昂贵的获得。为了解决这个问题，我们研究如何使用未标记的文本数据来提高NER模型的性能。具体来说，我们训练一个双向语言模型（BiLM）的未标记的数据和转移其权重“预训练”NER模型与相同的架构的BiLM，这导致在一个更好的参数初始化的NER模型。我们评估了我们的方法在四个基准数据集的生物医学NER，并表明，它导致了一个实质性的改善F1分数相比，国家的最先进的方法。我们还表明，BiLM权重转移导致更快的模型训练和预训练模型需要更少的训练样本，以达到特定的F1分数。
2018-08-15 cs.CL
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
依赖于大型预训练语言模型，例如来自Transformers的双向编码器表示（BERT）进行编码并添加简单的预测层，在许多临床自然语言处理（NLP）任务中取得了令人印象深刻的性能。在这项工作中，我们提出了一种新的扩展的Transformer架构，将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明，该架构是优于三个信息抽取任务中的两个，与基线模型。最后，我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
An Empirical Exploration of Skip Connections for Sequential Tagging
Institute of Automation, CAS（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们经验性地探讨了堆叠双向LSTM中各种跳跃连接对顺序标注的影响。我们研究了三种连接到LSTM单元的跳过连接：（a）到门的跳过连接，（b）到内部状态的跳过连接和（c）到单元输出的跳过连接。我们提出了全面的实验表明，跳过连接单元输出优于其余两个。此外，我们观察到，使用门控恒等函数作为跳过映射工作得很好。基于这种新颖的跳跃连接，我们成功地训练了深度堆叠的双向LSTM模型，并获得了CCG超标记的最新结果和POS标记的可比结果。
2016-10-11 cs.CL
Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text
East China University of Science and Technology（华东理工大学）；Shanghai Hospital Development Center（上海医院发展中心）
实体和关系抽取是构建医学文本的必要步骤。但是现有模型中的双向长短期记忆网络的特征提取能力并没有达到最佳效果。同时，该语言模型在越来越多的自然语言处理任务中取得了优异的效果。在本文中，我们提出了一个集中注意力模型的联合实体和关系抽取任务。该模型通过动态范围注意力机制将著名的BERT语言模型融入到联合学习中，从而提高了共享参数层的特征表示能力。在曙光医院冠状动脉造影文本上的实验结果表明，命名实体识别和关系分类任务的F1分数分别达到96.89%和88.51%，优于现有方法的1.65%和1.22%。
2019-10-22 cs.CL
Efficient Encoders for Streaming Sequence Tagging
Google（谷歌）；Google Assistant（谷歌助手）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于流序列标记的现有技术的双向编码器的朴素应用将需要针对增量流输入（如转录的语音）中的每个新令牌从头开始编码每个令牌。先前计算的可重用性的缺乏导致更高数量的浮点运算（或FLOP）和更高数量的不必要的标签翻转。增加的FLOP因此导致更高的挂钟时间，并且增加的标签翻转导致更差的流传输性能。在这项工作中，我们提出了一种具有自适应重启（HEAR）的混合编码器，它可以解决这些问题，同时保持双向编码器在离线（或完整）输入上的性能，同时提高流（或不完整）输入的性能。HEAR具有混合单向-双向编码器架构以执行序列标记，以及自适应重启模块（ARM）以选择性地引导编码器的双向部分的重启。在四个序列标记任务中，HEAR在流媒体设置中的FLOP节省高达71.1%，并且在流媒体预测方面优于双向编码器，流媒体精确匹配高达+10%。
2023-03-16 cs.AI cs.CL
Explore BiLSTM-CRF-Based Models for Open Relation Extraction
Australian National University（澳大利亚国立大学）；CSIRO Data61（联邦科学与工业研究组织Data61）
针对开放关系抽取中多重关系抽取的难点，提出基于BiLSTM-CRF结合不同上下文词嵌入的模型及新标注方案，经对比选出最优组合，提升了多重关系句子的抽取效果。
2024-07-09 cs.AI cs.CL cs.IR
MC-DRE: Multi-Aspect Cross Integration for Drug Event/Entity Extraction
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）；The University of Manchester（曼彻斯特大学）
本文提出 MC-DRE 多方面交叉整合框架，融合语义、句法与医学语境编码，并通过键值、注意力和前馈三种交叉机制提升药物实体/事件抽取性能。
2023-08-15 cs.AI cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University（卡内基梅隆大学）
最先进的序列标记系统传统上需要大量的任务特定的知识，以手工制作的特征和数据预处理的形式。在本文中，我们介绍了一种新的神经网络架构，通过使用双向LSTM，CNN和CRF的组合，自动受益于单词和字符级别的表示。我们的系统是真正的端到端，不需要特征工程或数据预处理，因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性（POS）标记和CoNLL 2003语料库的命名实体识别（NER）。我们在这两个数据上都获得了最先进的性能-
2016-05-29 cs.CL cs.LG stat.ML
GERNERMED -- An Open German Medical NER Model
与使用传统的基于非结构化文本的患者数据文档相比，采用结构良好的电子健康记录和集成用于以结构化格式存储医疗患者数据的数字方法的当前状态通常被认为是较差的。医学数据分析领域的数据采掘往往需要仅仅依靠对非结构化数据的处理来检索相关数据。在自然语言处理（NLP）中，统计模型已经在诸如词性标注、关系抽取（RE）和命名实体识别（NER）的各种任务中被证明是成功的。在这项工作中，我们提出了GERNERMED，第一个开放的神经NLP模型NER任务，致力于检测德语文本数据中的医疗实体类型。在这里，我们通过在自定义数据集上训练我们的模型，避免了保护敏感患者数据免受训练数据提取和发布统计模型权重的冲突目标，该自定义数据集由预训练的神经机器翻译模型从公开可用的外语数据集翻译而来。示例代码和统计模型可在以下网址获得：https://github.com/frankkramer-lab/GERNERMED
2021-12-10 cs.AI cs.CL cs.IR
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
A Simple but Effective Bidirectional Framework for Relational Triple Extraction
Northeastern University（东北大学）
基于标记的关系三元组抽取方法是近年来研究的热点。然而，大多数这些方法采取单向提取框架，首先提取所有的主题，然后提取对象和关系的基础上提取的主题同时。该框架有一个明显的不足，即对被试的抽取结果过于敏感。为了克服这一缺陷，我们提出了一种双向提取框架为基础的方法，提取三元组的基础上提取的实体对从两个互补的方向。具体地说，我们首先从两个方向上提取所有可能的主体-客体对。这两个提取方向通过共享的编码器组件连接，因此来自一个方向的提取特征可以流向另一个方向，反之亦然。这样，两个方向的提取可以相互促进和补充。接下来，我们通过双仿射模型为每个实体对分配所有可能的关系。在训练过程中，我们观察到共享结构会导致收敛速度不一致的问题，这对性能是有害的。因此，我们提出了一个共享感知的学习机制来解决这个问题，我们在多个基准数据集上评估了所提出的模型。大量的实验结果表明，该模型是非常有效的，它实现了所有这些数据集上的最先进的结果。实验结果表明，本文提出的双向抽取框架和共享感知学习机制具有良好的适应性，可用于提高其他基于标注的方法的性能。我们工作的源代码可以在https://github.com/neukg/BiRTE上找到。
2022-01-05 cs.CL
OpenTag: Open Attribute Value Extraction from Product Profiles [Deep Learning, Active Learning, Named Entity Recognition]
University of Utah（犹他大学）
缺失属性值的提取是从自由文本输入中找到描述感兴趣属性的值。过去大多数关于提取缺失属性值的相关工作都是在封闭世界假设下进行的，其中可能的值集是预先已知的，或者使用值字典和手工制作的特征。我们如何发现我们以前从未见过的新属性值？我们能在有限的人工注释或监督下做到这一点吗？我们研究这个问题的背景下，产品目录，往往有许多感兴趣的属性缺失值。在这项工作中，我们利用产品配置文件信息，如标题和描述，以发现产品属性的缺失值。我们为这个提取问题开发了一个新的深度标记模型OpenTag，其贡献如下：（1）我们将问题形式化为一个序列标记任务，并提出了一个利用递归神经网络的联合模型（具体来说，双向LSTM）来捕获上下文和语义，以及条件随机场（CRF）来执行标记一致性，（2）提出了一种新的注意力机制，为模型的决策提供可解释的解释;（3）提出了一种新的采样策略，探索主动学习，以减少人工注释的负担。OpenTag不像以前的作品那样使用任何字典或手工制作的功能。在不同领域的真实数据集上进行的大量实验表明，OpenTag与我们的主动学习策略一起从最少150个注释样本中发现新的属性值（注释工作量减少了3.3倍），F值高达83%，优于最先进的模型。
2018-10-06 cs.AI cs.CL cs.IR
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；PricewaterhouseCoopers GmbH（普华永道有限责任公司）
我们提出了KPI-BERT，一个系统，它采用新的方法命名实体识别（NER）和关系抽取（RE）提取和链接的关键绩效指标（KPI），如“收入”或“利息支出”，公司从现实世界的德国金融文件。具体来说，我们引入了一种端到端的可训练架构，该架构基于来自Transformers的双向编码器表示（BERT），将递归神经网络（RNN）与条件标签掩蔽相结合，以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制，并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能，超过了几个强大的基线，包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
Bidirectional Recurrent Neural Networks for Medical Event Detection in Electronic Health Records
University of Massachusetts（马萨诸塞大学）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心与CHOIR）
从电子健康记录（EHR）中的非结构化文本中提取医疗事件及其属性的序列标记是实现EHR语义理解的关键步骤。它在健康信息学中有重要的应用，包括药物警戒和药物监测。该领域中的现有技术监督机器学习模型基于条件随机场（CRF），其特征从固定的上下文窗口计算。在这个应用中，我们探索了各种递归神经网络框架，并表明它们的性能明显优于CRF模型。
2016-07-12 cs.CL cs.LG cs.NE
GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification
Georgia Institute of Technology（佐治亚理工学院）
本文研究了阿拉伯语医学文本在82类分类中的表现，对比了双向编码器与因果解码器，发现前者在捕捉细粒度语义边界方面更优。
2026-02-17 cs.AI cs.CL cs.LG
BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
电子健康记录（EHR）是患者与医疗保健系统交互的纵向记录。患者的EHR数据从上到下被组织为三级层次结构：患者旅程-在一段时间内的所有诊断和治疗经验;个人访问-特定访问中的一组医疗代码;以及医疗代码-以医疗代码形式的特定记录。随着电子健康记录开始积累数百万个，这些数据可能为医学研究和医疗结果预测带来的潜在好处是惊人的-包括预测未来的入院情况，诊断疾病或确定医疗效果。这些分析任务中的每一个都需要领域知识提取方法来将分层患者旅程转换为矢量表示以用于进一步的预测过程。这些表示应该嵌入一系列访问和一组具有特定时间戳的医疗代码，这对任何下游预测任务都至关重要。因此，表达能力强的表示对提高学习性能很有吸引力。为此，我们提出了一种新的自我注意机制，捕获患者的医疗保健旅程中的上下文依赖性和时间关系。然后，端到端双向时间编码器网络（BiteNet）仅基于所提出的注意力机制来学习患者旅程的表示。我们已经评估了我们的方法在两个监督预测和两个无监督聚类任务与现实世界的EHR数据集的有效性。实证结果表明，所提出的BiteNet模型比最先进的基线方法产生更高质量的表示。
2020-09-24 cs.AI cs.CL cs.LG
Convolutional Gated Recurrent Units for Medical Relation Classification
Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）和递归神经网络（RNN）模型已经成为关系分类的主流方法。我们提出了一个统一的架构，它同时利用CNN和RNN的优点，以确定医疗关系的临床记录，只有词嵌入功能。我们的模型通过CNN层学习短语级别的特征，这些特征表示被直接馈送到双向门控递归单元（GRU）层以捕获长期特征依赖性。我们在两个临床数据集上评估了我们的模型，实验表明，我们的模型在这两个数据集上的表现明显优于以前的单模型方法。
2018-07-29 cs.CL
A Generative Framework for Bidirectional Image-Report Understanding in Chest Radiography
Bandırma Onyedi Eylül University（班迪尔马奥涅迪埃伊吕勒大学）
针对LLMs应用于胸部X光片（CXR）时的视觉-文本对齐与诊断细节保留挑战，提出多阶段自适应视觉-语言调优（MAViLT）框架，在两个基准数据集上取得所有任务的最先进结果，验证其临床实用性。
2025-02-09 cs.CL cs.CV eess.IV
