Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心)
关系抽取是生物医学领域自然语言处理的核心问题。最近的关系抽取研究表明,基于神经网络的学习提高了全训练集和Few-Shot训练的微调性能。然而,在特定领域的任务上所做的努力较少,在这些任务中,良好的快速设计可能更加困难。在本文中,我们研究了生物医学关系抽取的提示,在ChemProt数据集上的实验。我们提出了一个简单而有效的方法,系统地产生全面的提示,重新制定的关系抽取任务作为一个完形填空测试任务下一个简单的提示制定。特别是,我们实验不同的排名分数,以及时选择。使用BioMed-RoBERTa-base,我们的结果表明,基于优化的微调比常规微调基线获得了14.21 F1的增益,比SciFive-Large获得了1.14 F1的增益,SciFive-Large是目前ChemProt上最先进的算法。此外,我们发现,基于神经网络的学习需要更少的训练样本来做出合理的预测。结果表明,我们的方法在这样一个特定领域的关系抽取任务的潜力。
2022-04-21 cs.CL
Embarrassingly Simple Unsupervised Aspect Extraction
University of Antwerp(安特卫普大学);University of Groningen(格罗宁根大学)
我们提出了一种简单而有效的方法方面识别情感分析。我们的无监督方法只需要词嵌入和POS标记器,因此可以直接应用于新的领域和语言。我们引入了对比注意力(CAt),一种新的单头注意力机制的基础上的RBF核,这给了一个相当大的提升性能,使模型可解释。以前的工作依赖于句法特征和复杂的神经模型。我们表明,鉴于目前的基准数据集方面提取的简单性,这样复杂的模型是不需要的。复制本文中报告的实验的代码可在https://github.com/clips/cat上获得
2020-04-28 cs.CL
An Embarrassingly Simple Model for Dialogue Relation Extraction
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
本文提出SimpleRE模型,利用BRS输入格式和关系精炼门RRG建模对话中的多关系关联,在DialogRE及句子级RE任务上以更短训练时间取得最佳性能。
2022-01-25 cs.CL
Simple Large-scale Relation Extraction from Unstructured Text
Amazon Research Cambridge(亚马逊剑桥研究院)
基于知识的问答依赖于事实的可用性,其中大部分无法在结构化来源(例如维基百科信息框,维基数据)中找到。关系抽取(RE)是从非结构化文本中抽取事实的主要组成部分之一。在本文中,我们提出了一种新的方法来创建远(弱)监督标签训练一个大规模的RE系统。我们还提供了新的证据的有效性的神经网络方法解耦的模型架构的功能设计的国家的最先进的神经网络系统。令人惊讶的是,在类似特征上训练的简单得多的分类器与高度复杂的神经网络系统的性能相当(训练时间减少了75倍),这表明这些特征对最终性能的贡献更大。
2018-03-24 cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology(印度理工学院)
用于远程监督关系抽取(DS-RE)的神经模型将每个句子单独编码在实体对袋中。然后,这些被聚合用于袋级关系预测。由于在编码时,这些方法不允许信息从袋子中的其他句子中流出,我们认为它们没有充分利用可用的袋子数据。作为回应,我们探索一个简单的基线方法(PARE),其中一个袋子的所有句子连接成一个句子的通道,并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现,我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
A Simple but Effective Bidirectional Framework for Relational Triple Extraction
Northeastern University(东北大学)
基于标记的关系三元组抽取方法是近年来研究的热点。然而,大多数这些方法采取单向提取框架,首先提取所有的主题,然后提取对象和关系的基础上提取的主题同时。该框架有一个明显的不足,即对被试的抽取结果过于敏感。为了克服这一缺陷,我们提出了一种双向提取框架为基础的方法,提取三元组的基础上提取的实体对从两个互补的方向。具体地说,我们首先从两个方向上提取所有可能的主体-客体对。这两个提取方向通过共享的编码器组件连接,因此来自一个方向的提取特征可以流向另一个方向,反之亦然。这样,两个方向的提取可以相互促进和补充。接下来,我们通过双仿射模型为每个实体对分配所有可能的关系。在训练过程中,我们观察到共享结构会导致收敛速度不一致的问题,这对性能是有害的。因此,我们提出了一个共享感知的学习机制来解决这个问题,我们在多个基准数据集上评估了所提出的模型。大量的实验结果表明,该模型是非常有效的,它实现了所有这些数据集上的最先进的结果。实验结果表明,本文提出的双向抽取框架和共享感知学习机制具有良好的适应性,可用于提高其他基于标注的方法的性能。我们工作的源代码可以在https://github.com/neukg/BiRTE上找到。
2022-01-05 cs.CL
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings
Swisscom AG(瑞士电信公司);EPFL(洛桑联邦理工学院)
关键词提取是自动选择一个最能描述给定自由文本文档的短语的小集合的任务。有监督的关键短语提取需要大量的标记的训练数据,并且在训练数据的域之外的推广非常差。同时,无监督系统的准确性较差,并且通常不能很好地泛化,因为它们需要输入文档属于也作为输入给出的更大的语料库。为了解决这些缺点,在本文中,我们使用EmbedRank来解决从单个文档中提取关键词的问题:EmbedRank是一种新型的无监督方法,它利用了句子嵌入。EmbedRank在标准数据集上比基于图的最新系统获得了更高的F-scores,并且适合实时处理大量Web数据。使用EmbedRank,我们还通过为新短语引入基于嵌入的最大边际相关性(MMR)来显式增加所选关键短语的覆盖率和多样性。一项包含超过200个投票的用户研究表明,尽管减少短语的语义重叠不会导致F分数的增加,但我们的高多样性选择是人类的首选。
2018-09-05 cs.CL
Embarrassingly Simple Unsupervised Aspect Based Sentiment Tuple Extraction
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
针对低资源领域缺乏标注数据导致监督方法效果减弱的问题,提出一种简单新颖的无监督方法,用于提取句子中方面词对应的意见词及情感极性,并在四个基准数据集上验证了有效性,为意见词挖掘建立了无监督基准。
2024-04-21 cs.CL
Simple Unsupervised Similarity-Based Aspect Extraction
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
在情感分析的上下文中,对执行集中于被评估的实体的特定方面的更细粒度分析的兴趣日益增长。这是基于情感的情感分析(ABSA)的目标,ABSA主要包括两个任务:方面提取和极性检测。第一个任务负责发现评论文本中提到的方面,第二个任务为该方面分配情感取向(积极,消极或中性)。目前,ABSA的最新技术包括深度学习方法的应用,如递归、卷积和注意力神经网络。这些技术的局限性在于,它们需要大量的训练数据并且在计算上昂贵。在本文中,我们提出了一个简单的方法,称为SUAEx方面提取。SUAEx是无监督的,仅依赖于词嵌入的相似性。在三个不同领域的数据集上的实验结果表明,SUAEx在很短的时间内就可以获得优于最先进的基于注意力的方法的结果。
2020-08-25 cs.CL
ZS4IE: A toolkit for Zero-Shot Information Extraction with simple Verbalizations
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);Raytheon BBN Technologies(雷神BBN技术公司);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
信息抽取(IE)分析师的当前工作流程涉及感兴趣的实体/关系的定义和具有注释示例的训练语料库。在这个演示中,我们介绍了一个新的工作流程,分析师直接用语言表达的实体/关系,然后使用的文本蕴涵模型执行zero-shot IE。我们提出了一个工具包的设计和实现的用户界面,以及四个IE任务的实验表明,该系统实现了非常好的性能,在零样本学习,每种类型的用户的努力只有5- 15分钟。我们的演示系统在https://github.com/BBN-E/ZS4IE上开源。演示视频可在https://vimeo.com/676138340上获得。
2022-05-03 cs.CL
Verbal chunk extraction in French using limited resources
探索了一种提取法语动词词块的方法,并在有效语料库上进行了测试。声明性的形态和本地语法规则,指定块和一些简单的上下文结构,依赖于有限的词汇信息和一些简单的启发式/统计特性,从受限制的语料库。具体的目标,该系统的架构和形式主义,它依赖的语言信息和有效语料库上取得的成果。
2004-08-26 cs.CL
From Simple to Complex: A Progressive Framework for Document-level Informative Argument Extraction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Center for Data Science, Peking University(北京大学数据科学中心);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室)
针对文档级事件论元抽取中按出现顺序预测易引入噪声的问题,提出一种由简到繁的渐进式框架,优先抽取简单事件以提供可靠记忆辅助复杂事件预测,在 WikiEvents 上 F1 提升 1.4%。
2023-10-25 cs.CL
Improving Recall of Large Language Models: A Model Collaboration Approach for Relational Triple Extraction
Shanghai Key Laboratory of Data Science(上海市数据科学重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对大语言模型在复杂句子关系三元组抽取中召回率不足的问题,提出融合大模型与小模型的评估-过滤框架,通过高精度实体对评估模型的输出作为提示辅助抽取,有效提升复杂句抽取效果,且可适配传统抽取模型。
2024-04-15 cs.CL
A Simple yet Effective Relation Information Guided Approach for Few-Shot Relation Extraction
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Pazhou Lab(琶洲实验室)
Few-Shot关系抽取的目标是通过在每个关系中使用一些标记的示例进行训练来预测句子中的一对实体的关系。一些最近的工作已经引入了关系信息(即,关系标签或描述)来辅助基于原型网络的模型学习。然而,大多数方法都是通过设计复杂的网络结构,如生成混合特征,结合对比学习或注意力网络等,用关系信息隐含地约束每个关系类的原型。我们认为,关系信息可以更明确和有效地引入到模型中。因此,本文提出了一种直接添加的方法来引入关系信息。具体地,对于每个关系类,首先通过连接关系的两个视图(即,[CLS]标记嵌入和所有标记的嵌入的平均值),然后直接添加到原始原型中用于训练和预测。在基准数据集FewRel 1.0上的实验结果显示出显着的改进,并取得了与最先进的结果相当的结果,这证明了我们提出的方法的有效性。此外,进一步的分析表明,直接添加是一个更有效的方式来集成的关系表示和原始原型。
2022-05-19 cs.CL
Pattern Based Term Extraction Using ACABIT System
National Institute of Informatics(国立情报学研究所);University of Nantes(南特大学);Loria(洛里亚研究所);Osaka Corporation(大阪公司)
在本文中,我们提出了一个基于模式的术语提取方法,为日本,应用ACABIT系统最初开发的法语。该方法使用基本术语和术语变体的形态模式来评估术语性。在提取候选词后,ACABIT系统根据对数似然从候选词中过滤掉非词。由于日语术语多为复合名词或简单短语模式,因此该方法适用于日语术语抽取。
2009-07-14 cs.CL
LightKGG: Simple and Efficient Knowledge Graph Generation from Textual Data
DSA,HKUST(GZ)(香港科技大学(广州))
LightKGG利用小规模语言模型,通过上下文集成图提取和拓扑增强关系推理两项创新,实现低资源环境下高效准确的知识图谱生成,弥合自动提取与实际部署的差距。
2025-10-27 cs.CL
Simple Open Stance Classification for Rumour Analysis
University of Sheffield(谢菲尔德大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
姿态分类确定(通常为短)文本中的姿态或姿态。该任务具有强大的应用程序,例如检测假新闻或自动提取对媒体中实体或事件的态度。本文描述了一个令人惊讶的简单和有效的分类方法,在Twitter的开放立场分类,谣言和准确性分类。该方法得益于一组新的自动识别问题特定特征,这些特征显著提高了分类器的准确性,并在最近的基准数据集上实现了上述最先进的结果。这就质疑了在没有首先进行知情的特征提取的情况下使用复杂的复杂模型进行立场分类的价值。
2017-09-14 cs.CL
Data Augmented Pipeline for Legal Information Extraction and Reasoning
Center for Juris-Informatics, ROIS-DS(司法信息中心,ROIS-DS);Japan Advanced Institute of Science and Technology(日本先进科学研究所);Research and Development Center for LLMs, NII(大语言模型研发中心,NII)
本文提出了一种基于大型语言模型的数据增强管道,用于提升法律领域信息抽取与推理的效率和鲁棒性,同时具备跨领域应用的通用性。
2026-01-09 cs.CL
Topical Keyphrase Extraction with Hierarchical Semantic Networks
Korea University(高丽大学)
主题关键词提取用于对大量文本文档进行摘要。然而,传统的方法不能正确地反映内在的语义和关系的关键词,因为他们依赖于一个简单的基于词频的过程。因此,这些方法在获得重要的上下文知识方面是无效的。为了解决这个问题,我们提出了一个主题关键词提取方法的基础上的层次语义网络和多个中心网络措施,共同反映层次语义的关键词。我们在真实数据上进行实验,以检验所提出的方法的实用性,并将其性能与现有的主题关键词提取方法进行比较。结果证实,所提出的方法优于国家的最先进的主题关键词提取方法的代表性,为每个主题所选择的关键词。该方法能有效地反映关键短语的内在语义和相互关系。
2019-10-17 cs.CL
Rescue Implicit and Long-tail Cases: Nearest Neighbor Relation Extraction
Kyoto University(京都大学);Zhejiang University(浙江大学)
关系抽取(RE)在预训练的语言模型的帮助下取得了显著的进展。然而,现有的RE模型通常无法处理两种情况:隐式表达式和长尾关系类型,由语言复杂性和数据稀疏性造成的。在本文中,我们介绍了一个简单的增强RE使用$k$最近的邻居($k$ NN-RE)。$k$ NN-RE允许模型在测试时通过最近邻搜索来咨询训练关系,并提供了一种简单而有效的方法来解决上述两个问题。此外,我们观察到,$k$ NN-RE作为一种有效的方式来利用远程监督(DS)数据RE。实验结果表明,所提出的$k$ NN-RE在各种监督RE数据集上实现了最先进的性能,即,ACE 05、SciERC和Wiki 80,以及在允许使用DS的情况下,在i2 b2和Wiki 80数据集上的表现优于迄今为止最好的模型。我们的代码和模型可在https://github.com/YukinoWan/kNN-RE上获得。
2023-01-30 cs.CL
Hyponymy extraction of domain ontology concept based on ccrfs and hierarchy clustering
Beijing Institute of Technology(北京理工大学);Yuncheng University(运城学院)
概念层次是本体的主干,概念层次的获取一直是本体学习领域的研究热点。摘要提出了一种基于级联条件随机场和层次聚类的领域本体概念上下义抽取方法。它以自由文本为抽取对象,采用CCRF标识领域概念。首先利用CCRF的低层识别简单领域概念,然后将识别结果发送到高层,在高层中识别嵌套概念。其次,我们采用层次聚类来识别领域本体概念之间的上下义关系。实验结果表明,该方法是有效的。
2015-08-06 cs.CL
Description of the Odin Event Extraction Framework and Rule Language
University of Arizona(亚利桑那大学)
本文档描述了Odin框架,这是一个独立于领域的平台,用于开发基于规则的事件提取模型。Odin的目标是强大(规则语言允许对复杂的语法结构进行建模)和健壮(从句法分析错误中恢复,语法模式可以自由地与表面的基于标记的模式混合),同时保持简单(一些领域语法可以在几分钟内启动并运行)和快速(Odin在现实世界的领域中处理超过100个句子/秒,超过200条规则)。在这里,我们包括Odin规则语言的完整定义,以及Scala语言中Odin API的描述,它允许将这些规则应用于任意文本。
2015-09-24 cs.CL
Unsupervised Keyphrase Extraction via Interpretable Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学)
关键词提取的目的是自动提取一个列表的“重要”的短语表示的关键概念,在一个文件。用于无监督关键短语提取的先前方法通过嵌入聚类或图中心性诉诸于短语重要性的启发式概念,需要广泛的领域专业知识。我们的工作提出了一个简单的替代方法,它定义为文档短语的关键词是突出的预测文档的主题。为此,我们提出了检查-一种方法,使用自我解释模型,通过测量输入短语对文档主题分类的下游任务的预测影响来识别文档中有影响力的关键短语。我们证明了这种新方法不仅满足了对ad-hoc关键词提取的需求,而且在两个领域的四个数据集中实现了无监督关键词提取的最新结果:科学出版物和新闻文章。
2023-02-17 cs.CL
A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction
Rensselaer Polytechnic Inst.(伦斯勒理工学院);IBM Research(IBM研究院)
本文系统评估了因果知识抽取方法,发现预训练语言模型嵌入显著提升性能,且基于跨度的模型在4个跨领域数据集上优于简单序列标注模型。
2023-08-07 cs.CL
An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic
Santa Clara University(圣克拉拉大学);Florida State University(佛罗里达州立大学)
本文提出一种基于最大均值差异(MMD)的简单检测方法,通过将查询嵌入语义空间并比较其与历史良性流量的分布差异,有效检测LLM API中的模型提取攻击。
2026-09-01 cs.CL cs.CR
Simple and Effective Knowledge-Driven Query Expansion for QA-Based Product Attribute Extraction
Rakuten Institute of Technology(乐天技术研究所);Rakuten Group Inc.(乐天集团);Institute of Industrial Science(工业科学研究所);the University of Tokyo(东京大学)
电子商务网站属性值提取的一个关键问题是如何处理大量不同产品的属性。虽然这个挑战部分地解决了问答(QA)的方法,找到一个给定的查询(属性)的产品数据中的值,它不工作,有效地为罕见的和模糊的查询。因此,我们提出了简单的知识驱动的查询扩展的基础上可能的答案(值)的查询(属性)的基于QA的AVE。我们从训练数据中检索查询(属性)的值以扩展查询。我们用知识丢弃和知识令牌混合两种技巧来训练模型,模拟测试中价值知识的不完全性。在AliExpress数据集的清理版本上的实验结果表明,我们的方法提高了AVE的性能(+6.08宏F1),特别是对于罕见和模糊的属性(分别为+7.82和+6.86宏F1)。
2022-06-28 cs.AI cs.CL
Generating Disentangled Arguments with Prompts: A Simple Event Extraction Framework that Works
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);The University of Sheffield(谢菲尔德大学)
事件提取弥合了文本和事件信号之间的差距。现有的方法基于参数依赖性的假设,通过专家设计的模板或复杂的解码约束,已经达到了最先进的性能。在本文中,我们第一次引入基于学习策略的事件提取领域,这使得自动开发的标签语义的输入和输出端。为了验证所提出的生成方法的有效性,我们进行了广泛的实验与11个不同的基线。实证结果表明,在F1分数的论点提取,我们的简单架构是强大的比任何其他生成的同行,甚至与需要模板工程的算法竞争。关于召回的衡量标准,它为论点和触发器提取创造了新的整体记录。我们在此向社区推荐此框架,代码可在https://git.io/GDAP上公开获得。
2022-02-15 cs.AI cs.CL cs.LG
Structured information extraction from complex scientific text with fine-tuned large language models
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
从非结构化文本中智能地提取和链接复杂的科学信息是一项具有挑战性的工作,特别是对于那些没有自然语言处理经验的人来说。在这里,我们提出了一个简单的序列到序列的方法来联合命名实体识别和关系抽取的复杂层次信息的科技文本。该方法利用了预训练的大语言模型(LLM)GPT-3,该模型在大约500对提示(输入)和完成(输出)上进行了微调。信息可以从摘要/段落中的单个句子或跨句子提取,输出可以作为简单的英语句子或更结构化的格式(如JSON对象列表)返回。我们证明,以这种方式训练的LLM能够准确地提取复杂的科学知识的有用记录,在材料化学中的三个代表性的任务:连接掺杂剂与其主体材料,编目金属有机框架,和一般的化学/相/形态/应用信息抽取。这种方法代表了一种简单,可访问的,高度灵活的路线,以获得大型数据库的结构化知识提取非结构化文本。在线演示可在http://www.matscholar.com/info-extraction上获得。
2022-12-10 cond-mat.mtrl-sci cs.CL
Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions
Humboldt Universität zu Berlin(柏林洪堡大学)
本研究提出了名为Fundus的易用新闻爬虫框架,采用针对各报纸定制的手工提取器并整合爬取与提取流程,经评估提取质量显著优于现有工具,且支持pip安装,便于非技术用户使用。
2024-06-24 cs.CL cs.IR
A Simple but Effective Approach to Improve Structured Language Model Output for Information Extraction
Georgia Institute of Technology(佐治亚理工学院)
本文提出 G&O 方法,将 LLM 的结构化生成拆分为先生成自然语言中间响应、再整理为目标结构两步,在零样本 NER 和 RE 上以极小开销显著提升性能,并可与自洽性等策略结合。
2024-02-20 cs.CL cs.IR
Adversarial attacks against Fact Extraction and VERification
University of Cambridge(剑桥大学)
本文描述了事实提取和验证共享任务(FEVER2.0)的第二次迭代的基线,该任务通过对抗性评估来探索系统的弹性。我们提出了一个简单的对抗攻击的系统,参与了第一个FEVER共享任务的集合。FEVER使用来自维基百科的证据将书面声明的真实性评估建模为联合信息检索和自然语言推理任务。大量参与者在提交共享任务时使用了深度神经网络。这种模型是否理解语言的程度一直是最近一些研究和文献讨论的主题。在本文中,我们提出了一个简单的方法,产生的蕴涵保持和蕴涵改变扰动的训练数据内的共同模式的实例。我们发现,一些系统的分类精度的绝对损失高达$29\%$的新扰动的情况下,受到很大的影响。使用这些新生成的实例,我们为FEVER2.0共享任务构造了一个示例提交。解决这些类型的攻击将有助于建立更强大的事实检查模型,并为扩展数据集提供方向。
2019-03-13 cs.AI cs.CL
Keyphrase Extraction : Enhancing Lists
National Research Council of Canada(加拿大国家研究委员会);Language Technologies Research Centre(语言技术研究中心)
本文提出了一些适度的改进提取器,一个国家的最先进的关键词提取系统,通过使用TB大小的语料库来估计关键词的信息量和语义相似性。我们提出了两种技术来改善组织和删除关键词列表的离群值。第一种是根据它们在语料库中的出现情况进行简单的排序;第二种是根据语义相似度进行聚类。讨论了评价问题。我们提出了一种新的技术,提取的关键词进行比较的黄金标准,依赖于语义相似性,而不是字符串匹配或评估涉及人类法官。
2012-04-01 cs.CL cs.IR
Neural Relation Prediction for Simple Question Answering over Knowledge Graph
Amirkabir University of Technology(阿米尔卡比尔理工大学)
知识图谱被广泛地用作提供事实问题的答案的典型资源。在知识图谱上的简单问答中,关系抽取旨在从一组预定义的关系类型中预测事实问题的关系。大多数最近的方法利用神经网络来匹配问题与所有预定义的关系。在本文中,我们提出了一种基于实例的方法来捕捉潜在的关系的问题,并为此目的,我们检测匹配的释义的一个新的问题,共享相同的关系,并选择其对应的关系作为我们的预测。我们的模型的想法根源于这样一个事实,即关系可以用各种形式的问题来表达,而这些形式共享词汇或语义相似的术语和概念。在SimpleQuestions数据集上的实验表明,该模型比现有的关系抽取模型具有更高的准确率。
2020-07-05 cs.CL cs.LG
Cheap and Good? Simple and Effective Data Augmentation for Low Resource Machine Reading
University of Arizona(亚利桑那大学);IBM Research(IBM研究院)
我们提出了一个简单而有效的策略,用于低资源机器阅读理解(MRC)的数据增强。我们的方法首先在包含正确答案的近似上下文的增强数据上预训练MRC系统的答案提取组件,然后在确切的答案跨度上训练它。近似上下文有助于QA方法组件缩小答案的位置。我们证明,我们简单的策略,通过提供更大的上下文的答案和额外的训练数据,大大提高了文档检索和答案提取性能。特别是,我们的方法显着提高性能的BERT为基础的检索器(15.12\%),和答案提取器(4.33\% F1)TechQA,一个复杂的,低资源的MRC任务。此外,我们的数据增强策略产生了显着的改善高达3.9\%的精确匹配(EM)和2.7\%的F1的答案提取PolicyQA,另一个实用的,但中等大小的QA数据集,也包含长的答案跨度。
2021-06-08 cs.AI cs.CL cs.LG
AIMA at SemEval-2024 Task 3: Simple Yet Powerful Emotion Cause Pair Analysis
Sharif University of Technology(谢里夫理工大学);Qatar Computing Research Institute(卡塔尔计算研究所)
针对SemEval-2024任务3,AIMA团队提出三阶段模型(嵌入提取、原因对提取与情感分类、问答原因提取),在23队中分别位列子任务1第10名和子任务2第6名。
2025-01-19 cs.AI cs.CL cs.LG
Temporal Information Extraction for Question Answering Using Syntactic Dependencies in an LSTM-based Architecture
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在本文中,我们提出了一套简单的,统一的架构LSTM为基础的模型,以恢复不同种类的时间关系,从文本。使用实体之间的最短依赖路径作为输入,使用相同的架构来提取句子内,跨句子和文档创建时间关系。一种“双重检查”技术在分类中颠倒实体对,提高了对阳性案例的回忆,减少了相反类之间的错误分类。一个有效的修剪算法解决全局冲突。在QA-TempEval(SemEval 2015任务5)上进行评估,我们提出的技术大大优于最先进的方法。
2017-10-05 cs.CL cs.IR
Automated Extraction of Number of Subjects in Randomised Controlled Trials
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
本文提出了一种自动提取随机对照试验(RCT)受试者数量的简单方法。我们的方法首先应用一组基于规则的技术,从文章摘要中提取候选研究规模。监督分类,然后执行的候选人与支持向量机,使用一小组的词汇,结构和上下文的功能。只有一个小的注释训练集的201个随机对照试验,我们获得了88%的准确性。我们相信该系统将有助于复杂的医疗文本处理任务,例如总结和问答。
2016-06-22 cs.AI cs.CL cs.IR
Comparing Feature Importance and Rule Extraction for Interpretability on Text Data
Université Côte d'Azur(坎特伯雷大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);LJAD(LJAD研究所);France(法国)
针对文本数据任务中机器学习可解释性需求,本文对比了特征重要性计算和逻辑规则提取两类局部可解释方法,发现即使在简单模型上不同方法的解释也存在意外差异,并提出了量化该差异的解释比较新方法。
2022-07-04 cs.AI cs.CL cs.LG
Zero-shot Task Transfer for Invoice Extraction via Class-aware QA Ensemble
UST Ltd(UST有限公司)
我们提出VESPA,一个故意简单而新颖的zero-shot系统布局,区域和域不可知的文档提取。尽管有大量的文档语料库,但缺乏标记和验证的数据集使得有区别地为企业训练文档提取模型成为一个挑战。我们表明,这个问题可以通过简单地将信息抽取(IE)任务转移到一个自然语言检索(QA)任务,而无需工程任务特定的架构来解决。我们证明了我们的系统的有效性,通过评估一个封闭的语料库的真实世界的零售和税务发票与多个复杂的布局,域和地理。实证评估表明,我们的系统优于4个著名的商业发票解决方案,这些解决方案使用专门为发票提取而设计的体系结构的歧视性训练模型。我们提取了6个字段,没有预先的人工注释或使用Avg训练。F1 87.50
2021-08-13 cs.AI cs.CL cs.IR