Brundlefly at SemEval-2016 Task 12: Recurrent Neural Networks vs. Joint Inference for Clinical Temporal Information Extraction
Stanford University(斯坦福大学);Mobilize Center(动员中心)
我们提交了两个系统参加SemEval-2016任务12:临床TempEval挑战,参与第1阶段,在第1阶段,我们确定了临床笔记中的时间和事件表达的文本跨度,第2阶段,我们预测了事件与其父文档创建时间之间的关系。对于时间实体提取,我们发现使用结构化预测的基于联合推理的方法优于香草递归神经网络,该网络采用了在各种大型临床文档集上训练的词嵌入。对于文档创建时间关系,我们发现,数据规范化和远程监督规则的组合,用于预测事件和时间表达式的关系,提高了分类,虽然收益是有限的,可能是由于小规模的训练数据。
2016-06-04 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University(乌普萨拉大学)
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性,XLM-RoBERTa(XLMR),多语言BERT(mBERT)和多语言蒸馏BERT(mDistilBERT)。我们在两个设置中比较这三个模型,微调和作为特征提取器。在第二种情况下,我们也尝试使用基于依赖性的信息。我们发现,微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT,而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳,但当用作特征提取器时,它给出了与其他模型相似的结果。我们提交了两个最好的系统,用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Semeval-2022 Task 1: CODWOE -- Comparing Dictionaries and Word Embeddings
Helsinki University(赫尔辛基大学);Utrecht University(乌得勒支大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);ATILF(ATILF研究所)
词嵌入在许多任务中推进了NLP的最新发展。理解密集神经表征的内容是计算语义学社区的最大兴趣。我们建议把重点放在这些不透明的词向量与人类可读的定义,如在字典中找到的。这个问题自然分为两个子任务:将定义转换为嵌入,以及将嵌入转换为定义。这项任务是在多语言环境中进行的,使用了同类训练的可比嵌入集。
2022-05-27 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder(科罗拉多大学博尔德分校)
针对印度法院判决书的法律命名实体识别任务,论文比较多种序列标注架构,发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳,并发布 BIO 格式数据集。
2023-06-03 cs.CL
AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection
School of Electrical and Computer Engineering, AILS Laboratory(电气与计算机工程学院,AILS实验室);National Technical University of Athens(希腊雅典国家技术大学)
AILS-NTUA 提出了一种代理 LLM 管道,通过动态判别链式思维和对抗性架构,在 SemEval-2026 任务 10 中实现了高精度的心理语言学标记提取和阴谋支持检测。
2026-03-05 cs.CL
Wolfies at SemEval-2022 Task 8: Feature extraction pipeline with transformers for Multi-lingual news article similarity
Stony Brook University(石溪大学)
这项工作是关于找到一对新闻文章之间的相似性。在数据集中为每一对提供了七种不同的客观相似性度量,并且新闻文章采用多种不同的语言。在预训练的嵌入模型之上,我们计算基线结果的余弦相似度,然后在其上训练前馈神经网络以改善结果。我们还为特征提取的每个相似性度量构建了单独的管道。我们可以看到使用特征提取和前馈神经网络的基线结果的显着改善。
2023-02-06 cs.AI cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
一个词和它的描述,或者一个词和它的嵌入之间的关系是什么?描述和嵌入都是词的语义表征。但是,在这些表征中保留了来自原始词的哪些信息呢?或者更重要的是,这两种表征共享了关于一个词的哪些信息?定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量,以人类可理解的方式表达单词的含义-作为字典定义。相反,反向词典任务探索直接从定义预测词嵌入的能力。在本文中,通过处理这两个任务,我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统,并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
RGCL at SemEval-2020 Task 6: Neural Approaches to Definition Extraction
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
本文介绍了RGCL团队提交给SemEval 2020任务6:DeftEval,子任务1和2。该系统在句子和标记级别对定义进行分类。它利用了最先进的神经网络架构,该架构具有一些特定于任务的适应性,包括自动扩展的训练集。总体而言,该方法达到了可接受的评估分数,同时保持了架构选择的灵活性。
2020-10-13 cs.AI cs.CL cs.LG
MIT at SemEval-2017 Task 10: Relation Extraction with Convolutional Neural Networks
MIT(麻省理工学院)
发表了5 000多万篇学术文章:它们构成了一个独特的知识库。特别是,人们可以从中推断出科学概念之间的关系,如同义词和下位词。人工神经网络最近已被探索用于关系抽取。在这项工作中,我们继续这条工作线,并提出了一个系统的基础上的卷积神经网络提取关系。我们的模型在SemEval-2017任务10(ScienceIE)中排名第一,用于科学文章中的关系抽取(子任务C)。
2017-04-05 cs.AI cs.CL cs.NE
Epicurus at SemEval-2023 Task 4: Improving Prediction of Human Values behind Arguments by Leveraging Their Definitions
Utrecht University(乌得勒支大学)
本文针对SemEval-2023 Task 4人类价值识别任务,提出在模型训练中引入人类价值定义(标注说明和验证的调查项)以提升预测性能,实验证明该方法优于基线,macro F1提升达18%。
2023-05-18 cs.CL cs.CY
AIFB-WebScience at SemEval-2022 Task 12: Relation Extraction First -- Using Relation Extraction to Identify Entities
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出了一种基于转换器的语言模型的端到端联合实体和关系抽取方法。我们将该模型应用于将数学符号与LaTeX文档中的描述联系起来的任务。与现有的方法,执行实体和关系抽取的顺序,我们的系统将信息从关系抽取到实体提取。这意味着系统甚至可以在仅标注了所有有效实体跨度的子集的数据集上进行训练。我们提供了一个广泛的评价拟议的系统及其优点和缺点。我们的方法可以在推理时动态缩放计算复杂性,产生高精度的预测,并在SemEval-2022任务12的排行榜中排名第三。对于物理和数学领域的输入,它分别达到了95.43%和79.17%的高关系抽取宏F1分数。用于训练和评估我们模型的代码可在https://github.com/nicpopovic/RE1st上获得
2022-05-04 cs.AI cs.CL cs.LG
Unsupervised Aspect Term Extraction with B-LSTM & CRF using Automatically Labelled Datasets
Swisscom AG(瑞士电信公司)
体词提取是基于语义体的情感分析竞赛的一项任务,它是对文本中的体词进行识别。用于监督ATE的少量可用数据集和用于方面术语标签的昂贵的人工注释引起了对无监督ATE的需求。在本文中,我们介绍了一种架构,实现一流的性能监督ATE。此外,它可以有效地用于无监督ATE的特征提取和分类。我们的第二个贡献是自动构建ATE数据集的方法。我们训练我们的自动标记的数据集上的分类器,并评估它的人类注释SemEval ABSA测试集。与一个强大的基于规则的基线相比,我们获得了显着更高的F分数,并达到80%以上的精度值。我们的无监督方法击败了SemEval的监督ABSA基线,同时保留了高精度分数。
2017-09-15 cs.CL
OhioState at SemEval-2018 Task 7: Exploiting Data Augmentation for Relation Classification in Scientific Papers using Piecewise Convolutional Neural Networks
The Ohio State University(俄亥俄州立大学)
我们描述了SemEval-2018共享任务的系统,该任务涉及科学论文中的语义关系抽取和分类,我们专注于分类任务。我们简单的分段卷积神经编码器以端到端的方式表现良好。简单的任务间数据增强显著提高了模型的性能。我们表现最好的系统在噪声数据分类任务的20个团队中排名第8,在干净数据分类任务的28个团队中排名第12。
2018-04-30 cs.CL
UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection
UC Santa Cruz(加州大学圣克鲁兹分校)
该研究针对SemEval-2026任务10的阴谋标记提取和文档级阴谋检测,提出用多标签跨度分类提取标记,用序列分类器进行文档分类,还采用了多种策略,在官方测试集上子任务1获第7名,子任务2获第11名。
2026-07-08 cs.CL cs.SI
NoPropaganda at SemEval-2020 Task 11: A Borrowed Approach to Sequence Tagging and Text Classification
ABBYY ARD NLP(ABBYY ARD 自然语言处理部门);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);MIPT ABBYY Lab(莫斯科物理技术学院 ABBYY 实验室)
本文介绍了我们对SemEval-2020任务11的贡献:检测新闻文章中的宣传技巧。我们从简单的LSTM基线开始,然后转移到自回归Transformer解码器,以预测第一个子任务的长时间连续宣传跨度。我们还采用了一种方法,从关系抽取包围跨度上述与特殊的令牌的宣传技术分类的第二子任务。相应地,我们的模型报告了这些任务的F分数为44.6%,微平均F分数为58.2%。
2020-07-25 cs.CL
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest(布加勒斯特理工大学)
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献:从教科书中的自由文本中提取定义(DeftEval)。该竞赛由三个具有不同粒度水平的子任务组成:(1)将句子分类为定义性或非定义性,(2)标记定义性句子,以及(3)关系分类。我们使用各种预训练的语言模型(即,BERT、XLNet、RoBERTa、Sci BERT和AL BERT)来解决竞赛的三个子任务中的每一个。具体来说,对于每个语言模型变体,我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构,该架构经过训练,可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
PetKaz at SemEval-2024 Task 3: Advancing Emotion Classification with an LLM for Emotion-Cause Pair Extraction in Conversations
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究面向对话情感-原因对抽取,结合微调 GPT-3.5 进行情感分类与 BiLSTM 网络检测原因,在 SemEval-2023 Task 3 子任务1中获得第二名。
2024-04-08 cs.AI cs.CL
AILS-NTUA at SemEval-2026 Task 3: Efficient Dimensional Aspect-Based Sentiment Analysis
School of Electrical and Computer Engineering, AILS Laboratory(电气与计算机工程学院,AILS实验室);National Technical University of Athens(希腊雅典国家技术大学)
AILS-NTUA 提出了一种高效维度方面基于情感分析方法,结合语言适配编码器和 LoRA 指令微调,实现多语言多领域下的三元组和四元组提取,提升情感分析性能。
2026-03-05 cs.CL
MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models
Shenzhen Technology University(深圳技术大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对SemEval 2024任务3的对话多模态情绪原因分析子任务,提出整合多模态特征的MER-MCE框架,取得0.3435的加权F1分,位列第三名。
2024-04-11 cs.CL cs.CV cs.MM
AIMA at SemEval-2024 Task 3: Simple Yet Powerful Emotion Cause Pair Analysis
Sharif University of Technology(谢里夫理工大学);Qatar Computing Research Institute(卡塔尔计算研究所)
针对SemEval-2024任务3,AIMA团队提出三阶段模型(嵌入提取、原因对提取与情感分类、问答原因提取),在23队中分别位列子任务1第10名和子任务2第6名。
2025-01-19 cs.AI cs.CL cs.LG
Cisco at SemEval-2021 Task 5: What's Toxic?: Leveraging Transformers for Multiple Toxic Span Extraction from Online Comments
Cisco Systems(思科系统公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院)
社交网络平台通常用于分享积极的,建设性的和有见地的内容。然而,近年来,人们经常接触到令人反感的内容,如威胁,身份攻击,仇恨言论,侮辱,淫秽文本,攻击性言论或欺凌。有毒语音检测的现有工作集中在二进制分类或区分有毒语音之间的一小组类别。本文介绍了思科团队为SemEval-2021任务5提出的系统:有毒跨度检测,这是第一个共享任务,专注于检测文本中归因于其毒性的跨度。我们主要用两种方法来处理这个问题:序列标记方法和依存句法分析方法。在我们的序列标记方法中,我们根据特定的标记方案标记句子中的每个标记。我们在这种方法中表现最好的架构也被证明是我们整体表现最好的架构,F1得分为0.6922,因此我们在最终评估阶段排行榜上排名第7。我们还探讨了一个依存句法分析的方法,我们从输入句子中提取跨度的监督下,目标跨度边界和排名我们的跨度使用biaffine模型。最后,我们还提供了一个详细的分析,我们的结果和模型的性能在我们的论文。
2021-05-28 cs.AI cs.CL
INSIGHT-1 at SemEval-2016 Task 5: Deep Learning for Multilingual Aspect-based Sentiment Analysis
Insight Centre for Data Analytics(数据洞察中心);National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校);Aylien Ltd.(Aylien有限公司)
本文描述了我们基于深度学习的多语言基于方面的情感分析方法,作为SemEval 2016任务5的一部分。我们使用卷积神经网络(CNN)进行方面提取和基于方面的情感分析。我们铸造方面提取作为一个多标签分类问题,输出概率方面参数化的阈值。为了确定对一个方面的情感,我们将一个方面向量与每个词嵌入连接起来,并对其应用卷积。(英语不受限制)在所有语言和领域都取得了竞争性的结果,分别在11个语言-领域对中的5个和7个方面类别检测(插槽1)和情感极性(插槽3)中排名第一或第二,从而证明了用于多语言基于方面的情感分析的基于深度学习的方法的可行性。
2016-09-22 cs.CL cs.LG
NUS-Emo at SemEval-2024 Task 3: Instruction-Tuning LLM for Multimodal Emotion-Cause Analysis in Conversations
National University of Singapore(新加坡国立大学);Xidian University(西安电子科技大学);Wuhan University(武汉大学)
本文针对SemEval-2024多模态情感-原因对提取任务,提出基于LLM的情感-原因感知指令微调方法,结合ERC与ECPE双组件系统,实现34.71%加权F1分数并获排行榜第二名。
2024-08-22 cs.CL
SemEval-2026 Task 3: Dimensional Aspect-Based Sentiment Analysis (DimABSA)
Yuan Ze University(元智大学);University of Göttingen(哥廷根大学);Imperial College London(伦敦帝国学院);University of Pretoria(比勒陀利亚大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Central Police University(中央警察大学);Yunnan University(云南大学);Lomonosov Moscow State University(莫斯科国立大学);Skoltech(斯科尔科沃科学技术学院);AIRI(人工智能研究所);Maseno University(马塞诺大学);UCLA(加州大学洛杉矶分校);National Research Council Canada(加拿大国家研究委员会)
本文提出SemEval-2026任务3,旨在通过建模valence-arousal(VA)维度改进传统ABSA,引入DimStance任务以扩展ABSA至公共议题讨论,包含两个赛道和三个子任务,提出连续F1指标评估。
2026-04-08 cs.CL
LightRel SemEval-2018 Task 7: Lightweight and Fast Relation Classification
DFKI(德国人工智能研究中心(DFKI) Saarbrücken(萨尔布吕肯)分部(注:DFKI全称为German Research Center for Artificial Intelligence,通常译为德国人工智能研究中心,此处保留英文缩写并按机构含义直译, Saarbrücken作为城市名未按要求提取))
我们提出了LightRel,一个轻量级和快速的关系分类器。我们的目标是为不同的关系抽取任务开发一个高基线。通过只定义非常少的数据内部,字级特征和外部知识源的形式,词集群和词嵌入,我们训练一个快速和简单的线性分类器。
2018-04-19 cs.AI cs.CL
SemEval-2021 Task 4: Reading Comprehension of Abstract Meaning
Queen’s University(女王大学);Northeastern University(东北大学);University of Science and Technology of China(中国科学技术大学);iFlytek Research(科大讯飞研究院)
本文介绍了SemEval-2021共享任务4:抽象意义的阅读理解(ReCAM)。这个共享任务旨在帮助评估机器在表示和理解抽象概念方面的能力。在完形填空式的机器阅读理解系统中,给定一篇文章和相应的问题,期望参与系统从五个抽象概念候选中选择正确答案。基于抽象性的两种典型定义,即:由于模型的不可感知性和非特异性,我们的任务提供了三个子任务来评估参与模型。具体来说,子任务1旨在评估系统对物理世界中无法直接感知的概念建模的能力。子任务2主要考察模型在文章语境中理解上位词层次中非特定概念的能力。子任务3旨在提供一些关于模型在两种抽象类型上的可推广性的见解。在SemEval-2021正式评估期间,我们收到了23份子任务1和28份子任务2的提交。参与团队还向子任务3提交了29份报告。排行榜和竞赛网站可以在https://competitions.codalab.org/competitions/26153上找到。数据和基线代码可在https://github.com/boyuanzheng010/SemEval2021-Reading-Comprehension-of-Abstract-Meaning上获得。
2021-06-01 cs.CL
Samsung Research China-Beijing at SemEval-2024 Task 3: A multi-stage framework for Emotion-Cause Pair Extraction in Conversations
Samsung Research China-Beijing(三星中国研究院(北京));Samsung R&D Institute China-Beijing(三星中国研发院(北京))
本研究提出一个多阶段框架,用于对话中的多模态情绪-原因对抽取,利用基于 Llama-2 的 InstructERC 识别情绪,并结合双流注意力模型和 MuTEC 抽取因果对与因果跨度,在 SemEval-2024 Task 3 的两个子任务中均获第一名。
2024-04-25 cs.CL cs.SD eess.AS
LastResort at SemEval-2024 Task 3: Exploring Multimodal Emotion Cause Pair Extraction as Sequence Labelling Task
IIIT Hyderabad(印度信息技术研究所海得拉巴分校)
本文将多模态情绪原因对抽取建模为话语标注与序列标注任务,结合不同编码器、BiLSTM 上下文建模和 CRF 层,在 SemEval-2024 任务 3 官方排行榜上以 0.1759 的 F1 分数排名第 8。
2024-04-02 cs.CL cs.SD eess.AS
SemEval 2017 Task 10: ScienceIE - Extracting Keyphrases and Relations from Scientific Publications
University College London(伦敦大学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们描述了SemEval从科学文献中提取关键词及其之间关系的任务,这对于理解哪些出版物描述了哪些过程,任务和材料至关重要。虽然这是一项新任务,但我们在3个评估场景中共收到26份提交。我们期望本文中报告的任务和发现与致力于理解科学内容的研究人员以及更广泛的知识库人群和信息抽取社区相关。
2017-05-02 cs.AI cs.CL stat.ML
How Document Pre-processing affects Keyphrase Extraction Performance
CNRS(法国国家科学研究中心);Université de Nantes(南特大学)
SemEval-2010基准数据集重新引起了人们对自动关键词提取任务的关注。该数据集由从PDF格式自动转换为纯文本的科学文章组成,因此需要仔细的预处理,以便文本的无关跨度不会对关键词提取性能产生负面影响。在以前的工作中,广泛的文档预处理技术进行了描述,但它们对关键词提取模型的整体性能的影响仍然是未开发的。在这里,我们重新评估几个关键词提取模型的性能,并衡量其对日益复杂的文档预处理水平的鲁棒性。
2016-10-25 cs.CL
Enhancing Clinical Concept Extraction with Contextual Embeddings
School of Biomedical Informatics(生物医学信息学院);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
基于神经网络的表示(“嵌入”)极大地推进了自然语言处理(NLP)任务,包括临床NLP任务,诸如概念提取。然而,最近,更先进的嵌入方法和表示(例如,ELMo、BERT)进一步推动了NLP的发展,但对于如何将这些表示集成到临床任务中,还没有通用的最佳实践。本研究的目的,然后,是探索在利用这些新的模型进行临床概念提取的可能选项的空间,包括比较这些传统的词嵌入方法(word 2 vec,GloVe,fastText)。评估了MIMIC-III的现成开放域嵌入和预训练的临床嵌入。我们探索了一系列由传统词嵌入和上下文嵌入组成的嵌入方法,并在四个概念提取语料库上进行了比较:i2 b2 2010,i2 b2 2012,SemEval 2014和SemEval 2015。我们还分析了ELMo或BERT等大语言模型的预训练时间对提取性能的影响。最后,我们提出了一个直观的方式来理解的语义信息编码的上下文嵌入。在大型临床语料库上预训练的上下文嵌入在所有概念提取任务中实现了新的最先进的性能。表现最好的模型优于所有最先进的方法,其F1测量值分别为90.25、93.18(部分)、80.74和81.65。我们展示了上下文嵌入的潜力,通过国家的最先进的性能,这些方法实现临床概念提取。此外,我们证明了上下文嵌入编码有价值的语义信息不占传统的词表示。
2019-08-14 cs.CL
MasonNLP+ at SemEval-2023 Task 8: Extracting Medical Questions, Experiences and Claims from Social Media using Knowledge-Augmented Pre-trained Language Models
George Mason University(乔治梅森大学);CGI Inc.(CGI集团)
本研究针对SemEval-2023任务8的社交媒体医疗信息提取需求,提出知识增强的预训练语言模型提取系统,在两个子任务中均获第三名,还探索了领域专用模型与外部知识的应用效果。
2023-04-26 cs.CL cs.LG
SemEval-2024 Task 3: Multimodal Emotion Cause Analysis in Conversations
Nanyang Technological University(南洋理工大学)
本文介绍 SemEval-2024 Task 3,该任务面向对话情感原因分析,设置文本与多模态两个情感—原因配对抽取子任务,并基于143次注册、216次提交总结数据集、评估及参赛系统发现。
2024-07-08 cs.AI cs.CL cs.MM
Structural block driven - enhanced convolutional neural representation for relation extraction
University of Copenhagen(哥本哈根大学);University of Padova(帕多瓦大学);École de technologie supérieure(高等技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Queensland University of Technology(昆士兰科技大学)
本文提出了一种新的结构块驱动的轻量级关系抽取方法-卷积神经学习。具体来说,我们通过依赖性分析检测与实体相关的基本顺序令牌,称为结构块,并利用多尺度CNN仅对块和块间表示进行编码。这是为了1)从句子的不相关部分中消除噪声;同时2)用块方式和块间方式语义丰富的表示来增强相关块表示。我们的方法具有独立于长句上下文的优点,因为我们只对块边界内的顺序令牌进行编码。在两个数据集上的实验,即,SemEval 2010和KBP 37,证明了我们的方法的显着优势。特别是,我们在KBP 37数据集上实现了新的最先进的性能;并且与SemEval 2010数据集上的最先进性能相当。
2021-03-21 cs.AI cs.CL
Scientific Relation Extraction with Selectively Incorporated Concept Embeddings
University of Washington(华盛顿大学)
本文介绍了我们提交的SemEval 2018任务7共享任务,即科学论文中的语义关系抽取和分类。我们扩展了(Miwa和Bansal)的端到端关系抽取模型,并增强了字符级编码注意力机制,以选择预训练的概念候选嵌入。我们的正式提交在关系分类任务(Subtask 1.1和Subtask 2 Senerio 2)中排名第二,在关系抽取任务(Subtask 2 Scenario 1)中排名第一。
2018-08-26 cs.CL cs.IR
Is There a One-Model-Fits-All Approach to Information Extraction? Revisiting Task Definition Biases
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Data Science, Fudan University(复旦大学数据科学学院);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文研究了信息抽取中的任务定义偏差问题,通过探测实验揭示了统一模型和大型语言模型的局限性,并提出包含偏差测量、偏差感知微调及任务特定偏差缓解的多阶段框架,有效缓解了定义偏差。
2024-03-25 cs.CL
PERLEX: A Bilingual Persian-English Gold Dataset for Relation Extraction
Iran University of Science and Technology(伊朗科技大学)
关系抽取是抽取句子中实体之间的语义关系的任务。它是一些自然语言处理任务,如信息抽取,知识抽取和知识库人口的重要组成部分。这项研究的主要动机来自缺乏波斯语关系抽取的数据集,以及从波斯语不断增长的大数据中提取知识以用于不同应用的必要性。在本文中,我们提出“PERLEX”作为关系抽取的第一个波斯语数据集,它是“Semeval-2010-Task-8”数据集的专家翻译版本。此外,本文讨论了波斯语关系抽取利用国家的最先进的语言不可知的算法。我们采用了六种不同的模型对建议的双语数据集进行关系抽取,包括一个非神经模型(作为基线),三个神经模型和两个由多语言BERT上下文单词表示提供的深度学习模型。实验结果表明,最大f值为77.66%(由BERTEM-MTB方法提供),是波斯语关系抽取的最新水平。
2020-05-13 cs.CL
Contextualised Graph Attention for Improved Relation Extraction
University of Liverpool(利物浦大学)
本文提出了一种结合边缘特征和多子图的上下文化图注意力网络,用于改进关系抽取。提出了一种利用多子图学习图网络中富节点表示的新方法。为此,从单个依赖关系树获得多个子图。提出了两类边缘特征,并将其与GAT和GCN模型有效结合,应用于关系抽取。该模型在Semeval 2010 Task 8数据集上实现了最先进的性能,F1得分为86.3。
2020-04-22 cs.CL cs.IR
Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts
Shanghai University(上海大学)
用于关系抽取的最新方法通过对整个句子建模来考虑语义上下文。然而,句法指示符,某些短语或单词,如介词,比其他单词更具信息性,可能有利于识别语义关系。其他使用固定文本触发器的方法捕获此类信息,但忽略词汇多样性。为了同时利用句法指示符和语义上下文,我们提出了一种基于指示符的关系抽取方法。首先,在句法知识的指导下提取句法指示词。然后,我们构建了一个神经网络,将句法指标和整个句子更好的关系表示。通过这种方式,所提出的模型消除了噪声信息的影响,从整个句子,并打破了文本触发器的限制。在SemEval-2010 Task 8基准数据集上的实验表明,我们的模型明显优于最先进的方法。
2019-12-04 cs.CL
Leveraging Large Language Models for Automated Definition Extraction with TaxoMatic A Case Study on Media Bias
National Institute of Informatics(情报学研究所);The Chinese University of Hong Kong(香港中文大学)
本文提出TaxoMatic框架,利用大型语言模型从学术文献中自动提取定义,并在媒介偏见领域的2398篇文章上验证了其有效性,其中Claude-3-sonnet表现最佳。
2025-04-01 cs.CL
Complex Mathematical Symbol Definition Structures: A Dataset and Model for Coordination Resolution in Definition Extraction
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校)
本文针对数学符号定义抽取中的复杂并列结构解析难题,提出了包含5,927个标注句子的SymDef数据集,并设计了一种基于符号掩盖与槽位填充的定义抽取新方法,其宏F1分数达84.82,显著优于RoBERTa等基线系统。
2023-05-24 cs.CL
Data Augmentation Method Utilizing Template Sentences for Variable Definition Extraction
Graduate School of Informatics, Kyoto University(京都大学情报学研究科)
针对跨领域变量定义抽取中高质量训练数据成本高的问题,提出利用模板句与变量-定义对生成定义句的数据增强方法,并在化学过程论文上取得89.6%的准确率。
2024-05-23 cs.CL
Reading the Manual: Event Extraction as Definition Comprehension
Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学)
我们问文本的理解是否已经进展到我们可以通过从注释手册中提取事件信息的增量细化漂白语句。这样的能力将允许预期的最终用户通过诸如“某人在某个时间出生在某个地点”之类的声明来简单地构造和扩展提取框架。“我们介绍了一个使用这种语句的模型的例子,实验表明我们可以在封闭的本体下提取事件,并通过阅读新的定义来概括看不见的事件类型。
2020-10-23 cs.CL
Fine-Tuning BERTs for Definition Extraction from Mathematical Text
University of Chicago(芝加哥大学)
本文通过微调三个BERT模型进行数学文本定义抽取,并在Chicago、TAC和WFMALL数据集上验证,发现高性能Sentence-BERT以更少计算开销取得与先前模型相当的准确率、召回率和精确率。
2024-06-27 cs.CL
DefExt: A Semi Supervised Definition Extraction Tool
Universitat Pompeu Fabra(庞培法布拉大学)
我们提出DefExt,一个易于使用的半监督定义提取工具。DefExt被设计为从目标语料库中提取那些文本片段,其中一个术语被明确地提到及其核心特征,即其定义。它的工作原理是基于条件随机场的顺序标记算法和自举方法。引导使模型能够逐渐变得更加了解目标语料库的特质。在本文中,我们描述的工具包的主要组成部分,以及来自自动和手动评估的实验结果。我们将DefExt作为开放源代码发布,并附带在任何Unix机器上运行它所需的文件。我们还提供对培训和测试数据的访问以供立即使用。
2016-06-08 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
尽管最近的进展,很少有人知道的最先进的神经关系抽取(RE)模型所捕获的功能。常见的方法是在对关系进行分类之前,根据实体提及情况对源句进行编码。然而,任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务,并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现,由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如,添加上下文化的单词表示大大提高了探测任务的性能,重点是命名实体和词性信息,并在RE中产生更好的结果。相比之下,实体掩码提高了RE,但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
Enhancing Document-level Argument Extraction with Definition-augmented Heuristic-driven Prompting for LLMs
School of Engineering and Informatics, University of Sussex(萨塞克斯大学工程与信息学院);International Business School Suzhou, Xi’an Jiaotong-Liverpool University(西交利物浦大学苏州国际商学院);Management School, University of Liverpool(利物浦大学管理学院)
本文提出定义增强启发式驱动提示(DHP)方法,结合定义、启发式规则与思维链推理,提升大语言模型在文档级事件论元抽取中的性能并减少对大规模标注数据的依赖。
2024-08-30 cs.CL
TempEval-3: Evaluating Events, Time Expressions, and Temporal Relations
University of Rochester(罗切斯特大学);University of Alicante(阿利坎特大学);University of Sheffield(谢菲尔德大学);Brandeis University(布兰迪斯大学)
我们描述了目前正在为SemEval-2013评估活动做准备的TempEval-3任务。TempEval的目的是推进时间信息处理的研究。TempEval-3继承了之前的TempEval事件,包含:由三部分组成的任务结构,涵盖事件、时态表达和时态关系抽取;更大的数据集;以及单个总体任务质量评分。
2014-05-25 cs.CL
Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab(腾讯人工智能实验室)
事件抽取(EE)是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而,这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白,许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势,但更进一步。我们认为,使用事件类型名称的静态嵌入可能是不够的,因为单个单词可能是模糊的,我们需要一个句子来准确定义类型语义。为了对定义语义进行建模,我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中,然后通过对比学习来最小化它们的嵌入距离。最重要的是,我们还提出了一个变暖阶段,以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取(ZED)。在MAVEN数据集上的实验表明,由于采用了不相交设计,该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明,当注释可用时,ZED可以很容易地应用于Few-Shot设置,并且始终优于基线监督方法。
2022-11-13 cs.CL
Temporal Information Extraction for Question Answering Using Syntactic Dependencies in an LSTM-based Architecture
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在本文中,我们提出了一套简单的,统一的架构LSTM为基础的模型,以恢复不同种类的时间关系,从文本。使用实体之间的最短依赖路径作为输入,使用相同的架构来提取句子内,跨句子和文档创建时间关系。一种“双重检查”技术在分类中颠倒实体对,提高了对阳性案例的回忆,减少了相反类之间的错误分类。一个有效的修剪算法解决全局冲突。在QA-TempEval(SemEval 2015任务5)上进行评估,我们提出的技术大大优于最先进的方法。
2017-10-05 cs.CL cs.IR
Improving Persian Relation Extraction Models by Data Augmentation
Shahid Beheshti University(沙希德·贝赫什提大学)
关系抽取是自然语言处理中的一项重要任务,它是预测句子或文档中实体之间语义关系类型的任务。虽然有很多研究和数据集的英语,波斯语的研究和全面的数据集不足。此任务唯一可用的波斯语数据集是PERLEX,它是SemEval-2010-Task-8数据集的波斯语专家翻译版本。在本文中,我们提出了我们的增强数据集和我们的系统的结果和发现,参加了NSURL 2021研讨会的波斯语关系抽取共享任务。我们使用PERLEX作为基础数据集,并通过应用一些文本预处理步骤和通过数据增强技术增加其大小来增强它,以提高应用模型的泛化性和鲁棒性。然后,我们采用两种不同的模型,包括Pars BERT和多语言BERT的关系抽取的增强PERLEX数据集。我们的最佳模型在比赛测试阶段获得了64.67%的Macro-F1,在PERLEX测试集上获得了83.68%的Macro-F1。
2022-03-29 cs.CL
Improving Relation Extraction by Pre-trained Language Representations
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
当前最先进的关系抽取方法通常依赖于在预处理步骤中显式计算的一组词汇、句法和语义特征。训练特征提取模型需要额外的标注语言资源,这严重限制了关系抽取对新语言的适用性和可移植性。类似地,预处理引入了额外的误差源。为了解决这些限制,我们引入了TRE,一个用于关系抽取的Transformer,扩展了OpenAI生成预训练的Transformer [Radford et al.,2018年]。与以前的关系抽取模型不同,TRE使用预训练的深度语言表示而不是显式语言特征来通知关系分类,并将其与自关注的Transformer架构相结合,以有效地对实体提及之间的长期依赖关系进行建模。TRE允许我们在对关系抽取任务的学习语言表示进行微调之前,通过无监督的预训练仅从纯文本语料库中学习隐含的语言特征。TRE在TACRED和SemEval 2010 Task 8数据集上获得了最新的结果,分别达到了67.4和87.1的测试F1。此外,我们观察到样本效率的显著增加。只有20%的训练样本,TRE匹配我们的基线性能,我们的模型在100%的TACRED数据集上从头开始训练。我们开源我们的训练模型,实验和源代码。
2019-06-07 cs.CL
Integer-Programming Ensemble of Temporal-Relations Classifiers
时态事件及其相互关系的提取和理解是自然语言处理的主要挑战。在逐句或逐表达式的基础上处理文本通常会失败,部分原因是捕获文本的全局一致性的挑战。我们提出了一个集成的方法,它调和跨文本使用整数规划的时间表达式的多个分类器的输出。计算实验表明,集成改进了最近两个挑战的最佳个体结果,SemEval-2013 TempEval-3(时间注释)和SemEval-2016 Task 12(临床TempEval)。
2018-07-30 cs.CL cs.LG math.OC
STAD: Self-Training with Ambiguous Data for Low-Resource Relation Extraction
Soochow University(苏州大学);Tencent AI Lab(腾讯人工智能实验室);China Mobile Online Marketing and Services Center(中国移动在线营销服务中心)
我们提出了一个简单而有效的自我训练方法,命名为STAD,低资源的关系抽取。该方法首先根据教师模型预测的概率将自动标注的实例分为两组:置信实例和不确定实例。与以往大多数研究中只使用有把握的样本进行自我训练不同,本文利用了不确定的样本。为此,我们提出了一种从不确定实例中识别歧义但有用的实例的方法,然后针对每个歧义实例将关系分为候选标签集和负标签集。接下来,我们提出了一个集负训练方法的负标签集的歧义实例和一个积极的训练方法的置信实例。最后,提出了一种联合训练的方法来建立最终的关系抽取系统的所有数据。在两个广泛使用的数据集SemEval 2010 Task-8和Re-TACRED上进行的低资源设置的实验结果表明,与几个有竞争力的自训练系统相比,这种新的自训练方法确实实现了显着和一致的改进。代码可在https://github.com/jjyunlp/STAD上公开获取
2022-09-07 cs.CL