Finding the way from ä to a: Sub-character morphological inflection for the SIGMORPHON 2018 Shared Task
Universität Hamburg(汉堡大学)
在本文中,我们描述了UHH提交给CoNLL的系统-SIGMORPHON 2018共享任务:通用形态学再变形。我们提出了一种基于UZH概念的神经架构(Makarov等人,2017年),在其关键概念中加入新的想法和技术,并评估不同的参数组合。由此产生的系统是一个语言无关的网络模型,其目的是通过在单个字符的图形特征上引入等价类来减少学习编辑操作的数量。我们试图通过比较不同的网络配置和评估我们的结果在广泛的语言来确定这种方法的优点和缺点。
2018-09-15 cs.CL
Annotating Korean adnominal ending constructions in corpus data: Beyond relative-clause identification
KAIST(韩国科学技术院);Anyang University(安阳大学)
研究韩语定语词尾ETM,指出它非关系从句结构直接标记,提出基于语料库的类型学,通过多种因素区分结构,以有序规则程序为依存句法树库实现标注层并验证,发现不能仅从形态识别关系从句修饰。
2026-07-07 cs.CL
SyntaxNet Models for the CoNLL 2017 Shared Task
Carnegie Mellon University(卡内基梅隆大学);Google Inc(谷歌公司)
我们描述了一个用于CoNLL 2017共享任务的基线依存句法分析系统。这个系统,我们称之为“ParseySaurus”,使用DRAGNN框架[Kong et al,2017]将基于transition的循环解析和标记与基于字符的单词表示相结合。在v1.3 Universal Advertisements Treebanks上,新系统在52个树库中以3.47%的绝对标签准确度得分(LAS)超过了公开可用的最先进的“Parsey's Advertising”模型。
2017-03-15 cs.CL
The CoNLL-2013 Shared Task on Grammatical Error Correction
Department of Computer Science National University of Singapore(计算机科学系国立新加坡大学);Centre for English Language Communication National University of Singapore(英语语言沟通中心国立新加坡大学);Nuance Communications, Inc.(Nuance通讯公司)
本文介绍了致力于语法错误纠正的CoNLL-2013共享任务,给出了任务定义、数据集、评估指标与评分器,概述了参赛团队的各种方法并展示了评估结果。
2025-07-13 cs.CL
Emotion-cause pair extraction method based on multi-granularity information and multi-module interaction
Kunming University of Science and Technology(昆明理工大学);Yunnan Key Laboratory of Artificial Intelligence(云南省人工智能重点实验室)
针对情感-原因对抽取中的任务交互不足、误差传播及位置不平衡问题,提出融合 GRU、知识图谱、Transformer/BERT 与位置感知交互的端到端多任务模型,在 ECPE 上取得更优性能。
2024-04-10 cs.CL
SU-RUG at the CoNLL-SIGMORPHON 2017 shared task: Morphological Inflection with Attentional Sequence-to-Sequence Models
Stockholm University(斯德哥尔摩大学);University of Groningen(格罗宁根大学)
本文描述了斯德哥尔摩大学/格罗宁根大学(SU-RUG)为SIGMORPHON 2017共享任务的形态变化系统。我们的系统是基于一个注意序列到序列的神经网络模型,使用长短期记忆(LSTM)细胞,联合训练形态拐点和逆变换,即词形化和形态分析。我们的系统以很大的优势超过了基线,我们的提交排名为我们参与的赛道的第四名(任务1,高资源)。
2017-06-12 cs.CL
UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了我们对EvaLatin共享任务的贡献,这是第一个专门评估拉丁语NLP工具的评估活动。我们提交了一个基于UDPipe 2.0的系统,该系统是CoNLL 2018共享任务,2018外部解析器评估共享任务和SIGMORPHON 2019共享任务的获奖者之一。我们的系统首先在开放模式中的词形化和POS标记中获得了很大的优势,其中允许额外的监督数据,在这种情况下,我们利用所有通用依赖拉丁树库。在封闭的方式,其中只有EvaLatin训练数据是允许的,我们的系统实现了最好的性能,在词形化和经典的子任务的POS标记,而达到第二位的跨体裁和跨时间设置。在消融实验中,我们还评估了BERT和XLM-RoBERTa上下文嵌入的影响,以及不同风格的拉丁树库的树库编码。
2020-06-05 cs.CL
Transformers on Multilingual Clause-Level Morphology
Koç University(科奇大学)
本文介绍了我们在KUIS AI NLP团队设计的MRL:第一次多语言子句级形态学共享任务(EMNLP 2022研讨会)中的获奖系统。我们提出了我们的工作的所有三个部分的共同任务:拐点,再反射和分析。我们主要通过两种方法探索Transformers:(i)从头开始训练模型,结合数据增强,以及(ii)在多语言形态任务中使用前缀调整的迁移学习。数据增强显著提高了大多数语言在变形和再变形任务中的性能。另一方面,对预训练的mGPT模型进行前缀调优可以帮助我们在低数据和多语言环境中适应分析任务。虽然具有数据增强的Transformer架构在拐点和再拐点任务中获得了最有希望的结果,但mGPT上的前缀调谐在分析任务中获得了最高的结果。我们的系统在MRL 2022的所有三项任务中均获得第一名。
2022-11-13 cs.AI cs.CL cs.LG
UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了我们对SIGMORPHON 2019共享任务的贡献:形态学中的跨语言和上下文,任务2:上下文形态分析和词形化。我们提交了UDPipe 2.0的修改,它是CoNLL 2018共享任务中表现最好的系统之一:从原始文本到通用语法的多语言解析,也是2018年外部解析器评估共享任务的总冠军。作为我们的第一个改进,我们使用预训练的上下文嵌入(BERT)作为网络的额外输入;其次,我们使用单个形态特征作为正则化;最后,我们合并相同语言的选定语料库。在词形还原任务中,我们的系统以95.78的词形还原准确率远远超过所有提交的系统(第二名为95.00,第三名为94.46)。在形态分析中,我们的系统紧随其后:我们的形态分析准确率为93.19,获胜系统的93.23。
2019-08-19 cs.CL
The CLaC Discourse Parser at CoNLL-2015
Concordia University(康考迪亚大学)
本文介绍了我们提交(kosseim 15)的CoNLL-2015共享任务浅语篇分析。我们使用UIMA框架开发解析器,并使用ClearTK向UIMA框架添加机器学习功能。总体而言,我们的解析器在盲CoNLL-2015测试集上识别话语关系的结果为17.3 F1,排名第六。
2017-08-19 cs.CL
Contract Discovery: Dataset and a Few-Shot Semantic Retrieval Challenge with Competitive Baselines
我们提出了一个新的共享任务的语义检索从法律文本,在其中一个所谓的合同发现是要执行的,其中法律条款从文件中提取,给出了一些例子,类似的条款从其他法律行为。该任务与传统的NLI和关于法律信息抽取的共享任务有很大不同(例如,必须标识文本跨度而不是单个文档、页面或段落)。所提出的任务的规格其次是多个解决方案的统一框架内提出的方法,这一分支的评价。结果表明,国家的最先进的预训练编码器未能提供令人满意的结果,提出的任务。相比之下,基于语言模型的解决方案性能更好,特别是在应用无监督微调时。除了消融研究,我们还解决了相关文本片段的检测准确性问题,这取决于可用的示例数量。除了数据集和参考结果外,还公开了法律领域的专业LM。
2020-10-08 cs.CL
LAUKIN: A Multi-jurisdictional Common Law Contract Dataset
Computer Science and Engineering, UNSW, Sydney Australia(新南威尔士大学计算机科学与工程学院);Law and Justice, UNSW, Sydney Australia(新南威尔士大学法律与司法学院)
针对跨国合同审查需求,构建了包含澳大利亚、英国和印度三地法律条款对的数据集LAUKIN,通过多阶段检索与人工标注实现法律等价性分类,基准测试显示跨司法管辖区分类具有挑战性。
2026-06-12 cs.CL
The CLaC Discourse Parser at CoNLL-2016
Concordia University(康考迪亚大学)
本文介绍了我们提交的“CLaC”的CoNLL-2016共享任务浅语篇分析。我们使用了两种互补的方法来完成这项任务。解析显式关系的标准机器学习方法和解析非显式关系的深度学习方法。总体而言,我们的解析器在盲CoNLL-2016测试集上识别话语关系的F1得分为0.2106(显式关系为0.3110,非显式关系为0.1219)。
2017-08-19 cs.CL
Call for Papers -- The BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus
ETH Zürich(苏黎世联邦理工学院);IBM Research(IBM研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI;MIT(麻省理工学院)
我们提出了对BabyLM挑战论文的呼吁:在发育合理的语料库上进行样本有效的预训练。此共享任务适用于对小规模语言建模,人类语言习得,低资源NLP和认知建模感兴趣的参与者。通过与CoNLL和CMCL合作,我们提供了一个平台,用于使用有限大小的语料库进行预训练,这些语料库来自于儿童输入的数据。该任务有三个轨道,其中两个将训练数据限制为1000万和10000万单词的预发布数据集,并致力于探索诸如架构变化,自我监督目标或课程学习等方法。最后一个音轨只限制了文本的使用量,允许在数据的选择,其域,甚至其模态(即,欢迎来自文本以外来源的数据)。我们将发布一个共享的评估管道,它可以在各种基准和任务上对模型进行评分,包括有针对性的语法评估和自然语言理解。
2023-01-27 cs.CL
Learning to Parallelize in a Shared-Memory Environment with Transformers
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Nuclear Research Center – Negev(内盖夫核研究中心);Technion – Israel Institute of Technology(以色列理工学院)
在过去的几年里,世界已经转向众核和多核共享内存架构。因此,越来越需要通过将共享存储器并行化方案引入到软件应用程序来利用这些架构。OpenMP是实现此类方案的最全面的API,其特点是具有可读接口。然而,由于并行共享内存管理中普遍存在的缺陷,将OpenMP引入代码具有挑战性。为了促进此任务的性能,多年来已经创建了许多源到源(S2 S)编译器,其任务是将OpenMP指令自动插入代码中。除了对输入格式的鲁棒性有限之外,这些编译器在定位可并行化代码和生成适当的指令方面仍然没有达到令人满意的覆盖率和精度。在这项工作中,我们建议利用ML技术的最新进展,特别是在自然语言处理(NLP)中,完全取代S2 S编译器。我们创建了一个数据库(语料库),Open-OMP,专门为这个目标。Open-OMP包含超过28,000个代码片段,其中一半包含OpenMP指令,而另一半完全不需要并行化。我们使用该语料库来训练系统,以自动对需要并行化的代码段进行分类,并建议各个OpenMP条款。我们训练几个Transformer模型,命名为PragFormer,这些任务,并表明,他们优于训练的基线和自动S2 S并行编译器在分类的总体需求的一个OpenMP指令和引入私有和减少条款。我们的源代码和数据库可以在https://github.com/Scientific-Computing-Lab-NRCN/PragFormer上找…
2022-07-14 cs.CL cs.DC cs.LG
Findings of the Shared Task on Multilingual Coreference Resolution
Charles University(查理大学);University of West Bohemia(西波西米亚大学);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文概述了与CRAC 2022研讨会相关的多语言共指消解的共同任务。共享任务的参与者应该开发可训练的系统,能够识别提到和聚类,根据身份共指。CorefUD 1.0公开版包含10种语言的13个数据集,用作培训和评估数据的来源。CoNLL分数在以前的共指导向的共享任务被用作主要的评价指标。共有5个参赛团队提交了8个共指预测系统;此外,还有一个由主办方在共享任务开始时提供的基于Transformer的竞争性基线系统。获胜者系统的表现比基线高出12个百分点(就各个语言的所有数据集的CoNLL分数而言)。
2022-09-16 cs.CL
Controllable Decontextualization of Yes/No Question and Answers into Factual Statements
The Ohio State University(俄亥俄州立大学);Amazon.com, Inc.(亚马逊公司)
本文研究极性问答答案的可控去语境化问题,提出利用软约束的 Transformer 序列到序列模型,将问答重写为语义等价的简洁事实陈述,并在三个数据集上验证其优于基线。
2024-01-18 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本文介绍了我们的系统(HIT-SCIR)提交给CoNLL 2018共享任务从原始文本到通用语法的多语言解析。我们的提交基于斯坦福大学的CoNLL 2017共享任务的获奖系统,并进行了两个有效的扩展:1)将深度上下文化的词嵌入纳入词性标记器和解析器; 2)集成使用不同初始化训练的解析器。我们还探讨了不同的方式连接树库进一步改进。开发数据上的实验结果表明了我们方法的有效性。在最后的评估中,我们的系统根据LAS(75.84%)排名第一,并大大优于其他系统。
2018-07-30 cs.CL
Deep Semantic Role Labeling with Self-Attention
Xiamen University(厦门大学);Tencent Technology Co., Ltd(腾讯科技有限公司)
语义角色标注(SRL)被认为是自然语言理解的关键步骤,并得到了广泛的研究。近年来,基于递归神经网络(RNN)的端到端SRL得到了越来越多的关注。然而,RNN处理结构信息和长程依赖关系仍然是一个主要挑战。在本文中,我们提出了一个简单而有效的架构SRL,旨在解决这些问题。我们的模型是基于自我注意力,它可以直接捕捉两个令牌之间的关系,而不管它们的距离。我们的单个模型在CoNLL-2005共享任务数据集上实现了F $_1=83.4$,在CoNLL-2012共享任务数据集上实现了F $_1=82.7$,分别通过$1.8$和$1.0$ F $_1$得分优于先前的最先进的结果。此外,我们的模型是计算效率高,解析速度是每秒50 K令牌在一个泰坦X GPU。
2017-12-05 cs.CL
Universal Dependency Parsing with a General Transition-Based DAG Parser
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文介绍了我们将TUPA应用于CoNLL 2018 UD共享任务的实验。TUPA是一个通用的神经转换为基础的DAG解析器,我们使用它来恢复增强的依赖关系作为一般解析任务的一部分,目前的第一个实验。TUPA是为分析UCCA而设计的,UCCA是一种跨语言的语义标注方案,具有可重入性,不连续性和非终结节点。通过将UD树和图转换为类似于UCCA的DAG格式,我们训练TUPA几乎不需要对UD解析任务进行修改。我们的方法的通用性质自然适合于多任务学习。我们的代码可在https://github.com/CoNLL-UD-2018/HUJI上获得
2018-08-28 cs.CL
LowResourceEval-2019: a shared task on morphological analysis for low-resource languages
Institute of Linguistics, HSE(高等经济学院语言学研究所);Moscow State University(莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute of Applied Mathematical Research of KarRC of RAS(俄罗斯科学院卡累利阿研究中心应用数学研究所);Center for Language and Brain, HSE(高等经济学院语言与大脑中心)
本文介绍了俄罗斯的语言,即鄂温克语,卡累利阿语,Selkup,和Veps的形态分析的第一个共享任务的结果。对于所讨论的语文,只有小型语料库可用。任务包括词法分析、词形生成和语素切分。四个小组参加了共同的任务。它们中的大多数使用机器学习方法,优于现有的基于规则的方法。本文描述了为共享任务准备的数据集,并包含对参与者解决方案的分析。将不同格式的语言语料库转换为CONLL-U格式。通用格式使数据集可以与其他语言的corpura相媲美,并便于在其他NLP任务中使用它们。
2020-01-30 cs.CL
Universal Dependency Parsing from Scratch
Stanford University(斯坦福大学)
本文描述了斯坦福大学在CoNLL 2018 UD共享任务上的系统。我们介绍了一个完整的神经管道系统,以原始文本作为输入,并执行共享任务所需的所有任务,从标记和句子分割,到POS标记和依存句法分析。我们提交的单个系统在大型树库上实现了非常有竞争力的性能。此外,在修复了一个不幸的错误后,我们更正后的系统将在官方评估指标LAS,MLAS和BLEX上排名第二,第一和第三,并且在所有指标的低资源树库类别上都将大大优于所有提交系统。我们通过广泛的消融研究进一步证明了不同模型组件的有效性。
2019-01-29 cs.CL
Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks
YerevaNN;Yerevan State University(埃里温国立大学)
本文描述了我们提交给CoNLL 2018 UD共享任务的内容。我们已经扩展了基于LSTM的神经网络设计的序列标记,以额外生成字符级序列。该网络被联合训练以产生词元、词性标签和形态特征。句子分割、标记化和依存句法分析由UDPipe1.2基线处理。结果表明,所提出的多任务架构的可行性,虽然它的性能仍然远远没有达到最先进的水平。
2018-09-10 cs.CL
Semi-Supervised Neural System for Tagging, Parsing and Lematization
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文介绍了ICS PAS系统,该系统参加了CoNLL 2018共享任务,从原始文本到通用语法的多语言解析。该系统由联合训练的tagger,lemmatizer和依赖解析器组成,它们基于biLSTM网络提取的特征。该系统使用全连接和扩张卷积神经架构。我们的方法的新颖之处在于使用了一个额外的损失函数,它减少了预测依赖图中的周期数,并使用自训练来提高系统性能。拟议的系统,即ICS PAS(Warszawa),在正式评估中排名第3/第4,获得以下总体结果:73.02(LAS),60.25(MLAS)和64.44(BLEX)。
2020-04-26 cs.CL
Loanword or Switch? The Annotation Boundary, Not the Model, Drives Kazakh-Russian Code-Switching Identification
该研究针对哈萨克语-俄语语码转换识别中借词易被误判的问题,构建了规范标注的黄金LID数据集,发现性能瓶颈源于标注边界而非模型,为相关识别任务提供了关键依据。
2026-08-04 cs.AI cs.CL