Integrated speech and morphological processing in a connectionist continuous speech understanding for Korean
提出了一种新的紧耦合的语音和自然语言集成模型,用于基于TDNN的韩语大词汇量连续语音识别系统。不像流行的n-最好的技术,主要是基于HMM的语音识别和自然语言处理集成在一个{ \em词级},这显然是不够的形态复杂的凝集语言,我们的模型构建了一个口语系统的基础上{ \em词素级}语音和语言集成。在此基础上,设计并实现了一个基于TDNN的双音子识别模块,并结合基于Viterbi的词汇解码和符号语音学/形态学协同分析,实现了韩语口语处理引擎(SKOPE)。我们的实验结果表明,依赖于说话人的连续{ \em eojeol}(朝鲜语单词)的识别和综合形态分析可以达到80.6%以上的成功率直接从语音输入的中级词汇。
1996-03-18 cmp-lg cs.CL
Refining Word-Based Grammatical Error Annotation for L2 Korean
Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of British Columbia(不列颠哥伦比亚大学);Saint Elizabeth University(圣埃利赞大学);The Pennsylvania State University(宾夕法尼亚州立大学)
通过解决现有资源中的三个问题(表面目标实现、韩语特定编辑标注和单参考评估),改进基于词的语法错误标注,并验证了改进资源在困惑度、编辑一致性和多参考评估上的有效性。
2026-05-28 cs.CL
Enriching the Korean Learner Corpus with Multi-reference Annotations and Rubric-Based Scoring
The Pennsylvania State University(宾夕法尼亚州立大学);Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of British Columbia(不列颠哥伦比亚大学)
为解决韩语L2写作学习者语料库缺乏的问题,研究通过添加多个语法错误纠正参考和基于评分量表的评分来增强 KoLLA 语料库,使其成为支持语言学习、评估和自动纠错的标准化资源。
2025-05-01 cs.CL
KoParadigm: A Korean Conjugation Paradigm Generator
Kakao Brain
韩语是一种形态丰富的语言。韩国语动词根据时态、语气、言语层次、意义等变化形式多变,因此,构建全面的韩国语动词变位范式具有挑战性。在本文中,我们介绍了韩国(动词)共轭范式生成器,被称为KoParadigm。据我们所知,它是第一个涵盖所有当代韩国语动词和词尾的韩国语动词变位模块。KoParadigm不仅在语言上建立良好,而且计算简单高效。我们通过PyPi共享它。
2020-04-28 cs.CL
Chart-driven Connectionist Categorial Parsing of Spoken Korean
虽然大多数为英语和其他印欧语言开发的语音和自然语言系统忽略了形态处理,并在词级上将语音和自然语言整合在一起,但对于韩国语和日语等粘着语言,形态处理在语言处理中起着重要作用,因为这些语言具有非常复杂的形态现象和相对简单的句法功能。显然,退化的形态学处理限制了系统的可用词汇量,并且词级词典导致词典条目数量呈指数级爆炸。对于黏着语,我们需要子词级的整合,这为一般的形态处理留下了空间。在本文中,我们开发了一个音素级的语音和语言处理的整合模型,通过一般的形态分析,粘着语言和一个有效的分析方案,集成。基于无序论元和抑制范畴扩展的范畴语法形式主义对朝鲜语进行了词汇建模,并引入了图表驱动的连接主义句法分析方法。
1995-11-29 cmp-lg cs.CL
Phonological modeling for continuous speech recognition in Korean
本文提出了一种新的表示连续语音识别过程中音位变化的方法。设计了一个与其形态标记相结合的语音标记来表示韩国语语音变化的情况。在韩语语音识别系统中实现了这些形态和语音标记的成对语言模型。通过基于TDNN的语音识别实验验证了该模型的性能。
1996-07-18 cmp-lg cs.CL
Multi-level post-processing for Korean character recognition using morphological analysis and linguistic evaluation
大多数字符识别的后处理方法依赖于字符和单词片段级别的上下文信息。然而,由于韩语的语言特点,这种低级别的信息是不够的,高质量的字符识别应用程序,我们需要更高级别的上下文信息,以提高识别结果。本文提出了一种独立于领域的后处理技术,利用多层次的形态,句法和语义信息以及字符级信息。建议的后处理系统进行三级处理:候选字符集的选择,候选eojeol(韩语单词)生成通过形态分析,并最终单一eojeol序列选择语言评价。所有所需的语言信息和概率自动从统计语料库分析。实验结果表明,我们的方法的有效性,产生的错误纠正率为80.46%,并提高了识别率95.53%,从前后处理率为71.2%的单一最佳解决方案的选择。
1996-04-24 cmp-lg cs.CL
A Curious Class of Adpositional Multiword Expressions in Korean
Georgetown University(乔治城大学);University of Pittsburgh(匹兹堡大学);Allen Institute for AI(人工智能研究院)
本文研究了韩语中后方位动词结构(PVCs)的多词表达,提出标注指南以促进跨语言框架整合。
2026-02-17 cs.CL
Towards standardizing Korean Grammatical Error Correction: Datasets and Annotation
KAIST(韩国科学技术院);SoftlyAI(SoftlyAI公司);UCSB(加州大学圣巴巴拉分校);Google(谷歌);Cornell University(康奈尔大学)
针对韩语语法错误纠正缺乏评估基准的问题,研究收集三个数据集,定义14种错误类型,提出自动标注系统KAGAS构建基准并训练模型,显著优于现有系统Hanspell。
2023-05-24 cs.AI cs.CL
SKOPE: A connectionist/symbolic architecture of spoken Korean processing
口语处理需要语音和自然语言的整合。此外,由于其语言特点,韩国语口语需要独特的处理方法。SKOPE是一个连接主义/符号化的韩国语口语处理引擎,它强调:1)连接主义和符号化技术必须根据各自的优缺点有选择地使用; 2)在音素识别、语音和语言整合、形态/句法处理等方面必须充分考虑韩国语的语言特点。SKOPE的设计和实现演示了如何连接主义/符号混合架构可以构建口语粘着语言处理。SKOPE还提出了许多语音和语言处理的新思想。音素识别、形态分析和句法分析实验表明,SKOPE是一种可行的韩语口语处理方法。
1995-04-25 cmp-lg cs.CL
Learning How to Translate North Korean through South Korean
Tokyo Metropolitan University(东京都立大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌公司)
韩国和朝鲜都使用韩语。然而,韩国的NLP研究只集中在韩国,现有的韩语NLP系统,如神经机器翻译(NMT)模型,不能正确处理朝鲜输入。使用朝鲜数据训练模型是解决这一问题的最直接方法,但没有足够的数据来训练NMT模型。在这项研究中,我们使用可比语料库为朝鲜NMT模型创建数据。首先,我们手动创建用于自动对齐和机器翻译的评估数据。然后,我们调查自动对准方法适合朝鲜。最后,我们验证了在zero-shot设置下,与现有的韩国模型相比,由朝鲜双语数据训练而没有人类注释的模型可以显着提高朝鲜语翻译的准确性。
2022-01-27 cs.CL
Word segmentation granularity in Korean
The University of British Columbia(不列颠哥伦比亚大学);Kyung Hee University(庆熙大学)
本文分析了韩语处理中多种词分割粒度级别,发现仅分离功能语素并保留派生后缀的粒度在短语结构分析中表现最佳,颠覆了分离所有语素的传统最佳实践。
2023-09-07 cs.CL
An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks
Kakao Brain;Pingpong AI Research, Scatter Lab(平乓人工智能研究院,斯卡特实验室);Pohang University of Science and Technology(浦项科技大学)
通常,标记化是大多数文本处理工作的第一步。作为嵌入文本上下文信息的原子单位,标记的定义对模型的性能起着决定性的作用,尽管字节对编码(BPE)因其简单性和通用性而被认为是事实标准,但BPE是否适用于所有语言和任务仍不清楚。在本文中,我们测试了几个标记化策略,以回答我们的主要研究问题,即“什么是最好的标记化策略,韩国NLP任务?“实验结果表明,形态分割后的BPE混合方法在韩语到英语的机器翻译和自然语言理解任务(如KorNLI、KorSTS、NSMC和PAWS-X)中效果最好。作为一个例外,对于KorQuAD,SQuAD的韩国扩展,BPE分割是最有效的。
2020-10-06 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University(高丽大学);Prediction(Prediction 公司);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题,提出结合子字分解的词素感知子词分词法,在PLMs中平衡语言准确性与效率,在NIKL-CoLA等任务上表现提升,证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
KR-BERT: A Small-Scale Korean-Specific Language Model
Seoul National University(首尔大学)
自BERT出现以来,包括XLNet和RoBERTa在内的最新研究成果利用了由大型语料库和大量参数预训练的句子嵌入模型。由于此类模型具有大型硬件和大量数据,因此需要很长时间进行预训练。因此,重要的是尝试制作性能相对较小的模型。在本文中,我们利用较小的词汇表和数据集训练了一个韩国特定的模型KR-BERT。由于韩语是一种形态丰富的语言,但使用非拉丁字母的资源很少,因此捕捉多语言BERT模型遗漏的语言特定的语言现象也很重要。我们测试了几个tokenizer,包括我们的BidirectionalWordPiece Tokenizer,并调整了从子字符级别到字符级别的tokenization的最小标记跨度,为我们的模型构建了更好的词汇表。通过这些调整,我们的KR-BERT模型的表现非常好,甚至比使用大约1/10大小的语料库的其他现有预训练模型更好。
2020-08-11 cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
Extracting Arguments from Korean Question and Command: An Annotated Corpus for Structured Paraphrasing
Seoul National University(首尔国立大学);Inha University(仁荷大学)
意图识别是对话管理的核心问题。然而,由于口语的非规范性,很难从会话式话语中自动提取内容。这对于像韩语和日语这样的语言来说更具挑战性,因为语素之间的粘合使得机器很难解析句子并理解意图。建议这个问题的指导方针,并合并的问题灵活的神经释义系统最近推出,我们提出了一个结构化的注释方案,韩国的问题/命令和由此产生的语料库,广泛适用于该领域的参数挖掘。该方案和数据集有望帮助机器理解自然语言的意图,掌握会话式指令的核心含义。
2019-07-09 cs.CL
CLIcK: A Benchmark Dataset of Cultural and Linguistic Intelligence in Korean
School of Computing, KAIST(KAIST 计算学院);GSAI, KAIST(KAIST 人工智能研究生院)
本文提出韩语文化与语言智能基准CLIcK,包含1,995个源自韩国官方考试和教材的问答对,覆盖语言与文化两大类十一个子类,并通过13个语言模型的评估揭示其韩语文化语言能力的差异与影响因素。
2024-07-04 cs.CL
KoBALT: Korean Benchmark For Advanced Linguistic Tasks
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究)
KoBALT是韩语高级语言任务基准,含700道题覆盖5个语言学领域,评估20个LLM,最佳准确率61%,并验证了与人类判断的相关性。
2025-05-22 cs.CL
KOLD: Korean Offensive Language Dataset
KAIST(韩国科学技术院);SoftlyAI(SoftlyAI公司)
攻击性语言检测的最新方向是分层建模,识别攻击性语言的类型和目标,以及具有攻击性跨度注释和预测的可解释性。这些改进集中在英语上,由于文化和语言差异,不能很好地转移到其他语言。在本文中,我们提出了韩国进攻性语言数据集(KOLD),包括40,429条评论,这是注释层次的类型和攻击性语言的目标,伴随着相应的文本跨度的注释。我们从NAVER新闻和YouTube平台收集评论,并提供文章和视频的标题作为注释过程的上下文信息。我们使用这些注释的意见作为韩国BERT和RoBERTa模型的训练数据,并发现它们是有效的攻击性检测,目标分类,目标跨度检测,而目标群分类和攻击跨度检测有改进的空间。我们发现目标群体分布与现有的英语数据集有很大的不同,并观察到提供上下文信息提高了攻击性检测(+0.3),目标分类(+1.5)和目标群体分类(+13.1)的模型性能。我们公开发布数据集和基线模型。
2022-11-05 cs.AI cs.CL
Nabra: Syrian Arabic Dialects with Morphological Annotations
Syrian Virtual University(叙利亚虚拟大学);Birzeit University(比尔宰特大学);Doha Institute for Graduate Studies(多哈研究生院);American University of Beirut(贝鲁特美国大学)
本文构建了Nabra,一个覆盖叙利亚多地方言、含6万词形态学标注的开源语料库,标注质量F1和kappa达74%-98%。
2023-10-26 cs.CL
MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
在本文中,我们介绍了MADARi,一个联合形态注释和拼写校正系统的文本在标准和方言阿拉伯语。MADARi框架为注释文本和管理大量大型文档的注释过程提供了直观的界面。词法注释包括在上下文中为一个词指出它的基词、词性、词目、注释和方言识别。MADARi有一套实用工具来帮助注释者提高生产力。例如,注释者可以使用预先计算的分析来帮助他们完成任务,并减少完成任务所需的工作量。MADARi还允许注释者查询形态分析器,以获得多种方言的可能分析列表或查找以前提交的分析。MADARi管理界面使主要注释者能够轻松地远程和并发地管理和组织整个注释过程。我们描述了这个接口的动机,设计和实现,我们提出了详细的用户研究与此系统。
2018-08-25 cs.CL
KoCoNovel: Annotated Dataset of Character Coreference in Korean Novels
Seoul National University(首尔大学)
本研究构建了首个基于韩国文学文本的大型人物共指标注数据集KoCoNovel,含50部小说的17.8万词元,设多版本适配不同分析需求,实验证明其能有效提升文学文本人物共指消解模型性能。
2024-04-11 cs.CL
Korean Named Entity Recognition Based on Language-Specific Features
The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学);Seoul National University of Science and Technology(首尔科学技术大学)
针对韩语独特语言特性导致命名实体识别性能受限的问题,提出基于CoNLL-U格式的语素级韩语语料标注方案及转换算法,验证了该格式的可行性及不同语言特征、数据条件对模型性能的影响。
2023-05-10 cs.CL
Kosp2e: Korean Speech to English Translation Corpus
Seoul National University(首尔大学);NAVER
大多数语音到文本(S2T)的翻译研究使用英语语音作为源,这使得非英语使用者很难利用S2T技术。对于某些语言,这个问题是通过语料库建设来解决的,但语言学上离英语越远或资源越不足,这种不足和代表性不足就变得越严重。在本文中,我们介绍kosp2e(读作"kospi"),语料库,允许韩国语音被翻译成英文文本中的一个端到端的方式。我们采用开放许可的语音识别语料库、翻译语料库和口语语料库,使我们的数据集免费向公众开放,并通过管道和基于训练的方法检查性能。使用管道和各种端到端方案,我们根据英语假设获得了每个方案的最高BLEU分别为21.3和18.0,验证了我们数据的可行性。我们计划在将来通过社区贡献为其他目标语言补充注释。
2021-07-06 cs.CL
Morphological Reinflection with Multiple Arguments: An Extended Annotation schema and a Georgian Case Study
Bar-Ilan University(巴伊兰大学)
近年来,出现了一系列形态数据集,最著名的是UniMorph,一个多语言的屈折变化表库。然而,当前形态学注释图式的扁平结构使得对某些语言的处理变得古怪,如果不是不可能的话,特别是在多人称协议的情况下,其中动词同意使用真正的词缀的多个论点。在本文中,我们建议解决这一现象,通过扩展UniMorph注释模式的层次特征结构,自然适应复杂的参数标记。我们将这种扩展模式应用于这样一种语言,格鲁吉亚,并提供了一个人类验证,准确和平衡的格鲁吉亚动词形态数据集。与现有的UniMorph数据集相比,该数据集具有4倍多的表和6倍多的动词形式,涵盖了所有可能的参数标记变体,证明了我们提出的方案的充分性。标准反射模型的实验表明,当数据在表单级别分裂时,泛化很容易,但当沿着引理线分裂时,泛化非常困难。将UniMorph中的其他语言扩展到这个模式有望提高这个基准的覆盖率,一致性和可解释性。
2022-03-20 cs.CL
HERITAGE: An End-to-End Web Platform for Processing Korean Historical Documents in Hanja
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因泰克公司)
针对韩国历史文献因汉文专业知识门槛高而难以理解的问题,HERITAGE作为首个开源汉文NLP工具包,提供标点恢复、命名实体识别和机器翻译功能,并辅以交互式词汇表,旨在降低翻译门槛,促进文献的现代语言翻译。
2025-01-21 cs.CL
UD-KSL Treebank v1.3: A semi-automated framework for aligning XPOS-extracted units with UPOS tags
Linguistics, University of Oregon(俄勒冈大学语言学系);Linguistics, University of Illinois Chicago(伊利诺伊大学芝加哥分校语言学系);Korean Language and Literature, Konkuk University(Konkuk大学韩国语言文学系);Library and Information Science, Chung-Ang University(成均馆大学图书馆与信息科学系);East Asian Languages and Literatures, Yale University(耶鲁大学东亚语言与文学系)
本研究提出半自动化框架实现XPOS序列结构与UPOS类别的对齐,扩充L2韩语语料库,实验证明对齐数据集可提升标注一致性及形态句法分析、依存解析的准确率,数据有限时效果更突出。
2025-06-11 cs.CL
K/DA: Automated Data Generation Pipeline for Detoxifying Implicitly Offensive Language in Korean
Korea University(高丽大学);Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能)
针对韩语去毒任务中配对数据集构建依赖人工、易过时的问题,提出自动化生成流水线K/DA,可生成含隐性冒犯与流行俚语的配对数据,兼具高一致性与强隐性冒犯性,还可跨语言应用并支持高效训练高性能去毒模型。
2025-06-16 cs.CL
KITE: A Benchmark for Evaluating Korean Instruction-Following Abilities in Large Language Models
Korea University(高丽大学);Soongsil University(崇实大学)
针对韩语缺乏指令遵循基准的问题,提出KITE基准,涵盖通用与韩语特定开放式任务,结合自动与人工评估,揭示模型差异并公开数据集与代码。
2025-10-17 cs.AI cs.CL
SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models
Department of Artificial Intelligence, Korea University, Seoul, South Korea(人工智能系,韩国大学,首尔,韩国);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国)
SCRIPT通过注入子字符组合知识提升韩语PLM的结构粒度,无需修改架构或额外预训练,在多种NLU和NLG任务中提升性能,并改进语法规律和语义连贯性。
2026-04-14 cs.AI cs.CL
K-HATERS: A Hate Speech Detection Corpus in Korean with Target-Specific Ratings
Soongsil University(崇实大学);TUNiB
本研究构建了首个包含约192K评论及特定目标评分的韩语仇恨言论检测语料库K-HATERS,并创新性地引入认知反思测试评估标注质量,发现低分标注者会导致模型预测产生偏见且准确率下降。
2023-10-24 cs.CL cs.SI
Multi-Dimensional Machine Translation Evaluation: Model Evaluation and Resource for Korean
University of Stuttgart(斯图加特大学)
本文为英韩翻译构建1200句MQM基准,将MT评估重构为多任务预测,发现无参考QE在风格上更优,基于参考在准确性上占优,RemBERT表现最佳。
2024-03-19 cs.CL
KLUE: Korean Language Understanding Evaluation
Upstage;KAIST(韩国科学技术院);NAVER AI Lab(NAVER AI 实验室);Seoul National University(首尔大学);Yonsei University(延世大学);Scatter Lab;KyungHee University(庆熙大学);Kakao Enterprise;Sogang University(西江大学);Hanbat National University(韩巴国立大学);Riiid AI Research(Riiid AI 研究院);New York University(纽约大学)
我们介绍韩国语语言理解评估(KLUE)基准。KLUE是8个韩语自然语言理解(NLU)任务的集合,包括主题分类、语义文本相似性、自然语言推理、命名实体识别、关系抽取、依存句法分析、机器阅读理解和对话状态跟踪。我们从不同的源语料库中从头开始构建所有任务,同时尊重版权,以确保任何人都可以无限制地访问。考虑到伦理因素,我们精心设计了注释协议。除了基准任务和数据,我们还为每个任务的预训练语言模型提供了合适的评估指标和微调配方。我们还发布了预训练的语言模型(PLM)KLUE-BERT和KLUE-RoBERTa,以帮助在KLUE上重现基线模型,从而促进未来的研究。我们提出了一些有趣的意见,从初步实验中使用拟议的KLUE基准套件,已经证明了这个新的基准套件的有用性。首先,我们发现KLUE-RoBERTa-large优于其他基准,包括多语言PLM和现有的开源韩国PLM。其次,即使我们从预训练语料库中替换个人身份信息,我们也会看到性能的最小下降,这表明隐私和NLU能力并不矛盾。最后,我们发现,使用BPE标记与词素级预标记相结合是有效的任务,涉及词素级标记,检测和生成。除了加速韩语NLP研究之外,我们关于创建KLUE的全面文档将有助于将来为其他语言创建类似的资源。KLUE可在https://klue-benchmark.com上获得。
2021-11-02 cs.CL
Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
AIM Intelligence;Seoul National University(首尔国立大学);A.I.MATICS;TigerCompany;Catius;National Assembly of Korea(韩国国会);Coupang;Hankuk University of Foreign Studies(韩国外交大学)
本文提出HRET框架,通过统一评估韩语大语言模型的能力,结合多种评估方法和数据集,提升模型在韩语任务中的表现和诊断能力。
2026-02-13 cs.AI cs.CE cs.CL
J-UniMorph: Japanese Morphological Annotation through the Universal Feature Schema
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出日语形态学数据集J-UniMorph,基于UniMorph特征模式覆盖平均118种动词屈折形式,包含敬语和礼貌级别,以弥补维基词典版本形式单一且受名词性动词主导的不足,并公开数据集及可视化工具以支持跨语言研究。
2024-02-22 cs.CL
Latin Treebanks in Review: An Evaluation of Morphological Tagging Across Time
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本研究梳理现有拉丁语树库的文本来源、重叠性及时空体裁覆盖,设计形态特征标注的自动化标准转换,构建时间周期数据划分开展跨时间标注分析,证实基于BERT的标注器性能与鲁棒性更优。
2024-08-13 cs.CL
KoMultiText: Large-Scale Korean Text Dataset for Classifying Biased Speech in Real-World Online Services
Kyunghee University(庆熙大学);Hongik University(弘益大学);Catholic University(天主教大学);Dankook University(檀国大学);POSTECH(浦项科技大学)
本文介绍KoMultiText,一个从韩国SNS平台收集的大规模韩语文本数据集,包含偏好、亵渎和九种偏见标注,利用BERT模型实现多任务分类,超越人类水平,助力在线社区健康。
2023-11-12 cs.CL
Lisan: Yemeni, Iraqi, Libyan, and Sudanese Arabic Dialect Copora with Morphological Annotations
University of Birzeit(比尔宰特大学);American University of Beirut(贝鲁特美国大学);United Nations(联合国)
本文介绍了形态学注释的也门,苏丹,伊拉克和利比亚阿拉伯语方言Lisan语料库。Lisan拥有大约120万个代币。我们从几个社交媒体平台收集了语料库的内容。也门语语料库(约105万个令牌)是从Twitter自动收集的。其他三种方言的语料库(每个约50K令牌)来自Facebook和YouTube的帖子和评论。三十五(35)个注释者谁是母语的目标方言进行了注释。注释者将四个语料库中的所有单词分割成前缀、词干和后缀,并用不同的形态特征(如词性、词目和英语注释)标记每个单词。为此,开发了一个阿拉伯方言注释工具包ADAT。注释者接受了一系列指导方针和如何使用ADAT的培训。我们开发ADAT来帮助注释者,并确保与SAMA和Curras标签集的兼容性。该工具是开源的,四个语料库也可在线获取。
2022-12-17 cs.CL cs.DL
Automatic Error Type Annotation for Arabic
Computational Approaches to Modeling Language (CAMeL) Lab(计算语言建模实验室);New York University Abu Dhabi(纽约大学阿布扎比分校)
我们提出了ARETA,现代标准阿拉伯语的自动错误类型注释系统。我们设计的ARETA,以解决阿拉伯语的形态丰富性和正字法的歧义。我们基于我们的错误分类的阿拉伯语学习者语料库(ALC)的错误标记集进行了一些修改。ARETA在ALC的手动注释盲测部分中实现了85.8%的性能(微平均F1得分)。我们还展示了ARETA的可用性,通过将其应用于QALB 2014年阿拉伯语语法错误纠正共享任务的一些提交。由此产生的分析提供了关于不同提交的优点和缺点的有用见解,这比共享任务中使用的不透明的M2评分指标更有用。ARETA使用了一个大型的阿拉伯语形态分析器,但在其他方面完全没有监督。我们让ARETA公开可用。
2021-09-16 cs.CL
Phoneme-level speech and natural language intergration for agglutinative languages
针对基于TDNN的大词汇量连续语音识别系统,提出了一种新的紧耦合语音和自然语言集成模型。不同于流行的n-best技术开发的主要基于HMM的语音和自然语言系统在词的水平,这显然是不够的形态复杂的粘着语言,我们的模型构建了一个口语系统的基础上音素级的整合。TDNN-CYK口语体系结构的设计和实现使用基于TDNN的双音子识别模块与表驱动的语音/形态学的联合分析。我们的集成模型提供了一个无缝集成的语音和自然语言的连接语音识别系统,特别是对于形态复杂的语言,如韩语。实验结果表明,该方法可以将基于说话人的连续词识别与形态分析相结合,对于中等词汇量的语音输入,形态分析的成功率超过80%。
1994-11-05 cmp-lg cs.CL
Multilingual Grammatical Error Annotation: Combining Language-Agnostic Framework with Language-Specific Flexibility
Trent University(特伦特大学);Open Writing Evaluation(开放写作评估);University College London(伦敦大学学院);The University of British Columbia(不列颠哥伦比亚大学)
针对 errant 等框架难以适配多语言的问题,本文基于 stanza 重实现并提出语言无关基础加语言特定扩展的模块化 GEC 标注框架,在五种语言上验证其适应性。
2025-06-09 cs.CL
GPT-4 can pass the Korean National Licensing Examination for Korean Medicine Doctors
Gachon University(嘉泉大学);Pusan National University(釜山国立大学);Stanford University School of Medicine(斯坦福大学医学院)
本研究以韩国韩医师国家资格考试为基准,通过术语标注、翻译、考试指令优化和自洽性提示评估GPT-4,证明其可合格通过,并指出其在本土化与专业干预问题上的局限。
2023-11-17 cs.CL cs.LG
Contextualization of Morphological Inflection
University of Melbourne(墨尔本大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰斯·霍普金斯大学)
自然语言生成的关键是产生正确的屈折文本。在本文中,我们隔离的任务,预测一个完全曲折的句子,其部分词形化的版本。与传统的形态变化或表面实现不同,我们的任务输入不提供“黄金”标签,指定在每个词形化的单词上实现什么形态特征;相反,这些特征必须从原始上下文中推断出来。我们开发了一个神经混合图形模型,可以在预测变形形式之前显式重建形态特征,并将其与直接预测变形形式而不依赖任何形态注释的系统进行比较。我们在Universal Approximations树库中的几种类型多样的语言上进行了实验,展示了将语言动机的潜变量纳入NLP模型的实用性。
2019-05-04 cs.CL
Rethinking Annotation: Can Language Learners Contribute?
KAIST(韩国科学技术院);University of Minnesota(明尼苏达大学)
本文通过实验证明,中高级语言学习者在词典和机器翻译辅助下能为NLP基准数据集提供较准确标注,且标注过程可提升其语言能力,从而为难以招募母语者的语言开辟了构建基准数据集的新途径。
2023-05-29 cs.CL
Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags
Boğaziçi University(博阿齐奇大学)
以前的研究表明,一个词的语言特征,如拥有,所有格或其他语法情况下,可以采用在单词表示的命名实体识别(NER)标记,以提高性能的形态丰富的语言。然而,这些标签需要外部形态消歧(MD)工具的功能,这是很难获得或不存在的许多语言。在这项工作中,我们提出了一个模型,通过共同学习NER和MD标记的语言,其中一个可以提供一个候选形态分析列表,从而证明了需要这样的消歧器。我们表明,这可以做到独立的形态注释方案,不同的语言。我们的实验采用三种不同的模型架构,加入这两个任务表明,联合学习提高NER的性能。此外,形态消歧器的性能是有竞争力的。
2018-07-17 cs.CL
Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan
Department of Linguistics, University of Washington(语言学系,华盛顿大学);Department of Middle Eastern Languages and Cultures, University of Washington(中东语言与文化系,华盛顿大学)
本文提出一种混合神经-大语言模型管道,用于朱加尔图瓦语的形态学 glossing,通过结合神经序列标注和 LLM 后修正,显著减少标注工作量。
2026-03-01 cs.CL
Semi-Automatic Data Annotation, POS Tagging and Mildly Context-Sensitive Disambiguation: the eXtended Revised AraMorph (XRAM)
EPHE(法国高等研究实践学院);Sapienza University of Rome(罗马大学);Roma Tre University(罗马第三大学)
Tim Buckwalter的阿拉伯语词汇和形态资源AraMorph,扩展修订AraMorph(以下简称XRAM)的扩展,修订形式,它解决了一些弱点和不一致的原始模型,允许更广泛地覆盖现实世界的古典和当代(正式和非正式)阿拉伯语文本。基于先前的研究,XRAM增强包括(i)标记可选择的使用标记,(ii)概率轻度上下文敏感的POS标记,过滤,消歧和替代形态分析的排名,(iii)通过从现有词汇资源中提取词汇和形态信息来半自动增加词汇覆盖率。通过前端Python模块对XRAM进行的测试显示出了显著的成功水平。
2016-03-06 cs.CL cs.IR
Neural disambiguation of lemma and part of speech in morphologically rich languages
University of Helsinki(赫尔辛基大学);University of Pisa(比萨大学)
我们认为,在形态丰富的语言中的歧义词的词元和部分的语音消歧的问题。我们提出了一种方法,消除歧义的单词在上下文中,使用一个大型的未注释的文本语料库,和一个形态分析仪-没有手动消歧或数据注释。我们假设,形态分析器产生多个分析歧义词。这个想法是训练递归神经网络的输出,形态分析器产生的明确的话。我们目前的性能POS和词元消歧达到或超过了最先进的-包括监督模型-使用没有手动注释的数据。我们评估的方法在几个形态丰富的语言。
2020-07-12 cs.CL
CommonMorph: Participatory Morphological Documentation Platform
CommonMorph通过专家定义、贡献者 elicitation 和社区验证三阶段方法,简化形态学数据收集,支持多种形态学系统,提供开源设计和UniMorph兼容输出,用于保护语言多样性。
2026-04-06 cs.CL
Creating a morphological and syntactic tagged corpus for the Uzbek language
Urgench State University(乌尔根奇国立大学);Urgench Branch of Tashkent university of Information Technologies Named After Muhammad al-Khwarizmi(穆罕默德·花剌子米塔什干信息技术大学乌尔根奇分校)
标注语料库的建立是自然语言处理的重要任务之一。没有足够的标记语料库来为低资源的乌兹别克语构建机器学习模型。在本文中,我们试图填补这一空白,开发一种新的词性(POS)和句法标记创建的句法和形态标记语料库的乌兹别克语。这项工作还包括详细的描述和介绍了一个基于Web的应用程序,工作的标记以及。基于所开发的标注工具和软件,我们分享了标注语料库创建第一阶段的经验成果
2022-10-27 cs.CL
Optimizing Spectral Learning for Parsing
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们描述了一种搜索算法,用于优化潜在状态的数量时,估计潜在变量PCFG与光谱方法。我们的研究结果表明,相反的共同信念,在L-PCFG中的每个非终端的潜在状态的数量可以决定在隔离与光谱方法,解析结果显着改善,如果每个非终端的潜在状态的数量是全局优化的,同时考虑到不同的非终端之间的相互作用。此外,我们贡献了一个实证分析的光谱算法的八个形态丰富的语言:巴斯克语,法语,德语,希伯来语,匈牙利语,韩语,波兰语和瑞典语。我们的研究结果表明,我们的估计始终执行更好或接近粗到细的期望最大化技术,这些语言。
2016-06-14 cs.CL
MorfFlex: Handling Rich Morphology
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics(查尔斯大学数学物理学院形式与应用语言学研究所)
提出MorfFlex形态词典架构,以捷克语词典为例,通过屈折和派生模式高效管理超1亿词形,支持语料库标注一致性和NLP工具开发。
2026-11-11 cs.CL
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Uppsala University(乌普萨拉大学);The Ohio State University(俄亥俄州立大学);University of Turku(图尔库大学);Charles University in Prague(布拉格查理大学);Stanford University(斯坦福大学);Indiana University(印第安纳大学)
通用树库是一个开放的社区,致力于在基于依赖性的词汇框架内为许多语言创建跨语言一致的树库注释。该注释包括语言动机的分词;包括词元、通用词性标签和标准化形态特征的形态层;以及专注于谓词、参数和修饰语之间的句法关系的句法层。在本文中,我们描述了指南的第2版(UD v2),讨论了从UD v1到UD v2的主要变化,并概述了目前可用的90种语言的树库。
2020-04-22 cs.CL