Lexically conditioned realization ambiguity in Korean predicate morphology
Korea Advanced Institute of Science & Technology(韩国科学技术院)
本文针对韩语谓词语法,发现规范词素序列和语法类别标签无法唯一确定表层形式,提出需结合词汇身份、实现类别及语义信息解释实现歧义,揭示了纯粹语法表征的局限性。
2026-08-31 cs.CL
Unlocking Korean Verbs: A User-Friendly Exploration into the Verb Lexicon
Seoultech(首尔科技大学);The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学);dot Inc.(42dot公司);Seoul National University(首尔大学);National Institute of Korean Language(韩国国立国语院);KAIST(韩国科学技术院);Anyang University(安阳大学)
本文介绍了一个用户友好的Web界面和Python库,用于收集整合韩语动词相关信息(如次范畴框架)并简化句法分析与语义角色标注,助力基于Sejong词典数据集的韩语处理应用开发。
2025-04-02 cs.CL
Representing and Parsing Korean Constituency Structure at Different Levels of Granularity
Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学);Anyang University(安阳大学)
该研究对比三种韩语成分分析表示,评估不同顺序的转换式分析器,发现细粒度的语素+XPOS表示表现最优,同时明确eojeol作为表层标注域的合理性。
2026-08-31 cs.CL
Chart-driven Connectionist Categorial Parsing of Spoken Korean
虽然大多数为英语和其他印欧语言开发的语音和自然语言系统忽略了形态处理,并在词级上将语音和自然语言整合在一起,但对于韩国语和日语等粘着语言,形态处理在语言处理中起着重要作用,因为这些语言具有非常复杂的形态现象和相对简单的句法功能。显然,退化的形态学处理限制了系统的可用词汇量,并且词级词典导致词典条目数量呈指数级爆炸。对于黏着语,我们需要子词级的整合,这为一般的形态处理留下了空间。在本文中,我们开发了一个音素级的语音和语言处理的整合模型,通过一般的形态分析,粘着语言和一个有效的分析方案,集成。基于无序论元和抑制范畴扩展的范畴语法形式主义对朝鲜语进行了词汇建模,并引入了图表驱动的连接主义句法分析方法。
1995-11-29 cmp-lg cs.CL
Korean-to-Chinese Machine Translation using Chinese Character as Pivot Clue
Shanghai Jiao Tong University(上海交通大学)
韩汉是一对低资源语言对,但韩国语和汉语在词汇方面有很多共同之处。可以转换成相应汉字的汉韩词语占整个韩国语词汇的50多个。出于这一动机,我们提出了一个简单的语言动机的解决方案,以提高朝鲜语到汉语的神经机器翻译模型的性能,通过使用他们的共同词汇。我们以汉字为翻译支点,将韩语句子中的中朝词转换为汉字,然后以转换后的韩语句子为源句对机器翻译模型进行训练。对韩语到汉语的翻译实验结果表明,与基线模型相比,使用该方法的模型将翻译质量提高了1.5个BLEU点。
2019-11-25 cs.CL
KPC-cF: Aspect-Based Sentiment Analysis via Implicit-Feature Alignment with Corpus Filtering
Hongik University(弘益大学);MODULABS(MODULABS机构)
针对韩语工业评论ABSA研究不足的问题,提出KPC-cF框架,整合翻译基准与未标记数据,通过伪标记、LaBSE和MSP双重过滤实现隐式特征对齐,在低资源下提升性能,F1和准确率仅比英语ABSA低约3%,并将开源数据集与代码。
2025-04-16 cs.AI cs.CL
KoCoNovel: Annotated Dataset of Character Coreference in Korean Novels
Seoul National University(首尔大学)
本研究构建了首个基于韩国文学文本的大型人物共指标注数据集KoCoNovel,含50部小说的17.8万词元,设多版本适配不同分析需求,实验证明其能有效提升文学文本人物共指消解模型性能。
2024-04-11 cs.CL
Learning Character-level Compositionality with Visual Features
Carnegie Mellon University(卡内基梅隆大学)
以前的工作已经通过创建字符级的意义模型来模拟单词的组合性,减少了罕见单词的稀疏性问题。然而,在许多书写系统中,组合性甚至在字符层面上也有影响:字符的含义是由其部分的总和得出的。在本文中,我们通过创建基于其视觉特征的字符的嵌入,创建字符的图像,并通过卷积神经网络运行它来产生视觉字符嵌入,从而对这种效果进行建模。在文本分类任务上的实验表明,该模型可以更好地处理汉语、日语和韩语等语言中的稀有字符实例。此外,定性分析表明,我们提出的模型学习专注于承载语义内容的字符部分,从而产生在视觉空间中连贯的嵌入。
2017-05-06 cs.CL
HERITAGE: An End-to-End Web Platform for Processing Korean Historical Documents in Hanja
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因泰克公司)
针对韩国历史文献因汉文专业知识门槛高而难以理解的问题,HERITAGE作为首个开源汉文NLP工具包,提供标点恢复、命名实体识别和机器翻译功能,并辅以交互式词汇表,旨在降低翻译门槛,促进文献的现代语言翻译。
2025-01-21 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University(高丽大学);Prediction(Prediction 公司);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题,提出结合子字分解的词素感知子词分词法,在PLMs中平衡语言准确性与效率,在NIKL-CoLA等任务上表现提升,证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
KOMBO: Korean Character Representations Based on the Combination Rules of Subcharacters
Department of Artificial Intelligence, Korea University, Seoul, South Korea(人工智能系,韩国大学,首尔,韩国);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国)
本文提出KOMBO框架,通过引入韩文发明原理来表示字符,提升了韩文NLP任务的性能,平均超越现有最佳模型2.11%。
2026-04-27 cs.AI cs.CL
Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts
本文介绍了一个涵盖1300年历史的韩国语料库,用于量化分析语言演变,包括韩文书写系统的变化及现代语言模型的改进。
2026-03-05 cs.CL
KR-BERT: A Small-Scale Korean-Specific Language Model
Seoul National University(首尔大学)
自BERT出现以来,包括XLNet和RoBERTa在内的最新研究成果利用了由大型语料库和大量参数预训练的句子嵌入模型。由于此类模型具有大型硬件和大量数据,因此需要很长时间进行预训练。因此,重要的是尝试制作性能相对较小的模型。在本文中,我们利用较小的词汇表和数据集训练了一个韩国特定的模型KR-BERT。由于韩语是一种形态丰富的语言,但使用非拉丁字母的资源很少,因此捕捉多语言BERT模型遗漏的语言特定的语言现象也很重要。我们测试了几个tokenizer,包括我们的BidirectionalWordPiece Tokenizer,并调整了从子字符级别到字符级别的tokenization的最小标记跨度,为我们的模型构建了更好的词汇表。通过这些调整,我们的KR-BERT模型的表现非常好,甚至比使用大约1/10大小的语料库的其他现有预训练模型更好。
2020-08-11 cs.CL
KIT-19: A Comprehensive Korean Instruction Toolkit on 19 Tasks for Fine-Tuning Korean Large Language Models
Seoul National University(首尔大学)
本文提出了KIT-19,一个包含19项韩语NLP任务的指令数据集,用于微调韩语大型语言模型,实验证明基于该数据集训练的模型显著优于现有韩语LLM。
2024-03-25 cs.CL
K-UniMorph: Korean Universal Morphology and its Feature Schema
The University of British Columbia(不列颠哥伦比亚大学);Seoul National University(首尔大学);SeoulTech(首尔科学技术大学);Teddysum(泰迪森公司);Anyang University(安阳大学)
本文提出了韩语通用形态学数据集K-UniMorph,通过详细定义语法标准并从Sejong语料库提取屈折形式生成形态学模式,填补了韩语在形态学范式领域的空白。
2023-05-17 cs.CL
NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap
AIM Intelligence(AIM智能公司);KT Corp.(KT公司);Sionic AI(Sionic人工智能公司);Lablup Inc.(Lablup公司);Hankuk University of Foreign Studies(韩国外国语大学)
本研究推出难度校准的英韩谜题基准NOLLI,评估15种模型发现纯语言带来的性能差距小,文字系统密集型任务差距大,还揭示结构规模并非经验难度的可靠指标。
2026-08-06 cs.CL
Developing an OCR model for Extracting Information from Invoices with Korean Language
University of Engineering and Technology, Vietnam National University-Hanoi(河内国家大学工程技术大学);Posts and Telecommunications Institute of Technology(邮电技术学院)
本文提出一种结合深度学习与图像预处理的高效OCR模型,用于自动提取韩语发票信息,在收集的发票上达到87%的F1分数,处理时间可忽略。
2026-09-30 cs.CL
RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining
DocumentAI Team(DocumentAI团队);AGILESODA INC.(AGILESODA公司);Hankuk University of Foreign Studies(韩国外国语大学)
RedWhale通过高效持续预训练方法,利用跨语言迁移学习,在韩语基准KoBEST上超越领先模型,显著提升韩语NLP能力。
2024-08-21 cs.CL
KoBALT: Korean Benchmark For Advanced Linguistic Tasks
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究)
KoBALT是韩语高级语言任务基准,含700道题覆盖5个语言学领域,评估20个LLM,最佳准确率61%,并验证了与人类判断的相关性。
2025-05-22 cs.CL
Making Qwen3 Think in Korean with Reinforcement Learning
Jungyup Lee, Jemin Kim, Sang Park, SeungJae Lee(作者)
提出两阶段微调方法(SFT与定制GRPO强化学习),结合oracle judge模型解决训练稳定性问题,使Qwen3 14B实现纯韩语内部推理,并在高级推理基准上取得显著提升。
2025-08-14 cs.CL
Quantifying and Mitigating Korean Jamo-Level Typographical Vulnerabilities in Large Language Models
Chung-Ang University(中央大学)
该研究量化了LLMs对朝鲜语Jamo层面排版扰动的脆弱性,提出TACoT方法,可在低推理成本下恢复思维链的大部分准确率增益。
2026-09-01 cs.CL
K-MHaS: A Multi-label Hate Speech Detection Dataset in Korean Online News Comment
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);BigWave AI;Keimyung University(启明大学);National Information Society Agency(国家信息社会局)
由于在线内容的增长,在线仇恨言论检测已成为一个重要问题,但英语以外的语言资源极其有限。我们介绍了K-MHaS,这是一种新的用于仇恨言论检测的多标签数据集,可以有效地处理韩语模式。该数据集由来自新闻评论的109 k话语组成,并使用1到4个标签提供多标签分类,并处理主观性和交叉性。我们使用基于韩语BERT的语言模型,使用六种不同的指标,对K-MHaS进行强基线实验。带有子字符标记器的KR-BERT优于其他人,识别每个仇恨言论类中的分解字符。
2022-09-30 cs.AI cs.CL
SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models
Department of Artificial Intelligence, Korea University, Seoul, South Korea(人工智能系,韩国大学,首尔,韩国);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国)
SCRIPT通过注入子字符组合知识提升韩语PLM的结构粒度,无需修改架构或额外预训练,在多种NLU和NLG任务中提升性能,并改进语法规律和语义连贯性。
2026-04-14 cs.AI cs.CL
KMMLU: Measuring Massive Multitask Language Understanding in Korean
Yonsei University(延世大学);EleutherAI;OnelineAI;NCSOFT AI;NAVER Cloud;KAIST AI;Carnegie Mellon University(卡内基梅隆大学);Contextual AI
本文提出基于韩国原始考试构建的韩语多任务理解基准 KMMLU,包含 45 个学科 35,030 道题,测试 27 个 LLM 后显示最佳模型仅 50.5%,表明韩语 LLM 仍有较大提升空间。
2024-06-06 cs.CL
Homophonic Quotients of Linguistic Free Groups: German, Korean, and Turkish
1993年,法语和英语的同音商群(法语(英语)字母表生成的自由群的商,由代表标准发音规则的关系确定)被明确地表征[5]。在本文中,我们将相同的方法应用于三种不同的语言系统:德语,韩语和土耳其语。我们认为,我们的研究结果指出了这三种语言(或至少是它们当前的脚本系统)之间的一些有趣的差异。
2018-08-10 cs.CL math.GR
Won: Establishing Best Practices for Korean Financial NLP
OneLineAI;KRX(韩国交易所)
本研究推出首个韩国金融领域大语言模型公开评估排行榜,基于八周评估结果发布8万条公开指令数据集并总结顶尖模型训练策略,最终推出完全开放透明的金融大语言模型Won,助力多语言金融大模型发展。
2025-03-23 cs.CL
KoSimpleQA: A Korean Factuality Benchmark with an Analysis of Reasoning LLMs
Naver Cloud(Naver云);Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
本文提出韩语事实性基准 KoSimpleQA,含 938 个问题,评估发现最强模型准确率仅 31.6%,且推理能缓解跨语言知识差距。
2026-09-14 cs.CL
HanjaBridge: Resolving Semantic Ambiguity in Korean LLMs via Hanja-Augmented Pre-Training
Wisenut(Wisenut公司)
提出HanjaBridge技术,通过在持续预训练中注入汉字候选以解决韩语同音词语义歧义,结合知识蒸馏防止遗忘,显著提升韩语理解并实现跨语言正向迁移。
2025-07-15 cs.AI cs.CL
Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching
Yonsei University(延世大学);Soongsil University(崇实大学)
本研究通过EnKoQA数据集探讨代码切换是否能激活LLMs中的知识,发现其在低资源语言任务中具有潜力。
2025-11-24 cs.CL
Open Ko-LLM Leaderboard2: Bridging Foundational and Practical Evaluation for Korean LLMs
Upstage AI;Twelve Labs;Liner;Korea University(高丽大学)
针对现有韩语大模型排行榜过于学术化且依赖翻译基准的问题,提出 Open Ko-LLM Leaderboard2,通过引入贴近现实的新任务和四个韩语原生基准,提供更实用的评估。
2025-03-04 cs.AI cs.CL
GLAN-QnA-KR: A Seedless Taxonomy-Driven Korean Instruction Corpus
Microsoft(微软)
该研究发布了GLAN-QnA-KR韩语指令语料库,通过无种子分类法驱动的GLAN合成管道生成。此语料库规模大且具有独特属性,如重复问题少、污染率低,是Hugging Face Hub上可验证的最大单管道合成韩语指令语料库及唯一按该协议构建的韩语 >= 100k行语料库。
2026-07-24 cs.CL cs.LG
GPT-4 can pass the Korean National Licensing Examination for Korean Medicine Doctors
Gachon University(嘉泉大学);Pusan National University(釜山国立大学);Stanford University School of Medicine(斯坦福大学医学院)
本研究以韩国韩医师国家资格考试为基准,通过术语标注、翻译、考试指令优化和自洽性提示评估GPT-4,证明其可合格通过,并指出其在本土化与专业干预问题上的局限。
2023-11-17 cs.CL cs.LG
QUAK: A Synthetic Quality Estimation Dataset for Korean-English Neural Machine Translation
Korea University(高丽大学);Upstage
随着神经机器翻译的重要性日益凸显,质量估计(QE)的研究也在稳步推进。QE旨在自动预测机器翻译(MT)输出的质量,而不需要参考句子。尽管在现实世界中具有很高的实用性,但手动QE数据创建仍然存在一些限制:由于需要翻译专家,不可避免地产生了不小的成本,以及数据扩展和语言扩展的问题。为了解决这些限制,我们提出了QUAK,一个以全自动方式生成的韩国-英语合成QE数据集。这包括三个子QUAK数据集QUAK-M,QUAK-P和QUAK-H,通过三种相对不受语言限制的策略产生。由于每种策略都不需要人工操作,这有利于可扩展性,因此我们将QUAK-P,H的数据扩展到1.58 M,QUAK-M的数据扩展到6.58 M。作为一个实验,我们在进行统计分析的同时,以各种方式定量分析单词级别的QE结果。此外,我们表明,以有效的方式扩展的数据集也有助于提高性能,通过观察QUAK-M,P中有意义的性能增益时,添加数据高达1.58 M。
2022-11-29 cs.CL
KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs
KRAFTON;Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Department of Mathematical Sciences, Seoul National University(首尔国立大学数学科学系)
针对语音语言模型评估中英语中心化的问题,提出两种智能体驱动的基准构建框架,构建并发布了三个韩语语音基准(KVoiceBench、KOpenAudioBench、KMMAU),通过评估八个最新模型揭示了英语-韩语性能差距和不同任务间的互补性弱点。
2026-09-01 cs.AI cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
Comparison of L2 Korean pronunciation error patterns from five L1 backgrounds by using automatic phonetic transcription
Seoul National University(首尔大学)
本研究利用自动音标转写大规模分析五种母语背景的L2韩语发音错误,识别出三种常见错误模式及三十九种语言特定模式,为韩语教学提供数据支持。
2023-06-19 cs.CL cs.SD eess.AS
KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context
Chung-Ang University(Chung-Ang 大学);Seoul National University(首尔国立大学);SK A.X;OnelineAI;HAE-RAE
KMMMU是首个针对韩语文化机构场景的多模态理解评估基准,包含3466道韩语原生考试题,涵盖九大学科和九种视觉模态,验证了多模态模型在韩语环境下的性能差异与挑战。
2026-10-14 cs.CL cs.LG cs.MM
Building Resource-Constrained Language Agents: A Korean Case Study on Chemical Toxicity Information
KAIST AI(韩国科学技术院人工智能);CHEM. I. NET
本文提出Tox-chat,一个资源受限环境下的韩国化学品毒性信息智能体,通过上下文高效架构和场景式对话生成方法,微调8B模型显著提升数据库忠实度与偏好。
2025-10-09 cs.AI cs.CL
Developing a Pragmatic Benchmark for Assessing Korean Legal Language Understanding in Large Language Models
University of Seoul(首尔大学);LBox;Hanyang University(汉阳大学)
本文提出KBL基准,通过法律知识、推理任务及韩国律师资格考试,在闭卷和RAG设置下全面评估LLMs的韩语法律语言理解能力,揭示现有模型的改进空间。
2024-10-11 cs.AI cs.CL
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
KAIST(韩国科学技术院)
本研究构建含1765个问题的LENS基准,评估LLMs对朝鲜语言、社会文化及特定领域知识的理解,发现模型在社会文化视角与领域知识上存在明显局限,强调需开发针对相关语境的评估资源。
2026-10-14 cs.AI cs.CL
Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean
SeoulTech(首尔科技大学);Yonsei University(延世大学);Teddysum;KISTI(韩国科学技术信息研究院)
本研究提出词表扩展、双语预训练对齐和高质量指令微调三种策略,基于Llama2模型增强低资源语言韩语性能,实验证明Bllossom模型在定性和定量评估中优于现有韩语单语模型。
2024-03-21 cs.AI cs.CL
Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
Yanolja(雅乐居(韩国))
本文提出EEVE词汇扩展方法,通过参数冻结和子词初始化,仅用20亿token即可显著提升以英语为中心的大语言模型的韩语能力,所构建的EEVE-Korean-10.8B-v1.0在开源韩语预训练模型中排名领先。
2024-02-22 cs.AI cs.CL
Leveraging the Interplay Between Syntactic and Acoustic Cues for Optimizing Korean TTS Pause Formation
Graduate School of Artificial Intelligence, POSTECH(浦项工科大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项工科大学计算机科学与工程系);aiXplain Inc.(aiXplain公司)
针对韩语 TPS 停顿错误问题,提出融合句法与声学线索的建模框架,在短音频训练下仍可稳定处理长而复杂的 OOD 句子。
2024-04-03 cs.CL cs.SD eess.AS
DNA 1.0 Technical Report
本报告介绍DNA 1.0 8B Instruct,一个针对韩英双语优化的开源语言模型,通过持续预训练、监督微调、SLERP合并及DPO和KD优化,在韩语任务上取得最先进性能,同时保持英语能力。
2025-01-18 cs.CL
Polishing Every Facet of the GEM: Testing Linguistic Competence of LLMs and Humans in Korean
Department of Artificial Intelligence, Korea University, Seoul, South Korea(韩国大学人工智能系);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(韩国大学计算机科学与工程系);Institute for Digital HUSS, Korea University, Seoul, South Korea(韩国大学数字HUSS研究所)
本文提出韩语语法评估基准KoGEM,通过1.5k道多选问答对评估27个LLM的语言能力,发现模型在需要经验知识的任务上表现不足,并指出引入经验知识可提升其语言能力。
2025-06-02 cs.AI cs.CL
PAD: Towards Efficient Data Generation for Transfer Learning Using Phrase Alignment
SK-telecom(SK电信);School of Computing, KAIST(韩国科学技术院计算机学院);The Division of Computer Convergence, Chugnam National University(忠南国立大学计算机融合系)
本研究提出利用短语对齐数据(PAD)提升迁移学习效率,通过实验证明其与韩语句法协同、弥补SMT弱点,并显著增强模型性能,为资源稀缺语言提供低成本方案。
2025-03-25 cs.CL
ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety
Scale AI
本文提出ROK-FORTRESS基准,通过英韩语言对和美韩地缘政治轴,评估语言与地缘政治交互对国家安全的影响,发现韩语版本存在压制效应,且模型间表现差异显著。
2026-07-08 cs.AI cs.CL cs.CR
Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights
本研究评估韩国性犯罪法律文本分类模型,发现微调KLUE-BERT达99.3%准确率,优于GPT-3.5等大型模型,并利用XAI分析揭示模型决策特征与局限,强调可解释性在法律AI中的重要性。
2026-10-02 cs.AI cs.CL
HistRED: A Historical Document-Level Relation Extraction Dataset
KAIST AI(韩国科学技术院人工智能学院)
本文提出基于《燕行录》构建的历史文档级关系抽取数据集 HistRED,提供韩文与汉文双语标注及多长度子文本,并设计双语 RE 模型验证多语言上下文对关系抽取的增益。
2023-07-10 cs.CL
KOFFVQA: An Objectively Evaluated Free-form VQA Benchmark for Large Vision-Language Models in the Korean Language
MAUM AI Inc.(MAUM AI公司)
针对韩语VLMs评估缺乏且现有方法主观不可靠的问题,提出KOFFVQA韩语自由形式视觉问答基准,通过预定义客观评分标准实现可靠评估,实验证明其优于现有方法。
2025-03-31 cs.AI cs.CL cs.CV
No Language Data Left Behind: A Comparative Study of CJK Language Datasets in the Hugging Face Ecosystem
Yonsei University(延世大学);AIM Intelligence(AIM智能);MODULABS;Sionic AI;Lablup
本研究比较分析HuggingFace上3300多个中日韩数据集,揭示文化、机构与社区驱动的差异,并提出改进文档、许可与跨语言共享的策略,以促进东亚LLM开发。
2025-10-15 cs.CL
EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich(技术学院,慕尼黑技术大学);Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对大语言模型在多语言中的令牌理解能力,提出EXECUTE基准,扩展CUTE至多种文字系统,发现字符或词级问题因语言而异,并评估中日韩子字符理解。
2025-05-23 cs.CL
Mi:dm 2.0 Korea-centric Bilingual Language Models
Tech. Innovation Group(技术创新组)
Mi:dm 2.0是一款专为韩国中心AI设计的双语大语言模型,通过整合韩国社会价值观和常识知识,提升文化适应性和生成能力,支持多任务和多场景应用。
2026-01-14 cs.AI cs.CL
LoCar: Localization-Aware Evaluation of In-Vehicle Assistants through Fine-Grained Sociolinguistic Control
KAIST(韩国科学技术院);BMW Group(宝马集团)
本文提出了一种新的车载助手评估框架,专注于韩语本地化,揭示了当前LLM在细粒度韩语敬语控制方面的不稳定性以及策略性对话指标上的表现不足,强调了汽车AI需要向精确语言定制和可靠安全交互管理发展。
2026-05-20 cs.CL