Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
该研究在阿拉伯语、英语和印度语言上基准评估 BLOOMZ、LLaMA-2 等模型及剪枝、量化压缩的影响，发现多语言模型跨语言迁移更优，4/8-bit 量化可保准提效，而激进剪枝损害性能。
2025-07-25 cs.CL
Mafoko: Structuring and Building Open Multilingual Terminologies for South African NLP
Data Science for Social Impact, Dept. of Computer Science, University of Pretoria（南非普里尼亚大学计算机科学系数据科学与社会影响研究中心）；AfriDSAI, University of Pretoria（南非普里尼亚大学非洲数据科学与人工智能研究所）；Lelapa AI（莱拉帕人工智能）；Economics and Management Sciences, University of the Free State（南非自由州大学经济与管理科学系）；Interdisciplinary Centre for Digital Futures, University of the Free State（南非自由州大学跨学科数字未来研究中心）
针对南非官方语言术语数据碎片化且非机器可读的问题，本文构建了开放的多语言术语数据集Mafoko，并通过RAG流水线显著提升了英译Tshivenda机器翻译的准确率与一致性。
2025-11-02 cs.CL
What's Wrong with Hebrew NLP? And How to Make it Right
Open University of Israel（以色列开放大学）
对于具有简单形态的语言，如英语，spaCy或斯坦福大学的CoreNLP等自动注释管道成功地为学术界和工业界的项目提供了服务。对于许多形态丰富语言（Morphologically Rich Languages，MRL），类似的流水线表现出次优性能，限制了它们在研究和工业中的文本分析应用。次优性能主要是由于早期形态消歧决策中的错误，这些错误在流水线后期无法恢复，总体上产生不连贯的注释。在本文中，我们描述了设计和使用的Onlp套件，一个联合形态句法分析框架处理现代希伯来语文本。形态学和句法的联合推理大大限制了错误传播，并导致高精度。Onlp提供丰富而富有表现力的输出，已经满足了不同的学术和商业需求。其附带的在线演示进一步服务于教育活动，向研究人员和非研究人员介绍希伯来语NLP的复杂性。
2019-08-15 cs.CL
Modelling the Morphology of Verbal Paradigms: A Case Study in the Tokenization of Turkish and Hebrew
Idiap Research Institute（IDIAP研究机构）；University of Geneva（日内瓦大学）
本研究探讨了transformer模型在土耳其和希伯来语动词词形处理中的表现，发现词化策略对模型效果有显著影响，尤其在希伯来语中，形态学意识的词化方法更有效。
2026-02-05 cs.CL
Evaluating Multilingual BERT for Estonian
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）
最近，大型预训练语言模型，如BERT，在许多自然语言处理任务中已经达到了最先进的性能，但对于许多语言，包括爱沙尼亚语，BERT模型还不可用。然而，存在几种多语言BERT模型，可以同时处理多种语言，并且也在爱沙尼亚数据上进行了训练。在本文中，我们评估了四种多语言模型-多语言BERT，多语言蒸馏BERT，XLM和XLM-RoBERTa-在几个自然语言处理任务，包括POS和形态标记，NER和文本分类。我们的目标是建立这些多语言BERT模型和现有的基线神经模型之间的比较，这些任务。我们的结果表明，多语言BERT模型可以很好地概括不同的爱沙尼亚NLP任务，在POS、形态标记和文本分类方面的表现优于所有基线模型，并达到了与NER最佳基线相当的水平，其中XLM-RoBERTa取得了最高的结果与其他多语言模型相比。
2021-01-08 cs.CL
A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives
University of Helsinki（赫尔辛基大学）；Université Bretagne Sud（南布列塔尼大学）
该研究在受控环境下对比语言建模与翻译两种多语言预训练目标，发现架构决定最优预训练目标，且合适条件下多语言翻译是高效预训练目标，并公开了相关资源。
2024-10-07 cs.CL
ParaShoot: A Hebrew Question Answering Dataset
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
希伯来语的NLP研究主要集中在形态学和语法上，在这些领域，有丰富的注释数据集，这些数据集都是以通用的解释为精神的。然而，语义数据集供不应求，阻碍了希伯来语NLP技术发展的关键进展。在这项工作中，我们提出了ParaShoot，第一个问答数据集在现代希伯来语。该数据集遵循SQuAD的格式和众包方法，包含大约3000个注释示例，与其他低资源语言的问答数据集类似。我们使用最近发布的BERT风格的希伯来语模型提供了第一个基线结果，表明这项任务还有很大的改进空间。
2021-09-23 cs.CL
EthioLLM: Multilingual Large Language Models for Ethiopian Languages with Task Evaluation
Ethio NLP（埃塞俄比亚自然语言处理团队）；Instituto Politécnico Nacional（墨西哥国立理工学院）；Lelapa AI（莱拉帕人工智能公司）；Saarland University（萨尔大学）；Wuhan University of Technology（武汉理工大学）；Bahir Dar University（巴赫达尔大学）；Universität Hamburg（汉堡大学）；Istanbul Technical University（伊斯坦布尔理工大学）；Addis Ababa University（亚的斯亚贝巴大学）
针对埃塞俄比亚低资源语言NLP发展滞后问题，研究提出覆盖5种埃塞语言和英语的多语言大模型EthioLLM及新基准Ethiobenchmark，在5项下游任务上完成评估并开源相关资源。
2024-06-23 cs.CL
Toward Responsible and Epistemically Grounded Multilingual LLMs for Computational Social Science and Humanities
Northwestern University in Qatar（卡塔尔西北大学）
本文重新概念化多语言推理大语言模型为解释学工具，提出一个基于理论框架来评估其在社会科学与人文学科研究中的文化对齐、跨语言稳定性和推理忠实性。
2026-05-30 cs.CL
Multilingual Amnesia: On the Transferability of Unlearning in Multilingual LLMs
Mila – Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究）
本研究探讨多语言大语言模型中卸载的可转移性，通过实验发现语法相似性是预测跨语言卸载行为的关键因素。
2026-01-09 cs.CL cs.LG
UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection
University of Birmingham（伯明翰大学）
本文提出利用适配器微调多语言预训练模型进行多语言与跨语言情感检测，目标语言就绪任务适配器在低资源非洲语言上表现最佳，并在多项 SemEval-2025 任务中取得领先排名。
2025-04-11 cs.CL
A Second Wave of UD Hebrew Treebanking and Cross-Domain Parsing
Georgetown University（乔治城大学）；IAHLT（以色列人类语言技术联盟）
基本的希伯来语NLP任务，如分割，标记和解析，迄今为止依赖于希伯来语树库的各种版本（HTB，Sima'an等人2001）。然而，HTB中的数据，一个单一来源的新闻通讯语料库，现在已经超过30年了，并没有涵盖网络上当代希伯来语的许多方面。本文提出了一个新的，免费提供的UD树库希伯来语分层从一系列的主题，从希伯来语维基百科。除了介绍语料库和评估其注释的质量外，我们还部署了基于grow（Guillaume，2021）的自动验证工具，并在希伯来语中进行了首次跨域解析实验。我们在UD NLP任务上获得了新的最先进的（SOTA）结果，结合了最新的语言建模和对现有基于Transformer的方法的一些增量改进。我们还从我们的新语料库发布了一个新版本的UD HTB匹配注释方案更新。
2022-10-18 cs.CL
Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里达摩院）；Hupan Lab（虎斑实验室）；National University of Singapore（新加坡国立大学）；Shanda AI Research Institute（沙达AI研究院）
本研究探讨翻译对多语言任务的影响，发现翻译成英语虽能提升英语中心LLMs的NLP性能，但对文化相关任务，母语提示更有效，呼吁超越英语中心的多语言评估与开发。
2025-04-21 cs.CL
Glot500: Scaling Multilingual Corpora and Language Models to 500 Languages
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文通过持续预训练构建覆盖511种语言的Glot500-m模型及语料库Glot500-c，在五个任务上显著优于XLM-R基线，并揭示多因素共同决定多语言模型质量，旨在推动NLP覆盖更多语言。
2023-05-26 cs.CL
Improving Multilingual Social Media Insights: Aspect-based Comment Analysis
Institute for Infocomm Research, A*STAR, Singapore（信息与通信研究所）
针对社交媒体文本多样性带来的下游NLP任务挑战，提出基于方面术语生成（CAT-G）的多语言大模型微调方法，并贡献首个涵盖四种语言的多语言CAT-G测试集以评估跨语言性能。
2025-05-29 cs.CL
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS（纽约大学）；Cleveland State University（克利夫兰州立大学）
本文综述多语言提示工程，按任务分类39种提示技术，分析覆盖约250种语言的36篇论文及30项NLP任务，并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力，发现模型在区分借词与本土词汇方面表现不佳，对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities
IIT Gandhinagar（印度理工学院加尔各答分校）；NMIMS Mumbai（孟买NMIMS学院）；SVNIT Surat（Surat SVNIT学院）；LINGO Research Group（LINGO研究小组）
本文综述了大语言模型时代跨语言自然语言处理的研究，分析了327项研究，涵盖五类研究领域、15+任务、30+数据集和80+语言，指出现有挑战及未来发展方向。
2026-04-21 cs.CL
Ground Truth Generation for Multilingual Historical NLP using LLMs
ARTFL Project, Romance Languages and Literatures, University of Chicago（ARTFL项目， Romance语言与文学系，芝加哥大学）；Department of History, University of Chicago（历史系，芝加哥大学）；Libraries and School of Information Studies, Purdue University（图书馆与信息科学学院，普渡大学）
针对历史低资源NLP标注数据不足的问题，该研究用LLM生成近代法语文本、近现代汉语文本的基准真值标注，微调spaCy后在三类NLP任务上获显著提升，验证了少量合成数据对人文领域低资源NLP工具的优化作用。
2025-11-18 cs.AI cs.CL
Comparative Performance of Advanced NLP Models and LLMs in Multilingual Geo-Entity Detection
Institute of Information and Communication Technologies – Bulgarian Academy of Science（保加利亚科学院信息与通信技术研究所）
本文系统比较了SpaCy、XLM-RoBERTa、mLUKE、GeoLM及GPT 3.5/4在英俄阿三语地理实体检测中的表现，揭示各模型优劣，为多语言地理空间分析工具改进提供依据。
2024-12-29 cs.AI cs.CL cs.IR
Large Language Models for Mental Health: A Multilingual Evaluation
George Mason University（乔治·马歇尔大学）；Interdisciplinary School of Doctoral Studies, University of Bucharest（布加勒斯特大学跨学科博士研究学院）；PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；University of Minnesota（明尼苏达大学）
本文评估了多语言环境下大语言模型在心理健康任务中的表现，发现其在部分数据集上表现优异，但翻译质量对性能有显著影响。
2026-02-02 cs.CL
HalleluBERT: Let Every Token That Has Meaning Bear Its Weight
Raphael Schmitt（拉斐尔·施米特）
提出基于RoBERTa的希伯来语编码器家族HalleluBERT，在49.1 GB去重希伯来语网络文本和维基百科上从头训练，使用希伯来语特定字节级BPE词汇，在命名实体识别和情感分类基准上优于单语和多语基线。
2026-06-01 cs.CL
Role of Language Relatedness in Multilingual Fine-tuning of Language Models: A Case Study in Indo-Aryan Languages
IBM Research（IBM研究院）；IIT Bombay（印度理工学院孟买分校）
我们探索了利用多语言微调在NLP模型中利用属于同一家族的语言的相关性的影响。我们假设并验证了预训练的语言模型的多语言微调可以在下游NLP应用程序上产生更好的性能，而不是在单个语言上微调的模型。第一种详细的研究，以跟踪性能变化的语言添加到一个基础语言的分级和贪婪（在这个意义上的最佳提升性能）的方式，这表明，仔细选择相关语言的子集可以显着提高性能比利用所有相关的语言。印度-雅利安（IA）语系被选为研究对象，确切的语言是孟加拉语，古吉拉特语，印地语，马拉地语，奥里亚语，旁遮普语和乌尔都语。通过将所有语言的文本简单地基于规则音译为梵文，可以跨越脚本障碍。实验在mBERT，IndicBERT，MuRIL和两个基于RoberTa的LM上进行，最后两个由我们预先训练。低资源语言，如奥里亚语和旁遮普语，被认为是多语言微调的最大受益者。文本蕴涵、实体分类、章节标题预测、IndicGLUE任务和词性标注构成了我们的测试平台。与单语微调相比，我们在下游任务中获得了高达150%的相对性能改善。令人惊讶的是，对于任何语言来说，都有其他语言的特定组合可以产生最佳性能，任何额外的语言实际上都是有害的。
2021-09-22 cs.CL
CAMeMBERT: Cascading Assistant-Mediated Multilingual BERT
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
具有数亿甚至数十亿参数的大语言模型在各种自然语言处理（NLP）任务上表现得非常好。然而，它们的广泛使用和采用受到缺乏足够大的计算资源的可用性和可移植性的阻碍。本文提出了一种知识蒸馏（KD）技术的工作的LightMBERT，多语言BERT（mBERT）的学生模型的建设。CAMeMBERT的目标是通过不断压缩的教师助理网络反复提取mBERT，以改善mBERT的时间和空间复杂度，同时将准确度损失保持在可接受的阈值以下。目前，CAMeMBERT的平均精度约为60.1%，在未来对微调中使用的超参数进行改进后，这一精度可能会发生变化。
2022-12-22 cs.CL
LLM for Everyone: Representing the Underrepresented in Large Language Models
The Hong Kong University of Science and Technology（香港科技大学）
本论文关注大型语言模型在未被充分代表语言中的局限性，提出数据与计算高效的跨语言持续指令微调、基于检索的上下文学习及查询对齐方法，并引入文化价值观对齐度量，以提升模型的多语言与多文化泛化能力及包容性。
2024-09-20 cs.AI cs.CL
Multilingual Large Language Models and Curse of Multilinguality
Universität des Saarlandes（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文概述多语言大语言模型的技术架构、目标函数、预训练数据与分词方法，比较三类模型，并探讨多语言性诅咒及其克服尝试。
2025-04-25 cs.CL cs.CY
AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages
Mila Quebec AI Institute（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）；Instituto Politécnico Nacional（国家理工学院）；Uppsala University（乌普萨拉大学）；Universidad de Deusto（德乌斯托大学）；Ashesi University（阿希西大学）；Montclair State University（蒙特克莱尔州立大学）；The College of Saint Rose（圣罗斯学院）；Technical University of Munich（慕尼黑工业大学）
针对非洲语言训练数据匮乏问题，提出基于自主动学习框架的多语言预训练模型AfroLM，在23种非洲语言上从零预训练，以小14倍的数据集超越AfriBERTa等基线，展现出强大的跨域泛化能力。
2022-11-23 cs.AI cs.CL cs.LG
KIT-TIP-NLP at MultiPride: Continual Learning with Multilingual Foundation Model
Text Information Processing Lab, Kitami Institute of Technology, Kitami, Hokkaido 090-0015, Japan（函授信息处理实验室，Kitami理工学院，日本北海道Kitami，090-0015）
本文提出了一种多阶段框架，用于检测社交媒体中多语言的重新使用侮辱性语言。该框架解决了跨英语、西班牙语和意大利语推文中识别重新使用与非重新使用LGBTQ+相关侮辱性语言的挑战，通过数据驱动的模型选择、语义保留的增强、归纳迁移学习和领域特定知识注入等方法，提高了多语言情感表达的识别能力。
2026-05-18 cs.AI cs.CL cs.LG
ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning
University of Oregon（俄勒冈大学）；Adobe Research（Adobe研究院）
本文在 7 个任务、37 种不同资源水平语言上系统评估 ChatGPT 的零样本多语言能力，发现其整体表现不及先前模型，呼吁加强多语言学习研究。
2023-04-12 cs.AI cs.CL
LlamaLens: Specialized Multilingual LLM for Analyzing News and Social Media Content
Qatar University（卡塔尔大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；UPES（UPES（印度大学））；University of Maryland（马里兰大学）
本研究开发了专业多语言大语言模型LlamaLens，用于分析新闻和社交媒体内容，在18个任务、52个数据集上，于23个测试集超越现有最先进方法，并公开模型资源。
2025-02-27 cs.AI cs.CL
Automated Extraction of Sentencing Decisions from Court Cases in the Hebrew Language
Bar-Ilan University（巴伊兰大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出的任务，自动惩罚提取（APE）在刑事法庭案件的判决希伯来语。解决APE将能够识别量刑模式，并构成希伯来语中许多后续法律NLP应用程序的重要垫脚石，包括预测量刑决定。我们策划了一个性侵犯量刑决定的数据集和一个手动注释的评估数据集，并实现了基于规则和监督的模型。我们发现，虽然监督模型可以识别包含惩罚的句子具有良好的准确性，但基于规则的方法在完整的APE任务上优于它们。最后，我们对我们数据集中的量刑模式进行了初步分析，并分析了常见模型的错误，指出了未来工作的方向，例如区分缓刑和实际监禁处罚。我们将根据要求提供所有资源，包括数据，注释和第一个基准模型。
2021-10-24 cs.CL
Natural language processing for African languages
Saarland University（萨尔大学）
本文研究撒哈拉以南非洲低资源语言的NLP，通过构建高质量语料库、适配多语言预训练模型，并为21种语言开发命名实体识别和机器翻译标注数据集，系统评估了多种学习范式下的性能。
2025-06-30 cs.AI cs.CL
mGPT: Few-Shot Learners Go Multilingual
SaluteDevices；HSE University（高等经济大学）；University of Oslo（奥斯陆大学）；AIRI；NUST MISiS（国立科技研究大学“莫斯科国立钢铁合金学院”）；Institute of Linguistics RAS（俄罗斯科学院语言学研究所）
本文提出mGPT，两个基于GPT架构的多语言模型（13亿和130亿参数），在60种语言上训练，性能与XGLM相当，覆盖更多低资源语言，并开源了代码和模型。
2023-10-12 cs.AI cs.CL
Comparing Biases and the Impact of Multilingual Training across Multiple Languages
University of California, Santa Barbara（加州大学圣巴巴拉分校）；AWS AI Labs（AWS人工智能实验室）
本文比较了五种语言在情感分析任务中的偏见表现，发现多语言微调比预训练更易放大受保护群体间的预测差异，且各语言文化均偏爱主导群体。
2023-05-18 cs.CL
Language Models are Multilingual Chain-of-Thought Reasoners
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们评估的推理能力的大语言模型在多语种设置。我们引入了多语言小学数学（MGSM）基准，通过手动翻译GSM8K数据集的250个小学数学问题（Cobbe等人，2021年）分为10个不同类型的语言。我们发现，通过思维链提示解决MGSM问题的能力随着模型规模的增加而出现，并且模型具有非常强大的多语言推理能力，即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后，我们表明，多语言推理能力的语言模型扩展到其他任务，如常识推理和词的上下文语义判断。MGSM基准可在https://github.com/google-research/url-nlp上公开获得。
2022-10-06 cs.AI cs.CL cs.LG
MRL Parsing Without Tears: The Case of Hebrew
DICTA；Bar Ilan University（巴伊兰大学）
针对形态丰富语言句法分析的误差传播与高延迟问题，论文提出面向希伯来语的独立专家分类器“翻转流水线”，在 POS 标注和依存分析上达到 SOTA。
2024-03-11 cs.CL
Multilingual Persuasion Detection: Video Games as an Invaluable Data Source for NLP
角色扮演游戏（RPG）的视频游戏对话中有大量的文本。游戏开发者通常会对这些文本进行半注释。在本文中，我们从几个RPG中提取了一个多语种的说服性对话数据集。我们展示了这些数据在使用自然语言处理（NLP）模型（称为BERT）构建说服检测系统中的可行性。我们相信，视频游戏有很多未被利用的潜力，可以作为各种NLP任务的替代品。本文中描述的代码和数据可以在Zenodo上获得。
2022-07-10 cs.CL
HeRo: RoBERTa and Longformer Hebrew Language Models
针对希伯来语 NLP 资源不足的问题，本文发布大规模预训练数据集 HeDC4，并提出标准长度模型 HeRo 与长文档模型 LongHeRo，在多项任务上达到当前最优水平且资源公开。
2023-04-18 cs.AI cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University（乌普萨拉大学）
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性，XLM-RoBERTa（XLMR），多语言BERT（mBERT）和多语言蒸馏BERT（mDistilBERT）。我们在两个设置中比较这三个模型，微调和作为特征提取器。在第二种情况下，我们也尝试使用基于依赖性的信息。我们发现，微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT，而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳，但当用作特征提取器时，它给出了与其他模型相似的结果。我们提交了两个最好的系统，用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Beyond statistical significance: Quantifying uncertainty and statistical variability in multilingual and multitask NLP evaluation
Brandeis University（布兰迪斯大学）；Middle East Technical University（中东技术大学）
本文提出基于重采样的方法，用于量化多语言和多任务NLP评估中的不确定性与统计变异，以提高评估结果的可靠性。
2025-12-17 cs.CL
HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark
Bar-Ilan University（巴伊兰大学）；Webiks；Allen Institute for AI（人工智能研究院）
针对希伯来语NLP基准忽视语义理解的问题，构建了大规模抽取式问答基准HeQ，提出适配形态丰富语言的标注指南与评估指标，并发现标准指标不适用及形态句法任务与MRC性能低相关。
2025-08-03 cs.AI cs.CL
GLUECoS : An Evaluation Benchmark for Code-Switched NLP
Microsoft Research（微软研究院）；Microsoft R&D（微软研发）
语码转换是指在同一会话或话语中使用一种以上的语言。最近，在多个单语语料库上训练的多语言上下文嵌入模型在跨语言和多语言任务上显示出了有希望的结果。我们提出了一个评估基准，GLUECoS，代码切换语言，跨越几个NLP任务在英语-印地语和英语-西班牙语。具体而言，我们的评估基准包括从文本中的语言识别，词性标注，命名实体识别，情感分析，问答和一个新的任务码转换，自然语言推理。我们目前的结果，所有这些任务使用跨语言的词嵌入模型和多语言模型。此外，我们对人工生成的代码转换数据进行了微调。虽然多语言模型的表现明显优于跨语言模型，但我们的研究结果表明，在大多数任务中，在两种语言对中，对代码切换数据进行微调的多语言模型表现最好，这表明多语言模型可以进一步优化代码切换任务。
2020-05-14 cs.CL
What's so special about BERT's layers? A closer look at the NLP pipeline in monolingual and multilingual models
University of Groningen（格罗宁根大学）
窥视BERT的内部工作方式表明，它的层类似于经典的NLP管道，越来越复杂的任务集中在后面的层中。为了研究这些结果在多大程度上也适用于英语以外的语言，我们探索了荷兰语基于BERT的模型和荷兰语NLP任务的多语言BERT模型。此外，通过对词性标记的更深入分析，我们发现，在给定的任务中，信息也分布在网络的不同部分，管道可能不像看起来那么整齐。每个层都有不同的专业化，因此将来自不同层的信息组合起来可能更有用，而不是基于最佳整体性能选择单个层。
2020-10-12 cs.CL
A multilabel approach to morphosyntactic probing
University of Washington（华盛顿大学）
我们引入了一个多标签探测任务来评估多语言语言模型中词嵌入的形态句法表征。我们用多语言BERT演示了这一任务（Devlin等人，2018年），训练探针为七种不同形态复杂性的类型多样的语言：南非荷兰语，克罗地亚语，芬兰语，希伯来语，韩语，西班牙语和土耳其语。通过这个简单但强大的范例，我们表明，多语言BERT呈现许多形态句法特征容易和同时提取（例如，性别、语法格、代名词类型）。我们进一步评估探针上的六个“坚持”的语言在一个zero-shot传输设置：阿拉伯语，中文，马拉地语，斯洛文尼亚语，塔吉文，约鲁巴语。这种类型的探测还有一个额外的好处，那就是揭示了语言模型认为跨语言共享的语言属性。例如，探测器在识别被保留语言中的名词时表现良好，这表明多语言的BERT具有超越单个语言的名词概念;然而，形容词并非如此。
2021-04-17 cs.CL
An Approach for Resource Sharing in Multilingual NLP
在本文中，我们描述了一种方法，用于分析文件在德语和英语的共享资源池。对于德国文件的分析，我们使用一个文件套件，它支持用户的任务，如信息检索和信息抽取。文档套件的核心是基于我们的工具XDOC。现在我们也想利用这些方法来分析英语文档。为此，我们需要资源的多语言演示格式。这些资源必须转换成一个统一的格式，我们可以根据分析的文件设置有关语言特征的附加信息。在本文中，我们描述了这样一个基于XML的多语言资源交换模型的方法。
2003-04-23 cs.CL
grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP
研究针对现有多语言自然语言处理度量基于Unicode码点操作的问题，引入字素工具包，将度量扩展到字素簇操作，还改进了特定语言的字素处理，通过案例研究证明该工具包能更准确评估复杂脚本。
2026-07-27 cs.CL
QQ: A Language Metadata Toolkit for Multilingual NLP
QQ是一种用于统一语言元数据管理的轻量级Python工具包，通过统一的语言标识符映射和图结构，帮助多语言NLP研究中处理多种语言并探索语言关系。
2026-09-01 cs.CL
How Do Multilingual Encoders Learn Cross-lingual Representation?
The Johns Hopkins University（约翰斯·霍普金斯大学）
NLP系统通常需要支持多种语言。由于不同的语言具有不同的监督量，因此跨语言迁移通过从其他语言迁移而使具有很少或没有训练数据的语言受益。从工程角度来看，多语言NLP通过单个系统服务多种语言而有利于开发和维护。跨语言迁移和多语言自然语言处理都依赖于作为基础的跨语言表示。随着BERT彻底改变了表示学习和NLP，它也彻底改变了跨语言表示和跨语言迁移。多语言BERT是作为单语言BERT的替代品发布的，使用104种语言的维基百科数据进行训练。令人惊讶的是，在没有任何明确的跨语言信号的情况下，多语言BERT除了学习单个语言的表征之外，还学习跨语言的表征。这篇论文首先显示了这种令人惊讶的跨语言的有效性相比，现有技术的各种任务。自然，它提出了一系列问题，最值得注意的是这些多语言编码器如何学习跨语言表示。在探索这些问题的过程中，本文将分析多语言模型在高资源语言和低资源语言的各种设置中的行为。我们还研究了如何将不同的跨语言信号注入到多语言编码器中，以及使用这些模型的跨语言迁移的优化行为。它们一起提供了对多语言编码器在跨语言迁移上的更好理解。我们的发现将引导我们对多语言编码器和跨语言迁移提出改进建议。
2022-07-12 cs.CL
Cross-Linguistic Syntactic Evaluation of Word Prediction Models
Johns Hopkins University（约翰斯·霍普金斯大学）
一系列的研究已经得出结论，神经单词预测模型可以高准确度地区分语法和不语法的句子。然而，这些研究主要基于英语的单语证据。为了研究这些模型学习语法的能力如何因语言而异，我们引入了CLAMS（跨语言模型评估），这是一个用于单语言和多语言模型的语法评估套件。CLAMS包括英语，法语，德语，希伯来语和俄语的主谓一致挑战集，从我们开发的语法生成。我们使用CLAMS来评估LSTM语言模型以及单语言和多语言BERT。在不同语言中，单语LSTM在没有吸引子的依赖关系上达到了很高的准确性，而在对象关系子句之间的一致性上的准确性通常很差。在其他结构上，一致性的准确性通常在具有更丰富形态的语言中更高。多语言模型的表现通常不如单语言模型。多语言BERT在英语上表现出很高的句法准确性，但在其他语言上存在明显的不足。
2020-05-21 cs.CL
Beyond Good Intentions: When Does the Framing of Multilingual and Low-Resource NLP Research Become a Caricature?
Cardiff University（卡迪夫大学）；University of Alberta（阿尔伯塔大学）
本文考察近期NLP与ML论文，提出研究框架分析框架，发现低资源NLP研究常优先资源创建而非社区受益证据，最后给出评估断言的实用建议。
2026-09-01 cs.CL
How Good is Your Wikipedia? Auditing Data Quality for Low-resource and Multilingual NLP
Department of Computer Science, KU Leuven（库勒万大学计算机科学系）；CENTAL, UCLouvain（UCLouvain的CENTAL）；Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系）；Department of Computer and Information Science, Linköping University（利厄浦大学计算机与信息科学系）；Google Translate（谷歌翻译）
本文审计非英语 Wikipedia 的数据质量，通过多种过滤技术发现短文章与重复问题，并证明质量剪枝可在不降低性能的前提下提升低资源多语言 NLP 的训练效率。
2025-05-16 cs.CL
Multitask and Multilingual Modelling for Lexical Analysis
在自然语言处理（NLP）中，传统上一次考虑针对单个语言（例如英语）的单个任务（例如词性标注）。然而，最近的研究表明，利用任务之间以及语言之间的相关性是有益的。在这项工作中，我研究了相关性的概念，并探索如何利用它来构建需要较少手动注释数据的NLP模型。一个大的选择的NLP任务进行了调查，包括60种语言的大量语言样本。结果显示了联合多任务和多语言建模的潜力，并暗示了可以从这些模型中获得的语言见解。
2018-09-07 cs.CL
ICT-NLP at SemEval-2026 Task 3: Less Is More -- Multilingual Encoder with Joint Training and Adaptive Ensemble for Dimensional Aspect Sentiment Regression
State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一个轻量高效的多语言编码器系统，通过联合多语言多领域训练、有界回归转换和自适应集成策略，实现跨语言迁移和数据稀疏性缓解，实验显示在多个任务中表现优异。
2026-05-11 cs.CL
