RobeCzech: Czech RoBERTa, a monolingual contextualized language representation model
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了RobeCzech，一个在捷克数据上训练的单语RoberTa语言表示模型。RoBERTa是一种鲁棒优化的基于transformer的预训练方法。我们发现，RobeCzech大大优于同等大小的多语言和捷克训练的上下文语言表示模型，在所有五个评估的NLP任务中超过了当前的最先进水平，并在其中四个任务中达到了最先进的结果。RobeCzech模型在https://hdl.handle.net/11234/1-3691和https://huggingface.co/ufal/robeczech-base上公开发布。
2021-10-14 cs.CL
Constrained Density Matching and Modeling for Cross-lingual Alignment of Contextualized Representations
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
用单语数据预训练的多语言表示在不同语言之间表现出相当不平等的任务表现。以前的研究解决了这一挑战与资源密集型语境对齐，它假设了大量的并行数据的可用性，从而离开代表性不足的语言社区落后。在这项工作中，我们将先前对齐技术的数据饥饿归因于两个限制：（i）无法充分利用数据，以及（ii）这些技术没有经过适当的训练。为了解决这些问题，我们引入了基于监督和无监督密度的方法，称为Real-NVP和GAN-Real-NVP，由Normalizing Flow驱动，以执行对齐，两者都将多语言子空间的对齐分解为密度匹配和密度建模。我们通过验证标准对这些方法进行补充，以指导培训过程。我们的实验包括16个比对，包括我们的方法，在6个语言对，合成数据和5个NLP任务中进行评估。我们证明了我们的方法在有限的情况下，没有并行数据的有效性。首先，我们在2万个并行数据（句子）上训练的监督方法大多超过了在超过10万个并行句子上训练的Joint-Align和InfoXLM。其次，并行数据可以被删除，而不会牺牲性能时，我们的无监督的方法集成在我们的自举过程，这是理论上的动机，以强制平等的多语言子空间。此外，我们证明了验证标准在指导监督训练的验证数据上的优势。
2022-09-18 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA（洛林计算机科学及其应用实验室）；Posos（Posos公司）
一些基于transformer的模型可以执行跨语言迁移学习：这些模型可以在一种语言的特定任务上进行训练，并在另一种语言的相同任务上给出相对较好的结果，尽管只在单语任务上进行了预训练。但是，对于这些基于transformer的模型是否能够跨语言学习通用模式，目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明，我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明，基于多语言transformer的模型的一些内层优于其他显式对齐的表示，根据更严格的多语言对齐定义，甚至更是如此。
2022-07-19 cs.CL
Genre as Weak Supervision for Cross-lingual Dependency Parsing
IT University of Copenhagen（哥本哈根信息技术大学）
最近的工作表明，单语掩蔽的语言模型学习表示数据驱动的语言变化的概念，可用于针对域的训练数据选择。数据集类型标签已经经常可用，但在跨语言设置中仍然很大程度上未被探索。我们利用这种流派元数据作为一个弱的监督信号，有针对性的数据选择zero-shot依存句法分析。具体来说，我们将树库级别的体裁信息投影到更细粒度的句子级别，目标是放大隐式存储在无监督上下文表示中的信息。我们证明，体裁是可恢复的多语言的上下文嵌入，它提供了一个有效的信号，在跨语言的训练数据选择，zero-shot方案。对于12个低资源语言树库，其中6个仅用于测试，我们的特定类型方法显著优于竞争基线以及最近的基于嵌入的数据选择方法。此外，基于体裁的数据选择为这些目标语言中的三种提供了新的最先进的结果。
2021-09-10 cs.CL
Cross-lingual Alignment vs Joint Training: A Comparative Study and A Simple Unified Framework
Carnegie Mellon University（卡内基梅隆大学）
学习文本的多语言表示已被证明是许多跨语言迁移学习任务的成功方法。学习这种表示有两种主要的范式：（1）对齐，将不同的独立训练的单语表示映射到共享空间中，以及（2）联合训练，直接使用单语和跨语言目标联合学习统一的多语言表示。在本文中，我们首先对使用这两种方法在不同的跨语言任务中学习的表征进行直接比较。我们的实证结果揭示了这两种方法的优点和缺点，并表明对齐与联合训练的相对性能是依赖于任务的。从这个分析出发，我们提出了一个简单而新颖的框架，结合了这两个以前相互排斥的方法。大量的实验表明，我们提出的框架的局限性，这两种方法，并优于现有的方法在MUSE双语词典归纳（BLI）基准。我们进一步表明，这个框架可以推广到上下文的表示，如多语言BERT，并产生国家的最先进的结果的CoNLL跨语言NER基准。
2020-02-18 cs.CL cs.LG
Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity
University of Cambridge（剑桥大学）；Technion, IIT（以色列理工学院）；CNRS（法国国家科学研究中心）；ENS/PSL（巴黎高等师范学院/巴黎文理研究大学）；Univ. Sorbonne nouvelle/USPC（新索邦大学/巴黎索邦西岱大学）
我们介绍了Multi-SimLex，这是一个大规模的词汇资源和评估基准，涵盖了12种类型不同的语言的数据集，包括主要语言（例如，普通话、西班牙语、俄语）以及资源较少的语言（例如，威尔士语、斯瓦希里语）。每个语言数据集都注释了语义相似性的词汇关系，包含1，888个语义对齐的概念对，提供了词类（名词，动词，形容词，副词），频率等级，相似性间隔，词汇字段和具体性水平的代表性覆盖范围。此外，由于跨语言的概念对齐，我们提供了一套66跨语言语义相似性数据集。由于其广泛的规模和语言覆盖范围，Multi-SimLex为实验评估和分析提供了全新的机会。在其单语和跨语言基准测试中，我们评估和分析了各种最新的单语和跨语言表示模型，包括静态和上下文词嵌入（如fastText，M-BERT和XLM），外部通知的词汇表示，以及完全无监督和（弱）监督的跨语言词嵌入。我们还提供了一个逐步的数据集创建协议，用于为其他语言创建一致的多Simlex风格的资源。我们通过一个网站做出了这些贡献--公开发布Multi-SimLex数据集，它们的创建协议，强大的基线结果，以及有助于指导多语言词汇语义和表示学习未来发展的深入分析--这将鼓励社区努力将Multi-Simlex进一步扩展到更多语言。如此大规模的语义资源可以激发跨语言NLP的进一步发展。
2020-03-10 cs.CL
Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
词对齐是自然语言处理的基本工具，其目的是提取源语句和目标语句之间的词典翻译等价物。最近在这方面的研究已经取得了实质性的改进，从预先训练的多语言语言模型的上下文嵌入生成对齐。然而，我们发现，现有的方法捕捉很少的输入句子对之间的相互作用，这严重降低了词对齐的质量，特别是在单语背景下的歧义词。为了解决这个问题，我们提出了交叉对齐模型之间的输入句子对，其中源和目标句子分别编码与共享的自注意模块在浅层，而跨语言的相互作用显式构建的交叉注意模块在上层之间的深层相互作用。此外，为了有效地训练我们的模型，我们提出了一个两阶段的训练框架，在第一阶段中，模型是用一个简单的翻译语言建模（TLM）目标训练，然后在第二阶段中用一个自监督对齐目标进行微调。实验结果表明，提出的交叉对齐实现了国家的最先进的（SOTA）的性能上的五个语言对。
2022-10-09 cs.CL
Refining Dimensions for Improving Clustering-based Cross-lingual Topic Models
Yale University（耶鲁大学）；National Sun Yat-sen University（国立中山大学）
针对基于聚类的跨语言主题模型受语言相关维度影响的问题，提出SVD维度细化组件，有效中和负面影响，在三个数据集上优于现有最先进模型。
2024-12-17 cs.CL cs.IR cs.LG
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换（CS）是自动语音识别（ASR）的一个难题，尤其是基于字符的模型。由于组合选择了多种语言中的字符，基于字符的模型的结果会受到音素重复的影响，从而导致语言不一致的拼写。我们提出了上下文连接时间分类（CCTC）的损失，以鼓励拼写错误的字符为基础的非自回归ASR，允许更快的推理。CCTC损失条件的主要预测的预测上下文，以确保语言的拼写一致性。与现有的基于CTC的方法相比，CCTC损失不需要帧级对齐，因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比，我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
Bertinho: Galician BERT Representations
Universidade da Coruña（科鲁尼亚大学）；CITIC；CiTIUS, Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学CiTIUS）
本文提出了一种单语BERT模型。我们遵循最近的趋势，这表明即使对于相对低资源的语言，也可以构建强大的单语BERT模型，同时表现优于著名的官方多语言BERT（mBERT）。更具体地说，我们发布了两个单语加利西亚语BERT模型，分别使用6层和12层Transformer层构建;使用有限的资源进行训练（在24 GB的单个GPU上约有4500万个令牌）。然后，我们提供了一个详尽的评估上的一些任务，如POS标记，依存句法分析和命名实体识别。为此，所有这些任务都被转换为纯序列标记设置，以便运行BERT，而无需在其上包含任何额外的层（我们仅使用输出分类层将上下文表示映射到预测标签）。实验表明，我们的模型，特别是12层的一个，在大多数任务的mBERT的结果优于。
2021-03-25 cs.CL
Evaluating Contextualized Language Models for Hungarian
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control（计算机科学与控制研究所）；Alfréd Rényi Institute of Mathematics（阿尔弗雷德·莱尼数学研究所）
我们提出了一个扩展的上下文语言模型匈牙利语的比较。我们比较hu BERT，匈牙利模型对4种多语言模型，包括多语言BERT模型。我们通过三个任务，形态探测，词性标注和NER评估这些模型。我们发现huBERT比其他模型更好，通常是大幅度的，特别是在全局最优值附近（通常在中间层）。我们还发现，huBERT倾向于为一个单词生成更少的子词，并且使用最后一个子词进行令牌级任务通常比使用第一个子词更好。
2021-02-22 cs.CL
ViCGCN: Graph Convolutional Network with Contextualized Language Models for Social Media Mining in Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
针对越南社交媒体文本分类中的不平衡与噪声问题，提出ViCGCN方法，结合PhoBERT上下文嵌入与图卷积网络，在三个基准数据集上优于13个基线模型，最高提升6.21%。
2023-09-06 cs.CL
TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect
iCompass；InstaDeep
预训练的上下文文本表示模型学习自然语言的有效表示，使其机器可理解。在注意力机制取得突破后，新一代的预训练模型被提出，并在Transformer的引入后取得了良好的性能。Transformers的双向编码器表示（BERT）已成为语言理解的最先进的模型。尽管他们取得了成功，但大多数可用的模型都是在印欧语言上训练的，然而对于代表性不足的语言和方言的类似研究仍然很少。在本文中，我们调查的可行性培训单语transformer为基础的语言模型的代表性不足的语言，特别是突尼斯方言。我们在情感分析任务、方言识别任务和阅读理解问答任务上评估了我们的语言模型。我们表明，使用嘈杂的网络抓取数据，而不是结构化数据（维基百科，文章等）。对于这种非标准化的语言更方便。此外，结果表明，一个相对较小的网络爬行数据集导致的性能是一样好，使用较大的数据集。最后，我们最好的TunBERT模型在所有三个下游任务中达到或改进了最先进的水平。我们发布了TunBERT预训练模型和用于微调的数据集。
2021-11-25 cs.CL cs.LG
Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
Ghent University（根特大学）；imec；KU Leuven（鲁汶大学）；BeCode asbl；Internet and Data Science Lab (IDLab)（互联网与数据科学实验室（IDLab））；AI & Data Bootcamp Ghent 2024（2024年根特人工智能与数据训练营）
本文提出跨分词迁移策略，通过源语言语义相似分词嵌入的加权平均初始化目标语言嵌入，实现高资源大语言模型向低资源语言的适配，并以Tweeties和Hydra系列模型验证其在多语言下游任务及零样本鞑靼语机器翻译中的有效性。
2024-08-08 cs.CL cs.LG
Shared Doubt: Zero-Shot Cross-Lingual Confidence Estimation for Language Models
ILLC, University of Amsterdam（阿姆斯特丹大学ILLC）；ILCC, University of Edinburgh（爱丁堡大学ILCC）
研究多语言大语言模型是否编码共享的、可跨语言迁移的置信度特征，通过轻量级线性探针从中间表示直接预测答案正确性，实现零样本跨语言泛化，并发现置信度特征集中在中间层。
2026-09-29 cs.AI cs.CL cs.LG
Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning
Google Research（谷歌研究院）
实现所有人类语言对之间的通用翻译是机器翻译（MT）研究的圣杯。虽然最近在大规模多语言机器翻译方面取得的进展离实现这一目标又近了一步，但很明显，简单地通过在更多并行数据上进行训练来扩展多语言机器翻译系统是不可扩展的，因为低资源和非英语为中心的语言对的标记数据的可用性非常有限。为此，我们提出了一种实用的方法来构建一个多语言MT模型，涵盖数百种语言，使用监督和自我监督的目标的混合物，这取决于不同语言对的数据可用性。我们证明了这两种训练范式之间的协同作用使模型能够在零资源环境中产生高质量的翻译，甚至超过了中低资源语言的监督翻译质量。我们进行了大量的实验，以了解多语言监督的程度，域不匹配以及并行和单语数据量对我们的自监督多语言模型质量的影响。为了证明该方法的可扩展性，我们用200多种语言训练模型，并在几种以前研究不足的语言上展示了零资源翻译的高性能。我们希望我们的发现能够成为实现下一千种语言翻译的垫脚石。
2022-01-13 cs.CL cs.LG
SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文提出自监督子词分割方法SelfSeg，仅需单语词典并通过动态规划优化词生成概率，在低资源等场景下显著提升了机器翻译的BLEU分数。
2023-07-31 cs.CL
Rewrite the News: Tracing Editorial Reuse Across News Agencies
本文研究多语言新闻中句子级文本重用，提出弱监督方法检测跨语言重用，分析重用内容在文章中的位置，揭示非字面重用现象。
2026-03-31 cs.CL cs.IR
Lexicalized Constituency Parsing for Middle Dutch: Low-resource Training and Cross-Domain Generalization
Universiteit Gent, Université Paris Cité \& Laboratoire de linguistique formelle
本文提出基于变压器的神经解析器用于中古荷兰语成分句法解析，通过联合训练高资源语言提升F1分数，并探索特征分离技术以增强跨领域泛化能力。
2026-01-11 cs.CL
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy
CiTIUS – Research Center in Intelligent Technologies（CiTIUS——智能技术研究中心）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出了一个多语种的研究，在上下文中的词义表征。我们评估的能力，静态和上下文模型，以充分代表不同的词汇语义关系，如同音异义和同义。为此，我们创建了一个新的多语言数据集，使我们能够对多个因素进行受控评估，例如周围环境的影响或单词之间的重叠，传达相同或不同的含义。通过对四种情景的系统评估表明，基于Transformers的最佳单语模型可以充分消除上下文中的同音异义词。然而，由于它们严重依赖于上下文，这些模型无法表示在相似句子中出现的具有不同含义的单词。实验用加利西亚语、葡萄牙语、英语和西班牙语进行，数据集（有3,000多个评估项目）和新模型都随本研究免费发布。
2021-06-29 cs.CL
Exploring Linguistic Properties of Monolingual BERTs with Typological Classification among Languages
University of Rome Tor Vergata（罗马第二大学）；University for foreigners of Siena（锡耶纳外国人大学）；Campus Bio-Medico University of Rome（罗马校园生物医学大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出利用语言类型学相似性逐层比较单语 BERT，并借助 Centered Kernel Alignment 分析权重矩阵，发现句法相似性反映在中间层，且语义等价文本上的领域自适应会增强该相似性。
2024-02-29 cs.AI cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们通过提出与语言无关的多任务训练方法来解决语言理论的数据稀缺和局限性。首先，我们介绍了一种基于元学习的方法，Meta迁移学习，其中信息是明智地从高资源的单语语音数据提取到代码转换域。Meta迁移学习通过学习以多任务学习方式学习来使模型快速地从多个单语任务适应代码切换任务。其次，我们提出了一种新的多语言元嵌入方法，通过获取在其他语言中学到的有用知识，学习密切相关的语言的共性和利用词汇组合来有效地表示代码转换数据。与上下文化的预训练多语言模型相比，该方法更有效。第三，我们引入多任务学习来整合句法信息作为迁移学习策略到语言模型，并学习在哪里进行代码切换。为了进一步缓解上述问题，我们提出了一个数据增强方法，使用指针生成，一个神经网络使用复制机制，教模型的代码切换点从单语平行句子。我们理清了对语言学理论的需求，该模型通过关注输入单词并对齐平行单词来捕获代码转换点，而不需要任何单词对齐或选区解析器。更重要的是，该模型可以有效地用于语法不同的语言，它优于基于语言学理论的模型。
2021-04-13 cs.CL cs.LG eess.AS
Tik-to-Tok: Translating Language Models One Token at a Time: An Embedding Initialization Strategy for Efficient Language Adaptation
Ghent University（根特大学）；imec（imec 微电子研究中心）；KU Leuven（鲁汶大学）
针对中低资源语言预训练数据不足的问题，提出基于一对多词元映射的嵌入初始化模型转换策略，将高资源单语模型适配到目标语言，在荷兰语、弗里斯兰语下游任务上取得SOTA，降低训练的数据与时间成本。
2023-10-05 cs.AI cs.CL
When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages
Inria（法国国家信息与自动化研究所）；Saarland University（萨尔大学）；DFKI GmbH（德国人工智能研究中心）
针对相关高低资源语言间数据不平衡导致无监督双语词典归纳性能极差的问题，提出仅需在高资源语言掩码模型上推理的新方法，在多种印度低资源语言上验证了有效性并发布词典。
2024-03-25 cs.CL
Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
预先训练的上下文表示为许多下游任务提供了巨大的成功，包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益，但在跨语言信息检索（CLIR）的情况下，多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中，由于词汇输入相同，模型更容易识别出出现在文档中的查询词。然而，在将不同语言的单词投影到同一超空间的多语言预训练模型中，模型倾向于将查询词转换为相关词，即，出现在相似上下文中的术语，除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题，我们提出了一种新的混合注意力Transformer（MAT），它结合了外部的字级知识，如字典或翻译表。我们设计了一个三明治式的架构，将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵，具有MAT的模型能够关注输入序列中的互译词。实验结果表明，外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations
Comcast Applied AI（康卡斯特应用人工智能部门）；University of Waterloo（滑铁卢大学）
本文提出逻辑Bradley-Terry探针，从LLM隐藏向量中探测词对偏好偏差，发现模型即使拒绝回答也隐式存在国籍、政治、宗教和性别等社会人口统计学偏差，且指令微调未必能消除这些偏差。
2023-11-30 cs.CL
Does Chinese BERT Encode Word Structure?
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
语境化表示为广泛的NLP任务提供了显着改善的结果。许多工作一直致力于分析的代表性模型，如BERT捕获的功能。现有的研究发现，语法，语义和词义知识编码在BERT。然而，很少有工作调查的字为基础的语言，如中文的字的功能。本文采用注意力权重分布统计和探测任务对中文BERT进行研究，发现（1）词信息被BERT捕获;（2）词级特征主要集中在中间表征层;（3）BERT的下游任务对词特征的使用存在差异，其中词性标注和组块对词特征的依赖程度最高，而自然语言推理对词特征的依赖程度最低。
2020-10-15 cs.CL
GrEmLIn: A Repository of Green Baseline Embeddings for 87 Low-Resource Languages Injected with Multilingual Graph Knowledge
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
本文提出GrEmLIn，一个针对87种低资源语言的绿色静态基线嵌入库，通过整合多语言图知识增强GloVe嵌入，在推理时无需参数且性能可与大型模型媲美。
2025-01-27 cs.CL
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学语言与语音处理中心）
针对现有基准语言覆盖不足且侧重高阶任务的问题，提出ChiKhaPo基准，包含8个子任务，覆盖2700+种语言，评估LLM的词汇理解与生成能力，发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
Multilingual Translation with Extensible Multilingual Pretraining and Finetuning
Facebook AI（Facebook 人工智能研究院）
最近的工作证明了多语言预训练的潜力，即创建一个可用于不同语言的各种任务的模型。以前在多语言预训练方面的工作已经证明，机器翻译系统可以通过对bitext进行微调来创建。在这项工作中，我们展示了可以通过多语言微调创建多语言翻译模型。预先训练的模型不是在一个方向上进行微调，而是同时在多个方向上进行微调。与从头开始训练的多语言模型相比，从预训练模型开始融合了大量未标记单语数据的好处，这对于没有双文本的低资源语言尤为重要。我们证明了预训练的模型可以扩展到包含其他语言而不会损失性能。我们将mBART中的语言数量增加了一倍，以支持50种语言的多语言机器翻译模型。最后，我们创建了ML50基准测试，涵盖了低、中和高资源语言，通过标准化训练和评估数据来促进可重复的研究。在ML50上，我们证明了多语言微调比最强的基线（无论是从头开始的多语言还是双语微调）平均提高了1 BLEU，而从从头开始的双语基线平均提高了9.3 BLEU。
2020-08-02 cs.CL
Multilingual Test-Time Scaling via Initial Thought Transfer
IIT Delhi（德里印度理工学院）
该研究首次系统探究多语言场景下的测试时缩放，发现不同语言增益差异大且模型易中途转英语，进而提出无监督轻量的MITT前缀调优方法，迁移高资源推理前缀提升各语言尤其是低资源语言的推理性能。
2025-05-21 cs.CL
Language Surgery in Multilingual Large Language Models
SEACrowd；Kreasof AI；Universitas Indonesia（印度尼西亚大学）；MBZUAI；Capital One；AI Singapore（AI新加坡）；Cohere
本文研究了多语言大语言模型中间层的表征对齐现象，提出ITLC方法通过潜在注入实现精确的跨语言控制，有效缓解语言混淆问题并保持语义完整性。
2025-10-11 cs.CL
Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；TU Dresden（德累斯顿工业大学）；FZ Jülich（于利希研究中心）
本研究首次系统探究多语言大语言模型指令微调的语言构成影响，发现平行语料微调可提升跨语言指令遵循能力最高9.9%，且7B多语言模型反例证伪浅层对齐假说，还验证了人工与GPT-4评估的一致性。
2024-10-10 cs.CL
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov（布拉索夫Transilvania大学）；Siemens Healthineers（西门子医疗）
面向 BioASQ MultiCardioNER，本研究评估多种通用领域单语与多语言 BERT 模型，用于英、西、意三语心脏病学文本的疾病和药物 NER，并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of Rochester（罗切斯特大学）；Monash University（莫纳什大学）；Swinburne University of Technology（斯威本科技大学）
摘要文本摘要的当代工作主要集中在高资源语言，如英语，主要是由于低/中资源的数据集的可用性有限。在这项工作中，我们提出了XL-Sum，一个全面而多样化的数据集，包括来自BBC的100万个专业注释的文章摘要对，使用一组精心设计的语法提取。该数据集涵盖了从低资源到高资源的44种语言，其中许多语言目前没有公共数据集。XL-Sum是高度抽象的，简洁的，高质量的，正如人类和内在的评价所表明的那样。我们使用XL-Sum对mT5进行了微调，这是一种最先进的预训练多语言模型，并在多语言和低资源摘要任务上进行了实验。与使用类似的单语数据集获得的结果相比，XL-Sum诱导了竞争性结果：我们在10种语言上显示出高于11个ROUGE-2分数，其中一些超过了15，如通过多语言训练获得的。此外，单独进行低资源语言的培训也可以提供竞争力。据我们所知，XL-Sum是从单一来源收集的样本数量和覆盖的语言数量方面最大的抽象摘要数据集。我们正在发布我们的数据集和模型，以鼓励未来对多语言摘要的研究。这些资源可在\url{https://github.com/csebuetnlp/xl-sum}上找到。
2021-06-25 cs.CL
IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation
Data ScienceTech Institute（数据科学技术学院）
提出IdiomX，一个大规模多语言习语基准，通过可复现的多阶段流水线构建，涵盖190K+上下文示例和12K+习语，定义四项任务（检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释），实验表明上下文Transformer模型提升检测，混合检索重排序增强单语和跨语言检索，习语解释可建模为语义检索任务。
2026-04-25 cs.AI cs.CL cs.IR
Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought
OneLineAI；KISTI；Oracle AI；Korea University（韩国大学）；Modulabs；Seoul National University（首尔国立大学）；University College Dublin（都柏林大学学院）；Yonsei University（延世大学）
本文提出语言混合的推理方法，通过多语言推理提升模型性能，展示在韩国案例研究中达到最先进的表现。
2026-01-13 cs.CL
The Impact of Language Mixing on Bilingual LLM Reasoning
University of Pennsylvania（宾夕法尼亚大学）
本研究探究中英双语大语言模型推理中的语码混合现象，明确RLVR是其关键训练成因，证实语码混合是有益的策略性推理行为，还提出用轻量探针引导解码以提升推理准确率。
2025-09-30 cs.AI cs.CL cs.LG
Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study
HiTZ Center - Ixa, University of the Basque Country EHU（希茨中心 - Ixa，巴斯克国家大学EHU）
本研究通过分析指令翻译、单语与多语言监督及模型规模等策略，探讨了在有无领域内数据情况下开发多语言LLM评判者的方法，并揭示了领域内数据可用时微调小模型可媲美专有模型、零样本大模型在域外更有效等关键权衡。
2026-05-27 cs.AI cs.CL
DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Bytedance Speech（字节跳动语音）；Beijing Bytedance Technology Co Ltd（北京字节跳动科技有限公司）
针对多语言ASR中data2vec多层平均导致语言和音素特征耦合的问题，提出DQ-Data2vec，利用指定簇数的K-means量化器解耦浅层语言与中层音素信息，在CommonVoice上PER和WER分别相对降低9.51%和11.58%。
2025-01-23 cs.CL cs.SD eess.AS
Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
Indian Institute of Technology Delhi（德里印度理工学院）
该研究提出MLNeedle测试评估多语言LLM的长上下文信息检索能力，发现模型性能受语言类型、信息位置影响显著，且长上下文下跨语言检索表现不佳，为相关评估提供了参考。
2024-08-19 cs.CL cs.LG
On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文研究层剪枝在低资源语言BERT模型中的效果，发现剪枝模型可在减少层数的同时保持性能并优于同规模从头训练模型，其中中间层剪枝策略尤为有效。
2025-01-01 cs.CL cs.LG
