How multilingual is Multilingual BERT?
Google Research（谷歌研究院）
在本文中，我们证明了由Devlin等人（2018）发布的多语言BERT（M-BERT）作为从104种语言的单语语料库中预训练的单语言模型，在zero-shot跨语言模型迁移方面表现得非常出色，其中一种语言中的特定于任务的注释用于微调模型以用于另一种语言的评估。为了理解为什么，我们提出了大量的探索实验，表明转移是可能的，甚至在不同的脚本语言，转移类型相似的语言之间的效果最好，单语语料库可以训练模型的代码转换，该模型可以找到翻译对。从这些结果中，我们可以得出结论，M-BERT确实创建了多语言表示，但这些表示表现出影响某些语言对的系统缺陷。
2019-06-04 cs.AI cs.CL cs.LG
One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
我们介绍了一种多语言语音合成的方法，它使用上下文参数生成的元学习概念，并使用更多的语言和更少的训练数据比以前的方法产生自然的多语言语音。我们的模型基于Tacotron 2，具有完全卷积的输入文本编码器，其权重由单独的参数生成器网络预测。为了增强语音克隆，该模型使用了一个带有梯度反转层的对抗性说话者分类器，该梯度反转层可以从编码器中删除特定于说话者的信息。我们安排了两个实验，使用不同水平的跨语言参数共享将我们的模型与基线进行比较，以评估：（1）在少量数据上训练时的稳定性和性能，（2）发音准确性和代码切换合成的语音质量。在训练中，我们使用了CSS10数据集和基于五种语言的通用语音录音的新的小数据集。我们的模型被证明可以有效地跨语言共享信息，并且根据主观评估测试，它产生比基线更自然和准确的码切换语音。
2020-08-03 cs.CL cs.LG eess.AS
Latent Mechanisms of Language Control in Multilingual Language Models
Princeton University（普林斯顿大学）
本研究对比三种多语言潜在变量识别方法，引入两个多语言基准，在Gemma-2-2B和Qwen3-4B上验证FreqSel性能最优，发现语言控制潜在变量存在冗余性。
2026-09-02 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Improving Zero-Shot Cross-Lingual Transfer via Progressive Code-Switching
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对无节制语码转换损害跨语言迁移能力的问题，提出渐进式语码转换方法，通过难度度量、可控生成与训练调度实现从易到难的样本增强，在10种语言的3项零样本跨语言任务上取得最优结果。
2024-06-19 cs.CL cs.LG
Enhancing Multilingual Language Models for Code-Switched Input Data
MIT（麻省理工学院）
本文研究通过在Spanglish推文上预训练mBERT，提升模型在词性标注、情感分析、命名实体识别和语言识别等任务上的表现，并发现英语和西班牙语嵌入更同质化，验证了多语言模型适配语码转换输入的潜力。
2025-03-11 cs.CL
Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）
针对非英语提示下 LLM 代码生成质量不均的问题，提出结合 LASER 与神经投影的零样本跨语言迁移方法，仅用英语训练即可提升多语言代码生成质量。
2025-05-09 cs.CL
Automatic Identification of Motivation for Code-Switching in Speech Transcripts
The Harker School（哈克学校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
语码转换或语言之间的转换有多种原因，并具有重要的语言学、社会学和文化意义。使用多种语言的人会出于各种目的进行语码转换，如表达情感、借用术语、开玩笑、引入新话题等。语码转换的原因可能对分析很有用，但并不明显。为了纠正这种情况，我们注释了一个新的数据集的动机在西班牙语-英语的代码转换。我们建立了第一个系统（据我们所知）来自动识别说话者在日常讲话中进行代码转换的各种动机，在所有动机中实现了75%的准确率。此外，我们表明，该系统可以适应新的语言对，实现66%的准确率对一个新的语言对（印度语-英语），证明了跨语言的适用性，我们的注释计划
2022-11-30 cs.CL
HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization
University of Copenhagen（哥本哈根大学）；Baidu Inc.（百度公司）
本文提出了HumanEval-XL，一个连接23种自然语言和12种编程语言的大规模多语言代码生成基准，包含22,080个提示，填补了多语言LLMs评估的空白。
2024-03-24 cs.CL cs.PL cs.SE
Multilingual BERT Post-Pretraining Alignment
IBM Watson；MIT-IBM Watson AI Lab
我们提出了一种简单的方法来调整多语言上下文嵌入作为后预训练步骤，以提高预训练模型的zero-shot跨语言可移植性。使用并行数据，我们的方法通过最近提出的翻译语言建模目标，以及通过对比学习和随机输入洗牌在句子层面上对齐嵌入。在对下游任务进行微调时，我们还使用英语执行高级代码切换。在XNLI上，我们的最佳模型（从mBERT初始化）在zero-shot设置中比mBERT提高了4.7%，并在使用不到18%的相同并行数据和31%的模型参数的同时，实现了与XLM相当的结果。在MLQA上，我们的模型优于XLM-R_Base，它的参数比我们的多57%。
2021-04-10 cs.CL
Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation
Google Research（谷歌研究院）
多语言神经机器翻译模型被训练以最大化从多个语言对提取的示例的混合的可能性。应用于这些模型的主要归纳偏差是跨语言的共享词汇和共享参数集;从不同语言对提取的示例对应的输入和标签可能仍然驻留在不同的子空间中。在本文中，我们介绍了多语言交叉编码器-解码器（mXEncDec）融合语言对在一个实例级。我们的方法插值实例从不同的语言对联合“交叉的例子”，以鼓励共享输入和输出空间的语言。为了确保更好地融合的例子在多语言环境中，我们提出了几种技术，以提高不同语言的例子插值下严重的数据不平衡。在大规模WMT多语言数据集上的实验表明，我们的方法显着提高了英语到许多，多到英语和zero-shot翻译任务的质量（从+0.5 BLEU点到+5.5 BLEU点）。代码切换集的结果证明了我们的方法能够提高模型对非分布多语言示例的泛化能力。我们还进行定性和定量的代表性比较，分析我们的方法在代表性水平的优势。
2022-03-15 cs.AI cs.CL
MINERS: Multilingual Language Models as Semantic Retrievers
Capital One；Brown University（布朗大学）；University College London（伦敦大学学院）
本文提出MINERS基准，全面评估多语言语言模型在200多种语言的语义检索任务中的能力，发现仅检索语义相似嵌入即可媲美最先进方法且无需微调。
2024-09-24 cs.CL
Code-Switching with Word Senses for Pretraining in Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Sapienza University of Rome（罗马第一大学）
针对NMT预训练中忽略词义导致偏差的问题，提出WSP-NMT方法，利用知识库的词义信息进行端到端预训练，显著提升翻译质量并在DiBiMT基准上取得细粒度准确率提升。
2023-10-21 cs.CL
Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders
Indian Institute of Science Education and Research（印度科学教育与研究学院）；Microsoft Corporation（微软公司）
研究探讨多语言编码器对混合语言文本的内部表示，发现标准模型在英语和印地语间表现良好，但混合文本与任一语言连接松散。通过训练混合数据可提升英语混合文本对齐，但损害英语-印地语对齐。引入三语后训练目标，使混合文本表示更接近构成语言，提升跨语言理解。
2026-10-02 cs.CL
Constructing Multilingual Code Search Dataset Using Neural Machine Translation
The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究使用神经机器翻译模型构建了包含四种自然语言和四种编程语言的多语言代码搜索数据集，实验表明数据规模比翻译质量对模型性能的影响更大。
2023-06-27 cs.CL cs.SE
A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models
Scale AI；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；University of Virginia（弗吉尼亚大学）
综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。
2026-06-25 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University（天津大学）
在跨所有语言完全共享参数的多语言神经机器翻译模型中，通常使用人工语言令牌来引导翻译成期望的目标语言。然而，最近的研究表明，前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向，特别是在zero-shot翻译中。为了缓解这个问题，我们提出了两种方法，语言嵌入体现和语言感知的多头注意力，学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点，目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部，以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明，语言感知的多头注意力对监督翻译和zero-shot翻译都有好处，并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
CoVoSwitch: Machine Translation of Synthetic Code-Switched Text Based on Intonation Units
Yale University（耶鲁大学）
针对代码混合数据稀缺问题，提出基于语调单位合成代码混合文本的CoVoSwitch数据集，评估多语言模型翻译性能，发现混合翻译优于单语，且低资源语言译入英语获益最大。
2024-07-19 cs.AI cs.CL eess.AS
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
Representativeness as a Forgotten Lesson for Multilingual and Code-switched Data Collection and Preparation
Universiteit Gent（根特大学）；Microsoft Research India（微软研究院印度）；Brown University（布朗大学）
本文通过分析68个语码转换数据集，揭示现有数据过度集中于英语且忽视地点、社会人口和语域差异等代表性问题，并提出改进清单以指导未来数据收集与准备。
2023-10-31 cs.CL
IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators
Technische Universität Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；CAIDAS, University of Würzburg（维尔茨堡大学CAIDAS机构）
针对现有代码语言模型多语言能力研究不足、仅依赖源代码预训练的问题，本研究构建含近400万样本的SLTrans并行数据集，利用编译器中间表示对不同规模基础模型进行持续训练，得到的IRCoder在多类代码任务上实现显著一致的性能提升。
2024-04-15 cs.AI cs.CL cs.PL
Do Multilingual Encoders Produce Language-Consistent Semantic IDs?
Amazon（亚马逊）；Rutgers University（罗格斯大学）
本文研究多语言编码器是否能为不同语言的产品生成一致的语义ID，发现多语言暴露和平衡码本使用不足以保证跨语言SID一致性。
2026-10-02 cs.CL cs.IR
Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
The University of Tokyo（东京大学）
本研究通过跨四种语言的句子级多语言代码切换指令微调，验证了多语言代码切换能有效提升大语言模型的多语言理解性能，超越了传统双语迁移设置。
2026-05-28 cs.AI cs.CL
MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
Northeastern University（东北大学）
在zero-shot场景中构建对话生成系统仍然是一个巨大的挑战，因为对话生成中的典型zero-shot方法严重依赖于大规模预训练的语言生成模型，例如GPT-3和T5。由于缺乏相应的平行对话语料库，使得在没有繁琐语言模型的情况下实现zero-shot对话生成的研究受到限制。在本文中，我们提出了一个简单但有效的多语言学习框架Zero-shot对话生成（称为MulZDG），可以有效地将知识从大规模训练样本的英语语料库转移到零样本的非英语语料库。此外，MulZDG可以被看作是一种多语言数据增强方法，以提高资源丰富的语言的性能。首先，我们从单语英语语料库中随机抽取翻译话语，构建多语言语码转换对话数据集。然后利用MulZDG对语码转换数据集进行训练，得到一个统一的多语言对话模型。MulZDG可以在不同语言之间进行隐式语义对齐。在DailyDialog和DSTC 7数据集上的实验结果表明，MulZDG不仅在zero-shot情况下取得了较好的性能，而且大大提高了源语言的性能。
2022-08-18 cs.CL
Multilingual and code-switching ASR challenges for low resource Indian languages
Microsoft Corporation India（微软印度公司）
近来，人们对多语言自动语音识别（ASR）越来越感兴趣，其中语音识别系统通过利用多种语言中的少量标记语料库来迎合多种低资源语言。随着多语言在当今世界的普及，人们对语码转换的研究也越来越感兴趣。在语码转换中，多种语言在一个句子内或句子之间自由地互换。低资源多语言和语码转换ASR的成功通常取决于语言在声学、语言特征以及可用数据量方面的多样性，以及在构建ASR系统时如何仔细考虑这些因素。在这一挑战中，我们希望通过两个不同的子任务来构建多语言和代码转换ASR系统，这些子任务涉及总共七种印度语言，即印地语、马拉地语、奥迪亚语、泰米尔语、泰卢固语、古吉拉特语和孟加拉语。为此，我们提供了总计约600小时的转录语音数据，包括训练和测试集，在这些语言中，包括两个代码转换语言对，印地语-英语和孟加拉语-英语。我们还提供了一个基线配方的任务与WER为30.73%和32.45%的测试集的多语言和代码切换子任务，分别。
2021-04-01 cs.CL eess.AS
Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding
KAIST（韩国科学技术院）；Sogang University（西江大学）；NAVER AI Lab（NAVER AI实验室）
本文提出CSRT框架，通过合成最多混合10种语言的语码转换红队查询评估LLM安全性与多语言理解，实验显示其攻击效果较英文标准攻击提升46.7%。
2025-06-11 cs.AI cs.CL
CodeSwitch-Reddit: Exploration of Written Multilingual Discourse in Online Discussion Forums
University of Toronto（多伦多大学）
与几十年来对口语语码转换的研究不同，对多语言书面语的研究直到最近才引起人们的兴趣。关于书面语码转换的社会语言学基础仍然存在许多悬而未决的问题，而且由于缺乏适当的资源，进展受到限制。我们介绍了一个新颖的，大型的，多样化的书面代码转换产品数据集，从Reddit讨论平台上的多个双语社区的主题线程中策划，并探讨了迄今为止主要在口语环境中解决的问题。我们调查的结果，在口头语码转换的内容和风格，以及扬声器的熟练程度，是否结转到书面语码转换的讨论论坛。发布的数据集可以进一步促进一系列研究和实践活动。
2019-08-30 cs.CL
SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset
本文提出多智能体框架LinguaMaster构建了首个大规模多语言多民族语码转换数据集SwitchLingua，并提出了结合语义信息的评估指标SAER以更准确评估ASR系统。
2025-05-30 cs.AI cs.CL
Call Larisa Ivanovna: Code-Switching Fools Multilingual NLU Models
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
开发面向任务的对话助手的实际需要需要能够理解多种语言。多语言自然语言理解（NLU）的新基准包括几种语言中的单语句子，注释有意图和槽。在这样的设置中，用于跨语言迁移的模型在联合意图识别和槽填充方面表现出显著的性能。然而，现有的基准缺乏代码转换的话语，这是难以收集和标记，由于语法结构的复杂性。对自然语言理解模型的评价似乎有偏见和局限性，因为语码转换被排除在范围之外。我们的工作采用公认的方法来产生合理的和自然的声音代码转换话语，并使用它们来创建一个合成的代码转换测试集。基于实验，我们报告说，国家的最先进的自然语言理解模型无法处理代码切换。在最坏的情况下，通过语义准确性评估的性能从跨语言的80%下降到15%。此外，我们还表明，对合成代码混合数据进行预训练有助于将拟议测试集的性能保持在与单语数据相当的水平。最后，我们分析了不同的语言对，并表明语言越接近，NLU模型处理它们的交替就越好。这符合多语言模型如何进行语言之间的转换的共识
2021-11-20 cs.CL
Developing a Multilingual Dataset and Evaluation Metrics for Code-Switching: A Focus on Hong Kong's Polylingual Dynamics
The Hong Kong University of Science and Technology（香港科技大学）
针对多语言社区语码转换数据缺失问题，开发了34.8小时的混合粤语英语数据集，并引入FAL新指标以克服传统ASR评估中忽略延迟等局限。
2025-03-02 cs.CL cs.SD eess.AS
Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
Bandung Institute of Technology（万隆理工学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对印尼语-英语语码转换问题，通过在 STEN-TTS 中引入基于微调 BERT 的逐词语言识别组件并移除语言嵌入，实现了优于单语基线模型的自然度和可懂度。
2024-12-26 cs.AI cs.CL cs.SD
GLUECoS : An Evaluation Benchmark for Code-Switched NLP
Microsoft Research（微软研究院）；Microsoft R&D（微软研发）
语码转换是指在同一会话或话语中使用一种以上的语言。最近，在多个单语语料库上训练的多语言上下文嵌入模型在跨语言和多语言任务上显示出了有希望的结果。我们提出了一个评估基准，GLUECoS，代码切换语言，跨越几个NLP任务在英语-印地语和英语-西班牙语。具体而言，我们的评估基准包括从文本中的语言识别，词性标注，命名实体识别，情感分析，问答和一个新的任务码转换，自然语言推理。我们目前的结果，所有这些任务使用跨语言的词嵌入模型和多语言模型。此外，我们对人工生成的代码转换数据进行了微调。虽然多语言模型的表现明显优于跨语言模型，但我们的研究结果表明，在大多数任务中，在两种语言对中，对代码切换数据进行微调的多语言模型表现最好，这表明多语言模型可以进一步优化代码切换任务。
2020-05-14 cs.CL
Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR
Interactive Systems Lab, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院交互系统实验室）；InterACT, Carnegie Mellon University (CMU)（卡内基梅隆大学InterACT实验室）
针对多语言ASR系统中代码切换的挑战，提出贝叶斯因子化适应方法，在不降低单语性能的前提下，通过少量合成数据将切换相关知识高效集成到预训练模型中，使代码切换词转录错误降低32.87%，整体WER改善5.31%。
2026-06-23 cs.CL eess.AS
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们通过提出与语言无关的多任务训练方法来解决语言理论的数据稀缺和局限性。首先，我们介绍了一种基于元学习的方法，Meta迁移学习，其中信息是明智地从高资源的单语语音数据提取到代码转换域。Meta迁移学习通过学习以多任务学习方式学习来使模型快速地从多个单语任务适应代码切换任务。其次，我们提出了一种新的多语言元嵌入方法，通过获取在其他语言中学到的有用知识，学习密切相关的语言的共性和利用词汇组合来有效地表示代码转换数据。与上下文化的预训练多语言模型相比，该方法更有效。第三，我们引入多任务学习来整合句法信息作为迁移学习策略到语言模型，并学习在哪里进行代码切换。为了进一步缓解上述问题，我们提出了一个数据增强方法，使用指针生成，一个神经网络使用复制机制，教模型的代码切换点从单语平行句子。我们理清了对语言学理论的需求，该模型通过关注输入单词并对齐平行单词来捕获代码转换点，而不需要任何单词对齐或选区解析器。更重要的是，该模型可以有效地用于语法不同的语言，它优于基于语言学理论的模型。
2021-04-13 cs.CL cs.LG eess.AS
Towards One Model to Rule All: Multilingual Strategy for Dialectal Code-Switching Arabic ASR
Qatar Computing Research Institute（卡塔尔计算研究所）；KanarI AI
随着全球化的到来，对多语种自动语音识别（ASR）、处理口语内容的语言和方言变化的需求日益增加。最近的研究表明，它的功效超过单语系统。在这项研究中，我们设计了一个大型的多语言端到端的ASR使用自我注意基于构象架构。我们使用阿拉伯语（Ar），英语（En）和法语（Fr）训练系统。我们评估了系统的性能处理：（i）单语（Ar，En和Fr）;（ii）多方言（现代标准阿拉伯语，以及方言的变化，如埃及和摩洛哥）;（iii）代码切换-跨语言（Ar-En/Fr）和方言（MSA-埃及方言）测试用例，并与当前最先进的系统进行比较。此外，我们研究了不同的嵌入/字符表示的影响，包括字符与词片;共享与不同的输入符号每种语言。我们的研究结果证明了这样一个模型的优势，表现优于最先进的单语方言阿拉伯语和代码转换阿拉伯语ASR。
2021-07-05 cs.CL cs.HC cs.SD
Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs
University of Tokyo（东京大学）
通过模型合并和领域泛化方法，研究从有限语言对中学到的代码切换能力能否泛化到未见语言对，实验表明双语CS-ASR模型对未见语言对有一定泛化能力但有限。
2026-06-19 cs.CL eess.AS
Code-Switching Curriculum Learning for Multilingual Transfer in LLMs
KAIST（韩国科学技术院）；NAVER Cloud；Sogang University（西江大学）；NAVER AI Lab
本文提出语码转换课程学习CSCL，通过token级、句子级语码转换到单语语料的渐进训练提升LLM跨语言迁移，并在多语言、多模型实验中验证其增益与公平性。
2025-06-11 cs.AI cs.CL cs.LG
Challenges and Considerations with Code-Mixed NLP for Multilingual Societies
TCS Research（塔塔咨询服务公司研究院）；IIT Gandhinagar（印度理工学院甘地纳格尔分校）
多语制是指在书面和口头交流模式中高度熟练地使用两种或两种以上语言。它经常导致语言混合，又名。语码混合，即多语言使用者在一个文本或语音的单一话语中在多种语言之间切换。本文讨论了NLP研究的现状、局限性以及在解决多语言社会的社会公益危机管理、医疗保健、政治竞选、假新闻和仇恨言论等五个现实应用中可预见的陷阱。我们还提出了未来的数据集，模型和工具，可以显着推进当前的多语言NLP应用研究，以造福社会。作为一个代表性的例子，我们考虑英语-印地语代码混合，但得出类似的推论，其他语言对
2021-06-15 cs.CL cs.LG
Code-Switching Reveals Language Anchoring in Multilingual LLMs
Chung-Ang University（中央大学）；Adobe Research（Adobe研究院）
通过语法强制代码切换诊断多语言大模型中的语言锚定现象，提出锚定偏差度量并设计CANVAS干预方法，有效缓解代码切换导致的问答性能下降。
2026-08-26 cs.CL
Adapting the adapters for code-switching in multilingual ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）；Erisha Labs（埃里沙实验室）
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型，显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能，CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Efficient Multilingual Reasoning Transfer via Progressive Code-Switching
Tongyi Lab（通义实验室）
提出渐进式代码切换（PCS）框架，通过轻量翻译和逐步强化学习，将英语推理能力高效迁移到目标语言，缩小性能差距。
2026-07-28 cs.CL
CSWBench: Evaluating Context-Sensitive Code-Switching in Creative Writing
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；College of Software, Jilin University（吉林大学软件学院）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司星辰AGI实验室）；Bilibili Inc.（哔哩哔哩公司）；University of Ottawa（渥太华大学）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
本研究推出CSWBench基准与CSWEval框架，评估12个LLMs在创意写作中上下文感知代码切换的能力，发现模型能力不均衡，多语言文学整合差异显著，事件层级质量与全文表现中等相关。
2026-10-15 cs.AI cs.CL
Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching
Yonsei University（延世大学）；Soongsil University（崇实大学）
本研究通过EnKoQA数据集探讨代码切换是否能激活LLMs中的知识，发现其在低资源语言任务中具有潜力。
2025-11-24 cs.CL
Switch Point biased Self-Training: Re-purposing Pretrained Models for Code-Switching
Carnegie Mellon University（卡内基梅隆大学）
语码转换是语言交际中的一种普遍现象，但在语言处理中却没有得到充分的研究。这背后的主要原因是：（1）利用大型预训练多语言模型的努力很少，以及（2）缺乏注释数据。CS中多语言模型性能低下的一个突出例子是导致切换点的语言的句内混合。我们首先对两个序列标记任务进行基准测试-使用一套预训练模型在4种不同的语言对上进行POS和NER测试，以识别问题并选择其中性能最好的模型char-BERT（寻址（1））。然后，我们提出了一种自训练方法，通过利用未注释的数据（寻址（2）），使用切换点偏差来重新调整现有的预训练模型。我们最后证明，我们的方法在这两个任务上都表现良好，通过减少切换点性能之间的差距，同时保留两个不同的语言对在这两个任务的整体性能。我们的代码可以在这里找到：https://github.com/PC09/EMNLP2021-Switch-Point-biased-Self-Training。
2021-11-01 cs.CL
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
Theta One AI；Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）；Williams College（威廉姆斯学院）；ROKAF Reserve Forces（韩国预备役部队）
HiKE提出一个分层评估框架，用于评估韩英混合语语音识别模型的性能，通过高质量数据和细致标注提升模型对混合语言处理能力的评估。
2026-01-13 cs.CL cs.SD eess.AS
Strategies of Code-switching in Human-Machine Dialogs
University of Haifa（海法大学）；University of Pittsburgh（匹兹堡大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本研究开发了一个能使用西班牙语和英语进行语码转换的聊天机器人来完成 Map Task，通过两项实验考察了此类实验研究双语使用的可行性及参与者对语篇和语法模式变化的敏感性，发现可预测的语码转换能提升参与者体验与成功率。
2025-08-10 cs.AI cs.CL
SASFT: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs
Tongyi Lab, Alibaba Group Inc（通义实验室，阿里巴巴集团）
SASFT通过稀疏自编码器引导监督微调，有效减少大语言模型中的意外语言混合，同时保持多语言能力。
2026-02-28 cs.CL
Think Multilingual, Not Harder: A Framework for Analyzing and Teaching Code-Switched Reasoning
University of Michigan（密歇根大学）
本文提出一种数据高效的框架，用于识别并教授推理模型更有效的语言混合行为，通过分析不同模型的语言混合行为，开发出有效的微调干预措施，提升推理模型的语言混合能力。
2026-10-06 cs.CL
A Survey of Code-switched Speech and Language Processing
Microsoft Research India（微软印度研究院）；Carnegie Mellon University（卡内基梅隆大学）
语码转换是一种常见的语言交际现象，在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统，与用户在多语言社区。由于代码转换的数据和资源是稀缺的，我们列出了什么是可用的各种代码转换语言对的语言处理任务，他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究，包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining
University College London（伦敦大学学院）；Nanyang Technological University（南洋理工大学）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）；National Institute of Informatics（信息研究院）
研究发现平行数据对翻译性能至关重要，而语码转换数据对跨语言理解和推理影响较小。
2026-01-23 cs.CL
IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages
针对印度语言高质量多语言代码混合对话资源稀缺问题，提出通过全自动管道生成IndicTalk语料库，涵盖多种印度语言变体，经多种评估表现良好，将发布该语料库支持相关人工智能开发评估。
2026-07-28 cs.CL cs.LG
Multilingual Large Language Models Are Not (Yet) Code-Switchers
Brown University（布朗大学）；HKUST（香港科技大学）；Samsung R&D Institute Philippines（三星菲律宾研发研究院）；Bloomberg（彭博）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文评估多语言大语言模型在语码转换任务中的表现，发现其零/少样本性能仍不及更小的微调模型，表明当前多语言能力不等于语码转换熟练度。
2023-10-23 cs.AI cs.CL
Arabic Code-Switching Speech Recognition using Monolingual Data
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Kanari AI；University of Helwan（赫勒万大学）
自动语音识别（ASR）中的语码转换是全球化带来的一个重要挑战。多语言ASR的最新研究表明，单语系统有潜在的改进。我们通过一系列大规模的ASR实验研究了与ASR多语言建模相关的关键问题。我们的创新框架在加权有限状态转换器（WFST）框架中部署了多图方法。我们比较我们的WFST解码策略与Transformer序列到序列系统在相同的数据上训练。在阿拉伯语和英语之间的语码转换场景下，我们的研究结果表明，WFST解码方法更适合于间隔语码转换数据集。此外，Transformer系统在句内语码转换任务中表现更好。通过这项研究，我们发布了一个人工生成的开发和测试集，以及生态代码切换测试集，以基准ASR性能。
2021-07-04 cs.CL cs.SD eess.AS
