Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages
Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Faculty of Mathematics and Physics（数学与物理学院）；Charles University（查理大学）
本文通过提出评估子词分词器词汇表示与重叠的新准则，揭示词汇重叠对不同下游任务利弊不一，并为多语言模型预训练前的分词器选择提供指导。
2023-05-26 cs.CL
False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models
Stanford University（斯坦福大学）
本研究通过受控实验探究多语言模型中token重叠对跨语言迁移的影响，发现重叠（尤其是语义相似的重叠）能增强嵌入空间的跨语言语义关系并提升XNLI和XQuAD上的迁移性能，表明共享词汇是有益的设计选择。
2025-09-24 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University（萨尔大学）；Zuse School ELIZA（Zuse ELIZA 学院）；Radboud University（拉德堡德大学）
研究探讨双语模型中跨语言激活是否模仿人类处理模式，发现词形共享影响模型表现，频率而非形式一致性主导效果，仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
Soft Token Alignment for Cross-Lingual Reasoning
Georgia Institute of Technology（佐治亚理工学院）
提出SOLAR方法，通过软令牌对齐跨语言表示，提升多语言推理准确率，尤其对低资源语言效果显著。
2026-11-06 cs.CL
Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
Ghent University（根特大学）；imec；KU Leuven（鲁汶大学）；BeCode asbl；Internet and Data Science Lab (IDLab)（互联网与数据科学实验室（IDLab））；AI & Data Bootcamp Ghent 2024（2024年根特人工智能与数据训练营）
本文提出跨分词迁移策略，通过源语言语义相似分词嵌入的加权平均初始化目标语言嵌入，实现高资源大语言模型向低资源语言的适配，并以Tweeties和Hydra系列模型验证其在多语言下游任务及零样本鞑靼语机器翻译中的有效性。
2024-08-08 cs.CL cs.LG
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
BPE and CharCNNs for Translation of Morphology: A Cross-Lingual Comparison and Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）在低资源环境和形态丰富的语言是困难的，部分是由于数据稀疏的词汇。已经使用了几种方法来帮助减少这种稀疏性，特别是字节对编码（BPE）和基于字符的CNN层（charCNN）。然而，charCNN在很大程度上被忽视了，可能是因为它只被比较BPE，而不是与它相结合。我们主张重新考虑的charCNN，基于跨语言的改进低资源的数据。我们使用多种方式并行收集TED成绩单，将8种语言翻译成英语。我们发现，在大多数情况下，同时使用BPE和charCNN性能最好，而在希伯来语中，使用charCNN超过单词是最好的。
2018-09-08 cs.CL
Overcoming Vocabulary Constraints with Pixel-level Fallback
University of Copenhagen（哥本哈根大学）；Apple（苹果公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出一种无词汇表编码器，通过将文本渲染为像素生成输入嵌入来增强预训练语言模型，显著提升了机器翻译和跨语言迁移性能，无需大量重训即可增强多语能力并降低解码延迟。
2025-08-10 cs.CL
Multilingual Pixel Representations for Translation and Effective Cross-lingual Transfer
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Microsoft（微软）
本文提出使用像素表示有效训练多语言机器翻译模型，实验表明其性能优于子词嵌入，并通过参数共享实现无缝跨语言迁移和更高数据效率。
2023-10-24 cs.CL
A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-Ixa，巴斯克大学UPV/EHU）
本文提出了一种新的技术，用于创建单语和跨语言的元嵌入。我们的方法集成了多个词嵌入创建的互补技术，文本源，知识库和语言。现有的词向量投影到一个共同的语义空间使用线性变换和平均。使用我们的方法，得到的元嵌入保持原始嵌入的维数，而不会丢失信息，同时处理词汇表外的问题。一个广泛的实证评估证明了我们的技术的有效性，相对于以前的工作，各种内在和外在的多语言评价，获得竞争力的结果语义文本相似性和国家的最先进的性能字的相似性和POS标记（英语和西班牙语）。由此产生的跨语言元嵌入也表现出出色的跨语言迁移学习能力。换句话说，我们可以利用来自资源丰富语言的预训练源嵌入，以改善资源不足语言的单词表示。
2021-09-08 cs.CL
When Semantic Overlap Is Not Enough: Cross-Lingual Euphemism Transfer Between Turkish and English
Montclair State University（蒙特克莱尔州立大学）
本研究探讨了跨语言婉转语转移中的语义重叠不足问题，发现低资源环境下非重叠训练能提升性能，揭示了领域对齐对转移的影响。
2026-02-18 cs.AI cs.CL
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Tokyo Institute of Technology（东京工业大学）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）
本研究通过扩展Llama 2词汇表并进行大规模日语网络语料库持续预训练，构建了增强日语能力的LLM——Swallow，其性能优于从头训练的模型，并验证了词汇扩展与平行语料库的有效性。
2024-04-27 cs.AI cs.CL
Cross-lingual Contextualized Topic Models with Zero-shot Learning
Bocconi University（博科尼大学）；University of Milano-Bicocca（米兰比可卡大学）
许多数据集（例如，评论、论坛、新闻等）以多种语言存在。它们都覆盖相同的内容，但语言上的差异使得无法使用传统的基于词袋的主题模型。模型必须要么是单一语言，要么是庞大但极其稀疏的词汇表。这两个问题都可以通过迁移学习来解决。在本文中，我们介绍了一个zero-shot跨语言主题模型。我们的模型学习一种语言（这里是英语）的主题，并预测不同语言（这里是意大利语，法语，德语和葡萄牙语）的未见过的文档。我们评估了不同语言的同一文档的主题预测的质量。我们的研究结果表明，转移的主题是连贯和稳定的跨语言，这表明令人兴奋的未来研究方向。
2021-02-04 cs.CL
CLIX: Cross-Lingual Explanations of Idiomatic Expressions
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰尼斯·古腾堡大学）
研究提出CLIX任务，探讨NLP模型在生成习语跨语言解释中的能力，发现大语言模型有潜力，但需进一步解决错误分析中的关键挑战。
2025-05-30 cs.CL
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation
Alibaba Group（阿里巴巴集团）
多语言预训练的现有工作已经通过训练用于多种语言的统一的Transformer编码器展示了跨语言可移植性的潜力。然而，大部分的这项工作只依赖于共享的词汇和双语上下文，以鼓励跨语言的相关性，这是松散和隐含的对齐语言之间的上下文表示。在本文中，我们将交叉注意模块插入到Transformer编码器中，以显式地构建语言之间的相互依赖性。该方法能有效地避免仅根据本族语语境预测屏蔽词的退化。更重要的是，当对下游任务进行微调时，交叉注意模块可以按需插入或退出，从而自然有利于更广泛的跨语言任务，从语言理解到生成。因此，所提出的跨语言模型提供了新的国家的最先进的结果，各种跨语言的理解任务的XTREME基准，包括文本分类，序列标记，问答，句子检索。对于跨语言生成任务，它在WMT 14英语到德语和英语到法语翻译数据集上的性能也优于所有现有的跨语言模型和最先进的Transformer变体，增益高达1~2 BLEU。
2021-06-02 cs.CL
InfoCTM: A Mutual Information Maximization Perspective of Cross-Lingual Topic Modeling
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
提出基于互信息的跨语言主题建模方法InfoCTM，通过互信息正则化对齐主题缓解重复问题，并利用跨语言词汇链接解决低覆盖率词典问题，在多语言实验中表现更优。
2024-03-27 cs.CL
Beyond Literal Token Overlap: Token Alignability for Multilinguality
Centre for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）；Technical University of Munich（慕尼黑工业大学）
针对以往标记重叠指标对不同文字语言对解释力有限的问题，本文提出子词标记可对齐性指标，在不同文字场景下更好预测多语言性，可用于识别跨语言迁移最佳语言对并指导多语言标记器构建。
2025-02-10 cs.CL
Effects of Language Relatedness for Cross-lingual Transfer Learning in Character-Based Language Models
Aalto University（阿尔托大学）；Helsinki University（赫尔辛基大学）；Inscripta（Inscripta公司）
与基于多字符单元的神经网络语言模型相比，基于神经网络的神经网络语言模型（NNLM）具有更小的词汇量和更快的训练时间的优势。然而，在低资源的情况下，字符和多字符NNLM遭受数据稀疏。在这种情况下，跨语言迁移通过允许从源语言到目标语言的信息迁移，提高了多字符NNLM的性能。同样，我们建议使用跨语言迁移的字符NNLM应用于低资源的自动语音识别（ASR）。然而，将跨语言迁移应用于字符NNLM并不那么简单。我们观察到源语言的相关性在字符NNLM的跨语言预训练中起着重要的作用。我们评估这方面的ASR任务的两个目标语言：芬兰语（英语和爱沙尼亚语作为源）和瑞典语（丹麦语，挪威语和英语作为源）。先前的工作没有观察到使用相关或不相关的语言多字符NNLM之间的差异。然而，我们表明，对于基于字符的NNLM，只有使用相关语言进行预训练才能提高ASR性能，使用不相关的语言可能会使其恶化。我们还观察到，当目标数据比源数据少得多时，好处更大。
2020-07-22 cs.CL
Universal or Language-Family-Specific Script Unification for Cross-Lingual Transfer? A Case Study on Turkic Languages
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究以突厥语族为例，对比通用uroman与语族特定CTS两种文字统一方法的跨语言迁移效果，发现二者在NER任务表现相当且均优于基线，POS任务效果受语言、子词重叠和监督数据影响，fastText系统具竞争力。
2026-08-11 cs.CL
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
GloCTM: Cross-Lingual Topic Modeling via a Global Context Space
GloCTM通过构建统一语义空间，实现跨语言主题建模的连贯性和语义对齐，提升多语言理解能力。
2026-01-17 cs.CL
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
Cross-lingual Transferring of Pre-trained Contextualized Language Models
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
虽然预先训练的语境化语言模型（PrLM）对NLP产生了重大影响，但在英语以外的语言中训练PrLM可能是不切实际的，原因有二：其他语言通常缺乏足够的语料库来训练强大的PrLM，并且由于人类语言之间的共性，不同语言的计算昂贵的PrLM训练有点多余。在这项工作中，最近的工作连接跨语言模型传输和神经机器翻译的基础上，我们因此提出了一种新的跨语言模型传输框架PrLM：TreLM。为了处理语言之间的符号顺序和序列长度差异，我们提出了一个中间的“TRILayer”结构，它可以从这些差异中学习，并在我们的主要翻译方向上创建更好的迁移，以及一个新的跨语言建模目标用于迁移训练。此外，我们还展示了一种嵌入对齐，它可以逆向地适应PrLM的非上下文嵌入空间和TRILayer结构，以学习跨语言的文本转换网络，从而解决语言之间的词汇差异。语言理解和结构分析任务的实验表明，该框架显着优于语言模型训练从头开始有限的数据在性能和效率。此外，尽管与资源丰富的场景中从头开始的预训练相比，性能损失微不足道，但我们的跨语言模型传输框架显着更经济。
2021-07-27 cs.CL
Cross-lingual Transfer of Monolingual Models
RISE Research Institutes of Sweden（瑞典RISE研究院）；AI Sweden（瑞典AI）
最近使用多语言模型进行zero-shot跨语言学习的研究已经否定了以前的假设，即共享词汇和联合预训练是跨语言泛化的关键。受此启发，我们提出了一种基于领域自适应的单语模型跨语言迁移方法。我们研究了从四种不同的语言到英语的这种迁移的效果。我们在GLUE上的实验结果表明，迁移模型的性能优于母语英语模型，与源语言无关。通过对迁移前后表征中的英语语言知识的分析，我们发现语义信息在迁移过程中从源语言中保留下来，而句法信息在迁移过程中习得。此外，在源语言任务中对迁移模型的评估结果表明，迁移后它们在源域中的表现恶化。
2022-05-19 cs.CL cs.LG
On Learning Universal Representations Across Languages
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
最近的研究表明，跨语言预训练模型（PTM），如多语言BERT和XLM，在跨语言NLP任务上具有压倒性的优势。然而，现有的方法基本上捕捉共现之间的令牌通过涉及屏蔽语言模型（MLM）目标与令牌级交叉熵。在这项工作中，我们将这些方法扩展到学习跨语言表示，并显示跨语言理解和生成的有效性。具体来说，我们提出了一个层次对比学习（HiCTL）方法（1）学习通用的表示分布在一种或多种语言的并行句子和（2）区分语义相关的单词从共享的跨语言词汇为每个句子。我们对两个具有挑战性的跨语言任务进行评估，XTREME和机器翻译。实验结果表明，HiCTL在XTREME基准测试中的准确率绝对提高了4.2%，并且在高资源和低资源的英语到X翻译任务上都取得了实质性的改进。
2021-03-22 cs.CL
Evaluating the Robustness and Accuracy of Text Watermarking Under Real-World Cross-Lingual Manipulations
University of Central Florida（中央佛罗里达大学）
本研究针对跨语言场景，评估四种文本水印方法在四种语言下的鲁棒性与准确性，探讨实际翻译攻击下的可检测性，并总结关键见解。
2025-09-06 cs.CL cs.LG
Cross-lingual keyword assignment
本文提出了一种独立于语言的方法来控制词汇的关键字分配使用EUROVOC词库。由于EUROVOC的多语言特性，以一种语言编写的文档的关键字可以以所有11种欧盟官方语言显示。此外，将不同语文的文件映射到同一多语文术语词库还可进行跨语文文件比较。受控词汇词库描述符的分配是通过应用统计方法来实现的，该统计方法使用手动索引的文档的集合来为每个词库描述符识别与该描述符统计关联的大量词元。然后，在分配过程中使用这些关联的词来确定最有可能成为给定文档的好关键词的那些EUROVOC术语的排名列表。本文还介绍了这项任务的挑战，并讨论了实现的结果的全功能原型。
2006-09-12 cs.CL cs.IR
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute（语言技术研究所）；Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
形态分析涉及预测单词的句法特征（例如{POS：Noun，Case：Acc，Gender：Fem}）。以前在形态标记方面的工作通过使用来自同一家族的高资源语言（HRL）进行跨语言训练来提高低资源语言（LRL）的性能，但受到严格的（通常是错误的）假设的限制，即标记集在HRL和LRL之间完全重叠。在本文中，我们提出了一种跨语言的形态标记的方法，旨在通过放松这一假设，以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场，使得有可能（1）利用神经网络表示的表达能力来平滑表面形式中的表面差异，（2）对标签之间的成对和传递关系进行建模，以及（3）准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明，该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
Tokenizing Crosslingual Homographs
研究跨语言同形异义词在多语言模型中的处理问题，提出基于语言线索的分词器干预方法，通过内在分析和机器翻译实验验证，该方法能消除不同分词器处理差异，在部分设置下有改进，为添加语言信息提供探索方向。
2026-07-21 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Latent Core Tokenizer: Compress, but Meaningfully
Microsoft Research Africa（微软研究院非洲分部）；Microsoft Research Accelerator（微软研究院加速器）；Microsoft Research India（微软研究院印度分部）
该研究提出与语言无关的潜在核心分词器（LCT），通过分离结构发现与词汇构建，在104种语言的分词任务中优于BPE等方法，多语言下游基准得分提升，证明压缩 alone 无法预测表示质量。
2026-10-14 cs.CL
Machine-Created Universal Language for Cross-lingual Transfer
Microsoft Research Asia（微软亚洲研究院）
针对跨语言迁移中translate-test性能不足、多语言预训练可解释性差且难适配词级任务的问题，提出机器创建通用语言MUL作为中间语言，兼顾迁移性能优于多语言预训练且可解释性强。
2023-12-17 cs.CL
Learning Cross-lingual Embeddings from Twitter via Distant Supervision
Cardiff University（卡迪夫大学）；Universidade de Vigo（维戈大学）；University of Granada（格拉纳达大学）；Snap Inc.（Snap公司）
跨语言嵌入在同一向量空间中表示来自不同语言的单词的含义。最近的工作表明，有可能通过对齐独立学习的单语嵌入空间来构建这样的表示，并且即使没有外部双语数据也可以获得准确的对齐。在本文中，我们探讨了一个研究方向，已令人惊讶地被忽视的文献：利用嘈杂的用户生成的文本来学习跨语言嵌入，特别是针对社交媒体应用程序。虽然社交媒体类型的嘈杂和非正式性质对跨语言嵌入方法提出了额外的挑战，但我们发现，由于大量的代码转换以及表情符号和命名实体的共享词汇的存在，它也提供了关键的机会。我们的贡献包括一个非常简单的后处理步骤，利用这些现象显着提高性能的国家的最先进的对齐方法。
2020-03-31 cs.CL cs.SI
The Analysis about Building Cross-lingual Sememe Knowledge Base Based on Deep Clustering Network
Shizuoka Institute of Science and Technology（静冈理工科大学）
义位是人类语言的最小语义单位。义素知识库（KBs）包含用义素注释的单词，已成功应用于许多NLP任务，我们相信通过学习最小的意义单位，计算机可以更容易地理解人类语言。然而，现有的义素知识库都是建立在人工标注的基础上，人工标注存在个人理解偏差，而且词汇的意义会随着时代的发展而不断更新和变化，人工方法并不总是实用的。为了解决这个问题，我们提出了一种基于深度聚类网络（DCN）的无监督方法来构建义素知识库，您可以使用任何语言通过这种方法构建知识库。我们首先学习多语言单词的分布式表示，使用MUSE在单个向量空间中对齐它们，通过自我注意力机制学习每个单词的多层含义，并使用DNC聚类义位特征。最后，我们只使用英语的10维义位空间完成了预测。我们发现，在低维空间中仍然可以保留义素的主要特征。
2022-08-10 cs.CL
KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Carnegie Mellon University (CMU)（卡内基梅隆大学）；KIT Campus Transfer (KCT)（KIT校区转移）
针对跨语言语音克隆中的口音变化和领域词汇问题，基于FishAudio-S2-Pro多语言文本转语音模型，引入语言标签提示、强化学习微调和参考条件词汇匹配方法，提升可懂度和自然度。
2026-06-05 cs.CL cs.SD
Probing the Emergence of Cross-lingual Alignment during LLM Training
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
本研究利用内在探测技术分析多语言LLM BLOOM的训练检查点，发现跨语言神经元重叠度与零样本跨语言迁移性能高度相关，且预训练中存在多语言能力下降阶段，揭示了跨语言对齐的涌现规律。
2024-06-19 cs.AI cs.CL cs.LG
Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets
Colorado State University（科罗拉多州立大学）
本文在13对高资源与低资源语言上评估MBERT和XLM-R在对抗扰动下的跨语言迁移表现，发现NER迁移能力主要取决于实体块重叠程度，且跨语言迁移对部分扰动更具鲁棒性。
2024-03-29 cs.CL
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在本文中，我们描述了用于ACL 2019第四届机器翻译会议（WMT 19）的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.（2018 b）的策略，创建了一个基于种子短语的系统，其中短语表是从单语数据训练的跨语言嵌入映射初始化的，然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型，通过迭代回译细化。我们进一步关注命名实体的处理，即词汇表的一部分，其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
An Empirical Comparison of Vocabulary Expansion and Initialization Approaches for Language Models
Indian Institute of Technology Madras（印度马德拉斯理工学院）；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）；Indian Institute of Technology Bombay（印度孟买理工学院）；IT University of Copenhagen, Denmark（丹麦哥本哈根信息技术大学）；Microsoft India（微软印度公司）；Nilekani Centre at AI4Bharat（AI4Bharat的尼莱卡尼中心）
本文针对多语言语言模型分词器词汇扩展中的嵌入初始化问题，提出无需跨语言嵌入的约束 Word2Vec（CW2V）方法，并在 RoBERTa 和 LLaMA 2 上验证其与先进方法相当甚至更优。
2024-10-22 cs.CL cs.LG
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法，实现完全未见语言零样本翻译，并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Discovering Language-neutral Sub-networks in Multilingual Language Models
EPFL（洛桑联邦理工学院）
多语言预训练的语言模型在跨语言下游任务中迁移得非常好。然而，他们学习语言中性表征的程度（即，不同语言之间编码相似现象的共享表征），以及这种表征对跨语言迁移表现的影响，仍然是悬而未决的问题。在这项工作中，我们将多语言模型的语言中立性概念化为这些模型的语言编码子网络之间重叠的函数。我们采用彩票假设来发现针对各种语言和任务进行单独优化的子网络。我们对三个不同的任务和11种不同类型的语言的评估表明，不同语言的子网络在拓扑上是相似的（即，语言中立的），使它们成为性能降低有限的跨语言迁移的有效初始化。
2022-10-30 cs.CL
Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
针对低资源语言两遍跨语言 ASR，本文通过发音特征合并音素并引入全局音素噪声生成器，优化音素识别与音素到字素翻译，在 CommonVoice 12.0 上显著降低 WER。
2023-12-06 cs.CL cs.SD eess.AS
Efficient Language Model Training through Cross-Lingual and Progressive Transfer Learning
DFKI GmbH（德国人工智能研究中心）
大多数Transformer语言模型主要在英语文本上进行预训练，限制了它们对其他语言的使用。随着模型大小的增加，英语与其他计算和数据资源较少的语言之间的性能差距进一步扩大。因此，需要采用资源效率更高的培训方法，以弥补可用资源较少的语文的差距。为了解决这个问题，我们引入了一种跨语言和渐进式的迁移学习方法，称为CLP-迁移，它将模型从源语言转移到新的目标语言，其中预训练的模型是公开可用的，如英语。相对于以前的工作，这集中在两种语言之间的跨语言迁移，我们扩展到模型大小的传输。给定源语言中的预训练模型，我们的目标是在目标语言中获得相同大小的模型。我们不是从头开始训练模型，而是利用一个更小的模型，这个模型使用目标语言，但需要的资源要少得多。然后，小模型和源模型都用于基于源语言和目标语言的重叠词汇来初始化较大模型的标记嵌入。所有剩余的权重都将在源语言中从模型中重用。这种方法优于单一的跨语言迁移，并且与随机初始化相比可以节省高达80%的训练步骤。
2023-01-23 cs.AI cs.CL
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
我们引入了一个架构来学习93种语言的联合多语言句子表示，这些语言属于30多个不同的家族，用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器，具有所有语言的共享BPE词汇表，该编码器与辅助解码器相结合，并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器，并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理（XNLI数据集）、跨语言文档分类（MLDoc数据集）和并行语料挖掘（BUCC数据集）上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言，并表明，我们的句子嵌入获得强大的结果，即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad（莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校）；IIT (BHU)（印度理工学院（贝纳拉斯印度教大学））
词汇表外（OOV）单词可能对机器翻译（MT）任务构成严重挑战，特别是对低资源语言（LRL）对，即，很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri（LRL实例）的这些单词的转导，从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明，我们的模型可以有效地用于语言对有限的平行语料库，我们的模型工作在字符水平上把握语音和正字法的相似性，跨多种类型的词适应，无论是共时或历时，借词或同源词。我们描述了几个字符级别的NMT系统，我们适应这项任务的培训方面，并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外，我们表明，这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤，在这个过程中：（i）解决机器翻译任务中出现的OOV单词问题，（ii）为资源受限的语言创建有效的并行语料库，以及（iii）利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Unsupervised comparable corpora preparation and exploration for bi-lingual translation equivalents
Polish-Japanese Academy of Information Technology（波兰-日本信息技术学院）
当今世界的多语言性使得翻译成为一项至关重要的要求。由人类构建的平行词典是一种广泛可用的资源，但它们是有限的，并且由于词汇表外的单词和新词而不能为高质量的翻译目的提供足够的覆盖范围。这促使了统计翻译系统的使用，不幸的是，统计翻译系统依赖于训练数据的数量和质量。这种系统的可用性非常有限，特别是对于某些语言和非常窄的文本域。在这项研究中，我们提出了我们的改进，目前可比语料库挖掘方法的比较算法（使用Needleman-Wunch算法）的重新实现，引入一个调优脚本和GPU加速的计算时间的改善。从维基百科中提取的双语数据进行实验，在各个领域。对于维基百科本身，引入了额外的跨语言比较语法。这些修改对挖掘数据的质量和数量以及翻译质量产生了积极影响。
2015-12-05 cs.CL stat.ML
An In-Vitro Study on Cross-Lingual Generalization in Language Models
Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫利人工智能研究所（IDSIA））
通过构建两种程序生成的语言，独立控制词汇距离、少数语言比例等变量，研究语言模型跨语言迁移的机制，发现迁移主要取决于分词是否保留可复用的跨语言子结构，且词汇量越小越有利于掩码迁移。
2026-05-26 cs.AI cs.CL
Merging Language and Domain Specific Models: The Impact on Technical Vocabulary Acquisition
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Fujitsu Research Ltd.（富士通研究有限公司）
本文研究将通用语言模型与领域特定模型融合对技术词汇习得的影响，通过定量评估揭示不同融合方法在增强领域知识及跨语言迁移中的效果与挑战。
2025-03-12 cs.CL cs.LG
Introducing Code-Switched Contexts to Cognitively-Inspired Bilingual Model Training
University of Göttingen（哥廷根大学）
本研究通过控制语码转换的结构位置和动态切换率，在两种类型不同的语言对上训练双语模型，发现合成语码转换数据能改善类型相近语言的跨语言对齐。
2026-10-06 cs.CL
Enhancing Cross-Lingual Transfer through Reversible Transliteration: A Huffman-Based Approach for Low-Resource Languages
Minzu University of China（中国民族大学）；National Language Resource Monitoring & Research Center Minority Languages Branch（国家语言资源监测与研究中心少数民族语言分部）；Institute of National Security, Minzu University of China（中国民族大学国家安全学院）
本文提出一种将字符转写与哈夫曼编码相结合的可逆转写框架，用于提升LLMs对低资源语言的处理能力，在保证无损转换的同时实现压缩、免词表扩展，并在多个下游任务中验证了有效性。
2025-09-22 cs.CL
Choosing Transfer Languages for Cross-Lingual Learning
National Research Council, Canada（加拿大国家研究委员会）；Carnegie Mellon University（卡内基梅隆大学）
跨语言迁移，其中高资源迁移语言用于提高低资源任务语言的准确性，现在是提高低资源语言上的自然语言处理（NLP）性能的宝贵工具。然而，给定一个特定的任务语言，并不清楚从哪种语言转移，标准策略是根据特定的标准选择语言，通常是实验者的直觉。由于跨语言迁移的成功取决于大量的特征（包括系统发育相似性、类型学特性、词汇重叠或可用数据的大小），即使是最开明的实验者也很少考虑手头特定任务的所有这些因素。在本文中，我们将自动选择最佳传输语言的任务视为排名问题，并构建考虑上述特征的模型来执行此预测。在对代表性NLP任务的实验中，我们证明了我们的模型预测良好的迁移语言比单独考虑单个特征的自组织基线要好得多，并收集了关于哪些特征对每个不同的NLP任务最有信息量的见解，即使不使用我们的方法，也可以为未来的自组织选择提供信息。代码、数据和预训练模型可在https://github.com/neulab/langrank上获得
2019-06-07 cs.CL
