Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics(数学与物理学院);Charles University(查理大学)
本文通过提出评估子词分词器词汇表示与重叠的新准则,揭示词汇重叠对不同下游任务利弊不一,并为多语言模型预训练前的分词器选择提供指导。
2023-05-26 cs.CL
Prune or Retrain: Optimizing the Vocabulary of Multilingual Models for Estonian
本文面向爱沙尼亚语比较重训练 tokenizer 与剪枝未使用 token 两种多语言编码器词表适配方法,发现剪枝不损害 NER 性能,而重训练会降低性能。
2025-01-05 cs.CL
EEG2TEXT-CN: An Exploratory Study of Open-Vocabulary Chinese Text-EEG Alignment via Large Language Model and Contrastive Learning on ChineseEEG
Department of Artificial Intelligence in Healthcare, International Academia of Biomedical Innovation Technology(人工智能医疗系,国际生物医学创新技术学院);National Taiwan University(台湾大学);Neuro Industry Research, Neuro Industry, Inc.(神经产业研究,神经产业公司);Department of Biomedical Engineering, University of Southern California(生物医学工程系,南加州大学);Taiwan Artificial Intelligence Association(台湾人工智能协会)
本文提出EEG2TEXT-CN,首个面向中文的开放词汇脑电解码框架,利用NICE-EEG编码器和MiniLM语言模型,通过掩码预训练与对比学习实现零样本句子生成,最佳BLEU-1为6.38%,验证了非语音跨模态语言解码的可行性。
2025-07-08 cs.AI cs.CL cs.LG
Improving Pre-Trained Multilingual Models with Vocabulary Expansion
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Tencent AI Lab(腾讯人工智能实验室);Cornell(康奈尔大学)
最近,预训练的语言模型在广泛的自然语言处理任务中取得了显着的成功。然而,在多语言环境中,在大规模语料库上为每种语言预训练深度语言模型是非常消耗资源的。替代独立地详尽地预训练单语语言模型,替代解决方案是在数百种语言的大规模语料库上预训练强大的多语言深度语言模型。然而,这种模型中每种语言的词汇量相对较小,特别是对于低资源语言。这种限制不可避免地阻碍了这些多语言模型在序列标记等任务上的性能,其中深入的标记级或标记级理解是必不可少的。在本文中,受以前为单语设置设计的方法的启发,我们研究了两种方法(即,联合映射和混合映射),用于解决各种任务中的词汇不足(OOV)问题,包括词性标注、命名实体识别、机器翻译质量评估和机器阅读理解。实验结果表明,使用混合映射更有前途。据我们所知,这是第一个工作,试图解决和讨论的OOV问题的多语言设置。
2019-09-26 cs.CL
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research(谷歌研究院)
在非洲使用的2,000多种语言中,几乎没有一种具有广泛使用的自动语音识别系统,所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术,这可能会提供途径,非洲语言的大词汇语音识别:多语言建模和自监督学习。我们收集了可用的开放源数据,收集了15种语言的数据,并使用这些技术训练了实验模型。我们的研究结果表明,汇集多语言端到端模型中可用的少量数据,并对无监督数据进行预训练,可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
SRS-Stories: Vocabulary-constrained multilingual story generation for language learning
Poznan University of Technology, Institute of Computer Science(波兹南技术大学计算机科学学院);Charles University, Faculty of Mathematics and Physics(查尔斯大学数学与物理系)
SRS-Stories通过间隔重复系统生成多语言故事,利用已知词汇教授新词并复习旧词,提升语言学习效果。
2025-12-20 cs.CL
False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models
Stanford University(斯坦福大学)
本研究通过受控实验探究多语言模型中token重叠对跨语言迁移的影响,发现重叠(尤其是语义相似的重叠)能增强嵌入空间的跨语言语义关系并提升XNLI和XQuAD上的迁移性能,表明共享词汇是有益的设计选择。
2025-09-24 cs.CL
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题,提出基于词汇等价类和图网络融合跨语言词嵌入的方法,在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
Improving Multilingual Models with Language-Clustered Vocabularies
Google Research(谷歌研究)
最先进的多语言模型依赖于覆盖模型在推理时期望看到的所有语言的词汇表,但是生成这些词汇表的标准方法对于大规模多语言应用程序来说并不理想。在这项工作中,我们介绍了一种新的多语言词汇生成程序,结合了几个自动派生的语言集群单独训练的词汇,从而平衡跨语言的子词共享和语言特定的词汇之间的权衡。我们的实验表明,在关键的多语言基准任务TyDi QA(+2.9 F1),XNLI(+2.1\%)和WikiAnn NER(+2.8 F1)上,不同语言的改进以及词汇表外率的8倍减少,所有这些都没有增加模型或数据的大小。
2020-10-24 cs.CL cs.LG
Transfer Learning in Multilingual Neural Machine Translation with Dynamic Vocabulary
FBK(布鲁诺·凯斯勒基金会)
我们提出了一种通过共享的动态词汇在神经机器翻译(NMT)模型之间传递知识的方法。我们的方法允许扩展给定语言对的初始模型,以通过调整其词汇表来覆盖新语言,只要新数据可用(即,如果新的词汇表项未被包括在初始模型中,则引入新的词汇表项)。参数传递机制在两种情况下进行评估:i)使经训练的单语言NMT系统适应于与新的语言对一起工作,以及ii)不断添加新的语言对以成长为多语言NMT系统。在这两种情况下,我们的目标都是提高翻译性能,同时最大限度地减少训练收敛时间。初步实验跨越具有不同训练数据大小的五种语言(即,5k和50k并行句子)在不同的语言方向上显示出从+3.85到+13.63 BLEU的显着性能增益。此外,与从头开始训练NMT模型相比,我们的迁移学习方法使我们能够在训练总训练步骤的4%后达到更高的性能。
2018-11-03 cs.CL
Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
Yanolja(雅乐居(韩国))
本文提出EEVE词汇扩展方法,通过参数冻结和子词初始化,仅用20亿token即可显著提升以英语为中心的大语言模型的韩语能力,所构建的EEVE-Korean-10.8B-v1.0在开源韩语预训练模型中排名领先。
2024-02-22 cs.AI cs.CL
Instance-based Transfer Learning for Multilingual Deep Retrieval
Google Research(谷歌研究院);AWS AI(亚马逊云科技人工智能)
我们专注于在多语言环境中的搜索问题。通过对下一句预测和反向完形填空问题的研究,我们发现,在大规模测试中,基于实例的迁移学习在多语言环境中的效果令人惊讶,在所有35种目标语言和两个测试任务上都产生了正迁移。我们分析了这种改进,并认为最自然的解释,即语言之间的直接词汇重叠,只是部分解释了性能的提高:事实上,我们证明了目标语言的改进可以发生在添加辅助语言的数据后,即使没有词汇与目标相同。这一令人惊讶的结果是由于辅助语言和目标语言之间的传递性词汇重叠的影响。
2021-04-15 cs.CL cs.IR cs.LG
Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
本文针对多语言神经机器翻译的高内存消耗问题,提出语料驱动词汇剪枝结合定向微调的框架,在英语-阿拉伯语对实验中实现60%内存节省且性能无损失,优化模型表现优于专用双语基线。
2026-08-05 cs.CL
Effective vocabulary expansion of multilingual language models for extremely low-resource languages
School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语言学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
提出通过筛选源语言偏置词汇并利用双语词典初始化扩展词汇表示,对多语言预训练模型进行持续预训练,在词性标注和命名实体识别任务上分别提升0.54%和2.60%。
2026-06-02 cs.CL
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
School of Computer Science, University of Sheffield(谢菲尔德大学计算机学院);The Alan Turing Institute(阿兰·图灵研究所)
本文对五种跨语言词表适配方法在四种生成式LLMs和四种语言上进行实证研究,发现CVA能实现高达271.5%的推理加速,且在均衡多语言数据上预训练的模型适配后下游性能与原模型相当。
2024-09-26 cs.AI cs.CL
End-to-End Open Vocabulary Keyword Search With Multilingual Neural Representations
Boğaziçi University(博阿齐奇大学);Brno University of Technology(布尔诺理工大学)
本文提出端到端无ASR开放词汇关键词搜索模型,采用双RNN编码器与点积匹配,并通过多语言预训练提升性能,在长查询和未见查询上优于传统ASR系统。
2023-08-15 cs.CL cs.SD eess.AS
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institute of Intelligent Systems and Robotics(智能系统与机器人研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室)
针对多语言大模型共享词汇表导致压缩不均、内存占用高和推理慢的问题,提出模块化分词器框架,通过可提取子分词器及采样预训练策略,实现高效训练与推理,不牺牲性能。
2026-09-15 cs.CL
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington(华盛顿大学)
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题,提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术,并通过系统实验证明其能高效提升低资源语言性能,且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
Multilingual Language Processing From Bytes
Google Research(谷歌研究院)
我们描述了一个基于LSTM的模型,我们称之为Byte-to-Span(BTS),它将文本读取为字节,并输出[start,length,label]形式的span注释,其中开始位置,长度和标签是我们词汇表中的单独条目。因为我们直接操作unicode字节而不是特定于语言的单词或字符,所以我们可以用一个模型分析多种语言的文本。由于词汇量小,这些多语言模型非常紧凑,但产生的结果类似于或优于仅使用提供的训练数据集(没有外部数据源)的词性标记和命名实体识别的最新技术。我们的模型是“从头开始”学习的,因为它们不依赖于自然语言处理(包括标记化)中标准管道的任何元素,因此可以在原始文本上以独立的方式运行。
2016-04-02 cs.CL
Parallel Tokenizers: Rethinking Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对低资源语言跨语言转移中因词汇映射问题限制表示学习的情况,提出并行分词器框架,先单语训练再对齐词汇表,实验表明该方法训练的模型在多任务中优于传统基线,对推进多语言表示学习意义重大。
2026-09-29 cs.CL
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校计算机科学与工程系);Department of CSE, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系);SCEE, Indian Institute of Technology Mandi(印度理工学院曼迪分校软件工程系);Adobe Research(Adobe研究)
本研究针对17种印度语言,系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响,发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies
RWTH Aachen University(亚琛工业大学)
迁移学习或多语言模型是低资源神经机器翻译(NMT)的必要条件,但其适用性仅限于同源语言,共享其词汇。本文展示了将预训练的NMT模型转移到没有共享词汇的新的无关语言的有效技术。我们通过使用跨语言词嵌入来缓解词汇不匹配,通过注入人工噪声来训练与语言无关的编码器,并且从预训练数据容易地生成合成数据而无需反向翻译。我们的方法不需要重组词汇或重新训练模型。在五个低资源翻译任务中,我们将普通NMT传输提高了5.1% BLEU,大大优于多语言联合训练。我们还提供了关于预训练嵌入、合成数据、词汇量和参数冻结的广泛消融研究,以更好地理解NMT转移。
2019-06-05 cs.CL cs.LG
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
我们引入了一个架构来学习93种语言的联合多语言句子表示,这些语言属于30多个不同的家族,用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器,具有所有语言的共享BPE词汇表,该编码器与辅助解码器相结合,并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器,并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理(XNLI数据集)、跨语言文档分类(MLDoc数据集)和并行语料挖掘(BUCC数据集)上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言,并表明,我们的句子嵌入获得强大的结果,即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Load What You Need: Smaller Versions of Multilingual BERT
Geotrend(吉创科技(Geotrend))
预训练的基于transformer的模型在各种自然语言处理数据集上实现了最先进的结果。然而,这些模型的大小通常是它们在实际生产应用程序中部署的一个缺点。在多语言模型的情况下,大多数参数都位于嵌入层。因此,减少词汇量应该对参数总数有重要影响。在本文中,我们建议根据目标语料库生成更小的模型,处理更少的语言。我们提出了一个较小版本的多语言BERT的XNLI数据集的评估,但我们相信,这种方法可以应用于其他多语言的Transformers。所获得的结果证实,我们可以生成更小的模型,保持可比的结果,同时减少高达45%的参数总数。我们将我们的模型与Distilm BERT(多语言BERT的蒸馏版本)进行了比较,结果表明,与语言简化不同,蒸馏导致XNLI数据集的整体准确性下降了1.7%至6%。所提出的模型和代码是公开的。
2020-10-12 cs.AI cs.CL cs.LG
Continual Learning in Multilingual NMT via Language-Specific Embeddings
NAVER LABS Europe(NAVER LABS 欧洲)
本文提出了一种新的源语言或目标语言添加到现有的多语言NMT模型,而无需重新训练它的初始语言集的技术。它包括用一个小的特定于语言的词汇表替换共享词汇表,并在新语言的并行数据上微调新嵌入。可以训练一些附加的语言特定组件以提高性能(例如,Transformer层或适配器模块)。由于原始模型的参数未被修改,因此其在初始语言上的性能不会降低。我们在两组实验(TED Talks上的小规模实验和ParaCrawl上的大规模实验)中表明,这种方法的性能与成本更高的替代方案一样好或更好;并且它具有出色的zero-shot性能:以英语为中心的数据的训练足以在新语言和任何初始语言之间进行翻译。
2021-10-20 cs.CL
Romanization-based Large-scale Adaptation of Multilingual Language Models
Technical University of Darmstadt(达姆施塔特工业大学);Google Research(谷歌研究院);University of Cambridge(剑桥大学)
本文提出利用UROMAN工具对多语言预训练语言模型进行大规模罗马化适配,在14种低资源语言上验证了其在未见文字和有限数据场景下的有效性,并表明基于罗马化数据的分词器在多数语言中优于非音译方法。
2023-04-18 cs.CL cs.LG
Exploring Design Choices for Building Language-Specific LLMs
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究系统探究适配现有单语、多语大语言模型构建特定语言LLM的各类设计选择的影响,发现初始性能不代表适配后效果、简单词表扩展即可提效、最优方案依语言而定,为高效构建特定语言LLM奠定基础。
2024-10-30 cs.AI cs.CL cs.LG
Happiness is Sharing a Vocabulary: A Study of Transliteration Methods
University of British Columbia, Canada(不列颠哥伦比亚大学,加拿大);Sungkyunkwan University, Republic of Korea(成均馆大学,韩国);Seoul National University, Republic of Korea(首尔国立大学,韩国);Electronics and Telecommunications Research Institute, Republic of Korea(电子通信研究院,韩国);Carnegie Mellon University, USA(卡内基梅隆大学,美国)
本文研究了多语言模型中共享脚本、重叠词库和共享语音对性能的影响,发现罗马化在12种评估设置中显著优于其他输入类型。
2026-03-23 cs.AI cs.CL
Specializing Multilingual Language Models: An Empirical Study
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
预训练的多语言语言模型已成为将NLP功能转换为低资源语言的常用工具,通常具有适应性。在这项工作中,我们研究的性能,可扩展性和相互作用的两个这样的适应:词汇扩增和脚本音译。我们对九种不同的低资源语言的词性标记、通用依存句法分析和命名实体识别的评估支持了这些方法的可行性,同时提出了如何最佳地使多语言模型适应低资源环境的新问题。
2022-06-18 cs.CL
TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出TransMI框架,利用现有多语言预训练模型及其分词器,通过音译-合并-初始化三阶段为音译数据创建强基线,无需重新训练,跨语言任务提升3%至34%。
2024-12-15 cs.CL
Efficiently Upgrading Multilingual Machine Translation Models to Support More Languages
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Meta AI
随着多语言机器翻译(MMT)模型的规模和支持语言的数量持续增长,随着数据以更多语言可用,重用和升级现有模型以节省计算是很自然的。然而,添加新的语言需要更新词汇表,这使得嵌入的重用变得复杂。如何在重用现有模型的同时进行架构更改以提供新旧语言的能力,这个问题也没有得到深入研究。在这项工作中,我们介绍了三种技术,帮助加快有效的学习新的语言和减轻灾难性遗忘,尽管词汇和架构不匹配。我们的研究结果表明,通过(1)仔细初始化网络,(2)应用学习率缩放,以及(3)执行数据上采样,有可能以30%的计算量超过相同大小的基线模型的性能,并恢复从头开始训练的更大模型的性能,计算量减少超过50%。此外,我们的分析表明,引入的技术有助于更有效地学习新的方向,并在同一时间减轻灾难性遗忘。我们希望我们的工作将指导研究更有效的方法来为这些MMT模型增加语言,并最终最大限度地重用现有模型。
2023-02-07 cs.CL
Merging Language and Domain Specific Models: The Impact on Technical Vocabulary Acquisition
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Fujitsu Research Ltd.(富士通研究有限公司)
本文研究将通用语言模型与领域特定模型融合对技术词汇习得的影响,通过定量评估揭示不同融合方法在增强领域知识及跨语言迁移中的效果与挑战。
2025-03-12 cs.CL cs.LG
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University(Yıldız技术大学);Istanbul Bilgi University(伊斯坦布尔比尔格大学)
提出一种高效的三阶段适应流程,通过跨语言分词器优化、教师模型克隆和离线蒸馏,构建了土耳其语句子嵌入模型embeddingmagibu-200m,在STSbTR上超越教师模型,并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
TokAlign++: Advancing Vocabulary Adaptation via Better Token Alignment
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国)
TokAlign++通过学习更好的词 token 对齐词典,提升多语言模型的词汇适应性能,实验显示其能提升多语言文本压缩率并保持模型能力,仅需1k步即可恢复基础模型性能。
2026-05-13 cs.CL
Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation
The University of Tokyo(东京大学);Google AI(谷歌人工智能)
将表示从大型监督任务转移到下游任务已经在计算机视觉和自然语言处理(NLP)等AI领域显示出有希望的结果。与此同时,机器翻译(MT)的最新进展使人们能够训练多语言神经MT(NMT)系统,该系统可以在多种语言之间进行翻译,并且还能够执行zero-shot翻译。然而,很少有人注意到利用多语言NMT系统学习的表示来实现其他NLP任务中的zero-shot多语言性。在本文中,我们展示了一个简单的框架,一个多语言编码器分类器,跨语言迁移学习重用的编码器从多语言NMT系统,并将其与特定于任务的分类器组件。我们提出的模型在三个基准任务-亚马逊评论,SST和SNLI的英语设置上取得了显着的改进。此外,我们的系统可以在训练期间没有看到分类数据的新语言中执行分类,这表明zero-shot分类是可能的,并且具有显著的竞争力。为了理解导致这一发现的潜在因素,我们对共享词汇表、NMT的训练数据类型、分类器复杂度、编码器表示能力和模型泛化对zero-shot性能的影响进行了一系列分析。我们的研究结果提供了强有力的证据表明,从多语言NMT系统中学习到的表征广泛适用于各种语言和任务。
2018-09-12 cs.AI cs.CL
Are pre-trained text representations useful for multilingual and multi-dimensional language proficiency modeling?
University of North Texas(北得克萨斯大学);National Research Council(国家研究委员会)
在过去的几年里,为非母语学习者开发语言能力模型一直是NLP研究的一个活跃领域。尽管语言能力本质上是多维的,但现有研究在构建模型时通常会考虑单一的“总体能力”。此外,现有的方法也一次只考虑一种语言。本文描述了我们对预训练和微调的多语言嵌入在执行多维多语言语言能力分类中的作用的实验和观察。我们报告的实验与三种语言-德语,意大利语和捷克语-和模型的七个方面的熟练程度,从词汇控制到社会语言学的适当性。我们的研究结果表明,虽然微调嵌入是有用的多语言能力建模,没有一个功能实现一致的最佳性能的语言能力的所有方面。所有代码、数据和相关补充材料可在https://github.com/nishkalavallabhi/MultidimCEFRScoring上找到。
2021-02-25 cs.CL
Learning to Match Job Candidates Using Multilingual Bi-Encoder BERT
Randstad Groep Nederland(任仕达集团荷兰)
在这次演讲中,我们将展示如何使用Randstad候选位置的历史来生成标记的CV-空缺对数据集。之后,我们通过添加余弦相似性对数损失层,在此数据集上微调具有双编码器结构的多语言BERT。我们将解释使用上述结构如何帮助我们克服上述大部分挑战,以及它如何使我们能够构建一个可维护和可扩展的管道来匹配简历和空缺。此外,我们展示了如何获得更好的语义理解,并学会弥合词汇差距。最后,我们强调多语言Transformers如何帮助我们处理跨语言障碍,并可能减少歧视。
2021-09-15 cs.CL cs.IR
Scale-free Characteristics of Multilingual Legal Texts and the Limitations of LLMs
Faculty of Science and Engineering(科学与工程学系);Waseda University(早稻田大学)
本文通过Heaps指数、Taylor指数、压缩率和熵等无标度度量比较法律文本、一般文本与GPT生成文本,发现法律文本具有更慢的词汇增长和更高的术语一致性,且当前生成模型未能完全复现法律文本的领域特定结构。
2025-09-22 cs.CL
Learning to Scale Multilingual Representations for Vision-Language Tasks
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
当前的多语言视觉语言模型要么需要为每种支持的语言提供大量的附加参数,要么随着语言的增加而性能下降。在本文中,我们提出了一种可扩展的多语言对齐语言表示(SMALR),它支持多种语言,只需很少的模型参数,而不会牺牲下游任务性能。SMALR为多语言词汇表中的大多数单词学习固定大小的语言不可知表示,仅保留少数语言特定的功能。我们使用掩蔽的跨语言建模损失来将特征与其他语言的上下文对齐。此外,我们提出了一个跨语言的一致性模块,确保预测查询和它的机器翻译是可比的。SMALR的有效性在10种不同的语言中得到了证明,是迄今为止视觉语言任务支持的数量的两倍多。我们对多语言图像句子检索进行了评估,与其他词嵌入方法相比,我们的训练参数不到1/5,性能优于之前的工作3-4%。
2020-08-27 cs.CL cs.CV
ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models
Department of Computer Science, University of Agriculture Faisalabad(费萨拉巴德农业大学计算机科学系)
针对罗马乌尔都语拼写变异导致的子词碎片化问题,提出ROMEVA方法,结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入,实验发现下游性能与嵌入稳定性存在脱节。
2026-06-23 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对低资源语言(LRL)的多语言神经机器翻译(MNMT)可以通过相关高资源语言(HRL)的存在来增强,但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近,MNMT适应LRL已被证明可以大大提高性能。在这项工作中,我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT,我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择,即在(zero-shot)翻译中,以及在两个方向(LRL-en)的多语言预训练模型的适应中。我们进一步表明,动态适应模型的词汇结果在一个更有利的分割LRL相比,直接适应。实验表明,即使LRL数据为零(+13.0 BLEU),也可以减少训练时间,并在LRL基线上获得显着的性能提升,对于预训练的多语言模型动态自适应与相关数据选择,最高可达+17.0 BLEU。我们的方法优于目前的方法,如大规模多语言模型和数据增强,在四个LRL。
2019-10-30 cs.CL
Targeted Multilingual Adaptation for Low-resource Language Families
University of Washington(华盛顿大学);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
该研究以乌拉尔语系为案例,系统探索预训练模型定向适配低资源语系的最佳实践,验证了亲缘语言训练的增益,得出词表大小影响弱、低资源语言可大幅上采样等结论,提升了模型在低资源语言上的性能。
2024-05-20 cs.CL
SkMTEB: Slovak Massive Text Embedding Benchmark and Model Adaptation
Comenius University in Bratislava(布拉迪斯拉发夸美纽斯大学);Cisco Systems(思科系统);Technical University of Košice(科希策技术大学);Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所)
针对低资源西斯拉夫语斯洛伐克语,构建首个MTEB风格文本嵌入基准SkMTEB(含31个数据集、7类任务),并开发高效本地部署模型e5-sk-small/large,通过词汇裁剪与微调在参数减少62%下达到与商业API相当的竞争力。
2026-06-12 cs.AI cs.CL cs.LG
Optimizing LLMs for Italian: Reducing Token Fertility and Enhancing Efficiency Through Vocabulary Adaptation
Babelscape(Babelscape公司)
本研究提出SAVA方法,通过词汇适配优化英语LLMs用于意大利语,降低令牌繁殖率并提升效率,在多个任务上保持竞争力。
2025-04-23 cs.CL
Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
针对基于字节的神经机器翻译存在的信息密度低、已有方法无法动态适配上下文范围的问题,提出多尺度上下文建模方法,通过不同隐状态维度学习多尺度上下文并动态融合,在多语言和域外场景下效果显著优于现有方法。
2024-08-11 cs.CL
TokAlign: Efficient Vocabulary Adaptation via Token Alignment
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院,北京);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(人工智能学院,中国科学院大学,北京)
本文提出TokAlign方法,通过词元ID一对一映射对齐并替换大语言模型词汇表,以极低成本实现高效词汇适配和词元级知识迁移,显著提升多语言压缩率并改善模型初始化与蒸馏效果。
2025-06-04 cs.CL
On Multilingual Encoder Language Model Compression for Low-Resource Languages
Saarland University(萨尔兰州大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Kempelen Institute of Intelligent Technologies (KInIT)(Kempelen智能技术研究所);Centre for European Research in Trusted AI (CERTAIN)(可信人工智能欧洲研究中心)
本文提出一种结合知识蒸馏、结构化剪枝、截断和词表裁剪的极致压缩方法,将多语言编码器模型压缩为低资源语言的单语言小模型,在保持竞争力的同时实现高达92%的压缩率。
2025-11-06 cs.CL
MultiHashFormer: Hash-based Generative Language Models
School of Computer Science, University of Sheffield, United Kingdom(谢菲尔德大学计算机科学学院,英国)
提出MultiHashFormer框架,通过多哈希签名表示令牌,实现参数高效的因果语言建模,在多个规模上优于标准Transformer。
2026-09-01 cs.AI cs.CL cs.LG
Adapters for Altering LLM Vocabularies: What Languages Benefit the Most?
University of Maryland(马里兰大学);Microsoft(微软公司);Amazon(亚马逊公司)
本文提出 VocADT,用固定模型权重下的适配器学习现有嵌入的最优线性组合以扩展 LLM 词汇表;11 种语言实验表明其在多语言理解和翻译任务上优于 Mistral 等基线。
2025-03-16 cs.CL
Echoes Across Vietnam's Highlands, Delta, and Coast: A Multilingual Corpus for Cham, Khmer, and Tay-Nung
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), VNU-HCM(胡志明市理工大学计算机科学与工程学院(胡志明市国立大学所属));Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对越南占语、高棉语和岱侬语在自然语言处理中缺乏语料库的问题,引入CKTN语料库,指出现有多语言编码器不足,采用脚本感知适应方法,得到分割减少、分类性能强的编码器,揭示词汇重叠检索评估局限。
2026-07-28 cs.CL
gundapusunil at SemEval-2020 Task 9: Syntactic Semantic LSTM Architecture for SENTIment Analysis of Code-MIXed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(海得拉巴国际信息技术研究所知识计算与集成系统中心)
语码混合是指多种语言的词汇和句法在同一话语中混合使用的现象。这在多语言社会中更为明显。在本文中,我们开发了一个系统SemEval 2020:任务9对代码混合社交媒体文本的情感分析。我们的系统首先为社交媒体文本生成两种类型的嵌入。其中,第一个是字符级嵌入,用于编码字符级信息并处理词汇表外的条目,第二个是FastText词嵌入,用于捕获形态和语义。这两个嵌入被传递到LSTM网络,系统的性能优于基线模型。
2020-10-09 cs.CL
Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
Ghent University(根特大学);imec;KU Leuven(鲁汶大学);BeCode asbl;Internet and Data Science Lab (IDLab)(互联网与数据科学实验室(IDLab));AI & Data Bootcamp Ghent 2024(2024年根特人工智能与数据训练营)
本文提出跨分词迁移策略,通过源语言语义相似分词嵌入的加权平均初始化目标语言嵌入,实现高资源大语言模型向低资源语言的适配,并以Tweeties和Hydra系列模型验证其在多语言下游任务及零样本鞑靼语机器翻译中的有效性。
2024-08-08 cs.CL cs.LG
CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation
Google Research(谷歌研究院)
流水线NLP系统已经在很大程度上被端到端神经建模所取代,但几乎所有常用的模型仍然需要显式的标记化步骤。虽然最近基于数据派生的子词词典的标记化方法比手动设计的标记化器更脆弱,但这些技术并不同样适用于所有语言,并且使用任何固定词汇表可能会限制模型的适应能力。在本文中,我们提出了CANINE,一个神经编码器,直接对字符序列进行操作,没有显式的标记化或词汇,以及一个预训练策略,直接对字符进行操作或可选地使用子字作为软归纳偏差。为了有效和高效地使用其更细粒度的输入,CANINE将减少输入序列长度的下采样与编码上下文的深度Transformer堆栈相结合。尽管模型参数减少了28%,但CANINE在TyDi QA(一个具有挑战性的多语言基准测试)上的表现优于可比的mBERT模型2.8 F1。
2022-05-18 cs.CL cs.LG
Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
Google Research(谷歌研究院)
本文提出融合USM与PaLM 2的全非自回归多语言ASR系统,利用并行解码降低延迟,并通过多数据集实验和大规模消融验证其性能与关键影响因素。
2024-01-23 cs.CL cs.SD eess.AS