Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Generating Concept Lexicalizations via Dictionary-Based Cross-Lingual Sense Projection
University of Toronto（多伦多大学）
提出一种通过语义投影将英语WordNet概念扩展到新语言的方法，利用双语词典增强对齐并过滤错误投影，在多个语言上提升了精度且保持可解释性和资源效率。
2026-06-08 cs.AI cs.CL
An In-Vitro Study on Cross-Lingual Generalization in Language Models
Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫利人工智能研究所（IDSIA））
通过构建两种程序生成的语言，独立控制词汇距离、少数语言比例等变量，研究语言模型跨语言迁移的机制，发现迁移主要取决于分词是否保留可复用的跨语言子结构，且词汇量越小越有利于掩码迁移。
2026-05-26 cs.AI cs.CL
Zero-shot Neural Transfer for Cross-lingual Entity Linking
Carnegie Mellon University（卡内基梅隆大学）
跨语言实体链接将源语言中提到的实体映射到不同（目标）语言的结构化知识库中的其对应条目。虽然以前的工作在很大程度上依赖于双语词汇资源，以弥合源语言和目标语言之间的差距，这些资源是稀缺的，或无法为许多低资源的语言。为了解决这个问题，我们调查zero-shot跨语言实体链接，在其中，我们假设没有双语词汇资源，在源低资源语言。具体来说，我们提出了基于数据库的实体链接，它利用来自高资源“枢轴”语言的信息来训练字符级神经实体链接模型，这些模型以zero-shot方式转移到源低资源语言。通过对9种低资源语言的实验和总共54种语言的传输，我们表明，我们提出的基于XML的框架在zero-shot场景下，平均比基线系统提高了17%（绝对）的实体链接准确度。此外，我们还研究了使用语言通用的语音表示，提高了36%的平均准确性（绝对）时，使用不同的脚本之间的语言转移。
2018-11-09 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
Language Diversity: Visible to Humans, Exploitable by Machines
University of Trento（特伦托大学）；National University of Mongolia（蒙古国立大学）
Universal Knowledge Core（UKC）是一个大型的多语言词汇数据库，专注于语言多样性，涵盖了1000多种语言。数据库的目的，以及它的工具和数据目录，是使有点抽象的概念多样性视觉上理解的人类和正式利用的机器。UKC网站允许用户探索数以百万计的单个单词及其含义，以及跨语言趋同和分歧的现象，例如共享的语际含义，词汇相似性，同源集群或词汇空缺。反过来，UKC LiveLanguage Catalogue以计算机可处理的形式提供对底层词汇数据的访问，准备在跨语言应用程序中重用。
2022-03-09 cs.CL
KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Carnegie Mellon University (CMU)（卡内基梅隆大学）；KIT Campus Transfer (KCT)（KIT校区转移）
针对跨语言语音克隆中的口音变化和领域词汇问题，基于FishAudio-S2-Pro多语言文本转语音模型，引入语言标签提示、强化学习微调和参考条件词汇匹配方法，提升可懂度和自然度。
2026-06-05 cs.CL cs.SD
CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages
IIT Hyderabad（印度理工学院海得拉巴分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Microsoft（微软公司）
本文提出CharSpan方法，通过字符跨度噪声增强利用高资源语言与极低资源语言的词汇相似性，实现零样本机器翻译，在多个语系上达到最先进性能。
2024-02-04 cs.CL
Cross-Lingual Auto Evaluation for Assessing Multilingual LLMs
Nilekani Centre at AI4Bharat（AI4Bharat 奈尔肯中心）；IIT Madras（印度理工学院马德拉斯分校）；New York University（纽约大学）；Microsoft（微软）；National Institute of Information and Communications Technology, Kyoto, Japan（京都国立信息与通信技术研究所）
本文提出跨语言自动评测套件CIA Suite，包括评估模型Hercule和测试集Recon，通过利用英语参考答案实现低资源多语言评估，实验表明其与人工判断一致性优于专有模型。
2025-07-18 cs.CL
A survey of cross-lingual features for zero-shot cross-lingual semantic parsing
Georgia Institute of Technology（佐治亚理工学院）；Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
利用语料库来训练英语语义分析器，已经在该领域取得了重大进展。不幸的是，对于英语以外的语言，注释是稀缺的，所以是发达的解析器。然后我们会问：一个用英语训练的解析器可以应用于它没有被训练过的语言吗？为了回答这个问题，我们探索zero-shot跨语言语义解析，其中我们训练可用的从粗到细的语义解析器（Liu et al.，2018）使用跨语言词嵌入和英语中的通用依赖关系，并在意大利语，德语和荷兰语上进行测试。并行意义库（一个多语言语义图库）的结果表明，当与其他词汇特征结合使用时，通用依赖特征显着提高了性能，但在对输入进行编码时，直接对UD结构进行建模则不会。
2019-08-27 cs.CL
AI-Associated Lexical Shifts Across 34 Languages: Cross-Lingual Convergence and Diachronic Uptake in News Writing
Florida State University（佛罗里达州立大学）
通过分析34种语言的新闻语料，使用GPT-4.1续写诊断方法，发现AI过度使用的词汇在跨语言中呈现语义趋同，且ChatGPT发布后这些词汇的使用频率显著增加。
2026-05-25 cs.AI cs.CL cs.CY
Wasserstein distances for evaluating cross-lingual embeddings
Salesforce（赛富时）；Expedia Group（亿客行集团）
词嵌入是词的高维向量表示，其在向量空间中捕获它们的语义相似性。有几种算法用于学习这种嵌入，既为一种语言，以及为几种语言联合。在这项工作中，我们建议通过适应下游自然语言任务的最佳运输框架，以评估集合的嵌入。我们展示了如何家庭的Wasserstein距离可以用来解决跨语言的文档检索和跨语言的文档分类问题。我们认为这种方法的优势相比，更传统的评价方法，如双语词汇归纳嵌入。我们的实验结果表明，在这些问题上使用Wasserstein距离的性能优于几个强基线，并与最先进的模型相当。
2019-11-11 cs.CL
Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
Apple（苹果公司）
提出LINK方法，利用双语词汇对预训练数据中的高资源语言部分进行词汇替换，无需额外模型训练或大量平行数据，即可有效提升低资源语言的知识迁移效果。
2026-05-22 cs.CL
Cross-lingual Annotation Projection for Semantic Roles
University of Edinburgh（爱丁堡大学）
本文考虑在新语言的FrameNet范例中自动归纳角色语义注释的任务。我们提出了一个通用的框架，是基于注释投影，措辞作为一个图形优化问题。它相对便宜，并且有可能减少创建角色语义资源所涉及的人力。在这个框架内，我们提出的投影模型，利用词汇和句法信息。我们提供了一个实验评估的英语-德语平行语料库，这表明了高精度的德语语义角色注释的可行性，手动和自动标注的英语数据。
2014-01-15 cs.CL
Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
现在已经确定，现代神经语言模型可以在不改变底层架构的情况下同时在多种语言上成功训练。但是，在这些模型中，语言之间真正共享的是什么样的知识呢？多语言培训是否主要导致词汇表征空间的对齐，或者它是否也能够共享纯语法知识？在本文中，我们剖析了不同形式的跨语言迁移，并寻找其最决定性的因素，使用各种模型和探测任务。我们发现，暴露我们的LM相关的语言并不总是增加语法知识的目标语言，词汇语义转移的最佳条件可能不是最佳的句法转移。
2021-04-14 cs.CL cs.LG
Robust Cross-lingual Hypernymy Detection using Dependency Context
University of Maryland（马里兰大学）；University of Pennsylvania（宾夕法尼亚大学）
跨语言上位词检测涉及确定一种语言中的词（“fruit”）是否是另一种语言中的词（“pomme”，即法语中的apple）的上位词。跨语言的上位词检测能力可以帮助解决跨语言版本的任务，如文本蕴涵和事件共指。我们提出了BISPARSE-DEP，一个家庭的跨语言上位词检测的无监督方法，学习稀疏，双语词嵌入依赖上下文的基础上。我们表明，BISPARSE-DEP可以显着提高性能，在这项任务上，仅基于词汇上下文的方法相比。我们的方法也很健壮，在低资源设置中表现出了希望：我们基于依赖关系的嵌入可以使用在相关语言上训练的解析器来学习，性能损失可以忽略不计。我们还为这项任务提供了一个具有挑战性的数据集，涉及四种语言-俄语，法语，阿拉伯语和中文。我们的嵌入和数据集是公开的。
2018-03-30 cs.CL
Discovering Lexical Gaps Using Embeddings from Multilingual LLMs
Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系）
提出一种数据驱动框架，通过多语言大语言模型的上下文嵌入计算语义相似度，以识别跨语言词汇空缺，在韩英和英韩方向上分别达到0.81和0.76的AUC。
2026-05-23 cs.CL cs.LG
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Using Linguistic Typology to Enrich Multilingual Lexicons: the Case of Lexical Gaps in Kinship
National University of Mongolia（蒙古国立大学）；University of Trento（特伦托大学）
本文介绍了一种利用词汇类型学知识，丰富词汇资源的方法。我们通过词汇空缺和语言特定词的概念来捕捉多样性现象，并使用一种系统的方法来大规模地半自动地推断空缺。作为亲属术语领域的第一个结果，我们发布了一个词汇语义资源，包括198个领域概念，1，911个单词和37，370个缺口，涵盖699种语言。我们看到了使用我们这样的资源来改进各种跨语言NLP任务的潜力，我们通过评估机器翻译系统的下游应用程序来证明这一点。
2022-04-11 cs.CL
Improving Lexical Difficulty Prediction with Context-Aligned Contrastive Learning and Ridge Ensembling
Mantera Studio（Mantera工作室）；The University of Manchester（曼彻斯特大学）；Universitas Gadjah Mada（加查马达大学）
本文提出上下文对齐对比回归方法，结合岭回归集成与交叉视图上下文和有序软对比学习，提升跨语言词汇难度预测的准确性和稳定性。
2026-05-09 cs.AI cs.CL
A Phonemically Comprehensive, ASCII-Only Romanization Scheme for Thai and Lao: Systematic Cross-Lingual Correspondence and Chinese-User-Friendly Design
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种音位全面、纯ASCII的泰语和老挝语罗马化方案，统一设计以保持系统对应，兼顾拼音和粤拼，并采用紧凑声调表示，便于学习与跨语言处理。
2026-09-18 cs.CL
Toward Cross-Lingual Definition Generation for Language Learners
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
自动生成词典定义对语言学习者很有用。然而，跨语言定义的生成仍然是一个具有挑战性的任务。在这项工作中，我们建议用英语为各种语言中的单词生成定义。为了实现这一点，我们提出了一个简单而有效的方法，基于公开的预训练语言模型。在这种方法中，模型可以在英语数据集上训练后直接应用于其他语言。我们证明了这种方法的有效性zero-shot定义生成。实验和人工分析表明，我们的模型有很强的跨语言迁移能力，可以生成流利的英文定义的中文单词。我们进一步测量生成和引用定义的词法复杂度。结果表明，生成的定义更简单，更适合语言学习者。
2020-10-12 cs.CL
Cross-Lingual Syntactic Transfer with Limited Resources
Columbia University（哥伦比亚大学）；Google Inc.（谷歌公司）
我们描述了一个简单而有效的方法，跨语言的依赖分析器的句法转换，在大量的翻译数据是不可用的情况下。该方法使用三个步骤：1）用于导出跨语言单词集群的方法，然后可以在多语言解析器中使用; 2）用于将词汇信息从目标语言转移到源语言树库的方法; 3）将这些步骤与Rasooli和Collins（2015）的密度驱动的注释投影方法集成的方法。实验表明，在翻译数据的唯一来源是《圣经》的情况下，与之前工作中使用的几种语言的最新技术相比，有了改进，而《圣经》的语料库比之前工作中使用的Europarl语料库要小得多。使用Europarl语料库作为翻译数据源的结果显示，与Rasooli和Collins（2015）的结果相比，有了进一步的改进。我们的结论与结果38个数据集从通用的知识库。
2017-02-04 cs.CL
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University（萨尔大学）；Inria（法国国家信息与自动化研究所）
本研究聚焦印度语言多语言机器翻译的词汇共享，探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性，发现音译无明显提升，原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings
Columbia University（哥伦比亚大学）；Instagram（照片墙）
研究代码切换语音设置中人类与分类模型夹带行为，通过跨语言分析发现词汇夹带具普遍性，声学韵律等方面有语境差异，分类器能检测夹带但优先考虑的特征与人类不同，引入评估模型决策框架并提出对话代理发展挑战。
2026-10-26 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim（曼海姆大学）；University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
使用语言建模目标（例如，mBERT，XLM-R）已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例，提供了无与伦比的迁移性能。然而，目前的下游评估，主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据，并与词汇和类型学接近的语言。在这项工作中，我们分析了它们的局限性，并表明，跨语言迁移通过大规模的多语言Transformers，很像通过跨语言的词嵌入传输，是大大降低了资源贫乏的情况下，为遥远的语言。我们的实验，包括三个较低层次的任务（POS标记，依存句法分析，NER），以及两个高层次的语义任务（NLI，QA），经验相关的迁移性能与源语言和目标语言之间的语言相似性，但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移（即，在对源代码进行微调之后，对一些目标语言实例进行微调）。这表明，应投入更多的研究努力，以超越限制性的zero-shot条件。
2020-05-01 cs.CL
GloCTM: Cross-Lingual Topic Modeling via a Global Context Space
GloCTM通过构建统一语义空间，实现跨语言主题建模的连贯性和语义对齐，提升多语言理解能力。
2026-01-17 cs.CL
Cross-lingual Argumentation Mining: Machine Translation (and a bit of Projection) is All You Need!
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
论证挖掘（AM）需要识别复杂的话语结构，最近已经成功地应用于单语言。在这项工作中，我们表明，现有的资源，但是，不足以评估跨语言AM，由于其异质性或缺乏复杂性。因此，我们创建合适的平行语料库（人类和机器）翻译一个流行的AM数据集，包括有说服力的学生论文成德语，法语，西班牙语和中文。然后，我们比较了（i）注释投影和（ii）双语词嵌入的跨语言AM的直接转移策略，发现前者表现得更好，几乎消除了损失的跨语言迁移。此外，我们发现，无论是昂贵的人力或廉价的机器翻译时，注释投影同样适用。我们的代码和数据可在\url{http://github.com/UKPLab/coling2018-xling_argument_mining}上获得。
2018-07-24 cs.CL
Cross-lingual and Multilingual Spoken Term Detection for Low-Resource Indian Languages
Microsoft Research India（微软印度研究院）；Microsoft Corporation（微软公司）
口语术语检测（STD）是在音频中搜索单词或短语的任务，给定文本或口语输入作为查询。在这项工作中，我们使用国家的最先进的印地语，泰米尔语和泰卢固语ASR系统跨语言的词汇口语检测在十个低资源的印度语言。由于在这些语言中没有公开可用的数据集用于口语术语检测，因此我们使用公开可用的TTS数据集创建一个新的数据集。我们报告了一个标准的指标STD，平均术语加权值（MTWV），并表明，ASR系统内置的的语言是语音相似的目标语言有更高的准确性，但是，它也有可能得到高MTWV分数不同的语言，通过使用一个宽松的电话匹配算法。我们提出了一种技术，引导的字形音素（g2p）之间的映射所有的语言正在考虑使用公开可用的资源。当我们结合多个ASR系统的输出时，当我们使用特定于语言的语言模型时，我们会获得收益。我们表明，它是可能的，以执行STD跨语言的zero-shot的方式，而不需要任何特定语言的语音数据。我们计划将STD数据集提供给其他对跨语言STD感兴趣的研究人员。
2020-11-12 cs.CL
Harnessing Cross-lingual Features to Improve Cognate Detection for Low-resource Languages
IIT Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学联合研究学院）；Monash University（莫纳什大学）；NICT（日本情报通信研究机构）
同源词是同一词汇形式在不同语言中的变体;例如西班牙语中的“fonema”和英语中的“phoneme”都是同源词，两者都意味着“声音的单位”。自动检测任意两种语言之间的同源词的任务可以帮助下游的NLP任务，例如跨语言信息检索、计算系统发生学和机器翻译。在本文中，我们展示了使用跨语言的词嵌入检测同源十四个印度语言。我们的方法介绍了使用上下文从知识图谱生成改进的特征表示同源检测。然后，我们评估了我们的同源检测机制对神经机器翻译（NMT）的影响，作为一个下游任务。我们评估我们的方法来检测同源词的一个具有挑战性的数据集的12种印度语言，即梵语，印地语，阿萨姆语，奥里亚语，卡纳达语，古吉拉特语，泰米尔语，泰卢固语，旁遮普语，孟加拉语，马拉地语，马拉雅拉姆语。此外，我们还为另外两种印度语言创建了评估数据集，即Konkani和尼泊尔语。我们观察到高达18%的点，在F分数方面，同源检测的改善。此外，我们观察到使用我们的方法提取的同源词有助于将NMT质量提高高达2.76 BLEU。我们还公开发布我们的代码、新构建的数据集和跨语言模型。
2021-12-16 cs.CL
Distributed Representations of Lexical Sets and Prototypes in Causal Alternation Verbs
Universitá di Cambridge（剑桥大学）；Università degli Studi di Pavia（帕维亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
词汇集包含了动词的论元位置，并且部分地由选择偏好决定。本文的目的是通过分布语义学来揭示词汇集合的性质。我们考察了：（1）词集是否表现为具有中心和外围的原型范畴;（2）词集是否具有多态性，即由子范畴组成;（3）不同论元的词集之间的距离是否能够解释动词属性。特别是，我们的案例研究是在意大利语的使役始动动词的词汇集。通过对几种向量模型的研究，我们发现：（1）基于距离质心的空间距离，宾语填充词均匀地分布在范畴中，而不及物主语填充词则位于其边缘;（2）动词义项的数量与自动发现的类的数量之间存在相关性，尤其是对于不及物主语;（3）宾语和不及物主语的质心距离与动词的其他性质有关，如动词的跨语言倾向是以不及物形式出现而不是以及物形式出现。这篇论文是不明确的假设，这种联系是由语义原因，即由动词表示的事件的自发性。
2020-10-26 cs.CL
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen（哥廷根大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland University（萨尔大学）
研究发现跨语言对齐与下游任务目标存在正交性，导致对齐效果因语言和任务类型而异，提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University（萨尔大学）；Zuse School ELIZA（Zuse ELIZA 学院）；Radboud University（拉德堡德大学）
研究探讨双语模型中跨语言激活是否模仿人类处理模式，发现词形共享影响模型表现，频率而非形式一致性主导效果，仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
Synonymy = Translational Equivalence
University of Alberta（阿尔伯塔大学）
同义关系和翻译对等是指语言内部和语言之间的意义相同的关系。作为词网和多词网中的主要关系，它们对计算词汇语义学至关重要，但该领域缺乏一个共同的形式化框架来定义它们的属性和关系。本文提出了一种统一处理这两种关系的方法，并在现有资源上进行了实验验证。在我们看来，同义和翻译对等只是语义同一性的不同类型。这一理论为重新评价跨语言语义学的研究成果奠定了坚实的基础，也为词汇资源的创建、验证和改进提供了便利。
2020-12-11 cs.CL
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale
University of Pennsylvania（宾夕法尼亚大学）
PAXQA提出一种利用平行语料间接监督的合成数据生成方法，通过问题生成和标注投影，生成大规模跨语言问答数据，在多个抽取式问答数据集上优于先前模型。
2023-10-17 cs.CL
Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes
Charles University（查理大学）
最先进的上下文嵌入是从仅适用于少数语言的大语言模型中获得的。对于其他人，我们需要使用多语言模型学习表示。关于多语言嵌入是否可以在多语言共享的空间中对齐的争论正在进行中。新的正交结构探测器（Limisiewicz和Mareček，2021）允许我们回答特定语言特征的这个问题，并仅基于单语言注释数据集学习投影。我们评估的语法（UD）和词汇（WordNet）的结构信息编码inmBERT的上下文表示九种不同的语言。我们观察到，对于与英语密切相关的语言，不需要转换。被评估的信息被编码在共享的跨语言嵌入空间中。对于其他语言，应用为每种语言单独学习的正交变换是有益的。我们成功地将我们的研究结果应用到zero-shot和Few-Shot跨语言句法分析。
2021-09-10 cs.AI cs.CL
Translation Artifacts in Cross-lingual Transfer Learning
HiTZ Center（HiTZ中心）；University of the Basque Country (UPV/EHU)（巴斯克大学）
人类和机器翻译在跨语言迁移学习中都扮演着核心角色：许多多语言数据集是通过专业翻译服务创建的，使用机器翻译来翻译测试集或训练集是一种广泛使用的迁移技术。在本文中，我们表明，这样的翻译过程可以引入微妙的工件，有显着的影响，在现有的跨语言模型。例如，在自然语言推理中，独立地翻译前提和假设可以减少它们之间的词汇重叠，而当前的模型对词汇重叠高度敏感。我们发现，以前的一些研究结果在跨语言迁移学习需要重新考虑在这种现象的光。基于所获得的见解，我们还将XNLI中的最先进技术分别提高了4.3和2.8个点，用于测试和zero-shot方法。
2020-12-14 cs.CL cs.LG
mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?
Brown University（布朗大学）
本研究提出合成任务mOthello，探究多语言模型中跨语言表示对齐与迁移的条件，发现锚定标记有助于对齐但语言无关表示不足，进而提出统一输出空间的多语言预训练方法以促进跨语言迁移。
2024-04-18 cs.AI cs.CL
Soft Token Alignment for Cross-Lingual Reasoning
Georgia Institute of Technology（佐治亚理工学院）
提出SOLAR方法，通过软令牌对齐跨语言表示，提升多语言推理准确率，尤其对低资源语言效果显著。
2026-06-26 cs.CL
Choosing Transfer Languages for Cross-Lingual Learning
National Research Council, Canada（加拿大国家研究委员会）；Carnegie Mellon University（卡内基梅隆大学）
跨语言迁移，其中高资源迁移语言用于提高低资源任务语言的准确性，现在是提高低资源语言上的自然语言处理（NLP）性能的宝贵工具。然而，给定一个特定的任务语言，并不清楚从哪种语言转移，标准策略是根据特定的标准选择语言，通常是实验者的直觉。由于跨语言迁移的成功取决于大量的特征（包括系统发育相似性、类型学特性、词汇重叠或可用数据的大小），即使是最开明的实验者也很少考虑手头特定任务的所有这些因素。在本文中，我们将自动选择最佳传输语言的任务视为排名问题，并构建考虑上述特征的模型来执行此预测。在对代表性NLP任务的实验中，我们证明了我们的模型预测良好的迁移语言比单独考虑单个特征的自组织基线要好得多，并收集了关于哪些特征对每个不同的NLP任务最有信息量的见解，即使不使用我们的方法，也可以为未来的自组织选择提供信息。代码、数据和预训练模型可在https://github.com/neulab/langrank上获得
2019-06-07 cs.CL
Universal Neural Machine Translation for Extremely Low Resource Languages
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在本文中，我们提出了一种新的通用机器翻译方法，专注于语言的并行数据量有限。我们提出的方法利用迁移学习的方法来共享词汇和句子级别的表示在多个源语言到一个目标语言。词汇部分通过通用词汇表示共享，以支持多语言单词级共享。由来自与所有其它语言共享源编码器的所有源语言的专家的模型来表示中间级共享。这使得低资源语言能够利用高资源语言的词汇和句子表示。我们的方法能够使用6k句子的小型并行语料库在罗马尼亚语-英语WMT 2016上实现23个BLEU，而使用多语言训练和反向翻译的强基线系统的BLEU为18个。此外，我们表明，所提出的方法可以通过在zero-shot设置中微调预训练的多语言系统，在同一数据集上实现近20个BLEU。
2018-04-17 cs.CL
Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus
University of Salerno（萨勒诺大学）；ICAR-CNR（意大利国家研究委员会信息与高性能计算研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语言可接受性的自动化方法的发展已经大大促进了英语CoLA语料库的可用性，这也被包括在广泛使用的GLUE基准。然而，这种研究的语言以外的英语，以及跨语言的方法的分析，一直受到阻碍的资源与其他语言的规模相当的缺乏。因此，我们开发了ItaCoLA语料库，其中包含近10，000个具有可接受性判断的句子，它是按照与英语相同的方法和步骤创建的。在本文中，我们描述了语料库的创建，我们详细介绍了它的内容，我们提出了这个新资源的第一个实验。我们比较了域内和域外分类，并对九种语言现象进行了具体的评估。我们还提出了第一个跨语言的实验，旨在评估是否多语言transformerbased方法可以受益于使用两种语言的句子在微调。
2021-09-24 cs.CL
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化，这是将非标准文本（通常来自社交媒体）转换为更标准化形式的过程。在这项工作中，我们提出了一个基于mBART，框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题，不仅仅是英语，我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平，我们认为，这种方法是直接从技术的角度来看，并建立在现有的预先训练的Transformer网络。我们的研究结果表明，虽然单词级别的，内在的，性能评估是落后于其他方法，我们的模型提高了外在的，下游任务的性能，通过规范化相比，模型操作的原始，未处理的，社交媒体文本。
2021-10-12 cs.CL
Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Google Research（谷歌研究院）
预先训练的多语言模型，如mBERT和XLM-R，已经证明了zero-shot跨语言迁移到低网络资源语言（LRL）的巨大潜力。然而，由于有限的模型容量，高网络资源语言（HRL）和LRL之间的可用单语语料库的大小的巨大差异并没有提供足够的范围的共同嵌入LRL与HRL，从而影响下游的LRL的任务性能。在本文中，我们认为，沿着词汇重叠的维度在一个语系中的语言之间的相关性可能会被利用来克服一些语料库的限制LRL。我们提出了重叠BPE（OBPE），一个简单而有效的修改BPE词汇生成算法，提高了相关语言的重叠。通过对多个NLP任务和数据集的广泛实验，我们观察到OBPE生成了一个词汇表，通过与HRL共享的标记来增加LRL的表示。这导致从相关HRL到LRL的改进的zero-shot转移，而不降低HRL表示和准确性。与以前的研究，驳回了标记重叠的重要性，我们表明，在低资源相关的语言设置，标记重叠的事项。综合地将重叠减少到零可能导致zero-shot传输精度下降多达四倍。
2022-03-23 cs.CL
Zero-shot Cross-Linguistic Learning of Event Semantics
Indiana University（印第安纳大学）；Rutgers University（罗格斯大学）；University of Pittsburgh（匹兹堡大学）；University of Edinburgh（爱丁堡大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
类型多样的语言提供了词汇和语法方面的系统，使说话者能够专注于事件结构的各个方面，这些方面与他们所面临的特定交际环境和话语限制相一致。在本文中，我们特别关注阿拉伯语，汉语，波斯语，德语，俄语和土耳其语的图像标题，并描述了一个用于预测词汇方面的计算模型。尽管这些语言的异质性，以及在其标题语料库中对独特语言资源的显著调用，但这些语言的使用者在构建图像内容的方式上表现出惊人的相似性。我们利用这一观察结果进行zero-shot跨语言学习，并表明尽管根本没有观察到这种语言的任何注释数据，但可以预测给定语言的词汇方面。
2022-07-05 cs.CL
Towards Universal Semantic Tagging
CLCG, University of Groningen（格罗宁根大学语言与认知中心）
本文提出了通用语义标注的任务-用语言中立的、语义信息丰富的标签标注单词标记。我们认为，该任务，其独立的性质，有助于更好的语义分析，广泛覆盖的多语种文本。我们提出的语义标签集的初始版本，并表明（a）的标签提供语义细粒度的信息，（b）他们是适合跨语言的语义解析。语义标注在并行语义库中的应用支持这两点，因为标注有助于正式的词汇语义和它们的跨语言投射。作为应用程序的一部分，我们用语义标签标注了一个小语料库，并为通用语义标签提供了新的基线结果。
2017-09-29 cs.CL
Neural Recovery of Historical Lexical Structure in Bantu Languages from Modern Data
Harvard University（哈佛大学）
研究神经模型是否能从现代形态数据中恢复跨语言词汇结构，发现13个 productive classes 在班图语言中保持高相似性，验证了与Proto-Bantu的关联。
2026-04-24 cs.CL cs.LG
SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation
Google Research（谷歌研究院）；George Washington University（乔治华盛顿大学）；University of the Basque Country（巴斯克大学）；University of Sheffield（谢菲尔德大学）
语义文本相似度（STS）是衡量句子之间的语义相似度的指标。应用包括机器翻译（MT）、摘要、生成、问答（QA）、简短回答分级、语义搜索、对话和会话系统。STS共享任务是评估当前最先进技术的场所。2017年的任务侧重于多语言和跨语言对，其中一个子轨道探索MT质量估计（MTQE）数据。这项任务得到了31个小组的大力参与，其中17个小组参加了所有语文轨道。我们总结性能和审查的选择表现良好的方法。分析突出了常见的错误，深入了解现有模型的局限性。为了支持正在进行的语义表示工作，STS基准被引入作为一个新的共享训练和评估集，该集是从英语STS共享任务数据（2012-2017）的语料库中精心挑选出来的。
2017-07-31 cs.CL
Lost in Interpretation: The Plausibility-Faithfulness Trade-off in Cross-Lingual Explanations
Indian Institute of Technology Kharagpur（印度理工学院Khargpur分校）；TCG Crest（TCG研究中心）；National University of Singapore（新加坡国立大学）
本文研究了跨语言解释中可信度与忠实度之间的权衡，发现以英语为枢纽的解释在与人类理由的一致性上表现更好，但其证据在模型预测中的因果基础较弱。研究发现，英语解释虽然流畅，但与原生语言条件相比，其解释的全面性下降了5.7倍，甚至在任务准确性保持稳定的情况下，也未能保留语义细微差别。因此，建议在输入语言中审计解释，报告多方面的忠实度指标，并将英语解释视为沟通摘要而非忠实的决策轨迹。
2026-05-19 cs.CL
Crowdsourcing Lexical Diversity
Department of Information Engineering and Computer Science, University of Trento（信息工程与计算机科学系，特伦托大学）；Palestine Technical University–Kadoorie（巴勒斯坦技术大学–卡多里）；Open University of Cyprus, CYENS - Centre of Excellence（塞浦路斯开放大学，CYENS-卓越中心）；Lab-STICC CNRS UMR 628, IMT Atlantique（Lab-STICC CNRS UMR 628，IMT阿蒂安大学）
本文提出了一种众包方法，通过比较两种语言的词项来减少词义资源中的偏见，以识别跨语言词义缺口。
2025-11-20 cs.CL
Quantifying Cross-Lingual Transfer in Paralinguistic Speech Tasks
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
本文提出跨语言迁移矩阵（CLTM）以量化副语言语音任务中语言间的迁移效应，通过性别识别和说话人验证任务分析不同语言间的性能差异。
2026-10-07 cs.CL eess.AS
Model-Based Ranking of Source Languages for Zero-Shot Cross-Lingual Transfer
University of Colorado Boulder（科罗拉多大学波得罗分校）；Kensho Technologies（Kensho技术公司）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）
本文提出NN-Rank算法，利用多语言模型隐藏表示和未标注目标数据为跨语言迁移排序源语言，在POS和NER任务上显著超越基线，且仅用少量目标数据仍保持高性能。
2025-10-14 cs.CL
