Cross-Lingual Retrieval Augmented Prompt for Low-Resource Languages
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出 PARC 跨语言检索增强提示方法,通过从高资源语言检索语义相似句作为提示,在 10 种低资源语言的三个任务上显著提升零样本性能,并分析了语言相似性与预训练数据量的影响。
2023-07-10 cs.CL
Winning with Less for Low Resource Languages: Advantage of Cross-Lingual English_Persian Argument Mining Model over LLM Augmentation
Amirkabir University of Technology(阿米尔卡比尔理工大学);Institute for Humanities and Cultural Studies(人文与文化研究学院);University of Passau(帕绍大学)
本文提出了一种跨语言论证挖掘模型,通过零样本迁移、LLM增强和跨语言训练三种方法,证明在低资源语言中,跨语言模型能显著优于基于LLM的增强方法。
2025-11-25 cs.CL
Translation Errors Significantly Impact Low-Resource Languages in Cross-Lingual Learning
Indian Institute of Technology Bombay(印度孟买理工学院)
本研究发现跨语言基准中翻译不一致对低资源语言影响更大,提出通过人工与机器翻译零样本性能差距检测错误,并手动验证了印地语和乌尔都语的翻译问题。
2024-02-03 cs.CL
Cross-Lingual Morphological Tagging for Low-Resource Languages
University of Oxford(牛津大学);Google Inc.(谷歌公司)
形态丰富的语言通常缺乏开发准确的自然语言处理工具所需的注释语言资源。我们提出了适合于训练形态标签丰富的标签集低资源的语言,而不使用直接监督模型。我们的方法扩展了现有的方法投影跨语言的词性标签,使用bitext推断一个给定的单词类型或令牌的可能的标签上的约束。我们提出了一个标记模型,使用Wsabie,一个判别式嵌入为基础的模型与基于排名的学习。在我们对11种语言的评估中,该模型的平均性能与基线弱监督HMM相当,同时更具可扩展性。多语言实验表明,该方法在相关语言对之间进行投影时表现最好。尽管固有的有损投影,我们表明,我们的模型预测的形态标签提高了下游性能的解析器平均+0.6 LAS。
2016-06-14 cs.CL
$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models
NEC Corporation(日本电报电话株式会社)
本文提出 $M^3$ 缩放定律,统一预测模型规模、目标语料周期数、平均目标语言比例和最终阶段目标语言比例对低资源语言模型预训练损失的影响,并推导出最优训练策略的实用指南。
2026-06-01 cs.CL
Natural Language Processing Chains Inside a Cross-lingual Event-Centric Knowledge Pipeline for European Union Under-resourced Languages
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本文提出了一种开发包含欧盟语言的语言处理链的平台的策略,该平台由标记化到解析组成,还包括命名实体识别和附加的情感分析。这些链是以事件为中心的知识处理管道的第一步的一部分,其目的是处理有关可能影响欧洲和世界其他地区的重大事件的多语言媒体信息。由于每种语言的语言资源可用性存在差异,我们分三步构建了这一策略,从资源丰富的语言的处理链开始,到资源不足的语言的新模块的开发结束。为了根据资源对所有欧盟官方语言进行分类,我们分析了注释语料库的规模以及主流语言处理工具中预训练模型的存在,并将这些信息与META-NET白皮书系列中发布的拟议分类相结合。
2020-10-23 cs.CL
XF2T: Cross-lingual Fact-to-Text Generation for Low-Resource Languages
IIIT Hyderabad(国际信息技术学院海得拉巴分校)
多个业务场景需要从结构化输入数据自动生成人类可读的描述性文本。因此,事实到文本生成系统已经开发了各种下游任务,如生成足球报告,天气和财务报告,医疗报告,个人传记等不幸的是,以前的工作对事实到文本(F2T)生成主要集中在英语主要是由于相关数据集的高可用性。直到最近,跨语言事实到文本(XF2T)的问题才被提出来用于跨多种语言生成,以及用于八种语言的数据集XALIGN。然而,在实际的XF2T生成问题上还没有严格的工作。我们扩展了XALIGN数据集,并为另外四种语言添加了注释数据:旁遮普语,马拉雅拉姆语,阿萨姆语和奥里亚语。我们使用流行的基于transformer的文本生成模型对我们的扩展多语言数据集进行了广泛的研究,我们称之为XALIGNV2。此外,我们还研究了不同文本生成策略的性能:预训练、事实感知嵌入和结构感知输入编码的多种变化。我们广泛的实验表明,使用事实感知嵌入和结构感知输入编码的多语言mT5模型在12种语言中平均获得最佳结果。我们公开了我们的代码、数据集和模型,并希望这将有助于推动这一关键领域的进一步研究。
2022-09-22 cs.CL
The Illusion of Cross-Lingual Safety in Low-Resource Languages
研究发现大型语言模型的跨语言安全迁移在四种非洲低资源语言中极为有限,现有多语言安全对齐仅停留在表面。
2026-08-12 cs.CL
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages
Genify
本研究提出结合知识蒸馏与一致性训练的跨语言NER框架,借助英文预训练XLMRoBERTa,仅用30个阿拉伯文标注样本就实现交易实体识别迁移,效果优于现有最优方法,为低资源多语言金融应用提供方案。
2023-07-16 cs.CL
Model Transfer for Tagging Low-resource Languages using a Bilingual Dictionary
The University of Melbourne(墨尔本大学)
跨语言模型转移是一种引人注目的和流行的方法,用于预测低资源语言中的注释,从而并行语料库提供了一个桥梁,高资源语言及其相关的注释语料库。然而,并行数据对于许多语言来说并不容易获得,限制了这些方法的适用性。我们在我们的框架中解决了这些缺点,该框架利用了仅在高覆盖率双语词典上训练的跨语言词嵌入。我们提出了一种新的神经网络模型,用于基于跨语言词嵌入的两个数据源的联合训练,并显示出比基线技术有实质性的经验改进。我们还提出了几个主动学习策略,从而导致竞争力的基准方法的改进。
2017-05-01 cs.CL
The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging
IT University of Copenhagen(哥本哈根信息技术大学)
在自然语言处理中,深度学习革命已经将焦点从传统的手工符号表示转移到密集输入,这是从语料库自动学习的适当表示。然而,特别是在使用低资源语言时,即使黄金标准语料库不存在,也通常可以使用少量的符号词汇资源,例如用户生成的词典。这种额外的语言信息,但往往被忽视,最近的神经方法跨语言标记通常只依赖于词和子词嵌入。虽然这些表示是有效的,但我们最近的工作表明,结合两个世界的优点有明显的好处:整合传统的词汇信息可以改善神经跨语言词性(PoS)标记。然而,人们对这些补充资料的互补性以及改进在多大程度上取决于这些外部资源的覆盖面和质量知之甚少。本文试图填补这一空白,提供了第一个全面的分析,在神经时代的词汇资源的跨语言PoS标注的贡献。
2018-11-21 cs.CL
Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries
Nara Institute of Science and Technology(奈良科学技术大学);Sakana AI
本文提出利用双语词典进行跨语言词表迁移,通过逐步移除 BPE 子词并迭代估计嵌入,在低资源语言上优于现有方法。
2025-06-02 cs.AI cs.CL
Cross-lingual Transfer Learning for Fake News Detector in a Low-Resource Language
由于缺乏训练数据,在低资源语言中检测假新闻(FN)的方法的开发受到阻碍。在这项研究中,我们只使用来自高资源语言的训练数据来解决这个问题。我们的FN检测系统通过应用对抗性学习来实现这种策略,通过语言传输检测知识。为了帮助知识转移,我们的系统判断文章的可靠性,利用源信息,这是一个跨语言的功能,代表了说话人的可信度。在实验中,我们的系统比使用机器翻译训练数据集的系统准确率高出3.71%。此外,我们建议的用于假新闻检测的跨语言特征利用将准确率提高了3.03%。
2022-08-26 cs.AI cs.CL
Zero-Shot Cross-Lingual NER Using Phonemic Representations for Low-Resource Languages
GIST(光州科学技术院);Korea University(高丽大学);Carnegie Mellon University(卡内基梅隆大学);Sogang University(西江大学)
本文提出基于国际音标(IPA)音素表示的零样本跨语言命名实体识别方法,以解决低资源语言先验知识不足的问题,实验表明该方法在极低资源语言上显著优于基线模型,尤其对非拉丁文字具有鲁棒性。
2024-10-22 cs.AI cs.CL
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University(北南大学)
本文提出BanglaEmbed,通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型,在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型,并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
BhashaSetu: Cross-Lingual Knowledge Transfer from High-Resource to Extreme Low-Resource Languages
Department of Computer Science and Engineering, Indian Institute of Technology Kanpur(计算机科学与工程系,印度理工学院坎浦尔)
BhashaSetu通过引入GETR方法,实现了从高资源语言到极端低资源语言的跨语言知识转移,显著提升了词性标注和命名实体识别任务的性能。
2026-02-05 cs.AI cs.CL cs.LG
Linguistic Neuron Overlap Patterns to Facilitate Cross-lingual Transfer on Low-resource Languages
School of Information Science and Technology, Beijing Foreign Studies University(信息科学与技术学院,北京外国语大学);Department of Informatics, King’s College London(信息学院,伦敦国王学院)
本文提出BridgeX-ICL方法,通过识别并激活跨语言共享神经元来改进低资源语言的零样本跨语言上下文学习,实验验证了其有效性。
2025-09-23 cs.AI cs.CL
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);NTT Communication Science Laboratories(NTT通信科学实验室);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心)
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库(例如几百个句子对)。我们的方法通过LSTM编码器-解码器模型获得词嵌入,该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数,我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入,以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据,即永宁纳,Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明,我们的模型优于现有的方法,大多数语言对的大幅度。这些结果表明,与通常的看法相反,编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外,我们的模型在高资源条件下也能很好地工作,在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG
Cross-lingual Offensive Language Identification for Low Resource Languages: The Case of Marathi
Rochester Institute of Technology(罗切斯特理工学院);University of Wolverhampton(伍尔弗汉普顿大学)
攻击性语言在社交媒体上的广泛存在促使开发能够自动识别此类内容的系统。除了少数显著的例外,大多数关于自动攻击性语言识别的研究都涉及英语。为了解决这个缺点,我们引入了MOLD,马拉地语攻击性语言数据集。MOLD是为马拉地语编制的第一个此类数据集,从而为低资源的印度-雅利安语言的研究开辟了一个新的领域。我们在这个数据集上展示了几个机器学习实验的结果,包括零短路和其他迁移学习实验,这些实验是在孟加拉语、英语和印地语现有数据的最先进的跨语言Transformers上进行的。
2021-09-08 cs.AI cs.CL cs.LG
Improving Cross-Lingual Phonetic Representation of Low-Resource Languages Through Language Similarity Analysis
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
该研究针对低资源语言跨语言语音表示中源语言选择缺乏依据的问题,通过分析语言相似性与多语言训练性能的关联,验证了语音相似语言能显著提升音素识别效果,为低资源语言语音处理的源语言选取提供了方法支撑。
2025-01-12 cs.CL cs.SD eess.AS
Efficient ASR for Low-Resource Languages: Leveraging Cross-Lingual Unlabeled Data
Speech Processing Lab, International Institute of Information Technology Hyderabad, India(信息与技术国际研究院语音处理实验室,海得拉巴)
通过跨语言无标签数据预训练,提升低资源语言语音识别性能,模型参数更少但效果更优。
2025-12-08 cs.CL eess.AS
Cross-Lingual Transfer and Parameter-Efficient Adaptation in the Turkic Language Family: A Theoretical Framework for Low-Resource Language Models
本文提出突厥语系多语言模型跨语言迁移与参数高效适应的理论框架,通过突厥语系语言的共性与差异分析,构建了基于形态相似性、词汇重叠和语法结构的突厥迁移系数模型。
2026-03-13 cs.AI cs.CL
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
End-to-end Text-to-speech for Low-resource Languages by Cross-Lingual Transfer Learning
National Taiwan University(台湾大学)
端到端的文本到语音转换(TTS)在处理大量成对的文本加语音数据方面取得了巨大的成功。然而,对于世界上至少95%的语言来说,费力的数据汇集仍然是困难的,这阻碍了不同语言的TTS的发展。在本文中,我们的目标是建立这样的低资源(目标)语言,只有非常有限的配对数据可用的TTS系统。我们表明,这样的文语转换系统可以有效地构建从高资源(源)语言的知识。由于输入空间不匹配,在源语言上训练的模型不能直接应用于目标语言,我们提出了一种方法来学习源和目标语言符号之间的映射。受益于这种学习的映射,发音信息可以在整个传输过程中被保留。初步实验表明,我们只需要大约15分钟的配对数据,以获得一个相对较好的TTS系统。此外,分析研究表明,自动发现的映射与语音专业知识相关。
2019-07-02 cs.CL cs.LG cs.SD
Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon.com Inc(亚马逊公司);Georgia Institute of Technology(佐治亚理工学院)
研究跨语言时态知识图谱推理问题,旨在通过迁移高资源语言时态知识图中的知识,促进低资源语言时态知识图的推理.鉴于现有的推理方法在那些严重不完整的TKG上的性能不令人满意,特别是在低资源语言中,跨TKG的跨语言蒸馏能力变得越来越重要。然而,它在两个方面提出了巨大的挑战。首先,跨语言的对齐,作为知识转移的桥梁,通常是太少了,两个TKG之间的转移足够的知识。第二,对齐实体的时间知识差异,特别是当对齐不可靠时,会误导知识蒸馏过程。我们相应地提出了一个相互步调的知识蒸馏模型MP-KD,其中在源TKG上训练的教师网络可以通过对齐模块指导在目标TKG上训练的学生网络。具体地说,为了处理稀缺性问题,MP-KD基于我们的表示模块提取的时间信息生成TKG之间的伪比对。为了最大限度地提高知识传递的效率和控制由时间知识差异引起的噪声,我们增强了MP-KD与时间跨语言注意力机制动态估计对齐强度。这两个过程随着模型训练而相互同步。在EventKG基准测试中的12个跨语言TKG迁移任务上的实验证明了所提出的MP-KD方法的有效性。
2023-03-27 cs.AI cs.CL cs.LG
Cross-Lingual Abstractive Summarization with Limited Parallel Resources
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息研究院)
并行跨语言摘要数据是稀缺的,需要模型更好地利用有限的可用跨语言资源。现有的方法通常采用具有多任务框架的序列到序列网络。这种方法应用多个解码器,每个解码器用于特定任务。然而,这些独立的解码器没有共享参数,因此无法捕获不同语言的摘要的离散短语之间的关系,从而断开连接,以便将高资源语言的知识转移到低资源语言。为了弥合这些连接,我们提出了一种新的跨语言抽象摘要(MCLAS)在低资源设置的多任务框架。采用一个统一的解码器来生成单语和跨语言摘要的顺序连接,MCLAS使单语摘要任务成为跨语言摘要(CLS)任务的先决条件。通过这种方式,共享解码器学习涉及跨语言的对齐和摘要模式的交互,这鼓励实现知识转移。在两个CLS数据集上的实验表明,我们的模型在低资源和全数据集的情况下都显着优于三个基线模型。此外,对生成的摘要和注意力头的深入分析验证了使用MCLAS很好地学习交互,这有利于在有限的并行资源下的CLS任务。
2021-06-13 cs.CL
Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations
Yale University(耶鲁大学)
在本文中,我们提出了提高低资源的跨语言文档检索性能与深双语查询文档表示。我们用四个组件匹配源语言和目标语言的查询和文档,每个组件都被实现为基于术语交互的深度神经网络,并将跨语言的词嵌入作为输入。通过将查询可能性分数作为额外的特征,我们的模型有效地学习通过使用少量的低资源语言对的相关性标签来重新排序检索到的文档。由于共享的跨语言词嵌入空间,该模型还可以直接应用于另一种语言对,而无需任何训练标签。在MATERIAL数据集上的实验结果表明,我们的模型在英语-斯瓦希里语、英语-塔吉语和英语-索马里语跨语言信息检索任务上的性能优于基于竞争的基线。
2019-06-08 cs.CL
Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne(墨尔本大学)
语言注释的跨语言投影受到许多偏差和噪声源的影响,导致不能直接使用的不可靠注释。在本文中,我们介绍了一种新的序列标记方法,该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习,一个标记为黄金标准,另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估,以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平,以及两种真正的低资源语言,马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex;Facebook AI;Johns Hopkins University(约翰斯·霍普金斯大学)
跨语言命名实体词典是多语言NLP任务(如机器翻译和跨语言维基化)的重要资源。虽然知识库包含大量高资源语言(如英语和法语)的实体,但低资源语言的相应实体往往缺失。为了解决这个问题,我们提出了词汇-语义-语音对齐(LSP-Align),一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线,并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布,作为NLP社区的资源。
2021-09-10 cs.CL
Cross-Lingual Transfer for Distantly Supervised and Low-resources Indonesian NER
Kata Research Team, Kata.ai(Kata研究团队,Kata.ai)
本文提出通过预训练语言模型进行跨语言迁移,提升小规模标注和大但远监督数据集的命名实体识别性能,实验显示在无平行标注情况下效果显著。
2019-07-25 cs.CL
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University(哥伦比亚大学)
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源,如并行语料库,而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中,我们提出了一个跨语言的师生方法,CLTS,产生“弱”的监督,在目标语言使用最少的跨语言资源,在少量的单词翻译的形式。在有限的翻译预算下,CLTS只提取和传输跨语言的最重要的特定于任务的种子词,并基于翻译后的种子词创建教师分类器。然后,CLTS迭代地训练一个更强大的学生,该学生也利用了未标记的目标文档中的种子词的上下文,并且表现优于教师。CLTS在18种不同的语言中非常简单和有效:通过转移20个种子词,即使是一个词袋逻辑回归学生也优于最先进的跨语言方法(例如,基于多语言BERT)。此外,CLTS可以适应任何类型的学生分类器:利用单语BERT学生导致进一步的改进,并在准确性上超过更昂贵的方法高达12%。最后,CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文对比零资源跨语言序列标注的数据迁移与模型迁移,发现零样本高容量多语言语言模型整体优于翻译与标注投影,但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Towards Zero-resource Cross-lingual Entity Linking
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
跨语言实体链接(XEL)将源语言中的命名实体基于英语知识库(KB),例如维基百科。XEL对大多数语言来说都是一个挑战,因为所需资源有限。然而,以前在XEL上的许多工作都是在模拟设置上,这些设置实际上使用了在真正的低资源语言中不可用的重要资源(例如源语言维基百科,双语实体映射,多语言嵌入)。在这项工作中,我们首先研究这些资源的假设和量化的影响有多大的可用性,这些资源影响现有的XEL系统的整体质量。接下来,我们提出了三个改进实体候选生成和消歧,更好地利用有限的数据,我们在资源稀缺的情况下。通过对四种极低资源语言的实验,我们表明,我们的模型在端到端链接准确性方面获得了6-23%的收益。
2019-10-01 cs.CL
Unification of multi-lingual scientific terminological resources using the ISO 16642 standard. The TermSciences initiative
本文介绍了TermSciences门户网站,它涉及的概念模型,使用最近的ISO 16642标准(术语标记框架)的实施。这个标准适合于概念建模,因为它允许通过概念组织原始资源,并将给定概念的各种术语相关联。通过共享概念关系,即通过引入最初可能缺失的语义关系来交叉链接资源结果,从而产生额外的结构化。
2006-04-07 cs.CL
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado(科罗拉多大学);University of Maryland(马里兰大学)
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即,一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性,模块化是一种网络测量方法,可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性,即使模块化仅基于嵌入的结构,并且不需要任何外部资源。我们通过实验表明,模块化可以作为一个内在的验证指标,以提高无监督的跨语言词嵌入,特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University(北京语言大学);Tencent Cloud AI(腾讯云AI)
我们提出XCMRC,第一个公共跨语言语言理解(XLU)基准,旨在测试机器的跨语言阅读理解能力。具体来说,XCMRC是一个跨语言完形填空式的机器阅读理解任务,要求读者通过阅读源语言(中文/英文)中的给定段落来填充目标语言(英文/中文)中句子中的一个缺失单词(我们另外提供了十个名词候选)。汉语和英语是资源丰富的语言对,为了研究低资源跨语言机器阅读理解(XMRC),除了定义不限制使用外部语言资源的普通XCMRC任务外,还定义了限制使用语言资源的伪低资源XCMRC任务。此外,我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现,对于常见的XCMRC任务,基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能,但仍有很大的改进空间。对于伪低资源XCMRC任务,由于对语言资源的使用有严格的限制,我们的两种方法都远远低于上界,因此还有很多挑战。
2019-08-15 cs.CL
An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker
National Taiwan University(国立台湾大学)
数据驱动的面向任务的对话系统在大规模数据集的支持下得到了快速发展。然而,由于缺乏高质量的数据,低资源语言的对话系统的进展远远落后。为了推进构建对话系统的跨语言技术,DSTC 9引入了跨语言对话状态跟踪的任务,我们在资源丰富的训练数据集下使用低资源语言测试DST模块。本文研究了跨语言生成对话状态跟踪系统的可移植性,使用多语言预训练seq2seq模型。我们在不同的设置下进行实验,包括跨语言和跨本体数据集的联合训练或预训练。我们也发现了我们的方法的跨语言可移植性低,并提供了调查和讨论。
2021-01-27 cs.CL
Neural Cross-Lingual Named Entity Recognition with Minimal Resources
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对于没有注释资源的语言,自然语言处理模型(如来自资源丰富语言的命名实体识别(NER))的无监督转移将是一种有吸引力的能力。然而,不同语言中单词和词序的差异使其成为一个具有挑战性的问题。为了提高跨语言的词汇项的映射,我们提出了一种方法,发现基于双语词嵌入的翻译。为了提高对词序差异的鲁棒性,我们建议使用自我注意,这允许一定程度的灵活性。我们证明,这些方法实现了最先进的或有竞争力的NER性能的跨语言设置下常用的测试语言,比过去的方法具有更低的资源需求。我们还评估了将这些方法应用于维吾尔语这一低资源语言的挑战。
2018-09-11 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University(北京大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Indiana University(印第安纳大学)
随着跨境电子商业的蓬勃发展,迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务,即,跨境电子商业中的跨语言集合到描述检索,其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集,其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵,新数据集仅包含13.5k对,这是一个低资源设置,可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务,我们提出了一种新的跨语言匹配网络(CLMN)与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明,我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果,并且与预训练的多语言BERT模型相比,BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Improving Low-Resource Cross-lingual Parsing with Expected Statistic Regularization
Columbia University(哥伦比亚大学);Google Research(谷歌研究院)
我们提出了期望统计正则化(ESR),这是一种新的正则化技术,它利用低阶多任务结构统计来塑造低资源数据集上半监督学习的模型分布。我们研究的背景下,跨语言迁移的句法分析(词性标注和标记依存句法分析)的ESR,并提出了几类低阶统计函数,承担模型的行为。在实验中,我们评估了所提出的统计与ESR的无监督传输5种不同的目标语言,并表明,所有的统计,准确估计时,产生改善POS和LAS,最好的统计提高POS +7.0和LAS +8.5平均。我们还提出了半监督迁移和学习曲线实验,表明ESR为少量标签数据提供了比强大的跨语言迁移加微调基线显著的收益。这些结果表明,ESR是一个有前途的和补充的跨语言分析方法的模型转移方法。
2022-10-17 cs.CL
Cross-lingual alignments of ELMo contextual embeddings
University of Ljubljana(卢布尔雅那大学)
为特定的NLP任务构建机器学习预测模型需要足够的训练数据,这对于资源较少的语言来说可能很难获得。跨语言嵌入将词嵌入从资源较少的语言映射到资源丰富的语言,使得在来自资源丰富的语言的数据上训练的预测模型也可以在资源较少的语言中使用。为了产生最近上下文嵌入的跨语言映射,嵌入空间之间的锚点必须是相同上下文中的单词。我们用一种新的方法来解决这个问题,用于创建跨语言上下文对齐数据集。在此基础上,我们提出了几种ELMo嵌入的跨语言映射方法。所提出的线性映射方法使用现有的Vecmap和MUSE对齐上下文ELMo嵌入。新的非线性ELMoGAN映射方法基于GANs,并且不假设同构嵌入空间。我们评估了九种语言的映射方法,使用四个下游任务:命名实体识别(NER),依存句法分析(DP),术语对齐,和情感分析。ELMoGAN方法在NER和术语对齐任务上表现非常好,与某些语言的直接训练相比,NER的跨语言损失更低。在DP和情感分析中,线性上下文对齐变体更成功。
2021-07-22 cs.CL
Zero-shot Neural Transfer for Cross-lingual Entity Linking
Carnegie Mellon University(卡内基梅隆大学)
跨语言实体链接将源语言中提到的实体映射到不同(目标)语言的结构化知识库中的其对应条目。虽然以前的工作在很大程度上依赖于双语词汇资源,以弥合源语言和目标语言之间的差距,这些资源是稀缺的,或无法为许多低资源的语言。为了解决这个问题,我们调查zero-shot跨语言实体链接,在其中,我们假设没有双语词汇资源,在源低资源语言。具体来说,我们提出了基于数据库的实体链接,它利用来自高资源“枢轴”语言的信息来训练字符级神经实体链接模型,这些模型以zero-shot方式转移到源低资源语言。通过对9种低资源语言的实验和总共54种语言的传输,我们表明,我们提出的基于XML的框架在zero-shot场景下,平均比基线系统提高了17%(绝对)的实体链接准确度。此外,我们还研究了使用语言通用的语音表示,提高了36%的平均准确性(绝对)时,使用不同的脚本之间的语言转移。
2018-11-09 cs.CL
MultiCoder: Multi-Programming-Lingual Pre-Training for Low-Resource Code Completion
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
代码完成在学术界和工业界都是一个有价值的话题。最近,已经提出了大规模单语言编程(MonoPL)预训练模型来提高代码完成的性能。然而,低资源的程序设计语言(PL)的代码完成是困难的数据驱动范式,而有大量的开发人员使用低资源的PL。另一方面,很少有研究探讨多编程语言(MultiPL)预训练对代码完成的影响,特别是对低资源程序设计语言的影响。为此,我们提出了MultiCoder通过MultiPL预训练和MultiPL混合专家(MoE)层来增强低资源代码完成。我们进一步提出了一种新的PL级MoE路由策略(PL-MoE),以提高所有PL上的代码完成。CodeXGLUE和MultiCC上的实验结果表明:1)所提出的MultiCoder在低资源程序设计语言上的性能显著优于MonoPL基线; 2)PL-MoE模块进一步提升了六种程序设计语言的性能。此外,我们详细分析了所提出的方法的效果,并探讨了我们的方法在各种情况下的有效性。
2022-12-19 cs.CL
DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition
University of Notre Dame(圣母大学)
该研究提出DonorRank学习排序框架,用于低资源跨语言语音识别的源语言选择,在两大语族语料库上验证其能准确预测源语言排名,提升选择效果,还可分析源语言选择并识别实用迁移模式。
2026-11-10 cs.CL
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University(中东技术大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);New York University(纽约大学)
在本文中,我们提出了一种新的微调算法,最近推出的多路,多语言神经机器翻译,使零资源机器翻译。当与新颖的多对一翻译策略一起使用时,我们的经验表明,这种微调算法允许多路多语言模型翻译零资源语言对(1)以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型(2)优于基于机器翻译的翻译策略,同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields
Johns Hopkins University(约翰斯·霍普金斯大学)
针对低资源命名实体识别标注不足的问题,本文提出联合训练字符级神经CRF的迁移学习方案,通过跨语言字符表示迁移,使F1值较对数线性CRF基线最高提升9.8个百分点。
2026-08-26 cs.CL
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning
Peking University(北京大学);Tencent Research(腾讯研究院)
现有的zero-shot跨语言迁移方法依赖于并行语料库或双语词典,这是昂贵的,不切实际的低资源的语言。为了摆脱这些依赖性,研究人员探索了在仅英语资源上训练多语言模型,并将其转移到低资源语言上。然而,它的效果是有限的嵌入集群之间的差距,不同的语言。为了解决这个问题,我们提出了嵌入推,注意力拉,和鲁棒的目标转移英语嵌入虚拟多语言嵌入没有语义损失,从而提高跨语言的可转移性。在mBERT和XLM-R上的实验结果表明,该方法在zero-shot跨语言文本分类任务上的性能明显优于以往的方法,并且能够获得更好的多语言对齐效果。
2022-10-18 cs.CL
Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets
Colorado State University(科罗拉多州立大学)
本文在13对高资源与低资源语言上评估MBERT和XLM-R在对抗扰动下的跨语言迁移表现,发现NER迁移能力主要取决于实体块重叠程度,且跨语言迁移对部分扰动更具鲁棒性。
2024-03-29 cs.CL
Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models
North American University(北美大学)
研究评估了大语言模型在低资源语言上的表现,发现英语与低资源语言之间存在13.8-16.7个百分点的性能差距,跨语言迁移对双语架构有帮助,但对英语主导模型无益。
2026-03-22 cs.CL
Design Challenges in Low-resource Cross-lingual Entity Linking
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
跨语言实体链接(XEL),将外语文本中的实体提及接地到英语知识库(如维基百科)的问题,近年来已经有了很多研究,并有一系列有前途的技术。然而,目前的技术并不能应对低资源语言(LRL)中文本所带来的挑战,而且令人惊讶的是,这些技术无法推广到不是来自维基百科的文本,而维基百科通常是训练它们的基础。本文对低资源XEL技术进行了深入分析,重点关注识别与给定外语提及对应的候选英文维基百科标题的关键步骤。我们的分析表明,目前的方法是有限的,他们依赖于维基百科的跨语言链接,从而遭受时,外语的维基百科是小的。我们的结论是,LRL设置需要使用维基百科以外的跨语言资源,并提出了一个简单而有效的zero-shot XEL系统,QuEL,利用搜索引擎查询日志。通过对25种语言的实验,QuEL~在黄金候选召回率方面平均提高了25%,在端到端链接准确率方面平均提高了13%。
2020-10-07 cs.CL
Massively Parallel Cross-Lingual Learning in Low-Resource Target Language Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们致力于从资源丰富的语言到资源贫乏的语言的翻译。我们确定的主要挑战是缺乏低资源的语言数据,跨语言迁移的有效方法,以及神经系统中常见的变量绑定问题。我们建立了一个翻译系统,以解决这些挑战,使用八个欧洲语系作为我们的测试场。首先,我们添加源和目标家族标签,并研究家族内和家族间的影响,以实现有效的跨语言迁移。与单家庭多源多目标基线相比,我们使用八个家庭的英语-瑞典语翻译的BLEU评分提高了+9.9。此外,我们发现,对最接近低资源语言的两个相邻家庭进行培训通常就足够了。其次,我们构建了一个消融研究,发现即使目标数据相当少,也可以取得相当好的结果。第三,我们通过建立一个保序命名实体翻译模型来解决变量绑定问题。我们在定性评估中获得了60.6%的准确率,其中我们的翻译在初步研究中类似于人类翻译。
2018-08-25 cs.CL
Dialect Matters: Cross-Lingual ASR Transfer for Low-Resource Indic Language Varieties
Computer Science and Engineering University of Notre Dame(计算机科学与工程系诺特丹大学)
本研究探讨了跨语言语音识别迁移在低资源印地语方言中的应用,发现微调少量方言数据可达到高资源语言的性能,同时揭示了语音识别系统在处理方言和非标准化语音时的偏见问题。
2026-02-11 cs.CL
Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition
University of the Witwatersrand(威特沃特斯兰德大学)
本文从命名实体识别角度研究了十种低资源非洲语言间的跨语言迁移特性,发现自适应微调与迁移语言选择影响零样本迁移性能,且数据重叠量比语言地理或谱系距离更能预测迁移效果。
2023-09-11 cs.CL
Parallel Tokenizers: Rethinking Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对低资源语言跨语言转移中因词汇映射问题限制表示学习的情况,提出并行分词器框架,先单语训练再对齐词汇表,实验表明该方法训练的模型在多任务中优于传统基线,对推进多语言表示学习意义重大。
2026-09-29 cs.CL