Improving Cross-Lingual Reading Comprehension with Self-Training
National Taiwan University（国立台湾大学）
机器阅读理解已经有了实质性的改进，机器根据给定的上下文回答问题。目前最先进的模型甚至在几个基准上超过了人类的表现。然而，他们在跨语言场景中的能力仍有待探索。先前的工作已经揭示了预训练的多语言模型的能力，zero-shot跨语言阅读理解。在本文中，我们进一步利用未标记的数据，以提高性能。该模型首先在源语言语料库上进行监督训练，然后用未标记的目标语言数据进行自训练。实验结果表明，所有语言的提高，我们还分析了自我训练如何有利于跨语言阅读理解的定性方面。
2021-05-08 cs.CL
Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models
Oracle India（甲骨文印度公司）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
阅读过程中的眼动追踪数据是理解语言理解过程中发生的认知过程的有用信息源。不同的语言导致不同的大脑触发，但似乎有一些统一的指标。在本文中，我们描述了我们提交的CMCL 2022共享任务，即预测人类多语言数据集的阅读模式。我们的模型使用来自Transformers的文本表示和一些手工设计的特征，在顶部具有回归层，以预测2个主要眼动追踪特征的平均值和标准差的统计测量。我们训练了一个端到端的模型来从不同的语言中提取有意义的信息，并在两个独立的数据集上测试了我们的模型。我们比较了不同的Transformer模型和消融研究影响模型的性能。我们最终提交的共享任务在SubTask-1中排名第四，在SubTask-2中排名第一。
2022-03-30 cs.CL cs.LG
MultiAzterTest: a Multilingual Analyzer on Multiple Levels of Language for Readability Assessment
University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
可读性评估是确定文本的难易程度或其等级的任务。传统上，依赖于语言的可读性公式已被使用，但这些公式很少考虑文本的特征。然而，评估文本复杂性的自然语言处理（NLP）工具能够测量更多不同的特征，并可以适应不同的语言。在本文中，我们提出了MultiAzterTest工具：（i）一个开源的NLP工具，它分析了超过125个英语，西班牙语和巴斯克语的内聚，语言和可读性措施的文本，但其架构旨在轻松适应其他语言;（ii）可读性评估分类器，提高了英语中的Coh-Meidong，西班牙语中的Coh-Meidong-Esp和巴斯克语中的ErreXail的性能; iii）网络工具。MultiAzterTest在使用SMO分类器将英语分类为三个阅读水平（初级，中级和高级）时获得90.09%的准确率，在巴斯克语中获得95.50%的准确率，在西班牙语中获得90%的准确率。使用跨语言功能，MultiAzterTest还获得了竞争力的结果，首先是在复杂与简单的区别。
2021-09-10 cs.AI cs.CL
Quinductor: a multilingual data-driven method for generating reading-comprehension questions using Universal Dependencies
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出一种基于依存树的多语言数据驱动方法Quinductor，以低成本生成阅读理解问题，超越现有QG基线并获良好人工评估。
2023-05-12 cs.CL
Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension
Tianjin University（天津大学）
在机器阅读理解（MRC）中，多语言预训练模型能够将知识从资源丰富的语言zero-shot迁移到资源贫乏的语言。然而，不同语言之间固有的语言差异可能会使zero-shot迁移预测的答案跨度违反目标语言的句法约束。在本文中，我们提出了一种新的多语言MRC框架，该框架配备了Siamese Semantic Disentanglement Model（SSDM），可以将语义与多语言预训练模型学习的表示中的语法分离。为了明确地将语义知识转移到目标语言，我们提出了两组针对语义和句法编码和解纠缠的损失。在三个多语言MRC数据集上的实验结果（即，XQuAD，MLQA和TyDi QA）证明了我们提出的方法在基于mBERT和XLM-100的模型上的有效性。代码可从以下网址获得：https://github.com/wulinjuan/SSDM_MRC。
2023-01-14 cs.CL
Bilingual Alignment Pre-Training for Zero-Shot Cross-Lingual Transfer
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research（哈尔滨工业大学与科大讯飞联合实验室（HFL），科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，科大讯飞研究院）
多语言预训练模型在跨语言迁移学习方面取得了显著的成绩。一些多语言模型，如mBERT，已经在未标记的语料库上进行了预训练，因此模型中不同语言的嵌入可能不会很好地对齐。为了提高zero-shot跨语言迁移的性能，本文提出了一种名为词交换对齐模型（WEAM）的预训练任务，该任务使用统计对齐信息作为先验知识来指导跨语言词预测。我们在多语言机器阅读理解任务MLQA和自然语言接口任务XNLI上评估了我们的模型。结果表明，WEAM能显著提高zero-shot性能。
2021-09-24 cs.CL
Batch Clustering for Multilingual News Streaming
BNP Paribas AI（法国巴黎银行人工智能部门）
如今，数字新闻文章被广泛使用，由各种编辑发布，并且通常以不同的语言编写。这种大量的、多样的、无组织的信息使人类阅读变得非常困难，甚至几乎不可能。这导致需要能够将大量多语言新闻安排到故事中的算法。为此，我们扩展了以前的工作主题检测和跟踪，并提出了一个新的系统的灵感来自newsLens。我们每批处理文章，寻找单语本地主题，然后跨时间和语言链接。在这里，我们介绍了一种新颖的“重播”策略，将单语本地主题链接到故事中。此外，我们提出了新的微调多语言嵌入使用SBERT创建跨语言的故事。我们的系统给出了西班牙语和德语新闻数据集上的单语最先进的结果，以及英语，西班牙语和德语新闻的跨语言最先进的结果。
2020-04-17 cs.CL cs.IR
WebQAmGaze: A Multilingual Webcam Eye-Tracking-While-Reading Dataset
University of Copenhagen（哥本哈根大学）；University of Zurich（苏黎世大学）
本文提出WebQAmGaze，首个基于网络摄像头的多语言阅读眼动追踪数据集，含600名参与者数据，验证了低成本采集的可行性，并支持问答认知研究。
2024-03-15 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的，在微调过程中看不到。尽管取得了令人鼓舞的成果，但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析，我们表明，多语言BERT，一个流行的多语言语言模型，可以被看作是两个子网络的堆叠：一个多语言编码器，然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要，并且在微调期间基本保持不变，但任务预测器对迁移的重要性很小，并且可以在微调期间重新初始化。我们提出了广泛的实验，三个不同的任务，17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University（清华大学）；Beijing MoreHealth Technology Group Co. Ltd（北京妙健康科技集团有限公司）
跨度提取阅读理解模型已经取得了巨大的进步，这得益于大规模，高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用，但英语以外的其他语言的提取阅读理解数据集仍然很少，并且为每种语言创建如此大量的训练数据是昂贵的，甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统，其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性，提出了一种多语言提取阅读理解方法XLRC，该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言，我们首先通过翻译现有的提取阅读理解数据集（即，CMRC 2018）从目标语言（即，中文）分为不同的语系（即，英文）。其次，为了提高最终的目标表示，我们采用自适应注意（SAA），结合自我注意和相互注意，提取每对目标和源语言的语义关系。此外，我们提出了多语言注意（MLA），学习丰富的知识，从各种语言的家庭。实验结果表明，我们的模型优于最先进的基线（即，RoBERTa_Large）在CMRC 2018任务上的应用，证明了我们提出的多语言建模方法的有效性，并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
预训练的多语言模型，如mBERT，在几个自然语言处理（NLP）任务中表现出巨大的收益，特别是在zero-shot跨语言设置中。这些预先训练的模型中的大多数（如果不是全部）依赖于掩蔽语言建模（MLM）目标作为关键语言学习目标。这些方法背后的原理是，在周围文本的帮助下预测被屏蔽的单词有助于学习有效的上下文表征。尽管强大的表示学习能力，使MLM，我们表现出固有的限制MLM多语言表示学习。特别是，通过要求模型预测特定于语言的标记，MLM目标抑制了学习与语言无关的表示-这是多语言预训练的关键目标。因此，为了鼓励更好的跨语言表示学习，我们提出了DICT-MLM方法。DICT-MLM的工作原理是激励模型不仅能够预测原始掩码词，而且还能够预测其任何跨语言同义词。我们对30多种语言的多个下游任务的实证分析表明，所提出的方法的有效性及其学习更好的多语言表示的能力。
2020-10-23 cs.CL
Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；TU Darmstadt（德累斯顿技术大学）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信AI研究中心）
针对稀疏自编码器在多语言环境中语言控制不可靠的问题，提出在多语言数据上训练SAE并基于多语言对齐与语言可分离性交集的原则性层选择规则，在LLaMA-3.1-8B和Gemma-2-9B上验证了该方法能稳定语言识别准确率与生成质量之间的权衡。
2026-05-21 cs.CL
Every word counts: A multilingual analysis of individual human alignment with model attention
University of Copenhagen（哥本哈根大学）
人类的固定模式已被证明与基于变形金刚的注意力密切相关。这些相关性分析通常在不考虑参与者之间的个体差异的情况下进行，并且大多数是在单语数据集上进行的，因此很难概括结果。在本文中，我们分析了13种不同语言的说话者在母语（L1）和英语作为语言学习者（L2）阅读的眼动数据。我们发现语言之间存在相当大的差异，但个人阅读行为，如跳过率，总阅读时间和词汇知识（LexTALE）影响人类和模型之间的对齐程度，应在未来的研究中考虑。
2022-10-05 cs.CL
Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment -- Is English Enough?
该研究对比分析27种跨语言对齐分数变体，提出基于PMI的翻译指标，发现用英语的跨语言对齐可相当或更好预测LLMs翻译性能，为LLMs以英语为内部枢纽语言提供新证据。
2026-08-25 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文介绍了多语种屏蔽语言模型对特定语言的适应方法。预训练的双向语言模型在包括阅读理解、自然语言推理和情感分析在内的各种任务上表现出最先进的性能。目前，有两种可供选择的方法来训练这种模式：单语和多语种。虽然语言特定的模型表现出优越的性能，但多语言模型允许执行从一种语言到另一种语言的转换，并同时解决不同语言的任务。这项工作表明，从多语言模型到单语言模型的迁移学习导致阅读理解，释义检测和情感分析等任务的性能显着增长。此外，单语模型的多语言初始化大大减少了训练时间。俄语的预训练模型是开源的。
2019-05-17 cs.CL
Bilingual Text Extraction as Reading Comprehension
NTT Corporation（日本电信电话株式会社）
在本文中，我们提出了一种方法来自动提取双语文本从嘈杂的平行语料库框架的问题作为一个标记级的跨度预测，如SQuAD风格的阅读理解。为了提取目标文档的跨度，即给定源句子（跨度）的翻译，我们使用QANet或多语言BERT。QANet可以从头开始针对特定的并行语料库进行训练，而多语言BERT可以利用预先训练的多语言表示。对于使用QANet的跨度预测方法，我们引入了一种使用整数线性规划的总体优化方法，以实现预测并行跨度的一致性。我们使用具有两种语言对（En-Fr和En-Ja）的模拟嘈杂并行语料库进行并行句子提取实验，发现使用QANet的方法比使用两个双向RNN编码器的基线方法实现了更好的准确性，特别是对于遥远的语言对（En-Ja）。我们还进行了一个句子对齐实验，使用En-Ja报纸的文章，发现所提出的方法，使用多语言BERT实现了显着更好的准确性比基线方法，使用双语词典和动态规划。
2020-04-29 cs.CL
ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws
NII LLMC；Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良科学技術大學）；University College London（伦敦大学学院）；Kyoto University（京都大学）；Waseda University（早稻田大学）
将多语言预训练视为合作博弈，利用Shapley值量化跨语言迁移效应，提出ShapleyLaw缩放定律以优化语言混合比例。
2026-09-22 cs.CL
Synchronous Bidirectional Learning for Multilingual Lip Reading
TAL Education Group（好未来教育集团）
唇读近年来受到越来越多的关注。本文主要研究多语言唇读的协同作用。世界上大约有7000种语言，这意味着用每种语言的大规模数据训练单独的唇读模型是不切实际的。虽然每种语言都有自己的语言和发音规则，但由于人体器官的共同结构，所有语言的唇动都有相似的模式。基于这一思想，本文尝试对多语言唇读的协同学习进行探讨，并进一步提出了一个有效协同多语言唇读的同步双向学习（SBL）框架。我们首先介绍音素作为我们的建模单位的多语种设置在这里。语音与唇动的关系比字母与唇动的关系更密切。同时，无论目标语言是哪种类型，相似的音素总是导致相似的视觉模式。然后，提出了一种新的SBL块，以填空的方式学习每种语言的规则。具体来说，模型必须学习在给定双向上下文的情况下推断目标单元，这可以表示每种语言的音素组成规则。为了使学习过程更有针对性地针对每种特定的语言，在学习过程中引入了预测语言身份的额外任务。最后，对LRW（英语）和LRW-1000（普通话）进行了全面的比较，显示了不同语言的协同学习带来的好处，并报告了两个数据集的最新结果。
2020-08-14 cs.CL cs.CV
JobResQA: A Benchmark for LLM Machine Reading Comprehension on Multilingual Résumés and JDs
Avature Machine Learning（Avature 机器学习）；Universitat Politècnica de Catalunya（巴塞罗那理工大学）
JobResQA是一个用于评估LLM在多语言简历和职位描述上的机器阅读理解能力的基准，揭示了多语言MRC在人力资源应用中的关键差距。
2026-01-30 cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练模型可以利用来自丰富源语言（如英语）的训练数据来提高低资源语言的性能。然而，多语言机器阅读理解（MRC）的迁移质量明显低于句子分类任务，这主要是由于MRC需要检测单词级别的答案边界。在本文中，我们提出了两个辅助任务，在微调阶段，以创建额外的短语边界监督：（1）混合MRC任务，将问题或段落翻译到其他语言，并建立跨语言的问题-段落对;（2）语言无关的知识掩蔽任务，利用知识挖掘的短语从Web。此外，在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Robust Multilingual Text-to-Pictogram Mapping for Scalable Reading Rehabilitation
Sony Computer Sciences Laboratories（索尼计算机科学实验室）
本文提出一种多语言AI界面，通过自动增强文本并映射相关图示，帮助特殊教育需求儿童提高阅读理解能力，经过五种语言评估显示系统在语义安全性和可用性方面具有技术可行性。
2026-04-07 cs.CL cs.HC
Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian
Sofia University “St. Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
最近，阅读理解模型在SQuAD，CoQA，MS Macro，RACE等大规模数据集上实现了接近人类的性能，这在很大程度上是由于发布了预先训练的上下文表示，如BERT和ELMo，可以针对目标任务进行微调。尽管取得了这些进展，并创建了更具挑战性的数据集，但大部分工作仍然是针对英语完成的。在这里，我们研究了多语言BERT在大规模英语阅读理解数据集上微调的有效性（例如，对于种族），我们将其应用于保加利亚多项选择阅读理解。我们提出了一个新的数据集，包含2,221个问题，从入学考试的12年级在各种科目-历史，生物，地理和哲学-和412个额外的问题，从在线测验的历史。虽然测试作者没有给出相关的上下文，但我们结合了维基百科的知识，检索匹配问题+每个答案选项组合的文档。此外，我们还尝试了不同的索引和预训练策略。评估结果显示准确率为42.23%，远高于基线24.89%。
2019-09-06 cs.CL cs.IR
Improved Multilingual Language Model Pretraining for Social Media Text via Translation Pair Prediction
Twitter, Inc.（Twitter公司）
我们评估了一种简单的方法来提高社交媒体语料库上mBERT的zero-shot多语言迁移，方法是添加一个称为翻译对预测（TPP）的预训练任务，该任务预测一对跨语言文本是否是有效的翻译。我们的方法假设可以访问源-目标语言对之间的翻译（精确或近似），其中我们对源语言任务数据进行微调并在目标语言中评估模型。特别是，我们专注于语言对的迁移学习是困难的mBERT：那些源语言和目标语言是不同的脚本，词汇和语言类型。我们在两个社交媒体任务中展示了TPP预训练在从英语到印地语，阿拉伯语和日语的zero-shot迁移中的改进：NER（在目标语言中，F1平均相对提高37%）和情感分类（F1相对改善12%）社交媒体文本，同时还对通用依赖POS标记的非社交媒体任务进行基准测试（准确率相对提高6.7%）。我们的研究结果是有希望的，因为缺乏社会媒体的双文本语料库。我们的代码可以在https://github.com/twitter-research/multilingual-alignment-tpp上找到。
2021-10-20 cs.CL cs.LG
Multilingual Code-Switching for Zero-Shot Cross-Lingual Intent Prediction and Slot Filling
George Mason University（乔治梅森大学）
在自然语言理解中，预测用户意图和从文本中检测相应的槽是两个关键问题。在零样本学习的上下文中，通常通过使用来自预先训练的多语言Transformers（例如mBERT）的表示来完成该任务，或者通过将源数据机器翻译成已知的目标语言，然后进行微调。我们的工作集中在一个特定的情况下，目标语言是未知的培训。为此，我们提出了一种新的方法来增加单语源数据使用多语言代码切换通过随机翻译，以提高一个Transformer的语言中立性时，微调它的下游任务。该方法还有助于发现世界各地不同语系的语码转换如何影响目标语言的表现。在MultiATIS++的基准数据集上进行的实验表明，使用我们的方法，在8种不同语言中，意图任务的准确率平均提高了+4.2%，插槽任务的F1平均提高了+1.8%。此外，我们提出了一个应用程序，我们的方法危机信息学使用一个新的人类注释的鸣叫数据集的插槽填充英语和海地克里奥尔语，在海地地震灾害期间收集。
2021-03-16 cs.CL cs.LG
Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Central China)（讯飞人工智能研究院（华中））
本文通过跨多种PLM的多语言分析实验，研究多头自注意力与MRC性能的关系，发现文章到问题及文章理解注意力最关键，并借助可视化揭示模型解题机制。
2024-10-28 cs.AI cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
Cross-Lingual Transfer Learning for Phrase Break Prediction with Multilingual Language Model
NAVER Cloud（NAVER云）
本文利用预训练多语言语言模型研究短语停顿预测的零样本与少样本跨语言迁移，证明其能低成本、有效地提升低资源语言TTS前端性能。
2023-06-05 cs.CL cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Multilingual and Continuous Backchannel Prediction: A Cross-lingual Study
Graduate School of Informatics, Kyoto University, Japan（京都大学信息学研究科）
本文提出一个多语言连续回声预测模型，研究跨语言时间行为差异，揭示语言特定模式与通用线索，为设计更自然的口语对话系统提供依据。
2025-12-16 cs.CL cs.HC cs.SD
Multilingual Molecular Representation Learning via Contrastive Pre-training
Microsoft Corporation（微软公司）
分子表示学习在化学信息学中起着重要的作用。最近，基于语言模型的方法作为传统的专家设计的特征来编码分子的替代方案已经得到普及。然而，这些方法仅利用单个分子语言进行表示学习。一个给定的分子可以使用不同的语言，如简化的分子线输入系统（SMILES），国际纯粹与应用化学联合会（IUPAC），和国际化学标识符（InChI）的动机，我们提出了一种多语言的分子嵌入生成方法，称为MM-Deacon（通过对比学习的多语言分子结构域嵌入分析）。MM-Deacon使用SMILES和IUPAC作为大规模分子的两种不同语言进行预训练。我们评估了我们的方法对MoleculeNet基准的七个分子性质预测任务，zero-shot跨语言检索和药物相互作用预测任务的鲁棒性。
2022-04-18 cs.CL cs.LG physics.chem-ph
Type B Reflexivization as an Unambiguous Testbed for Multilingual Multi-Task Gender Bias
University of Copenhagen（哥本哈根大学）；Alexandra Instituttet（亚历山德拉研究所）；Google Research（谷歌研究院）
在以前的NLP性别偏见研究中，片面关注英语错过了其他语言的机会：英语挑战数据集，如GAP和WinoGender，突出了“幻觉”的模型偏好，例如，消除性别模糊的“医生”作为男性医生的出现。我们表明，对于具有B型反身化的语言，例如，瑞典语和俄语，我们可以构建多任务挑战数据集，用于检测导致明确错误模型预测的性别偏见：在这些语言中，“医生摘下面具”的直接翻译在共指阅读和不相交阅读之间并不模糊。相反，共指阅读需要一个无性别的代词，而有性别的所有格代词是反反身的。我们提出了一个多语言，多任务的挑战数据集，它跨越了四种语言和四个NLP任务，只关注这种现象。我们在所有的任务语言组合中发现了性别偏见的证据，并将模型偏见与国家劳动力市场统计数据相关联。
2020-09-28 cs.CL cs.LG
2M-BELEBELE: Highly Multilingual Speech and American Sign Language Comprehension Dataset
FAIR, Meta（Meta FAIR研究院）
本文通过扩展BELEBELE构建了首个高度多语种语音与美国手语理解数据集2M-BELEBELE，涵盖74种口语和ASL，评估发现语音理解准确率较阅读理解平均低约2-3%。
2024-12-23 cs.CL
Learning to Unify Audio, Visual and Text for Audio-Enhanced Multilingual Visual Answer Localization
Systems Engineering Institute（系统工程研究所）；Xi’an Jiaotong University（西安交通大学）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）
针对多语言视觉答案定位中忽略音频导致信息不完整的问题，提出统一音频-视觉-文本跨度定位方法，整合三模态特征并设计一致性模块，实验证明优于现有最先进方法。
2024-11-05 cs.AI cs.CL cs.HC
From a Word-Level Dictionary to Sentence-Level Semantics: Multilingual Grievance Labelling with Contextual Models
University of Technology Sydney（悉尼科技大学）
研究针对多语言不满情绪标注，指出词级词典存在问题，提出用上下文阅读模型取代术语匹配，在非循环基准上评估，结果显示阅读上下文能更准确测量不满情绪，在未选文本上测试更诚实，还发布了代码和基准。
2026-07-24 cs.CL
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft STCA（微软亚洲研究院搜索技术中心）；Simon Fraser University（西蒙弗雷泽大学）
跨语言机器阅读理解（CLMRC）仍然是一个具有挑战性的问题，这是由于缺乏低源语言（如阿拉伯语、印地语和越南语）的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而，如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中，我们解决了这一挑战，并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解（LBMRC）。语言分支是一组单一语言的文章，配以所有目标语言的问题。基于LBMRC，我们训练了多个精通不同语言的机器阅读理解（MRC）模型。然后，我们设计了一种多语言蒸馏方法，将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合，可以提高模型对数据噪声的鲁棒性，从而提高模型的跨语言能力。同时，生成的单一多语种模型适用于所有目标语言，节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
Question answering using deep learning in low resource Indian language Marathi
Pillai College of Engineering（皮莱工程学院）
本文针对低资源马拉地语问答，比较并微调MuRIL、MahaBERT和IndicBERT等模型，发现MuRIL在阅读理解数据集上表现最佳，EM为0.64、F1为0.74。
2023-09-27 cs.CL
mPMR: A Multilingual Pre-trained Machine Reader at Scale
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出mPMR方法，通过MRC风格预训练直接继承多语言NLU能力至下游任务，提供统一求解器处理跨语言片段抽取与序列分类，并抽取依据解释分类过程。
2023-05-23 cs.CL
Predicting Native Language from Gaze
MIT（麻省理工学院）
语言学习中的一个基本问题是关于一个人的第一语言在第二语言习得中的作用。我们提出了一种新的研究方法：分析第二语言自由文本阅读中的眼动模式。使用这种方法，我们证明了第一次，英语学习者的母语可以预测，从他们的凝视时，阅读英语。我们提供了分类器的不确定性和学习功能的分析，这表明在英语阅读的差异很可能是植根于跨母语的语言差异。所提出的框架补充了生产研究，并为推进多语制研究提供了新的基础。
2017-05-02 cs.CL
GrammarTagger: A Multilingual, Minimally-Supervised Grammar Profiler for Language Education
Octanove Labs；University of Washington（华盛顿大学）；University of Tokyo（东京大学）；Allen Institute for AI（艾伦人工智能研究所）
我们提出了GrammarTagger，一个开源的语法分析器，给定一个输入文本，确定有用的语言教育的语法功能。该模型架构使其能够从少量标注了span及其标签的文本中学习，这1）实现了更简单，更直观的注释，2）支持重叠span，3）与在选区/依赖解析上定义的复杂手工规则相比，不易发生错误传播。我们表明，我们可以引导一个语法分析器模型与$F_1 \approx 0.6$从只有几百个句子在英语和中文，这可以进一步提高通过学习多语言模型。通过GrammarTagger，我们还建立了Octanove Learn，一个根据阅读难度和语法特征索引的语言学习材料的搜索引擎。代码和预训练模型在\url{https://github.com/octanove/grammartagger}上公开提供。
2021-04-07 cs.CL
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；LIDILEM（语言、数字、管理、教育与多语制实验室）
CMU Wilderness Multilingual Speech Dataset（Black，2019）是一个新发布的多语言语音数据集，基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别（ASR）和文本到语音（TTS）模型。然而，由于所有语言的源内容（圣经）都是相同的这一事实，迄今为止还没有得到充分利用，因此本文提出在不同语言的语音片段之间添加多语言链接，并共享了一个包含8种语言（56种语言对）的8，130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS（多语言句子对齐口语语料库）。所涵盖的语言（巴斯克语，英语，芬兰语，法语，匈牙利语，罗马尼亚语，俄语和西班牙语）允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集（100个话语，8个语言对）进行的人类评价来证明的。最后，我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
Testing the Predictions of Surprisal Theory in 11 Languages
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；MIT（麻省理工学院）
针对惊奇理论缺乏多语言分析的问题，本文在5个语系的11种语言中测试其三个核心预测，发现均成立，为信息论与跨语言增量语言处理建立了最稳健的联系。
2025-04-14 cs.CL
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Improving Pre-Trained Multilingual Models with Vocabulary Expansion
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Tencent AI Lab（腾讯人工智能实验室）；Cornell（康奈尔大学）
最近，预训练的语言模型在广泛的自然语言处理任务中取得了显着的成功。然而，在多语言环境中，在大规模语料库上为每种语言预训练深度语言模型是非常消耗资源的。替代独立地详尽地预训练单语语言模型，替代解决方案是在数百种语言的大规模语料库上预训练强大的多语言深度语言模型。然而，这种模型中每种语言的词汇量相对较小，特别是对于低资源语言。这种限制不可避免地阻碍了这些多语言模型在序列标记等任务上的性能，其中深入的标记级或标记级理解是必不可少的。在本文中，受以前为单语设置设计的方法的启发，我们研究了两种方法（即，联合映射和混合映射），用于解决各种任务中的词汇不足（OOV）问题，包括词性标注、命名实体识别、机器翻译质量评估和机器阅读理解。实验结果表明，使用混合映射更有前途。据我们所知，这是第一个工作，试图解决和讨论的OOV问题的多语言设置。
2019-09-26 cs.CL
LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages
Google（谷歌）；MBZUAI（中东技术与应用研究院）；The University of Melbourne（墨尔本大学）
本文提出LoraxBench基准，覆盖20种印度尼西亚语言和6类任务，评估多语言及区域LLM，揭示低资源语言性能差距及语体对模型的影响。
2025-08-17 cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University（北京语言大学）；Tencent Cloud AI（腾讯云AI）
我们提出XCMRC，第一个公共跨语言语言理解（XLU）基准，旨在测试机器的跨语言阅读理解能力。具体来说，XCMRC是一个跨语言完形填空式的机器阅读理解任务，要求读者通过阅读源语言（中文/英文）中的给定段落来填充目标语言（英文/中文）中句子中的一个缺失单词（我们另外提供了十个名词候选）。汉语和英语是资源丰富的语言对，为了研究低资源跨语言机器阅读理解（XMRC），除了定义不限制使用外部语言资源的普通XCMRC任务外，还定义了限制使用语言资源的伪低资源XCMRC任务。此外，我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现，对于常见的XCMRC任务，基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能，但仍有很大的改进空间。对于伪低资源XCMRC任务，由于对语言资源的使用有严格的限制，我们的两种方法都远远低于上界，因此还有很多挑战。
2019-08-15 cs.CL
SRS-Stories: Vocabulary-constrained multilingual story generation for language learning
Poznan University of Technology, Institute of Computer Science（波兹南技术大学计算机科学学院）；Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理系）
SRS-Stories通过间隔重复系统生成多语言故事，利用已知词汇教授新词并复习旧词，提升语言学习效果。
2025-12-20 cs.CL
GlotEval: A Test Suite for Massively Multilingual Evaluation of Large Language Models
University of Helsinki（赫尔辛基大学）；Technical University of Darmstadt（达姆施塔特技术大学）；University of Munich（慕尼黑大学）；Nanjing University（南京大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有评估框架偏重英语和高资源语言的问题，提出轻量级多语言评估框架GlotEval，支持七项任务和数百种语言，实现精准诊断模型在多语言环境中的优劣。
2025-10-08 cs.CL
sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting
Microsoft Corporation（微软公司）；Harvard University（哈佛大学）；Adobe Research（Adobe研究）；MBZUAI University（MBZUAI大学）；Hippocratic AI；Meta AI
本文提出sPhinX多语言指令微调数据集构建方法及LANGIT的N-shot引导策略，显著提升Mistral-7B和Phi-3-Small在多语言基准上的性能，同时保持英语能力且无灾难性遗忘。
2025-06-18 cs.CL
The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants
Meta AI；Abridge AI（艾布里奇人工智能）；University of California Los Angeles（加州大学洛杉矶分校）；Reka AI（雷卡人工智能）
本文提出覆盖122种语言变体的平行多选MRC数据集Belebele，用于跨语言评估MLM与LLM，揭示均衡多语言预训练和词表构建对低资源理解的重要性。
2024-07-25 cs.AI cs.CL cs.LG
Multilingual Controllable Transformer-Based Lexical Simplification
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出基于T5微调的多语言可控词汇简化系统mTLS，利用语言特定前缀、控制标记和掩码语言模型候选词，在多个LS数据集上超越现有最优模型，并在TSAR-2022多语言任务中表现优异。
2023-07-05 cs.CL
N-gram-like Language Models Predict Naturalistic Reading Time Best
本文提出基于n-gram统计信息的模型能更准确预测阅读时间，而非复杂transformer模型。
2026-08-19 cs.CL
