Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization
National Taiwan University（台湾大学）
多语言BERT（m-BERT）中的标记嵌入包含语言和语义信息。我们发现，一种语言的表示可以通过简单地平均嵌入的语言的令牌。给定这种语言表示，我们通过操纵令牌嵌入来控制多语言BERT的输出语言，从而实现无监督的令牌翻译。我们进一步提出了一个计算成本低，但有效的方法来提高跨语言的能力m-BERT基于这一观察。
2021-11-01 cs.AI cs.CL
SimCSum: Joint Learning of Simplification and Cross-lingual Summarization for Cross-lingual Science Journalism
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Heidelberg University（海德堡大学）
提出SimCSum多任务架构，通过共享编码器和双并行解码器联合学习文本简化与跨语言摘要，在两个跨语言科学数据集上显著优于现有方法。
2023-04-04 cs.CL
X-SCITLDR: Cross-Lingual Extreme Summarization of Scholarly Documents
University of Mannheim（曼海姆大学）；Hochschule der Medien（斯图加特传媒学院）
如今科学出版物的数量迅速增加，导致研究人员的信息过载，使学者很难跟上当前的趋势和工作路线。因此，最近的工作应用文本挖掘技术的学术出版物研究了应用自动文本摘要技术，包括极端摘要，在这一领域。然而，以前的工作只集中在单语设置，主要是在英语。在本文中，我们填补了这一研究空白，并提出了一个抽象的跨语言摘要数据集为四种不同的语言在学术领域，这使我们能够训练和评估模型，处理英语论文，并生成摘要在德国，意大利，中国和日本。我们提出了用于多语言摘要的新X-SCITLDR数据集，并基于最先进的多语言预训练模型对不同模型进行了彻底的基准测试，包括两阶段的“摘要和翻译”方法和直接跨语言模型。我们还探索了使用英语单语摘要和机器翻译作为中间任务的中间阶段训练的好处，并分析了零镜头和Few-Shot场景下的性能。
2022-05-30 cs.CL
CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Monash University（莫纳什大学）；Swinburne University of Technology（斯威本科技大学）
本文提出CrossSum，一个覆盖1500多个语言对、包含168万样本的最大跨语言摘要数据集，并设计多阶段采样算法和LaSE评估指标，使模型能用任意目标语言生成摘要且性能优于基线。
2023-05-25 cs.CL
Neural Cross-Lingual Entity Linking
IBM Research AI（IBM研究院人工智能）
实体链接（EL）的一个主要挑战是有效地利用上下文信息来消除对维基百科的歧义，这些条目可能在不同的上下文中指代不同的实体。这个问题加剧了跨语言EL，它涉及到链接提到写在非英语文档中的条目在英语维基百科：比较跨语言的文本线索，我们需要计算跨语言的文本片段之间的相似性。在本文中，我们提出了一种神经EL模型，该模型结合卷积和张量网络，从多个角度训练查询和候选文档之间的细粒度相似性和差异性。此外，我们表明，这个英语训练的系统可以应用，在零样本学习，以其他语言，令人惊讶的有效利用多语言嵌入。所提出的系统具有强有力的经验证据，在英语和跨语言：西班牙语和中文TAC 2015数据集中产生了最先进的结果。
2017-12-05 cs.CL
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德州农工大学）
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要，其中神经机器翻译（NMT）模型在监督训练期间看不到的源语言上进行测试。根据这一想法，我们提出了SixT+，这是一个强大的多对英语NMT模型，支持100种源语言，但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器，然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100，这两个强大的多语言NMT系统，平均增益分别为7.2和5.0 BLEU。此外，SixT+提供了一组模型参数，可以进一步微调到其他无监督任务。我们证明，添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->，平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时，它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析，以了解SixT+的关键成分，包括辅助并行数据的多语言性，位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
Detecting and Mitigating Hallucinations in Multilingual Summarisation
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
本文提出多语言忠实性指标 mFACT 和基于忠实性分数的损失加权方法，有效检测并缓解跨语言摘要中的幻觉，显著优于 MAD-X 等基线。
2023-10-26 cs.AI cs.CL cs.LG
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
Cross-Lingual Natural Language Generation via Pre-Training
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
在这项工作中，我们专注于转移监督信号的自然语言生成（NLG）任务之间的多种语言。我们建议在单语和跨语言设置下预训练序列到序列模型的编码器和解码器。预训练目标鼓励模型在共享空间中表示不同的语言，以便我们可以进行zero-shot跨语言迁移。在预训练过程之后，我们使用单语数据对下游NLG任务的预训练模型进行微调。然后，可以在该语言之外直接评估用单一语言训练的序列到序列模型（即，接受多语言输入并产生多语言输出）。实验结果表明，该模型在跨语言zero-shot问题生成和摘要生成方面优于基于机器翻译的流水线方法。此外，跨语言迁移通过利用丰富资源的语言数据来提高低资源语言的NLG性能。我们的实现和数据可以在https://github.com/CZWin32768/xnlg上获得。
2019-11-22 cs.CL
GupShup: An Annotated Corpus for Abstractive Summarization of Open-Domain Code-Switched Conversations
Bloomberg（彭博）；IIIT-Delhi（德里印度理工学院）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
语码转换是一种交际现象，说话人在会话过程中在不同语言之间转换。随着会话代理和聊天平台的广泛采用，语码转换已成为全球许多多语言社区书面会话的一个组成部分。这使得开发总结和理解这些对话的技术变得至关重要。为了实现这一目标，我们引入了印地语-英语代码转换会话的抽象摘要，并开发了第一个代码转换会话摘要数据集- GupShup，其中包含超过6，831个印地语-英语会话及其相应的英语和印地语-英语人类注释摘要。我们提出了一个详细的说明，整个数据汇集和注释过程。我们使用各种代码转换统计数据来分析数据集。我们训练最先进的抽象摘要模型，并使用自动化指标和人工评估报告其性能。我们的结果表明，多语言mBART和多视图seq 2seq模型在新数据集上获得了最佳性能
2021-04-17 cs.AI cs.CL cs.CY
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言T5（mT5）在大量单语文本上预训练序列到序列模型，这在许多跨语言任务上显示出有希望的结果。在本文中，我们改进了多语言文本到文本传输Transformer与翻译对（mT6）。具体来说，我们探索了三个跨语言文本到文本的预训练任务，即，机器翻译，翻译对跨度腐败和翻译跨度腐败。此外，我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法，包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明，建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Leveraging Lead Bias for Zero-shot Abstractive News Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）；Stanford University（斯坦福大学）
在新闻报道中，一个典型的新闻惯例是在开始时提供最突出的信息，也被称为引导偏见。虽然可以利用这种现象生成摘要，但它对教授模型区分和提取一般重要信息具有不利影响。我们建议可以以一种简单有效的方式利用这种引导偏差，在大规模未标记的新闻语料库上预训练抽象新闻摘要模型：使用文章的其余部分预测引导句子。我们收集了大量的新闻语料，并通过统计分析进行数据清洗和过滤。然后，我们将此数据集上的自监督预训练应用于现有的生成模型BART和T5，以进行领域自适应。通过在六个基准数据集上的大量实验，我们证明了该方法可以显著提高摘要质量，并在不进行任何微调的情况下实现最先进的zero-shot新闻摘要结果。例如，在DUC 2003数据集中，BART的ROUGE-1得分在导联偏差预训练后增加了13.7%。我们在Microsoft News中部署该模型，并提供公共API以及用于多语言新闻摘要的演示网站。
2021-04-15 cs.CL
Abstractive Text Summarization: State of the Art, Challenges, and Improvements
University of Colorado（科罗拉多大学）；University of Arkansas（阿肯色大学）
该综述系统梳理了抽象式文本摘要的最新技术、挑战与改进方向，涵盖序列到序列模型、预训练大语言模型、强化学习等方法，并提出知识融合等解决方案，为后续研究提供结构化参考。
2024-09-04 cs.AI cs.CL cs.LG
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，NLP社区见证了多语言和跨语言迁移研究的快速发展，其中监督从高资源语言（HRL）转移到低资源语言（LRL）。然而，跨语言迁移在不同语言之间并不一致，特别是在zero-shot设置中。为了实现这一目标，一个有前途的研究方向是在有限的注释数据的情况下跨多个任务学习可共享的结构。下游的多语言应用程序可能会从这种学习设置中受益，因为全球大多数语言都是低资源的，并且与其他语言共享一些结构。在本文中，我们提出了一种新的元学习框架（称为Meta-X $_{NLG}$）学习共享结构的类型多样的语言的基础上元学习和语言聚类。这是朝着统一的跨语言迁移未见过的语言迈出的一步。我们首先聚类的语言表示的基础上，并确定每个集群的质心语言。然后，用所有质心语言训练Meta学习算法，并在zero-shot设置中对其他语言进行评估。我们在两个NLG任务（抽象文本摘要和问题生成），5个流行的数据集和30种类型不同的语言上证明了这种建模的有效性。在强基线基础上的持续改进表明了拟议框架的效力。该模型的精心设计使得这种端到端NLG设置不太容易受到意外翻译问题的影响，这是zero-shot跨语言NLG任务中的一个突出问题。
2022-03-19 cs.CL
XWikiGen: Cross-lingual Summarization for Encyclopedic Text Generation in Low Resource Languages
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
针对低资源语言百科文本生成中参考文献稀缺的问题，提出跨语言多文档摘要任务 XWikiGen 及基准数据集 XWikiRef，构建基于无监督抽取式与生成式模型的两阶段系统，并验证多领域训练优于多语言设置。
2023-04-18 cs.CL
Reliability Gated Multi-Teacher Distillation for Low Resource Abstractive Summarization
BRAC University（BRAC大学）
本文研究了从可靠性角度出发的多教师知识蒸馏，提出EWAD和CPDP机制，通过实验发现logit级KD效果最佳，复杂蒸馏提升短摘要语义相似性但影响长摘要，跨语言伪标签KD在压缩率下保持ROUGE L分数，揭示了单判 pipelines 的校准偏差。
2026-04-03 cs.AI cs.CL
Multilingual Sentiment Analysis of Summarized Texts: A Cross-Language Study of Text Shortening Effects
本研究跨语言考察了抽取式与生成式摘要对多语言情感分类的影响，发现抽取式更能保留情感而生成式易致失真，并提出平衡可读性与情感保留的混合摘要方法。
2025-03-31 cs.CL
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
Islamic University of Technology（伊斯兰科技大学）
本文通过对8种LLM在英语和孟加拉语XL-Sum测试集的零样本基准测试，发现多语言摘要生成存在跨语言差异，单一评估指标不可靠，需为低资源语言构建综合评估框架。
2026-10-15 cs.AI cs.CL
Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages
UNIVERSITY OF CALIFORNIA SANTA CRUZ（加州大学圣克鲁兹分校）
针对低资源语言大模型提示能力不足的问题，该研究对比少样本提示、语言自适应微调、机器翻译三种方法，在三类任务上验证少样本提示的平均效果最优且更具成本效益。
2024-03-09 cs.AI cs.CL cs.LG
