Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies（BBN技术公司）
针对跨语言对话语音摘要资源匮乏问题，研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集，适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
Multi-Target Cross-Lingual Summarization: a novel task and a language-neutral approach
Priberam Labs（Priberam实验室）
针对跨语言摘要中多语言输出语义一致性被忽视的问题，本文定义多目标跨语言摘要任务，并提出语言无关的重排序方法与多准则评估协议。
2024-10-01 cs.AI cs.CL cs.LG
Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）
跨语言摘要（CLS）的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法，即翻译然后总结或总结然后翻译。最近，端到端模型取得了更好的结果，但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案，该解决方案利用了跨语言任务（如翻译）和单语言任务（如掩蔽语言模型）。因此，我们的模型可以利用大量的单语数据来增强其语言建模。此外，该架构没有特定于任务的组件，这节省了内存并提高了优化效率。实验结果表明，该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要（NCLS）数据集中，我们的模型比最先进的结果提高了2.82（英语到中文）和1.15（中文到英语）ROUGE-1分数。
2020-10-18 cs.CL
Multi-Task Learning for Cross-Lingual Abstractive Summarization
Tokyo Institute of Technology（东京工业大学）
我们提出了一个多任务的跨语言抽象摘要的学习框架，以增加训练数据。最近的研究构建了伪跨语言摘要数据训练他们的神经编码器-解码器。同时，我们引入现有的真实数据，如翻译对和单语摘要数据进行训练。我们提出的方法，Transum，附加一个特殊的令牌的输入句子的开头，以指示目标任务。特殊的令牌使我们能够将真实数据轻松地合并到训练数据中。实验结果表明，与仅使用伪跨语言摘要数据训练的模型相比，Transum模型具有更好的性能。此外，我们在中文-英文和阿拉伯文-英文摘要摘要方面取得了最高的ROUGE分数。此外，Transum还对机器翻译产生了积极的影响。实验结果表明，在中文-英文、阿拉伯文-英文和英文-日文翻译数据集上，Transsum提高了强基线Transformer的性能。
2020-10-15 cs.CL
Automatic Data Retrieval for Cross Lingual Summarization
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务研究院）
本研究提出利用文本与视频新闻配对来自动获取跨语言摘要数据，实现英语到印地语的摘要，并构建基线进行错误分析。
2023-12-22 cs.CL
SimCSum: Joint Learning of Simplification and Cross-lingual Summarization for Cross-lingual Science Journalism
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Heidelberg University（海德堡大学）
提出SimCSum多任务架构，通过共享编码器和双并行解码器联合学习文本简化与跨语言摘要，在两个跨语言科学数据集上显著优于现有方法。
2023-04-04 cs.CL
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
ClidSum: A Benchmark Dataset for Cross-Lingual Dialogue Summarization
Tencent Inc（腾讯公司）；Soochow University（苏州大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Fudan University（复旦大学）
我们提出了ClidSum，一个基准数据集，用于在对话文档上构建跨语言摘要系统。它由来自两个子集的67 k+对话文档组成（即，SAMSum和MediaSum）和112 k+注释摘要（不同目标语言）。基于建议的ClidSum，我们分别介绍了监督和半监督场景的两个基准设置。然后，我们以不同的范式（管道和端到端）构建各种基线系统，并在ClidSum上进行广泛的实验，以提供更深入的分析。此外，我们提出了mDialBART，它通过进一步的预训练扩展了mBART-50（多语言BART）。在进一步的预训练阶段中使用的多个目标帮助预训练模型捕获对话中的结构特征以及重要内容以及从源语言到目标语言的转换。实验结果表明，mDialBART作为一种端到端模型，在ClidSum上的性能优于强流水线模型。最后，我们讨论了目前的方法面临的具体挑战，这一任务，并为未来的研究提供了多个有前途的方向。我们已经在https://github.com/krystalan/ClidSum上发布了数据集和代码。
2022-10-16 cs.AI cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
The Cross-lingual Conversation Summarization Challenge
Westlake University（西湖大学）；Sichuan Lan-bridge Information Technology Co., Ltd.（四川蓝桥信息技术有限公司）；Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们提出了跨语言会话摘要的共享任务，\emph{ConvSumX Challenge}，为研究人员研究集成会话摘要和机器翻译的解决方案开辟了新的途径。由于在线会议的出现，这项任务可能特别有用。我们构建了一个新的基准，涵盖2个真实世界的场景和3个语言方向，包括一个低资源语言。我们希望\emph{ConvSumX}能够激励研究超越英语，打破非英语使用者从会话摘要的最新进展中受益的障碍。
2022-05-03 cs.CL
Long-Document Cross-Lingual Summarization
Soochow University（苏州大学）；Fudan University（复旦大学）；Jilin Kexun Information Technology Co., Ltd.（吉林科讯信息技术有限公司）
跨语言摘要（CLS）的目的是为另一种语言的给定文档生成一种语言的摘要。由于其在多语言世界中的实际意义，CLS引起了广泛的研究关注。虽然已经做出了很大的贡献，现有的CLS工作通常集中在短文档，如新闻文章，简短的对话和指南。与这些简短的文本不同，学术文章和商业报告等长文档通常讨论复杂的主题，并且由数千字组成，这使得它们不容易处理和总结。为了促进长文档的CLS研究，我们构建了第一个长文档CLS数据集Perseus，该数据集收集了约94K的中文科技文档和英文摘要。Perseus中文档的平均长度超过2000个令牌。作为对长文档CLS的初步研究，我们构建并评估了各种CLS基线，包括管道和端到端方法。Perseus上的实验结果显示了端到端基线的优越性，优于配备复杂机器翻译系统的强大管道模型。此外，为了提供更深入的理解，我们手动分析了模型输出，并讨论了当前方法所面临的具体挑战。我们希望我们的工作可以基准长文档CLS和有益于未来的研究。
2022-12-01 cs.AI cs.CL
Cross-Lingual Abstractive Summarization with Limited Parallel Resources
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息研究院）
并行跨语言摘要数据是稀缺的，需要模型更好地利用有限的可用跨语言资源。现有的方法通常采用具有多任务框架的序列到序列网络。这种方法应用多个解码器，每个解码器用于特定任务。然而，这些独立的解码器没有共享参数，因此无法捕获不同语言的摘要的离散短语之间的关系，从而断开连接，以便将高资源语言的知识转移到低资源语言。为了弥合这些连接，我们提出了一种新的跨语言抽象摘要（MCLAS）在低资源设置的多任务框架。采用一个统一的解码器来生成单语和跨语言摘要的顺序连接，MCLAS使单语摘要任务成为跨语言摘要（CLS）任务的先决条件。通过这种方式，共享解码器学习涉及跨语言的对齐和摘要模式的交互，这鼓励实现知识转移。在两个CLS数据集上的实验表明，我们的模型在低资源和全数据集的情况下都显着优于三个基线模型。此外，对生成的摘要和注意力头的深入分析验证了使用MCLAS很好地学习交互，这有利于在有限的并行资源下的CLS任务。
2021-06-13 cs.CL
Large Scale Multi-Lingual Multi-Modal Summarization Dataset
IISER Kolkata（印度科学教育与研究学院加尔各答分院）；Indian Institute of Technology Patna（印度理工学院巴特那分校）
编码器-解码器模型等技术的重大发展使我们能够表示包括多种模态的信息。这些信息可以进一步增强信息检索和自然语言处理领域的许多下游任务;然而，多模态技术及其性能评估的改进需要提供足够多样性的大规模多模态数据。针对多模态摘要、文本生成和翻译等各种任务的多语言建模利用了从高质量的多语言注释数据中获得的信息。在这项工作中，我们提出了目前最大的多语言多模态摘要数据集（M3 LS），它由超过一百万个文档图像对的实例以及每个对的专业注释的多模态摘要组成。它来源于英国广播公司（BBC）十多年来发表的新闻文章，跨越20种语言，针对五种语言根源的多样性，它也是13种语言的最大摘要数据集，包括2种语言的跨语言摘要数据。我们正式定义了多语言多模态摘要任务，利用我们的数据集和报告基线分数从各种国家的最先进的摘要技术在多语言设置。并将其与许多类似的数据集进行了比较，分析了M3 LS的独特性和难度。
2023-02-13 cs.CL cs.MM
ClueGraphSum: Let Key Clues Guide the Cross-Lingual Abstractive Summarization
Sichuan University（四川大学）；National Computer Network Emergency Response Technical Team / Coordination Center of China（国家计算机网络应急技术处理协调中心）
跨语言摘要（CLS）是为不同语言的文章生成一种语言摘要的任务。以往对CLS的研究主要采用流水线方法或利用翻译后的并行数据对端到端模型进行训练。然而，生成的跨语言摘要的质量需要更多的进一步努力来提高，并且模型性能从未在手写CLS数据集上进行过评估。因此，我们首先提出了一种线索引导的跨语言摘要方法，以提高跨语言摘要的质量，然后构建一个新的手写CLS数据集进行评估。具体来说，我们提取输入文章的关键词，命名实体等作为摘要的关键线索，然后设计一个线索引导算法将文章转换为具有较少噪声句子的图。构建Graph编码器学习句子语义和文章结构，构建Clue编码器对关键线索进行编码和翻译，确保生成的摘要中保留重要部分的信息。这两个编码器由一个解码器连接，以直接学习跨语言语义。实验结果表明，该方法对较长的输入具有较强的鲁棒性，在强基线上显著提高了性能，与现有SOTA相比，ROUGE-1（英汉摘要）和MoverScore（汉英摘要）得分分别提高了8.55和2.13。
2022-03-09 cs.CL
EUR-Lex-Sum: A Multi- and Cross-lingual Dataset for Long-form Summarization in the Legal Domain
Heidelberg University（海德堡大学）；SRH Hochschule Heidelberg（海德堡SRH应用技术大学）
现有的摘要数据集有两个主要缺点：（1）它们倾向于关注过度暴露的领域，例如新闻文章或类似维基的文本，（2）主要是单语数据集，很少有多语言数据集。在这项工作中，我们提出了一个新的数据集，称为EUR-Lex-Sum，基于欧盟法律平台（EUR-Lex）的法律行为的手动策划的文件摘要。文档及其各自的摘要以24种欧洲官方语言中的几种语言的跨语言段落对齐数据的形式存在，从而可以访问各种跨语言和低资源摘要设置。我们每种语言获得多达1，500个文档/摘要对，包括375个跨语言对齐的法律行为的子集，文本以所有24种语言提供。在这项工作中，数据采集的过程是详细的，资源的主要特征进行比较，现有的摘要资源。特别是，我们说明了具有挑战性的子问题和开放的问题的数据集，可以帮助促进未来的研究领域特定的跨语言摘要的方向。受限于样本的极端长度和语言多样性，我们进一步使用合适的提取单语和跨语言基线进行实验，以供未来工作使用。提取代码以及访问我们的数据和基线的代码可在https://github.com/achouhan93/eur-lex-sum上在线获取。
2022-10-24 cs.CL
CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Monash University（莫纳什大学）；Swinburne University of Technology（斯威本科技大学）
本文提出CrossSum，一个覆盖1500多个语言对、包含168万样本的最大跨语言摘要数据集，并设计多阶段采样算法和LaSE评估指标，使模型能用任意目标语言生成摘要且性能优于基线。
2023-05-25 cs.CL
X-SCITLDR: Cross-Lingual Extreme Summarization of Scholarly Documents
University of Mannheim（曼海姆大学）；Hochschule der Medien（斯图加特传媒学院）
如今科学出版物的数量迅速增加，导致研究人员的信息过载，使学者很难跟上当前的趋势和工作路线。因此，最近的工作应用文本挖掘技术的学术出版物研究了应用自动文本摘要技术，包括极端摘要，在这一领域。然而，以前的工作只集中在单语设置，主要是在英语。在本文中，我们填补了这一研究空白，并提出了一个抽象的跨语言摘要数据集为四种不同的语言在学术领域，这使我们能够训练和评估模型，处理英语论文，并生成摘要在德国，意大利，中国和日本。我们提出了用于多语言摘要的新X-SCITLDR数据集，并基于最先进的多语言预训练模型对不同模型进行了彻底的基准测试，包括两阶段的“摘要和翻译”方法和直接跨语言模型。我们还探索了使用英语单语摘要和机器翻译作为中间任务的中间阶段训练的好处，并分析了零镜头和Few-Shot场景下的性能。
2022-05-30 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh（爱丁堡大学）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文提出PMIndiaSum，一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库，通过微调、提示等方法构建基准，证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
WikiLingua: A New Benchmark Dataset for Cross-Lingual Abstractive Summarization
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
我们介绍WikiLingua，一个大规模的，多语言数据集的跨语言抽象摘要系统的评估。我们从WikiHow中提取了18种语言的文章和摘要对，WikiHow是一个高质量的协作资源，由人类作者撰写的各种主题的操作指南。我们通过对齐用于描述文章中每个操作步骤的图像来创建跨语言的黄金标准文章摘要对齐。作为进一步研究的一组基线，我们评估了现有的跨语言抽象摘要方法在我们的数据集上的性能。我们进一步提出了一种直接跨语言摘要的方法（即，而不需要在推理时进行翻译），这是通过利用合成数据和神经机器翻译作为预训练步骤实现的。我们的方法显着优于基线方法，同时在推理过程中更具成本效益。
2020-10-07 cs.CL
NCLS: Neural Cross-Lingual Summarization
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
跨语言摘要（CLS）是为不同语言的源文档生成特定语言摘要的任务。现有的方法简单地将此任务分为两个步骤：摘要和翻译，导致错误传播的问题。为了解决这个问题，我们首次提出了一个端到端的CLS框架，我们称之为神经跨语言摘要（NCLS）。此外，我们建议通过将两个相关的任务，单语摘要和机器翻译，在多任务学习的CLS的训练过程中，进一步改善NCLS。由于缺乏有监督的CLS数据，我们提出了一个往返翻译策略，以获得两个高质量的大规模CLS数据集的基础上，现有的单语摘要数据集。实验结果表明，我们的NCLS取得了显着的改善，传统的管道方法在英汉和汉英CLS人类校正的测试集。此外，具有多任务学习的NCLS可以进一步显着提高生成摘要的质量。我们在这里公开我们的数据集和代码：http://www.nlpr.ia.ac.cn/cip/dataset.htm。
2019-08-31 cs.CL
Unifying Cross-lingual Summarization and Machine Translation with Compression Rate
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息技术研究院）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（北京海量语言信息处理与云计算应用工程研究中心）
跨语言摘要（Cross-Lingual Summarization，CLS）是一种从源文档中提取重要信息并将其摘要成另一种语言摘要的任务。这是一项具有挑战性的任务，需要系统同时理解，摘要和翻译，这使得它与单语摘要（MS）和机器翻译（MT）高度相关。在实践中，机器翻译的训练资源远远多于跨语言和单语言摘要。因此，将机器翻译语料库纳入CLS将有利于其性能。然而，目前的工作只是利用一个简单的多任务框架，把机器翻译，缺乏更深入的探索。在本文中，我们提出了一个新的任务，跨语言摘要与压缩率（CSC），有利于跨语言摘要的大规模机器翻译语料库。通过引入压缩率，即源文本和目标文本之间的信息比，我们将机器翻译任务看作是一种特殊的CLS任务，压缩率为100%。因此，他们可以作为一个统一的任务进行培训，更有效地分享知识。然而，MT任务和CLS任务之间存在巨大的差距，其中压缩率在30%到90%之间的样本非常罕见。因此，桥梁这两个任务顺利，我们提出了一个有效的数据增强方法来产生不同的压缩率的文档摘要对。所提出的方法不仅提高了CLS任务的性能，而且还提供了可控性，以生成所需长度的摘要。实验表明，我们的方法优于各种强基线在三个跨语言摘要数据集。我们在https://github.com/ybai-nlp/CLS_CR上发布了我们的代码和数据。
2022-04-24 cs.CL
Understanding Translationese in Cross-Lingual Summarization
Fudan University（复旦大学）；Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）
本文研究跨语言摘要中翻译腔现象，确认不同数据集构建方法导致不同程度翻译腔，并系统分析其对模型评估和性能的影响，提出未来研究建议。
2023-10-10 cs.AI cs.CL
A Variational Hierarchical Model for Neural Cross-Lingual Summarization
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Xiamen University（厦门大学）
跨语言摘要（CLS）的目标是将文档转换为一种语言（例如，英语）转换为另一个摘要（例如，中文）。CLS任务本质上是机器翻译（MT）和单语摘要（MS）的结合，因此MT &MS和CLS之间存在层次关系。现有的CLS研究主要集中在利用管道方法或通过辅助MT或MS目标联合训练端到端模型。然而，这是非常具有挑战性的模型直接进行CLS，因为它需要翻译和总结的能力。为了解决这个问题，我们提出了一个分层模型的CLS任务，基于条件变分自动编码器。层次模型包含两种潜变量，分别在局部和全局水平。在局部层次上，有两个潜变量，一个用于翻译，另一个用于摘要。在全局水平上，存在另一个以两个局部水平变量为条件的跨语言摘要潜变量。两个语言方向（英语-汉语）的实验验证了该方法的有效性和优越性。此外，我们表明，我们的模型是能够产生更好的跨语言摘要比比较模型中的Few-Shot设置。
2022-03-25 cs.CL
Revisiting Cross-Lingual Summarization: A Corpus-based Study and A New Benchmark with Improved Annotation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Sichuan Lan-bridge Information Technology Co., Ltd.（四川语言桥信息技术有限公司）；Westlake Institute for Advanced Study（西湖高等研究院）
本文针对现有跨语言摘要语料库因直接翻译预标注摘要而引入错误的问题，提出考虑源输入上下文的对话摘要基准ConvSumX及模拟人工标注的2-Step方法，实验证明其更忠实且性能超越强基线。
2023-07-08 cs.CL
With Good MT There is No Need For End-to-End: A Case for Translate-then-Summarize Cross-lingual Summarization
Novo Nordisk（诺和诺德）；IT University of Copenhagen（哥本哈根信息技术大学）
本文在39种语言到英语的跨语言摘要任务上对比端到端与先翻译后摘要流水线，证明简单流水线始终优于端到端系统，并指出性能与BLEU分数高度相关，可事先判断语言对可行性。
2024-08-31 cs.CL
CroCoSum: A Benchmark Dataset for Cross-Lingual Code-Switched Summarization
Brown University（布朗大学）；University of Tübingen（蒂宾根大学）
CroCoSum是首个跨语言代码切换摘要基准数据集，包含超2.4万英文文章和1.8万中文摘要，92%含代码切换，评估显示现有方法泛化有限。
2024-05-23 cs.CL
Cross-lingual Transfer of Abstractive Summarizer to Less-resource Language
University of Ljubljana（卢布尔雅那大学）
自动文本摘要从文本中提取重要信息并以摘要的形式呈现。通过切换到深度神经网络，抽象摘要方法取得了显著进展，但结果还不令人满意，特别是对于不存在大型训练集的语言。在几个自然语言处理任务中，跨语言模型转移成功地应用于资源较少的语言。对于总结，由于神经模型的不可重用解码器侧不能纠正目标语言生成，因此未尝试跨语言模型传输。在我们的工作中，我们使用基于深度神经网络和序列到序列架构的预训练英语摘要模型来总结斯洛文尼亚新闻文章。我们通过使用一个额外的语言模型来评估生成的文本在目标语言的解码器不足的问题。我们测试了几个跨语言摘要模型与不同数量的目标数据进行微调。我们用自动评估措施评估模型，并进行小规模的人工评估。自动评估表明，我们最好的跨语言模型的摘要是有用的，质量类似于只在目标语言训练的模型。人工评估表明，我们的最佳模型生成的摘要具有较高的准确性和可接受的可读性。然而，与其他抽象模型类似，我们的模型并不完美，偶尔可能会产生误导或荒谬的内容。
2021-09-02 cs.CL cs.LG
ConVerSum: A Contrastive Learning-based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
针对无高质量跨语言摘要（CLS）数据的场景，提出基于对比学习的ConVerSum方法，生成多语言候选摘要并通过对比排序损失训练，在低资源语言CLS任务上优于Gemini、GPT 3.5等LLMs，为数据稀缺CLS提供高效解决方案。
2024-11-25 cs.CL
SumTra: A Differentiable Pipeline for Few-Shot Cross-Lingual Summarization
University of Technology Sydney（悉尼科技大学）；RoZetta Technology（罗泽塔科技公司）
本文提出一种端到端可微的“先摘要后翻译”流水线SumTra，通过复用单语资源实现卓越的跨语言摘要零样本性能，并在仅用10%微调样本时于多语言上超越基线。
2024-03-20 cs.CL
MILDSum: A Novel Benchmark Dataset for Multilingual Summarization of Indian Legal Case Judgments
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文提出首个面向印度法律判决的跨语言摘要基准数据集MILDSum，包含3,122份英语判决及英印双语摘要，并评测多种方法以推动法律领域跨语言摘要研究。
2023-10-28 cs.AI cs.CL
Faithful Summarization of Consumer Health Queries: A Cross-Lingual Framework with LLMs
Islamic University of Technology（伊斯兰技术大学）
针对消费者健康问题摘要的不忠实风险，提出结合TextRank句子提取、医疗命名实体识别与LLMs的跨语言框架，在英孟数据集微调LLaMA-2-7B后，质量与忠实性指标均提升且超基线，80%+摘要保留关键医疗信息，为医疗场景LLM安全部署提供方案。
2025-11-13 cs.CL
Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究院）
在危机期间从社交媒体收集的相关和及时的信息可以成为应急管理的宝贵资源。然而，提取这些信息仍然是一项具有挑战性的任务，特别是在处理多种语言的社交媒体帖子时。这项工作提出了一种跨语言的方法，检索和总结危机相关的信息，从社交媒体帖子。我们描述了一个统一的方式来表达各种信息需求，通过结构化查询和创建摘要回答这些信息需求的方式。该方法基于多语言Transformers嵌入。句子是用嵌入支持的语言之一编写的，提取的句子可以是支持的任何其他语言。Transformers创建抽象摘要。这项评估由众包评估人员和应急管理专家完成，并在五次大规模灾难期间从Twitter上提取了10种语言的集合，显示了我们方法的灵活性。生成的摘要被认为比现有的最先进的方法更有重点，更有结构，更连贯，专家们将其与现有的最先进的方法创建的摘要进行了比较。
2022-04-21 cs.CL cs.CY cs.IR
GupShup: An Annotated Corpus for Abstractive Summarization of Open-Domain Code-Switched Conversations
Bloomberg（彭博）；IIIT-Delhi（德里印度理工学院）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
语码转换是一种交际现象，说话人在会话过程中在不同语言之间转换。随着会话代理和聊天平台的广泛采用，语码转换已成为全球许多多语言社区书面会话的一个组成部分。这使得开发总结和理解这些对话的技术变得至关重要。为了实现这一目标，我们引入了印地语-英语代码转换会话的抽象摘要，并开发了第一个代码转换会话摘要数据集- GupShup，其中包含超过6，831个印地语-英语会话及其相应的英语和印地语-英语人类注释摘要。我们提出了一个详细的说明，整个数据汇集和注释过程。我们使用各种代码转换统计数据来分析数据集。我们训练最先进的抽象摘要模型，并使用自动化指标和人工评估报告其性能。我们的结果表明，多语言mBART和多视图seq 2seq模型在新数据集上获得了最佳性能
2021-04-17 cs.AI cs.CL cs.CY
Cross-Lingual Summarization as a Black-Box Watermark Removal Attack
Independent Researcher（独立研究者）
本研究提出跨语言摘要攻击（CLSA），通过翻译-摘要-可选回译的跨语言语义瓶颈破坏词元统计偏差，在多水印方案和多语言实验中比单语释义更高效地移除水印且保留文本质量，揭示了现有分布式水印的漏洞。
2026-10-06 cs.CL cs.CR
Cross-lingual Cross-temporal Summarization: Dataset, Models, Evaluation
University of Mannheim（曼海姆大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文针对跨语言跨时间摘要（CLCTS）任务，构建了首个历史英德双语语料库，评估了端到端模型与GPT-3.5的摘要性能，并设计对抗攻击测试数据污染，发现历史文本的复杂性显著增加了任务难度。
2024-06-02 cs.CL
Global Voices: Crossing Borders in Automatic News Summarization
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们构建了Global Voices，一个用于评估跨语言摘要方法的多语言数据集。我们提取全球之声新闻文章的社交网络描述，以低成本收集15种语言的英文和英文摘要的评估数据。特别是，对于英语摘要任务，我们基于强调准确性，覆盖范围和可理解性的指导方针众包了一个高质量的评估数据集。为了确保这个数据集的质量，我们收集了人类的评分来过滤掉不好的摘要，并对人类进行了一项调查，结果显示，剩余的摘要比社交网络摘要更受欢迎。我们研究了跨语言摘要翻译质量的影响，比较了先翻译后摘要的方法与几个基线。我们的研究结果突出了ROUGE度量的局限性，被忽视的单语摘要。我们的数据集可在https://forms.gle/gpkJDT6RJWHM1Ztz9下载。
2020-06-15 cs.CL cs.IR cs.LG
$μ$PLAN: Summarizing using a Content Plan as Cross-Lingual Bridge
Google DeepMind（谷歌DeepMind）
针对跨语言摘要数据集稀缺、摘要与翻译难度叠加的问题，提出$μ$PLAN方法，以多语言实体对齐的内容规划为跨语言桥梁，在XWikis数据集4个语言对上达到信息性与忠实性的SOTA，且零样本迁移能力更优。
2024-01-31 cs.CL
FREDSum: A Dialogue Summarization Corpus for French Political Debates
Linagora（利纳戈拉公司）；École Polytechnique（巴黎综合理工学院）；Grenoble Ecole de Management（格勒诺布尔高等商学院）
本文构建了人工转录与标注的法国政治辩论数据集 FREDSum，并提供基于最先进方法的基线实验，以弥补多语言、多方对话摘要资源的不足。
2023-12-08 cs.AI cs.CL
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Tokyo Institute of Technology（东京工业大学）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）
本研究通过扩展Llama 2词汇表并进行大规模日语网络语料库持续预训练，构建了增强日语能力的LLM——Swallow，其性能优于从头训练的模型，并验证了词汇扩展与平行语料库的有效性。
2024-04-27 cs.AI cs.CL
A Survey of Recent Abstract Summarization Techniques
University of Bengkulu（明古鲁大学）
本文综述了几种最近的摘要摘要方法：T5，Pegasus和Pegasus Net。我们用两种语言实现系统：英语和印度尼西亚语。我们研究了预训练模型（一个T5，三个Pegasus，三个Pegasus Nets）对英语和印度尼西亚语的几个维基百科数据集的影响，并将结果与维基百科系统的摘要进行了比较。T5-Large、Pegasus-XSum和Pegasus Net-CNNDM提供了最好的摘要。影响ROUGE性能的最重要因素是覆盖率、密度和压缩。分数越高，总结越好。影响ROUGE分数的其他因素包括预训练目标、数据集的特征、用于测试预训练模型的数据集以及跨语言函数。针对本文的局限性提出了几点改进建议：1）确保用于预训练模型的数据集必须足够大，包含足够的跨语言处理实例; 2）高级过程（微调）必须合理。我们建议在预训练模型的训练阶段实施高级过程（例如从训练-推断-训练过程到zero-shot翻译）之前，使用由多种语言主题的全面覆盖组成的大型数据集。
2021-04-15 cs.CL cs.IR cs.LG
Corpus of Cross-lingual Dialogues with Minutes and Detection of Misunderstandings
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理学院）；Institute of Formal and Applied Linguistics (ÚFAL)（形式与应用语言学研究所）
本文提出一个多语言对话语料库及自动检测误解的方法，通过手动标注和模型测试，验证了Gemini模型在识别误解方面的性能。
2025-12-23 cs.AI cs.CL
ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Shizuoka University（静冈大学）；NVIDIA（英伟达）
尽管NLP研究取得了很大进展，但自然语言生成的跨语言迁移研究相对较少。在这项工作中，我们转移监督从高资源语言（HRL）到多个低资源语言（LRL）的自然语言生成（NLG）。我们考虑了四个NLG任务（文本摘要，问题生成，新闻标题生成和干扰词生成）和三种句法不同的语言，即，英语、印地语和日语。我们提出了一个无监督的跨语言语言生成框架（称为ZmBART），不使用任何并行或伪并行/回译数据。在这个框架中，我们使用三种语言的单语数据进一步预训练mBART序列到序列去噪自动编码器模型和辅助任务。辅助任务的目标函数接近目标任务，丰富了mBART的多语言潜在表征，为目标任务提供了良好的初始化。然后，该模型使用特定于任务的监督英语数据进行微调，并在Zero-shot设置中直接使用低资源语言进行评估。为了克服灾难性遗忘和虚假相关问题，我们分别采用冻结模型组件和数据论证方法。这种简单的建模方法给了我们很有希望的结果。我们尝试了Few-Shot训练（1000个监督数据点），这进一步提高了模型的性能。我们进行了几次消融和跨语言可转移性分析，以证明ZmBART的稳健性。
2021-06-03 cs.AI cs.CL cs.LG
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation
Google Research（谷歌研究院）；George Washington University（乔治华盛顿大学）；University of the Basque Country（巴斯克大学）；University of Sheffield（谢菲尔德大学）
语义文本相似度（STS）是衡量句子之间的语义相似度的指标。应用包括机器翻译（MT）、摘要、生成、问答（QA）、简短回答分级、语义搜索、对话和会话系统。STS共享任务是评估当前最先进技术的场所。2017年的任务侧重于多语言和跨语言对，其中一个子轨道探索MT质量估计（MTQE）数据。这项任务得到了31个小组的大力参与，其中17个小组参加了所有语文轨道。我们总结性能和审查的选择表现良好的方法。分析突出了常见的错误，深入了解现有模型的局限性。为了支持正在进行的语义表示工作，STS基准被引入作为一个新的共享训练和评估集，该集是从英语STS共享任务数据（2012-2017）的语料库中精心挑选出来的。
2017-07-31 cs.CL
Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文评估了一种零样本跨语言对齐方法，通过迁移源语言训练的奖励模型至目标语言，在摘要和对话任务中实现高达70%以上的人类偏好度，并提供了无特定语言数据时的最佳实践。
2024-10-14 cs.CL
Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们探讨了具有挑战性的问题，执行生成任务的目标语言时，标记的数据是唯一可用的英语，摘要作为一个案例研究。我们假设一个严格的设置，无法访问并行数据或机器翻译，并发现常见的迁移学习方法在这种设置中很难，因为纯粹在英语上微调的生成多语言模型灾难性地忘记了如何生成非英语。考虑到最近参数有效的自适应技术的兴起，我们对一种这样的方法提示微调（Lester等人，2021），可以克服灾难性遗忘以实现zero-shot跨语言生成。我们的实验表明，当在不太相关的语言之间传输时，参数有效的提示微调提供了优于标准微调的增益，例如，从英语到泰语然而，在这些方法与全面监督的基线之间仍然存在着重大差距。为了进一步改进跨语言迁移，我们探索了几种方法，包括：（1）混合未标记的多语言数据，（2）显式地将提示分解为可重组的语言和任务组件。我们的方法可以提供进一步的质量增益，这表明强大的zero-shot跨语言生成是触手可及的。
2022-10-23 cs.CL
XLCoST: A Benchmark Dataset for Cross-lingual Code Intelligence
Virginia Tech（弗吉尼亚理工大学）
机器学习的最新进展显著提高了对源代码数据的理解，并在许多下游任务上实现了良好的性能。像GitHub这样的开源存储库通过丰富的未标记代码数据实现了这一过程。然而，缺乏高质量的标记数据在很大程度上阻碍了一些代码相关任务的进展，如程序翻译，摘要，合成和代码搜索。本文介绍了一个新的跨语言代码智能基准数据集--跨语言代码片段数据集XLCoST。我们的数据集包含来自8种语言（7种常用的程序设计语言和英语）的细粒度并行数据，并支持10种跨语言代码任务。据我们所知，它是源代码的最大并行数据集，无论是在大小还是语言数量方面。我们还为每个任务提供了几个最先进的基线模型的性能。我们相信这个新的数据集可以成为研究社区的宝贵资产，并促进跨语言代码智能新方法的开发和验证。
2022-06-16 cs.AI cs.LG cs.SE
Beyond Ranked Lists: The SARAL Framework for Cross-Lingual Document Set Retrieval
Information Sciences Institute University of Southern California（信息科学研究所 美国南加州大学）
本文介绍 ISI 团队为 MATERIAL 计划提出的 SARAL 框架，该框架面向跨语言文档集检索而非传统排序列表，并在三种语言的六项评估中五项超越其他团队。
2025-11-05 cs.CL cs.IR
Unlocking Legal Knowledge: A Multilingual Dataset for Judicial Summarization in Switzerland
University of Bern（伯尔尼大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；Stanford University（斯坦福大学）；University of Fribourg（弗里堡大学）
本文提出包含瑞士联邦最高法院2万份多语言裁决摘要的SLDS数据集，通过微调开源模型并与大型LLM对比发现，事实准确性比深度推理更能决定法律摘要的质量。
2025-09-18 cs.AI cs.CL cs.LG
GRASP LoRA: GRPO Guided Adapter Sparsity Policy for Cross Lingual Transfer
Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德·本·扎耶德人工智能大学）
GRASP LoRA通过GRPO指导的适配器稀疏性策略提升跨语言迁移的性能，减少计算成本并提高资源利用效率。
2026-01-10 cs.CL
DOCmT5: Document-Level Pretraining of Multilingual Language Models
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
在本文中，我们介绍DOCmT 5，一个多语言的序列到序列的语言模型预训练与大规模并行文档。虽然以前的方法专注于利用并行级并行数据，但我们尝试构建一个通用的预训练模型，可以理解和生成长文档。我们提出了一个简单而有效的预训练目标-文档重排机器翻译（DrMT），其中需要翻译的输入文档是混洗和掩蔽的。DrMT在各种文档级生成任务的强大基线上带来了一致的改进，包括超过12个BLEU点的seen语言对文档级MT，超过7个BLEU点的unseen语言对文档级MT和超过3个ROUGE-1点的seen语言对跨语言摘要。我们在WMT 20 De-En和IWSLT 15 Zh-En文档翻译任务上实现了最先进的（SOTA）。我们还对文档预训练的各种因素进行了广泛的分析，包括（1）预训练数据质量的影响和（2）结合单语言和跨语言预训练的影响。我们计划公开我们的模型检查点。
2022-05-05 cs.CL
Zero-Shot Cross-Lingual Summarization via Large Language Models
Soochow University（苏州大学）；Beijing Jiaotong University（北京交通大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）；Princeton University（普林斯顿大学）
本文实证研究了GPT-3.5、ChatGPT和GPT-4等大型语言模型在零样本跨语言摘要任务中的表现，发现通过交互式提示可显著提升模型性能，其中GPT-4达到最先进水平。
2023-10-24 cs.AI cs.CL
Discrimination by LLMs: Cross-lingual Bias Assessment and Mitigation in Decision-Making and Summarisation
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究评估了GPT-3.5和GPT-4o在决策与摘要任务中跨语言（英语与荷兰语）的背景、性别及年龄偏见，发现决策任务偏见显著而摘要任务较小，并验证了提示指令策略能有效缓解但无法完全消除偏见。
2025-09-10 cs.CL
XWikiGen: Cross-lingual Summarization for Encyclopedic Text Generation in Low Resource Languages
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
针对低资源语言百科文本生成中参考文献稀缺的问题，提出跨语言多文档摘要任务 XWikiGen 及基准数据集 XWikiRef，构建基于无监督抽取式与生成式模型的两阶段系统，并验证多领域训练优于多语言设置。
2023-04-18 cs.CL
