GlotEval: A Test Suite for Massively Multilingual Evaluation of Large Language Models
University of Helsinki(赫尔辛基大学);Technical University of Darmstadt(达姆施塔特技术大学);University of Munich(慕尼黑大学);Nanjing University(南京大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有评估框架偏重英语和高资源语言的问题,提出轻量级多语言评估框架GlotEval,支持七项任务和数百种语言,实现精准诊断模型在多语言环境中的优劣。
2025-10-08 cs.CL
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(智能信息处理重点实验室,计算技术研究所,中国科学院);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出XBridge架构,利用预训练翻译模型实现多语言理解和生成,同时保留LLM作为英语核心处理通用知识,通过轻量级跨模型映射层和最优传输对齐目标,提升多语言生成性能。
2026-04-16 cs.CL
Echoes from Alexandria: A Large Resource for Multilingual Book Summarization
Sapienza University of Rome(罗马第一大学);Babelscape(Babelscape公司);Free University of Bozen(博尔扎诺自由大学)
本文构建涵盖5种语言、25个语言对的多语言图书摘要资源Echoes及三个数据集,并提出先抽取后抽象基线,证明其更适合整本书摘要。
2023-06-07 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh(爱丁堡大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出PMIndiaSum,一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库,通过微调、提示等方法构建基准,证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
Mark My Words: A Robust Multilingual Model for Punctuation in Text and Speech Transcripts
Nilekani Centre at AI4Bharat(AI4Bharat的Nilekani中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校);Mahindra University, Hyderabad(马恒达大学海得拉巴)
本文提出基于预训练大语言模型的多语言标点恢复模型Cadence,将支持范围扩展到全部22种印度语言及英语,性能超越此前最优模型,并分析了领域偏移和罕见标点等挑战。
2025-06-04 cs.CL
Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs
Texas A&M University(德克萨斯农工大学);University of Maryland, Baltimore(马里兰大学巴尔的摩分校);Hamad Bin Khalifa University(哈马德·本·卡尔法大学)
Halluverse-M^3是一个多语言多任务基准测试,用于评估大型语言模型中的幻觉检测性能,涵盖四种语言和两种生成任务,揭示了不同任务和语言下的幻觉检测挑战。
2026-02-06 cs.AI cs.CL
On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages
University of British Columbia(不列颠哥伦比亚大学);Singapore Management University(新加坡管理大学);JetBrains Research(JetBrains研究院)
Ahmed和Devanbu最近的一项研究报告说,使用多语言数据集编写的代码语料库来微调多语言预训练语言模型(PLM),与使用仅用一种程序设计语言编写的代码语料库相比,可以实现更高的性能。然而,没有进行分析,就微调单语PLM。此外,某些程序设计语言本质上是不同的,并且用一种语言编写的代码通常不能与其它语言互换,即,Ruby和Java代码具有非常不同的结构。为了更好地理解单语和多语言PLM如何影响不同的程序设计语言,我们调查1)在Ruby上的PLM的性能两个流行的软件工程任务:代码摘要和代码搜索,2)策略(选择程序设计语言),以及微调多语言PLM的Ruby,和3)性能的微调PLM在Ruby上给定不同的代码长度。在这项工作中,我们分析了一百多个预先训练和微调的模型。我们的研究结果表明:1)多语言PLM具有较低的性能时间比(BLEU,METEOR,或MRR分数在微调持续时间)相比,单语PLM,2)我们提出的策略,选择目标程序设计语言微调多语言PLM是有效的:它减少了微调的时间,但在代码摘要和代码搜索任务中实现了更高的性能,以及3)我们提出的策略在不同的码长上一致地显示出良好的性能。
2022-04-05 cs.CL cs.PL cs.SE
A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics
Cohere For AI;University of São Paulo(圣保罗大学);Meta
本研究通过控制多语言数据混合,在后训练中考察跨语言迁移动态,发现其受多种设置组合影响,并识别出有效迁移的条件。
2025-04-23 cs.AI cs.CL
SteerEval: Inference-time Interventions Strengthen Multilingual Generalization in Neural Summarization Metrics
MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP、信息与语言处理中心、慕尼黑大学);Language Science and Technology, Saarland University(语言科学与技术、萨尔兰大学)
SteerEval通过在推理时干预激活向英语基准倾斜,提升多语言神经摘要度量的泛化能力。
2026-10-26 cs.CL
Multilingual Sentiment Analysis of Summarized Texts: A Cross-Language Study of Text Shortening Effects
本研究跨语言考察了抽取式与生成式摘要对多语言情感分类的影响,发现抽取式更能保留情感而生成式易致失真,并提出平衡可读性与情感保留的混合摘要方法。
2025-03-31 cs.CL
Hybrid Extractive Abstractive Summarization for Multilingual Sentiment Analysis
Instituto Politécnico Nacional (IPN)(国家理工学院(IPN))
本文提出融合TF-IDF抽取与微调XLM-R生成模块的多语言情感分析方法,借助动态阈值和文化适配,在10种语言上提升准确率与计算效率。
2025-06-07 cs.CL
Building an Efficient Multilingual Non-Profit IR System for the Islamic Domain Leveraging Multiprocessing Design in Rust
rttl labs(rttl实验室)
本文为伊斯兰领域构建多语言非营利信息检索系统,通过持续预训练和语言缩减获得轻量级模型,并利用Rust多进程实现低资源下的高效语义搜索。
2024-11-09 cs.CL
Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts
Swiss Federal Supreme Court(瑞士联邦最高法院);HES-SO Valais-Wallis(HES-SO瓦莱州-瓦利斯高等专业学院)
针对刑事法律场景中大语言模型因安全护栏导致拒绝响应(过度对齐)的问题,提出TF-RefusalBench基准,并评估提示工程与拒绝方向消融(abliteration)等缓解方法。
2026-07-01 cs.AI cs.CL
XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages
Bangladesh University of Engineering Technology (BUET)(孟加拉国工程技术大学(BUET));University of Rochester(罗切斯特大学);Monash University(莫纳什大学);Swinburne University of Technology(斯威本科技大学)
摘要文本摘要的当代工作主要集中在高资源语言,如英语,主要是由于低/中资源的数据集的可用性有限。在这项工作中,我们提出了XL-Sum,一个全面而多样化的数据集,包括来自BBC的100万个专业注释的文章摘要对,使用一组精心设计的语法提取。该数据集涵盖了从低资源到高资源的44种语言,其中许多语言目前没有公共数据集。XL-Sum是高度抽象的,简洁的,高质量的,正如人类和内在的评价所表明的那样。我们使用XL-Sum对mT5进行了微调,这是一种最先进的预训练多语言模型,并在多语言和低资源摘要任务上进行了实验。与使用类似的单语数据集获得的结果相比,XL-Sum诱导了竞争性结果:我们在10种语言上显示出高于11个ROUGE-2分数,其中一些超过了15,如通过多语言训练获得的。此外,单独进行低资源语言的培训也可以提供竞争力。据我们所知,XL-Sum是从单一来源收集的样本数量和覆盖的语言数量方面最大的抽象摘要数据集。我们正在发布我们的数据集和模型,以鼓励未来对多语言摘要的研究。这些资源可在\url{https://github.com/csebuetnlp/xl-sum}上找到。
2021-06-25 cs.CL
Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
针对长时域多轮工具使用中上下文长度瓶颈,提出基于端到端摘要的上下文管理方法SUPO,通过LLM生成摘要压缩历史,实现固定上下文窗口外训练,显著提升成功率并保持或降低上下文长度。
2025-10-08 cs.AI cs.CL cs.LG
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心);University of Alicante (UA)(阿利坎特大学(UA));GOI Institute, Basque Summer University (UEU)(巴斯克夏季大学(UEU)GOI研究所)
该研究针对英语外语言开展摘要元评估,构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型,发现专有评判LLM与人类评判相关性最高,开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Multilingual Large Language Models Are Not (Yet) Code-Switchers
Brown University(布朗大学);HKUST(香港科技大学);Samsung R&D Institute Philippines(三星菲律宾研发研究院);Bloomberg(彭博);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文评估多语言大语言模型在语码转换任务中的表现,发现其零/少样本性能仍不及更小的微调模型,表明当前多语言能力不等于语码转换熟练度。
2023-10-23 cs.AI cs.CL
A Scalable Unsupervised Framework for multi-aspect labeling of Multilingual and Multi-Domain Review Data
Department of Artificial Intelligence, Hanyang University(人工智能学院,翰阳大学);Department of Data Science, Hanyang University(数据科学学院,翰阳大学)
本文提出了一种可扩展的无监督框架,用于多语言和多领域评论数据的多方面标注,通过实验验证了其在大规模数据处理中的有效性与一致性。
2026-01-12 cs.CL
SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出覆盖6种语言、含96K条摘要及六维人工评分的 SEAHORSE 数据集,用于训练和评估摘要指标,并在 TRUE 与 mFACE 上验证其域外性能。
2023-11-01 cs.CL
A Multilingual Study of Compressive Cross-Language Text Summarization
Université d’Avignon et des Pays de Vaucluse(阿维尼翁与沃克吕兹地区大学);École Polytechnique de Montréal(蒙特利尔综合理工学院);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
跨语言文本摘要(CLTS)生成的摘要语言与源文档的语言不同。最近的方法使用来自两种语言的信息来生成具有最多信息的句子的摘要。然而,这些方法的性能可能因语言而异,这可能会降低摘要的质量。在本文中,我们提出了一个压缩框架来生成跨语言摘要。为了分析性能,特别是稳定性,我们在四种语言(英语,法语,葡萄牙语和西班牙语)的数据集上测试了我们的系统和提取基线,以生成英语和法语摘要。自动评估表明,我们的方法优于提取最先进的CLTS方法,对所有语言都有更好,更稳定的ROUGE分数。
2018-10-24 cs.CL
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University(复旦大学)
近年来,深度神经网络在文本摘要中的应用取得了显著的成功。但是,人们对\textit{why}没有明确的认识,他们表现得那么好,或者\textit{how}他们可能会得到改进。在本文中,我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构,可转移知识和学习模式中受益。此外,我们发现了一种有效的方法来改善现有的框架,并实现了国家的最先进的结果CNN/DailyMail的基础上,我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
LoRaLay: A Multilingual and Multimodal Dataset for Long Range and Layout-Aware Summarization
reciTAL(reciTAL公司);Sorbonne Université(索邦大学);Meta AI;University of Trento(特伦托大学)
文本摘要是自然语言处理界的一个热门任务和活跃的研究领域。根据定义,它需要考虑长输入文本,这一特性给神经模型带来了计算挑战。此外,真实世界的文档有各种复杂的、视觉上丰富的布局。这些信息具有很大的相关性,无论是突出显着的内容还是对文本段落之间的长距离交互进行编码。然而,所有公开可用的摘要数据集都只提供纯文本内容。为了便于研究如何利用视觉/布局信息,以更好地捕捉长期的依赖关系,在摘要模型,我们提出了LoRaLay,一组数据集的长期摘要伴随视觉/布局信息。我们扩展了现有的和流行的英语数据集(arXiv和PubMed)的布局信息,并提出了四个新的数据集-始终建立从学者资源-涵盖法语,西班牙语,葡萄牙语和韩语。此外,我们提出了新的基线合并布局感知和远程模型-两个正交的方法-并获得最先进的结果,显示了结合两条研究线的重要性。
2023-01-26 cs.CL
AraHalluEval: A Fine-grained Hallucination Evaluation Framework for Arabic LLMs
Information and Computer Science Department, King Fahd University of Petroleum and Minerals(信息与计算机科学系,国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心)
本文提出AraHalluEval,首个针对阿拉伯语LLM的细粒度幻觉评估框架,在生成式问答和摘要任务上评估12个模型,发现事实性幻觉更普遍,且阿拉伯语模型Allam表现优于多语言模型。
2025-09-09 cs.CL
Effectiveness of French Language Models on Abstractive Dialogue Summarization Task
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
预训练的语言模型已经在各种自然语言处理任务上建立了最先进的技术,包括对话摘要,它允许读者从会议,采访或电话中的长对话中快速访问关键信息。然而,这样的对话仍然难以用当前模型处理,因为语言的自发性涉及很少出现在用于预训练语言模型的语料库中的表达。此外,在这一领域完成的绝大多数工作都集中在英语上。在这项工作中,我们提出了一个研究的摘要自发的口头对话在法国使用几种语言特定的预训练模型:BARThez和BelGPT-2,以及多语种的预训练模型:mBART,mBARThez和mT5。DECODA(呼叫中心)的对话语料库,其任务是从呼叫中心的呼叫者和一个或几个代理之间的对话,根据情况产生抽象的概要进行实验。结果表明,BARThez模型提供了最好的性能远远高于以前的国家的最先进的DECODA。我们进一步讨论了这种预先训练的模型的局限性,以及总结自发对话必须解决的挑战。
2022-07-17 cs.AI cs.CL
The Role of CNL and AMR in Scalable Abstractive Summarization for Multilingual Media Monitoring
University of Latvia, IMCS(拉脱维亚大学数学与计算机科学研究所);LETA(拉脱维亚通讯社)
在大数据和深度学习时代,人们普遍认为机器学习方法是应对鲁棒和可扩展的信息抽取和摘要的唯一方法。最近有人提出,CNL方法可以扩大规模,建立在嵌入式CNL的概念上,从而允许从例如规范或医学文本中基于CNL的信息抽取,这些文本相当受自然控制,但仍然侵犯CNL的边界。虽然可以利用CNL来实现对媒体监控等用例的强大的广泛覆盖语义解析,但它的潜力在相反的方向上变得更加明显:从总结的AMR图中生成故事亮点,这是本立场文件的重点。
2016-06-20 cs.CL
Toward a Safer Web: Multilingual Multi-Agent LLMs for Mitigating Adversarial Misinformation Attacks
New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出一个多语言多智能体大语言模型框架,结合检索增强生成,作为网页插件部署,以缓解跨语言切换、查询膨胀和结构重排等对抗性错误信息攻击,保护在线事实完整性。
2025-10-07 cs.AI cs.CL cs.CR
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
最近的研究表明,BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器,实现了优异的性能。然而,到目前为止,为越南人做的工作并不多。在本文中,我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明,与其他多语种模型和以往的越南语文本摘要模型相比,单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
METAL: Towards Multilingual Meta-Evaluation
Microsoft Corporation(微软公司)
本文提出多语言元评估框架 METAL,构建覆盖 10 种语言的摘要任务母语者判断数据集,并比较 GPT-3.5-Turbo、GPT-4 和 PaLM2 作为评估器的表现,发现 GPT-4 最优且模型推理常与人类不一致。
2024-04-02 cs.CL
Enhancing BiGRU with a KAN Block for Legal Document Classification and Summarization
Dept. of ECE North South University(电子工程系北南大学)
提出一种基于KAN的BiGRU模型,用于低资源多语言法律文档的分类与摘要,通过KAN模块提升分类准确率至67.96%。
2026-05-27 cs.AI cs.CL cs.LG
Preserving What Matters: Semantic Scaffolds Beyond Saturation in Summarization Evaluation
ServiceNow Canada(ServiceNow加拿大)
针对摘要评估中ROUGE和LLM-as-judge评分饱和失效的问题,提出语义脚手架框架,通过层次化提取事实、问题和实体属性并生成三个诊断指标,在传统指标失效时仍能有效区分模型性能。
2026-09-29 cs.AI cs.CL
Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets
Zoom Video Communications(Zoom视频通讯公司)
针对多语言指令微调数据缺乏自然性与多样性的问题,提出结合英语中心 LLM、单语语料和评分函数构建数据集的方法,显著提升非英语生成与判别任务性能。
2024-07-01 cs.AI cs.CL cs.LG
VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席项目)
本研究针对长文档摘要与多语言语音翻译的研究缺口,提出联合语音摘要与翻译任务,构建首个多语言跨语言基准VoxSumm,并评估相关模型表现,为多语言语音处理系统提供支撑。
2026-08-12 cs.CL cs.SD
PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering
该研究针对WMT 2026多语言指令共享任务,基于Tiny Aya Global模型构建三个QLoRA适配器,分别适配摘要、段落问答、独立问答任务,对比验证了不同适配器的性能并提交含不同开放问答适配器的系统。
2026-08-24 cs.AI cs.CL cs.LG
Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(国立理工学院(IPN),计算研究中心(CIC))
研究RLHF摘要中的情感漂移现象,提出基于策略归因框架的情感感知KL正则化方法,在保持摘要质量的同时缓解情感中性化。
2026-06-08 cs.CL
Summarizing Indian Languages using Multilingual Transformers based Models
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
随着mBART、mT5、IndiBART等多语言模型的出现,低资源印度语言的摘要现在得到了很多关注。但数据集的数量仍然很少。在这项工作中,我们(HakunaMatata团队)研究了这些多语言模型如何在以印度语言作为源和目标文本的数据集上执行摘要。我们使用IndicBART和mT5模型进行实验,并报告ROUGE-1、ROUGE-2、ROUGE-3和ROUGE-4评分作为性能指标。
2023-03-29 cs.CL
Abstractive Summarization of Low resourced Nepali language using Multilingual Transformers
Tribhuvan University(特里布万大学);Institute of Engineering, Pulchowk Campus(工程学院普尔乔克校区)
本研究针对低资源尼泊尔语抽象式摘要任务,构建新闻摘要数据集并微调mBART和mT5多语言Transformer模型,实验表明4位量化mBART结合LoRA在ROUGE和人工评估中表现最优。
2024-09-29 cs.AI cs.CL
COSMMIC: Comment-Sensitive Multimodal Multilingual Indian Corpus for Summarization and Headline Generation
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India(印度理工学院帕纳分校计算机科学与工程系);Department of Metallurgical and Materials Engineering, National Institute of Technology Tiruchirappalli, India(印度理工学院 Tiruchirappalli 金属与材料工程系);Department of Computer Science and Information Systems, BITS Pilani – Goa Campus, India(比斯·帕尼学院 Goa 分校计算机科学与信息系统系);Department of Computer Science and Engineering, Indian Institute of Information Technology Vadodara, India(印度信息科技学院瓦达拉分校计算机科学与工程系);Department of Computer Science and Engineering, B.M.S. College of Engineering, Bangalore, India(班加罗尔 B.M.S. 工程学院计算机科学与工程系);Université de Toulouse, IRIT UMR 5505 CNRS, France(图卢兹大学 IRIT UMR 5505 CNRS 实验室)
本研究构建评论敏感的多模态多语言数据集COSMMIC,涵盖九种印度语言,整合文本、图像和用户评论,利用LLama3和GPT-4等模型探索最优摘要与标题生成配置,填补印度语言资源空白。
2025-06-18 cs.CL
A Multilingual, Culture-First Approach to Addressing Misgendering in LLM Applications
Microsoft Research India(微软印度研究院);The University of York(约克大学);Microsoft(微软)
针对多语言场景下大语言模型应用的性别错称问题,采用参与式设计开发跨42种语言的防护机制,经人在环路的会议摘要场景验证可有效降错称率且保质量,同时发布相关数据集与评估结果以促研究。
2025-05-21 cs.AI cs.CL
Sequence to sequence pretraining for a less-resourced Slovenian language
University of Ljubljana(卢布尔雅那大学)
大型预训练语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩蔽语言建模的替代方案,T5模型引入了更一般的训练目标,即序列到序列转换,其包括掩蔽语言模型,但更自然地适合文本生成任务,例如机器翻译、摘要、问答、文本简化、对话系统、T5模型的单语变体仅限于资源丰富的语言,而大规模多语言T5模型支持101种语言。相比之下,我们训练了两个不同大小的T5类型序列到序列模型,用于形态丰富的斯洛文尼亚语,资源少得多,并分析了它们在11个任务上的行为。关于分类任务,SloT5模型大多落后于单语斯洛文尼亚语SloBERTA模型,但对于生成任务很有用。
2023-01-02 cs.CL
ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages
Baidu(百度)
发布支持116种自然语言和6种编程语言的统一预训练模型ERNIE-Code,采用span-corruption和基于枢轴的翻译语言建模方法,在代码智能任务及零样本提示中表现优越。
2023-05-19 cs.CL cs.LG cs.PL
LR-Sum: Summarization for Less-Resourced Languages
Mitchom School of Computer Science(米彻姆计算机科学学院);Brandeis University(布兰迪斯大学)
本文介绍LR-Sum数据集,覆盖40种资源较少语言的人工摘要,基于公共领域新闻语料构建并以CC BY 4.0开放许可发布,旨在促进低资源语言自动摘要研究。
2023-10-26 cs.CL
Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
Qatar Computing Research Institute, HBKU, Qatar(卡塔尔哈马德·本·哈利法大学卡塔尔计算研究所);UPES, India(印度UPES大学)
本文提出OmniScore,一种基于小参数模型的确定性度量,用于多语言生成文本评估,提供低延迟和一致性的评分方法,通过大规模合成监督训练,验证了其在问答、翻译和总结任务中的有效性。
2026-04-06 cs.AI cs.CL cs.LG
Evaluating the Efficacy of Summarization Evaluation across Languages
The University of Melbourne(墨尔本大学)
虽然为英语开发的自动摘要评估方法通常应用于其他语言,但这是首次尝试系统地量化其泛语言功效。我们采用八种不同语言的摘要语料库,并手动注释生成的摘要,以获得焦点(精确度)和覆盖率(召回率)。在此基础上,我们评估了19个摘要评估指标,发现在BERTScore中使用多语言BERT在所有语言中表现良好,高于英语。
2021-06-02 cs.CL
MILDSum: A Novel Benchmark Dataset for Multilingual Summarization of Indian Legal Case Judgments
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文提出首个面向印度法律判决的跨语言摘要基准数据集MILDSum,包含3,122份英语判决及英印双语摘要,并评测多种方法以推动法律领域跨语言摘要研究。
2023-10-28 cs.AI cs.CL
How Much Do LLMs Hallucinate across Languages? On Realistic Multilingual Estimation of LLM Hallucination
WüNLP, CAIDAS, University of Würzburg(乌尔姆大学);Data Science Group, University of Hamburg(汉堡大学)
研究评估了多语言LLM在长形式问答中的幻觉程度,发现高资源语言中幻觉率与语言规模无关,且支持更多语言的LLM幻觉率更高。
2026-02-02 cs.AI cs.CL
LexLattice: Multilingual Extractive Summarization via Neural Cellular Automata on Document Hierarchies
The University of Winnipeg(温尼伯大学)
LexLattice通过二维神经细胞自动机整合法律文档层次结构,以1.8M参数实现多语言抽取式摘要的最先进ROUGE,并跨语言近无损迁移。
2026-09-24 cs.CL cs.LG cs.NE
The Vault: A Comprehensive Multilingual Dataset for Advancing Code Understanding and Generation
FPT Software AI Center(FPT软件人工智能中心);Hanoi University of Science and Technology(河内科技大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Fulbright University(富布赖特大学)
本文提出多语言代码-文本数据集 The Vault,包含 4300 万高质量样本,通过规则与深度学习方法提取构建,实验表明在其上微调的代码大模型在代码生成、搜索和摘要任务上优于 CodeSearchNet 等数据集训练结果。
2023-10-30 cs.AI cs.CL cs.PL
Beyond N-Grams: Rethinking Evaluation Metrics and Strategies for Multilingual Abstractive Summarization
Bar-Ilan University(巴伊兰大学)
本文系统评估了多语言生成式摘要任务中基于 n-gram 和神经网络的评估指标,发现 n-gram 指标在屈折语中与人工判断相关性较低,而适当的分词和专为评估训练的神经指标(如 COMET)能显著提升低资源语言下的评估效果。
2025-07-11 cs.CL
A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity
Centre for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
本文基于23个数据集和自建多模态数据集,系统评估ChatGPT的多任务、多语言、多模态能力,发现其在多数任务上优于零样本大语言模型,但推理可靠性不足且存在幻觉问题,同时验证了多轮提示工程可借助人类协作提升模型性能。
2023-11-28 cs.AI cs.CL
Evaluating the Limits of Large Language Models in Multilingual Legal Reasoning
Delft University of Technology(代尔夫特理工大学);University of Zurich(苏黎世大学)
本文通过多语言法律基准与字符、词级对抗扰动评估 LLaMA 和 Gemini,并发布开源模块化评测流程,揭示法律推理准确率低、跨语言脆弱及模型间显著差距。
2025-09-26 cs.AI cs.CL cs.LG
Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning
SCB DataX;Tsinghua University(清华大学);SCBX
提出无需微调的语言混淆减少方法,通过语言感知令牌增强(LATB)和自适应版本(Adaptive-LATB)对目标语言令牌施加扰动,有效提升多语言对齐并保持摘要质量。
2026-06-08 cs.CL
Low-Rank Adaptation for Multilingual Summarization: An Empirical Study
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文实证研究低秩适配(LoRA)在多语言摘要中的效果,发现其在低数据场景和跨语言迁移中优于全量微调,且持续 LoRA 调优在少样本跨语言迁移中表现最佳。
2024-03-31 cs.AI cs.CL cs.LG
German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
针对德语新闻摘要幻觉检测缺乏数据的问题,构建了人工标注的absinth数据集,并评估了开源LLM在微调和上下文学习下的性能,开源数据集以推动研究。
2024-03-14 cs.AI cs.CL
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
本文比较了不同方法在资源较少语言中自动摘要的效果,发现多语言微调的mT5基线表现最佳,而LLM作为评判者在资源较少语言上可靠性较低。
2025-12-30 cs.AI cs.CL