TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation
FLAIR, University of Oxford（牛津大学FLAIR）；Cohere；Centre for AI, University College London（伦敦大学学院AI中心）
本文提出 TICK 协议，利用 LLM 生成的指令专属检查清单实现可解释评估，显著提升 LLM 判断与人类偏好的一致性，并通过 STICK 自我精炼和 Best-of-N 选择在多个基准上改进生成质量。
2024-10-04 cs.AI cs.CL cs.HC
ExpertLongBench: Benchmarking Language Models on Expert-Level Long-Form Generation Tasks with Structured Checklists
Computer Science and Engineering, University of Michigan（计算机科学与工程系，密歇根大学）；University of Michigan Law School（密歇根大学法学院）；School of Information, University of Michigan（信息学院，密歇根大学）；Materials Science & Engineering, University of Michigan（材料科学与工程系，密歇根大学）；Department of Chemistry, Carnegie Mellon University（化学系，卡内基梅隆大学）；Biomedical Engineering, University of Michigan（生物医学工程系，密歇根大学）
本文提出专家级长文本生成基准ExpertLongBench及评估框架CLEAR，通过结构化检查清单实现细粒度评估，发现现有最强模型Gemini-2.5-Pro仅获33.4 F1，表明该任务仍具挑战。
2025-10-07 cs.CL
NLG Evaluation Metrics Beyond Correlation Analysis: An Empirical Metric Preference Checklist
Eindhoven University of Technology（埃因霍温理工大学）；University of Liverpool（利物浦大学）；BRIN Indonesia（印度尼西亚国家研究创新署）
本文提出指标偏好清单框架，用于在文本摘要、对话回复生成和受控生成任务中检验自动评估指标对人类偏好的忠实度及系统级性能辨别能力，发现自动指标在部分任务中优于人类指导，且多维度人类对齐指标并不必然占优。
2023-05-26 cs.CL
Is Multilingual BERT Fluent in Language Generation?
University of Turku（图尔库大学）
多语言BERT模型在104种语言上进行训练，旨在作为一种通用的语言模型和句子编码工具。我们探讨如何以及该模型在几种语言上执行几个任务：一个诊断分类探测嵌入一个特定的句法属性，完形填空任务测试的语言建模能力，以填补句子中的空白，和一个自然语言生成任务测试的能力，以产生连贯的文本拟合给定的上下文。我们发现，目前可用的多语言BERT模型显然不如单语同行，在许多情况下，不能作为一个训练有素的单语模型的替代品。我们发现，英语和德语模型表现良好的一代，而多语言模型是缺乏，特别是北欧语言。
2019-10-09 cs.CL cs.LG
Check-Eval: A Checklist-based Approach for Evaluating Text Quality
Universidade Federal do Cariri (UFCA)（卡里里联邦大学）；Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学）；National Center for State Courts (NCSC)（国家州法院中心）
本文提出基于检查表的 Check-Eval 框架，利用 LLM 分两阶段进行无参考或有参考文本质量评估，并在两个基准上验证其优于现有指标。
2024-09-10 cs.AI cs.CL
Automated Generation of Multilingual Clusters for the Evaluation of Distributed Representations
Basis Technology（基础技术公司）
我们提出了一种语言无关的方式，自动生成一组语义相似的集群的实体与集的“离群”元素，然后可以用来执行一个内在的评价词嵌入中的离群检测任务。我们使用我们的方法创建了一个黄金标准数据集，我们称之为WikiSem500，并评估了多个最先进的嵌入。结果显示了该数据集上的性能与情感分析上的性能之间的相关性。
2017-04-05 cs.CL cs.LG
PolyPrompt: Automating Knowledge Extraction from Multilingual Language Models with Dynamic Prompt Generation
Stanford University（斯坦福大学）
PolyPrompt 通过基于梯度的动态触发词元生成，以参数高效方式提升大模型多语言能力，在 15 种语言的 MMLU 上较基线提升 3.7%-19.9%。
2025-06-02 cs.CL cs.LG
EUROPA: A Legal Multilingual Keyphrase Generation Dataset
Université de Montréal（蒙特利尔大学）；RALI；DIRO
本文构建了源自欧盟法院判决书、覆盖24种欧盟官方语言的法律多语言关键词生成数据集 EUROPA，并通过多语言模型实验表明该领域任务仍具提升空间。
2024-06-14 cs.AI cs.CL cs.LG
MTG: A Benchmark Suite for Multilingual Text Generation
ByteDance AI Lab（字节跳动人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们介绍MTG，一个新的基准套件，用于训练和评估多语言文本生成。它是第一个提出的多语言多路文本生成数据集，具有最大的人类注释数据（400k）。它包括五种语言（英语，德语，法语，西班牙语和中文）的四个生成任务（故事生成，问题生成，标题生成和文本摘要）。多路设置可以跨语言和任务测试模型的知识转移能力。利用MTG对几种流行的多语言生成模型进行了不同角度的训练和分析。我们的基准测试套件通过更多人工注释的并行数据来增强模型性能。它提供了全面的评估与不同的发电方案。代码和数据可在\url{https://github.com/zide05/MTG}上获得。
2022-06-10 cs.CL
Guess who? Multilingual approach for the automated generation of author-stylized poetry
Yandex（Yandex公司）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）
本文讨论的问题，风格化的文本生成在多语言设置。基于具有扩展语音和语义嵌入的长短期记忆（LSTM）人工神经网络的语言模型的版本用于风格化诗歌生成。通过双语评估替补研究（BLEU），一项调查和一个新的交叉熵为基础的度量，这是建议这种类型的问题，由此产生的网络生成的诗歌的质量估计。实验表明，该模型始终优于随机样本和vanilla-LSTM基线，人类也倾向于将机器生成的文本与目标作者相关联。
2018-09-17 cs.AI cs.CL cs.LG
Multilingual AMR-to-Text Generation
FAIR（Facebook人工智能研究院）；LORIA（洛林计算机科学及其应用研究实验室）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）
从结构化数据生成文本具有挑战性，因为它需要弥合（i）结构和自然语言（NL）以及（ii）语义欠指定的输入和完全指定的NL输出之间的差距。多语言生成带来了额外的挑战：生成具有不同词序和形态属性的语言。在这项工作中，我们专注于抽象意义表征（AMR）作为结构化输入，以前的研究绝大多数集中在生成只到英语。我们利用跨语言嵌入、预训练和多语言模型方面的进步，创建了多语言AMR到文本模型，这些模型可以用21种不同的语言生成。对于18种语言，基于自动度量，我们的多语言模型超过了生成单一语言的基线。我们分析了我们的多语言模型使用人类评估准确捕捉形态和词序的能力，发现母语者判断我们这一代人流利。
2020-11-10 cs.CL
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.（亚马逊公司）；Salesforce Research（赛富时研究院）；University of Pittsburgh（匹兹堡大学）；Chinese University of Hong Kong（香港中文大学）
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展，但尚未得到广泛的研究。在本文中，我们提请注意一个新的设置名为多语言关键词生成，我们贡献了两个新的数据集，EscherceMKP和AcademicMKP，涵盖六种语言。在技术上，我们提出了一种检索增强的方法，用于多语言的关键词生成，以减轻数据短缺的问题，在非英语语言。检索增强模型利用英语数据集中的关键短语注释，以促进在低资源语言中生成关键短语。给定非英语段落，跨语言密集段落检索模块找到相关的英语段落。然后，相关联的英语关键词作为外部知识的关键词生成在当前语言。此外，我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对，以加强跨语言通道检索器。综合实验和烧蚀表明，所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
Challenges and Recommendations for LLM-as-a-Judge in Multilingual Settings and for Low-Resource Languages
LT3, IDLab, Universiteit Gent, Barcelona Supercomputing Center, LMU Munich & Munich Center for Machine Learning, German Center for Addiction Research in Childhood and Adolescence, University Medical Center Hamburg-Eppendorf, Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair（LT3、IDLab、根特大学、巴塞罗那超级计算中心、慕尼黑莱茵河大学及慕尼黑机器学习中心、德国成年期成瘾研究中心、汉堡埃彭多夫大学医学中心、魁北克人工智能研究所、麦吉尔大学、加拿大 CIFAR 人工智能主席）
本文分析ACL论文中LLM-as-a-Judge在多语言和低资源语言评估中的应用，发现仅有33篇相关论文，存在评估结果不一致、过度信任LLM判断及依赖单一模型等问题，并提出改进建议。
2026-09-09 cs.AI cs.CL
A Dataset and Baselines for Multilingual Reply Suggestion
University of Maryland（马里兰大学）；Qualtrics（Qualtrics公司）；Microsoft AI（微软人工智能）；Microsoft Research（微软研究院）
回复建议模型帮助用户更快地处理电子邮件和聊天。以前的工作只学习英语回复建议。相反，我们提出了MRS，一个包含十种语言的多语言回复建议数据集。MRS可用于比较两类模型：1）从固定集合中选择回复的检索模型，以及2）从头开始生成回复的生成模型。因此，MRS补充了现有的跨语言泛化基准，专注于分类和序列标记任务。我们建立了一个生成模型和检索模型作为MRS的基线。这两个模型在单语环境中具有不同的优势，并且它们需要不同的策略来概括跨语言。MRS可在https://github.com/zhangmozhi/mrs上公开获取。
2021-06-03 cs.CL cs.LG
SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Cambridge（剑桥大学）
提出SYNTHEVAL混合行为测试框架，利用LLM生成测试类型并识别挑战性例子，结合人工模板设计，有效评估NLP模型在情感分析和有毒语言检测中的弱点。
2024-11-07 cs.CL
DuoLens: A Framework for Robust Detection of Machine-Generated Multilingual Text and Code
针对现有机器生成内容检测器准确性与计算效率难以兼顾的问题，提出DuoLens框架，通过微调仅编码器结构的小语言模型实现多语言文本与代码的鲁棒检测，性能大幅优于大语言模型且计算成本显著更低。
2025-10-21 cs.AI cs.CL cs.IR
Towards Zero-Shot Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension
Google Research（谷歌研究院）
我们提出了一个简单的方法，通过使用一个单一的生成模型生成大规模的多语言问题和答案对。这些合成样本可用于提高多语言QA模型在目标语言上的zero-shot性能。我们提出的生成模型的多任务训练只需要英语中的标记训练样本，因此不需要目标语言中的此类样本，使其适用于比标记数据更多的语言。人工评估表明，大多数这样的样本在语法上是正确和合理的。实验结果表明，我们提出的方法可以在XQuAD数据集上实现很大的增益，减少各种语言上较小QA模型的zero-shot和监督性能之间的差距。
2021-05-28 cs.AI cs.CL cs.LG
Test-Time Scaling with Repeated Sampling Improves Multilingual Text Generation
Kahlert School of Computing University of Utah（卡勒特计算学院犹他大学）
本研究在Aya Evaluation Suite和m-ArenaHard基准上评估重复采样方法，发现其能显著提升多语言文本生成质量（部分增益超35%），并指出基于奖励的验证器对推理任务至关重要。
2025-05-28 cs.CL
Smelting Gold and Silver for Improved Multilingual AMR-to-Text Generation
Technical University of Darmstadt（达姆施塔特工业大学）；Westlake University（西湖大学）
最近关于多语言AMR到文本生成的工作完全集中在利用银AMR的数据增强策略上。然而，这假设生成的AMR的高质量，潜在地限制了到目标任务的可转移性。在本文中，我们研究了自动生成AMR注释的不同技术，我们的目标是研究哪种信息源可以产生更好的多语言结果。我们的模型在金AMR上训练，银（机器翻译）句子优于利用生成的银AMR的方法。我们发现，结合这两个互补的信息来源，进一步提高了多语言AMR到文本生成。我们的模型超过了德国，意大利，西班牙和中国的艺术水平。
2021-09-08 cs.CL
MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages
Nanjing University（南京大学）；Saarland University（萨尔大学）
由于缺乏低资源语言的语料库，目前的对话生成工作主要集中在英语。在本文中，我们提出了mDIA，第一个大规模的多语言对话生成基准跨越低到高资源的语言。它涵盖了19个语系的46种语言的真实对话。我们通过微调多语言，非对话重点的预训练模型mT5以及以英语为中心，以对话为重点的预训练聊天机器人DialoGPT获得了基线结果。结果表明，基于mT5的模型在sacreBLEU和BertScore上表现更好，但在多样性上表现较差。尽管在Few-Shot和zero-shot场景中发现了有希望的结果，但是英语和其他语言的生成质量之间存在很大的差距。我们希望mDIA的发布能够鼓励更多关于多语言对话生成的工作，以促进语言多样性。
2022-08-27 cs.CL
MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
Northeastern University（东北大学）
在zero-shot场景中构建对话生成系统仍然是一个巨大的挑战，因为对话生成中的典型zero-shot方法严重依赖于大规模预训练的语言生成模型，例如GPT-3和T5。由于缺乏相应的平行对话语料库，使得在没有繁琐语言模型的情况下实现zero-shot对话生成的研究受到限制。在本文中，我们提出了一个简单但有效的多语言学习框架Zero-shot对话生成（称为MulZDG），可以有效地将知识从大规模训练样本的英语语料库转移到零样本的非英语语料库。此外，MulZDG可以被看作是一种多语言数据增强方法，以提高资源丰富的语言的性能。首先，我们从单语英语语料库中随机抽取翻译话语，构建多语言语码转换对话数据集。然后利用MulZDG对语码转换数据集进行训练，得到一个统一的多语言对话模型。MulZDG可以在不同语言之间进行隐式语义对齐。在DailyDialog和DSTC 7数据集上的实验结果表明，MulZDG不仅在zero-shot情况下取得了较好的性能，而且大大提高了源语言的性能。
2022-08-18 cs.CL
The Challenge of Achieving Attributability in Multilingual Table-to-Text Generation with Question-Answer Blueprints
The University of Edinburgh（爱丁堡大学）
本文扩展含QA蓝图的多语言TaTA数据集并微调序列到序列模型，发现蓝图仅改善英文设置，未能提升多语言表格到文本生成的可归因性。
2025-03-29 cs.AI cs.CL cs.LG
Text Generation Models for Luxembourgish with Limited Data: A Balanced Multilingual Strategy
University of Luxembourg（卢森堡大学）；Lancaster University（兰卡斯特大学）
本文针对卢森堡语数据稀缺问题，提出基于T5架构并结合等量德语和法语数据的平衡多语言文本生成模型，并引入首个卢森堡语文本生成基准LuxGen进行评估。
2024-12-20 cs.CL
Improving Multilingual Models with Language-Clustered Vocabularies
Google Research（谷歌研究）
最先进的多语言模型依赖于覆盖模型在推理时期望看到的所有语言的词汇表，但是生成这些词汇表的标准方法对于大规模多语言应用程序来说并不理想。在这项工作中，我们介绍了一种新的多语言词汇生成程序，结合了几个自动派生的语言集群单独训练的词汇，从而平衡跨语言的子词共享和语言特定的词汇之间的权衡。我们的实验表明，在关键的多语言基准任务TyDi QA（+2.9 F1），XNLI（+2.1\%）和WikiAnn NER（+2.8 F1）上，不同语言的改进以及词汇表外率的8倍减少，所有这些都没有增加模型或数据的大小。
2020-10-24 cs.CL cs.LG
The Language-Energy Divide: Measuring Energy Costs of Multilingual LLM Inference
University of Michigan（密歇根大学）；University of Cambridge（剑桥大学）；University of Aberdeen（阿伯丁大学）
系统研究多语言LLM推理的能量消耗，发现不同语言间每token能耗差异达8.3倍，总能耗差异达179倍，低资源语言能耗高且准确率低，建议将能量作为评估指标。
2026-09-15 cs.AI cs.CL
Controlled Natural Language Generation from a Multilingual FrameNet-based Grammar
Språkbanken, University of Gothenburg（哥德堡大学语言库）；Department of Computer Science and Engineering, University of Gothenburg（哥德堡大学计算机科学与工程系）
本文介绍了一个目前双语，但潜在的多语种的语法库实现语法框架。本文的贡献是双重的。首先，它提供了一种方法论的方法来自动生成语法的基础上提取的语义句法配价模式从FrameNet标注语料库。其次，它提供了两个用例的概念证明，说明如何收购多语言语法可以在不同的CNL应用程序中的艺术和旅游领域的开发。
2014-06-10 cs.CL
Target-Language Generation in Multilingual Models: Activation Steering and Optimal Control
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对多语言模型目标语言生成问题，提出最优控制方法，在语言遵从性、连贯性上优于或持平均值差激活引导，且超参数调整更少。
2026-09-16 cs.CL
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
Apple（苹果公司）；Hasso Plattner Institute & ELLIS Unit Potsdam（霍普夫研究所与波茨坦ELLIS单元）
Multilingual Reasoning Gym通过多语言程序化生成可验证推理问题，支持跨语言大规模数据生成和强化学习研究。
2026-03-11 cs.CL
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You
TU Darmstadt（图宾根大学）；Ontocord（Ontocord公司）；Technical University of Munich (TUM)（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；CERTAIN（CERTAIN公司）；DFKI（德意志联邦防务研究院）；Charles University Prague（布拉格查理大学）；Centre for Cognitive Science, Darmstadt（达姆施塔特认知科学中心）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出多语言性别偏见基准MAGBIG，发现多语言文本到图像模型不仅存在显著的性别刻板印象，且不同语言间表现差异显著，而提示工程策略缓解偏见效果有限并损害文本对齐。
2025-06-02 cs.CL cs.CY cs.LG
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi（SBILab，印度理工学院信息技术研究所德里）
MORPHOGEN通过构建三门语法有性语言的合成数据集，评估15种多语言大模型在性别意识形态生成任务中的表现，揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Language Drift in Multilingual Retrieval-Augmented Generation: Characterization and Decoding-Time Mitigation
本文针对多语言RAG中因检索证据与查询语言不一致引发的语言漂移问题，剖析其解码器层面的成因，提出无需训练的轻量SCD解码策略，可有效提升多语言场景下的语言对齐度与任务性能。
2025-11-13 cs.CL
DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders
Microsoft Corporation（微软公司）
虽然预训练编码器在各种自然语言理解（NLU）任务中取得了成功，但这些预训练编码器和自然语言生成（NLG）之间存在差距。NLG任务通常基于编码器-解码器框架，其中预训练的编码器只能受益于其中的一部分。为了缩小这一差距，我们引入了DeltaLM，一种预训练的多语言编码器-解码器模型，将解码器视为现成的预训练编码器的任务层。具体来说，我们用解码器增强预训练的多语言编码器，并以自我监督的方式对其进行预训练。为了充分利用大规模单语数据和双语数据，我们采用跨度腐败和翻译跨度腐败作为预训练任务。实验表明，DeltaLM在自然语言生成和翻译任务（包括机器翻译、抽象文本摘要、数据到文本和问题生成）上的表现优于各种强基线。代码和预训练模型可在\url{https://aka.ms/deltalm}上获得。
2021-08-18 cs.CL
Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation
Tongyi Lab（通义实验室）
该研究构建了含八种语言平行文本的Futurepedia基准，评估六个多语言RALM发现语言不平等现象，并针对单语提取、跨语言迁移、多语言选择三方面提出改进建议，为多语言检索增强生成研究提供洞见。
2024-10-29 cs.CL
Investigating Language Preference of Multilingual RAG Systems
Department of Artificial Intelligence, Chung-Ang University, Seoul, Korea（人工智能系， Chung-Ang 大学）
本文系统调查了多语言RAG系统在检索和生成中的语言偏好问题，发现检索器和生成器分别偏向高资源语言和查询语言或拉丁文字导致输出不一致，并提出DKM-RAG框架融合翻译段落与模型知识以缓解该偏好并提升性能。
2025-06-01 cs.CL
Multi-FAct: Assessing Factuality of Multilingual LLMs using FActScore
School of Computing（计算机学院）；KAIST（韩国科学技术院）
本文提出 Multi-FAct 流程，将 FActScore 扩展到多语言场景，评估多语言大语言模型在区域多样性主题长文本生成中的事实性，并给出基于非英语维基百科的评估指南。
2024-10-03 cs.CL
Extrapolating Multilingual Understanding Models as Multilingual Generators
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出语义引导的对齐后去噪（SGA）方法，将多语言理解模型XLM-R适配为生成器，在机器翻译、问题生成和故事生成任务上显著优于初始化方法，但在监督设置下仍不及mBART。
2023-05-22 cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
The Translation Barrier Hypothesis: Multilingual Generation with Large Language Models Suffers from Implicit Translation Failure
Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学，语言与语音处理中心）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
该研究提出翻译障碍假说，发现大语言模型多语言生成存在隐性“任务求解→翻译”流水线，翻译阶段失败是中低资源语言生成质量差的主要原因，为改进LLM多语言能力指明了瓶颈方向。
2025-10-20 cs.CL
Purdah and Patriarchy: Evaluating and Mitigating South Asian Biases in Open-Ended Multilingual LLM Generations
George Mason University（乔治·马歇尔大学）
本研究针对南亚多语种LLM评估中文化交叉偏见被忽略的问题，构建涵盖多维度的文化偏见词典，分析10种南亚语言生成内容中的父权制相关偏见，并验证两种自我去偏见策略的效果，拓展了文化偏见研究的视角与范围。
2026-05-06 cs.CL
Multilingual Hate Speech Detection and Counterspeech Generation: A Comprehensive Survey and Practical Guide
Bilkent University（比尔肯特大学）；Missouri University of Science and Technology（密苏里科技大学）
本文综述并指导多语言仇恨言论检测与反仇恨言论生成，分析单语言系统在非英语和混合语言环境中的不足，提出三阶段框架，整合最新NLP进展，强调数据稀缺、公平性与多模态解决方案。
2026-03-01 cs.CL
Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）
针对非英语提示下 LLM 代码生成质量不均的问题，提出结合 LASER 与神经投影的零样本跨语言迁移方法，仅用英语训练即可提升多语言代码生成质量。
2025-05-09 cs.CL
Measuring Semantic Abstraction of Multilingual NMT with Paraphrase Recognition and Generation Tasks
Department of Digital Humanities / HELDIG（数字人文系 / HELDIG）；University of Helsinki（赫尔辛基大学）
在本文中，我们研究了多语言神经翻译模型是否比双语模型学习更强的句子语义抽象。我们通过测量这些模型在应用于源语言的释义时的困惑度来测试这一假设。直觉是，如果解码器能够识别同一语言中的同义句，即使模型从未受过训练，编码器也会产生更好的表示。在我们的设置中，我们将16种不同的辅助语言添加到双向双语基线模型（英语-法语）中，并使用英语的域内和域外释义对其进行测试。结果表明，在每一种情况下，困惑都显着减少，这表明意义可以在翻译中扎根。这是进一步支持的释义生成的研究，我们也包括在论文的最后。
2019-05-03 cs.CL
CODEOFCONDUCT at Multilingual Counterspeech Generation: A Context-Aware Model for Robust Counterspeech Generation in Low-Resource Languages
University of Florida（佛罗里达大学）
本文提出上下文感知的鲁棒多语言反驳言论生成模型，利用多语言数据微调的模拟退火算法，在 MCG-COLING-2025 中于四种语言取得领先排名。
2025-01-04 cs.CL
Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation
University of Groningen（格罗宁根大学）
本文提出基于话语表示结构的多语言预训练语言-意义模型，将意义表示纳入预训练并缩小预训练与微调目标差距，在多语言DRS解析与生成任务上取得最佳性能。
2023-05-31 cs.CL
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
University of Konstanz（康斯坦茨大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Monash University Malaysia（莫纳什大学马来西亚校区）；Dalhousie University（达尔豪斯大学）
本研究通过生成93个乌尔都语故事并人工标注错误，发现多语言LLMs在低资源语言中存在基本语法语义错误、缺乏连贯性及文化浅薄等问题，且少样本提示无法解决文化错误。
2026-09-11 cs.AI cs.CL cs.LG
EvoIdeator: Evolving Scientific Ideas through Checklist-Grounded Reinforcement Learning
Huawei Technologies Co., Ltd.（华为技术有限公司）；Vrije Universiteit Amsterdam（荷兰瓦赫宁根大学）
本文提出EvoIdeator框架，通过基于检查表的反馈与强化学习结合，提升大语言模型生成高质量科研提案的能力，实验表明其在关键科学指标上优于其他模型。
2026-03-23 cs.AI cs.CL
mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation
George Mason University（乔治梅森大学）
针对现有代码生成基准语言覆盖范围有限、低资源语言提示代码生成研究不足的问题，本文提出支持200多种自然语言提示的多语言基准mHumanEval，并分析了SOTA代码大模型的跨语言代码生成能力。
2025-01-26 cs.CL
Language-Coupled Reinforcement Learning for Multilingual Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学）；University of Montreal（蒙特利尔大学）；Tsinghua University（清华大学）；University of Notre Dame（Notre Dame 大学）
本文提出LcRL框架，通过语言耦合组相对策略优化减少知识偏差和冲突，提升多语言检索增强生成的性能，适用于受限训练数据和多语言大规模集合的场景。
2026-07-28 cs.CL
XProvence: Zero-Cost Multilingual Context Pruning for Retrieval-Augmented Generation
KAUST（卡塔尔科技大学）；NAVER LABS Europe（NAVER欧洲实验室）
XProvence通过零成本多语言上下文修剪技术，在多种语言中实现检索增强生成的高效性能提升。
2026-01-26 cs.CL cs.IR
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学语言与语音处理中心）
针对现有基准语言覆盖不足且侧重高阶任务的问题，提出ChiKhaPo基准，包含8个子任务，覆盖2700+种语言，评估LLM的词汇理解与生成能力，发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
Zero-Shot Paraphrase Generation with Multilingual Language Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Consumer Business Group（华为消费者业务集团）
由于高质量的释义语料库规模有限，利用多语言平行文本自动生成释义受到了广泛关注。往返翻译，也称为旋转方法，是实现这一目标的典型方法。然而，我们注意到旋转过程涉及多个机器翻译模型，并且在两步翻译期间可能会引起语义漂移。受基于transformer语言模型的启发，本文提出了一种简单统一的释义模型，该模型纯粹基于多语言并行数据进行训练，能够一步完成zero-shot释义生成。与主元方法相比，该模型生成的释义在语义上更接近于输入句子。此外，由于我们的模型与GPT共享相同的架构（Radford等人，2018），我们能够在大规模非平行语料库上预训练模型，这进一步提高了输出句子的流畅性。此外，我们引入了去噪自动编码器（DAE）的机制，以提高模型的多样性和鲁棒性。实验结果表明，我们的模型优于旋转方法的相关性，多样性，流畅性和效率。
2019-11-09 cs.CL
Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task
本文研究多语言检索增强生成在开放域问答中的有效性，提出tRAG和MultiRAG方法，发现tRAG覆盖有限，MultiRAG效率高但存在不一致，CrossRAG通过翻译文档到共同语言提升性能。
2025-10-03 cs.AI cs.CL
HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization
University of Copenhagen（哥本哈根大学）；Baidu Inc.（百度公司）
本文提出了HumanEval-XL，一个连接23种自然语言和12种编程语言的大规模多语言代码生成基准，包含22,080个提示，填补了多语言LLMs评估的空白。
2024-03-24 cs.CL cs.PL cs.SE
