Train Global, Tailor Local: Minimalist Multilingual Translation into Endangered Languages
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文针对濒危语言翻译,提出先领域适应后语言适应并精选种子句的方法,将chrF从21.9提升至50.7,仅需约千句种子。
2023-05-05 cs.CL
Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学)
针对不相关的极低资源语言跨语言表示质量差的问题,提出基于语言链的多语言词嵌入方法,通过中间相关语言和锚点逐步构建多语言空间,在双语词典归纳任务上取得显著性能提升。
2023-11-21 cs.CL
Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出通过适配器将ConceptNet图知识整合进多语言大语言模型,以提升八种低资源语言在情感分析和命名实体识别上的性能,并比较了多种掩码微调目标的有效性。
2024-12-18 cs.AI cs.CL
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe(NAVER欧洲实验室);Télécom Paris(巴黎电信学院)
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能,同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究从语系与形态学视角探究多语言NLP的跨语言迁移,分析语系亲缘度、形态相似性及语言距离对迁移效果的影响,并梳理融入类型学与形态信息的预训练新兴方法。
2025-05-20 cs.CL
Do Multilingual LLMs have specialized language heads?
本文研究多语言大语言模型是否为每种语言具有专门的语言注意力头部,并探讨移除不需要语言头部对性能的影响。
2026-02-09 cs.CL
Efficient Compression of Multitask Multilingual Speech Models
PSL(巴黎文理研究大学);Meta AI;NAVER LABS Europe(NAVER欧洲实验室)
本文提出 DistilWhisper,通过语言特定专家的轻量级模块化微调与 whisper-large-v2 知识蒸馏相结合,在保持多任务多语言能力的同时,高效提升低资源语言的 ASR 性能。
2024-05-02 cs.AI cs.CL cs.SD
Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT(麻省理工学院)
该研究针对三种低资源语言开发句法评估测试,评估五款多语言Transformer语言模型的句法泛化能力,揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
Clustering Pseudo Language Family in Multilingual Translation Models with Fisher Information Matrix
Harbin Institute of Technology(哈尔滨工业大学)
本文提出利用费舍尔信息矩阵基于多语言翻译模型参数影响定义伪语系,以替代传统祖先语系聚类,实验证明该方法能提升模型对新语言对的适配性能。
2023-12-05 cs.AI cs.CL
Muted: Multilingual Targeted Offensive Speech Identification and Visualization
IBM Research AI(IBM研究院人工智能部门)
针对网络多语言攻击性言论识别需求,提出Muted系统,可直接利用预训练HAP分类模型及注意力机制识别毒性片段与目标,结合spaCy定位具体对象,支持多语言可视化展示。
2023-12-18 cs.AI cs.CL cs.HC
IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA
Georgia Institute of Technology(佐治亚理工学院)
提出IGT系统,针对多语言金融问答,按题型区分结构化数值抽取与综合新闻选择,开发集ROUGE-1达0.395,测试集排名第三。
2026-09-09 cs.AI cs.CL
LLMs Get Smarter from Targeted Synthetic Multilingual Data
UIUC(伊利诺伊大学厄巴纳-香槟分校);Uniphore(优尼佛(Uniphore)公司)
本研究提出HOTFIXR数据生成框架,通过探测学生模型多语言弱点生成合成多语言数据,可提升大语言模型的多语言性能,降低微调引发的灾难性遗忘。
2026-08-18 cs.AI cs.CL
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
Apple(苹果公司);Hasso Plattner Institute & ELLIS Unit Potsdam(霍普夫研究所与波茨坦ELLIS单元)
Multilingual Reasoning Gym通过多语言程序化生成可验证推理问题,支持跨语言大规模数据生成和强化学习研究。
2026-03-11 cs.CL
MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights
Huawei(华为)
提出MADE多语言智能诊断引擎,将评估后分析分解为规划、聚合分析、实例检查、多语言文化反思和报告合成,在33个模型族、11个基准、26种语言等大规模设置下,诊断报告质量提升47%,专家偏好率达87.9%。
2026-06-05 cs.CL
Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models
Rewire;University of Oxford(牛津大学);Bocconi University(博科尼大学);Simon Fraser University(西蒙弗雷泽大学)
仇恨语音检测模型通常在保持测试集上进行评估。然而,由于仇恨言论数据集中越来越多的系统性差距和偏见,这可能会导致模型性能的不完整和潜在误导。为了实现更有针对性的诊断见解,最近的研究因此引入了针对仇恨言论检测模型的功能测试。然而,这些测试目前仅适用于英语内容,这意味着它们无法支持在全球数十亿人使用的其他语言中开发更有效的模型。为了帮助解决这个问题,我们引入了多语言仇恨检查(MHC),这是一套针对多语言仇恨言论检测模型的功能测试。MHC涵盖了10种语言的34种功能,这比任何其他仇恨言论数据集都要多。为了说明MHC的效用,我们训练和测试一个高性能的多语种仇恨语音检测模型,并揭示关键模型的弱点,单语和跨语言的应用程序。
2022-06-20 cs.CL
Average Is Not Enough: Caveats of Multilingual Evaluation
Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所)
这份立场文件讨论了多语言评价的问题。使用简单的统计数据,如平均语言表现,可能会在评估方法中注入有利于主导语言家族的语言偏见。我们认为,定性分析通知比较语言学是需要多语言的结果,以检测这种偏见。我们在案例研究中表明,在已发表的作品的结果确实可以在语言上有偏见,我们表明,基于URIEL类型数据库的可视化可以检测到它。
2023-01-03 cs.CL
Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains
United International University(国际联合大学);Qatar Computing Research Institute(卡塔尔计算研究所);Amazon GenAI(亚马逊生成人工智能);University of Virginia(弗吉尼亚大学);BRAC University(布拉克大学)
针对多语言LLMs在语系和领域间性能不均及放大偏见的问题,提出统一框架Translation Tangles,通过多指标基准测试与混合偏见检测流水线,并构建高质量人工标注数据集,全面评估开源模型的翻译质量与公平性。
2025-10-31 cs.CL
On the Limitations of Language Targeted Pruning: Investigating the Calibration Language Impact in Multilingual LLM Pruning
Department of Computer Science, TU Dortmund University(图恩-多特蒙德大学计算机科学系);Bonn-Aachen International Center for Information Technology, University of Bonn(波恩-亚琛国际信息科技中心,波恩大学);Computer Science School, University of Sheffield(谢菲尔德大学计算机科学学院);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
本文针对多语言大语言模型剪枝场景,首次实证探究校准语言的影响,发现目标语言校准无法稳定提升下游性能,指出现有剪枝方法易丢失关键的语言无关特征。
2025-11-17 cs.AI cs.CL cs.LG
Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition
最近,已经提出了大量的调优策略,以使预训练的语言模型适应下游任务。在本文中,我们进行了广泛的实证评估的各种调整策略的多语言学习,特别是在文本摘要的背景下。具体来说,我们探讨了三个家庭的多语言调整策略(共五种模式)的相对优势,并实证评估他们总结超过45种语言。在实验上,我们不仅在XL-Sum数据集上建立了一个新的最先进的模型,而且还得到了一系列的观察结果,希望这些观察结果可以为未来设计多语言调优策略的研究提供线索。
2022-12-12 cs.CL
Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models
Pompeu Fabra University(庞培法布拉大学);Catalan Institute for Research and Advanced Studies (ICREA)(加泰罗尼亚研究与高级研究所)
基于多语言转换器的语言模型通常在100多种语言上进行预训练,已被证明在广泛的跨语言迁移任务中取得了出色的结果。然而,它仍然是未知的优化不同的语言条件的能力的模型概括的句法结构,以及如何语言的句法现象不同的复杂性受到影响。在这项工作中,我们探讨的单语和多语言版本的BERT和ROBERTa的句法泛化能力。更具体地说,我们评估英语和西班牙语测试模型的句法泛化潜力,比较单语和多语言模型在同一语言(英语),和两种不同的语言(英语和西班牙语)的多语言模型的句法能力。对于英语,我们使用可用的SyntaxGym测试套件;对于西班牙语,我们引入了SyntaxGyES,这是一种新的西班牙语语法测试组合,旨在通过SyntaxGym在线平台评估语言模型的语法泛化能力。
2021-05-10 cs.CL
Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters
KAIST AI(韩国科学技术院人工智能学院)
本文针对多语言LLM推理慢的问题,提出在投机解码中采用预训练和微调策略优化的语言专用起草模型,显著提升了多语言推理速度,并通过推理时间、域外加速及GPT-4o评估验证了其有效性。
2024-11-11 cs.CL
A Framework for Hierarchical Multilingual Machine Translation
Boise State University(博伊西州立大学)
多语言机器翻译最近流行起来,因为它有潜力通过迁移学习来提高低资源语言的机器翻译性能。然而,证明现有多语言机器翻译策略成功的实证研究仅限于特定语言组的实验。在本文中,我们提出了一个分层框架,建立多语言机器翻译战略,利用类型学的语言家谱,使类似的语言之间的转移,同时避免了负面影响,结果是太不同的语言。在41种语言的数据集上进行的详尽实验证明了所提出的框架的有效性,特别是当它通过使用类型相关的家族来提高低资源语言的性能时,这些家族可以提供更丰富的资源。
2020-05-12 cs.CL
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen(哥本哈根大学)
本论文从多语言视角研究性别偏见在语言及语言技术中的表达,采用跨学科方法结合自然语言处理与政治学、历史学,以探测并理解社会偏见。
2024-03-15 cs.CL
Fast and unsupervised methods for multilingual cognate clustering
University of Tübingen(图宾根大学)
在本文中,我们将探讨使用无监督的方法来检测同源词在多语言的单词列表。我们使用在线EM训练声音片段相似度权重来计算两个词之间的相似度。我们测试了我们的在线系统在地理上分布的16个不同的语言群体的世界,并表明在线PMI系统(逐点互信息)优于基于HMM的系统和两个语言动机的系统:LexStat和ALINE。我们的研究结果表明,PMI系统在网上训练的方式可以被历史语言学家用于快速,准确地识别同源词在不那么好的研究语言的家庭。
2017-02-16 cs.CL
NABU $\mathrm{-}$ Multilingual Graph-based Neural RDF Verbalizer
University of Paderborn(帕德博恩大学);Manipal Institute of Technology(马尼帕尔理工学院);Federal University of Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学(UFMG));Tilburg University(蒂尔堡大学)
由于关联数据的持续增长,RDF到文本的任务最近得到了大量的关注。与传统的管道模型相比,最近的研究集中在神经模型上,这些模型现在能够以端到端的方式将一组RDF三元组转换为文本,并取得了令人满意的结果。然而,英语是唯一广泛针对的语言。我们通过介绍NABU来解决这一研究空白,NABU是一种多语言的基于图形的神经模型,它将RDF数据语言化为德语,俄语和英语。NABU基于编码器-解码器架构,使用受图注意力网络启发的编码器和Transformer作为解码器。我们的方法依赖于这样一个事实,即知识图谱是语言不可知的,因此可以用来生成多语言文本。我们在标准基准WebNLG数据集上评估了单语和多语言设置中的NABU。我们的研究结果表明,NABU在英语上的表现优于最先进的方法,BLEU为66.21,在多语言场景中,所有语言的结果一致,BLEU为56.04。
2020-09-21 cs.CL
Concept Space Alignment in Multilingual LLMs
University of Copenhagen(哥本哈根大学)
本文评估多语言 LLM 的概念空间对齐,发现大模型具有高质量跨语言线性对齐,但提示嵌入虽对齐更好却会削弱线性性。
2024-10-01 cs.CL
Probing Multilingual Language Models for Discourse
Stockholm University(斯德哥尔摩大学)
预先训练的多语言语言模型已经成为多语言自然语言处理中的重要构件。在本文中,我们研究了一系列这样的模型,以了解它们如何跨语言传递语篇级知识。这是一个系统的评估,一个更广泛的话语层面的任务比以前已经组装。我们发现,XLM-RoBERTa系列的模型始终表现出最佳的性能,同时是良好的单语模型和退化相对较小的zero-shot设置。我们的研究结果还表明,模型蒸馏可能会损害句子表征的跨语言迁移能力,而语言相异最多有适度的影响。我们希望,我们的测试套件,涵盖5个任务,共22种语言在10个不同的家庭,将作为一个有用的评估平台,多语言性能在和超越句子水平。
2021-06-09 cs.CL
Latent Mechanisms of Language Control in Multilingual Language Models
Princeton University(普林斯顿大学)
本研究对比三种多语言潜在变量识别方法,引入两个多语言基准,在Gemma-2-2B和Qwen3-4B上验证FreqSel性能最优,发现语言控制潜在变量存在冗余性。
2026-09-02 cs.CL
Unraveling Babel: Exploring Multilingual Activation Patterns of LLMs and Their Applications
Liangzhu Laboratory, Zhejiang University(浙江大学良渚实验室);AI Research Center, WeDoctor Cloud(微医云AI研究中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);School of Public Health, Zhejiang University(浙江大学公共卫生学院)
该研究将稠密大语言模型转换为细粒度MoE架构,分析其多语言神经元激活模式的异同,并利用激活频率差异指导稀疏激活与剪枝,效果优于随机剪枝,部分语言表现超未剪枝模型,为多语言处理机制研究及模型优化提供新方向。
2024-10-06 cs.CL
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages
George Mason University(乔治梅森大学)
大型预训练的多语言模型,在几十种语言上进行训练,由于在各种语言任务上的跨语言学习能力,已经取得了令人鼓舞的结果。进一步使这些模型适应特定的语言,特别是在预训练期间看不到的语言,是扩大语言技术覆盖范围的一个重要目标。在这项研究中,我们展示了如何使用语言系统发育信息,以改善跨语言迁移利用密切相关的语言在结构化,语言信息的方式。我们对来自不同语系(日耳曼语、乌拉尔语、图皮斯语、乌托-阿兹特克语)的语言进行基于适配器的训练,并对句法和语义任务进行评估,与强大的常用基线相比,获得了超过20%的相对性能提升,特别是在预训练期间看不到的语言上。
2022-11-22 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh(爱丁堡大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出PMIndiaSum,一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库,通过微调、提示等方法构建基准,证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages
Nanjing University(南京大学);Saarland University(萨尔大学)
由于缺乏低资源语言的语料库,目前的对话生成工作主要集中在英语。在本文中,我们提出了mDIA,第一个大规模的多语言对话生成基准跨越低到高资源的语言。它涵盖了19个语系的46种语言的真实对话。我们通过微调多语言,非对话重点的预训练模型mT5以及以英语为中心,以对话为重点的预训练聊天机器人DialoGPT获得了基线结果。结果表明,基于mT5的模型在sacreBLEU和BertScore上表现更好,但在多样性上表现较差。尽管在Few-Shot和zero-shot场景中发现了有希望的结果,但是英语和其他语言的生成质量之间存在很大的差距。我们希望mDIA的发布能够鼓励更多关于多语言对话生成的工作,以促进语言多样性。
2022-08-27 cs.CL
Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
本文评估了多语言教师模型的有效性,通过Polyglot Score衡量数据质量和学生模型表现,发现Gemma 3和Aya Expanse在不同学生模型家族中表现优异,数据质量如提示多样性、长度和响应流畅度对教学效果影响显著。
2026-09-01 cs.CL
The Geometry of Multilingual Language Models: An Equality Lens
PICT(普纳计算机技术学院);NSUT(内塔吉·苏巴斯科技大学)
本研究通过几何分析多语言模型的表示,发现语言按语系聚类但可分离,并引入跨语言相似性指数,揭示低资源语言表示质量普遍低于高资源语言。
2023-05-13 cs.CL
Multilingual Evidence Retrieval and Fact Verification to Combat Global Disinformation: The Power of Polyglotism
AI SpaceTime(AI时空)
本文研究了多语言证据检索和事实验证作为打击全球虚假信息的一个步骤,这是我们所知的第一次努力。目标是建立多语言系统,以证据丰富的语言进行检索,以验证更常被虚假信息针对的证据贫乏语言的声明。为此,我们的EnmBERT事实验证系统显示了迁移学习能力的证据,并提供了400个示例混合英语-罗马尼亚语数据集用于跨语言迁移学习评估。
2021-01-19 cs.AI cs.CL cs.IR
What Is Missing in Multilingual Visual Reasoning and How to Fix It
Carnegie Mellon University(卡内基梅隆大学)
针对多语言视觉推理任务中开源模型性能落后于专有系统的问题,分析出多语言性等三大挑战,提出三种针对性干预措施,大幅提升开源模型零样本性能并略微改善GPT-4V性能。
2025-02-09 cs.CL
Alternative Input Signals Ease Transfer in Multilingual Machine Translation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Facebook AI(脸书人工智能)
多语言机器翻译(MMT)的最新研究集中在语言之间正迁移的潜力上,特别是资源丰富的语言可以使资源较少的语言受益的情况。在训练MMT模型时,从一个语言对学习的监督信号可以通过由多个源语言共享的令牌传递到另一个。然而,当源语言之间的标记重叠很小时,这种转移受到抑制,这在语言使用不同的书写系统时自然地表现出来。在本文中,我们解决了抑制传输的训练数据增加替代信号,统一不同的书写系统,如语音,罗马化,和音译输入。我们在印度语和突厥语上测试这些信号,这两个语系的书写系统不同,但语言仍然具有共同的特征。我们的研究结果表明,一个简单的多源自集成-在各种信号的混合物上训练模型,并在推理过程中集成同一模型的输出,在两种语言家族上都比强集成基线高出1.3个BLEU点。此外,我们发现,通过自集成纳入替代输入可以是特别有效的,当训练集是小的,导致+5 BLEU时,只有5%的总训练数据是可访问的。最后,我们的分析表明,包括替代信号产生更多的一致性和翻译命名实体更准确,这是至关重要的自动化系统的真实性增加。
2021-10-15 cs.CL
Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Darmstadt(德累斯顿技术大学);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信AI研究中心)
针对稀疏自编码器在多语言环境中语言控制不可靠的问题,提出在多语言数据上训练SAE并基于多语言对齐与语言可分离性交集的原则性层选择规则,在LLaMA-3.1-8B和Gemma-2-9B上验证了该方法能稳定语言识别准确率与生成质量之间的权衡。
2026-05-21 cs.CL
Hierarchical Indexing with Knowledge Enrichment for Multilingual Video Corpus Retrieval
School of Computing and Information, University of Pittsburgh, PA, USA(计算与信息学院,匹兹堡大学);Wuhan University of Technology(武汉理工大学);Hunan University(湖南大学)
针对多语言医学视频检索任务mVCR,提出多阶段框架:将字幕分块并用知识图谱事实丰富,构建层次化树索引,结合粗到细树搜索与轻量LLM重排序,在避免穷举打分的同时实现块级精度,达到SOTA性能。
2025-10-10 cs.CL
The Art of Asking: Multilingual Prompt Optimization for Synthetic Data
本文提出提示空间优化框架,通过自然性、文化适应和难度增强转换多语言提示,显著提升模型在多语言基准上的性能,实现更稳健且具文化根基的LLM。
2026-11-13 cs.CL
Cross-Lingual Activation Steering for Multilingual Language Models
Department of Computer Science, Portland State University, USA(波特兰州立大学计算机科学系)
本文提出CLAS方法,通过激活引导提升多语言模型在非主导语言上的性能,无需修改模型权重。
2026-10-07 cs.AI cs.CL
Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate
Kahlert School of Computing University of Utah(卡勒特计算学院犹他大学)
本文提出基于“翻译后评估”策略的跨语言一致性评估框架,从信息与同理心两个维度测量LLM在30种语言中的响应一致性,揭示了流行模型在多语言能力上的显著缺陷。
2025-05-28 cs.CL
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
跨度提取阅读理解模型已经取得了巨大的进步,这得益于大规模,高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用,但英语以外的其他语言的提取阅读理解数据集仍然很少,并且为每种语言创建如此大量的训练数据是昂贵的,甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统,其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性,提出了一种多语言提取阅读理解方法XLRC,该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言,我们首先通过翻译现有的提取阅读理解数据集(即,CMRC 2018)从目标语言(即,中文)分为不同的语系(即,英文)。其次,为了提高最终的目标表示,我们采用自适应注意(SAA),结合自我注意和相互注意,提取每对目标和源语言的语义关系。此外,我们提出了多语言注意(MLA),学习丰富的知识,从各种语言的家庭。实验结果表明,我们的模型优于最先进的基线(即,RoBERTa_Large)在CMRC 2018任务上的应用,证明了我们提出的多语言建模方法的有效性,并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
Multilingual Hallucination Gaps in Large Language Models
Mila, Quebec AI Institute(米拉魁北克人工智能研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
本文将 FactScore 扩展到多语言场景,评测 LLaMA、Qwen 和 Aya 在 19 种语言传记生成中的幻觉率,揭示高、低资源语言间存在显著幻觉差距。
2026-11-17 cs.CL
Generalized Quantifiers as a Source of Error in Multilingual NLU Benchmarks
University of Copenhagen(哥本哈根大学)
自19世纪以来,表示语言的逻辑方法已经开发和评估了量词的计算模型,但今天的NLU模型仍然难以捕捉它们的语义。我们依赖于广义量词理论的语言无关的表示的量词词的语义,量化的NLU模型的错误的贡献。我们发现,量化器在NLU基准测试中很普遍,它们在测试时的出现与性能下降有关。多语言模型也表现出不令人满意的量词推理能力,但不一定比非英语语言更差。为了便于直接有针对性的探测,我们提出了一个对抗性的广义量词NLI任务(GQNLI),并表明预训练的语言模型在广义量词推理中明显缺乏鲁棒性。
2022-05-20 cs.CL cs.LO
BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents
Alibaba Token Hub, Alibaba Group(阿里巴巴集团阿里通义实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northeastern University(东北大学);Monash University(莫纳什大学);Ant International(蚂蚁国际)
提出BabelFlow工作流构建多语言基准BabelArena,覆盖23种语言,揭示低资源语言智能体在工具使用、控制流和token效率上的显著差距,为多语言智能体研究奠定基础。
2026-10-26 cs.CL
How Reliable is Multilingual LLM-as-a-Judge?
Independent Researcher(独立研究者);Heidelberg University(海德堡大学);Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
该研究针对多语言场景下LLM-as-a-Judge评估的可靠性未知问题,通过对5类模型、5项任务、25种语言的分析,发现其跨语言一致性差,且多语言训练和扩模均无法直接改善,最终提出集成策略提升一致性。
2025-05-18 cs.CL
Multilingual Contextualization of Large Language Models for Document-Level Machine Translation
Instituto Superior Técnico, Universidade de Lisboa (ELLIS Unit Lisbon)(里斯本大学理工学院(ELLIS单位里斯本));Instituto de Telecomunicações(电信研究所);Carnegie Mellon University(卡内基梅隆大学);Unbabel
针对 LLM 长文档翻译中的跨句依赖与语篇建模难题,本文构建 DocBlocks 高质量文档级数据,并通过融合有无上下文的多种翻译范式进行微调,提升了翻译质量与推理速度。
2025-08-28 cs.CL
Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs
Oxford Internet Institute(牛津互联网研究所);University of Oxford(牛津大学)
该研究针对大语言模型存在的以美国为中心的文化偏差问题,提出将模型回复分布与世界价值观调查的多语言群体意见对比的方法,发现多语言能力与文化对齐无一致关联,自一致性更能预测多文化对齐,提示文化对齐需专门投入。
2025-08-30 cs.AI cs.CL cs.CY
Unstable Grounds for Beautiful Trees? Testing the Robustness of Concept Translations in the Compilation of Multilingual Wordlists
University of Passau(帕绍大学)
本文首次测试了多语言词表编纂中概念翻译的鲁棒性,发现涵盖9个语系的10对数据集中平均仅83%的翻译词形相同,语音转写一致率仅23%,揭示了系统发育研究中的不确定性。
2025-03-01 cs.CL
MERIT: Multilingual Expert-Reward Informed Tuning for Chinese-Centric Low-Resource Machine Translation
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对中文到低资源东南亚语言的机器翻译,MERIT框架通过语料预处理和奖励引导优化,显著提升了翻译质量,优于单纯模型扩展。
2026-04-06 cs.CL
Assessing the Impact of Language Disparity on Multilingual Linguistic Ability in Large Language Models
University of Groningen(格罗宁根大学)
本研究通过四种评估方法在MultiBLiMP基准上测试六族模型,发现后期训练降低语法能力且低资源语言受损最重,母语提示可恢复其隐藏能力,故需多范式协议避免低估。
2026-10-02 cs.CL
Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
本研究针对多语言校准问题,发现LLMs的后期中间层比最终层更适合提供可靠的多语言置信信号,提出无训练方法LACE以提升多语言校准,助力构建更公平可信的LLMs。
2026-09-01 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估,借助可解释性方法揭示其影响因素,验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL