MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对现有SA-ASR方法适应性与效率受限的问题,提出MSA-ASR方法,基于冻结多语种ASR模型与弱标签训练的说话人模块实现说话人归因,仅用单语种数据训练仍在多语种场景取得媲美强基线的效果。
2025-01-15 cs.CL cs.SD eess.AS
MultiGhostBench: A Multilingual Benchmark for Long-Form LLM-Generated Text Attribution under Distribution Shifts
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);University of Calabria(卡拉布里亚大学)
MultiGhostBench是含928本多语言长文本的LLM生成文本基准,支持多类分布偏移评估,可用于开发鲁棒的LLM作者身份归因方法。
2026-09-03 cs.AI cs.CL cs.CY
He Said, She Said: Style Transfer for Shifting the Perspective of Dialogues
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们定义了一个新的风格转换任务:视角转换,它重新框架的对话从非正式的第一人称到正式的第三人称改写的文本。这项任务需要具有挑战性的共指消解,情感归因和非正式文本的解释。我们探讨了几种基线方法,并讨论了这项任务的进一步方向时,适用于简短的对话。作为一个示例应用程序,我们证明了将视角转换应用于对话摘要数据集(SAMSum)可以大大提高提取新闻摘要模型在此数据上的zero-shot性能。此外,监督提取模型在视角转换数据上训练时比在原始对话上训练时表现更好。我们公开发布代码。
2022-10-27 cs.CL
Assessment of Massively Multilingual Sentiment Classifiers
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Brand24 AI(Brand24人工智能公司)
在寻找SOTA的过程中,模型的大小和复杂性都在增加。但是,如果这2%的性能提升在生产用例中没有产生影响呢?也许更小、更快的模型带来的好处超过了那些轻微的性能提升。此外,在多语言任务中,跨语言的同样良好的性能比SOTA在单个任务上的结果更重要。我们提供最大的、统一的、多语言的情感分析数据集。我们使用这些数据来评估27种语言的11个模型和80个高质量的情感数据集(从收集的342个原始数据集中),并包括内部注释数据集的结果。我们深入评估多种设置,包括微调基于变压器的模型以测量性能。我们比较了许多方面的结果,解决了语言覆盖率和数据集大小的不平衡。最后,我们从多语言的角度提出了一些处理如此庞大的数据集和模型的最佳实践。
2022-04-11 cs.CL cs.LG
The ParlaSent Multilingual Training Dataset for Sentiment Identification in Parliamentary Proceedings
Radboud University(拉德堡德大学)
本文提出了包含7种语言的ParlaSent情感标注数据集,并引入在17.2亿议会词汇上预训练的首个政治学多语言transformer模型,显著提升了议会会议跨语言情感识别的稳健性与泛化性能。
2024-03-20 cs.CL
Towards Explainability and Fairness in Swiss Judgement Prediction: Benchmarking on a Multilingual Dataset
Technical University of Munich(慕尼黑工业大学);University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学)
本文利用瑞士多语言判决预测数据集,通过专家标注理由和遮挡法评估BERT类LJP模型的可解释性,发现预测性能提升不等于可解释性提升,并提出下级法院插入(LCI)框架量化模型偏见。
2024-02-26 cs.AI cs.CL cs.LG
LINSPECTOR: Multilingual Probing Tasks for Word Representations
Technische Universität Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学);New York University(纽约大学)
尽管为大量语言引入了越来越多的单词表示模型,但缺乏标准化的技术来提供对这些模型所捕获内容的见解。这样的见解将有助于社区获得下游任务性能的估计,以及设计更明智的神经架构,同时避免需要大量计算资源的大量实验,而不是所有研究人员都可以访问。NLP最近的发展是使用简单的分类任务,也称为探测任务,测试单个语言特征,如词性。现有的研究主要集中在探讨英语语篇的连续表征所编码的语言信息。然而,从类型学的角度来看,形态学上的穷人英语是一个离群值:英语中的词序和功能词编码的信息往往存储在其他语言的形态水平。为了解决这个问题,我们引入了15个类型级别的探测任务,例如24种语言的格标记、属事、字长、形态标签计数和伪词识别。我们提出了一个可重复使用的方法,在多语言环境中创建和评估这样的测试。然后,我们提出了几个不同的多语言词嵌入模型的实验,在其中,我们涉及到探测任务的性能为一组不同的语言的范围内的五个经典的NLP任务:POS标记,依存句法分析,语义角色标注,命名实体识别和自然语言推理。我们发现,一些探测测试有显着的高度正相关的下游任务,特别是形态丰富的语言。我们表明,我们的测试可用于探索词嵌入或黑盒神经模型的语言线索,在多语言设置。
2019-12-11 cs.CL
Tracing Stereotypes from Representation to Output in Multilingual LLMs
Saarland University(萨尔大学);Queen’s University Belfast(贝尔法斯特女王大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Technology Nuremberg(纽伦堡工业大学)
本文通过探针、归因修补和稀疏自编码器等方法,追踪多语言大模型中刻板印象的表征位置与输出影响,发现探针早于归因且跨语言效应有限。
2026-09-09 cs.AI cs.CL
How Does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective
本文从语言神经元角度探讨对齐如何提升大语言模型的多语言能力,提出三类神经元分类方法,并分析多语言推理的四个阶段。
2026-04-01 cs.AI cs.CL
Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models
University of Sheffield(谢菲尔德大学)
本研究比较多语言与单语言微调语言模型的特征归因忠实度,发现多语言模型越大忠实度越低,差异可能源于分词器差异。
2024-03-19 cs.AI cs.CL
Dual Perspectives in Emotion Attribution: A Generator-Interpreter Framework for Cross-Cultural Analysis of Emotion in LLMs
KAIST(韩国科学技术院)
本文提出生成-解释框架,从表达与解读双重视角分析情绪归因,评估六种LLM在15国数据上的表现,揭示文化背景对情绪类型和模型性能的影响,呼吁在LLM中实现文化敏感的情绪建模。
2026-03-30 cs.CL
Multilinguality of Large Language Models From a Structural Perspective
Nara Institute of Science and Technology(奈良科学技術研究所)
本研究通过表示结构分析探索大语言模型的多语言性,发现低资源语言与英语的结构差异大于高、中资源语言,且语言特定后训练改变结构但保留语言间关系。
2026-06-01 cs.AI cs.CL cs.LG
Multilingual Cross-domain Perspectives on Online Hate Speech
CLiPS Research Center(CLiPS研究中心)
在这份报告中,我们提出了一个研究的八个语料库的在线仇恨言论,通过展示的NLP技术,我们用来收集和分析圣战,极端主义,种族主义和性别歧视的内容。对多语种语料库的分析表明,不同语境下的仇恨修辞具有一定的共性。为了揭示文本的主要特征,我们重点研究了文本分类、文本分析、关键词和搭配提取,以及人工标注和定性研究。
2018-09-11 cs.CL
A Novel Interpretability Metric for Explaining Bias in Language Models: Applications on Multilingual Models from Southeast Asia
School of Computer Science, University of Birmingham(英国伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉大学信息系统与计算机科学系)
本文提出基于信息论的 token 级偏见归因分数,用于解释预训练语言模型的偏见来源,并在东南亚多语言模型上验证其能揭示性别歧视、恐同偏见及相关语义诱因。
2024-10-24 cs.CL
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen(哥本哈根大学)
本论文从多语言视角研究性别偏见在语言及语言技术中的表达,采用跨学科方法结合自然语言处理与政治学、历史学,以探测并理解社会偏见。
2024-03-15 cs.CL
Attribution and Obfuscation of Neural Text Authorship: A Data Mining Perspective
Penn State University(宾夕法尼亚州立大学);University of Mississippi(密西西比大学)
作者身份归属(AA)和作者身份混淆(AO)是隐私研究中两个日益引起兴趣和重要性的相互关联的研究问题。给定一个工件,特别是一个有问题的文本t,AA解决方案的目标是准确地将t归因于许多候选作者中的真实作者,而AO解决方案的目标是修改t以隐藏其真实作者。传统上,作者身份的概念及其伴随的隐私问题只针对人类作者。然而,近年来,由于NLP中神经文本生成(NTG)技术的爆炸性进步,能够合成人类质量的开放式文本(所谓的“神经文本”),人们现在必须考虑人类,机器或其组合的作者。由于神经文本在恶意使用时的影响和潜在威胁,了解传统AA/AO解决方案的局限性并开发新的AA/AO解决方案来处理神经文本变得至关重要。因此,在这项调查中,我们从数据采掘的角度对神经文本作者的归属和混淆的最新文献进行了全面的回顾,并分享了我们对他们的局限性和有前途的研究方向的看法。
2023-03-13 cs.CL cs.LG
A New Generation of Perspective API: Efficient Multilingual Character-level Transformers
Jigsaw;Google Research(谷歌研究院)
在万维网上,有毒内容检测器是抵御潜在仇恨和攻击性信息的关键防线。因此,构建高效的分类器以实现更安全的互联网是一个重要的研究领域。此外,网络是一个高度多语言、跨文化的社区,随着时间的推移,它会发展出自己的行话。因此,开发跨各种语言、用法和风格的有效模型至关重要。在本文中,我们介绍了Google Jigsaw的下一个版本的Perspective API背后的基本原理。该方法的核心是一个单一的多语言无令牌Charformer模型,适用于各种语言,域和任务。我们证明,通过放弃静态词汇表,我们获得了各种设置的灵活性。我们还概述了技术,使这样一个字节级模型的生产效率和可行性。通过对来自真实API流量的多语言有毒评论分类基准进行广泛的实验,并对一系列代码切换,隐蔽毒性,基于表情符号的仇恨,人类可读混淆,分布偏移和偏见评估设置进行评估,我们表明我们提出的方法优于强大的基线。最后,我们提出了我们的调查结果,从部署这个系统在生产中。
2022-02-22 cs.AI cs.CL cs.CY
A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers
Beijing Jiaotong University(北京交通大学);University of Montreal(蒙特利尔大学);University of Waterloo(滑铁卢大学);Tsinghua University(清华大学)
本文综述多语言 LLMs 的研究转变、训练推理、检索、安全、文化领域与数据集等问题,总结挑战、解决方案和未来方向。
2025-01-07 cs.AI cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
多语言神经机器翻译可以在训练过程中翻译看不见的语言对,即zero-shot翻译。然而,zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言(例如英语)的统治,但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中,我们提出了一个简单的,轻量级的,但有效的语言特定的建模方法,通过适应非中心的语言,并结合共享信息和语言特定的信息,以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明,该方法不仅在中心数据条件下表现得比强基线更好,而且可以很容易地适应非中心数据条件。通过进一步研究层属性,我们表明,我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
GPT-4 Emulates Average-Human Emotional Cognition from a Third-Person Perspective
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
本文研究GPT-4的情感推理能力,发现其从第三人称视角模拟普通人类的情感认知,在判断他人情绪时比自我归因更准确,表明普通观察者立场对下游应用更具相关性。
2024-08-11 cs.AI cs.CL cs.HC
Cross-linguistic disagreement as a conflict of semantic alignment norms in multilingual AI~Linguistic Diversity as a Problem for Philosophy, Cognitive Science, and AI~
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Victoria University of Wellington(惠灵顿维多利亚大学);Macquarie University(麦考瑞大学);Nanzan University(南山大学);Kyoto University(京都大学)
本文通过考察多语言LLM在英语和日语中的回答,揭示跨语言分歧源于跨语言一致性与民间判断一致性两种对齐规范的冲突,并指出这构成概念性跨语言知识障碍,需多学科协作应对。
2025-03-01 cs.AI cs.CL
Investigating Math Word Problems using Pretrained Multilingual Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文从跨语言和多语言的角度重新审视数学应用题。我们使用带有复制机制的序列到序列模型在预训练的多语言语言模型上构建我们的MWP求解器。我们比较了MWP求解器在跨语言和多语言场景中的表现。为了便于跨语言性能的比较,我们首先将大规模英语数据集MathQA作为中文数据集Math23K的对应数据。然后通过机器翻译和人工标注将几个英文数据集扩展为双语数据集。我们的实验表明,MWP求解器可能不会被转移到不同的语言,即使目标表达式具有相同的操作符集和常量。但是对于跨语言和多语言的情况,如果问题类型在源语言和目标语言上都存在,则可以更好地推广。
2022-11-13 cs.AI cs.CL
Multilingual AMR Parsing with Noisy Knowledge Distillation
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文从知识蒸馏的角度研究多语言AMR句法分析,目的是以现有的英语句法分析器为教师,学习和改进多语言AMR句法分析器。我们将我们的探索限制在严格的多语言环境中:只有一个模型可以解析所有不同的语言,包括英语。我们确定,嘈杂的输入和精确的输出是成功蒸馏的关键。再加上广泛的预训练,我们得到了一个AMR解析器,其性能超过了所有以前发表的结果,四种不同的外语,包括德语,西班牙语,意大利语和中文,由大利润率(高达18.8 \textsc{Smatch}点,中文和平均11.3 \textsc{Smatch}点)。我们的解析器在英语上也达到了与最新的最先进的纯英语解析器相当的性能。
2021-10-14 cs.AI cs.CL
How Vocabulary Sharing Facilitates Multilingualism in LLaMA?
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
本研究从词汇共享角度分析LLaMA在101种语言中的多语言能力,通过嵌入微调前后的性能差距划分四个象限,并据此提供高效的调优指南,显著提升了模型的多语言性能。
2024-06-03 cs.AI cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本研究通过训练数据归因方法,发现多语言模型中语言专用子网络自然涌现,且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
Why Retrieval-Augmented Generation Fails: A Graph Perspective
Michigan State University(密歇根州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文从图视角分析检索增强生成失败原因,发现正确回答具有更深层推理路径和更分布的证据流,而失败回答则表现出碎片化和集中化的证据流。
2026-05-13 cs.AI cs.CL
TraSE: Towards Tackling Authorial Style from a Cognitive Science Perspective
针对作者风格分析受主题影响、作者可区分性不足及数据需求大的问题,提出TraSE特征表示,并在大规模跨域作者归属中达到90%准确率。
2023-12-06 cs.AI cs.CL cs.LG
On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation
Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学语言与认知中心);Institute for Logic, Language and Computation (ILLC), University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
研究探讨LLMs在多语言RAG中利用不同语言上下文的一致性,发现其能提取异语言信息但难以生成正确语言答案。
2025-11-10 cs.AI cs.CL
Bias Attribution in Filipino Language Models: Extending a Bias Interpretability Metric for Application on Agglutinative Languages
School of Computer Science, University of Birmingham(英国伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉大学信息系统与计算机科学系)
本文将信息论偏见归因指标适配到菲律宾语等黏着语模型,发现菲律宾语模型偏见主要由人、物体和关系等实体类词语驱动,与英语模型中偏见的动作性主题形成对比。
2025-06-08 cs.CL
Benchmarking Concept-Spilling Across Languages in LLMs
EPFL(洛桑联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出了一种评估多语言LLMs语义鲁棒性的框架,通过分析模型在生成多义词时的表现,揭示模型和语言间的语义鲁棒性差异,并贡献了可扩展的评估基准和验证流程。
2026-01-18 cs.AI cs.CL
Interpretable Predictability-Based AI Text Detection: A Replication Study
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本文复制并扩展了AuTexTification 2023共享任务中用于机器生成文本作者归属的系统,测试了新多语言模型并添加了26个文档级风格学特征,通过SHAP分析探讨特征影响,使用Qwen等新生成模型提升性能,多语言配置在性能上不逊于语言特定模型。
2026-09-01 cs.AI cs.CL cs.LG
Do Not Change Me: On Transferring Entities Without Modification in Neural Machine Translation -- a Multilingual Perspective
Poznan University of Technology(波兹南技术大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
本文从多语言视角系统评估了OPUS、Google Translate、MADLAD和EuroLLM等神经机器翻译模型在英德波乌四种语言间保留URL、IBAN、邮箱等实体的能力,分析错误原因并提出含36,000句的多语言合成数据集以支持实体迁移质量评估。
2025-05-09 cs.CL
Cross-modal Speaker Verification and Recognition: A Multilingual Perspective
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University of Insubria(因苏布里亚大学);University of Engineering and Technology Taxila(塔克西拉工程技术大学);Information Technology University(信息技术大学)
近年来,在跨模态生物识别应用程序中发现人脸和声音之间的关联以及说话人识别的情况激增。受此启发,我们引入了一项具有挑战性的任务,即在同一组人所说的多种语言中建立面孔和声音之间的关联。本文的目的是回答两个密切相关的问题:“脸声联想语言是独立的吗?和“说话者是否可以被识别而不管其所讲的语言?".这两个问题对于理解多语言生物识别系统的有效性和促进其发展非常重要。为了回答这些问题,我们收集了一个多语言视听数据集,其中包含$154$身份的人类语音片段,并带有从在线上传的各种视频中提取的$3$语言注释。对所提出的数据集的三个分割进行了广泛的实验,以调查和回答这些新的研究问题,这些问题清楚地指出了多语言问题的相关性。
2021-04-22 cs.CL cs.CV cs.SD
An Empirical Study of Gendered Stereotypes in Emotional Attributes for Bangla in Multilingual Large Language Models
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本研究首次针对闭源与开源大语言模型,全面调查孟加拉语语境下的性别情感归因偏见,证实该类偏见存在并揭示其随性别角色选择的变化规律,公开相关资源以支持孟加拉语NLP研究。
2024-07-08 cs.CL
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
University of Michigan(密歇根大学)
本文提出一种多语言作者表征学习方法,通过概率内容掩码和语言感知批处理两项创新,在36种语言、13个领域、450余万作者上训练,显著优于单语基线并增强跨语言与跨领域泛化。
2025-09-20 cs.CL
Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models
本文提出LAHIS方法,通过分析多语言大语言模型中的注意力头,揭示语言特定与通用头的作用,并通过轻量级适应提升多语言性能。
2025-12-03 cs.AI cs.CL
A Monosemantic Attribution Framework for Stable Interpretability in Clinical Neuroscience Transformer-Based Language Models
Department of Computer Science and Technology(计算机科学与技术系);Cancer Research UK(癌症研究英国公司);Cambridge Institute(剑桥研究所);University of Cambridge(剑桥大学);United Kingdom(英国);DIMES(迪梅斯);University of Calabria(卡拉布里亚大学);Italy(意大利);Department of Computer Automatic and Management Engineering (DIAG)(计算机自动与管理工程系);Sapienza Università di Roma(罗马大学萨皮恩扎);Department of Psychiatry(精神病学系);School of Computing(计算学院);University of Kent(肯特大学);Department of Psychology(心理学系)
提出一种通过单语义特征提取整合归因与机制视角的统一可解释性框架,生成稳定的输入级重要性分数,促进语言模型在认知健康和神经退行性疾病中的安全应用。
2026-06-01 cs.AI cs.CL
Multilingual Safety Alignment via Self-Distillation
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出多语言自蒸馏框架,通过将高资源语言的安全能力迁移到低资源语言,解决多语言安全对齐问题,无需特定语言响应数据,实验表明方法在多语言安全性能上表现优异。
2026-10-20 cs.AI cs.CL cs.LG
Not All Visitors are Bilingual: A Measurement Study of the Multilingual Web from an Accessibility Perspective
CISPA Helmholtz Center for Information Security(CISPA 集成信息安全中心);Nokia Bell Labs(诺基亚贝尔实验室);New York University Abu Dhabi(纽约大学阿布扎克分校)
针对多语言网络对视障用户的可访问性障碍问题,该研究构建首个涵盖12种非拉丁文字语言12万网站的LangCrUX数据集,分析发现可访问性提示普遍忽视语言多样性,并提出语言感知测试扩展Kizuki以改善该问题。
2025-08-25 cs.CL cs.CY cs.NI
SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出覆盖6种语言、含96K条摘要及六维人工评分的 SEAHORSE 数据集,用于训练和评估摘要指标,并在 TRUE 与 mFACE 上验证其域外性能。
2023-11-01 cs.CL
Culturally-Grounded Governance for Multilingual Language Models: Rights, Data Boundaries, and Accountable AI Design
Lehigh University(莱维大学)
本文提出基于文化背景的多语言模型治理框架,强调权利、数据边界和可问责AI设计,以应对文化边缘社区的系统性风险。
2026-01-31 cs.AI cs.CL
Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language
UiT The Arctic University of Norway(挪威北极大学);Silo AI(西罗人工智能公司)
针对萨米语等超低资源语言缺乏主流大模型支持的问题,本文构建干净萨米语数据集,评测约70亿参数模型的多语言训练策略,发现顺序训练和高语义重叠迁移更优。
2024-05-09 cs.AI cs.CL
Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders
Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所);Mohammed VI Polytechnic University, Morocco(穆莱·伊斯梅尔polytechnic大学);University of Toronto, Canada(多伦多大学);Vector Institute, Canada(向量研究所);ELLIS Institute, Tübingen, Germany(ELLIS研究所)
通过跨层转码器研究LLM中多语言表示的共享机制及语言解码过程。
2026-02-09 cs.CL
CausalAbstain: Enhancing Multilingual LLMs with Causal Reasoning for Trustworthy Abstention
Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出CausalAbstain方法,从因果视角帮助多语言大语言模型选择有用反馈并改进弃权决策,在百科与常识问答基准上优于现有基线。
2025-06-03 cs.AI cs.CL
Assessing the Stylistic Properties of Neurally Generated Text in Authorship Attribution
University of Antwerp(安特卫普大学);Ghent University(根特大学)
近年来,神经语言模型的应用引起了人们对自动生成自然语言的兴趣。然而令人印象深刻的是,迄今为止,对神经生成文本的评估仍然相当非正式和轶事。在这里,我们提出了一种尝试,在系统评估的一个方面的质量神经生成的文本。我们专注于神经语言生成的一个特定方面:它再现作者写作风格的能力。使用已建立的作者归属模型,我们经验性地评估神经生成文本的文体质量。与传统的语言模型相比,神经模型生成更模糊的文本,这相对更难正确地归属。然而,我们的研究结果也表明,神经生成的文本提供了更有价值的观点,为增强训练数据。
2017-08-18 cs.CL
The Echoes of Multilinguality: Tracing Cultural Value Shifts during LM Fine-tuning
University of Amsterdam(阿姆斯特丹大学);University of Hamburg(汉堡大学)
本文研究多语言语言模型微调时文化价值如何跨语言迁移与改变,并利用训练数据归因识别引发价值转变的数据及语言模式。
2024-05-21 cs.CL
There is No Theoretical Curse of Multilinguality For Embedding Space Structure
ETH Zürich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过理论证明与小规模经验研究,指出嵌入空间结构不存在多语言性的理论诅咒,多语言模型性能下降的经验诅咒源于现实数据与训练条件。
2026-09-09 cs.CL
Responsible Multilingual Large Language Models: A Survey of Development, Applications, and Societal Impact
Forth AI;Shopee
本文综述负责任的多语言大语言模型,提出覆盖数据到部署的端到端框架,结合 Llama2 优化策略与跨学科分析,指导构建更包容的多语言 AI。
2024-10-23 cs.AI cs.CL
Sentence Embedding Models for Ancient Greek Using Multilingual Knowledge Distillation
Sattler College(萨特勒学院)
针对古希腊语缺乏训练数据难构建高质量句子嵌入模型的问题,研究采用多语言知识蒸馏方法,借助自建的希英平行句子数据集训练BERT模型生成古希腊语句子嵌入,在多项任务上验证了效果并公开了数据集。
2023-08-24 cs.CL
Translation as a Decision Space: A Multi-Agent Perspective on Low-Resource Dialect Generation
Sakarya University(萨卡里亚大学);TU Clausthal(克劳斯塔尔工业大学);University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
该研究将翻译视为多智能体探索的决策空间,针对土耳其语-叙利亚阿拉伯语翻译开展实证研究,提出可解释低资源方言生成的框架,轻量稳定化可提升方言标记使用量并降低结构不稳定性。
2026-09-04 cs.AI cs.CL
OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents
Meta Superintelligence Labs(元超级智能实验室)
研究人员推出OmnilingualGAIA2基准,发现前沿AI智能体存在8.8-18.4分的跨语言差距,提出多语言评估应成为全球部署智能体的标准评估环节。
2026-08-12 cs.CL
LLMs Get Smarter from Targeted Synthetic Multilingual Data
UIUC(伊利诺伊大学厄巴纳-香槟分校);Uniphore(优尼佛(Uniphore)公司)
本研究提出HOTFIXR数据生成框架,通过探测学生模型多语言弱点生成合成多语言数据,可提升大语言模型的多语言性能,降低微调引发的灾难性遗忘。
2026-08-18 cs.AI cs.CL
Shared Path: Unraveling Memorization in Multilingual LLMs through Language Similarities
Department of Computer Science(计算机科学系);Department of Electronic Systems(电子系统系)
通过语言相似性分析,揭示多语言大语言模型中记忆现象的跨语言关联及其影响因素。
2026-01-06 cs.AI cs.CL
Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers
Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Singapore Management University(新加坡管理大学)
本文首次从多语言对齐视角系统综述多语言大语言模型,提出新分类体系,梳理前沿挑战,并汇总论文、语料与排行榜等开源资源。
2024-04-07 cs.CL