Two Emojis of Difference: What Multilingual Affective Generation Benchmarks Actually Measure
Islamic University of Technology（伊斯兰理工大学）
本研究审计多语言情感生成基准，发现其结论多为测量工具伪影，并提出基于参考的表情符号-情感可解码性探针，以提供更稳定的系统排名。
2026-09-25 cs.CL
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本研究探究多语言大语言模型指令微调中的多语言数据作用，发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力，为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges
University of Ioannina（约阿尼纳大学）；Universiteit Gent（根特大学）；Athens University of Economics and Business（雅典经济与商业大学）；Archimedes/AthenaRC（阿基米德/雅典娜研究中心）
本文提出通过多语言数据集评估LLMs在心理健康严重程度预测中的性能，揭示了多语言环境下模型表现的差异及潜在风险。
2026-10-14 cs.CL cs.LG
When Quantization Affects Confidence of Large Language Models?
Université de Lyon（里昂大学）
本文研究量化对LLMs置信度的影响，发现GPTQ 4比特量化会降低模型对真实标签的置信度，且影响随模型类型和规模变化，并指出量化损失主要集中在全精度模型原本低置信的样本上。
2024-05-01 cs.AI cs.CL
On the Importance of a Multi-Scale Calibration for Quantization
本文提出MaCa方法，通过多尺度校准提升大语言模型量化精度，改进Hessian估计并增强量化效果。
2026-02-07 cs.CL cs.LG
Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology
Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究从语系与形态学视角探究多语言NLP的跨语言迁移，分析语系亲缘度、形态相似性及语言距离对迁移效果的影响，并梳理融入类型学与形态信息的预训练新兴方法。
2025-05-20 cs.CL
Optimizing Multilingual LLMs via Federated Learning: A Study of Client Language Composition
研究探讨了客户端语言构成对多语言联邦学习性能、公平性和成本的影响，提出本地动态早停机制提升效率，发现多语言客户端能提升全局模型质量与公平性，但需更多优化步骤。
2026-03-26 cs.CL
How Many Languages Make Good Multilingual Instruction Tuning? A Case Study on BLOOM
Technical University of Darmstadt（达姆施塔特工业大学）；University of Helsinki（赫尔辛基大学）；University of Edinburgh（爱丁堡大学）
该研究以BLOOM为对象开展多语言指令微调案例研究，探究语言数量、接触量、语际相似性对性能的影响，证实扩大语言覆盖有益，测试语言在训练集中可显著提效，且谱系特征比语言数量更影响跨语言迁移。
2024-12-09 cs.CL
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind（谷歌DeepMind）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律，发现两者均通过有效参数乘数影响模型性能，并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs
ITMO Applied AI（ITMO应用人工智能）；SberAI；Applied AI（应用人工智能）；Lomonosov MSU（罗蒙诺索夫莫斯科国立大学）；HSE University（俄罗斯高等经济大学）
研究揭示了多语言大语言模型中位置偏见的模型和语言特异性，发现部分模型偏好后期位置，提示策略影响准确性，且中间上下文信息对模型输出熵无显著影响。
2025-12-11 cs.CL cs.LG
CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs
University of Southern California（南加州大学）
提出CoCo-CoLa指标评估多语言LLM语言一致性，发现模型跨语言共享知识但输出语言存在偏差，关键层决定输出语言，据此提出选择性微调策略，在降低计算成本的同时提升语言一致性，尤其利于低资源语言。
2025-05-29 cs.CL
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
本文提出CLiKA框架，从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐，发现多语言预训练和指令微调虽有帮助但效果浅层，尤其无法显著提升知识传导性。
2024-04-06 cs.CL
PQLM -- Multilingual Decentralized Portable Quantum Language Model for Privacy Protection
Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）
通过仔细操作，恶意代理可以对预先训练的语言模型中编码的私有信息进行逆向工程。安全问题推动了量子预训练的发展。在这项工作中，我们提出了一个高度可移植的量子语言模型（PQLM），可以很容易地将信息传输到经典机器上的下游任务。该框架由一个云PQLM组成，该云PQLM使用随机变分量子分类器（VQC）和用于下游应用的本地模型构建。我们证明了特设的可移植性的量子模型提取的词嵌入，并有效地将它们应用到经典机器上的下游任务。我们的PQLM表现出相当的性能，其经典的对应内在的评价（损失，困惑）和外在的评价（多语言情感分析准确性）指标。我们还对影响PQLM性能的因素进行了消融研究，以分析模型的稳定性。我们的工作为可移植的量子预训练语言模型奠定了理论基础，该模型可以在私人数据上进行训练，并在隐私保护的保证下供公众使用。
2023-02-27 cs.CL cs.LG quant-ph
Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources
University of Helsinki（赫尔辛基大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）
本研究系统评估36种多语言持续预训练配置，发现双语CPT改善分类但致语言混合，代码数据提升低资源语言分类但略降生成质量，且语言分类与跨语言迁移影响存在显著偏差。
2025-10-08 cs.CL
Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments
School of Information Science and Technology, VISTEC（信息科学与技术学院，VISTEC）；KAIST（韩国科学技术院）；Cohere；SCB 10X；AI Singapore（AI新加坡）；Department of Computer Engineering, Chulalongkorn University（朱拉隆梭大学计算机工程系）
通过分离推理与代码执行，提出评估程序思维提示的框架，发现微调显著提升多语言推理能力，且推理质量与答案准确性强相关。
2025-05-22 cs.CL
Preserving Fairness and Safety in Quantized LLMs Through Critical Weight Protection
Faculty of Computer Science, Universitas Indonesia（印度尼西亚大学计算机科学学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文研究了静态和动态量化对公平性和安全性的影響，提出关键权重保护技术以减少偏见和安全风险，保持模型效率与可信度。
2026-06-27 cs.CL
Information Loss in LLMs' Multilingual Translation: The Role of Training Data, Language Proximity, and Language Family
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科技大学）
本研究系统调查了训练数据量、语言邻近度和语系对LLMs多语言翻译信息损失的影响，发现丰富的训练数据可缓解语言差异，且语言间结构关系是翻译质量的关键预测因子。
2025-06-29 cs.CL
Bielik 11B v3: Multilingual Large Language Model for European Languages
Bielik 11B v3是一款针对波兰语优化，同时支持多种欧洲语言的高性能大语言模型，通过深度扩展和四阶段训练流程实现了高效参数利用和广泛任务表现。
2025-12-30 cs.AI cs.CL
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study
HiTZ Center - Ixa, University of the Basque Country EHU（希茨中心 - Ixa，巴斯克国家大学EHU）
本研究通过分析指令翻译、单语与多语言监督及模型规模等策略，探讨了在有无领域内数据情况下开发多语言LLM评判者的方法，并揭示了领域内数据可用时微调小模型可媲美专有模型、零样本大模型在域外更有效等关键权衡。
2026-05-27 cs.AI cs.CL
Does quantization affect models' performance on long-context tasks?
UMass Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）；University of Maryland, College Park（马里兰大学帕克分校）
本文首次系统评估量化LLMs在长上下文任务上的性能，发现8位量化基本保持精度，而4位量化尤其在非英语长输入下损失显著，且影响高度依赖方法、模型和任务。
2025-09-20 cs.AI cs.CL
The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs
本研究针对Gemma 4、Qwen 3.5架构开展4比特量化的零样本多语言评估，发现量化存在类型学脆弱性等四类现象，揭示了量化代价的多语言差异。
2026-08-12 cs.CL
Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages
Delft University of Technology（代尔夫特理工大学）；University of Goettingen（哥廷根大学）
本文研究不同语言说服性协同写作任务中多语言LLM使用的选择独立性，发现用户会因AI在第二语言的表现影响其使用行为，且对广告来源的信念影响捐赠选择，为多语言LLM辅助代理设计提供启示。
2025-02-13 cs.AI cs.CL cs.HC
What Factors Affect LLMs and RLLMs in Financial Question Answering?
School of Computer Science and Engineering, Macau University of Science and Technology, China（澳门科技大学计算机科学与工程学院）；SKLPlanets, Macau University of Science and Technology, China（澳门科技大学月球与行星科学国家重点实验室）；School of Economics, Anhui University, China（安徽大学经济学院）；School of Energy and Power Engineering, Huazhong University of Science and Technology, China（华中科技大学能源与动力工程学院）
研究探讨了提示方法、代理框架和多语言对齐方法对LLMs和RLLMs在金融问答任务中的影响，发现提示方法和代理框架能提升LLMs性能，而RLLMs自身具备Long CoT能力，传统方法对其提升有限。
2026-04-12 cs.CL
Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation--Deployment Gap
University of Bologna（博洛尼亚大学）；Luiss Guido Carli University（路易斯 Guido Carli 大学）；Live Tech；University of Salerno（萨勒诺大学）
该研究发现仅源精度审计无法排除语言模型的量化触发后门，提出量化行为等价类理论，在多语言模型中实现量化后激活的后门攻击，证明攻击持久性与量化方案及模型架构相关。
2026-08-31 cs.AI cs.CL cs.CR
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space
Dartmouth College（达特茅斯学院）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在跨语言语言模型中，许多不同语言的表示存在于同一空间中。在这里，我们研究了影响跨语言预训练语言模型中101种语言和5,050种语言对的语言和非语言因素。使用基于BERT的LaBSE和基于BiLSTM的LASER作为我们的模型，圣经作为我们的语料库，我们计算了一个基于任务的跨语言对齐的措施，在形式的双语检索性能，以及四个内在的措施向量空间对齐和同构。然后，我们研究了一系列的语言，准语言和训练相关的功能，这些对齐指标的潜在预测。我们的分析结果表明，词序一致性和形态复杂性的一致性是两个最强的语言预测跨语言性。我们还注意到，家族内的训练数据作为一个比语言特定的训练数据更强的预测器。我们验证了我们的一些语言学研究结果，通过观察形态分割对英语-因纽特语对齐的影响，除了研究词序协议对来自不同语料库的66个zero-shot语言对同构的影响。我们公开了实验的数据和代码。
2021-09-13 cs.AI cs.CL cs.LG
Responsible Multilingual Large Language Models: A Survey of Development, Applications, and Societal Impact
Forth AI；Shopee
本文综述负责任的多语言大语言模型，提出覆盖数据到部署的端到端框架，结合 Llama2 优化策略与跨学科分析，指导构建更包容的多语言 AI。
2024-10-23 cs.AI cs.CL
Self-Distilled Quantization: Achieving High Compression Rates in Transformer-Based Language Models
Huawei Ireland Research Center（华为爱尔兰研究中心）
针对 Transformer 多语言模型的量化压缩问题，提出自蒸馏量化方法 SDQ，以最小化累积量化误差，在 XLM-R-Base 和 InfoXLM-Base 上实现 32 位到 8 位压缩并保持 XGLUE 性能。
2023-07-12 cs.CL cs.LG
HealMed: Multilingual Evaluation of Large Language Models in Medicine
HealMed Research Team（HealMed研究团队）
本研究推出医学领域大语言模型多语言评估基准HealMed，经多国专家历时两年开发，实验发现低资源语言性能下降明显，专有模型更稳定，医学专业知识不保证多语言鲁棒性，翻译质量影响评估结果。
2026-08-21 cs.CL
Overcoming Language Barriers: Multilingual Analysis of the 2023 Swiss Privacy Law's Impact
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
研究2023年瑞士隐私法与欧盟法规对齐对瑞士网站隐私政策的影响，开发基于大语言模型的管道提取法律信息，应用于超35000个网站隐私政策，发现政策中数据主体权利披露增加，还揭示了政策生成器对披露率的影响。
2026-07-16 cs.CL
Hidden Language Consistency Phenomena in Reasoning LLMs
Kansas State University（堪萨斯州立大学）；Cohere（Cohere公司）
该研究以PolyMath基准测试集探究推理模型的语言一致性，发现难度提升会导致多语言模型输出语言一致性骤降，量化对一致性的影响独立于准确率，多语言能力需结合准确率、一致性与难度评估。
2026-08-25 cs.AI cs.CL
Tracing Stereotypes from Representation to Output in Multilingual LLMs
Saarland University（萨尔大学）；Queen’s University Belfast（贝尔法斯特女王大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Technology Nuremberg（纽伦堡工业大学）
本文通过探针、归因修补和稀疏自编码器等方法，追踪多语言大模型中刻板印象的表征位置与输出影响，发现探针早于归因且跨语言效应有限。
2026-09-09 cs.AI cs.CL
On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages
University of British Columbia（不列颠哥伦比亚大学）；Singapore Management University（新加坡管理大学）；JetBrains Research（JetBrains研究院）
Ahmed和Devanbu最近的一项研究报告说，使用多语言数据集编写的代码语料库来微调多语言预训练语言模型（PLM），与使用仅用一种程序设计语言编写的代码语料库相比，可以实现更高的性能。然而，没有进行分析，就微调单语PLM。此外，某些程序设计语言本质上是不同的，并且用一种语言编写的代码通常不能与其它语言互换，即，Ruby和Java代码具有非常不同的结构。为了更好地理解单语和多语言PLM如何影响不同的程序设计语言，我们调查1）在Ruby上的PLM的性能两个流行的软件工程任务：代码摘要和代码搜索，2）策略（选择程序设计语言），以及微调多语言PLM的Ruby，和3）性能的微调PLM在Ruby上给定不同的代码长度。在这项工作中，我们分析了一百多个预先训练和微调的模型。我们的研究结果表明：1）多语言PLM具有较低的性能时间比（BLEU，METEOR，或MRR分数在微调持续时间）相比，单语PLM，2）我们提出的策略，选择目标程序设计语言微调多语言PLM是有效的：它减少了微调的时间，但在代码摘要和代码搜索任务中实现了更高的性能，以及3）我们提出的策略在不同的码长上一致地显示出良好的性能。
2022-04-05 cs.CL cs.PL cs.SE
The Price of Thought: A Multilingual Analysis of Reasoning, Performance, and Cost of Negotiation in Large Language Models
Computational Linguistics, Department of Linguistics University of Potsdam（波恩-博兹恩大学语言学系）；German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI））；Free University of Bozen-Bolzano（博兹恩-博尔扎诺自由大学）
本研究分析了多语言环境下大型语言模型谈判能力的表现与成本，发现启用推理能提升谈判效果但增加计算成本，且开源模型在多语言谈判中倾向于使用英语推理。
2026-01-09 cs.AI cs.CL
The Uneven Impact of Post-Training Quantization in Machine Translation
NICT（日本信息与通信技术研究所）
本文首次大规模评估训练后量化对55种语言机器翻译的影响，发现4比特量化对高资源语言影响较小，但低资源语言在2比特下显著退化，并指出GGUF量化在低比特下表现最稳定。
2025-08-28 cs.CL
Scaling Laws for Multilingual Neural Machine Translation
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）
在这项工作中，我们提供了一个大规模的实证研究的多语言神经机器翻译模型的缩放特性。我们研究了模型大小的增加如何影响模型性能，并研究了训练混合物组成对缩放行为的作用。我们发现，改变训练混合物中各个语言对的权重只影响缩放定律的乘法因子。特别是，我们观察到使用不同混合率训练的多语言模型都表现出相同的标度指数。通过一种新的联合缩放定律制定，我们计算分配给每个语言对的参数的有效数量，并检查语言相似性在我们的模型的缩放行为中的作用。我们发现几乎没有证据表明语言相似性有任何影响。相比之下，多语言的方向起着重要的作用，从多种语言翻译成英语的模型具有更多的有效参数，每个任务比他们的反向同行。最后，我们利用我们的观察结果来预测在任何规模下使用任何语言权重训练的多语言模型的性能，大大减少了大型多语言模型中语言平衡所需的工作。我们的研究结果适用于域内和域外测试集以及多个评估指标，如ChrF和BLEURT。
2023-02-19 cs.CL cs.LG
DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Bytedance Speech（字节跳动语音）；Beijing Bytedance Technology Co Ltd（北京字节跳动科技有限公司）
针对多语言ASR中data2vec多层平均导致语言和音素特征耦合的问题，提出DQ-Data2vec，利用指定簇数的K-means量化器解耦浅层语言与中层音素信息，在CommonVoice上PER和WER分别相对降低9.51%和11.58%。
2025-01-23 cs.CL cs.SD eess.AS
Multilingual Contextual Affective Analysis of LGBT People Portrayals in Wikipedia
Carnegie Mellon University（卡内基梅隆大学）
叙事语篇中特定的词汇选择既反映了作者对叙事中人物的态度，也影响着受众的反应。先前的工作已经使用上下文情感分析来研究英语中的人物描述，这是一种自然语言处理（NLP）技术，旨在分析人们如何沿着权力，代理和情感的维度被描绘。我们的工作提出了这种方法的扩展到多语言设置，这是由我们收集的新语料库和一个新的多语言模型。此外，我们还展示了不同语言和文化之间的词汇内涵差异，突出了推广现有英语数据集和方法的难度。然后，我们通过分析三种语言的LGBT社区成员的维基百科传记页面来证明我们的方法的有用性：英语，俄语和西班牙语。我们的研究结果显示了LGBT群体在不同语言中的系统性差异，在叙述和社会偏见的迹象中表现出文化差异。实际上，这个模型可以用来识别维基百科的文章，以进行进一步的手动分析--这些文章可能包含内容空白或对特定社会群体的不平衡表示。
2021-04-08 cs.CL
Adapting BigScience Multilingual Model to Unseen Languages
Brown University（布朗大学）；NAVER LABS Europe（NAVER欧洲实验室）
我们对将新语言（德语和韩语）添加到BigScience的预训练多语言语言模型中的不同策略进行了基准测试，该模型具有13亿个参数，目前支持13种语言。我们调查的因素，影响模型的语言适应性和计算成本和预期性能之间的权衡。
2022-04-11 cs.AI cs.CL cs.LG
Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation
The University of Sydney（悉尼大学）；Beijing University of Technology（北京工业大学）；Edith Cowan University（埃迪斯科文大学）
针对多语言手语翻译中跨语言冲突问题，提出Q-BridgeNet框架，在手语侧用自适应分割等学习离散Q单元，口语侧微调多语言语言模型，实验证明该框架能有效减轻冲突，在多语言手语翻译上性能优异且泛化能力强。
2026-07-14 cs.CL cs.MM
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
Fudan University（复旦大学）；Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）
多语言BERT（mBERT）已经显示出相当大的跨语言句法能力，由此它能够实现句法知识的有效zero-shot跨语言迁移。有些语言之间的迁移比较成功，但尚不清楚是什么导致了这种差异，以及它是否公平地反映了语言之间的差异。在这项工作中，我们调查的语法关系的分布从mBERT在24个类型不同的语言的背景下。我们表明，不同语言的分布之间的距离是高度一致的语法差异的语言形式主义。这种通过自我监督学习的差异在zero-shot迁移中起着至关重要的作用，并且可以通过语言之间的形态句法特性的变化来预测。这些结果表明，mBERT正确地编码语言的方式与语言的多样性和跨语言迁移的机制提供了见解。
2022-12-21 cs.CL
Towards Universal End-to-End Affect Recognition from Multilingual Speech by ConvNets
The Hong Kong University of Science and Technology（香港科技大学）；Human Language Technology Center, Department of Electronic and Computer Engineering（电子与计算机工程系人类语言技术中心）
我们提出了一个端到端的影响识别方法，使用卷积神经网络（CNN），处理多种语言，应用程序的情感和个性识别语音。我们奠定了一个通用模型的基础，该模型可以同时在多种语言上进行训练。由于影响在所有语言中共享，因此我们能够利用语言之间的共享信息，并提高每种语言的整体性能。与仅用每种语言训练的相同模型相比，我们在情感上平均提高了12.8%，在个性上平均提高了10.1%。它是端到端的，因为我们直接将窄带原始波形作为输入。这允许我们接受从任何源记录的音频作为输入，并避免特征提取的开销和信息丢失。基于F分数，它比使用频谱图作为输入的类似CNN在情感方面的表现高12.8%，在个性方面高6.3%。对网络参数和层激活的分析表明，网络学习并提取了第一层中的重要特征，特别是音调，能量和轮廓变化。随后的卷积层通过分析超音段特征来捕获特定于语言的表示。我们的模型代表了一个完全通用的影响识别器的发展，能够识别额外的描述符，如压力，并为未来的情感互动系统的实施的重要一步。
2019-01-19 cs.CL cs.LG eess.AS
How multilingual is Multilingual BERT?
Google Research（谷歌研究院）
在本文中，我们证明了由Devlin等人（2018）发布的多语言BERT（M-BERT）作为从104种语言的单语语料库中预训练的单语言模型，在zero-shot跨语言模型迁移方面表现得非常出色，其中一种语言中的特定于任务的注释用于微调模型以用于另一种语言的评估。为了理解为什么，我们提出了大量的探索实验，表明转移是可能的，甚至在不同的脚本语言，转移类型相似的语言之间的效果最好，单语语料库可以训练模型的代码转换，该模型可以找到翻译对。从这些结果中，我们可以得出结论，M-BERT确实创建了多语言表示，但这些表示表现出影响某些语言对的系统缺陷。
2019-06-04 cs.AI cs.CL cs.LG
Visual Affect Around the World: A Large-scale Multilingual Visual Sentiment Ontology
Columbia University（哥伦比亚大学）；Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Yahoo Labs（雅虎实验室）；JW Player（JW Player公司）
每一种文化和语言都是独一无二的。我们的工作明确地集中在文化和语言的独特性与人类的影响，特别是情绪和情感语义，以及它们如何体现在社会多媒体。我们通过调整最初由Borth et al.（2013）引入的称为形容词-名词对的语义结构来开发情感和情感极化的视觉概念集。我们提出了一种新的依赖于语言的方法来自动发现这些形容词-名词结构。我们展示了如何将此管道应用于社交多媒体平台，以创建大规模的多语言视觉情感概念本体（MVSO）。与Borth et al.（2013）中的平面结构不同，我们的统一本体论是由视觉上可检测的名词的多语言集群和这些名词的情感偏见版本的子集群分层组织的。此外，我们提出了一个基于图像的预测任务，以显示如何推广的语言特定的模型是在多语言的背景下。一个新的，公开可用的数据集，包含12种语言的>15.6K情感偏见视觉概念，具有语言特定的检测器库，>7.36M图像及其元数据。
2015-10-07 cs.CL cs.CV cs.IR
Hybrid Extractive Abstractive Summarization for Multilingual Sentiment Analysis
Instituto Politécnico Nacional (IPN)（国家理工学院（IPN））
本文提出融合TF-IDF抽取与微调XLM-R生成模块的多语言情感分析方法，借助动态阈值和文化适配，在10种语言上提升准确率与计算效率。
2025-06-07 cs.CL
Cross-Lingual Sentiment Misalignment: Auditing Multilingual Language Models for Inversion Risk, Dialectal Representation, and Affective Stability
Institute of Information Technology University of Dhaka（达卡大学信息科技学院）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文通过控制基准框架评估多语言Transformer模型在平行孟加拉语-英语句子对上的表现，揭示了模型在情感反向、同理心不对称和方言表示中的问题，提出需引入情感稳定性指标以提升跨语言可靠性。
2026-04-30 cs.CL cs.HC
Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models?
Appier AI Research（Appier人工智能研究院）；University of Washington（华盛顿大学）；National Taiwan University（台湾国立大学）
本研究探讨大型推理模型在多语言输入下的推理语言选择，发现其默认使用高资源语言，且输入语言推理会降低推理任务性能但有益于文化任务，揭示了语言偏见，为开发更公平模型提供方向。
2025-05-23 cs.CL
How Phonotactics Affect Multilingual and Zero-shot ASR Performance
Delft University of Technology（代尔夫特理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
结合多种语言的录音来训练单个自动语音识别（ASR）模型的想法带来了通用语音表示出现的希望。最近，Transformer编码器-解码器模型已经被证明可以在训练期间呈现的语言的IPA转换中很好地利用多语言数据。然而，它学习的表征在zero-shot迁移到看不见的语言中并不成功。由于该模型缺乏声学模型（AM）和语言模型（LM）的显式因子分解，因此不清楚发音差异或音位结构不匹配在多大程度上影响了性能。为了更深入地了解限制zero-shot ASR传输的因素，我们将编码器-解码器替换为由单独的AM和LM组成的混合ASR系统。然后，我们进行了广泛的评估单语，多语言，和跨语言（zero-shot）的声学和语言模型上的一组13个语音不同的语言。我们发现，从建模跨语言音位结构的增益是有限的，并施加一个太强的模型可能会伤害的zero-shot转移。此外，我们发现，一个多语种的LM损害了多语种的ASR系统的性能，和LM训练中只保留目标语言的音位结构数据是可取的。
2021-02-10 cs.CL cs.SD eess.AS
When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
虽然最近关于多语言语言模型的工作已经证明了它们在下游任务上的跨语言zero-shot传输的能力，但是社区中对于语言之间的哪些共享属性能够实现这种传输缺乏共识。涉及成对自然语言的分析往往是不确定的和矛盾的，因为语言同时在许多语言方面不同。在本文中，我们进行了一项大规模的实证研究，隔离各种语言属性的影响，通过测量zero-shot四个不同的自然语言和他们的同行之间的转移，通过修改方面，如脚本，词序和句法。除此之外，我们的实验表明，当语言的词序不同时，子词重叠的缺乏显著影响zero-shot转移，并且在转移性能和语言之间的词嵌入对齐之间存在强相关性（例如，在NLI的任务上R=0.94）。我们的研究结果呼吁多语言模型的重点明确提高语言之间的词嵌入对齐，而不是依赖于它的隐式出现。
2022-05-03 cs.CL cs.LG
Prune or Retrain: Optimizing the Vocabulary of Multilingual Models for Estonian
本文面向爱沙尼亚语比较重训练 tokenizer 与剪枝未使用 token 两种多语言编码器词表适配方法，发现剪枝不损害 NER 性能，而重训练会降低性能。
2025-01-05 cs.CL
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI（微软研究院人工智能）；University of California, Los Angeles（加州大学洛杉矶分校）
多语言表示将来自许多语言的单词嵌入到单个语义空间中，使得具有相似含义的单词彼此接近，而不管语言。这些嵌入已被广泛用于各种环境中，例如跨语言迁移，其中在一种语言上训练的自然语言处理（NLP）模型被部署到另一种语言。虽然跨语言迁移技术是强大的，他们携带性别偏见从源语言到目标语言。在本文中，我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析，并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明，当我们将嵌入对齐到不同的目标空间时，多语言表示中的偏差大小会发生不同的变化，并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models
Oracle India（甲骨文印度公司）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
阅读过程中的眼动追踪数据是理解语言理解过程中发生的认知过程的有用信息源。不同的语言导致不同的大脑触发，但似乎有一些统一的指标。在本文中，我们描述了我们提交的CMCL 2022共享任务，即预测人类多语言数据集的阅读模式。我们的模型使用来自Transformers的文本表示和一些手工设计的特征，在顶部具有回归层，以预测2个主要眼动追踪特征的平均值和标准差的统计测量。我们训练了一个端到端的模型来从不同的语言中提取有意义的信息，并在两个独立的数据集上测试了我们的模型。我们比较了不同的Transformer模型和消融研究影响模型的性能。我们最终提交的共享任务在SubTask-1中排名第四，在SubTask-2中排名第一。
2022-03-30 cs.CL cs.LG
Lessons learned in multilingual grounded language learning
Tilburg University（蒂尔堡大学）；University of Copenhagen（哥本哈根大学）；Microsoft Research Montreal（微软研究院蒙特利尔）；University of Edinburgh（爱丁堡大学）
最近的工作已经展示了如何通过利用多种语言的图像描述来学习更好的视觉语义嵌入。在这里，我们详细调查哪些条件影响这种类型的接地语言学习模型的性能。我们表明，多语言培训比双语培训更好，并且低资源语言从高资源语言的培训中受益。我们证明，多语言模型可以在翻译或可比句子对上同样良好地训练，并且用多种语言注释同一组图像可以通过额外的标题-标题排名目标进行进一步改进。
2018-09-20 cs.CL
