Progress in cross-lingual modeling depends on challenging, realistic, and diverse evaluation sets. We introduce Multilingual Knowledge Questions and Answers (MKQA), an open-domain question answering evaluation set comprising 10k question-answer pairs aligned across 26 typologically diverse languages (260k question-answer pairs in total). Answers are based on a heavily curated, language-independent data representation, making results comparable across languages and independent of language-specific passages. With 26 languages, this dataset supplies the widest range of languages to-date for evaluating question answering. We benchmark a variety of state-of-the-art methods and baselines for generative and extractive question answering, trained on Natural Questions, in zero shot and translation settings. Results indicate this dataset is challenging even in English, but especially in low-resource languages
No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study
Wageningen University and Research（瓦赫宁根大学与研究中心）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Koç University（科克大学）；KUIS AI Lab（KUIS人工智能实验室）
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Uppsala University（乌普萨拉大学）；The Ohio State University（俄亥俄州立大学）；University of Turku（图尔库大学）；Charles University in Prague（布拉格查理大学）；Stanford University（斯坦福大学）；Indiana University（印第安纳大学）
How desirable is alignment between LLMs and linguistically diverse human users?
Humboldt-Universität zu Berlin（柏林洪堡大学）；Berlin School of Mind and Brain（柏林心智与大脑学院）；Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technische Universität Berlin（柏林工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
Morphology Matters: A Multilingual Language Modeling Analysis
University of Illinois（伊利诺伊大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Indiana University（印第安纳大学）；University of Chicago（芝加哥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering
National University of Singapore（新加坡国立大学）；Beijing University of Posts and Telecommunication（北京邮电大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）
Lost in Reordering: Structural Sensitivity of Multilingual LLMs under Semantics-Preserving Perturbations
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
Disentangling Language and Culture for Evaluating Multilingual Large Language Models
Singapore Management University（新加坡管理学院）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院）；DAMO Academy, Alibaba Group（阿里集团大模型实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
Scaling Crowdsourced Election Monitoring: Construction and Evaluation of Classification Models for Multilingual and Cross-Domain Classification Settings
Neural Machine Translation for Multilingual Grapheme-to-Phoneme Conversion
Amazon.com, Inc.（亚马逊公司）
字素到音素（G2 P）模型是自动语音识别（ASR）系统（例如Alexa中的ASR系统）中的关键组件，因为它们用于为发音词典中不存在的词汇表外单词生成发音（如“e c h o”到“E k oU”的映射）。大多数G2 P系统是单语的，并且基于传统的基于联合序列的n-gram模型[1，2]。作为替代方案，我们提出了一个单一的端到端训练的神经G2 P模型，该模型在多种语言中共享相同的编码器和解码器。这使得该模型能够利用类似拉丁字母的通用符号库存和跨语言共享的特征表示的组合。这种模型在低资源语言和代码切换/外来词的场景中特别有用，其中一种语言的发音需要适应其他地区或口音。我们进一步实验单词语言分布向量作为额外的训练目标，以通过帮助模型在参数空间中解耦各种语言的发音来提高系统性能。与单语基线相比，我们发现低资源语言的音素出错率平均改善了7.2%，而高资源语言的音素错误率没有下降。
Crossing the Conversational Chasm: A Primer on Natural Language Processing for Multilingual Task-Oriented Dialogue Systems
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；PolyAI Limited（PolyAI有限公司）
NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages
Bloomberg（彭博）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；HKUST（香港科技大学）；Universitas Indonesia（印度尼西亚大学）；INACL（印度尼西亚计算语言学协会）；The University of Melbourne（墨尔本大学）；Telkom University（电信大学）；Kanda University of International Studies（神田外语大学）；University of Zurich（苏黎世大学）；Google Research（谷歌研究院）
The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks
Alibaba International Digital Commerce（阿里巴巴国际数字商业集团）；Monash University（墨尔本大学）；The University of Edinburgh（爱丁堡大学）；Tsinghua University（清华大学）；Universität Hamburg（汉堡大学）
