Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet
University of Amsterdam(阿姆斯特丹大学);Stanford University(斯坦福大学)
提出使用国际音标(IPA)作为多语言分词的语言无关输入表示,通过更平衡的字节-字符分布和跨语言字符重叠,显著提升分词质量,尤其对非拉丁文字和未见语言更有效。
2026-06-23 cs.CL
Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(阿里巴巴集团 Tongyi 实验室)
本文提出跨语言上下文预训练方法CrossIC-PT,通过交错排列语义相关的双语文档并进行下一个词预测,在不依赖平行语料的情况下增强大语言模型的多语言迁移能力,在多个模型和语言上取得显著性能提升。
2025-09-19 cs.CL
Language Drift in Multilingual Retrieval-Augmented Generation: Characterization and Decoding-Time Mitigation
本文针对多语言RAG中因检索证据与查询语言不一致引发的语言漂移问题,剖析其解码器层面的成因,提出无需训练的轻量SCD解码策略,可有效提升多语言场景下的语言对齐度与任务性能。
2025-11-13 cs.CL
EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich(技术学院,慕尼黑技术大学);Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对大语言模型在多语言中的令牌理解能力,提出EXECUTE基准,扩展CUTE至多种文字系统,发现字符或词级问题因语言而异,并评估中日韩子字符理解。
2025-05-23 cs.CL
LangBridge: Multilingual Reasoning Without Multilingual Supervision
KAIST(韩国科学技术院);University of Washington(华盛顿大学);NAVER AI Lab(NAVER AI实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出LangBridge,一种零样本方法,通过引入极少量可训练参数连接多语言理解模型与推理模型,仅用英语数据训练即可显著提升低资源语言在数学、代码、逻辑和常识推理任务上的性能。
2024-06-03 cs.CL
280 Birds with One Stone: Inducing Multilingual Taxonomies from Wikipedia using Character-level Classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们提出了一个简单而有效的方法,从维基百科诱导多语言分类。给定一个英语分类,我们的方法利用维基百科的跨语言链接,然后通过字符级分类器来诱导其他语言的高精度,高覆盖率的分类。通过实验,我们证明,我们的方法显着优于国家的最先进的,复杂的六种语言的方法。由于我们的工作,我们发布了可能是最大和最准确的多语言分类资源,涵盖280多种语言。
2017-09-12 cs.AI cs.CL cs.IR
Continuous multilinguality with language vectors
Stockholm University(斯德哥尔摩大学);University of Helsinki(赫尔辛基大学)
大多数现有的多语言自然语言处理(NLP)模型将语言视为离散的类别,并对一种语言或另一种语言进行预测。相反,我们建议使用语言的连续向量表示。我们表明,这些可以有效地学习与基于字符的神经语言模型,并用于改善在训练过程中看不到的语言品种的推理。在1303圣经翻译成990种不同语言的实验中,我们经验性地探索了多语言语言模型的能力,并表明语言向量捕捉语言之间的遗传关系。
2017-03-19 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用,允许大规模多语言NLP。然而,虽然并不缺乏预训练的嵌入,但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中,我们进行了广泛的评估比较非上下文子词嵌入,即FastText和BPEmb,和上下文表示方法,即BERT,多语言命名实体识别和词性标注。我们发现,总的来说,BERT,BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点:多语言BERT在中高资源语言中表现良好,但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh(爱丁堡大学)
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究,而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点,并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性,我们观察到我们的表征嵌入类型学,并加强与语言关系的相关性。然后,我们利用我们的多视图语言向量空间进行多语言机器翻译,在需要语言相似性信息的任务中,我们实现了具有竞争力的整体翻译准确性,例如语言聚类和多语言转换的候选人排名。使用我们的方法,这也是作为一种工具发布的,我们可以很容易地项目和评估新的语言,而无需昂贵的大量多语言或排名模型的重新训练,这是相关方法的主要缺点。
2020-10-25 cs.CL
Multilingual Neural Machine Translation With Soft Decoupled Encoding
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);Monash University(莫纳什大学)
神经机器翻译(NMT)系统的多语言训练已经在低资源语言上取得了令人印象深刻的准确性改进。然而,在数据匮乏的情况下,有效地学习单词表示仍然存在重大挑战。在本文中,我们提出了软解耦编码(Soft Decoupled Encoding,缩写为DCN),这是一种多语言词典编码框架,专门设计用于智能地共享词典级信息,而不需要启发式预处理,如预分割数据。它通过字符编码来表示单词的拼写,并通过所有语言共享的潜在嵌入空间来表示其语义。在四种低资源语言的标准数据集上进行的实验显示,与强大的多语言NMT基线相比,性能得到了一致的改善,其中一种测试语言的增益高达2 BLEU,在所有四种语言对上都达到了最新的水平。
2019-02-09 cs.CL
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学)
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本,然而,当处理包括多于一种可能语言的内容的多语言文档时,这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务,我们提出了语言词典,一种新的词汇数据库,支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征,这是使用可视化技术揭示的。
2021-06-29 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
为了提高神经机器翻译(NMT)在低资源语言(LRL)上的性能,一个有效的策略是利用相关高资源语言(HRL)的并行数据。然而,已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中,我们的目标是提高多语言传输的NMT模型,翻译\emph{into}的LRL的有效性,通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE},我们提出Decompression,一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明,Deconstruct在从英语翻译到四种不同语言时,可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Evaluating Robustness of LLMs in Question Answering on Multilingual Noisy OCR Data
University of Innsbruck(因斯布鲁克大学);University of La Rochelle(拉罗谢尔大学);University of Ljubljana(卢布尔雅那大学)
本文通过构建包含英法德三语5万问答对的MultiOCR-QA数据集,系统评估了OCR噪声对多语言问答系统中大语言模型性能的影响,揭示了现有模型对噪声文本的脆弱性,并强调需要更具鲁棒性的问答系统。
2025-09-19 cs.CL
Pruning Multilingual Large Language Models for Multilingual Inference
Tokyo Metropolitan University(东京都立大学);Tohoku University(东北大学);Hitotsubashi University(一桥大学)
本文提出利用多语言大语言模型的跨语言对齐能力,识别并保留翻译关键大幅度特征对应权重、剪枝其余权重,从而提升其非英语零样本推理性能。
2024-10-02 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
$μ^2$-Bench: A Multilingual Machine Unlearning Benchmark
Seoul National University(首尔大学);AIIS, Seoul National University(首尔大学AIIS)
本文提出多语言机器遗忘基准$\mu^2$-Bench,覆盖多语言并评估训练与保留语言,证明有效遗忘需考虑多语言特性。
2026-09-21 cs.CL
An Approach for Resource Sharing in Multilingual NLP
在本文中,我们描述了一种方法,用于分析文件在德语和英语的共享资源池。对于德国文件的分析,我们使用一个文件套件,它支持用户的任务,如信息检索和信息抽取。文档套件的核心是基于我们的工具XDOC。现在我们也想利用这些方法来分析英语文档。为此,我们需要资源的多语言演示格式。这些资源必须转换成一个统一的格式,我们可以根据分析的文件设置有关语言特征的附加信息。在本文中,我们描述了这样一个基于XML的多语言资源交换模型的方法。
2003-04-23 cs.CL
BIASEDTALES-ML: A Multilingual Dataset for Analyzing Narrative Attribute Distributions in LLM-Generated Stories
School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院,中国沈阳);NiuTrans Research, Shenyang, China(NiuTrans研究院,中国沈阳)
本文提出BiasedTales-ML数据集,通过多语言生成分析叙述属性分布,揭示跨语言生成模式的差异,强调英语中心评估的局限性。
2026-04-18 cs.CL
Learning Joint Multilingual Sentence Representations with Neural Machine Translation
Facebook AI Research(Facebook 人工智能研究院)
在本文中,我们使用神经机器翻译的框架来学习六种不同语言的联合句子表示。我们的目标是一个表示,这是独立的语言,很可能会捕捉到潜在的语义。我们定义了一种新的跨语言相似性度量,比较了多达1.4M的句子表示,并研究了接近句子的特征。我们提供的实验证据表明,在嵌入空间接近的句子确实是语义高度相关的,但往往有相当不同的结构和语法。这些关系在比较不同语言的句子时也成立。
2017-08-08 cs.CL
Mere account mein kitna balance hai? -- On building voice enabled Banking Services for Multilingual Communities
Carnegie Mellon University(卡内基梅隆大学)
语音和语言处理的巨大进步使语言技术更接近人类的日常生活。语音技术有潜力在数字化的各个方面发挥横向赋能层的作用。在大流行病等情况下,这对农村社区特别有益。在这项工作中,我们提出了我们的初步探索工作,朝着这样一个方向-建立语音支持的银行服务,为多语言社会。多语言社区中典型银行交易的语音交互涉及填充停顿的存在,并且以代码混合为特征。语码混用是指一种语言的词汇嵌入另一种语言的话语中的现象。因此,为银行应用程序部署的语音系统应该能够处理这样的内容。在我们的工作中,我们研究了各种训练策略,用于构建基于语音的意图识别系统。我们提出了我们的研究结果使用朴素贝叶斯分类近似声学电话单位使用异特龙图书馆。
2020-10-09 cs.CL
Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs
College of Computer and Information Sciences, King Saud University(沙特国王大学计算机与信息科学学院)
该研究以7种语言的6787个谚语实例为对象,评估多语言模型在比喻语言识别中的表现,发现约50%多语言训练数据可实现近最优性能,文化特异性比喻形式收益最大,推动相关框架向多维概念模型发展。
2026-09-24 cs.CL
Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models
Center for Information and Language Processing (CIS)(信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);ScaDS.AI and TU Dresden(ScaDS.AI 和 梅克伦堡-前波美拉尼亚技术大学);Department of Statistics, LMU Munich(统计学系,慕尼黑大学);University of Maryland, College Park(马里兰大学 College Park 分校)
本文提出分解提示方法,将序列标注任务拆分为逐词元提示,在38种语言的词性标注上验证其优于迭代提示基线,并揭示多语言提示下的语言知识迁移规律。
2025-11-06 cs.CL
Multilingual Multimodality: A Taxonomical Survey of Datasets, Techniques, Challenges and Opportunities
Meta
超越单一语言的语境化语言技术引发了对多种形式和语言的拥抱。单独地,这些方向中的每一个无疑会扩散到几个NLP任务中。尽管如此,大多数多模态研究主要集中在英语和多语言研究主要集中在文本模态的上下文。在这种传统设置的基础上,研究人员研究了多语言和多模式(MultiX)流的统一。这项工作的主要目标是通过绘制任务,数据集和方法的类别来分类和描述这些工作,以解决MultiX场景。为此,我们回顾了所研究的语言,并行注释的黄金或白银数据,并了解这些模式和语言在建模中如何相互作用。我们介绍了建模方法及其优缺点,以更好地了解它们可以可靠地使用的场景。在此之后,我们提出了该领域整体范式的高层次趋势。最后,我们提出了一个挑战和有前途的研究方向的路线图。
2022-10-30 cs.CL
Efficient Social Network Multilingual Classification using Character, POS n-grams and Dynamic Normalization
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔理工学院);Centro Nacional de Investigación y Desarrollo Tecnológico(国家研究与技术开发中心);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
在本文中,我们描述了一个动态的规范化过程应用于社交网络多语言文档(Facebook和Twitter),以提高性能的作者分析任务的短文本。在标准化过程之后,获得字符的$n$元和POS标签的n元,以提取文档中编码的所有可能的风格信息(表情符号、字符泛洪、大写字母、对其他用户的引用、超链接、主题标签等)。SVM的实验表明,高达90%的性能。
2017-02-21 cs.CL cs.IR cs.SI
Multilingual Language Processing From Bytes
Google Research(谷歌研究院)
我们描述了一个基于LSTM的模型,我们称之为Byte-to-Span(BTS),它将文本读取为字节,并输出[start,length,label]形式的span注释,其中开始位置,长度和标签是我们词汇表中的单独条目。因为我们直接操作unicode字节而不是特定于语言的单词或字符,所以我们可以用一个模型分析多种语言的文本。由于词汇量小,这些多语言模型非常紧凑,但产生的结果类似于或优于仅使用提供的训练数据集(没有外部数据源)的词性标记和命名实体识别的最新技术。我们的模型是“从头开始”学习的,因为它们不依赖于自然语言处理(包括标记化)中标准管道的任何元素,因此可以在原始文本上以独立的方式运行。
2016-04-02 cs.CL
Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages?
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文考察多语言LLM中人类价值概念的线性表示,发现跨语言不一致、语言关系扭曲及高低资源语言间单向迁移,并验证以主导语言控制价值对齐的可行性。
2024-10-02 cs.CL
UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining
Google Research(谷歌研究院)
本文提出UniMax采样方法,通过限制低资源语言重复次数并均匀覆盖高资源语言,在多语言预训练中优于传统温度采样,并发布29万亿字符的mC4语料库及umT5模型检查点。
2023-04-18 cs.CL
Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
MPI for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学);Utrecht University(乌得勒支大学);University of Glasgow(格拉斯哥大学);University of Southern Denmark(南丹麦大学)
本文通过对比 mT5 与 ByT5 在 17 种语言上的形态学探测任务,分析分词策略对多语言模型形态知识编码的影响,发现形态信息集中于中后期层,且不规则语言更受益于更多预训练数据。
2024-10-21 cs.CL
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google(谷歌)
我们提出了两个端到端的模型:音频到字节(A2 B)和字节到音频(B2 A),多语种语音识别和合成。先前的工作主要使用字符,子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言,特别是在多语言处理的情况下。在这项工作中,我们通过一个Unicode字节序列,具体地说,每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax,并在多语言模型中共享表示。我们表明,字节优于字形字符在各种各样的语言单语端到端语音识别。此外,我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中,我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后,我们提出了一个端到端的多语言语音合成模型,使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
On the Strength of Character Language Models for Multilingual Named Entity Recognition
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学)
在英语命名实体识别系统中,文本级模式被广泛用作特征。然而,到目前为止,还没有直接调查文本中名称和非名称标记之间的内在差异,也没有这种属性是否适用于多种语言。本文分析了语料库不可知的命名者级语言模型(CLM)在区分名称标记和非名称标记的二元任务中的能力。我们证明,CLMs提供了一个简单而强大的模型来捕捉这些差异,识别命名实体令牌在一组不同的语言在接近完整的NER系统的性能。此外,通过添加非常简单的基于CLM的功能,我们可以显着提高一个现成的多语言NER系统的性能。
2018-09-20 cs.CL cs.IR
Phonological Interference in Multilingual Speech Models
Tel Aviv University(特拉维夫大学);University of Miami(迈阿密大学)
本研究发现多语言语音模型存在音系干扰问题,提出窗口化语言估计(WLE)修复方法,可消除代码转换输入中34%-69%的干扰且不影响单语言性能。
2026-10-14 cs.CL cs.LG
Inducing Multilingual Text Analysis Tools Using Bidirectional Recurrent Neural Networks
CEA, LIST, LVIC(法国原子能与替代能源委员会,信息与系统技术实验室,LVIC);LIG, Univ. Grenoble-Alpes(格勒诺布尔计算机科学实验室,格勒诺布尔-阿尔卑斯大学)
这项工作的重点是快速开发的语言注释工具,资源贫乏的语言。我们使用循环神经网络(RNN)模型实验了几种跨语言注释投影方法。我们的方法的显着特点是,我们的多语种单词表示只需要一个平行的语料库之间的源和目标语言。更确切地说,我们的方法具有以下特点:(a)它不使用单词对齐信息,(b)它不假设任何关于外语的知识,这使得它适用于广泛的资源贫乏的语言,(c)它提供真正的多语言标记。我们研究了单向和双向RNN模型,并提出了一种方法,将外部信息(例如来自POS的低级别信息)包含在RNN中,以训练更高级别的标记器(例如,超感标记器)。我们证明了我们的模型的有效性和通用性,通过使用平行语料库(手动或自动翻译获得)。我们的实验是为了诱导跨语言的词性标注和超义标注。
2016-09-29 cs.CL
Multilingual Multi-Figurative Language Detection
University of Groningen(格罗宁根大学)
针对多语言及多比喻修辞同时检测研究不足的问题,本文构建涵盖三种修辞、七种语言的句子级基准,并用基于模板提示学习的统一框架超越多个强基线。
2023-05-31 cs.CL
When Abundance Conceals Weakness: Knowledge Conflict in Multilingual Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Hangzhou Dianzi University(杭州电子科技大学)
研究提出CLEAR框架,分析多语言模型在跨语言知识冲突中的解决机制,揭示任务类型对冲突解决的影响,显示语言资源丰富度与语言亲和力在不同任务中的决定性作用。
2026-01-11 cs.CL
Advocating Character Error Rate for Multilingual ASR Evaluation
IIIT Kottayam(科塔亚姆印度信息技术学院);University of Auckland(奥克兰大学);College of Engineering Trivandrum(特里凡得琅工程学院);University of Kerala(喀拉拉大学)
本文指出词错误率(WER)在多语言ASR评估中的局限性,通过三种语言的人工评估证明字符错误率(CER)与人类判断更相关,并倡导将CER作为多语言ASR评估的主要或补充指标。
2024-10-18 cs.CL cs.SD eess.AS
PolyIPA -- Multilingual Phoneme-to-Grapheme Conversion Model
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本研究提出多语种音素到字形转换模型PolyIPA,借助两个数据增强辅助模型处理跨语言近音与语音变体,在多语种测试集上取得优异表现,集束搜索进一步降低错误率,适用于跨语言音译等场景。
2024-12-12 cs.AI cs.CL
Improving Multilingual Social Media Insights: Aspect-based Comment Analysis
Institute for Infocomm Research, A*STAR, Singapore(信息与通信研究所)
针对社交媒体文本多样性带来的下游NLP任务挑战,提出基于方面术语生成(CAT-G)的多语言大模型微调方法,并贡献首个涵盖四种语言的多语言CAT-G测试集以评估跨语言性能。
2025-05-29 cs.CL
Automatic register identification for the open web using multilingual deep learning
University of Turku(图尔库大学)
本文提出多语言深度学习模型,用于识别开放网络中的文本注册,通过多标签分类在16种语言中达到79%的F1值,并发现性能上限源于注册本身的歧义性。
2026-10-05 cs.CL
Assessing the Political Fairness of Multilingual LLMs: A Case Study based on a 21-way Multiparallel EuroParl Dataset
本研究通过21种语言的EuroParl数据集评估多语言大语言模型的政治公平性,发现多数政党翻译质量优于边缘政党。
2026-03-11 cs.CL
Qwenfant: Train Big Character-level BabyLMs on Concise Parallel Text
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
该研究针对2026 BabyLM Challenge多语言赛道,用LLM处理的合成高质量数据、更大模型及字符级词汇(需LoRA微调)训练出Qwenfant,获该赛道排名第一。
2026-10-15 cs.CL
Language Detection Engine for Multilingual Texting on Mobile Devices
Samsung R&D Institute Bangalore(三星班加罗尔研发中心)
全球超过20亿移动用户在软键盘上输入多种语言。在单语键盘上,38%的错误自动纠正单词在另一种语言中有效。这可以通过检测键入单词的语言,然后用相应的语言验证它来轻松避免。语言检测是自然语言处理中的一个重要问题。在本文中,我们提出了一个快速,轻量级和准确的语言检测引擎(LDE)的多语种打字,动态适应用户预期的语言实时。本文提出了一种新的语言识别方法,将字符N-gram模型和基于逻辑回归的选择器模型相融合。此外,我们提出了一个独特的方法,减少推理时间显着的参数减少技术。我们还讨论了在LDE中制造的各种优化,以解决具有相同字符模式的语言之间的输入文本中的歧义。我们的方法证明了一个平均准确率为94.5%的拉丁字母的印度语言和98%的欧洲语言的代码转换数据。在欧洲语言的F1评分中,该模型优于fastText 60.39%和ML-Kit 23.67%。LDE在移动终端上更快,平均推理时间为25.91微秒。
2021-01-07 cs.CL
FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation
Google(谷歌)
本文提出 FLEURS-ASL 基准,将美国手语扩展至多语言多任务评估中,支持 ASL 与 200 种文本或 102 种语音语言间的翻译,并提供统一建模基线,揭示了前沿多模态模型对 ASL 的理解不足。
2024-08-24 cs.CL cs.CV
Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
本文提出表征迁移潜力(RTP)度量多语言机器翻译中的知识迁移与干扰,并利用多平行语料设计辅助相似性损失训练方案,有效提升低中资源语言的翻译质量。
2023-12-04 cs.CL
A New Generation of Perspective API: Efficient Multilingual Character-level Transformers
Jigsaw;Google Research(谷歌研究院)
在万维网上,有毒内容检测器是抵御潜在仇恨和攻击性信息的关键防线。因此,构建高效的分类器以实现更安全的互联网是一个重要的研究领域。此外,网络是一个高度多语言、跨文化的社区,随着时间的推移,它会发展出自己的行话。因此,开发跨各种语言、用法和风格的有效模型至关重要。在本文中,我们介绍了Google Jigsaw的下一个版本的Perspective API背后的基本原理。该方法的核心是一个单一的多语言无令牌Charformer模型,适用于各种语言,域和任务。我们证明,通过放弃静态词汇表,我们获得了各种设置的灵活性。我们还概述了技术,使这样一个字节级模型的生产效率和可行性。通过对来自真实API流量的多语言有毒评论分类基准进行广泛的实验,并对一系列代码切换,隐蔽毒性,基于表情符号的仇恨,人类可读混淆,分布偏移和偏见评估设置进行评估,我们表明我们提出的方法优于强大的基线。最后,我们提出了我们的调查结果,从部署这个系统在生产中。
2022-02-22 cs.AI cs.CL cs.CY
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen(格罗宁根大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
双向长短期记忆(bi-LSTM)网络最近被证明可以成功地用于各种NLP序列建模任务,但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题,并评估双LSTM与字,字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型,它将POS标记损失函数与一个辅助损失函数相结合,该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能,尤其适用于形态复杂的语言。我们的分析表明,双LSTM对训练数据大小和标签损坏(在小噪声水平下)的敏感性低于以前的假设。
2016-07-21 cs.CL
Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能研究院)
包含数十种甚至数百种语言的大规模多语言模型对多任务优化提出了巨大挑战。虽然它是一种常见的做法,应用语言无关的过程优化联合多语言任务目标,如何正确地表征和利用其底层的问题结构,以提高优化效率仍然是探索不足。在本文中,我们试图通过损失函数几何的镜头窥视的黑箱多语言优化。我们发现,沿优化轨迹测量的梯度相似性是一个重要的信号,它不仅与语言接近度,而且与整体模型性能密切相关。这种观察有助于我们确定现有的基于梯度的多任务学习方法的关键限制,因此我们得到了一个简单的和可扩展的优化过程,称为梯度疫苗,它鼓励更多的几何对齐的参数更新接近的任务。从经验上看,我们的方法在多语言机器翻译和多语言语言模型的XTREME基准测试任务上获得了显着的模型性能提升。我们的工作揭示了在多语言优化中正确测量和利用语言接近度的重要性,并且对多语言建模之外的多任务学习具有更广泛的影响。
2020-10-12 cs.CL cs.LG
Assessing Multilingual Fairness in Pre-trained Multimodal Representations
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近预训练的多模态模型,如CLIP,在连接图像和自然语言方面表现出了卓越的能力。英语的文本表征可以被期望地转移到多语言,并支持不同语言的下游多模态任务。然而,多语言公平原则很少被仔细审查:多语言多模态模型是否平等对待语言?他们的表现是否偏向于特定的语言?为了回答这些问题,我们将语言视为公平性的接受者,并为预训练的多模态模型引入了两个新的公平性概念,多语言个体公平性和多语言群体公平性。多语言个体公平性要求不同语言中表达相似语义的文本片段与图像的连接相似,而多语言群体公平性要求跨语言的预测性能均衡。我们描述了预先训练的多语言视觉和语言表示在多大程度上对不同语言都是公平的。然而,大量的实验表明,多语言表示并不能满足群体公平性:(1)存在严重的多语言准确性差异问题;(2)错误表现出跨语言的偏见,影响图像中的人群,包括种族,性别和年龄。
2022-03-16 cs.AI cs.CL cs.LG
hmBERT: Historical Multilingual Language Models for Named Entity Recognition
Bayerische Staatsbibliothek München(慕尼黑巴伐利亚州立图书馆);University of Vienna(维也纳大学);Volkswagen AG(大众汽车集团)
与标准的命名实体识别(NER)相比,识别历史文本中的人物、地点和组织是一个很大的挑战。为了获得机器可读的语料库,通常需要对历史文本进行扫描并进行光学字符识别(OCR)。因此,历史语料库中存在错误。此外,位置或组织等实体可能会随着时间的推移而变化,这构成了另一个挑战。总的来说,历史文本有几个特点,与现代文本有很大的不同,并且用于训练神经标记器的大型标记语料库几乎不适用于这个领域。在这项工作中,我们通过训练大型历史语言模型来解决历史德语,英语,法语,瑞典语和芬兰语的NER。我们通过使用未标记的数据来预训练语言模型,从而避免了对大量标记数据的需求。我们提出了hmBERT,一个历史的多语言BERT为基础的语言模型,并发布了不同大小的几个版本的模型。此外,作为今年HIPE-2022共享任务的一部分,我们通过解决下游NER来评估hmBERT的能力,并提供详细的分析和见解。对于多语言经典评论粗粒度NER挑战,我们的标记器HISTEria在三种语言中的两种语言上优于其他团队的模型。
2022-07-01 cs.CL
BOUTEF: A Multilingual Corpus for FakeNews in North Africa -- Language as a Weapon
Loria, CNRS, Université de Lorraine(Loria研究所、法国国家科学研究中心、洛林大学)
本文构建了包含阿尔及利亚和突尼斯多语种(MSA、方言、Arabizi、法语、英语等)的假新闻语料库BOUTEF,通过定量与定性分析揭示了假新闻依赖情感化叙事、耸人听闻框架和混合语言实践来增强传播力,而辟谣内容则更注重事实和验证。
2026-06-12 cs.CL
Multilingual vs Crosslingual Retrieval of Fact-Checked Claims: A Tale of Two Approaches
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所)
本文研究多语言与跨语言事实核查声明检索,通过负例选择和LLM重排序策略,在47种语言数据集上验证了LLM重排序加句子相似度负例微调效果最佳,并揭示跨语言设置具有独特特征。
2025-09-22 cs.CL
Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings?
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本文系统比较了基于 LASER、LaBSE 和 Sentence BERT 的多语言文档嵌入方法,发现在 8 种语言的多语言与跨语言任务中,巧妙组合句子嵌入通常优于直接编码完整文档,且分类任务可用简单平均,语义任务则需更复杂组合。
2023-04-28 cs.CL cs.IR
Improving Language and Modality Transfer in Translation by Character-level Modeling
FAIR at Meta, Paris(Meta巴黎FAIR实验室);Universitat Politècnica de Catalunya, Barcelona(巴塞罗那理工大学)
提出基于字符级建模的翻译方法,利用SONAR嵌入空间和师生框架训练字符级编码器,并通过轻量级适配器连接多语言ASR模型,在低资源文本和语音翻译任务上实现了更优的语言迁移与零样本泛化性能。
2025-05-30 cs.CL
Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、ISIR);CREST, CNRS, Institut Polytechnique de Paris(CREST、国家科学研究中心、巴黎高等理工学院)
研究多语言LLM在价值导向选择题中的回答一致性,发现语言影响回答,需进一步探讨偏好微调的作用。
2026-02-05 cs.CL
Generalising Multilingual Concept-to-Text NLG with Language Agnostic Delexicalisation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
概念到文本的自然语言生成是将输入的意义表示用自然语言表示的任务。在这项任务中,以前的方法已经能够通过依赖于输入的非词汇化来概括罕见或看不见的实例。但是,这通常要求输入在输出文本中逐字出现。这在多语言环境中提出了挑战,其中任务扩展到在给定相同输入的情况下以多种语言生成输出文本。在本文中,我们探讨了多语言模型在概念到文本中的应用,并提出了语言不可知的去词汇化,这是一种新的去词汇化方法,它使用多语言预训练的嵌入,并采用字符级的后编辑模型在去词汇化过程中以正确的形式改变单词。我们在五个数据集和五种语言上的实验表明,多语言模型在概念到文本方面优于单语言模型,我们的框架优于以前的方法,特别是对于低资源语言。
2021-09-09 cs.CL cs.LG