ASR-free CNN-DTW keyword spotting using multilingual bottleneck features for almost zero-resource languages
Stellenbosch University（斯泰伦博斯大学）；Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）；UN Global Pulse（联合国全球脉动）；University of Edinburgh（爱丁堡大学）
我们考虑多语言瓶颈功能（BNF），几乎零资源的关键字定位。这是联合国利用关键词识别支持非洲语言资源严重不足地区人道主义救济方案的一部分。我们使用1920个孤立的关键字（40种类型，34分钟）作为动态时间规整（DTW）模板匹配，这是一个更大的身体上进行的未转录的语音样本。这些DTW成本被用作卷积神经网络（CNN）关键字定位器的目标，从而提供比直接DTW快得多的系统。在这里，我们考虑如何从资源丰富的语言的可用数据可以改善这种CNN-DTW方法。我们发现，在10种语言上训练的多语言BNF相对于MFCC基线将CNN-DTW系统的ROC曲线下面积提高了10.9%。通过将基于低资源DTW的监督与来自资源丰富的语言的信息相结合，CNN-DTW是低资源关键字发现的一个有竞争力的选择。
2018-07-23 cs.CL stat.ML
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University（斯泰伦博斯大学）
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu，英语-isiXhosa，英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明，TDNN-F声学模型受益于额外的半监督数据，并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型，半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低，第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的，但当所有自动转录的数据都用于训练时，而不仅仅是被归类为英语-祖鲁语的话语时，获得了最好的结果。尽管减少了困惑，半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Exploiting multilingual nomenclatures and language-independent text features as an interlingua for cross-lingual text analysis applications
我们提出了一个简单而有效的基本方法，用于许多多语言和跨语言的语言技术应用程序，这些应用程序不仅限于通常的两种或三种语言，而且可以相对较少地应用于更大的语言集。这一方法包括利用现有的多种语文资源，如叙词表、名词和地名录，以及利用存在的其他或多或少与语文无关的文本项目，如日期、货币表达、数字、名称和同源词。将文本映射到多语言资源上并识别不同语言文本之间的单词标记链接是跨语言文档相似度计算、多语言聚类和分类、跨语言文档检索以及提供跨语言信息访问的工具等应用程序的基本成分。
2006-09-12 cs.CL cs.IR
Representing Interlingual Meaning in Lexical Databases
University of Trento（特伦托大学）；Jilin University（吉林大学）
在当今的多语言词汇数据库中，世界上大多数语言都没有被充分代表。除了资源不完整的问题，我们表明，现有的词汇数据库结构上的限制，导致在特定文化的话，并在跨语言映射它们的表现力降低。特别是，主要语言，如英语的词汇意义空间，更准确地表示，而语言或文化多样性的语言以近似的方式映射。我们的论文评估国家的最先进的多语种词汇数据库，并评估其优势和局限性，就其表达语言多样性的词汇现象。
2023-01-22 cs.AI cs.CL
Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
Department of Electrical Engineering, Indian Institute of Technology Delhi（印度理工学院德里电气工程系）；Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（印度理工学院德里人工智能学院）
研究探讨多语言大语言模型在处理双语词时，如何通过拼写和语义特征进行区分，发现模型在处理双语同形词时存在显著困难，倾向于依赖拼写相似性而非语义理解。
2026-03-18 cs.CL
A Multilingual FrameNet-based Grammar and Lexicon for Controlled Natural Language
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
Berkeley FrameNet是基于框架语义学理论的英语词汇语义资源库。它已被广泛用于自然语言处理应用程序中，并启发了许多语言的框架网的开发。我们提出了一种方法论的方法来提取和生成一个计算多语言的基于FrameNet的语法和词汇。该方法利用FrameNet标注语料库自动提取一组跨语言语义-句法配价模式。基于伯克利框架网和瑞典框架网的数据，所提出的方法已经实现了语法框架（GF），一个类别的语法形式主义专门为多语言语法。语法和词典的实现由FrameNet的设计支持，在GF资源语法库已经提供的语际语法API之上提供框架语义抽象层，语际语义API（应用程序编程接口）。对习得的语法和词汇的评价表明了该方法的可行性。此外，我们说明了如何在两个不同的多语言控制的自然语言的应用程序中利用基于FrameNet的语法和词典。所生成的资源在开源许可证下可用。
2015-11-12 cs.CL
Acoustic Word Embeddings for Untranscribed Target Languages with Continued Pretraining and Learned Pooling
The University of Edinburgh（爱丁堡大学）
本文针对未转写目标语言的声学词嵌入，提出用持续预训练适配自监督模型，并用 MPR 挖掘音素 n-gram 对训练池化函数，在四种语言上提升词区分性能且显著快于 KNN。
2023-06-03 cs.CL cs.LG cs.SD
Predicting positive transfer for improved low-resource speech recognition using acoustic pseudo-tokens
Stanford University（斯坦福大学）；Athena Research Center（雅典娜研究中心）；Wayne State University（韦恩州立大学）；Atos zData
针对低资源语音识别，提出声学标记分布相似度（ATDS）度量，用于选择相似的高资源供体语言进行持续预训练，从而有效提升目标语言ASR性能。
2024-02-03 cs.CL eess.AS
The Interlingua Hypothesis: LLMs Translate via a Latent Task-agnostic Feature Space
Boston University（波士顿大学）；Technische Universität Clausthal（克劳斯塔尔工业大学）
该研究提出语际假设，即LLMs通过潜在任务无关特征空间翻译，通过BLEU分数、模型组件因果性及单语言微调三条证据支持，为LLMs翻译机制提供新理解。
2026-09-02 cs.AI cs.CL
Towards Interlingua Neural Machine Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
神经机器翻译中的公共中间语言表示可以用于通过增量训练将双语系统扩展到多语言系统。在本文中，我们提出了一个新的架构的基础上引入一个额外的训练目标的语际损失。通过添加和强制这种语言间损失，我们能够为每种语言训练多个编码器和解码器，共享一个公共的中间表示。低资源任务（土耳其语-英语和哈萨克语-英语任务，来自流行的机器翻译基准研讨会）的翻译结果显示以下BLEU改进高达2.8。然而，一个更大的数据集（俄语-英语和哈萨克语-英语，来自相同的基线）的结果显示，如果相同的数量，BLEU会失败。虽然我们的系统仅在翻译质量方面为低资源任务提供改进，但我们的系统能够快速部署新的语言对，而无需重新训练系统的其余部分，这在某些情况下可能会改变游戏规则（即在灾难危机中，需要国际帮助的小区域或为客户开发一些翻译系统）。准确地说，与我们的体系结构最相关的是，它能够：（1）减少产生式系统的数量，相对于语言的数量，从二次减少到线性（2）在系统中增量地添加新语言，而无需重新训练先前的语言，以及（3）允许从新语言翻译到系统中存在的所有其他语言
2019-12-08 cs.CL
Evaluating Cross-Lingual Unlearning in Multilingual Language Models
AI Virtual Assistant (AVA) Lab（人工智能虚拟助手（AVA）实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文研究了多语言语言模型中的跨语言反学习，发现子空间投影方法在去除非训练语言事实方面表现最佳，揭示了权重空间几何结构对多语言遗忘的影响。
2026-01-10 cs.CL
Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings
Stellenbosch University（斯泰伦博斯大学）
本文提出利用预训练多语言声学词嵌入模型对未转写目标语言进行聚类和软伪标签训练，实现无监督语义声学词嵌入，并在词相似度和语义按例查询搜索任务中取得优于以往方法的效果。
2023-07-05 cs.CL eess.AS
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最先进的多语言机器翻译依赖于通用的编码器-解码器，这需要重新训练整个系统以添加新的语言。在本文中，我们提出了一种替代方法，是基于特定语言的编码器-解码器，因此可以更容易地扩展到新的语言，通过学习其相应的模块。为了鼓励共同的中间语言表示，我们同时训练N种初始语言。我们的实验表明，所提出的方法比通用编码器-解码器平均高出3.28个BLEU点，并且在添加新语言时，不需要重新训练其余模块。总而言之，我们的工作缩小了共享和特定语言编码器-解码器之间的差距，朝着模块化多语言机器翻译系统迈进，可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Similarity of Sentence Representations in Multilingual LMs: Resolving Conflicting Literature and Case Study of Baltic Languages
University of Tartu（塔尔图大学）
低资源语言，如波罗的语言，受益于大型多语言模型（LM），拥有显着的跨语言迁移性能能力。本文是对多语种语言标记语跨语言表征的解释和分析研究。以前的作品假设，这些LM内部项目表示不同的语言到一个共享的跨语言空间。然而，文献得出了相互矛盾的结果。在本文中，我们回顾了先前的工作，声称“BERT是不是一个中间语言”，并表明，不同的语言收敛到一个共享的空间，在这样的语言模型与另一种选择的池化策略或相似性指数。然后，我们进行跨语言的代表性分析的两个最流行的多语言LM采用378成对的语言比较。我们发现，虽然大多数语言共享联合跨语言的空间，有些没有。然而，我们注意到，波罗的海语言确实属于这一共享空间。该代码可在https://github.com/TartuNLP/xsim上获得。
2022-08-14 cs.CL
Multilingual Language Models Encode Script Over Linguistic Structure
Indian Institute of Technology Delhi（印度理工学院德里）
研究揭示多语言模型通过表面形式而非语言结构组织表示，发现正字法影响显著，深层结构逐渐显现。
2026-04-20 cs.CL cs.LG
Using Interlinear Glosses as Pivot in Low-Resource Multilingual Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们展示了一种新的方法，神经机器翻译（NMT）的低资源的语言使用无处不在的语言资源，跨线性Glossed文本（IGT）。IGT将非英语句子表示为英语词元和词素标签的序列。因此，它可以作为NMT的枢纽或中间语。我们的贡献是四方面的。首先，我们在ODIN中汇集了1，497种语言的IGT（54，545个注释），在Arapaho中汇集了70，918个注释，并训练了从IGT到英语的注释到目标NMT系统，BLEU得分为25.94。我们引入了一个多语言NMT模型，该模型使用注释源语言标签标记所有注释文本，并训练一个跨1,497种语言共享注意力的通用系统。其次，我们使用IGT的注释到目标的翻译作为一个关键步骤，在英语-土耳其语MT系统的培训只有865行ODIN。第三，当BLEU不再足够时，我们提出了五个评估极低资源翻译的指标，并使用BLEU评估土耳其低资源系统，并使用匹配名词，动词，一致性，时态和虚假重复的准确性，显示出很大的改进。
2020-03-03 cs.CL
Symbolic Informalization: Fluent, Productive, Multilingual
Department of Computer Science and Engineering, Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学与哥德堡大学计算机科学与工程系）
提出符号非形式化方法，将形式数学可靠地转换为自然语言，基于Dedukti和Grammatical Framework的中间语言架构，实现多证明系统与多自然语言的流畅转换。
2026-09-09 cs.AI cs.CL cs.LO
Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation
Google（谷歌）
我们提出了一个简单的解决方案，使用单个神经机器翻译（NMT）模型在多种语言之间进行翻译。我们的解决方案不需要改变我们的基础系统的模型架构，而是在输入句子的开头引入一个人工标记来指定所需的目标语言。模型的其余部分，包括编码器，解码器和注意力，保持不变，并在所有语言中共享。使用一个共享的词块词汇表，我们的方法使多语言NMT使用一个单一的模型，而没有任何增加的参数，这是显着简单的多语言NMT比以前的建议。我们的方法通常会提高所有相关语言对的翻译质量，即使在保持模型参数总数不变的情况下。在WMT'14基准测试中，单个多语言模型在英语$\rightarrow$法语方面实现了相当的性能，在英语$\rightarrow$德语方面超过了最先进的结果。类似地，单个多语言模型分别在WMT'14和WMT'15基准测试中超过了法语$\rightarrow$英语和德语$\rightarrow$英语的最新结果。在生产语料库上，多达12个语言对的多语言模型可以更好地翻译许多单独的语言对。除了提高模型训练所使用的语言对的翻译质量外，我们的模型还可以学习在训练期间从未明确看到的语言对之间进行隐式桥接，这表明迁移学习和zero-shot翻译对于神经翻译是可能的。最后，我们展示了一些分析，这些分析暗示了我们模型中的通用中间语言表示，并在混合语言时展示了一些有趣的例子。
2017-08-21 cs.AI cs.CL
Exploiting Cross-Lingual Speaker and Phonetic Diversity for Unsupervised Subword Modeling
The Chinese University of Hong Kong（香港中文大学）
本研究解决了低资源语言的转录训练数据是缺席的声学建模的问题。我们的目标是学习鲁棒的帧级特征表示，可用于识别和区分子字级语音单元。所提出的特征表示包括通过深度神经网络（MTL-DNN）的多任务学习获得的各种类型的多语言瓶颈特征（BNF）。其中一个关键问题是如何为未转录的训练数据获取高质量的框架标签，以促进有监督的DNN训练。它表明，学习强大的BNF表示可以实现有效地利用转录的语音数据和训练有素的自动语音识别（ASR）系统从一个或多个域外（资源丰富）的语言。域外ASR系统可以应用于使用目标语言的未转录训练数据来执行说话人自适应，并将训练语音解码为用于DNN训练的帧级标签。它也被发现，更好的帧标签，可以通过考虑语音的时间依赖性时，执行帧聚类生成。在ZeroSpeech 2017挑战赛的第1轨道中，对所提出的特征学习方法进行了无监督子词建模的标准任务评估。我们的系统实现的最佳性能是$9.7\%$在跨扬声器三音子最小对ABX错误率，这是最近报道的最好的系统相媲美。最后，我们的调查表明，目标语言和域外语言之间的接近程度以及单个目标语言的可用训练数据量可能对学习特征的良好性产生重大影响。
2019-09-29 cs.CL eess.AS
The correlation between nativelike selection and prototypicality: a multilingual onomasiological case study using semantic embedding
Sichuan Normal University（四川师范大学）
本研究通过语义嵌入和跨语言比较，探讨母语者选择与原型性的相关性，验证称名学假说，并以汉语动词“伤”为例提供支持证据。
2024-05-22 cs.CL
Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
辱骂性语言在许多社交媒体平台上越来越受到关注。反复暴露于辱骂性言语对目标用户产生了生理影响。因此，为了网上和平与安全，应以各种形式解决辱骂性语言的问题。虽然在滥用言语检测方面存在广泛的研究，但大多数研究都集中在英语上。最近，印度发生了多起抹黑事件，引发了基于地理位置的各种语言的网络空间中各种形式的辱骂性言论。因此，处理此类恶意内容至关重要。在本文中，为了弥合这一差距，我们展示了一个大规模的分析，在印度语言的多语言辱骂性讲话。我们研究了不同的语际迁移机制，并观察了八种不同的印度语的各种多语言模型的滥用语音检测的性能。我们还通过实验展示了这些模型在对抗攻击中的鲁棒性。最后，我们通过查看模型在各种设置中的错误分类帖子来进行深入的错误分析。我们已经向其他研究人员公开了我们的代码和模型。
2022-04-26 cs.CL cs.LG
