MaskLID: Code-Switching Language Identification through Iterative Masking
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（信息与机器人系统研究所）
MaskLID提出一种无需训练的迭代掩码方法，通过让LID自身识别并掩码主导语言特征，使句子级语言识别器能检测语码转换中的次要语言，并在GlotLID和OpenLID上验证有效性。
2024-06-10 cs.CL
Hybrid Continual Learning for Low-Resource Australian Aboriginal Language Identification
University of New South Wales（新南威尔士大学）；University of Melbourne（墨尔本大学）；Massachusetts Institute of Technology（麻省理工学院）
针对低资源澳大利亚原住民语言识别中数据稀缺和灾难性遗忘问题，提出重放增强弹性权重巩固和约束引导知识蒸馏两种混合持续学习方法，实验表明其优于微调及现有基线，能提升对多种AAL的适应性并保持对高资源语言的性能。
2026-07-15 cs.CL eess.AS
ConLID: Supervised Contrastive Learning for Low-Resource Language Identification
ConLID通过监督对比学习方法，提升低资源语言在领域外数据上的识别性能，同时保持高资源语言的识别效果。
2026-03-09 cs.AI cs.CL cs.LG
Cross-lingual Offensive Language Identification for Low Resource Languages: The Case of Marathi
Rochester Institute of Technology（罗切斯特理工学院）；University of Wolverhampton（伍尔弗汉普顿大学）
攻击性语言在社交媒体上的广泛存在促使开发能够自动识别此类内容的系统。除了少数显著的例外，大多数关于自动攻击性语言识别的研究都涉及英语。为了解决这个缺点，我们引入了MOLD，马拉地语攻击性语言数据集。MOLD是为马拉地语编制的第一个此类数据集，从而为低资源的印度-雅利安语言的研究开辟了一个新的领域。我们在这个数据集上展示了几个机器学习实验的结果，包括零短路和其他迁移学习实验，这些实验是在孟加拉语、英语和印地语现有数据的最先进的跨语言Transformers上进行的。
2021-09-08 cs.AI cs.CL cs.LG
Script-Agnostic Language Identification
George Mason University（乔治梅森大学）
针对多文字系统语言在神经表示空间中不共享属性的问题，提出通过放大、扁平化和文字混合等策略学习与文字系统无关的表示，发现词级文字随机化等方法有效提升了多语言识别性能。
2024-06-25 cs.CL
What Language is This? Ask Your Tokenizer
EPFL（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
提出基于UnigramLM分词算法的UniLID方法，通过比较字符串在各语言单字分布下的似然进行语言识别，在低资源和细粒度方言场景下显著提升样本效率。
2026-09-11 cs.CL
Dialect Identification Using Resource-Efficient Fine-Tuning Approaches
Dept. of Systems and Control Engineering, School of Engineering, Institute of Science Tokyo, Tokyo, Japan（系统与控制工程系，工学院，科学研究所东京，东京，日本）；NTT Software Innovation Center, Tokyo, Japan（NTT软件创新中心，东京，日本）
本文提出利用内存高效微调方法对语音模型进行微调，以高效识别方言，实验表明在内存和训练速度上有显著提升，同时保持识别精度。
2025-11-30 cs.CL cs.SD
LIMIT: Language Identification, Misidentification, and Translation using Hierarchical Models in 350+ Languages
George Mason University（乔治梅森大学）
针对现有语言识别系统难以覆盖多数低资源语言的问题，研究构建了含350+语言的MCS-350语料库，提出误预测解决分层模型LIMIt，显著降低识别错误率，无需重训大模型即可扩展低资源语言覆盖。
2023-11-06 cs.AI cs.CL
From N-grams to Pre-trained Multilingual Models For Language Identification
University of Pretoria（比勒陀利亚大学）；Lelapa AI（莱拉帕人工智能）
本文研究了N-gram和预训练多语言模型在11种南非语言识别中的应用，发现Serengeti模型平均表现最优，并提出轻量级za_BERT_lid模型，性能媲美最佳非洲中心模型。
2024-10-11 cs.AI cs.CL
Multilingual Offensive Language Identification for Low-resource Languages
University of Wolverhampton（伍尔弗汉普顿大学）；Rochester Institute of Technology（罗切斯特理工学院）
攻击性内容在社交媒体中无处不在，也是公司和政府组织关注的一个原因。最近发表了几项研究报告，探讨了检测各种形式的此类内容（如仇恨言论、网络欺凌和网络攻击）的方法。这些研究中的大多数都涉及英语，部分原因是大多数注释数据集包含英语数据。在本文中，我们利用现有的英语数据集，应用跨语言的上下文词嵌入和迁移学习，在低资源的语言进行预测。我们对阿拉伯语、孟加拉语、丹麦语、希腊语、印地语、西班牙语和土耳其语的可比数据进行预测。我们报告了TRAC-2共享任务中孟加拉语的0.8415 F1宏，丹麦语的0.8532 F1宏和OffensEval 2020中希腊语的0.8701 F1宏，HASOC 2019共享任务中印地语的0.8568 F1宏和SemEval-2019任务5（HatEval）中西班牙语的0.7513 F1宏显示我们的方法与最近提交给这三种语言的共享任务的最佳系统相比毫不逊色。此外，我们使用OffensEval 2020共享任务的培训和开发集报告阿拉伯语和土耳其语的竞争力表现。所有语言的结果证实了跨语言上下文嵌入和迁移学习在此任务中的鲁棒性。
2021-05-20 cs.AI cs.CL cs.LG
Automatic Language Identification for Celtic Texts
Warsaw University of Technology（华沙工业大学）
语言识别是自然语言处理的一项重要任务。它在文献中得到了深入的研究。然而，有些问题仍然悬而未决。这项工作解决了相关的低资源语言的凯尔特语系的例子识别。这项工作的主要目标是：（1）收集三种凯尔特语言的数据集;（2）准备一种识别凯尔特族语言的方法，即训练成功的分类模型;（3）评估不同特征提取方法的影响，并探索无监督模型作为特征提取技术的适用性;（4）在约简标注集上进行无监督特征提取实验。我们收集了一个新的数据集，包括爱尔兰，苏格兰，威尔士和英格兰的记录。我们测试了有监督的模型，如SVM和神经网络与传统的统计特征，以及聚类，自动编码器和主题建模方法的输出。分析表明，无监督特征可以作为n-gram特征向量的有价值的扩展。它导致了更多纠缠类的性能改善。最好的模型获得了98%的F1分数和97%的MCC。密集神经网络始终优于SVM模型。由于可用的带注释的训练数据稀缺，低资源语言也具有挑战性。本工作评估的分类器的性能，使用无监督的特征提取减少标记数据集处理这个问题。结果表明，无监督特征向量对标记集约简具有更强的鲁棒性。因此，它们被证明有助于用少得多的标记数据实现可比的分类性能。
2022-03-09 cs.CL cs.LG
Improving speaker de-identification with functional data analysis of f0 trajectories
University of Eastern Finland（东芬兰大学）；National University of Singapore（新加坡国立大学）
由于存储在不同类型数据库中的语音数据量不断增加，语音隐私已成为一个主要问题。为了回应这种关注，语音研究者已经开发了各种说话人去识别的方法。最先进的解决方案利用深度学习解决方案，这些解决方案可能有效，但对于例如资源不足的语言来说可能不可用或不切实际。Forcenter修正是一种简单而有效的说话人去识别方法，它不需要训练数据。尽管如此，共振峰匿名语音中剩余的语调模式可能包含说话者相关的线索。本研究提出一种新的说话人去辨识方法，除了简单的共振峰位移外，还基于功能性数据分析来操纵f0轨迹。所提出的说话人去识别方法将以语音可控的方式隐藏可识别的音高特征，并将基于共振峰的说话人去识别提高到25%。
2022-03-31 cs.CL cs.SD eess.AS
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg（汉堡大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；City University of Hong Kong（香港城市大学）
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统，自动编辑文本，使其更好地坚持学术写作风格。在现有的学术资源，如当代美国英语语料库（COCA）的学术词汇表，新的学术词汇表，和学术搭配表，我们还探讨了如何动态地建立这样的资源，将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译，这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别（IWI），学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名，我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念（CoInCO）“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数，显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源，写作辅助工具。
2020-03-05 cs.CL
Intent Recognition and Unsupervised Slot Identification for Low Resourced Spoken Dialog Systems
Carnegie Mellon University（卡内基梅隆大学）
意图识别和槽识别是口语语言理解（SLU）系统的重要组成部分。在本文中，我们提出了一种新的方法对这些任务的背景下，低资源和非书面语言。我们提出了一个基于声学的SLU系统，它使用通用的电话识别系统将语音转换为音标。我们建立了一个无词的自然语言理解模块，它可以从这些音标中进行意图识别和槽识别。我们提出的SLU系统执行资源丰富的情况下，具有竞争力，并显着优于现有的方法，可用数据量减少。我们观察到泰米尔语的意图分类改善了10%以上，僧伽罗语的意图分类改善了5%以上。我们还提出了一种新的方法对无监督槽识别使用归一化的注意力分数。该方法可用于无监督的时隙标记、数据增强以及仅用一个语音记录以一次性方式为新时隙生成数据
2021-09-28 cs.CL
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen（格罗宁根大学）；Fryske Akademy（弗里斯兰科学院）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
研究双语微调对低资源语言语音识别的影响，在九种语言对中评估，通过语言识别令牌区分语言，发现高语言识别准确率时双语微调有效，低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
TxPI-u: A Resource for Personality Identification of Undergraduates
Universidad Autónoma Metropolitana (UAM)（大都会自治大学（UAM））
在自然语言处理（NLP）领域中，诸如标记语料库之类的资源对于训练自动模型是必要的。从历史上看，关于大量问题的大量资源大多以英语提供。其中一个问题被称为人格识别，其中基于心理模型（例如大五模型），目标是找到受试者的人格特征，例如，由同一受试者撰写的文本。在本文中，我们介绍了一个新的语料库在西班牙语称为文本的个性识别（TxPI）。这个语料库将有助于开发模型，自动分配一个文本文档的作者的个性特征。我们的语料库，TxPI-U，包含416墨西哥本科生的一些人口统计信息，如，年龄，性别和他们就读的学术课程的信息。最后，作为一个额外的贡献，我们提出了一组基线，为进一步的研究提供一个比较方案。
2018-06-20 cs.CL
Automatic Identification of Closely-related Indian Languages: Resources and Experiments
Dr. Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡尔博士大学）；Jadavpur University（贾达普大学）；Rutgers University（罗格斯大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
在本文中，我们讨论了一个尝试，以开发一个自动语言识别系统，为5个密切相关的印度-雅利安语的印度，阿瓦地，Bhojpuri，Braj，印地语和Magahi。我们从各种资源中为这些语言编制了一个长度不等的可比语料库。我们详细讨论了这些语料库的创建方法。使用这些语料库，语言识别系统的开发，目前给出的最先进的准确率为96.48%。我们还利用这些语料库研究了这5种语言在词汇水平上的相似性，这是第一次基于数据的研究这些语言的接近程度。
2018-03-26 cs.CL
Dutch Named Entity Recognition and De-identification Methods for the Human Resource Domain
Utrecht University（乌得勒支大学）
人力资源（HR）域包含各种类型的隐私敏感文本数据，例如电子邮件通信和绩效评估。对这些文件进行研究带来了一些挑战，其中之一就是匿名化。在本文中，我们评估了目前的荷兰语文本去识别方法的HR域在四个步骤。首先，通过使用最新的命名实体识别（NER）模型更新这些方法之一。结果是基于CoNLL 2002语料库的NER模型结合BERTje Transformer给出了抑制人（召回0.94）和位置（召回0.82）的最佳组合。对于抑制性别，DEDUCE表现最好（回忆0.53）。第二种NER评价是基于实体的严格去身份化（一个人必须作为一个人被压制）和第三种评价是基于松散的去身份化（无论一个人如何被压制，只要它被压制）。在第四步也是最后一步中，测试了一种新的NER数据集，用于识别文本中的职位。
2021-06-04 cs.CL
Overcoming Low-Resource Barriers in Tulu: Neural Models and Corpus Creation for OffensiveLanguage Identification
本文构建了首个代码混合图鲁语冒犯性语言识别基准数据集，并实验证明带自注意力机制的BiGRU模型优于Transformer模型，为低资源语言NLP研究奠定基础。
2025-08-15 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Raytheon BBN Technologies（雷神BBN技术公司）
自动语音识别（ASR）系统通常需要针对资源极低的语言来开发，以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时，考虑通用电话识别是很自然的，但是还需要研究使用非常少量（几分钟而不是几小时）的转录语音来适应通用电话模型，特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架，并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序，它采用了通用的电话建模方法ASR，并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Classifier identification in Ancient Egyptian as a low-resource sequence-labelling task
University of Manchester（曼彻斯特大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文将古埃及语分类符识别形式化为低资源序列标注任务，提出多种神经序列标注模型，在有限训练数据下取得有前景的性能，并与频率基线进行对比。
2024-06-29 cs.CL
Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文利用GPT-3.5 Turbo提示工程方法解决低资源德拉维达语言的词级语码混合语言识别问题，实验表明卡纳达语模型表现优于泰米尔语模型。
2025-03-12 cs.CL
CHALIS: A Challenge Dataset for Language Identification in Difficult Scenarios
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
提出CHALIS数据集，针对亲缘语言和拼写噪声等困难场景，通过收集互懂语言对句子和模拟拼写噪声，评估四种语言识别系统，发现它们在低资源语言和音译输入上表现不佳。
2026-06-04 cs.CL
Towards Automation of Sense-type Identification of Verbs in OntoSenseNet(Telugu)
Language Technologies Research Center (LTRC)（语言技术研究中心（LTRC））；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
在本文中，我们讨论了丰富的手工开发的资源泰卢固语词汇，OntoSenseNet。OntoSenseNet是一个本体论意义注释词典，用主要和次要意义标记泰卢固语的每个动词。该研究领域相对较新，但发展范围很大。我们提供了一个介绍性的工作，以丰富OntoSenseNet，以促进在泰卢固语的进一步研究。采用分类器来学习资源中词的意义相关特征，并自动标注动词的意义类型。我们对OntoSenseNet上应用的不同分类器进行了比较分析。实验结果证明，使用SVM分类器和Adaboost集成的资源的自动富集是有效的。
2018-07-04 cs.CL
Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling
Indian Institute of Information Technology Tiruchirappalli（蒂鲁奇拉帕利印度信息技术学院）；ULTRA Arts and Science College（ULTRA文理学院）；Eastern University（东方大学）；Kongu Engineering College（孔古工程学院）；Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）；Insight SFI Research Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校SFI洞察数据分析研究中心）
社交媒体已经成为沟通和数字营销的主要枢纽。由于这些平台能够以文本、图像和视频的形式自由表达思想和事实，因此需要对其进行广泛的筛选，以保护个人和团体免受针对他们的攻击性内容的影响。我们的工作旨在对泰米尔语、卡纳达语和马拉雅拉姆语的德拉威语中的代码混合社交媒体评论/帖子进行分类。我们打算通过在数据集上生成伪标签来改进攻击性语言识别。自定义数据集是通过将所有代码混合的文本音译为相应的德拉威语（卡纳达语、马拉雅拉姆语或泰米尔语），然后为音译数据集生成伪标签来构建的。这两个数据集使用生成的伪标签组合，以创建称为CMTRA的自定义数据集。由于达罗毗荼语资源不足，我们的方法增加了语言模型的训练数据量。我们在新构建的数据集上微调了几个最近预训练的语言模型。我们提取预训练的语言嵌入，并将它们传递到递归神经网络上。我们观察到，在自定义数据集上微调ULMFiT在所有三种语言的代码混合测试集上产生了最佳结果。我们的方法在泰米尔语英语的基准模型中产生了最好的结果，实现了0.7934的加权F1分数，同时在马拉雅拉姆语英语和卡纳达语英语的代码混合测试集上分别获得了0.9624和0.7306的竞争加权F1分数。
2021-08-27 cs.CL
Towards Offensive Language Identification for Tamil Code-Mixed YouTube Comments and Posts
University of Moratuwa（莫拉图瓦大学）
社交媒体平台中的攻击性语言检测在过去几年一直是一个活跃的研究领域。在非英语母语国家，社交媒体用户大多在他们的帖子/评论中使用代码混合形式的文本。这在攻击性内容识别任务中提出了几个挑战，考虑到泰米尔语可用的资源很少，任务变得更加困难。目前的研究提出了使用多种深度学习和迁移学习模型来检测YouTube上的攻击性内容的广泛实验。我们提出了一种新颖灵活的选择性翻译和音译技术的方法，以获得更好的结果，从微调和集成多语言Transformer网络，如BERT，蒸馏- BERT，和XLM-RoBERTa。实验结果表明，ULMFiT是该任务的最佳模型。对于这个泰米尔代码混合数据集，性能最好的模型是ULMFiT和mBERTBiLSTM，而不是更流行的迁移学习模型，如Distil- BERT和XLM-RoBERTa以及混合深度学习模型。所提出的模型ULMFiT和mBERTBiLSTM取得了良好的结果，并有望在低资源语言中有效地识别攻击性语音。
2021-08-26 cs.CL
MixSarc: A Bangla-English Code-Mixed Corpus for Implicit Meaning Identification
Department of Computer Science and Engineering, Islamic University of Technology, Dhaka, Bangladesh（伊斯兰科技大学计算机科学与工程系，达卡，孟加拉国）；Department of Computer Science, University of Illinois Chicago, Chicago, Illinois, United States of America（伊利诺伊大学芝加哥分校计算机科学系，芝加哥，伊利诺伊州，美国）
MixSarc通过构建首个孟加拉-英语混合语料库，解决隐含意义识别中的多语言切换与文化差异问题，验证了模型在幽默检测上的有效性，但发现讽刺等类别因不平衡和复杂性而表现欠佳。
2026-06-27 cs.CL
A simple language-agnostic yet very strong baseline system for hate speech and offensive content identification
Laboratoire d’analyse statistique des textes - Statistical Analysis of Text Laboratory (LAST - SATLab)（文本统计分析实验室（LAST - SATLab））；Institut de recherche en sciences psychologiques（心理科学研究所）；Université catholique de Louvain（鲁汶天主教大学）
为了自动识别推文中的仇恨言论和攻击性内容，SATLab团队提出了一种基于经典监督算法的系统，该算法只提供字符n-gram，因此完全与语言无关。在特征权重和分类器参数方面进行优化后，它在多语言HASOC 2021挑战赛中达到了英语的中等性能水平，英语很容易依赖于许多外部语言资源开发深度学习方法，但对于两种资源较少的语言，印地语和马拉地语，它的性能要好得多。甚至在这些语言中的三个任务的平均性能时，它也会首先结束，超过许多深度学习方法。这些表现表明，这是一个有趣的参考水平，以评估使用更复杂的方法，如深度学习或考虑补充资源的好处。
2022-02-05 cs.CL
Language Identification via Compositional Data Analysis: A Linear-Time Classifier Based on Log-Ratio Geometry
Faculty of Mathematics and Computer Science Babeş-Bolyai University（巴比什-波雅依大学数学与计算机科学学院）
研究针对语言识别，将字符和二元语法频率分布建模为成分向量，经CLR变换映射到特定子空间，结合CLR变换特征与拉普拉斯平滑提出管道方法，在六种语言上评估，该方法在不同文本长度下准确率高，提供了高效且可解释的语言识别替代方案。
2026-07-17 cs.CL
Language Identification of Bengali-English Code-Mixed data using Character & Phonetic based LSTM Models
SRM University（SRM大学）；Jadavpur University（贾达普大学）
社交媒体文本的语言识别仍然是一项具有挑战性的任务，由于代码混合和不一致的语音音译等属性。在本文中，我们提出了一种监督学习方法，用于从社交媒体中获取的低资源孟加拉语-英语代码混合数据的单词级语言识别。我们采用两种单词编码方法，即基于字符和基于根音素来训练我们的深度LSTM模型。利用这两个模型，我们建立了两个集成模型，使用堆叠和阈值技术，给出了91.78%和92.35%的准确率分别对我们的测试数据。
2018-06-27 cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology（谢里夫理工大学）
由于缺乏资源和标记化问题，识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言：古巴比伦语，中巴比伦语外围语，标准巴比伦语，新巴比伦语，晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成，两者都工作在字符级特征上，宏观平均F1分数为72.10%。
2020-09-22 cs.CL
AraMIP: Extending MIPVU Towards Metaphor Identification in Arabic
Technical University of Berlin（柏林工业大学）；SOAS University of London（伦敦大学亚非学院）；Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对阿拉伯语隐喻识别资源匮乏问题，提出AraMIP指南，基于MIPVU框架适配阿拉伯语特性，区分三类比喻语言，标注300句试点数据，揭示形态复杂性等挑战，为标准化资源奠定基础。
2026-09-16 cs.CL
Low-Resource Spoken Language Identification Using Self-Attentive Pooling and Deep 1D Time-Channel Separable Convolutions
NTR Labs（NTR实验室）；AO HTSTS
本备忘录描述了NTR/TSU在Dialog 2021会议上赢得低资源ASR挑战的提交，语言识别跟踪。口语识别（LID）是多语种自动语音识别（ASR）系统流水线中的重要步骤。传统上，ASR任务需要大量的标记数据，这对于世界上大多数语言（包括俄罗斯的大多数语言）来说是无法实现的。在本备忘录中，我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务的低资源设置中显示出有希望的结果，并为低资源ASR挑战数据集建立了SOTA。此外，我们比较了这个和更多样化的VoxForge数据集和状态的混淆矩阵的结构，并证实了这样一个假设，即只要数据集足够多样化，使得其他分类因素，如性别，年龄等都得到了很好的平均，LID系统的混淆矩阵就具有语言相似性度量。
2021-05-31 cs.CL cs.LG cs.SD
KréyoLID From Language Identification Towards Language Mining
Inria（法国国家信息与自动化研究所）；Common Crawl Foundation（Common Crawl基金会）
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题，并针对多种法语克里奥尔语引入新流程与语料库，以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
A Bayesian Multilingual Document Model for Zero-shot Topic Identification and Discovery
Brno University of Technology（布尔诺理工大学）；KL University（KL大学）
提出一种贝叶斯多语言文档模型，通过高斯分布编码文档嵌入不确定性并传播至线性分类器，实现零样本跨语言主题识别，在中资源语言上优于大规模神经网络系统，并改进了评估协议。
2024-03-23 cs.CL
Wavelet Scattering Transform for Improving Generalization in Low-Resourced Spoken Language Identification
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
针对低资源口语语种识别中常用特征易丢失高频信息、泛化性差的问题，引入并优化小波散射变换（WST）特征，构建融合多超参数WST的ECAPA-TDNN系统，显著降低了等错误率。
2023-10-03 cs.CL eess.AS
Do LLMs Encode Frame Semantics? Evidence from Frame Identification
University of Cincinnati（辛辛那提大学）；University of Oklahoma（俄克拉荷马大学）
本研究通过框架识别任务验证大型语言模型对框架语义的编码能力，发现模型在无监督情况下能有效识别框架并生成语义连贯的定义。
2025-09-23 cs.CL
To What Extent Do Large Language Models Understand Bangla Idioms?
Technical University Dortmund（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）；BRAC University（BRAC大学）；United International University（联合国际大学）
该研究构建了首个孟加拉语习语基准数据集及配套MCQ数据集，通过多任务评估发现不同LLM在习语相关任务上表现有差异，各有优势，成果为低资源语言习语理解研究提供了资源。
2026-09-04 cs.CL
Effective Approach to Develop a Sentiment Annotator For Legal Domain in a Low Resource Setting
University of Moratuwa（莫拉图瓦大学）；University of Colombo（科伦坡大学）
分析法律意见文本中可用的法律意见的情感可以促进几个用例，例如法律判决预测，矛盾陈述识别和基于当事人的情感分析。然而，开发一个法律领域特定的情感注释器的任务是具有挑战性的，由于资源的限制，如缺乏特定领域的标记数据和领域的专业知识。在这项研究中，我们提出了新的技术，可用于开发一个情感注释器的法律领域，同时最大限度地减少手动注释数据的需要。
2020-10-31 cs.CL
Offensive Language Identification in Greek
University of Wolverhampton（伍尔弗汉普顿大学）；Rochester Institute of Technology（罗切斯特理工学院）
由于攻击性语言已成为在线社区和社交媒体平台的一个日益严重的问题，研究人员一直在研究应对滥用内容的方法，并开发系统来检测其不同类型：网络欺凌，仇恨言论，侵略等。这主要是由于英语语言资源的可用性。为了解决这个问题，本文提出了第一个用于攻击性语言识别的希腊注释数据集：攻击性希腊推文数据集（OGTD）。OGTD是一个手动注释的数据集，包含来自Twitter的4，779个帖子，注释为攻击性和非攻击性。随着数据集的详细描述，我们评估了几个计算模型训练和测试这些数据。
2020-03-18 cs.CL
Ontology-Driven Self-Supervision for Adverse Childhood Experiences Identification Using Social Media Datasets
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
不良童年经历（ACE）被定义为在整个童年和/或青春期发生的高度压力和潜在创伤性事件或环境的集合。它们已被证明与晚年精神健康疾病或其他异常行为的风险增加有关。然而，用自然语言处理（NLP）从文本数据中识别ACE是具有挑战性的，因为（a）没有NLP就绪的ACE本体;（b）可用于机器学习的资源很少，需要临床专家的数据注释;（c）领域专家的昂贵注释和用于支持大型机器学习模型的大量文档。在本文中，我们提出了一种本体驱动的自监督方法（使用自动编码器从基线NLP结果中获得概念嵌入），用于生成支持大规模机器学习的公开可用资源（例如，训练基于Transformer的大语言模型）。该资源以及拟议的方法旨在促进社区培训可转移的NLP模型，以有效地在低资源场景中显示ACE，如电子健康记录中的临床笔记上的NLP。该资源包括ACE本体术语列表、ACE概念嵌入和NLP注释语料库，可在https://github.com/knowlab/ACE-NLP上获得。
2022-08-24 cs.CL cs.LG
Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Invertible AI（可逆人工智能公司）
本文构建涵盖670种语言的 Babel-670 基准，在多种提示设置下评估 GPT-3.5 与 GPT-4 的语言识别能力，发现其落后于小型微调工具，尤其在非洲语言上表现不佳。
2024-04-08 cs.CL
L3Cube-IndicHeadline-ID: A Dataset for Headline Identification and Semantic Evaluation in Low-Resource Indian Languages
Department of Information Technology, PICT, Pune（信息科技系，PICT，普那）；Indian Institute of Technology Madras, Chennai（印度理工学院马德拉斯分校，钦奈）；L3Cube Labs, Pune（L3Cube实验室，普那）
针对低资源印度语言语义评估基准缺失的问题，该研究推出覆盖11种语言的L3Cube-IndicHeadline-ID标题识别数据集，测试句子Transformer性能，为印度语言NLP及RAG等应用提供多用途评估基准。
2025-09-02 cs.CL cs.LG
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre（语言技术研究中心）；KCIS, IIIT Hyderabad（印度理工学院海得拉巴分校知识与计算智能系统学院）
在多语言或社会语言结构中，语码转换（ICS）或语码混合（CM）是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外，ICS在技术、健康和法律方面特别重要，因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中，CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进，必要的步骤是语言识别。在本文中，我们提出了各种模型的研究-朴素贝叶斯分类器，随机森林分类器，条件随机场（CRF），和隐马尔可夫模型（HMM）的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏，提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的，f1分数为0.91。
2020-10-09 cs.CL
Accelerating Clinical NLP at Scale with a Hybrid Framework with Reduced GPU Demands: A Case Study in Dementia Identification
VA Salt Lake City Health Care System（犹他州盐湖城退伍军人事务医疗系统）；University of Utah（犹他大学）；University of Pennsylvania（宾夕法尼亚大学）
针对临床NLP的高计算资源需求问题，提出集成规则过滤、SVM和BERT的混合框架，在痴呆症识别案例中处理490万患者的21亿笔记，获0.87 F1分数且病例识别量超结构化方法三倍，单台双A40 GPU机器两周完成，提升可及性。
2025-04-16 cs.CL
Multi-Task Learning for Argumentation Mining in Low-Resource Settings
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Department of Computer Science（计算机科学系）；Technische Universität Darmstadt（达姆施塔特工业大学）；www.ukp.tu-darmstadt.de
我们研究多任务学习（MTL）是否以及在哪里可以提高与论证挖掘（AM）相关的NLP问题的性能，特别是论证组件识别。我们的研究结果表明，MTL表现得特别好（优于单任务学习）时，很少训练数据可用于主任务，在AM中的常见情况。我们的研究结果挑战了以前的假设，即AM数据集的概念化是发散的，MTL对于语义或更高级别的任务是困难的。
2018-05-04 cs.CL
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
An Open Dataset and Model for Language Identification
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition, and Computation（语言、认知与计算研究所）
本文提出一个在201种语言上达到宏平均F1 0.93和假阳性率0.033的语言识别模型及数据集，优于以往工作，并公开供研究使用。
2023-05-23 cs.CL
Developing Successful Shared Tasks on Offensive Language Identification for Dravidian Languages
Insight SFI Research Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校Insight数据分析研究中心）；TR Labs, Thomson Reuters（汤森路透TR实验室）；ULTRA Arts and Science College（ULTRA文理学院）；National Institute of Technology Karnataka Surathkal（卡纳塔克邦苏拉特卡尔国立技术学院）；Eastern University（东方大学）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉帕利国立技术学院）；SRM Institute of Science and Technology（SRM科学技术学院）
随着移动计算和Web技术的快速发展，攻击性语言在社交网络平台上变得越来越普遍。由于当地语言中的攻击性语言识别对于缓和社交媒体内容至关重要，因此在本文中，我们使用三种资源不足的德拉威语，即马拉雅拉姆语，泰米尔语和卡纳达语。我们在FIRE 2020- HASOC-DravidianCodeMix和EACL 2021的DravidianLangTech上提出了一项评估任务，旨在为比较解决此问题的不同方法提供一个框架。本文描述了数据创建，定义了任务，列出了参与的系统，并讨论了各种方法。
2021-11-05 cs.CL
PALI: A Language Identification Benchmark for Perso-Arabic Scripts
George Mason University（乔治梅森大学）
本文针对波斯-阿拉伯字母的语言识别挑战，提出使用监督技术进行句子分类，并构建了处理易混淆语言簇的分层模型，实验证明了其有效性。
2023-04-03 cs.CL
Low-resource speech recognition and dialect identification of Irish in a multi-task framework
Trinity College Dublin（都柏林三一学院）；Cambridge University（剑桥大学）
本文提出用InterCTC训练混合CTC/注意力模型，结合多任务微调和LM浅层融合，在爱尔兰语低资源ASR和DID上取得DID准确率相对提升10.8%、WER接近TDNN-HMM的效果。
2024-05-02 cs.AI cs.CL cs.SD
Improving Spoken Language Identification with Map-Mix
SCSE - NTU Singapore（新加坡南洋理工大学计算机科学与工程学院）
预训练的多语言XLSR模型在对看不见的语言进行微调后，可以很好地进行语言识别。然而，当语言彼此不是很明显时，例如，在方言的情况下，性能显著降低。低资源方言分类仍然是一个具有挑战性的问题要解决。我们提出了一种新的数据增强方法，该方法利用单个数据点的模型训练动态来改进潜在混淆的采样。该方法在低资源环境下工作良好，其中泛化是至关重要的。我们的基于数据图的混淆技术，我们称之为Map-Mix，与随机混淆基线相比，加权F1分数提高了2%，并产生了一个显著校准的模型。我们方法的代码在www.example.com上是开源的。
2023-02-16 cs.CL cs.LG
SIGTYP 2021 Shared Task: Robust Spoken Language Identification
Johns Hopkins University（约翰斯·霍普金斯大学）；Saarland University（萨尔兰大学）；Higher School of Economics（高等经济学院）；The Institute of Linguistics RAS（俄罗斯科学院语言学研究所）；Mila/McGill University Montreal（米拉/蒙特利尔麦吉尔大学）；Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡尔大学）；ETH Zürich（苏黎世联邦理工学院）；University of Melbourne（墨尔本大学）
虽然语言识别是一项基本的语音和语言处理任务，但对于许多语言和语系来说，它仍然是一项具有挑战性的任务。对于许多低资源和濒危语言，这部分是由于资源可用性：在存在较大数据集的情况下，它们可能是单一说话者或具有与所需应用场景不同的域，需要域和说话者不变的语言识别系统。今年关于强大的口语识别的共享任务试图调查这种情况：系统将在一个领域的主要单说话者语音上进行训练，但在不同记录环境下从说话者记录的其他领域的数据上进行评估，模仿现实的低资源场景。我们看到，域和说话人的不匹配证明是非常具有挑战性的，目前的方法，可以执行超过95%的准确度域，这领域自适应可以在一定程度上解决，但这些条件值得进一步调查，使口语识别在许多情况下。
2021-06-07 cs.CL cs.SD eess.AS
Evaluating Standard and Dialectal Frisian ASR: Multilingual Fine-tuning and Language Identification for Improved Low-resource Performance
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）；Mercator European Research Centre（默卡托欧洲研究中心）；Fryske Akademy（弗里斯克学院）；Speech Technology Lab（语音技术实验室）
本文针对低资源弗里斯兰语及其方言ASR性能不足问题，提出基于多语言微调和辅助语言识别任务的自监督迁移学习方法，并揭示方言数据采集方式对方言识别性能的调节作用。
2025-02-07 cs.CL cs.LG cs.SD
