Automatic Language Identification System for Hindi and Magahi
JNU(贾瓦哈拉尔·尼赫鲁大学)
语言识别已经成为各种自动化文本处理系统的先决条件。在本文中,我们提出了一个基于规则的语言标识符工具,两个密切相关的印度雅利安语言:印地语和Magahi。该系统目前已达到约86.34%的准确度。我们希望在未来改进这一点。语言的自动识别对提高网络爬虫的准确性具有重要意义。
2018-04-13 cs.CL
Uralic Language Identification (ULI) 2020 shared task dataset and the Wanca 2017 corpus
University of Helsinki(赫尔辛基大学)
本文介绍了从互联网上抓取的Wanca 2017文本语料库,从中收集了用于乌拉尔语言识别(ULI)2020共享任务的稀有乌拉尔语言的句子。我们描述了ULI数据集,以及它是如何使用Wanca 2017语料库和莱比锡语料库集合中不同语言的文本构建的。我们还提供了使用ULI 2020数据集进行的基线语言识别实验。
2020-08-27 cs.CL
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen(格罗宁根大学);Fryske Akademy(弗里斯兰科学院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
研究双语微调对低资源语言语音识别的影响,在九种语言对中评估,通过语言识别令牌区分语言,发现高语言识别准确率时双语微调有效,低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification
Saarland University(萨尔兰大学)
深度神经网络已经被用于各种口语识别任务,包括定义为多语言的任务,例如口语识别。在本文中,我们提出了一个神经模型斯拉夫语识别语音信号和分析其紧急表示,以调查它们是否反映语言相关性和/或非语言学家的感知语言相似性的客观措施。虽然我们的分析表明,语言表征空间确实在很大程度上捕捉语言相关性,但我们发现,在我们的研究中,语言之间的感知混淆是语言表征相似性的最佳预测因素。
2020-10-22 cs.CL
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models
Baidu Inc.(百度公司)
本文描述了Galileo在SemEval-2020任务12中检测和分类社交媒体中的攻击性语言的性能。针对攻击性语言识别问题,提出了一种基于预训练语言模型、ERNIE和XLM-R的多语种识别方法。针对攻击性语言的分类问题,提出了一种基于软标签的知识蒸馏方法。我们的团队参与了所有三个子任务。在子任务A -攻击性语言识别中,我们在所有语言的平均F1分数方面排名第一。我们也是唯一一支在所有语言中排名前三的团队。我们还在子任务B -犯罪类型自动分类和子任务C -犯罪目标识别中获得了第一名。
2020-10-07 cs.CL
IndicTriMix: Developing Language Identification Datasets and Models for Tri-Language Code-Mixing
Sardar Vallabhbhai National Institute of Technology Surat(萨达尔·瓦拉巴伊国家理工学院苏拉特校区);TCS Research Hyderabad(塔塔咨询服务公司海得拉巴研究中心)
本文提出IndicTriMix,通过微调MuRIL和XLM-RoBERTa模型,利用平行句生成代码混合数据,构建三语语言识别基准,有效实现标记级语言识别。
2026-09-11 cs.CL
Short Text Language Identification for Under Resourced Languages
Feersum Engine(Feersum引擎公司);Praekelt Consulting(Praekelt咨询公司)
本文提出了一种用于短文本语言识别(LID)的分层朴素贝叶斯和基于词典的分类器,适用于资源不足的语言。该算法是评估短的文本片段的11个南非官方语言,其中一些是类似的语言。该算法相比,最近的方法,使用测试集从以前的作品南非语言,以及相似的语言(DSL)共享任务的数据集之间的区别。剩余的研究机会和紧迫的问题,在评估和比较LID方法进行了讨论。
2019-11-22 cs.CL
Language Identification With Confidence Limits
描述了一种统计分类算法及其在噪声输入中的语言识别中的应用。主要的创新是计算分类的置信限,这样当有足够的证据做出明确的决定时,算法就终止了,从而避免了具有相似特征的类别的问题。第二个应用程序,体裁识别,简要审查。结果表明,其他语言识别技术的一些问题可以避免,并说明了一个更重要的一点:统计语言过程可以用来提供有关其自身成功率的反馈。
1999-07-07 cs.CL
A Fast, Compact, Accurate Model for Language Identification of Codemixed Text
Google AI Language(谷歌人工智能语言团队)
我们解决了细粒度的多语言识别:为句子中的每个标记提供语言代码,包括包含多种语言的代码混合文本。这种文本在网上、文档、社交媒体和留言板中很流行。我们证明了一个简单的全局约束解码器的前馈网络可以准确,快速地标记100种语言和100种语言对的混合和单语文本。该模型在准确性和速度方面优于先前发布的多语言方法,在三个代码混合数据集上获得了800倍的速度和19.5%的平均绝对增益。此外,它在单语语言识别方面优于几个基准系统。
2018-10-09 cs.CL
Improved Text Language Identification for the South African Languages
Feersum Engine;Praekelt Consulting
虚拟助手和文本聊天机器人最近越来越受欢迎。鉴于基于文本的聊天交互的短消息性质,这些机器人的语言识别系统可能只有15或20个字符来进行预测。然而,准确的文本语言识别是重要的,特别是在许多多语言自然语言处理管道的早期阶段。本文研究了朴素贝叶斯分类器的使用,以准确地预测一段文本所属的语言家族,结合基于词典的分类器来区分文本所写的特定南非语言。这种方法导致语言检测错误减少31%。本着可重复研究的精神,训练和测试数据集以及代码都发布在github上。希望这将是有用的,为南非语言创建一个文本语言识别共享任务。
2017-11-01 cs.CL
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);Electrical and Computer Engineering(电气与计算机工程学院)
在本文中,我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成,这些模型利用多语言BERT模型的任务自适应预训练,并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一,在马拉雅拉姆语中排名第二,在泰米尔语中排名第三。
2021-03-12 cs.CL
Detecting Structured Language Alternations in Historical Documents by Combining Language Identification with Fourier Analysis
Center for Digital Humanities(数字人文中心);Johns Hopkins University(约翰霍普金斯大学)
本研究提出结合语言识别与傅里叶分析的可泛化工作流,用于检测Armeno-Turkish这类非标准语言文字组合的历史文献,还提出基于结构化语言交替频率识别多语言模式的新任务。
2024-01-25 cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology(谢里夫理工大学)
由于缺乏资源和标记化问题,识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言:古巴比伦语,中巴比伦语外围语,标准巴比伦语,新巴比伦语,晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成,两者都工作在字符级特征上,宏观平均F1分数为72.10%。
2020-09-22 cs.CL
indicnlp@kgp at DravidianLangTech-EACL2021: Offensive Language Identification in Dravidian Languages
IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文介绍了团队indicnlp@kgp提交给EACL 2021共享任务“达罗毗荼语中的攻击性语言识别”。“该任务旨在对3个代码混合的德拉威语数据集中不同的攻击性内容类型进行分类。这项工作利用了现有的最先进的方法在文本分类中,通过纳入额外的数据和预训练模型的迁移学习。我们最终提交的是基于AWD-LSTM的模型以及基于BERT和RoBERTa的两种不同的Transformer模型架构的集合。我们在马拉雅拉姆语-英语、泰米尔语-英语和卡纳达语-英语数据集中取得了0.97、0.77和0.72的加权平均F1分数,在各自的任务中排名第一、第二和第三。
2021-02-14 cs.CL
CHALIS: A Challenge Dataset for Language Identification in Difficult Scenarios
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
提出CHALIS数据集,针对亲缘语言和拼写噪声等困难场景,通过收集互懂语言对句子和模拟拼写噪声,评估四种语言识别系统,发现它们在低资源语言和音译输入上表现不佳。
2026-06-04 cs.CL
KréyoLID From Language Identification Towards Language Mining
Inria(法国国家信息与自动化研究所);Common Crawl Foundation(Common Crawl基金会)
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题,并针对多种法语克里奥尔语引入新流程与语料库,以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Language Variety Identification with True Labels
George Mason University(乔治梅森大学);University of Helsinki(赫尔辛基大学);Cambridge University(剑桥大学);Rochester Institute of Technology(罗切斯特理工学院)
语言识别是许多IR和NLP应用中重要的第一步。然而,大多数公开可用的语言识别数据集都是在假设每个实例的黄金标签由文本的检索位置确定的情况下编译的。研究表明,这是一个有问题的假设,特别是在非常相似的语言的情况下(例如,克罗地亚语和塞尔维亚语)和民族语言变体(例如,巴西和欧洲葡萄牙语),其中文本可能不包含特定语言或变体的独特标记。为了克服这一重要限制,本文提出了DSL True Labels(DSL-TL),这是第一个用于语言种类识别的人工注释多语言数据集。DSL-TL总共包含12,900个葡萄牙语实例,分为欧洲葡萄牙语和巴西葡萄牙语;西班牙语,分为阿根廷西班牙语和卡斯蒂利亚西班牙语;英语,分为美国英语和英国英语。我们训练了多个模型来区分这些语言变体,并详细介绍了结果。本文提出的数据和模型提供了一个可靠的基准,朝着强大的和公平的语言品种识别系统的发展。我们向研究社区免费提供DSL-TL。
2023-03-02 cs.CL
Language Identification of Bengali-English Code-Mixed data using Character & Phonetic based LSTM Models
SRM University(SRM大学);Jadavpur University(贾达普大学)
社交媒体文本的语言识别仍然是一项具有挑战性的任务,由于代码混合和不一致的语音音译等属性。在本文中,我们提出了一种监督学习方法,用于从社交媒体中获取的低资源孟加拉语-英语代码混合数据的单词级语言识别。我们采用两种单词编码方法,即基于字符和基于根音素来训练我们的深度LSTM模型。利用这两个模型,我们建立了两个集成模型,使用堆叠和阈值技术,给出了91.78%和92.35%的准确率分别对我们的测试数据。
2018-06-27 cs.CL
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力,发现模型在区分借词与本土词汇方面表现不佳,对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校知识与计算智能系统学院)
在多语言或社会语言结构中,语码转换(ICS)或语码混合(CM)是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外,ICS在技术、健康和法律方面特别重要,因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中,CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进,必要的步骤是语言识别。在本文中,我们提出了各种模型的研究-朴素贝叶斯分类器,随机森林分类器,条件随机场(CRF),和隐马尔可夫模型(HMM)的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏,提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的,f1分数为0.91。
2020-10-09 cs.CL
Overview for the Second Shared Task on Language Identification in Code-Switched Data
University of Houston(休斯顿大学);George Washington University(乔治华盛顿大学)
我们提出了一个概述的第二个共同的任务,在代码转换数据的语言识别。对于共享任务,我们有来自两种不同语言对的代码转换数据:现代标准阿拉伯语-方言阿拉伯语(MSA-DA)和西班牙语-英语(SPA-ENG)。我们共有9个参赛团队,所有团队都提交了SPA-ENG系统,4个提交了MSA-DA系统。通过评估,我们再次发现,语言识别对于关系更密切的语言对来说更加困难。我们还发现,今年的系统总体表现优于上一个共享任务的系统,表明该任务的最新技术水平取得了整体进展。
2019-09-28 cs.CL
Language Identification in Code-Mixed Data using Multichannel Neural Networks and Context Capture
SRM University(SRM大学);IIT (BHU)(印度理工学院(贝拿勒斯印度教大学))
准确的语言识别工具对于构建用于代码混合数据的复杂NLP系统是绝对必要的。最近在这方面做了很多工作,但仍有改进的余地。受计算机视觉任务神经网络架构的最新进展的启发,我们实现了结合CNN和LSTM的多通道神经网络,用于代码混合数据的单词级语言识别。将其与Bi-LSTM-CRF上下文捕获模块相结合,在我们的两个测试集上实现了93.28%和93.32%的准确率。
2018-08-21 cs.CL
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
Script-Agnostic Language Identification
George Mason University(乔治梅森大学)
针对多文字系统语言在神经表示空间中不共享属性的问题,提出通过放大、扁平化和文字混合等策略学习与文字系统无关的表示,发现词级文字随机化等方法有效提升了多语言识别性能。
2024-06-25 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven(鲁汶大学)
本文介绍了我们的系统,题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别(OffensEval 2)。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言,我们使用两个微调的BERT模型的组合。对于其他语言,我们提出了一种跨语言的增强方法,以丰富训练数据,我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
Improving Language Identification for Code-Switched Utterances with Integer Linear Programming
Sorbonne Université(索邦大学);SYSTRAN by ChapsVision(ChapsVision旗下SYSTRAN)
本文针对混合话语的语言识别挑战,改进SOTA方法MaskLID,将其优化算法重构为整数线性规划,在10种语言实验中显著提升混合基准性能并发布代码数据。
2026-09-07 cs.CL
Strategies for Language Identification in Code-Mixed Low Resource Languages
SRM Institute of Science & Technology(SRM科学技术研究所)
近年来,人们在混合代码数据的语言标注方面做了大量的工作,但大多数都需要使用大量的数据来建立模型。在这篇文章中,我们提出了三种策略,以建立一个字级语言标记代码混合数据使用非常低的资源。它们中的每一个都确保了比我们的基线模型更高的准确度,性能最好的系统的准确度约为91%。综合所有这些,合奏系统达到了约92.6%的准确率。
2018-10-31 cs.CL
Automatic Identification of Closely-related Indian Languages: Resources and Experiments
Dr. Bhim Rao Ambedkar University(比姆·拉奥·安贝德卡尔博士大学);Jadavpur University(贾达普大学);Rutgers University(罗格斯大学);Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
在本文中,我们讨论了一个尝试,以开发一个自动语言识别系统,为5个密切相关的印度-雅利安语的印度,阿瓦地,Bhojpuri,Braj,印地语和Magahi。我们从各种资源中为这些语言编制了一个长度不等的可比语料库。我们详细讨论了这些语料库的创建方法。使用这些语料库,语言识别系统的开发,目前给出的最先进的准确率为96.48%。我们还利用这些语料库研究了这5种语言在词汇水平上的相似性,这是第一次基于数据的研究这些语言的接近程度。
2018-03-26 cs.CL
Bhasha-Abhijnaanam: Native-script and romanized Language Identification for 22 Indic languages
AI4Bharat;IIT Madras(印度理工学院马德拉斯分校);Microsoft(微软)
本文构建了覆盖22种印度语言的本土文字与罗马化文本语言识别数据集Bhasha-Abhijnaanam,并训练了首个罗马化印度语言识别模型IndicLID,解决了训练数据缺乏和相似语言识别难的问题。
2023-10-26 cs.CL
Classifier Ensembles for Dialect and Language Variety Identification
University of Bucharest(布加勒斯特大学);University of Wolverhampton(伍尔弗汉普顿大学);Harvard Medical School(哈佛医学院)
在本文中,我们使用2018年VarDial评估活动组织者提供的数据集,提出了基于集合的方言和语言种类识别系统。我们提出了一个系统,开发区分佛兰芒语和荷兰语的字幕和系统训练区分四种阿拉伯方言:埃及,黎凡特,海湾,北非和现代标准阿拉伯语的语音广播。最后,我们将这两个系统的性能与提交给VarDial 2018的区分荷兰语和佛兰芒语字幕(DFS)和阿拉伯语方言识别(ADI)共享任务的其他系统进行了比较。
2018-08-14 cs.CL
Pretrained Transformers for Offensive Language Identification in Tanglish
PSG College of Arts and Science(PSG文理学院)
本文描述了提交给Dravidian-Codemix-HASOC 2021的系统:德拉威语言(泰米尔语-英语和马拉雅拉姆语-英语)中的仇恨言论和攻击性语言识别。这项任务旨在识别从社交媒体收集的达罗毗荼语代码混合评论/帖子中的攻击性内容。我们的方法利用池化预训练的Transformer多语言BERT的最后几层来完成这项任务,这帮助我们在子任务B中获得了泰米尔语-英语数据集的加权平均得分为0.61的排行榜排名第九。在任务截止日期之后,我们对数据集进行了统一采样,并使用了MuRIL预训练模型,这帮助我们获得了0.67的加权平均分,这是排行榜中的最高分。此外,我们利用预训练模型的方法有助于将我们的模型重用于不同数据集的相同任务。我们的代码和模型可以在https://github.com/seanbenhur/tanglish-offensive-language-identification上找到
2021-12-07 cs.CL
Native Language Identification on Text and Speech
University of Wolverhampton(伍尔弗汉普顿大学);University of Bucharest(布加勒斯特大学)
本文提出了一个集成系统相结合的输出多个SVM分类器的母语识别(NLI)。该系统被提交给NLI共享任务2017融合轨道,其中包括学生论文和11种母语的非英语母语者的音频transmittance和iVectors形式的口语回答。我们的系统以ZCD团队的名义参加了挑战赛,并且基于在字符n-gram上训练的SVM分类器的集合,实现了83.58%的准确率,并在共享任务中排名第三。
2017-07-22 cs.CL
Language Detection by Means of the Minkowski Norm: Identification Through Character Bigrams and Frequency Analysis
本文提出利用字符单字母组与二元组频率排名及 Minkowski 范数的非 AI 语言检测算法,在多体裁、跨时期文本上实现短文本超 80%、长文本 100% 的准确率。
2025-07-23 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London(帝国理工学院)
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战,该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文,将攻击分类为有针对性或无针对性,并最终识别目标主题类型。
2019-04-02 cs.CL
Experiments in Cuneiform Language Identification
Universidade Tecnológica Federal do Paraná(巴拉那联邦理工大学);University of Wolverhampton(伍尔弗汉普顿大学)
楔形文字是世界上最早的文字系统之一,本文介绍了用楔形文字区分语言和方言的方法。我们报告了PZ团队在2019年VarDial评估活动范围内组织的楔形文字语言识别(CLI)共享任务中获得的结果。这项任务包括两种语言,苏美尔语和阿卡德语。后者分为六种方言:古巴比伦语、中巴比伦语、标准巴比伦语、新巴比伦语、晚巴比伦语和新亚述语。我们使用在各种SVM模型上训练的元分类器来处理任务,并展示了该系统在此任务中的有效性。我们的参赛作品在区分七种语言和方言方面取得了0.738的F1分数,在八支队伍中排名第四。
2019-04-27 cs.CL
Developing Successful Shared Tasks on Offensive Language Identification for Dravidian Languages
Insight SFI Research Centre for Data Analytics, National University of Ireland Galway(爱尔兰国立大学戈尔韦分校Insight数据分析研究中心);TR Labs, Thomson Reuters(汤森路透TR实验室);ULTRA Arts and Science College(ULTRA文理学院);National Institute of Technology Karnataka Surathkal(卡纳塔克邦苏拉特卡尔国立技术学院);Eastern University(东方大学);National Institute of Technology Tiruchirappalli(蒂鲁吉拉帕利国立技术学院);SRM Institute of Science and Technology(SRM科学技术学院)
随着移动计算和Web技术的快速发展,攻击性语言在社交网络平台上变得越来越普遍。由于当地语言中的攻击性语言识别对于缓和社交媒体内容至关重要,因此在本文中,我们使用三种资源不足的德拉威语,即马拉雅拉姆语,泰米尔语和卡纳达语。我们在FIRE 2020- HASOC-DravidianCodeMix和EACL 2021的DravidianLangTech上提出了一项评估任务,旨在为比较解决此问题的不同方法提供一个框架。本文描述了数据创建,定义了任务,列出了参与的系统,并讨论了各种方法。
2021-11-05 cs.CL
Scaling Native Language Identification with Transformer Adapters
Universität Zürich(苏黎世大学);PRODAFT
母语识别(NLI)是根据学习语言的语言产出自动识别个人母语的任务。它可用于各种目的,包括营销,安全和教育应用。NLI通常被定义为多标签分类任务,其中许多设计的特征被组合以实现最先进的结果。最近,基于Transformer解码器(GPT-2)的深度生成方法优于其同行,并在NLI基准数据集上取得了最佳结果。我们调查这种方法,以确定与传统的国家的最先进的NLI系统的实际影响。我们引入了Transformer适配器来解决内存限制并提高训练/推理速度,以扩展NLI应用程序以用于生产。
2022-11-18 cs.CL
Native Language Identification with Large Language Models
VTEX(VTEX公司)
本研究首次将大语言模型应用于母语识别任务,发现GPT-4在零样本下于TOEFL11基准集达91.7%准确率,且不受已知类别限制,还能给出分类依据,为该任务实际应用提供新方向。
2023-12-13 cs.CL
Offensive Language Identification in Greek
University of Wolverhampton(伍尔弗汉普顿大学);Rochester Institute of Technology(罗切斯特理工学院)
由于攻击性语言已成为在线社区和社交媒体平台的一个日益严重的问题,研究人员一直在研究应对滥用内容的方法,并开发系统来检测其不同类型:网络欺凌,仇恨言论,侵略等。这主要是由于英语语言资源的可用性。为了解决这个问题,本文提出了第一个用于攻击性语言识别的希腊注释数据集:攻击性希腊推文数据集(OGTD)。OGTD是一个手动注释的数据集,包含来自Twitter的4,779个帖子,注释为攻击性和非攻击性。随着数据集的详细描述,我们评估了几个计算模型训练和测试这些数据。
2020-03-18 cs.CL
Multilingual Multiword Expression Identification Using Lateral Inhibition and Domain Adaptation
University Politehnica of Bucharest(布加勒斯特理工大学);Research Institute for Artificial Intelligence “Mihai Drăgănescu”, Romanian Academy(罗马尼亚科学院“米哈伊·德拉格内斯库”人工智能研究所)
本研究利用mBERT结合侧向抑制和语言对抗训练,在PARSEME 1.2的14种语言上识别多词表达,多数语言上超越MTLB-STRUCT系统。
2023-06-17 cs.CL
An Open Dataset and Model for Language Identification
University of Edinburgh(爱丁堡大学);Institute for Language, Cognition, and Computation(语言、认知与计算研究所)
本文提出一个在201种语言上达到宏平均F1 0.93和假阳性率0.033的语言识别模型及数据集,优于以往工作,并公开供研究使用。
2023-05-23 cs.CL
Geographically-Informed Language Identification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Canterbury(坎特伯雷大学)
本文提出一种地理信息感知的语言识别方法,通过构建16个区域模型并纳入国际语言,在传统测试数据上F1提升1.7至10.4个百分点,覆盖916种语言,显著改善真实语料库的语言标签。
2024-03-14 cs.CL
Leveraging Open-Source Large Language Models for Native Language Identification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);CLTL(语言与技术计算实验室)
本研究探索开源大型语言模型在母语识别任务中的潜力,发现开箱即用时性能不及闭源模型,但微调后可达到与商业模型相当的水平。
2025-01-19 cs.CL
A reproduction of Apple's bi-directional LSTM models for language identification in short strings
Aarhus University(奥胡斯大学);Information Sciences Institute(信息科学研究所)
语言识别是识别文档语言的任务。对于像自动拼写检查器选择这样的应用程序,语言识别必须使用非常短的字符串,如文本消息片段。在这项工作中,我们重现了Apple在博客文章中简要描述的语言识别架构。我们确认了bi-LSTM模型的性能,并发现它优于当前的开放源语言标识符。我们进一步发现,其语言识别错误是由于相关语言之间的混淆。
2021-02-11 cs.CL cs.LG
Siamese convolutional networks based on phonetic features for cognate identification
Seminar für Sprachwissenschaft(语言学研讨班);University of Tübingen(图宾根大学)
在本文中,我们将探索卷积网络(ConvNets)用于同源识别的用途。我们比较我们的架构与二进制分类器的基础上,字符串相似性措施不同的语言家庭。我们的实验表明,卷积网络在同源识别任务中实现了跨概念和跨语言家族的竞争结果。
2016-07-02 cs.CL
Offensive Language Identification in Transliterated and Code-Mixed Bangla
George Mason University(乔治梅森大学);Aston University(阿斯顿大学)
本文针对音译与语码混合孟加拉语文本中的攻击性语言识别问题,构建了含5000条人工标注评论的TB-OLID数据集,实验证明fBERT和HateBERT等英语预训练transformer模型表现最佳。
2023-11-25 cs.CL
Native Language Identification using Stacked Generalization
Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
使用多个分类器的集成方法已被证明是最成功的母语识别(NLI)的任务,实现当前的艺术状态。然而,集成方法的NLI尚未进行系统的检查。此外,更深层次的集成架构,如分类器堆叠尚未密切评估。我们提出了一组实验,使用三个基于集成的模型,测试每个与多种配置和算法。这包括严格应用NLI的元分类模型,在来自不同语言的三个数据集上获得最先进的结果。我们还提出了第一次使用统计显著性检验比较NLI系统,表明我们的结果是显着优于以前的最先进的状态。我们提供了一个测试集的预测,以方便未来的统计测试。
2017-03-19 cs.CL
A Portuguese Native Language Identification Dataset
University of Lisbon(里斯本大学);University of Wolverhampton(伍尔弗汉普顿大学);Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
在本文中,我们提出了NLI-PT,第一个葡萄牙语数据集编译的母语识别(NLI),确定作者的第一语言的基础上,他们的第二语言写作的任务。该数据集包括1,868篇由欧洲葡萄牙语学习者撰写的学生论文,母语为以下L1:中文,英语,西班牙语,德语,俄语,法语,日语,意大利语,荷兰语,德顿语,阿拉伯语,波兰语,韩语,罗马尼亚语和瑞典语。NLI-PT包括原始学生文本和四种不同类型的注释:POS,细粒度POS,选区解析和依赖解析。NLI-PT不仅可以用于NLI,还可以用于第二语言习得和教育NLP领域的多个主题的研究。我们讨论了这个数据集的可能应用,并提出了第一个词汇基线系统葡萄牙语NLI的结果。
2018-04-30 cs.CL
LLMsAgainstHate @ NLU of Devanagari Script Languages 2025: Hate Speech Detection and Target Identification in Devanagari Languages via Parameter Efficient Fine-Tuning of LLMs
IIIT Sri City(斯里城印度信息技术学院);Aditya English Medium School(阿迪蒂亚英语 medium 学校);UCLA(加利福尼亚大学洛杉矶分校);Stanford University(斯坦福大学);University of South Carolina(南卡罗来纳大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文针对天城体语言仇恨言论检测资源稀缺问题,提出基于参数高效微调(PEFT)的检测与目标识别方法,并在印地语和尼泊尔语数据集上验证了多个大语言模型的有效性。
2024-12-26 cs.CL
Code-Switched Language Identification is Harder Than You Think
University of Edinburgh(爱丁堡大学)
本研究聚焦语码转换语言识别任务,将其重构为句子级多标签标注问题,测试三种模型并提出更适配的评估指标,发现现有方法均无法充分胜任该任务,为后续研究提供了方向。
2024-02-02 cs.CL
DravidianCodeMix: Sentiment Analysis and Offensive Language Identification Dataset for Dravidian Languages in Code-Mixed Text
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);ULTRA Arts and Science College(ULTRA艺术与科学学院);Cardiff University(卡迪夫大学);Indian Institute of Information Technology and Management-Kerala(印度喀拉拉邦信息技术与管理学院)
本文描述了一个多语言的,手动注释的数据集为三个资源不足的德拉威语言从社交媒体评论生成的发展。该数据集被注释用于情感分析和攻击性语言识别,总共有60,000多条YouTube评论。该数据集包括大约44,000条泰米尔语评论,大约7,000条卡纳达语评论,以及大约20,000条马拉雅拉姆语评论。这些数据由志愿者注释者手动注释,并且在Krippendorff的alpha中具有较高的注释者间一致性。该数据集包含所有类型的代码混合现象,因为它包含来自多语言国家的用户生成的内容。我们还提出了基线实验,使用机器学习方法在数据集上建立基准。数据集可以在Github(https://github.com/bharathichezhiyan/DravidianCodeMix-Dataset)和Zenodo(https://zenodo.org/record/4750858\#.YJtw0SYo\_0M)上找到。
2021-06-17 cs.CL
A Low Dimensionality Representation for Language Variety Identification
Autoritas Consulting(Autoritas咨询公司);Universitat Politècnica de València(瓦伦西亚理工大学)
语言种类识别的目的是用母语(例如西班牙语、葡萄牙语、英语)标记文本及其特定变体(例如阿根廷、智利、墨西哥、秘鲁、西班牙;巴西、葡萄牙;英国、美国)。在这项工作中,我们提出了一个低维表示(LDR)来解决这个任务与五个不同品种的西班牙语:阿根廷,智利,墨西哥,秘鲁和西班牙。我们将我们的LDR方法与常见的最先进的表示方法进行了比较,结果显示精度提高了约35%。此外,我们比较LDR与两个参考分布式表示模型。实验结果显示了有竞争力的性能,同时大大降低了维度-并增加了大数据的适用性-每个品种只有6个特征。此外,我们分析了所采用的机器学习算法的行为和最具鉴别力的特征。最后,我们采用另一种数据集来测试我们的低维表示与另一组类似语言的鲁棒性。
2017-05-30 cs.CL
Robust Language Identification for Romansh Varieties
University of Zurich(苏黎世大学)
本文提出基于SVM的罗马什语方言识别系统,通过两个领域的新基准测试,达到97%的领域内准确率,支持方言感知的拼写检查和机器翻译应用。
2026-03-16 cs.CL
IITR-CIOL@NLU of Devanagari Script Languages 2025: Multilingual Hate Speech Detection and Target Identification in Devanagari-Scripted Languages
Indian Institute of Technology, Roorkee(鲁尔基印度理工学院);Shahjalal University of Science and Technology(沙贾拉尔科技大学)
本文提出MultilingualRobertaClass模型,基于多语言转写RoBERTa对天城体文字语言进行仇恨言论检测与目标识别,在子任务B和C上分别取得88.40%和66.11%的准确率。
2024-12-28 cs.CL