I can tell whether you are a Native Hawlêri Speaker! How ANN, CNN, and RNN perform in NLI-Native Language Identification
University of Kurdistan Hewlêr(库尔德斯坦休勒大学)
本研究通过ANN、CNN和RNN模型评估了Hewlêri亚方言的NLI性能,发现RNN在5秒音频分割中准确率高达95.92%。
2026-02-11 cs.CL
Native Language Identification using i-vector
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
仅基于说话者的第二语言的讲话来确定他的母语的任务被称为母语识别或NLI。由于其在语音信号处理的各个领域中的应用越来越多,近年来已成为一个重要的研究领域。在本文中,我们提出了一个基于i向量的方法来开发一个自动NLI系统,使用MFCC和GFCC功能。为了评估我们的方法,我们在2016年ComparE母语子挑战数据集上测试了我们的框架,该数据集有来自11种不同母语背景的英语语言使用者。我们提出的方法优于基线系统的准确性提高了21.95%的MFCC特征为基础的i-向量框架和22.81%的GFCC特征为基础的i-向量框架。
2018-11-09 cs.CL cs.LG cs.SD
Improving the results of string kernels in sentiment analysis and Arabic dialect identification by adapting them to your test set
University of Bucharest(布加勒斯特大学)
最近,字符串内核已经在各种文本分类任务中获得了最先进的结果,例如阿拉伯语方言识别或母语识别。在本文中,我们采用两种简单而有效的转导学习方法,以进一步改善字符串内核的结果。第一种方法基于将训练集中的样本和测试集中的样本之间的成对字符串内核相似性解释为特征。我们的第二种方法是基于两次学习迭代的简单自训练方法。在第一次迭代中,像往常一样,在训练集上训练分类器并在测试集上测试。在第二次迭代中,将多个测试样本(分类器与其相关联的置信度分数较高)添加到训练集中以进行另一轮训练。然而,添加的测试样本的地面实况标签是不必要的。相反,我们使用分类器在第一次训练迭代中预测的标签。通过调整字符串内核的测试集,我们报告显着更好的准确率在英语极性分类和阿拉伯语方言识别。
2018-08-31 cs.CL
Bhasha-Abhijnaanam: Native-script and romanized Language Identification for 22 Indic languages
AI4Bharat;IIT Madras(印度理工学院马德拉斯分校);Microsoft(微软)
本文构建了覆盖22种印度语言的本土文字与罗马化文本语言识别数据集Bhasha-Abhijnaanam,并训练了首个罗马化印度语言识别模型IndicLID,解决了训练数据缺乏和相似语言识别难的问题。
2023-10-26 cs.CL
Towards Ethical Content-Based Detection of Online Influence Campaigns
University of Ottawa(渥太华大学);American University(美利坚大学)
发现影响在线社区用户的秘密努力是一个具有挑战性的问题,有着重大的积极发展。我们证明,来自用户评论的文本的功能是有用的识别可疑的活动,但导致增加错误的识别时,在过去的影响力运动中的关键字过度代表。借鉴母语识别(NLI)的研究,我们使用“命名实体掩蔽”(NEM)来创建对这一缺点鲁棒的句子特征,同时保持相当的分类准确性。我们证明,虽然NEM一贯减少误报时,关键命名的实体提到,掩蔽和未掩蔽的模型表现出增加的误报率英语句子的俄语母语,提高道德考虑,应在未来的研究中解决。
2019-08-29 cs.CL cs.CY
The Relevance of Text and Speech Features in Automatic Non-native English Accent Identification
Iowa State University(爱荷华州立大学)
本文介绍了我们的实验与自动识别母语口音的语音样本的非英语母语者使用低级别的音频功能,和n-gram功能,从手动transmittance。使用一个公开的非母语语音语料库和简单的音频特征表示,不执行字/音素识别,我们表明,这是可能实现接近90%的分类精度为这项任务。虽然字符n-gram执行类似的语音功能,我们表明,语音功能不受提示的变化,而ngram。由于遵循的方法可以很容易地适应任何语言,只要我们有足够的训练数据,我们相信这些结果将提供有用的见解口音识别系统的发展和口音的语言学习的背景下的研究。
2018-04-16 cs.CL
Leveraging Open-Source Large Language Models for Native Language Identification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);CLTL(语言与技术计算实验室)
本研究探索开源大型语言模型在母语识别任务中的潜力,发现开箱即用时性能不及闭源模型,但微调后可达到与商业模型相当的水平。
2025-01-19 cs.CL
Robust Native Language Identification through Agentic Decomposition
University of Zurich(苏黎世大学)
本文针对LLM原生语言识别易依赖表面线索的问题,提出受法医语言学启发的智能体分解流程,通过专用智能体积累分类证据、协调智能体综合预测,在基准数据集上提升了NLI的鲁棒性与性能一致性。
2026-08-07 cs.CL
Native Language Identification with Large Language Models
VTEX(VTEX公司)
本研究首次将大语言模型应用于母语识别任务,发现GPT-4在零样本下于TOEFL11基准集达91.7%准确率,且不受已知类别限制,还能给出分类依据,为该任务实际应用提供新方向。
2023-12-13 cs.CL
Unravelling Interlanguage Facts via Explainable Machine Learning
Università di Milano(米兰大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
母语识别(NLI)是训练(通过监督机器学习)猜测文本作者母语的分类器的任务。在过去的十年中,这项任务得到了广泛的研究,NLI系统的性能在过去几年中稳步提高。我们专注于NLI任务的另一个方面,即,分析由\emph{explainable}机器学习算法训练的NLI分类器的内部结构,以获得对其分类决策的解释,最终目标是深入了解哪些语言现象“泄露了说话者的母语”。我们使用这个视角来处理NLI和一个(研究得少得多的)伴随任务,即,猜测文本是由本族语者还是非本族语者撰写的。使用三个不同来源的数据集(两个英语学习者的文章数据集和一个社交媒体帖子数据集),我们调查了哪种语言特征(词汇,形态,句法和统计)对解决我们的两个任务最有效,即,最能表明说话者的L1。我们还提出了两个案例研究,一个西班牙语和一个意大利语的英语学习者,在其中我们分析了个人的语言特征,分类器已经挑出最重要的发现这些L1。总的来说,我们的研究表明,使用可解释的机器学习可以是一个有价值的工具,
2022-08-02 cs.AI cs.CL
Vector Space Model as Cognitive Space for Text Classification
Center for Computational Engineering and Networking(计算工程与网络中心);Amrita School of Engineering, Coimbatore(科钦阿姆利塔工程学院);Amrita Vishwa Vidyapeetham, Amrita University, India(印度阿姆利塔大学阿姆利塔大学)
在这个数字化的时代,了解用户的社交方面已经成为建立用户特定推荐系统的基本特征。这些社交方面可以通过挖掘用户在社交媒体和评论中以文本形式分享的语言来发现。本文描述了在PAN Author Profiling 2017共享任务中执行的实验。该任务的目标是从用户的推文中找到用户的社交方面。本实验考虑的社会语言方面是用户的性别和母语信息。在这里,用户的推文写在不同的语言从他们的母语表示为文档-术语矩阵与文档频率作为约束。进一步的分类是使用支持向量机,以性别和母语为目标类。本实验在性别预测和母语识别任务中的平均准确率分别达到73.42%和76.26%。
2017-08-21 cs.AI cs.CL cs.SI
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力,发现模型在区分借词与本土词汇方面表现不佳,对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
针对自监督语音表征中口音与语言混淆问题,提出基于几何投影的L1偏差去除方法,仅用母语语音估计偏差方向,在五个MMS-LID模型上显著提升L2口音语音识别,且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University(庞培法布拉大学);Pontifical Catholic University of Peru(秘鲁天主教大学)
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术,以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集,我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言,预计到2022年底,秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频,使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量,我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
The Impact of Editorial Intervention on Detecting Native Language Traces
University of Cambridge(剑桥大学);University of Zurich(苏黎世大学)
本文研究了编辑干预对母语识别鲁棒性的影响,发现深层母语特征在轻微编辑中仍能保持,而流畅性编辑和改写会显著降低识别性能。
2026-07-23 cs.CL
Evaluating Large Language Models with Tests of Spanish as a Foreign Language: Pass or Fail?
本文评估了最先进的大型语言模型在西班牙语外语考试基准TELEIA上的表现,发现其虽能较好理解西班牙语,但语法能力仍远不及母语者水平。
2024-09-08 cs.CL
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校知识与计算智能系统学院)
在多语言或社会语言结构中,语码转换(ICS)或语码混合(CM)是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外,ICS在技术、健康和法律方面特别重要,因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中,CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进,必要的步骤是语言识别。在本文中,我们提出了各种模型的研究-朴素贝叶斯分类器,随机森林分类器,条件随机场(CRF),和隐马尔可夫模型(HMM)的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏,提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的,f1分数为0.91。
2020-10-09 cs.CL
A Low Dimensionality Representation for Language Variety Identification
Autoritas Consulting(Autoritas咨询公司);Universitat Politècnica de València(瓦伦西亚理工大学)
语言种类识别的目的是用母语(例如西班牙语、葡萄牙语、英语)标记文本及其特定变体(例如阿根廷、智利、墨西哥、秘鲁、西班牙;巴西、葡萄牙;英国、美国)。在这项工作中,我们提出了一个低维表示(LDR)来解决这个任务与五个不同品种的西班牙语:阿根廷,智利,墨西哥,秘鲁和西班牙。我们将我们的LDR方法与常见的最先进的表示方法进行了比较,结果显示精度提高了约35%。此外,我们比较LDR与两个参考分布式表示模型。实验结果显示了有竞争力的性能,同时大大降低了维度-并增加了大数据的适用性-每个品种只有6个特征。此外,我们分析了所采用的机器学习算法的行为和最具鉴别力的特征。最后,我们采用另一种数据集来测试我们的低维表示与另一组类似语言的鲁棒性。
2017-05-30 cs.CL
Towards Offensive Language Identification for Tamil Code-Mixed YouTube Comments and Posts
University of Moratuwa(莫拉图瓦大学)
社交媒体平台中的攻击性语言检测在过去几年一直是一个活跃的研究领域。在非英语母语国家,社交媒体用户大多在他们的帖子/评论中使用代码混合形式的文本。这在攻击性内容识别任务中提出了几个挑战,考虑到泰米尔语可用的资源很少,任务变得更加困难。目前的研究提出了使用多种深度学习和迁移学习模型来检测YouTube上的攻击性内容的广泛实验。我们提出了一种新颖灵活的选择性翻译和音译技术的方法,以获得更好的结果,从微调和集成多语言Transformer网络,如BERT,蒸馏- BERT,和XLM-RoBERTa。实验结果表明,ULMFiT是该任务的最佳模型。对于这个泰米尔代码混合数据集,性能最好的模型是ULMFiT和mBERTBiLSTM,而不是更流行的迁移学习模型,如Distil- BERT和XLM-RoBERTa以及混合深度学习模型。所提出的模型ULMFiT和mBERTBiLSTM取得了良好的结果,并有望在低资源语言中有效地识别攻击性语音。
2021-08-26 cs.CL
Arch: An AI-Native Hardware Description Language for Register-Transfer Clocked Hardware Design
Arch是一种面向AI的硬件描述语言,用于微架构规格和AI辅助代码生成,通过参数化时钟和复位类型,提供类型安全的硬件描述方法,支持多种硬件结构,提升设计可靠性。
2026-04-27 cs.CL cs.PL
AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition
Google(谷歌)
现代的自动语音识别(ASR)技术已经发展到可以很好地识别母语者所讲的语音。然而,识别非母语人士所说的语音仍然是一个重大挑战,在这项工作中,我们首先阐明了创建一个精心策划的数据库的语音样本在非母语口音的训练和测试强大的ASR系统的关键要求。然后,我们介绍AccentDB,一个这样的数据库,其中包含我们收集的4个印度英语口音的样本,并从4个本地英语的样本汇编,和一个大都市的印度英语口音。我们还提出了一个分析的可分离性收集口音数据。此外,我们提出了几种口音分类模型,并对人类标记的口音类进行了彻底的评估。我们在各种可见和不可见数据的设置中测试分类器模型的泛化。最后,我们介绍了使用具有特定任务架构的自动编码器模型将非本地口音的口音中和为本地口音的任务。因此,我们的工作旨在帮助ASR系统在每个阶段的发展与数据库的培训,分类模型的功能增强,和中和系统的声学转换的非母语口音的英语。
2020-05-16 cs.CL cs.SD eess.AS
Cross-Lingual Transfer Learning for Complex Word Identification
University Politehnica of Bucharest(布加勒斯特理工大学)
复杂词识别(CWI)是一项以检测来自不同专业领域的文本中难以理解的单词或单词组为中心的任务。CWI的目的是强调非母语人士通常难以理解的问题结构。我们的方法使用了zero-shot、one-shot和少样本学习技术,以及用于自然语言处理(NLP)任务的最先进的解决方案(即,Transformers)。我们的目标是提供证据,证明所提出的模型可以依靠CWI共享任务2018数据集在多语言环境中学习复杂单词的特征,该数据集可用于四种不同的语言(即,英语、德语、西班牙语,还有法语)。对于零样本学习场景,我们的方法在英语(0.774)、德语(0.782)和西班牙语(0.734)的宏观F1分数方面超过了最先进的跨语言结果。同时,我们的模型也优于最先进的德语单语结果(0.795宏观F1分数)。
2020-10-02 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Language-Specific versus Cross-Lingual Knowledge Graphs for Implicit Aspect Identification in Arabic: A Comparative Study of Reasoning and Adaptation Strategies
Saudi Electronic University(沙特电子大学)
研究阿拉伯语隐式方面识别中特定语言与跨语言知识图谱策略,在混合管道中比较两种策略及生成提取器的零样本提示和特定任务微调两种适应策略,发现阿拉伯语本地KG效果更好,特定任务微调提升显著。
2026-07-23 cs.AI cs.CL
Can We Still Trace L1 Signals? Investigating the Resilience of Native Language Signals in the LLM Era
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
研究通过分析ACL论文集不同时期的母语识别趋势,探讨大语言模型对科研论文同质化的影响,发现后LLM时代出现异常波动,部分语言表现更趋明显。
2026-09-17 cs.AI cs.CL
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC(谷歌有限责任公司)
语言识别对于自动语音识别(ASR)中的许多下游任务至关重要,并且有利于作为附加任务集成到多语言端到端ASR中。在本文中,我们建议修改的级联编码器为基础的递归神经网络传感器(RNN-T)模型的结构,通过整合每帧语言标识符(LID)预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR,并使用具有较长右上下文的第二遍解码来实现较低的字错误率(WER)。通过利用右上下文中的这种差异和统计池的流式实现,所提出的方法可以实现精确的流式LID预测,而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明,该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University(国立台湾师范大学)
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性,这一ASR共享任务变得更具挑战性。在封闭式评估的环境下,所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题,我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统,同时利用各种数据增强策略的协同作用,包括话语和单词级别的速度扰动和语谱图增强,以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分,该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好,排在第二位,字错误率(WER)为17.59%,而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
UC San Diego(加州大学圣地亚哥分校);Snowflake AI Research(Snowflake人工智能研究院);University of Hong Kong(香港大学)
研究针对现有文本到SQL基准无法评估模型生成人工智能原生SQL能力的问题,构建Spider 2.0-AIFunc基准,经特定管道和多轮验证,评估十个先进语言模型,发现准确率差距及传统代理框架转移无效等情况。
2026-07-08 cs.AI cs.CL cs.DB
JLIR: A Julia-Native MLIR-Inspired Intermediate Representation with Automatic JACC Kernel Extraction
Oak Ridge National Laboratory(橡树岭国家实验室)
本文针对MLIR难以适配Julia的问题,提出JLIR框架,将MLIR的多级编译优势引入Julia生态,支持自动JACC内核生成,解决了领域库接口脱离编译器优化路径的痛点。
2026-09-07 cs.CL cs.PL