Native Language Identification on Text and Speech
University of Wolverhampton(伍尔弗汉普顿大学);University of Bucharest(布加勒斯特大学)
本文提出了一个集成系统相结合的输出多个SVM分类器的母语识别(NLI)。该系统被提交给NLI共享任务2017融合轨道,其中包括学生论文和11种母语的非英语母语者的音频transmittance和iVectors形式的口语回答。我们的系统以ZCD团队的名义参加了挑战赛,并且基于在字符n-gram上训练的SVM分类器的集合,实现了83.58%的准确率,并在共享任务中排名第三。
2017-07-22 cs.CL
Beyond Traditional Algorithms: Leveraging LLMs for Accurate Cross-Border Entity Identification
Financial Information & Central Credit Register Department(西班牙银行财务信息与中央信贷登记部门)
针对跨境金融实体识别中传统算法假阳性率高的问题,研究探索利用LLMs作为替代方案,实验证明基于接口的LLMs在准确率和F1分数上优于传统方法。
2025-07-15 cs.CL
EaSyGuide : ESG Issue Identification Framework leveraging Abilities of Generative Large Language Models
NCSOFT(NCSoft公司)
本研究提出EaSyGuide框架,结合多种生成式大模型与编码器模型,采用零样本、GPT3Mix增强及知识蒸馏等技术,在FinNLP-2023多语言ESG议题识别任务的英、法子任务中分获第一、二名,验证了大模型用于ESG议题识别的潜力。
2023-06-13 cs.AI cs.CL
Towards Secure Cloud-Native Computing: Unveiling Kubernetes Misconfigurations with Large Language Models
本研究利用大语言模型识别Kubernetes配置错误,提出综合分类法并实证评估检测工具,为增强云原生安全提供新见解。
2026-09-21 cs.CL cs.SE
Scaling Native Language Identification with Transformer Adapters
Universität Zürich(苏黎世大学);PRODAFT
母语识别(NLI)是根据学习语言的语言产出自动识别个人母语的任务。它可用于各种目的,包括营销,安全和教育应用。NLI通常被定义为多标签分类任务,其中许多设计的特征被组合以实现最先进的结果。最近,基于Transformer解码器(GPT-2)的深度生成方法优于其同行,并在NLI基准数据集上取得了最佳结果。我们调查这种方法,以确定与传统的国家的最先进的NLI系统的实际影响。我们引入了Transformer适配器来解决内存限制并提高训练/推理速度,以扩展NLI应用程序以用于生产。
2022-11-18 cs.CL
Native Language Identification using Stacked Generalization
Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
使用多个分类器的集成方法已被证明是最成功的母语识别(NLI)的任务,实现当前的艺术状态。然而,集成方法的NLI尚未进行系统的检查。此外,更深层次的集成架构,如分类器堆叠尚未密切评估。我们提出了一组实验,使用三个基于集成的模型,测试每个与多种配置和算法。这包括严格应用NLI的元分类模型,在来自不同语言的三个数据集上获得最先进的结果。我们还提出了第一次使用统计显著性检验比较NLI系统,表明我们的结果是显着优于以前的最先进的状态。我们提供了一个测试集的预测,以方便未来的统计测试。
2017-03-19 cs.CL
A Portuguese Native Language Identification Dataset
University of Lisbon(里斯本大学);University of Wolverhampton(伍尔弗汉普顿大学);Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
在本文中,我们提出了NLI-PT,第一个葡萄牙语数据集编译的母语识别(NLI),确定作者的第一语言的基础上,他们的第二语言写作的任务。该数据集包括1,868篇由欧洲葡萄牙语学习者撰写的学生论文,母语为以下L1:中文,英语,西班牙语,德语,俄语,法语,日语,意大利语,荷兰语,德顿语,阿拉伯语,波兰语,韩语,罗马尼亚语和瑞典语。NLI-PT包括原始学生文本和四种不同类型的注释:POS,细粒度POS,选区解析和依赖解析。NLI-PT不仅可以用于NLI,还可以用于第二语言习得和教育NLP领域的多个主题的研究。我们讨论了这个数据集的可能应用,并提出了第一个词汇基线系统葡萄牙语NLI的结果。
2018-04-30 cs.CL
Bhasha-Abhijnaanam: Native-script and romanized Language Identification for 22 Indic languages
AI4Bharat;IIT Madras(印度理工学院马德拉斯分校);Microsoft(微软)
本文构建了覆盖22种印度语言的本土文字与罗马化文本语言识别数据集Bhasha-Abhijnaanam,并训练了首个罗马化印度语言识别模型IndicLID,解决了训练数据缺乏和相似语言识别难的问题。
2023-10-26 cs.CL
Native Language Identification with Big Bird Embeddings
Tilburg University(蒂尔堡大学)
本研究提出使用 Big Bird 嵌入训练分类器进行母语识别,解决了传统基于 transformer 模型受限于输入大小的问题,在 Reddit-L2 数据集上大幅优于耗时的语言特征工程模型,为未来 NLI 研究提供了高效且有前景的新途径。
2023-09-13 cs.CL
LegalLens: Leveraging LLMs for Legal Violation Identification in Unstructured Text
Darrow AI Ltd.(达罗人工智能有限公司)
本研究利用大语言模型构建数据集,针对集体诉讼案件,实现非结构化文本中法律违规检测及受害者关联,F1分别达62.69%和81.02%,并公开数据集与代码。
2024-02-06 cs.AI cs.CL cs.LG
Turkish Native Language Identification V2
University of Zurich(苏黎世大学)
本文首次将母语识别应用于土耳其语,利用 Turkish Learner Corpus 比较词性 n-gram 与保留功能词的混合模型,有效识别阿尔巴尼亚语、阿拉伯语和波斯语母语者的 L1 迁移特征。
2025-11-07 cs.CL
Can We Still Trace L1 Signals? Investigating the Resilience of Native Language Signals in the LLM Era
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
研究通过分析ACL论文集不同时期的母语识别趋势,探讨大语言模型对科研论文同质化的影响,发现后LLM时代出现异常波动,部分语言表现更趋明显。
2026-09-17 cs.AI cs.CL
The Relevance of Text and Speech Features in Automatic Non-native English Accent Identification
Iowa State University(爱荷华州立大学)
本文介绍了我们的实验与自动识别母语口音的语音样本的非英语母语者使用低级别的音频功能,和n-gram功能,从手动transmittance。使用一个公开的非母语语音语料库和简单的音频特征表示,不执行字/音素识别,我们表明,这是可能实现接近90%的分类精度为这项任务。虽然字符n-gram执行类似的语音功能,我们表明,语音功能不受提示的变化,而ngram。由于遵循的方法可以很容易地适应任何语言,只要我们有足够的训练数据,我们相信这些结果将提供有用的见解口音识别系统的发展和口音的语言学习的背景下的研究。
2018-04-16 cs.CL
I can tell whether you are a Native Hawlêri Speaker! How ANN, CNN, and RNN perform in NLI-Native Language Identification
University of Kurdistan Hewlêr(库尔德斯坦休勒大学)
本研究通过ANN、CNN和RNN模型评估了Hewlêri亚方言的NLI性能,发现RNN在5秒音频分割中准确率高达95.92%。
2026-02-11 cs.CL
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain(阿利坎特ELLIS研究所,西班牙);Universitat d’Alacant, Spain(阿利坎特大学,西班牙);École Polytechnique Fédérale de Lausanne, EPFL, Switzerland(洛桑联邦理工学院,瑞士)
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题,提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估,在相关数据集上验证了其在部分任务中优于基线的性能,凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC
WordDecipher: Enhancing Digital Workspace Communication with Explainable AI for Non-native English Speakers
University of Maryland(马里兰大学)
本文提出可解释AI写作工具WordDecipher,结合LLM与词嵌入识别社交意图、生成贴合意图的改写建议并解释表达差异,以帮助非英语母语者改善职场文本沟通。
2024-04-10 cs.AI cs.CL cs.HC
Generative transformations and patterns in LLM-native approaches for software verification and falsification
Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Instituto de Computação (ICOMP-UFAM), Universidade Federal do Amazonas(亚马逊联邦大学计算学院(ICOMP-UFAM))
本文通过二次研究百余篇文献,提出生成式变换分类法,识别LLM原生软件验证与反证中的组合模式,为规范工程实践奠定基础。
2025-10-06 cs.AI cs.CL cs.LG
Leveraging pre-trained language models for conversational information seeking from text
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
自然语言处理的最新进展,特别是在构建非常大的预训练语言表示模型方面的进展,为构建会话信息搜索(CIS)系统开辟了新的视角。在本文中,我们研究了使用的上下文学习和预先训练的语言表示模型,以解决问题的信息抽取过程描述文件,在一个增量的问题和回答为导向的方式。特别是,我们研究了原生GPT-3(生成式预训练Transformer 3)模型的使用,以及两个上下文学习自定义,以少样本学习的方式注入概念定义和有限数量的样本。结果突出了该方法的潜力和上下文学习定制的有用性,这可以大大有助于解决基于深度学习的NLP技术BPM领域的“训练数据挑战”。它还强调了控制流关系所带来的挑战,需要设计进一步的培训。
2022-03-31 cs.AI cs.CL
Leveraging Large Language Models for Learning Complex Legal Concepts through Storytelling
University of Virginia School of Law(弗吉尼亚大学法学院);Allen Institute for AI(艾伦人工智能研究所);Massachusetts Institute of Technology(麻省理工学院);Harvard Law School(哈佛法学院);University of Tokyo(东京大学)
本文提出用LLM生成法律故事并构建LegalStories数据集,结合专家在环题目设计,通过RCT验证故事能提升初学者尤其是非母语者的理解、兴趣与保持率。
2024-07-02 cs.CL cs.HC
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
LynyrdSkynyrd at WNUT-2020 Task 2: Semi-Supervised Learning for Identification of Informative COVID-19 English Tweets
University of Maryland(马里兰大学);University of Southern California(南加州大学);Adobe Research(Adobe研究院)
我们描述了WNUT-2020共享任务的系统,该任务是识别信息丰富的COVID-19英语推文。我们的系统是各种机器学习方法的集合,利用传统的基于特征的分类器以及预训练语言模型的最新进展,这些模型有助于从推文中捕获语法,语义和上下文特征。我们进一步使用伪标签,以纳入有关大流行病发布的未标记Twitter数据。我们的最佳性能模型在提供的验证集上获得了0.9179的F1分数,在盲测试集上获得了0.8805的F1分数。
2020-09-08 cs.CL cs.SI
Leveraging Large Language Models for Spontaneous Speech-Based Suicide Risk Detection
College of Computer Science(计算机科学学院);National Key Laboratory of Fundamental Science on Synthetic Vision(合成视觉基础科学国家重点实验室)
本文针对青少年自杀风险检测问题,提出以大语言模型为核心并结合声学与语义特征的方法,在SW1挑战赛测试集上取得74%准确率并排名第一。
2025-07-01 cs.CL cs.SD eess.AS
Native Language Identification using i-vector
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
仅基于说话者的第二语言的讲话来确定他的母语的任务被称为母语识别或NLI。由于其在语音信号处理的各个领域中的应用越来越多,近年来已成为一个重要的研究领域。在本文中,我们提出了一个基于i向量的方法来开发一个自动NLI系统,使用MFCC和GFCC功能。为了评估我们的方法,我们在2016年ComparE母语子挑战数据集上测试了我们的框架,该数据集有来自11种不同母语背景的英语语言使用者。我们提出的方法优于基线系统的准确性提高了21.95%的MFCC特征为基础的i-向量框架和22.81%的GFCC特征为基础的i-向量框架。
2018-11-09 cs.CL cs.LG cs.SD
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
针对自监督语音表征中口音与语言混淆问题,提出基于几何投影的L1偏差去除方法,仅用母语语音估计偏差方向,在五个MMS-LID模型上显著提升L2口音语音识别,且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Can string kernels pass the test of time in Native Language Identification?
University of Bucharest(布加勒斯特大学)
我们描述了一种用于2017年母语识别(NLI)共享任务的机器学习方法。所提出的方法结合了多个内核使用多核学习。虽然我们的大多数内核都基于从论文或语音记录中提取的字符p-gram(也称为n-gram),但我们也使用基于i-vector的内核,i-vector是共享任务组织者提供的音频记录的低维表示。对于学习阶段,我们选择核判别分析(KDA)而不是核岭回归(KRR),因为前者的分类器在开发集上获得了比后者更好的结果。在我们以前的工作中,我们使用了类似的机器学习方法来实现最先进的NLI结果。本文的目标是证明我们基于字符串内核的肤浅而简单的方法(略有改进)可以通过时间的考验,并在2017年NLI共享任务中达到最先进的性能,尽管自然语言处理最近取得了进展。我们参加了所有三个轨道,其中允许竞争对手只使用论文(论文轨道),只使用演讲稿(演讲轨道),或两者兼而有之(融合轨道)。仅使用组织者提供的数据来训练我们的模型,我们在封闭的论文轨道中达到了86.95%的宏观F1分数,在封闭的演讲轨道中达到了87.55%的宏观F1分数,在封闭的融合轨道中达到了93.19%的宏观F1分数。凭借这些分数,我们的团队(UnibucKernel)在所有三个曲目中均名列第一组,同时在演讲和融合曲目中获得了最好的分数。
2017-08-04 cs.CL
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University(庞培法布拉大学);Pontifical Catholic University of Peru(秘鲁天主教大学)
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术,以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集,我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言,预计到2022年底,秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频,使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量,我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Leveraging Lora Fine-Tuning and Knowledge Bases for Construction Identification
Sichuan International Studies University(四川外国语大学)
本研究通过LoRA微调和知识库结合,提升大型语言模型对英语双宾结构的识别能力,实验显示微调模型在性能上优于原生模型和理论驱动的RAG系统。
2026-01-19 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
Leveraging Transfer Learning for Reliable Intelligence Identification on Vietnamese SNSs (ReINTEL)
Zalo Group - VNG Corporation(Zalo集团 - VNG公司);University of Science, VNU-HCMC(越南国家大学胡志明市分校科学大学)
本文提出了几种基于transformer的方法,用于在VLSP 2020评估活动中对越南社交网站进行可靠的情报识别。我们利用单语言和多语言预训练模型。此外,我们利用集成方法来提高不同方法的鲁棒性。我们的团队在私人测试集中的ROC-AUC指标上获得了0.9378的分数,与其他参与者相比具有竞争力。
2020-12-16 cs.AI cs.CL cs.LG
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校知识与计算智能系统学院)
在多语言或社会语言结构中,语码转换(ICS)或语码混合(CM)是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外,ICS在技术、健康和法律方面特别重要,因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中,CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进,必要的步骤是语言识别。在本文中,我们提出了各种模型的研究-朴素贝叶斯分类器,随机森林分类器,条件随机场(CRF),和隐马尔可夫模型(HMM)的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏,提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的,f1分数为0.91。
2020-10-09 cs.CL
A Low Dimensionality Representation for Language Variety Identification
Autoritas Consulting(Autoritas咨询公司);Universitat Politècnica de València(瓦伦西亚理工大学)
语言种类识别的目的是用母语(例如西班牙语、葡萄牙语、英语)标记文本及其特定变体(例如阿根廷、智利、墨西哥、秘鲁、西班牙;巴西、葡萄牙;英国、美国)。在这项工作中,我们提出了一个低维表示(LDR)来解决这个任务与五个不同品种的西班牙语:阿根廷,智利,墨西哥,秘鲁和西班牙。我们将我们的LDR方法与常见的最先进的表示方法进行了比较,结果显示精度提高了约35%。此外,我们比较LDR与两个参考分布式表示模型。实验结果显示了有竞争力的性能,同时大大降低了维度-并增加了大数据的适用性-每个品种只有6个特征。此外,我们分析了所采用的机器学习算法的行为和最具鉴别力的特征。最后,我们采用另一种数据集来测试我们的低维表示与另一组类似语言的鲁棒性。
2017-05-30 cs.CL
Leveraging Zipformer Model for Effective Language Identification in Code-Switched Child-Directed Speech
Johns Hopkins University(约翰霍普金斯大学)
本文提出利用 Zipformer 模型处理包含普通话和英语的语码转换儿童指向语音,通过提取内部层 embeddings 进行语言识别,有效应对不平衡数据,实现 81.89% 的 BAC,较基线提升 15.47%。
2025-08-13 cs.CL cs.SD
Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification
University of Aberdeen(阿伯丁大学);University of Sheffield(谢菲尔德大学)
我们处理的问题,确定文本中的隐喻,作为一个序列标记任务。预训练的词嵌入GloVe,ELMo和BERT分别在顺序隐喻识别上表现出良好的性能。这些嵌入由不同的模型、训练目标和语料库生成,从而编码不同的语义和句法信息。我们表明,利用基于多通道CNN和双向LSTM模型的GloVe、ELMo和基于特征的BERT可以显着优于任何单个词嵌入方法以及两种嵌入的组合。将语言特征引入我们的模型可以进一步提高模型性能,在三个公共隐喻数据集上产生最先进的性能。我们还提供了利用多个词嵌入的有效性的深入分析,包括分析不同的嵌入方法的隐喻和文字的空间分布,并显示如何以及嵌入互补在不同的体裁和词性。
2021-04-07 cs.CL
BERT-LID: Leveraging BERT to Improve Spoken Language Identification
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Computational Media Innovation Centre(计算媒体创新中心);Victoria University of Wellington(惠灵顿维多利亚大学);TAL Education(好未来教育集团)
针对短话语语言识别性能不佳的问题,提出以音素后验图为输入的BERT-LID系统,搭配最优深度分类器,显著提升长短片段语言识别准确率。
2022-10-11 cs.CL cs.SD eess.AS
Towards Offensive Language Identification for Tamil Code-Mixed YouTube Comments and Posts
University of Moratuwa(莫拉图瓦大学)
社交媒体平台中的攻击性语言检测在过去几年一直是一个活跃的研究领域。在非英语母语国家,社交媒体用户大多在他们的帖子/评论中使用代码混合形式的文本。这在攻击性内容识别任务中提出了几个挑战,考虑到泰米尔语可用的资源很少,任务变得更加困难。目前的研究提出了使用多种深度学习和迁移学习模型来检测YouTube上的攻击性内容的广泛实验。我们提出了一种新颖灵活的选择性翻译和音译技术的方法,以获得更好的结果,从微调和集成多语言Transformer网络,如BERT,蒸馏- BERT,和XLM-RoBERTa。实验结果表明,ULMFiT是该任务的最佳模型。对于这个泰米尔代码混合数据集,性能最好的模型是ULMFiT和mBERTBiLSTM,而不是更流行的迁移学习模型,如Distil- BERT和XLM-RoBERTa以及混合深度学习模型。所提出的模型ULMFiT和mBERTBiLSTM取得了良好的结果,并有望在低资源语言中有效地识别攻击性语音。
2021-08-26 cs.CL
Cross-Lingual Transfer Learning for Complex Word Identification
University Politehnica of Bucharest(布加勒斯特理工大学)
复杂词识别(CWI)是一项以检测来自不同专业领域的文本中难以理解的单词或单词组为中心的任务。CWI的目的是强调非母语人士通常难以理解的问题结构。我们的方法使用了zero-shot、one-shot和少样本学习技术,以及用于自然语言处理(NLP)任务的最先进的解决方案(即,Transformers)。我们的目标是提供证据,证明所提出的模型可以依靠CWI共享任务2018数据集在多语言环境中学习复杂单词的特征,该数据集可用于四种不同的语言(即,英语、德语、西班牙语,还有法语)。对于零样本学习场景,我们的方法在英语(0.774)、德语(0.782)和西班牙语(0.734)的宏观F1分数方面超过了最先进的跨语言结果。同时,我们的模型也优于最先进的德语单语结果(0.795宏观F1分数)。
2020-10-02 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Is It Navajo? Accurate Language Detection in Endangered Athabaskan Languages
Dartmouth College(达特茅斯学院)
针对纳瓦霍语等濒危阿萨巴斯卡语在语言技术中代表性不足问题,本研究评估谷歌LangID工具后提出随机森林分类器,在纳瓦霍语及错误建议语言上达97-100%准确率且对阿萨巴斯卡语族鲁棒,推动文化本地化NLP工具发展以支持语言保护。
2025-02-10 cs.CL
Language-Specific versus Cross-Lingual Knowledge Graphs for Implicit Aspect Identification in Arabic: A Comparative Study of Reasoning and Adaptation Strategies
Saudi Electronic University(沙特电子大学)
研究阿拉伯语隐式方面识别中特定语言与跨语言知识图谱策略,在混合管道中比较两种策略及生成提取器的零样本提示和特定任务微调两种适应策略,发现阿拉伯语本地KG效果更好,特定任务微调提升显著。
2026-07-23 cs.AI cs.CL
Leveraging BERT Language Models for Multi-Lingual ESG Issue Identification
Trading Central;Trading Central Labs(Trading Central实验室)
本研究利用BERT语言模型解决多语言ESG议题识别任务,将新闻分类为35个标签,RoBERTa在英文和法文测试中分别获第二和并列第五,中文SVM模型获第二。
2023-09-05 cs.AI cs.CL cs.LG
Towards Ethical Content-Based Detection of Online Influence Campaigns
University of Ottawa(渥太华大学);American University(美利坚大学)
发现影响在线社区用户的秘密努力是一个具有挑战性的问题,有着重大的积极发展。我们证明,来自用户评论的文本的功能是有用的识别可疑的活动,但导致增加错误的识别时,在过去的影响力运动中的关键字过度代表。借鉴母语识别(NLI)的研究,我们使用“命名实体掩蔽”(NEM)来创建对这一缺点鲁棒的句子特征,同时保持相当的分类准确性。我们证明,虽然NEM一贯减少误报时,关键命名的实体提到,掩蔽和未掩蔽的模型表现出增加的误报率英语句子的俄语母语,提高道德考虑,应在未来的研究中解决。
2019-08-29 cs.CL cs.CY
Leveraging Language Identification to Enhance Code-Mixed Text Classification
SCTR’S Pune Institute of Computer Technology(SCTR’S浦那计算机技术学院);L3Cube Pune(L3Cube浦那);Indian Institute of Technology Madaras(印度理工学院马德拉斯分校)
针对低资源印地语-英语代码混合文本,本文提出结合词级语言识别与语言增强的BERT分类流水线,并在五个下游数据集上验证其性能提升。
2023-06-08 cs.CL cs.LG
Unravelling Interlanguage Facts via Explainable Machine Learning
Università di Milano(米兰大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
母语识别(NLI)是训练(通过监督机器学习)猜测文本作者母语的分类器的任务。在过去的十年中,这项任务得到了广泛的研究,NLI系统的性能在过去几年中稳步提高。我们专注于NLI任务的另一个方面,即,分析由\emph{explainable}机器学习算法训练的NLI分类器的内部结构,以获得对其分类决策的解释,最终目标是深入了解哪些语言现象“泄露了说话者的母语”。我们使用这个视角来处理NLI和一个(研究得少得多的)伴随任务,即,猜测文本是由本族语者还是非本族语者撰写的。使用三个不同来源的数据集(两个英语学习者的文章数据集和一个社交媒体帖子数据集),我们调查了哪种语言特征(词汇,形态,句法和统计)对解决我们的两个任务最有效,即,最能表明说话者的L1。我们还提出了两个案例研究,一个西班牙语和一个意大利语的英语学习者,在其中我们分析了个人的语言特征,分类器已经挑出最重要的发现这些L1。总的来说,我们的研究表明,使用可解释的机器学习可以是一个有价值的工具,
2022-08-02 cs.AI cs.CL
Vector Space Model as Cognitive Space for Text Classification
Center for Computational Engineering and Networking(计算工程与网络中心);Amrita School of Engineering, Coimbatore(科钦阿姆利塔工程学院);Amrita Vishwa Vidyapeetham, Amrita University, India(印度阿姆利塔大学阿姆利塔大学)
在这个数字化的时代,了解用户的社交方面已经成为建立用户特定推荐系统的基本特征。这些社交方面可以通过挖掘用户在社交媒体和评论中以文本形式分享的语言来发现。本文描述了在PAN Author Profiling 2017共享任务中执行的实验。该任务的目标是从用户的推文中找到用户的社交方面。本实验考虑的社会语言方面是用户的性别和母语信息。在这里,用户的推文写在不同的语言从他们的母语表示为文档-术语矩阵与文档频率作为约束。进一步的分类是使用支持向量机,以性别和母语为目标类。本实验在性别预测和母语识别任务中的平均准确率分别达到73.42%和76.26%。
2017-08-21 cs.AI cs.CL cs.SI
Facilitating Global Team Meetings Between Language-Based Subgroups: When and How Can Machine Translation Help?
University of Maryland(马里兰大学)
全球团队通常由基于语言的子小组组成,这些小组将补充信息汇总在一起以实现共同目标。以前的研究概述了这些团队中的两步工作沟通流程。有使用所需通用语言的团队会议(即,英语);在准备这些会议时,人们用母语进行小组对话。团队会议上的工作沟通通常不如小组对话有效。在目前的研究中,我们调查的想法,利用机器翻译(MT),以促进全球团队会议。我们假设在团队会议之前交换子组对话日志提供了有利于会议团队合作的上下文信息。MT可以翻译这些日志,这使得能够以低成本理解。为了验证我们的假设,我们进行了一个受试者之间的实验,其中20个四人组的参与者进行了人员选择任务。每个四人组包括两名英语母语者(NS)和两名母语为普通话的非母语者(NNS)。所有参与者都以母语的小组对话开始任务,然后以英语进行团队会议。我们在团队会议之前操纵子组对话日志的交换:有MT介导的交换与没有。分析参与者的主观经验,任务性能,并通过他们的会话动作反映的讨论的深度共同表明,团队会议质量提高时,有MT介导的交流小组对话日志,而不是没有交流。最后,我们反思了何时以及如何将机器翻译应用于跨越语言障碍加强全球团队合作。
2022-09-27 cs.CL cs.HC
Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain
CSIR-Central Scientific Instruments Organisation, India(印度CSIR-中央科学仪器组织);Academy of Scientific and Innovative Research (AcSIR), Ghaziabad, U.P, India(印度科学与创新研究院(AcSIR));School of Mathematical and Computational Sciences, Massey University, New Zealand(梅西大学数学与计算科学学院)
本研究针对通用多语言LLMs在农业领域问答中精准性不足的问题,利用印度农业文档生成多语言合成数据集微调LLMs,显著提升了模型的事实性、相关性与农业共识性。
2026-08-04 cs.AI cs.CL
The Tag-Team Approach: Leveraging CLS and Language Tagging for Enhancing Multilingual ASR
Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文针对印度多语言ASR中文字差异大、语音数据有限的问题,提出在CLS多语言模型上注入语言ID或CLS到本地文字转换器的方法,显著降低了词错误率并验证了分布外鲁棒性。
2023-05-31 cs.CL eess.AS