Charting the Landscape of African NLP: Mapping Progress and Shaping the Road Ahead
Saarland University, Saarland Informatics Campus(萨尔兰大学,萨尔兰信息学校区);LMU Munich and Munich Center for Machine Learning(慕尼黑大学及慕尼黑机器学习中心);Mila - Quebec AI Institute, McGill University & Canada CIFAR AI Chair(魁北克人工智能研究所,麦吉尔大学及加拿大 CIFAR 人工智能 chair)
本综述分析过去五年884篇非洲语言NLP论文,梳理该领域进展与趋势,提出推动其更具包容性和可持续性的研究方向。
2025-10-02 cs.CL
IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP
The University of Melbourne(墨尔本大学);The University of Queensland(昆士兰大学)
尽管印度尼西亚语有近2亿人使用,是世界上使用人数第10多的语言,但它在NLP研究中的代表性不足。以前的印尼语工作受到缺乏注释数据集,语言资源稀少和缺乏资源标准化的阻碍。在这项工作中,我们发布了IndoLEM数据集,包括印度尼西亚语的七个任务,涵盖形态语法,语义和话语。我们还发布了IndoBERT,这是一种针对印度尼西亚语的新的预训练语言模型,并通过IndoLEM对其进行评估,此外还根据现有资源对其进行基准测试。我们的实验表明,IndoBERT在IndoLEM中的大多数任务上都达到了最先进的性能。
2020-11-02 cs.CL
Langformers: Unified NLP Pipelines for Language Models
针对使用Transformer语言模型时多框架操作和重复代码的复杂性问题,提出开源Python库Langformers,通过统一工厂式接口整合多任务与平台,简化NLP流水线并提升易用性。
2025-04-12 cs.CL
Reformulating NLP tasks to Capture Longitudinal Manifestation of Language Disorders in People with Dementia
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所);Jožef Stefan Institute(约泽夫·斯蒂芬研究所)
本研究利用预训练语言模型重构NLP任务,自动学习痴呆症患者的语言障碍模式,构建的数字标记能稳健表征沟通质量,优于现有方法,并纵向揭示语言损伤随疾病进展的变化。
2023-10-15 cs.CL
NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods
Telfer School of Management, University of Ottawa(渥太华大学泰尔弗管理学院)
本文综述了自动化过程提取领域,指出ML/DL方法正越来越多地用于NLP组件且优于经典规则方法,但缺乏黄金标准标注数据集阻碍了客观评估与模型训练,并探讨了LLM在该领域的初步应用与发展前景。
2024-09-10 cs.CL
AlephBERT:A Hebrew Large Pre-Trained Language Model to Start-off your Hebrew NLP Application With
Bar-Ilan University(巴伊兰大学)
大型预训练语言模型(PLM)在语言理解技术的发展中已经变得无处不在,并且是许多人工智能进步的核心。虽然使用PLM的英语报告的进展是前所未有的,但使用PLM的希伯来语报告的进展很少。问题是双重的。首先,可用于训练NLP模型的希伯来语资源与英语资源不在同一数量级。其次,没有公认的任务和基准来评估希伯来语PLM的进展。在这项工作中,我们的目标是纠正这两个方面。首先,我们介绍了AlephBERT,这是一个针对现代希伯来语的大型预训练语言模型,它是在比以前任何希伯来语PLM更大的词汇量和更大的数据集上训练的。其次,使用AlephBERT,我们提出了新的国家的最先进的结果,对多个希伯来语的任务和基准,包括:分割,词性标记,完整的形态标记,命名实体识别和情感分析。我们公开了我们的AlephBERT模型,为希伯来语NLP应用程序的开发提供了一个单一的入口点。
2021-04-08 cs.CL
The #Somos600M Project: Generating NLP resources that represent the diversity of the languages from LATAM, the Caribbean, and Spain
SomosNLP
针对拉丁美洲、加勒比和西班牙语言多样性在 AI 中缺乏代表的问题,#Somos600M 项目作为开源社区创建了首批用于微调和评估大型语言模型的指令与评估数据集。
2024-07-01 cs.CL
AdaPrompt: Adaptive Model Training for Prompt-based NLP
Microsoft Research(微软研究院);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
基于机器学习的NLP方法以其能够处理zero-shot和Few-Shot的NLP任务而受到了广泛的关注。其主要思想是通过将NLP下游任务映射到自然语言提示中,然后由预训练的语言模型(PLM)填充,从而弥合NLP下游任务和语言建模(LM)之间的差距。然而,对于快速学习,NLP任务和预训练之间仍然存在两个明显的差距。首先,提示信息不一定充分存在于LM预训练期间。第二,特定于任务的数据在预训练期间不一定得到很好的表示。我们解决这两个问题,提出AdaPrompt,自适应地检索外部数据,利用任务和提示的特点,不断预训练的PLM。此外,我们利用自然语言推理模型中的知识来获得自适应的动词。在五个NLP基准测试上的实验结果表明,AdaPrompt在Few-Shot设置中可以比标准PLM有所改进。此外,在zero-shot设置,我们的方法优于标准的基于小波变换的方法高达26.35\%的相对误差减少。
2022-11-18 cs.CL
Exploring New Frontiers in Agricultural NLP: Investigating the Potential of Large Language Models for Food Applications
University of Georgia(佐治亚大学);Shaanxi Normal University(陕西师范大学);University of Virginia(弗吉尼亚大学)
本文探索农业NLP新前沿,通过微调AgriBERT并利用FoodOn本体和ChatGPT等外部知识,改进食品描述与营养数据的语义匹配,并扩展到菜系预测等任务,为农业应用提供新方向。
2023-06-20 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon(俄勒冈大学)
我们介绍Trankit,一个轻量级的基于transformer的多语言自然语言处理(NLP)工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道,并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上,在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道,同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer,我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的,其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在:http://nlp.uoregon.edu/trankit。最后,我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales(新南威尔士大学);National Institute of Information and Communications Technology(信息通信技术研究所);University of Surrey(萨里大学);Monash University(莫纳什大学)
该综述聚焦方言NLP领域,从数据集和方法梳理相关研究,划分NLU和NLG任务类别,覆盖多语言,介绍经典与深度学习方法,为构建公平语言技术提供参考。
2024-12-06 cs.CL
Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities
IIT Gandhinagar(印度理工学院加尔各答分校);NMIMS Mumbai(孟买NMIMS学院);SVNIT Surat(Surat SVNIT学院);LINGO Research Group(LINGO研究小组)
本文综述了大语言模型时代跨语言自然语言处理的研究,分析了327项研究,涵盖五类研究领域、15+任务、30+数据集和80+语言,指出现有挑战及未来发展方向。
2026-04-21 cs.CL
Reassessing Active Learning Adoption in Contemporary NLP: A Community Survey
GESIS – Leibniz Institute for the Social Sciences(莱比锡社会科学研究所);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据与人工智能研究中心);Dresden/Leipzig, Leipzig University(莱比锡大学);TUD Dresden University of Technology(德累斯顿技术大学);All Ears
本文通过社区调查重新评估了主动学习在NLP中的应用现状,揭示了数据标注和主动学习的相关性,并提出了缓解设置复杂性、成本不确定性和工具问题的策略。
2026-02-02 cs.CL cs.LG
Do Prompts Solve NLP Tasks Using Natural Language?
Westlake University(西湖大学);University of Electronic Science and Technology of China(电子科技大学);Zhejiang University(浙江大学);Westlake Institute for Advanced Study(西湖高等研究院)
由于大型预训练语言模型的先进改进,基于语义的微调被证明对各种下游任务是有效的。虽然已经研究了许多提示方法,但是仍然不知道在三种类型的提示(即,人工设计的提示、模式提示和空提示)。在这项工作中,我们经验比较了三种类型的提示下,Few-Shot和完全监督的设置。我们的实验结果表明,图式提示是最有效的一般。此外,当训练数据的规模变大时,性能差距趋于减小。
2022-03-02 cs.CL
Towards Efficient Active Learning in NLP via Pretrained Representations
New York University(纽约大学);Center for Data Science(数据科学中心);Bloomberg(彭博公司)
本文提出在主动学习循环中使用 LLM 预训练表示替代反复微调,在保持与全程微调相近性能的同时大幅降低计算成本,并支持跨预训练网络的数据泛化与模型灵活选择。
2024-02-23 cs.CL cs.LG
HugNLP: A Unified and Comprehensive Library for Natural Language Processing
East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
在本文中,我们介绍了HugNLP,一个统一而全面的自然语言处理(NLP)库,其后端是HuggingFace Transformers,旨在让NLP研究人员轻松利用现成的算法,并在现实世界的场景中使用用户定义的模型和任务开发新方法。HugNLP由一个分层结构组成,包括模型,处理器和应用程序,统一了不同NLP任务上预训练语言模型(PLM)的学习过程。此外,我们还展示了一些特色的NLP应用,以展示HugNLP的有效性,例如知识增强的PLM,通用信息抽取,低资源挖掘,代码理解和生成等。源代码将在GitHub上发布(https://github.com/wjn1996/HugNLP)。
2023-02-28 cs.CL
Leveraging Large Language Models for Concept Graph Recovery and Question Answering in NLP Education
University of Tokyo(东京大学);Smartor Inc.(思玛特公司);Yale University(耶鲁大学);INRIA(法国国家信息与自动化研究所);Duke-NUS Medical School(杜克-新加坡国立大学医学院)
本文研究大型语言模型在NLP教育中的概念图恢复与问答能力,提出经专家验证的TutorQA基准和结合概念图的CGLLM流水线,在零样本概念图恢复和问答任务上均取得显著F1提升。
2024-02-22 cs.CL
Benchmarking NLP-supported Language Sample Analysis for Swiss Children's Speech
本文通过自然语言处理方法分析儿童口语样本,旨在提高语言障碍诊断效率,采用本地部署的NLP方法进行半自动语言样本分析。
2026-03-30 cs.AI cs.CL
Speaking of Language: Reflections on Metalanguage Research in NLP
Georgetown University(乔治城大学);George Mason University(弗吉尼亚理工大学)
本文定义元语言概念,将其与NLP和LLM关联,介绍两个实验室以元语言为中心的研究,并讨论元语言的四个维度及元语言任务,提出未来研究方向。
2026-05-27 cs.AI cs.CL
Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost
Microsoft Research India(微软印度研究院)
研究使用LLM作为标注器以低成本提升NLP模型泛化能力,提出基于基础模型与微调模型预测分数差异的采样策略,在分类和排序任务中显著提升了训练域和目标域的准确率。
2023-06-27 cs.CL cs.LG
NLP Meets the World: Toward Improving Conversations With News Media About Natural Language Processing Research
Department of Human-Centered Computing and Social Informatics(人机交互与社会信息学系)
本文针对大型语言模型引发的公众对NLP的关注,提出了向大众有效传达NLP能力与局限性的沟通建议,涵盖术语模糊、期望不合理和伦理失败三大障碍,以促进透明沟通并加强公众理解与研究支持。
2026-10-20 cs.AI cs.CL cs.CY
High Throughput Phenotyping of Physician Notes with Large Language and Hybrid NLP Models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Department of Veterans Affairs(退伍军人事务部)
针对电子健康记录中医生病历的高吞吐深度表型分析需求,研究验证大语言模型与结合词向量和机器学习分类器的混合NLP模型均可高精度完成该任务,指出大语言模型有望成为首选方法。
2024-03-09 cs.AI cs.CL
Deanthropomorphising NLP: Can a Language Model Be Conscious?
Manchester Metropolitan University(曼彻斯特城市大学);Universitat Pompeu Fabra(庞培法布拉大学);Polish Academy of Sciences(波兰科学院)
本研究针对大语言模型具有意识的相关论断,通过意识的整合信息理论分析Transformer架构,论证LaMDA等LLM不具备意识,指出该论断是NLP报道拟人化倾向的体现,并呼吁梳理语言建模进展、关注其伦理影响。
2024-11-25 cs.AI cs.CL
Annotated Dataset Creation through General Purpose Language Models for non-English Medical NLP
获取带有语义注释的文本数据集是一个费力的过程,但对于自然语言处理(NLP)中的监督训练至关重要。一般来说,在特定于领域的上下文中为任务开发和应用新的NLP管道通常需要定制设计的数据集,以监督机器学习的方式解决NLP任务。当使用非英语语言进行医疗数据处理时,这暴露了几个次要和主要的相互关联的问题,例如缺乏任务匹配数据集以及特定于任务的预训练模型。在我们的工作中,我们建议利用预训练的语言模型进行训练数据采集,以便检索足够大的数据集,为特定于用例的任务训练更小和更有效的模型。为了证明您的方法的有效性,我们创建了一个自定义数据集,我们使用它来训练德语文本的医学NER模型GPTNERMED,但我们的方法原则上仍然与语言无关。我们获得的数据集以及我们的预训练模型可在https://github.com/frankkramer-lab/GPTNERMED上公开获取
2022-08-30 cs.AI cs.CL cs.LG
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University(纽约大学)
本文综述了44篇研究论文,总结了29个NLP任务上的39种提示工程方法,分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
Large Language Models Meet NLP: A Survey
School of Computer Science(计算机科学学院);Engineering, Central South University(工程学院,中南大学);Research Center for Social Computing(社会计算研究中心);Interactive Robotics, Harbin Institute of Technology(交互机器人研究,哈尔滨工业大学);Department of Computer Science, University of Hong Kong(计算机科学系,香港大学);Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学);Department of Computer Science, University of Illinons at Chicago(计算机科学系,伊利诺伊大学香槟分校)
本综述针对LLMs在NLP领域系统性研究不足的问题,通过统一分类法(参数冻结、调优范式)全面概述其应用现状,探讨传统任务解决情况与未来方向,为该领域提供见解与实用指南。
2025-08-25 cs.AI cs.CL
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS(纽约大学);Cleveland State University(克利夫兰州立大学)
本文综述多语言提示工程,按任务分类39种提示技术,分析覆盖约250种语言的36篇论文及30项NLP任务,并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心)
预训练的语言模型(PLM)在许多基准测试中取得了超人的性能,因此需要更难的任务。我们引入CoDA 21(上下文定义对齐),这是一个具有挑战性的基准测试,用于测量PLM的自然语言理解(NLU)能力:给定k个单词的定义和上下文,但不是单词本身,任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解,包括复杂的推理和世界知识。我们发现,人类和PLM性能之间存在很大的差距,这表明CoDA21衡量了NLU的一个方面,而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
Has It All Been Solved? Open NLP Research Questions Not Solved by Large Language Models
University of Michigan(密歇根大学)
本文针对“LLM已解决一切”的误解,汇编了14个研究领域共45个LLM无法直接解决的NLP开放研究方向,旨在为研究者提供探索指引。
2024-03-15 cs.AI cs.CL
BadPre: Task-agnostic Backdoor Attacks to Pre-trained NLP Foundation Models
Nanyang Technological University(南洋理工大学);Chongqing University(重庆大学);Zhejiang University(浙江大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
预训练的自然语言处理(NLP)模型可以轻松地适应各种下游语言任务。这大大加速了语言模型的开发。然而,NLP模型已被证明容易受到后门攻击,其中输入文本中的预定义触发词导致模型预测错误。以前的NLP后门攻击主要针对一些特定的任务。这使得这些攻击不那么通用,也不适用于其他类型的NLP模型和任务。在这项工作中,我们提出了\Name,这是针对预训练的NLP模型的第一个与任务无关的后门攻击。我们的攻击的关键特征是,对手在向预训练模型植入后门时不需要有关下游任务的先验信息。当这个恶意模型被释放时,从它转移的任何下游模型也将继承后门,即使在广泛的迁移学习过程之后。我们进一步设计了一个简单而有效的策略来绕过最先进的防御。实验结果表明,我们的方法可以妥协的下游NLP任务在一个有效的和隐形的方式。
2021-10-06 cs.AI cs.CL
Connecting Ideas in 'Lower-Resource' Scenarios: NLP for National Varieties, Creoles and Other Low-resource Scenarios
University of New South Wales(新南威尔士大学);Institute for People-Centred AI, University of Surrey(萨里大学以人为本人工智能研究所);Aalborg University(奥尔堡大学);National Institute of Information and Communications Technology(日本信息通信研究机构)
本教程旨在连接低资源场景(方言、克里奥尔语等)NLP研究的共同挑战与方法,促进跨场景合作,以应对数据匮乏问题。
2024-09-19 cs.AI cs.CL
Perturbation Augmentation for Fairer NLP
Facebook AI Research(脸书人工智能研究院);Hugging Face(抱抱脸)
在NLP研究中,不必要的、往往是有害的社会偏见变得越来越突出,影响了模型和数据集。在这项工作中,我们要问的是,对人口统计学扰动数据的训练是否会导致更公平的语言模型。我们收集了大量的人类注释文本扰动数据集,并训练了一个神经扰动模型,我们显示它优于启发式替代方案。我们发现,(i)在人口统计学扰动语料库上预训练的语言模型(LM)通常更公平,(ii)在扰动GLUE数据集上微调的LM在下游任务上表现出更少的人口统计学偏见,(iii)公平性的改善不会以牺牲下游任务的性能为代价。最后,我们讨论了如何最好地评估(不)公平的大语言模型的突出问题。我们希望这种对神经人口扰动的探索将有助于推动更公平的NLP。
2022-10-12 cs.AI cs.CL
Towards Efficient NLP: A Standard Evaluation and A Strong Baseline
Fudan University(复旦大学);Huawei Poisson Lab(华为泊松实验室)
超大规模的预训练语言模型将各种自然语言处理(NLP)任务的准确性推向了新的最先进水平(SOTA)。越来越多的研究人员开始关注模型的效率和可用性,而不是追求遥不可及的SOTA精度。与准确性不同,不同研究的效率指标各不相同,因此很难进行公平比较。为此,这项工作提出了ELUE(高效语言理解评估),一个标准的评估,并为高效的NLP模型的公共排行榜。ELUE致力于描述各种语言理解任务的帕累托边界,以便它可以判断一种方法是否实现了帕累托改进以及实现了多少。除了基准测试之外,我们还发布了一个强大的基线ElasticBERT,它允许BERT以静态和动态方式退出任何层。我们展示了ElasticBERT,尽管它很简单,但它的性能优于SOTA压缩和早期退出的模型。使用ElasticBERT,所提出的ELUE具有很强的Pareto前沿,并对有效的NLP模型进行了更好的评估。
2022-04-10 cs.AI cs.CL
MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP
Department of Artificial Intelligence, University of Malta(人工智能系,马耳他大学)
本研究引入MELABenchv1基准,评估55个LLMs在低资源马耳他语上的表现,发现较小微调模型优于LLMs,且预训练阶段的先验接触是关键因素,建议低资源语言研究采用传统建模方法。
2025-06-13 cs.AI cs.CL
Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文系统综述了语言模型在软件工程中的应用,涵盖70+模型、180+数据集,整合SE与NLP视角,并指出代码建模从统计模型到LLM的演进,同时展望了未来挑战与方向。
2024-06-26 cs.AI cs.CL cs.SE
Fairness Certification for Natural Language Processing and Large Language Models
Leipzig University(莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡)
本文针对自然语言处理和大型语言模型中的公平性问题,采用定性研究方法,通过文献回顾和专家访谈,系统提出了六项可细分为18个子类别的公平性标准,为公平性认证流程的操作化和测试奠定了基础。
2024-01-03 cs.AI cs.CL cs.CY
Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP
Harvard University(哈佛大学);Purdue University(普渡大学)
针对联邦学习训练医疗NLP大语言模型面临的通信开销和数据异质性挑战,提出层跳过联邦学习方法,通过仅微调LLM选定层降低约70%通信成本,在保持性能接近集中训练的同时优于基线,为医疗NLP隐私保护协作学习提供实用方案。
2025-04-13 cs.AI cs.CL cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego(加州大学圣地亚哥分校)
尽管在许多NLP任务上实现了最先进的性能,但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型(PLM)被更广泛地采用,包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算,时间和碳排放,包括数据准备,模型训练和推理。在本次调查中,我们重点关注推理阶段,并回顾了预训练语言模型的模型压缩和加速的现状,包括基准测试,指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
Sejarah dan Perkembangan Teknik Natural Language Processing (NLP) Bahasa Indonesia: Tinjauan tentang sejarah, perkembangan teknologi, dan aplikasi NLP dalam bahasa Indonesia
STIKI(STIKI学院)
本文综述了印尼语NLP的发展历史、基础技术、实际应用及研究方法,指出了当前面临的挑战与机遇,并为未来的技术研发、应用扩展及跨学科合作提出了建议。
2023-03-28 cs.CL
Annotator-Centric Active Learning for Subjective NLP Tasks
Idiap Research Institute(伊迪亚普研究所);Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学学院);Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所);Interactive Intelligence, TU Delft(代尔夫特理工大学交互智能研究所)
本文提出以标注者为中心的主动学习(ACAL),在数据采样后引入标注者选择策略,以高效近似人类判断多样性,并在七个主观NLP任务上验证其提升数据效率和标注者中心评估性能的效果。
2024-10-23 cs.CL
Natural Language Processing 4 All (NLP4All): A New Online Platform for Teaching and Learning NLP Concepts
Aarhus University(奥胡斯大学);Interacting Minds Center(互动心智中心);ScienceAtHome(居家科学中心)
自然语言处理为几乎所有学科和领域的语言数据提供了新的见解,并使我们能够证实和/或挑战现有的知识。扩大参与和使用这些新的研究工具的主要障碍是,第一,在整个K-16学生缺乏编码技能,并在广大人口,第二,缺乏知识的NLP方法可以用来回答语言学和/或计算机科学以外的学科感兴趣的问题。为了扩大对NLP的参与并提高NLP素养,我们引入了一个新的工具-基于Web的工具,称为自然语言处理4 All(NLP 4All)。NLP 4All的目的是帮助教师通过提供易于使用的NLP方法,数据和分析界面来促进NLP的学习,使非程序员和新手程序员能够交互式地学习NLP概念。
2021-05-28 cs.CL
One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia
Amazon(亚马逊);Bloomberg(彭博);The University of Melbourne(墨尔本大学);HKUST(香港科技大学);Telkom University(电信大学);INACL(印尼计算语言学协会);Universitas Indonesia(印度尼西亚大学);Kanda University of International Studies(神田外国语大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Google Research(谷歌研究院)
NLP研究受到缺乏资源和对代表性不足的语言和方言所带来的挑战的认识的阻碍。印度尼西亚是世界上语言多样性第二大和人口第四多的国家,我们专注于印度尼西亚使用的语言,概述了印度尼西亚700多种语言的NLP研究现状。我们强调了印度尼西亚NLP面临的挑战,以及这些挑战如何影响当前NLP系统的性能。最后,我们提供了一般性建议,以帮助开发NLP技术,不仅适用于印度尼西亚的语言,也适用于其他代表性不足的语言。
2022-03-24 cs.CL
Spark NLP: Natural Language Understanding at Scale
John Snow Labs Inc.(约翰·斯诺实验室公司)
Spark NLP是一个基于Apache Spark ML的自然语言处理(NLP)库。它为机器学习管道提供了简单,高性能和准确的NLP注释,可以在分布式环境中轻松扩展。Spark NLP提供了1100个预训练的管道和模型,支持192种语言。它支持几乎所有可以在集群中无缝使用的NLP任务和模块。自2020年1月以来,Spark NLP的下载量已超过270万次,增长了9倍,被54%的医疗保健组织使用,成为全球企业中使用最广泛的NLP库。
2021-01-26 cs.CL
Formal Language Theory Meets Modern NLP
NLP与语言的正式研究深深交织在一起,无论是概念上还是历史上。可以说,这种联系可以一直追溯到1957年乔姆斯基的句法结构。它在今天仍然适用,最近的一系列作品用形式语言对现代神经网络方法进行了形式化分析。在本文中,我的目的是解释形式语言的背景,因为它们与最近的工作有关。我将不可避免地忽略这个领域丰富历史的大部分,而是专注于与现代基于深度学习的NLP相关的概念。
2021-07-27 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS;University of Crete(克里特大学)
针对希腊语NLP资源匮乏的现状,本文系统梳理了三十年来希腊语自动处理的研究、资源与工具,覆盖现代希腊语、古希腊语及方言,为相关研究者提供参考。
2024-08-20 cs.CL
Advancing NLP with Cognitive Language Processing Signals
ETH Zurich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学);University of Zurich(苏黎世大学)
当我们阅读时,我们的大脑处理语言并生成认知处理数据,如凝视模式和大脑活动。这些信号可以在读取时记录。认知语言处理数据,如眼动追踪功能,已经显示出对单个NLP任务的改进。我们分析使用这些人类特征是否可以在任务和数据源中显示出一致的改进。我们提出了一个广泛的调查的好处和局限性使用认知处理数据的NLP。具体来说,我们使用凝视和EEG特征来增强命名实体识别、关系分类和情感分析的模型。这些方法的性能明显优于基线,并显示了将人类语言处理数据用于NLP的潜在和当前局限性。
2019-04-04 cs.CL
Some Languages are More Equal than Others: Probing Deeper into the Linguistic Disparity in the NLP World
University of Moratuwa(莫拉图瓦大学)
NLP世界中的语言差异是一个最近被广泛承认的问题。然而,这个问题的不同方面,或这种差异背后的原因很少在NLP社区中讨论。本文全面分析了世界语言内部存在的差异。我们表明,简单地分类语言考虑数据的可用性可能并不总是正确的。使用基于说话者人口和活力的现有语言分类,我们分析了语言数据资源的分布,NLP/CL研究的数量,多语言网络平台的包含以及预训练的多语言模型的包含。我们发现,许多语言没有被这些资源或平台所覆盖,即使在属于同一语言组的语言中,也存在很大的差异。我们分析了家庭,地理位置,国内生产总值和语言的扬声器人口的影响,并提供这种差异的可能原因,以及一些建议,以克服同样的。
2022-10-20 cs.CL
NLP Progress in Indigenous Latin American Languages
Instituto Politécnico Nacional(墨西哥国立理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tecnológico de Monterrey(蒙特雷理工学院);University of Houston(休斯顿大学)
本文针对拉丁美洲原住民语言在NLP领域被边缘化的问题,梳理相关NLP进展与语言现状、挑战及创新需求,提出需发展尊重原住民视角的包容性技术,补充了低资源原住民社群NLP研究的相关认知。
2024-05-12 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略,我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习(特别是使用深度神经模型)以及启动和停止AL。最后,我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Mukayese: Turkish NLP Strikes Back
Koç University(科奇大学);Cağaloğlu Anadolu Lisesi(恰拉奥卢安纳托利亚高中);Bilkent University(比尔肯特大学)
为语言X提供足够的资源可以将其从资源不足的语言类中提升出来,但不一定是从研究不足的语言类中提升出来。在本文中,我们解决的问题,没有组织的基准在土耳其语。我们证明了像土耳其语这样的语言在NLP应用中落后于最先进的语言。作为一种解决方案,我们提出了Mukayese,这是一套针对土耳其语的NLP基准测试,其中包含几个NLP任务。我们为每个基准测试处理一个或多个数据集,并提供两个或多个基线。此外,我们提出了四个新的基准数据集在土耳其语的语言建模,句子分割和拼写检查。所有数据集和基线可在以下网址获得:https://github.com/alisafaya/mukayese
2022-03-16 cs.CL
Dim Wihl Gat Tun: The Case for Linguistic Expertise in NLP for Underdocumented Languages
University of British Columbia(不列颠哥伦比亚大学)
NLP最近的进展是由利用大量数据集的预训练模型驱动的,并且主要受益于世界政治和经济超级大国。在技术上得不到充分服务的语文被抛在后面,因为它们缺乏这种资源。然而,数百种服务不足的语言有可用的数据源,这些数据源来自语言文档工作的线间注释文本(IGT)形式。IGT在NLP工作中仍然没有得到充分利用,也许是因为它的注释只是半结构化的,并且通常是特定于语言的。在本文中,我们提出的情况下,IGT数据可以成功地利用提供目标语言的专业知识。我们特别提倡与纪录片语言学家合作。我们的论文为成功利用IGT数据的项目提供了一个路线图:(1)必须定义哪些NLP任务可以用给定的IGT数据完成,以及这些任务将如何使语音社区受益。(2)在将数据转换为NLP中常用的结构化格式时,需要非常小心和目标语言专业知识。(3)针对特定任务和特定用户的评估有助于确定所创建的工具是否有益于目标语言语音社区。我们说明了每一个步骤,通过一个案例研究开发一个形态反射系统的Tsimchianic语言Gitksan。
2022-03-17 cs.CL
Dataset Geography: Mapping Language Data to Language Users
George Mason University(乔治梅森大学)
随着语言技术变得越来越普遍,人们越来越努力地扩大自然语言处理(NLP)系统的语言多样性和覆盖范围。可以说,影响现代NLP系统质量的最重要因素是数据可用性。在这项工作中,我们研究了NLP数据集的地理代表性,旨在量化NLP数据集是否以及在多大程度上符合语言使用者的预期需求。在此过程中,我们使用实体识别和链接系统,还对它们的跨语言一致性进行了重要的观察,并为更强大的评估提供了建议。最后,我们探讨了一些地理和经济因素,可以解释观察到的数据集分布。代码和数据可以在这里找到:https://github.com/ffaisal93/dataset_geography。其他可视化可在这里:https://nlp.cs.gmu.edu/project/datasetmaps/.
2022-03-24 cs.CL
Applied Language Technology: NLP for the Humanities
University of Helsinki(赫尔辛基大学)
这篇文章描述了一个两门课程的模块,旨在为人文专业的学生提供对语言技术及其使用Python的应用的基本理解。这些学习材料包括互动式电子书笔记本和随附的YouTube视频,这些都是通过知识共享许可证公开提供的。
2021-05-03 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London(帝国理工学院)
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战,该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文,将攻击分类为有针对性或无针对性,并最终识别目标主题类型。
2019-04-02 cs.CL