Representing Numbers in NLP: a Survey and a Vision
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
NLP系统很少特别考虑文本中的数字。这与神经科学的共识形成鲜明对比，神经科学认为，在大脑中，数字与文字的表现方式不同。我们将最近关于计算能力的NLP工作整理成一个全面的任务和方法分类。我们将算术的主观概念分解为7个子任务，沿着两个维度排列：粒度（精确与近似）和单位（抽象与接地）。我们分析了无数的代表性的选择，由18个以前出版的数字编码器和解码器。我们综合了在文本中表示数字的最佳实践，并阐述了NLP中整体计算能力的愿景，包括设计权衡和统一评估。
2021-03-24 cs.AI cs.CL cs.LG
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University（纽约大学）
本文综述了44篇研究论文，总结了29个NLP任务上的39种提示工程方法，分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
Meta Learning for Natural Language Processing: A Survey
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）；University of Stuttgart（斯图加特大学）
深度学习已经成为自然语言处理领域的主流技术。然而，这些技术需要许多标记的数据，并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域，旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法，包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实，但在NLP中还没有对这些方法进行系统的调查，这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针，并吸引NLP社区更多的关注，以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后，我们总结了任务的建设，设置和应用元学习的各种NLP问题，并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
Large Language Models Meet NLP: A Survey
School of Computer Science（计算机科学学院）；Engineering, Central South University（工程学院，中南大学）；Research Center for Social Computing（社会计算研究中心）；Interactive Robotics, Harbin Institute of Technology（交互机器人研究，哈尔滨工业大学）；Department of Computer Science, University of Hong Kong（计算机科学系，香港大学）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）；Department of Computer Science, University of Illinons at Chicago（计算机科学系，伊利诺伊大学香槟分校）
本综述针对LLMs在NLP领域系统性研究不足的问题，通过统一分类法（参数冻结、调优范式）全面概述其应用现状，探讨传统任务解决情况与未来方向，为该领域提供见解与实用指南。
2025-08-25 cs.AI cs.CL
State of NLP in Kenya: A Survey
Maseno University（马塞诺大学）；University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences - AIMS（非洲数学科学研究所）；United States International University-Africa（美国国际大学非洲分校）；Zindi（津迪平台）；Jomo Kenyatta University of Agriculture and Technology - JKUAT（乔莫·肯雅塔农业技术大学）；The University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Manchester（曼彻斯特大学）；Songhai（松海机构）；University of Groningen（格罗宁根大学）；Stellenboch University（斯泰伦博斯大学）；Jumia Group（朱米亚集团）；Adventist University of Africa（非洲基督复临大学）；University of Nairobi（内罗毕大学）；Deep Learning Indaba（深度学习印达巴组织）；Karadeniz Technical University（卡拉德尼兹技术大学）；Datawise Africa（非洲数据智能机构）；Kisii University（基西大学）；Future Africa - University of Pretoria（比勒陀利亚大学未来非洲中心）
本调查评估了肯尼亚自然语言处理现状，揭示了本土语言在数据集与模型方面的资源缺口，并分析了关键应用及政策法规，提出了加速技术发展的战略路线图。
2024-10-13 cs.AI cs.CL
Survey of Natural Language Processing for Education: Taxonomy, Systematic Review, and Future Trends
School of Data Science and Engineering, East China Normal University（数据科学与工程学院，东华大学）
本综述系统回顾了NLP在教育领域的应用，构建了涵盖问答、问题构建、自动评估和错误纠正等任务的分类体系，探讨了前沿技术及LLM方法，并指出了五个未来研究方向。
2025-10-11 cs.AI cs.CL
What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
Paul G. Allen School for Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Center for Data Science, New York University（纽约大学数据科学中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Department of Linguistics, New York University（纽约大学语言学系）；Department of Computer Science, Johns Hopkins University（约翰斯·霍普金斯大学计算机科学系）
我们介绍了NLP社区元调查的结果。该调查于2022年5月至6月进行，就有争议的问题征求意见，包括该领域的行业影响力，对AGI的担忧以及道德。我们的研究结果为几个争议提供了具体的数字：例如，受访者在关于人工通用智能的重要性，语言模型是否理解语言，以及语言结构和归纳偏见对解决NLP问题的必要性的问题上几乎正好分为两半。此外，调查还提出了元问题，要求受访者预测调查答复的分布情况。这不仅使我们能够深入了解NLP研究人员所持有的信念，而且还可以发现社区预测与现实不符的错误社会学信念。我们发现，在许多问题上都存在这种不匹配。在其他结果中，社区大大高估了自己对基准的有用性和扩展解决现实问题的潜力的信念，同时低估了自己对语言结构，归纳偏见和跨学科科学的重要性的信念。
2022-08-26 cs.AI cs.CL
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame（圣母大学）
多任务学习（MTL）在自然语言处理（NLP）中越来越受欢迎，因为它通过利用它们的共性和差异来提高相关任务的性能。然而，如何根据训练任务的相关性来实现多任务学习，目前还没有很好的理解。在这项调查中，我们回顾了NLP中多任务学习方法的最新进展，目的是根据任务相关性将其总结为两种通用的多任务训练方法：（i）联合训练和（ii）多步训练。我们提出了各种NLP下游应用程序的例子，总结了任务关系，并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
A Survey of Data Augmentation Approaches for NLP
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Dartmouth College（达特茅斯学院）
数据增强最近在NLP中引起了越来越多的兴趣，这是由于在低资源领域的更多工作、新任务以及需要大量训练数据的大规模神经网络的流行。尽管最近出现了这种激增，但这一领域的探索仍然相对不足，这可能是由于语言数据的离散性带来的挑战。在本文中，我们提出了一个全面和统一的调查数据增强的NLP通过总结文献结构化的方式。我们首先介绍和激励自然语言处理的数据增强，然后讨论主要的方法论代表性的方法。接下来，我们将重点介绍用于流行的NLP应用程序和任务的技术。最后，我们概述了当前的挑战和未来的研究方向。总的来说，我们的论文旨在澄清现有文献中的自然语言处理数据增强的景观，并激励在这一领域的额外工作。我们还提供了一个GitHub存储库和一个纸质列表，该列表将在https://github.com/styfeng/DataAug4NLP上不断更新。
2021-12-01 cs.AI cs.CL cs.LG
Incorporating Worker Perspectives into MTurk Annotation Practices for NLP
UC Berkeley（加州大学伯克利分校）
本研究通过文献综述和工人调查，揭示MTurk工人偏好与NLP研究者认知的差异，并提出改进标注实践以尊重工人权利和提升数据质量的建议。
2023-11-16 cs.AI cs.CL
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
An Audit on the Perspectives and Challenges of Hallucinations in NLP
College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；School of Interactive Computing, Georgia Institute of Technology（佐治亚理工学院交互计算学院）；Department of Computer Science & Engineering, Pennsylvania State University（宾夕法尼亚州立大学计算机科学与工程系）；Adobe Research（奥多比研究中心）
本研究通过审计103篇NLP文献及调研171名从业者，发现领域内对大语言模型幻觉术语缺乏共识，呼吁明确相关定义与框架，并梳理了幻觉的社会影响与潜在挑战。
2024-09-14 cs.AI cs.CL
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks（思特沃克）
本文综述了印度法律NLP基准现状，提出创建针对法律系统特有任务的挑战性基准，以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
Explanation-Based Human Debugging of NLP Models: A Survey
Imperial College London（伦敦帝国学院）
机器学习模型是困难的，因为错误通常涉及训练数据和学习过程。对于一个不透明的深度学习模型来说，如果我们不知道模型实际上是如何工作的，这就变得更加困难了。在本调查中，我们回顾了利用解释使人类能够提供反馈和调试NLP模型的论文。我们把这个问题称为基于解释的人工调试（EBHD）。特别是，我们分类和讨论现有的工作沿EBHD的三个方面（错误的背景下，工作流程和实验设置），编译EBHD组件如何影响反馈提供者的调查结果，并突出开放的问题，可能是未来的研究方向。
2021-12-10 cs.AI cs.CL cs.HC
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS（纽约大学）；Cleveland State University（克利夫兰州立大学）
本文综述多语言提示工程，按任务分类39种提示技术，分析覆盖约250种语言的36篇论文及30项NLP任务，并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
A Survey of Transformer-based Language Models with Focus on Efficiency
A. K. Choudhury School of IT（A.K.乔杜里信息技术学院）；University of Calcutta（加尔各答大学）；Bangabasi Morning College（班加巴西晨学院）
本文系统综述了NLP中基于Transformer的LLM在效率方面的研究，探讨了数据整理、模型设计等多方面效率提升方法，并评估了多个知名NLP模型的效率和有效性。
2026-09-03 cs.AI cs.CL
Survey of Pseudonymization, Abstractive Summarization & Spell Checker for Hindi and Marathi
Vidyalankar Institute of Technology（维迪亚兰卡理工学院）
本文针对印地语和马拉地语等印度区域语言NLP研究不足的问题，构建了一个支持文本匿名化、生成式摘要和拼写检查的多语言平台，主要服务于使用印度区域语言的企业与消费者客户。
2024-12-24 cs.AI cs.CL
Natural Language Processing Advancements By Deep Learning: A Survey
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of Minnesota Twin Cities（明尼苏达大学双城校区）
自然语言处理（NLP）通过增强对人类语言的更好理解来帮助智能机器进行基于语言的人机通信。计算能力的最新发展和大量语言数据的出现提高了使用数据驱动方法进行自动语义分析的需求。由于在计算机视觉、自动语音识别，特别是NLP等领域使用深度学习方法所表现出的显著改进，数据驱动策略的利用现在很普遍。本调查对受益于深度学习的NLP的不同方面和应用进行了分类和解决。它涵盖了核心NLP任务和应用程序，并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。
2021-02-27 cs.AI cs.CL cs.LG
Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
本文系统综述了语言模型在软件工程中的应用，涵盖70+模型、180+数据集，整合SE与NLP视角，并指出代码建模从统计模型到LLM的演进，同时展望了未来挑战与方向。
2024-06-26 cs.AI cs.CL cs.SE
Thorny Roses: Investigating the Dual Use Dilemma in Natural Language Processing
Hasso Plattner Institute（哈索·普拉特纳研究院）；University of Copenhagen（哥本哈根大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文通过调查NLP研究人员和从业者对双重用途问题的认知与行动现状，提出面向NLP社区的双重用途定义，并设计可整合进ACL伦理框架的检查清单以缓解潜在危害。
2023-10-30 cs.AI cs.CL
How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond
Sichuan University（四川大学）；Singapore Management University（新加坡国立大学）；York University（约克大学）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（机器学习与产业智能工程研究中心，教育部，中国）；National University of Singapore（新加坡国立大学）
本文综述了人类与NLP模型合作的新范式，提出统一分类法总结现有方法，并探讨前沿挑战，为未来研究奠定基础。
2025-05-22 cs.AI cs.CL cs.HC
Misspellings in Natural Language Processing: A survey
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（信息科学与技术研究所，国家研究理事会）
本综述系统梳理了自然语言处理中拼写错误的挑战、历史与最新应对策略，涵盖数据增强等方法、安全伦理问题及大语言模型表现，为研究者提供全面参考。
2025-10-24 cs.AI cs.CL
Explainability in Practice: A Survey of Explainable NLP Across Various Domains
Department of Methodology and Statistics, Utrecht University, The Netherlands（方法论与统计学系，乌得勒支大学，荷兰）
本综述针对实际部署的可解释NLP，覆盖7个应用领域，提出两级评估协议，探讨研究缺口并给出未来方向，为跨领域XNLP实践提供参考。
2026-08-13 cs.AI cs.CL
A Survey on Patent Analysis: From NLP to Multimodal AI
Department of Computer Science, University of Illinois Chicago（计算机科学系，伊利诺伊大学芝加哥分校）
本综述总结了专利分析中基于NLP和多模态AI的最新方法，提出基于专利生命周期任务与方法细节的新分类法，为相关领域的研究人员、从业者及专利局构建高效专利系统提供全面资源。
2025-06-26 cs.AI cs.IR
A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
构建一个能够自然地与人交流的对话系统是基于主体的计算中一个具有挑战性且有趣的问题。该领域的快速发展通常受到长期存在的数据稀缺问题的阻碍，因为这些系统需要从数量不足的特定任务数据集中学习语法、语法、决策和推理。最近引入的预训练语言模型有可能解决数据稀缺的问题，并通过生成上下文化的词嵌入带来相当大的优势。这些模型被认为是NLP中ImageNet的对应模型，并已被证明可以捕获语言的不同方面，例如层次关系，长期依赖和情感。在这篇简短的调查论文中，我们讨论了预训练语言模型领域的最新进展。我们还讨论了如何利用这些语言模型的优势来设计更有吸引力和更雄辩的会话代理。因此，本文旨在确定这些预先训练的模型是否可以克服与对话系统相关的挑战，以及如何利用它们的架构来克服这些挑战。还审议了对话系统领域的公开挑战。
2021-04-22 cs.AI cs.CL cs.IR
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University（乔治·马歇尔大学）
本文提出NLP-PRISM框架，系统评估社交媒体中NLP处理的隐私风险，揭示模型隐私保护与效用之间的权衡，并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
Surveying the Landscape of Text Summarization with Deep Learning: A Comprehensive Review
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文全面综述深度学习在文本摘要中的应用，涵盖抽取式、生成式、多文档等任务，总结模型、数据集及挑战，旨在指导技术选择并推动领域发展。
2023-10-13 cs.AI cs.CL cs.LG
A Survey on Natural Language Processing for Fake News Detection
College of Arts and Sciences, The University of Tokyo（东京大学文理学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
虚假新闻检测是自然语言处理中的一个关键而又具有挑战性的问题。社交网络平台的迅速崛起不仅极大地提高了信息的可访问性，也加速了假新闻的传播。因此，假新闻的影响越来越大，有时甚至延伸到线下世界，威胁到公共安全。鉴于大量的Web内容，自动虚假新闻检测是一个实用的NLP问题，对所有在线内容提供方都有用，以减少人类检测和防止虚假新闻传播的时间和精力。在本文中，我们描述了假新闻检测所面临的挑战，并描述了相关任务。我们系统地回顾和比较了为这项任务开发的任务公式，数据集和NLP解决方案，并讨论了它们的潜力和局限性。基于我们的见解，我们概述了有前途的研究方向，包括更细粒度，详细，公平和实用的检测模型。我们还强调了假新闻检测和其他相关任务之间的区别，以及NLP解决方案对假新闻检测的重要性。
2020-03-05 cs.AI cs.CL
Natural Language Processing for the Legal Domain: A Survey of Tasks, Datasets, Models, and Challenges
The University of Queensland（昆士兰大学）
本文综述了法律领域NLP的任务、数据集、模型及挑战，探讨了法律文本处理的独特性与现存问题，并提出了十六项开放研究挑战。
2025-07-30 cs.AI cs.CL
A Survey on Out-of-Distribution Detection in NLP
Alibaba Group（阿里巴巴集团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文首次系统综述NLP中的分布外检测，按数据可用性将方法分为三类，并介绍数据集、应用与指标，总结现状并展望未来方向。
2023-12-27 cs.AI cs.CL cs.LG
Speciesism in Natural Language Processing Research
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究生院）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
本文通过调查与实验揭示NLP研究者、数据和模型中普遍存在物种歧视，并提出减少此类偏见的讨论。
2024-10-18 cs.AI cs.CL
On Behalf of the Stakeholders: Trends in NLP Model Interpretability in the Era of LLMs
Faculty of Data and Decision Sciences, Technion（以色列理工学院数据与决策科学学院）
本文从利益相关者视角出发，通过大规模文献分析和LLM辅助刻画，系统审视了LLM时代NLP模型可解释性研究的需求、对象与方法，揭示了开发者与非开发者用户及不同领域之间的显著差异，为面向多元利益相关者的可解释性方法设计提供指导。
2025-02-04 cs.AI cs.CL
Knowledge Management System with NLP-Assisted Annotations: A Brief Survey and Outlook
Columbia University（哥伦比亚大学）
知识管理系统（KMS）对工业研究人员，化学或研究企业，或基于证据的决策有很高的需求。然而，现有的系统在分类和组织论文见解或关系方面具有局限性。传统的数据库通常与日志系统不相交，这限制了它在生成简明、整理的概述方面的效用。在这项工作中，我们简要地调查现有的方法，这个问题的空间，并提出了一个统一的框架，利用关系数据库记录层次信息，以促进研究和写作过程中，或产生有用的知识，从参考或见解连接的概念。我们的双向知识管理系统（BKMS）框架实现了新的功能，包括改进的分层笔记，人工智能辅助的头脑风暴和多向关系。潜在的应用包括为制造或研究企业管理库存和变更，或生成基于证据的决策分析报告。
2022-11-03 cs.AI cs.CL cs.DB
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
Rationalization for Explainable NLP: A Survey
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）
本综述系统梳理2007-2022年NLP中的合理化方法，涵盖技术、评估与数据集，并提出可解释AI新子领域理性AI（RAI），为未来研究指明方向。
2023-01-21 cs.CL cs.LG
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
East China University of Science and Technology（东华大学）；Peking University（北京大学）
本综述系统梳理了检索增强语言模型（RALMs）在NLP中的研究，涵盖RAG与RAU两大范式，分析其组件、分类、应用及评估方法，并指出当前局限与未来方向。
2025-06-29 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen（哥本哈根大学）；RIKEN（理化学研究所）；Microsoft Semantic Machines（微软语义机器公司）
近年来，除了对NLP中深度学习模型的大量研究外，还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面，问答和阅读理解特别多产，在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述，突出了目前的空白，为未来的工作。我们进一步讨论了当前的分类“技能”，问答/阅读理解系统应该获得，并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语，我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者，也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Interpretation of Black Box NLP Models: A Survey
Indian Institute of Technology Delhi（印度理工学院德里分校）
越来越多的机器学习模型被部署在金融和医疗保健等高风险领域。尽管它们的性能优越，但许多模型本质上是难以解释的黑匣子。研究人员正在努力开发解释这些黑箱模型的方法。基于扰动的事后解释（如LIME）是在机器学习模型构建后对其进行解释的广泛使用的方法。这类方法已被证明表现出很大的不稳定性，对方法本身的有效性构成严重挑战，并损害用户的信任。在本文中，我们提出了S-LIME，它利用一个假设检验框架的基础上，中心极限定理确定扰动点的数量，以保证稳定的解释。仿真和真实世界的数据集上的实验证明了我们的方法的有效性。
2022-03-31 cs.AI cs.CL cs.IR
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Natural Language Processing in the Patent Domain: A Survey
University of Cambridge（剑桥大学）
本综述面向NLP研究人员，系统剖析专利文献的结构与语言特征，梳理利用NLP进行专利分析（九项任务）与生成（四项任务）的方法谱系，旨在为高效应用大语言模型于专利领域奠定基础。
2025-04-23 cs.AI
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多综合理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
本综述梳理了应用于符号音乐生成与信息检索的NLP方法，涵盖符号音乐表示、适配的深度学习模型及专用机制，并讨论了技术问题与文本音乐差异，为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Continual Lifelong Learning in Natural Language Processing: A Survey
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
持续学习（CL）旨在使信息系统能够从跨时间的连续数据流中学习。然而，现有的深度学习架构很难在学习新任务的同时不忘记之前获得的知识。此外，CL对于语言学习特别具有挑战性，因为自然语言是模糊的：它是离散的，组合的，并且它的含义依赖于上下文。在这项工作中，我们通过各种NLP任务的镜头来看待CL问题。我们的调查讨论了CL的主要挑战和当前应用于神经网络模型的方法。我们还对NLP中现有的CL评估方法和数据集进行了严格的审查。最后，我们对未来的研究方向提出了展望。
2020-12-17 cs.AI cs.CL cs.LG
Related Work and Citation Text Generation: A Survey
Department of Computer Science（计算机科学系）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本综述梳理了自动相关工作生成（RWG）领域的历史研究成果，总结其关键方法与任务定义，探讨现存挑战，指出RWG是检验SOTA NLP模型能力的重要测试平台。
2024-04-17 cs.CL
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt（达姆斯塔特技术大学）
本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Requirement Formalisation using Natural Language Processing and Machine Learning: A Systematic Review
University of Roehampton（罗汉普顿大学）；University of Sheffield（谢菲尔德大学）
软件开发方法的改进吸引了开发人员在需求工程（RE）领域的自动需求形式化（RF）。在不同的研究中报告了应用自然语言处理（NLP）和机器学习（ML）在减少用自然语言编写的需求的模糊性和不完整性方面的潜在优势。本文的目标是调查和分类现有的工作自然语言处理和ML RF，确定在这个领域的挑战，并提供有前途的未来研究方向。为了实现这一目标，我们进行了系统的文献综述，通过从常用的图书馆中选择257篇论文，概述了RF中NLP和ML技术的最新发展。通过定义纳入和排除标准对检索结果进行筛选，并选择了2012年至2022年间的47项相关研究。我们发现，启发式NLP方法是用于自动RF的最常见的NLP技术，主要操作结构化和半结构化数据。这项研究还表明，深度学习（DL）技术并没有得到广泛应用，相反，经典的ML技术在调查研究中占主导地位。更重要的是，我们发现，由于缺乏RF的标准基准案例，很难比较不同方法的性能。
2023-03-18 cs.AI cs.CL cs.LG
Continual Learning of Natural Language Processing Tasks: A Survey
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本综述全面回顾了NLP中持续学习的最新进展，涵盖所有设置、灾难性遗忘预防、知识迁移及任务间类别分离挑战，并提出了未来研究方向。
2023-05-11 cs.AI cs.CL cs.LG
A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Cognitive Insight Limited（认知洞察有限公司）；BJIT Limited（BJIT有限公司）；Dhaka University（达卡大学）
孟加拉语是世界上使用最广泛的第六种语言（https：//www.ethnologue.com/guides/ethnologue200），有2.3亿人以孟加拉语为母语，但在自然语言处理（NLP）社区中，孟加拉语仍然被认为是一种低资源语言。经过三十年的研究，孟加拉语自然语言处理（BNLP）仍然落后，主要是由于资源的稀缺和随之而来的挑战。在BNLP的不同领域，工作很少;然而，尚未完成一项全面的调查报告以前的工作和最新进展。在这项研究中，我们首先回顾了研究社区可用的孟加拉NLP任务、资源和工具;我们使用当前最先进的算法（即，基于变压器的模型）。我们通过比较不同大小的单语与多语言模型，为所研究的NLP任务提供了比较结果。我们使用个人和合并数据集报告我们的结果，并为未来的研究提供数据分割。我们共查阅了108篇论文，进行了175组实验。我们的结果显示，使用基于变换器的模型具有良好的性能，同时强调了与计算成本的权衡。我们希望这样一个全面的调查将激励社区建立和进一步推进对孟加拉语NLP的研究。
2021-07-25 cs.AI cs.CL cs.IR
Literature review on vulnerability detection using NLP technology
Hangzhou University of Electronic Science and Technology（杭州电子科技大学）
漏洞检测一直是软件安全领域最重要的任务。随着技术的发展，面对海量的源代码，自动分析和检测漏洞已成为当前的研究热点。对于源代码这样的特殊文本文件，利用当前最热门的一些自然语言处理技术进行建模，实现对源代码的自动分析和检测，已经成为漏洞检测领域最值得期待的研究之一。本文简要介绍了CodeBERT等一些新的文档和技术，并对以前的技术进行了总结。
2021-04-23 cs.AI cs.CR cs.SE
LLMs as Planning Formalizers: A Survey for Leveraging Large Language Models to Construct Automated Planning Models
Ingenuity Labs Research Institute, Queen’s University（英杰实验室研究 institute，皇后大学）；School of Computing, Queen’s University（计算学院，皇后大学）；Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程学院，皇后大学）
本文综述了大语言模型在自动规划中作为形式化工具的应用，系统梳理方法、挑战与未来方向，以支持可靠的现成规划器，促进NLP与AP联合研究。
2025-10-25 cs.AI
A Survey on Recognizing Textual Entailment as an NLP Evaluation
Barnard College, Data Science Institute, Columbia University（巴纳德学院、数据科学研究所、哥伦比亚大学）；Columbia University（哥伦比亚大学）
文本蕴涵识别（RTE）是一个比较不同自然语言处理系统语义理解的统一评价框架。在这篇综述论文中，我们概述了评估和理解NLP系统推理能力的不同方法。然后，我们通过突出的RTE数据集以及RTE数据集的进展来集中讨论RTE，这些数据集专注于可用于在细粒度级别上评估NLP系统的特定语言现象。我们的结论是，在评估NLP系统时，社区应该利用新引入的RTE数据集，专注于特定的语言现象。
2020-10-06 cs.CL
A Survey of Race, Racism, and Anti-Racism in NLP
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Sheffield（谢菲尔德大学）；University of Washington（华盛顿大学）
尽管种族和语言之间有着千丝万缕的联系，但在NLP的研究和开发中，很少有研究考虑种族问题。在这项工作中，我们调查了ACL选集中提到种族的79篇论文。这些论文揭示了在NLP模型开发的各个阶段存在的各种类型的种族相关偏见，强调了积极考虑NLP系统如何维护种族等级制度的必要性。然而，在种族和NLP的研究中仍然存在持续的差距：种族一直被孤立为一个利基主题，在许多NLP任务中仍然被忽视;大多数工作将种族作为一个固定的单维变量，带有地面真理标签，这有可能加强历史种族主义产生的差异;历史上被边缘化的人的声音在NLP文献中几乎不存在。通过确定NLP文献在何处以及如何考虑种族，特别是与相关领域相比，我们的工作呼吁在NLP研究实践中实现包容和种族正义。
2021-07-15 cs.CL
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
NLP for The Greek Language: A Longer Survey
FORTH-ICS；University of Crete（克里特大学）
针对希腊语NLP资源匮乏的现状，本文系统梳理了三十年来希腊语自动处理的研究、资源与工具，覆盖现代希腊语、古希腊语及方言，为相关研究者提供参考。
2024-08-20 cs.CL
