ParCourE: A Parallel Corpus Explorer for a Massively Multilingual Corpus
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Research Center Deutscher Sprachatlas, Philipps University Marburg（马尔堡菲利普大学德国语言地图集研究中心）
全球有7000多种语言，多语言自然语言处理（NLP）无论从学术还是商业角度来看都是必不可少的。研究语言的类型学属性是多语言NLP进步的基础。例如，评估语言相似性以实现有效的迁移学习，将归纳偏差注入机器学习模型或创建词典和变形表等资源。我们提供ParCourE，一个在线工具，允许浏览一个词对齐的平行语料库，涵盖1334种语言。我们提供的证据表明，这是有用的类型学研究。ParCourE可以为任何平行语料库建立，因此可以用于对其他语料库的类型学研究以及探索它们的质量和属性。
2021-07-15 cs.CL
Uncovering Probabilistic Implications in Typological Knowledge Bases
University of Copenhagen（哥本哈根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
语言类型学的研究植根于我们发现的语言特征之间的含义，例如具有宾语-动词语序的语言往往有后置词。揭示这些含义通常相当于由训练有素和经验丰富的语言学家进行耗时的人工处理，这可能会使关键的语言共性未被探索。在本文中，我们提出了一个计算模型，成功地识别已知的共性，包括格林伯格共性，但也发现了新的，值得进一步的语言学研究。我们的方法优于以前用于此问题的基线，以及来自知识库人口的强大基线。
2019-06-18 cs.AI cs.CL stat.ML
SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Higher School of Economics（高等经济学院）；Moscow State University（莫斯科国立大学）；Karelian Research Centre（卡累利阿研究中心）；Indiana University（印第安纳大学）；Google AI（谷歌人工智能）；University of British Columbia（不列颠哥伦比亚大学）；Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Louisville（路易斯维尔大学）；University of York（约克大学）；ETH Zürich（苏黎世联邦理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
自然语言处理（NLP）的一个广泛目标是开发一个能够处理任何自然语言的系统。然而，大多数系统都是使用来自英语等一种语言的数据开发的。SIGMORPHON 2020关于形态反射的共享任务旨在研究系统在类型学上不同的语言中进行概括的能力，其中许多语言是低资源的。这些系统是使用来自45种语言和仅5个语系的数据开发的，用来自另外45种语言和10个语系（总共13个）的数据进行了微调，并对所有90种语言进行了评价。来自10个团队的22个系统（19个神经系统）被提交给该任务。所有四个获奖系统都是神经系统（两个单语转换器和两个基于RNN的大规模多语言模型，具有门控注意力）。大多数团队都展示了数据幻觉和增强，合奏和低资源语言的多语言培训的实用性。非神经学习者和手动设计的语法在某些语言（如Ingrian，Tajik，Taglian，Zarma，Lingala）上表现出竞争力甚至更好的表现，特别是在数据非常有限的情况下。一些语系（亚非语系、刚果语系、突厥语系）对大多数系统来说相对容易，平均准确率超过90%，而其他语系则更具挑战性。
2020-07-14 cs.CL
What Language(s) Does Aya-23 Think In? How Multilinguality Affects Internal Language Representations
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文通过 logit lens 与神经元分析考察 Aya-23-8B 的内部语言表征，揭示均衡多语言训练对翻译、语码混合处理及跨语言迁移的影响。
2025-07-27 cs.CL
The Roots of Performance Disparity in Multilingual Language Models: Intrinsic Modeling Difficulty or Design Choices?
Stanford University（斯坦福大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Amsterdam（阿姆斯特丹大学）
本文探讨多语言模型性能差异的根源，分析语言差异是否源于建模选择而非语言固有复杂性，并提出改进设计以实现更平衡的多语言模型。
2026-04-10 cs.CL
JWSign: A Highly Multilingual Corpus of Bible Translations for more Diversity in Sign Language Processing
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）；EFREI Paris（巴黎EFREI高等工程学院）；University of Dayton（代顿大学）；University of Zurich（苏黎世大学）
针对手语数据稀缺且分布不均的问题，提出包含98种手语、2530小时圣经翻译的JWSign数据集，并通过多语言神经机器翻译实验证明其有效性，多语言系统优于双语基线，聚类相关语言对可提升翻译质量。
2023-11-16 cs.CL
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
研究依存长度最小化在功能性和词汇性依存上的不对称性，发现功能性依存普遍短且不变，词汇性依存较长且受语序类型制约。
2026-07-03 cs.CL
Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation
Saarland University（萨尔兰大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心）
本研究通过LAPE方法在多个LLM中识别控制语言行为的神经元，并提出语言算术方法通过系统性激活操控实现跨语言任务的有效引导，揭示了语言处理的神经机制与回退策略。
2025-11-03 cs.CL
Cross-Lingual Transfer of Cognitive Processing Complexity
University of Amsterdam（阿姆斯特丹大学）；University of Copenhagen（哥本哈根大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
当人类阅读文本时，他们的眼球运动受到输入句子结构复杂性的影响。这一认知现象在不同语言间存在，最近的研究表明，多语言语言模型利用语言之间的结构相似性来促进跨语言迁移。我们使用了双水平眼动追踪模式作为结构复杂性的认知指标，并表明多语言模型XLM-RoBERTA可以成功地预测13种类型多样的语言的不同模式，尽管只对英语数据进行了微调。我们量化了模型对结构复杂性的敏感性，并区分了一系列复杂性特征。我们的研究结果表明，该模型开发了一个有意义的偏向句子长度，但也集成了跨语言的差异。我们进行了一个随机词序的对照实验，发现该模型似乎还捕捉到了更复杂的结构信息。
2023-02-27 cs.CL cs.LG
Brain-LLM Alignment Tracks Training Data, Not Typology
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
通过分析英语、中文和法语的fMRI数据及多种大语言模型，发现训练语言主导性而非英语本身驱动大脑-模型对齐模式，且类型学距离独立影响对齐退化。
2026-05-21 cs.AI cs.CL q-bio.NC
Beetle: A Bilingual Model Suite for Modelling Second-Language Processing
University of Cambridge（剑桥大学）；EleutherAI；MIT（麻省理工学院）
Beetle是一个受控的双语语言模型预训练框架，通过独立操控训练条件，训练并发布了330个模型，发现分阶段课程优于平衡双语训练，为计算心理语言学提供了双语加工研究工具。
2026-09-22 cs.CL
Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures
Google Research（谷歌研究院）
语言类型资源在自然语言处理中的应用越来越受欢迎。已经观察到，类型信息的使用，通常与分布式语言表示相结合，导致更强大的模型。虽然来自各种资源的语言类型学表示主要用于调节模型，但相对较少关注从输入数据预测来自这些资源的特征。在本文中，我们调查是否可以可靠地推断出从多语种文本的语言结构（WALS）的世界地图集的各种语言特征。这样的预测器可以用于推断从未在训练数据中观察到的语言的结构特征。我们将此任务视为一个多标签分类，涉及预测非互斥和极其稀疏的多值标签（WALS特征）的集合。我们构建了一个基于字节嵌入和卷积层的递归神经网络预测器，并在556种语言上测试了其性能，为各种语言类型、宏观区域、语言家族和个体特征提供了分析。我们表明，从各种语言类型的一些功能可以可靠地预测。
2020-05-04 cs.CL cs.LG
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
A Survey of QUD Models for Discourse Processing
本文综述了面向话语处理的QUD模型，梳理相关模型并重点关注书面文本应用，考察QUD与RST、PDTB、SDRT等主流话语框架的关系，提出未来研究方向。
2025-02-13 cs.CL
A Survey in Automatic Irony Processing: Linguistic, Cognitive, and Multi-X Perspectives
Northwestern University（西北大学）；The Hong Kong Polytechnic University（香港理工大学）
反语是日常交际中普遍存在的一种比喻性语言。以前，许多研究者从语言学、认知科学和计算等方面对反语进行了研究。近年来，随着自然语言处理（NLP）中深度神经模型的快速发展，反语自动处理取得了一些进展。在本文中，我们将提供一个全面的概述计算反讽，从语言学理论和认知科学的见解，以及它与下游NLP任务和新提出的多X反讽处理的观点的相互作用。
2022-09-10 cs.CL
A Survey of the Usages of Deep Learning in Natural Language Processing
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在过去的几年里，自然语言处理领域已经被深度学习模型的爆炸式使用所推动。本调查简要介绍了该领域，并快速概述了深度学习架构和方法。然后，它筛选了过多的最近的研究，并总结了大量的相关贡献。分析的研究领域包括几个核心的语言处理问题，除了一些计算语言学的应用。然后提供了一个讨论的当前状态的最新技术，以及在该领域的未来研究的建议。
2019-12-21 cs.CL
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida（佛罗里达大学）
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现，发现 Transformer 优于 RNN，挑战了传统循环处理观点，提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
A Survey in Mathematical Language Processing
University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文综述非形式化数学语言处理在五个子领域的近年进展，总结成功方法与局限，以服务定量科学和数学发现的自动化。
2024-04-08 cs.CL
Natural Language Processing - A Survey
自然语言处理（NLP）的效用和力量似乎注定要以深刻和根本的方式改变我们的技术社会。然而，到目前为止，很少有针对大众的NLP科学的描述，甚至是针对聪明但不知情的科学家的描述。本文旨在提供这样一个概述。简而言之，本文的目的是以清晰，平衡和可读的方式描述NLP的目的，程序和实际应用。我们将研究描述NLP方法和过程的最新文献，分析研究人员面临的一些挑战，并简要概述这门科学在IT研究中的当前和未来应用。
2012-09-25 cs.CL
Learning with Latent Structures in Natural Language Processing: A Survey
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然具有完全可微模型的端到端学习已经在自然语言处理（NLP）和机器学习中取得了巨大的成功，但最近人们对具有潜在离散结构的学习产生了极大的兴趣，以结合更好的归纳偏差，从而提高最终任务的性能和更好的可解释性。然而，这种范例并不直接适用于主流的基于梯度的优化方法。这项工作调查了三个主要的家庭的方法来学习这样的模型：代理梯度，连续松弛，并通过抽样边际似然最大化。最后，我们审查这些方法的应用程序和检查的学习潜在的结构，他们诱导。
2022-01-11 cs.CL
Symbolic, Distributed and Distributional Representations for Natural Language Processing in the Era of Deep Learning: a Survey
University of Rome Tor Vergata（罗马第二大学）
自然语言本质上是人类知识的离散符号表示。机器学习（ML）和自然语言处理（NLP）的最新进展似乎与上述直觉相矛盾：离散符号正在消失，被称为分布式和分布式表示的矢量或张量所消除。然而，在分布式/分布式表示和离散符号之间存在严格的联系，第一种是第二种的近似。更清楚地理解分布式/分布式表示和符号之间的严格联系肯定会导致全新的深度学习网络。在本文中，我们做了一个调查，旨在更新符号表示和分布式/分布式表示之间的联系。这是振兴解释离散符号在神经网络中如何表示的领域的正确时机。
2019-06-04 cs.CL
Natural Language Processing for Human Resources: A Survey
Megagon Labs（美加刚实验室）
本文综述了自然语言处理在人力资源领域的应用，分析了信息抽取和文本分类等基础任务及其在下游应用中的作用，并指出了研究空白与伦理问题。
2025-03-25 cs.CL
SECNLP: A Survey of Embeddings in Clinical Natural Language Processing
National Institute of Technology Tiruchirappalli（特里奇拉普里国家理工学院）
传统的表示方法如Bagofwords是高维的、稀疏的，忽略了顺序以及句法和语义信息。分布式向量表示或嵌入将可变长度的文本映射到密集的固定长度向量，并捕获可以传输到下游任务的先验知识。尽管嵌入已经成为一般和临床领域基于深度学习的NLP任务的事实标准表示，但没有调查论文对临床自然语言处理中的嵌入进行详细审查。在这篇综述论文中，我们讨论了各种医学语料库及其特点，医学代码，并简要概述了流行的嵌入模型，以及比较。我们将临床嵌入分为九种类型，并详细讨论每种嵌入类型。我们讨论了各种评估方法，随后是临床嵌入中各种挑战的可能解决方案。最后，我们总结了一些未来的方向，这将推动临床嵌入的研究。
2020-11-25 cs.CL
A Survey on Natural Language Processing for Programming
Beihang University（北京航空航天大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文从编程语言的结构化与功能化特性出发，系统综述了面向编程的自然语言处理在任务、数据集、评估方法、技术和模型方面的研究现状，并指出未探索领域与未来方向。
2023-08-06 cs.CL
Cross-Lingual Transfer and Parameter-Efficient Adaptation in the Turkic Language Family: A Theoretical Framework for Low-Resource Language Models
本文提出突厥语系多语言模型跨语言迁移与参数高效适应的理论框架，通过突厥语系语言的共性与差异分析，构建了基于形态相似性、词汇重叠和语法结构的突厥迁移系数模型。
2026-03-13 cs.AI cs.CL
A Survey of Pre-trained Language Models for Processing Scientific Text
National Institute of Informatics（情报学研究所）；The University of Tokyo（东京大学）；NTT Communications Corporation（NTT通信公司）；University of Information Technology（信息技术大学）；CNRS（法国国家科学研究中心）；LS2N, Université de Nantes（南特大学LS2N实验室）
本研究针对科学语言模型（SciLMs）发展迅速但缺乏全面综述的问题，首次对SciLMs进行系统梳理，分析其在多领域、任务和数据集上的效果，并探讨未来挑战。
2024-01-31 cs.CL
A Survey on Using Gaze Behaviour for Natural Language Processing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什研究学院）；Apple Inc.（苹果公司）
凝视行为已经被用作收集认知信息的一种方式多年。在本文中，我们讨论了使用凝视行为在解决不同的任务在自然语言处理（NLP），而不必记录在测试时。这是因为收集凝视行为在时间和金钱方面都是一项昂贵的任务。因此，在本文中，我们专注于研究所做的，以减轻需要在运行时间记录凝视行为。我们还提到了多种语言的不同眼动追踪语料库，这些语料库目前可用，并且可以用于自然语言处理。我们通过讨论在教育领域的应用以及学习凝视行为如何帮助解决复杂单词识别和自动论文评分的任务来结束我们的论文。
2022-01-03 cs.CL
Survey on Publicly Available Sinhala Natural Language Processing Tools and Research
Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，莫图瓦大学）
本文综述了公开可用的僧伽罗语自然语言处理工具和研究，旨在填补现有文献的空白，促进该领域研究的协调与进步。
2026-09-06 cs.CL
Natural Language Processing with Commonsense Knowledge: A Survey
College of Information Engineering Shanghai Maritime University；Independent Researcher；School of AI；Advanced Computing Xi'an Jiaotong-Liverpool University；Alibaba Business School Hangzhou Normal University；School of Computer
该综述梳理了常识知识库、评估基准、融入方法及在NLP任务中的应用，分析了相关挑战与趋势，为融合常识提升NLP推理能力的研究提供了系统参考。
2024-09-13 cs.CL
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales（新南威尔士大学）；National Institute of Information and Communications Technology（信息通信技术研究所）；University of Surrey（萨里大学）；Monash University（莫纳什大学）
该综述聚焦方言NLP领域，从数据集和方法梳理相关研究，划分NLU和NLG任务类别，覆盖多语言，介绍经典与深度学习方法，为构建公平语言技术提供参考。
2024-12-06 cs.CL
Crossing the Conversational Chasm: A Primer on Natural Language Processing for Multilingual Task-Oriented Dialogue Systems
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；PolyAI Limited（PolyAI有限公司）
在面向任务的对话（ToD）中，用户与人工智能体进行对话以完成具体任务。虽然这项技术代表了人工智能的核心目标之一，并且一直是越来越密集的研究和开发工作的重点，但它目前仅限于几个狭窄的领域（例如，食物订购、机票预订）和少数几种语言（例如，英文、中文）。这项工作提供了一个广泛的概述现有的方法和资源，在多语言的ToD作为一个切入点，这一令人兴奋的和新兴的领域。我们发现，阻止创建真正的多语言ToD系统的最关键因素是缺乏大多数语言的数据集用于培训和评估。事实上，为模块化系统的每个组件或数据饥渴的端到端系统获取注释或人工反馈是昂贵且繁琐的。因此，多语言ToD的最新方法主要依赖于（零或Few-Shot）从资源丰富的语言（几乎完全是英语）的跨语言迁移，无论是通过机器翻译还是多语言表示。这些方法目前只适用于类型相似的语言和具有平行/单语语料库的语言。另一方面，由于缺乏语言多样性的基准（特别是对于自然语言生成和端到端评估），它们在这些边界之外的有效性值得怀疑或难以评估。为了克服这一限制，我们在ToD管道的组件和其他NLP任务之间进行了比较，这可以激发低资源场景下的学习解决方案。最后，我们列出了多语言对相关领域（如语音和以人为本的评估）带来的额外挑战，并指出了未来的发展方向，有望进一步扩大当前ToD系统的语言覆盖范围和对话能力。
2022-05-26 cs.CL
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
为了模拟人类的语言能力，自然语言处理系统必须能够推理日常情况的动态，包括它们可能的原因和影响。此外，他们应该能够将所获得的世界知识推广到新的语言中，以文化差异为模。机器推理和跨语言迁移的进展取决于具有挑战性的评估基准的可用性。出于这两个需求，我们引入跨语言的选择合理的替代品（XCOPA），一个类型多样的多语言数据集的因果常识推理在11种语言，其中包括资源贫乏的语言，如东部阿普里马克克丘亚语和海地克里奥尔语。我们在这个新颖的数据集上评估了一系列最先进的模型，发现与基于翻译的迁移相比，当前基于多语言预训练和零次微调（zero-shot fine-tuning）的方法的性能有所不足。最后，我们提出了策略，以适应多语言模型的样本资源贫乏的语言，只有一个小的语料库或双语词典是可用的，并报告了显着的改进随机基线。XCOPA数据集可在github.com/cambridgeltl/xcopa上免费获得。
2020-10-26 cs.CL
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy（特里奇国立理工学院）
基于transformer的预训练语言模型（T-PTLM）在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers，自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示，并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识，避免了从头开始训练下游模型。在这篇全面的综述论文中，我们首先简要概述了自监督学习。接下来，我们将解释各种核心概念，如预训练，预训练方法，预训练任务，嵌入和下游适应方法。接下来，我们提出了一个新的分类T-PTLM，然后简要概述了各种基准，包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后，我们强调了一些未来的研究方向，这将进一步改善这些模型。我们坚信，这份全面的调查报告将作为一个很好的参考，以了解核心概念，以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS；University of Crete（克里特大学）
针对希腊语NLP资源匮乏的现状，本文系统梳理了三十年来希腊语自动处理的研究、资源与工具，覆盖现代希腊语、古希腊语及方言，为相关研究者提供参考。
2024-08-20 cs.CL
Identifying Health Risks from Family History: A Survey of Natural Language Processing Techniques
CSIRO Data61（联邦科学与工业研究组织Data61）；CSIRO Health & Biosecurity（联邦科学与工业研究组织健康与生物安全局）
本文综述了利用自然语言处理技术从电子健康记录中提取家族史以识别健康风险的方法，重点比较了规则方法与基于预训练语言模型的神经方法，并指出了未来研究方向。
2024-03-15 cs.CL
Efficient Methods for Natural Language Processing: A Survey
IST/U. of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Berliner Hochschule für Technik（柏林应用科技大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Edinburgh（爱丁堡大学）；Cohere For AI（Cohere人工智能研究所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Unbabel（Unbabel公司）；Brown University（布朗大学）；Stony Brook University（石溪大学）；University of Bristol（布里斯托大学）；IBM Research（IBM研究院）；Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Technical University of Darmstadt（达姆施塔特工业大学）
最近在自然语言处理（NLP）方面的工作已经从缩放模型参数和训练数据中产生了有吸引力的结果;然而，仅使用缩放来提高性能意味着资源消耗也会增加。这些资源包括数据、时间、存储或能量，所有这些都是自然有限且分布不均匀的。这促使人们研究需要更少资源来实现类似结果的有效方法。本调查综合并联系了高效NLP的当前方法和发现。我们的目标是为在有限的资源下进行自然语言处理提供指导，并指出有前途的研究方向，以开发更有效的方法。
2023-03-24 cs.CL
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Macquarie University（麦考瑞大学）；Wuhan University（武汉大学）
近年来，随着高计算设备的发展，深度神经网络（DNN）在许多人工智能（AI）应用中获得了显著的普及。然而，以前的研究表明，DNN容易受到策略修改样本的影响，称为对抗性样本。这些样本是用一些不可察觉的扰动生成的，但可以欺骗DNN给出错误的预测。受图像DNN生成对抗性示例的流行启发，近年来出现了针对文本应用攻击DNN的研究工作。然而，现有的图像扰动方法不能直接应用于文本，因为文本数据是离散的。在这篇文章中，我们回顾了解决这种差异的研究工作，并在DNN上生成文本对抗性示例。我们对这些作品进行了全面的收集、筛选、归纳、讨论和分析，涵盖了所有相关信息，使文章自成一体。最后，根据文献回顾，我们提供了进一步的讨论和建议。
2019-04-11 cs.CL
A Literature Survey of Recent Advances in Chatbots
The University of Sunderland（桑德兰大学）
聊天机器人是智能对话计算机系统，旨在模仿人类对话，以实现自动化在线指导和支持。聊天机器人的好处越来越多，导致许多行业广泛采用它们，以便为客户提供虚拟帮助。聊天机器人利用来自两个人工智能领域的方法和算法：自然语言处理和机器学习。然而，在其应用中存在许多挑战和限制。在这项调查中，我们回顾了聊天机器人的最新进展，其中使用了人工智能和自然语言处理。我们强调了目前工作的主要挑战和局限性，并为未来的研究调查提出建议。
2022-01-17 cs.CL
Improving Lemmatization of Non-Standard Languages with Joint Learning
University of Antwerp（安特卫普大学）；Tilburg University（蒂尔堡大学）
标准语言的词形化涉及（i）对形态差异进行抽象，以及（ii）解决屈折词的标记-词元歧义，以便将它们映射到字典词目。在本文中，我们的目标是提高一组非标准的历史语言，其中的难度增加了一个额外的方面（iii）：拼写变化，由于缺乏正字法标准的词形还原性能。我们的方法作为一个字符串转换任务的编码器-解码器架构，我们丰富的句子上下文信息，使用分层的句子编码器。我们在训练句子编码器联合进行词形化和语言建模时，显示了对最先进技术的显着改进。至关重要的是，我们的架构不需要POS或形态注释，这并不总是适用于历史语料库。此外，我们还在一组类型多样的标准语言上测试了所提出的模型，结果与没有增强的句子表示和以前最先进的系统的模型相当或更好。最后，为了鼓励未来处理非标准变体的工作，我们发布了本研究所基于的非标准语言数据集，该数据集基于可公开访问的来源。
2019-03-16 cs.CL
A Survey of Diffusion Models in Natural Language Processing
University of Minnesota（明尼苏达大学）
该综述梳理了扩散模型在NLP中的应用、形式、优缺点，对比其与自回归模型的优势，指出Transformer融合、多模态及大规模少样本扩散语言模型为未来方向。
2023-06-14 cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
A survey of diversity quantification in natural language processing: The why, what, where and how
France Université Paris-Saclay, CNRS, LISN（法国巴黎萨克雷大学，CNRS，LISN）；Belgium FNRS - UCLouvain（比利时FNRS - 奥斯迪大学）；Israel The Open University of Israel（以色列开放大学）；Germany Heidelberg University（德国海德堡大学）
本文综述了自然语言处理中多样性的量化问题，提出四个视角分析其重要性、测量对象、测量地点及方法，提升多样性研究的可比性与指导性。
2026-10-26 cs.CL
A Survey on Automated Fact-Checking
University of Cambridge（剑桥大学）
由于信息和错误信息在现代媒体生态系统中的传播速度，事实核查变得越来越重要。因此，研究人员一直在探索如何将事实核查自动化，使用基于自然语言处理、机器学习、知识表示和数据库的技术来自动预测索赔的真实性。在本文中，我们调查自动事实检查源于自然语言处理，并讨论其相关的任务和学科的连接。在此过程中，我们将对现有的数据集和模型进行概述，旨在统一给出的各种定义并确定共同的概念。最后，我们强调了未来研究面临的挑战。
2022-06-06 cs.CL
Pre-trained Models for Natural Language Processing: A Survey
Fudan University（复旦大学）
近年来，预训练模型（PTM）的出现将自然语言处理（NLP）带入了一个新的时代。在这次调查中，我们对NLP的PTM进行了全面的回顾。我们首先简要介绍了语言表示学习及其研究进展。然后，我们系统地分类现有的PTM的基础上的分类与四个方面。接下来，我们将描述如何将PTM的知识适应下游任务。最后，我们概述了一些潜在的PTMs为未来的研究方向。本调查旨在成为理解，使用和开发各种NLP任务的PTM的实践指南。
2021-06-23 cs.CL cs.LG
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame（圣母大学）
多任务学习（MTL）在自然语言处理（NLP）中越来越受欢迎，因为它通过利用它们的共性和差异来提高相关任务的性能。然而，如何根据训练任务的相关性来实现多任务学习，目前还没有很好的理解。在这项调查中，我们回顾了NLP中多任务学习方法的最新进展，目的是根据任务相关性将其总结为两种通用的多任务训练方法：（i）联合训练和（ii）多步训练。我们提出了各种NLP下游应用程序的例子，总结了任务关系，并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
A Survey of Code-switched Speech and Language Processing
Microsoft Research India（微软印度研究院）；Carnegie Mellon University（卡内基梅隆大学）
语码转换是一种常见的语言交际现象，在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统，与用户在多语言社区。由于代码转换的数据和资源是稀缺的，我们列出了什么是可用的各种代码转换语言对的语言处理任务，他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究，包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
Conformal Prediction for Natural Language Processing: A Survey
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单元（LUMLIS））；Unbabel（昂巴贝尔公司）
本文综述了保形预测在自然语言处理中的技术、统计保证与应用，旨在解决LLM和NLP系统缺乏不确定性量化的问题，并展望未来研究方向。
2024-05-03 cs.CL cs.LG
A Survey on Semantic Processing Techniques
Continental-NTU Corporate Lab, Nanyang Technological University（大陆集团-南洋理工大学企业实验室）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning, Central China Normal University（华中师范大学湖北省人工智能与智慧学习重点实验室）；National Language Resources Monitoring and Research Center for Network Media, Central China Normal University（华中师范大学国家语言资源监测与研究网络媒体中心）；School of Computer Science, Central China Normal University（华中师范大学计算机学院）
本文综述了词义消歧、指代消解、命名实体识别等五类语义处理任务的理论、方法与应用，并指出其技术趋势和未来方向。
2023-10-22 cs.AI cs.CL
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business（雅典经济与商业大学）；Athena Research Center（雅典娜研究中心）；Stockholm University（斯德哥尔摩大学）
本研究提出一个可推广的系统性单语NLP综述框架，应用于希腊语（2012-2023），通过结构化搜索、任务与资源分类法分析现状与资源空白，并提供公开更新的常青资源，展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
A Decade of Knowledge Graphs in Natural Language Processing: A Survey
Technical University of Munich（慕尼黑工业大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）；King’s College London（伦敦国王学院）
随着人工智能研究领域的发展，知识图谱（KGs）已经引起了学术界和工业界的极大兴趣。作为实体之间语义关系的表示，KG已被证明与自然语言处理（NLP）特别相关，近年来经历了快速传播和广泛采用。鉴于这一领域的研究工作越来越多，NLP研究界已经调查了几种与知识生成相关的方法。然而，一个全面的研究，分类既定的主题和审查的成熟度，个别研究流仍然缺乏到今天。为了缩小这一差距，我们系统地分析了507篇关于NLP中KG的文献。我们的调查包括任务，研究类型和贡献的多方面审查。因此，我们提出了一个结构化的研究景观的概述，提供了一个分类的任务，总结我们的研究结果，并强调未来的工作方向。
2022-09-30 cs.AI cs.CL
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
近年来，自然语言处理领域取得了令人瞩目的进展，神经网络模型取代了许多传统系统。已经提出了大量的新模型，其中许多被认为是不透明的，相比之下，他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中，我们回顾了神经语言处理中的分析方法，根据突出的研究趋势对其进行分类，突出现有的局限性，并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
Computational Models to Study Language Processing in the Human Brain: A Survey
KU Leuven（鲁汶大学）
本文综述了计算模型在人脑语言处理研究中的应用，通过在相同数据集上评估多种模型，发现没有单一模型在所有数据集上均占优，强调需丰富测试数据并严格控制实验以得出稳健结论。
2024-03-20 cs.AI cs.CL
