A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
近年来，自然语言处理领域取得了令人瞩目的进展，神经网络模型取代了许多传统系统。已经提出了大量的新模型，其中许多被认为是不透明的，相比之下，他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中，我们回顾了神经语言处理中的分析方法，根据突出的研究趋势对其进行分类，突出现有的局限性，并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
A Survey of Neural Network Techniques for Feature Extraction from Text
University of Waterloo（滑铁卢大学）
本文旨在促进关于使用神经网络架构的文本特征提取技术的讨论。本文讨论的研究问题集中在最先进的神经网络技术，已被证明是有用的工具，语言处理，语言生成，文本分类和其他计算语言学任务。
2017-04-27 cs.CL
A Survey on Neural Network-Based Summarization Methods
摘要自动摘要是在保留文本主要内容的同时缩短文本的自动化过程，是自然语言处理的一个重要研究领域。这篇文献综述的目的是调查最近的工作，基于神经模型的自动文本摘要。我们详细研究了十个最先进的基于神经的摘要器：五个抽象模型和五个提取模型。此外，我们讨论了相关的技术，可以应用到摘要任务，并提出了有前途的路径，为未来的研究在基于神经的摘要。
2018-03-19 cs.CL
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University（达尔马辛赫·德赛大学）
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文，从著名的期刊和会议。
2015-01-28 cs.CL
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego（加州大学圣地亚哥分校）
尽管在许多NLP任务上实现了最先进的性能，但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型（PLM）被更广泛地采用，包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算，时间和碳排放，包括数据准备，模型训练和推理。在本次调查中，我们重点关注推理阶段，并回顾了预训练语言模型的模型压缩和加速的现状，包括基准测试，指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
A Survey of Code-switched Speech and Language Processing
Microsoft Research India（微软印度研究院）；Carnegie Mellon University（卡内基梅隆大学）
语码转换是一种常见的语言交际现象，在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统，与用户在多语言社区。由于代码转换的数据和资源是稀缺的，我们列出了什么是可用的各种代码转换语言对的语言处理任务，他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究，包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
Neural Networks for Entity Matching: A Survey
Cognite（Cognite公司）；NTNU（挪威科技大学）
实体匹配是识别哪些记录引用相同的真实世界实体的问题。它已经被积极研究了几十年，并开发了各种不同的方法。即使在今天，它仍然是一个具有挑战性的问题，仍然有很大的改进余地。近年来，我们看到了基于深度学习技术的自然语言处理新方法的出现。在这篇综述中，我们介绍了神经网络是如何用于实体匹配的。具体来说，我们确定哪些步骤的实体匹配过程中现有的工作有针对性地使用神经网络，并提供了在每个步骤中使用的不同技术的概述。我们还讨论了与传统方法相比，深度学习在实体匹配中的贡献，并提出了用于实体匹配的深度神经网络的分类。
2021-05-31 cs.CL cs.DB cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来，随着大规模计算能力的出现和大量数据的可用性，深度神经网络已经能够在多个领域探索未知领域。但有时，由于数据不足，数据质量差，数据可能没有广泛覆盖该领域等原因，它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术，将专家知识集成到深度神经网络的序列到序列和时间序列模型，以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
Topic Modelling Meets Deep Neural Networks: A Survey
Monash University（莫纳什大学）
主题建模是近二十年来文本分析的一种成功技术。当主题建模遇到深层神经网络时，出现了一个新的且越来越受欢迎的研究领域，神经主题模型，开发了一百多个模型，并在神经语言理解中有广泛的应用，例如文本生成，摘要和语言模型。有必要总结研究进展，并讨论开放的问题和未来的方向。在本文中，我们为人工智能社区中感兴趣的研究人员提供了一个集中而全面的神经主题模型概述，以促进他们在这个快速发展的研究领域中导航和创新。据我们所知，我们是第一次审查集中在这个特定的主题。
2021-02-28 cs.CL cs.IR cs.LG
A Survey of Spanish Clinical Language Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本综述聚焦西班牙语临床领域的编码器语言模型，回顾17个相关语料库，对多种模型进行基准测试（微调超3000个模型），并公开语料库与最佳模型以促进结果复现与未来挑战。
2023-08-04 cs.AI cs.CL cs.LG
Natural Language Generation for Advertising: A Survey
CyberAgent, Inc.（CyberAgent公司）
本综述回顾了广告中自然语言生成的研究趋势，涵盖从模板到神经网络的抽取式和生成式方法，并讨论了指标优化、忠实性、多样性、多模态及基准数据集等关键挑战与方向。
2023-06-22 cs.CL
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg（汉堡大学）
本文综述了神经网络中概念解释的近期方法，探讨了概念在学习与推理之间的桥梁作用，并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
Neural Machine Translation: A Review and Survey
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
机器翻译（MT）是将书面文本从一种自然语言自动翻译成另一种自然语言的领域，近年来经历了重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型，并且几十年来一直主导着机器翻译研究，它在很大程度上已经被神经机器翻译（NMT）所取代，后者用单个神经网络来处理翻译。在这项工作中，我们将追溯到现代NMT架构的起源字和句子嵌入和早期的编码器-解码器网络家族的例子。最后，我们将对该领域的最新趋势进行一次调查。
2020-09-29 cs.CL
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy（蒂鲁吉拉伯利国立理工学院）
基于transformer的预训练语言模型（PLM）开创了现代自然语言处理（NLP）的新纪元。这些模型结合了Transformers、迁移学习和自监督学习（SSL）的强大功能。随着这些模型在一般领域的成功，生物医学研究界开发了各种领域内的PLM，从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文，可以对各种基于transformer的生物医学预训练语言模型（BPLM）进行全面调查。在本调查中，我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念，如预训练方法，预训练任务，微调方法，以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类，然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后，我们强调了一些开放的问题，这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文综述了神经自然语言处理中的事后可解释性方法，系统分类其解释方式、深入分析各类方法并讨论验证问题，以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
A Survey on Hardware Accelerators for Large Language Models
University of West Attica（西阿提卡大学）
本文综述GPU、FPGA及定制架构等LLM硬件加速器，从架构、性能与能效方面分析，为优化实际部署提供参考。
2024-01-18 cs.AR cs.CL cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
Survey on the Use of Typological Information in Natural Language Processing
University of Cambridge（剑桥大学）；MIT（麻省理工学院）；Technion, IIT（以色列理工学院）
近年来，语言类型学，根据其功能和结构特性对世界语言进行分类，已被广泛用于支持多语言NLP。虽然类型学信息在支持多语言任务方面的重要性日益增加，但没有对现有类型学资源及其在NLP中的使用进行系统的调查。本文提供了这样一个调查，以及讨论，我们希望这将既通知和启发在该领域的未来工作。
2016-10-11 cs.CL
A Survey of Deep Learning Techniques for Neural Machine Translation
Hong Kong Baptist University（香港浸会大学）；Department of Computer science（计算机科学系）
近年来，自然语言处理（NLP）随着深度学习技术的发展得到了长足的发展。在机器翻译领域，一种新的方法--神经机器翻译（NMT）已经出现，并得到了学术界和工业界的广泛关注。然而，在过去的几年里，提出了大量的研究，有很少的工作，在调查的发展过程中，这一新的技术趋势。本研究回顾了NMT的起源和主要发展时间轴，考察了NMT的重要分支，对不同的研究方向进行了分类，并讨论了该领域未来的研究趋势。
2020-02-18 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
A Survey on Out-of-Distribution Evaluation of Neural NLP Models
Deakin University（迪肯大学）；VinUniversity（文莱大学）
本综述探讨了神经NLP模型的分布外（OOD）评估，在统一定义下比较了对抗鲁棒性、领域泛化和数据集偏差三个研究方向，总结了各自的数据生成过程与评估协议，并指出了未来的挑战与机遇。
2023-06-27 cs.CL
Text-based Question Answering from Information Retrieval and Deep Neural Network Perspectives: A Survey
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
基于文本的问答（QA）是一项具有挑战性的任务，旨在为用户的问题找到简短具体的答案。这条研究线已经被广泛研究了信息检索技术，并在近年来通过考虑深度神经网络方法而受到越来越多的关注。深度学习方法是本文的重点，它提供了一种强大的技术来学习问题和文本之间的多层表示和交互。在本文中，我们提供了一个全面的概述不同的模型提出的QA任务，包括传统的信息检索的角度来看，和最近的深度神经网络的角度来看。我们还介绍了众所周知的数据集的任务，并提出了现有的结果，从文献中有不同的技术之间的比较。
2020-05-27 cs.CL cs.IR cs.LG
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Neural Unsupervised Domain Adaptation in NLP---A Survey
University of Trento（特伦托大学）；ITU Copenhagen（哥本哈根信息技术大学）
深度神经网络擅长从标记数据中学习，并在各种自然语言处理任务中实现最先进的结果。相比之下，从未标记数据中学习，特别是在域转移下，仍然是一个挑战。受最新进展的启发，在这次调查中，我们回顾了神经无监督领域自适应技术，不需要标记的目标域数据。这是一个更具挑战性但适用范围更广的设置。我们概述了从早期传统的非神经方法到预训练模型转移的方法。我们还重新审视了域的概念，我们发现了最受关注的自然语言处理任务类型的偏见。最后，我们概述了未来的发展方向，特别是对未来NLP的分布外泛化的更广泛需求。
2020-10-28 cs.CL
AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction
Department of Sociology（社会学系）；University of Chicago（芝加哥大学）；New York University（纽约大学）；Chicago, IL（伊利诺伊州芝加哥市）；New York, NY（纽约州纽约市）
本文提出了一种基于大型语言模型的框架，通过结合问题、受访者和调查时期的嵌入表示，预测重复横断面调查中缺失的响应，从而弥补传统调查在捕捉历史变化方面的不足。
2026-05-19 cs.AI cs.CL cs.LG
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，随着词的连续表示（词嵌入）和深层神经网络结构的发展，关系抽取领域的研究成果不断涌现，大量的论文已经难以统计。为了帮助未来的研究，我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取，这些网络在公开可用的数据集上实现了最先进的性能。在本调查中，我们涵盖了文档级关系提取，基于管道的方法联合提取方法，注释数据集，远程监督数据集以及一些最近的研究方向，如zero-shot或Few-Shot关系抽取，远程监督数据集的噪声缓解。关于神经架构，我们在本调查中涵盖了卷积模型，递归网络模型，注意力网络模型和图卷积模型。
2021-03-31 cs.CL
Syntax Representation in Word Embeddings and Neural Networks -- A Survey
Charles University（查理大学）
在自然语言处理任务上训练的神经网络捕获语法，即使它不作为监督信号提供。这表明，句法分析是必不可少的理解语言的人工智能系统。这篇综述论文涵盖了评估不同神经网络架构的单词表示中包含的句法信息量的方法。本文主要综述了英语单语数据在语言建模任务中的应用、多语种数据在神经机器翻译系统和多语种语言模型中的应用。我们描述了哪些预训练的模型和语言表示最适合转移到句法任务。
2020-10-02 cs.CL
Questioning the Survey Responses of Large Language Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（ELLIS图宾根研究所）；Tübingen AI Center（图宾根人工智能中心）
该研究基于美国社区调查检验用问卷研究大语言模型的方法，发现模型回答受排序和标签偏差影响，校正偏差后回答趋均匀随机，质疑了此前通过调查推断模型代表性的结论。
2024-12-09 cs.CL
Innovations in Neural Data-to-text Generation: A Survey
Virginia Tech（弗吉尼亚理工大学）
本综述系统梳理了神经数据到文本生成的方法、基准与评估协议，并强调未来研究应兼顾语言能力与公平性、可问责性。
2024-04-02 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University（麦吉尔大学）
自动摘要是通过计算缩短一组文本数据的过程，以创建表示原始文本中最重要信息的子集（摘要）。现有的文摘方法大致可以分为两类：抽取式和抽象式。提取摘要器显式地选择文本片段（单词、短语、句子等）。从源文档，而抽象的摘要生成器生成新颖的文本片段，以传达源中流行的最突出的概念。
2022-04-20 cs.CL
A survey of neural models for the automatic analysis of conversation: Towards a better integration of the social sciences
Institut Polytechnique de Paris（巴黎理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Inria Paris（法国国家信息与自动化研究所巴黎分部）
在过去的几年里，已经引入了一些令人兴奋的新方法来分析会话的神经架构。这些包括用于检测情感、对话行为和情感极性的神经架构。它们利用了当代机器学习的一些关键属性，例如具有注意力机制的递归神经网络和基于transformer的方法。然而，虽然架构本身非常有前途，但迄今为止应用它们的现象只是使对话引人入胜的一小部分。在本文中，我们调查这些神经架构和它们已被应用。在社会科学文献的基础上，我们描述了我们认为是最基本的和定义性的会话特征，这是随着时间的推移，由两个或两个以上的对话者的共同建设。我们将讨论如何将所调查的神经架构有益地应用于这些更基本的会话方面，以及这为我们带来了什么，以便更好地分析会话，甚至从长远来看，为会话系统生成会话的更好方法。
2022-03-31 cs.AI cs.CL cs.HC
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales（新南威尔士大学）；National Institute of Information and Communications Technology（信息通信技术研究所）；University of Surrey（萨里大学）；Monash University（莫纳什大学）
该综述聚焦方言NLP领域，从数据集和方法梳理相关研究，划分NLU和NLG任务类别，覆盖多语言，介绍经典与深度学习方法，为构建公平语言技术提供参考。
2024-12-06 cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
近年来，在深度学习技术和对会话AI的高需求的推动下，已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务，插槽填充（SF）和意图分类（IC），并调查如何基于神经的模型已经迅速发展，以解决自然语言理解对话系统。我们介绍了三种神经体系结构：独立模型，分别对SF和IC进行建模，联合模型，同时利用两个任务的共同利益，以及迁移学习模型，将模型扩展到新的领域。我们讨论了SF和IC的研究现状，并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University（伊诺波利斯大学）
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而，低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题，例如迁移学习，半监督和无监督学习技术。在本文中，我们回顾了现有的方法，其主要思想是利用单语数据的力量，这与并行相比，通常更容易获得和显着更大的量。
2019-10-01 cs.CL
SurveyX: Academic Survey Automation via Large Language Models
Renmin University of China（中国人民大学）；Northeastern University（东北大学）；Institute for Advanced Algorithms Research（先进算法研究院）；The University of Sydney（悉尼大学）
针对现有自动化综述生成受限于上下文窗口、内容深度不足等问题，提出SurveyX系统，通过两阶段分解、在线检索、AttributeTree预处理和润色，提升内容与引用质量，接近人类专家水平。
2025-02-27 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS；University of Crete（克里特大学）
针对希腊语NLP资源匮乏的现状，本文系统梳理了三十年来希腊语自动处理的研究、资源与工具，覆盖现代希腊语、古希腊语及方言，为相关研究者提供参考。
2024-08-20 cs.CL
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题，但近年来，自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查，讨论了最先进的预训练模型的优势和劣势，这些任务所揭示的常识推理和生成，并反映在未来的研究方向。
2022-01-28 cs.CL
Editing Across Languages: A Survey of Multilingual Knowledge Editing
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈姆扎大学）
本综述系统梳理了多语言知识编辑（MKE）的最新研究，提出了涵盖基于参数、基于记忆、微调和超网络方法的综合分类体系，总结了方法有效性与迁移模式，并指出了跨语言传播等挑战，为可编辑的语言感知LLM的发展奠定基础。
2025-11-01 cs.CL
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Survey Response Generation: Generating Closed-Ended Survey Responses In-Silico with Large Language Models
University of Mannheim（曼海姆大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Maryland, College Park（马里兰大学学院公园分校）；GESIS Cologne（科隆社会研究所）；CSH Vienna（维也纳认知科学研究所）
本文研究了不同调查回应生成方法对模拟调查回应的影响，发现受限生成方法效果最佳，推理输出不总能提升对齐度。
2026-04-24 cs.CL cs.CY
A Brief Survey of Multilingual Neural Machine Translation
NICT（日本信息通信研究机构）；Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Microsoft AI & Research（微软人工智能研究院）
我们提出了一个调查多语言神经机器翻译（MNMT），这在最近几年获得了很大的牵引力。MNMT作为知识转移的结果，在提高翻译质量方面是有用的。MNMT比它的统计机器翻译同行更有前途和有趣，因为端到端建模和分布式表示开辟了新的途径。为了提高翻译质量，人们提出了许多方法来利用多语言平行语料库。然而，由于缺乏全面的调查，难以确定哪些方法是有希望的，因此值得进一步探讨。在本文中，我们提出了一个深入的调查现有的文献MNMT。我们根据资源场景以及底层建模原则对各种方法进行了分类。我们希望本文将作为一个起点，研究人员和工程师有兴趣在MNMT。
2020-01-04 cs.CL
A Survey of Large Language Models for European Languages
The University of Turku（图尔库大学）；Institute of Business Management（商业管理学院）
本文综述了针对欧洲联盟官方语言的大型语言模型，介绍了LLaMA、PaLM、GPT和MoE等模型家族，总结了相关创建增强方法及预训练数据集。
2024-08-28 cs.CL
Graph Neural Networks for Text Classification: A Survey
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大利亚大学）
本文系统综述了截至2023年的语料库级和文档级图神经网络文本分类方法，涵盖图构建、学习过程、数据集、评价指标及实验设计，并比较不同技术的优缺点与未来方向。
2024-07-05 cs.CL
Exploring the Nexus of Large Language Models and Legal Systems: A Short Survey
Renmin University of China（中国人民大学）
本文综述了大语言模型在法律领域的应用、挑战、微调模型与数据集，并展望了未来研究方向。
2024-04-01 cs.CL
A Survey of Multilingual Reasoning in Language Models
Indian Institute of Technology Patna（印度理工学院帕纳巴分校）；University of Virginia（弗吉尼亚大学）
本文首次系统综述语言模型中的多语言推理，梳理方法、数据、基准与挑战，并展望提升跨语言复杂推理能力的未来方向。
2025-10-14 cs.CL
Sentiment/Subjectivity Analysis Survey for Languages other than English
CareerBuilder；Indiana University（印第安纳大学）
主观和情感分析最近得到了相当大的关注。到目前为止，大多数资源和系统都是为英语而建的。为其他语言设计系统的需求正在增加。本文调查了不同的方法用于建立系统的主观和情感分析的语言以外的英语。有三种不同类型的系统用于构建这些系统。第一个（也是最好的）是特定语言系统。第二类系统涉及将情感资源从英语重用或转移到目标语言。第三类方法是基于使用语言独立的方法。本文提出了一个单独的部分，致力于阿拉伯语情感分析。
2016-08-25 cs.CL
A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）
本文系统综述了医学领域大语言模型和多模态大语言模型的发展、构建评估方法、应用场景及挑战，并提出未来方向，旨在推动智能医疗系统发展。
2024-12-30 cs.CL
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Halmstad University（哈尔姆斯塔德大学）
本综述为NLP中的自然语言推理提供清晰定义与分类，全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理，并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
