SPARQL-LLM: Real-Time SPARQL Query Generation from Natural Language Questions
SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Zurich（苏黎世大学）
SPARQL-LLM通过轻量级元数据方法，实现了从自然语言到SPARQL查询的高效生成，提升了准确性和效率，适用于实时低成本应用。
2026-09-25 cs.AI cs.CL cs.IR
Questioning the Survey Responses of Large Language Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（ELLIS图宾根研究所）；Tübingen AI Center（图宾根人工智能中心）
该研究基于美国社区调查检验用问卷研究大语言模型的方法，发现模型回答受排序和标签偏差影响，校正偏差后回答趋均匀随机，质疑了此前通过调查推断模型代表性的结论。
2024-12-09 cs.CL
Automatic bioinformatic software named entity recognition from literature
本研究提出混合命名实体识别框架SNAIL，结合词汇与语义建模策略，在基准数据集及真实文献上识别生物信息学软件/数据库，性能优于现有方法，可用于大规模文献的资源元分析。
2026-08-21 cs.AI cs.CL cs.IR
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales（新南威尔士大学）；National Institute of Information and Communications Technology（信息通信技术研究所）；University of Surrey（萨里大学）；Monash University（莫纳什大学）
该综述聚焦方言NLP领域，从数据集和方法梳理相关研究，划分NLU和NLG任务类别，覆盖多语言，介绍经典与深度学习方法，为构建公平语言技术提供参考。
2024-12-06 cs.CL
SurveyX: Academic Survey Automation via Large Language Models
Renmin University of China（中国人民大学）；Northeastern University（东北大学）；Institute for Advanced Algorithms Research（先进算法研究院）；The University of Sydney（悉尼大学）
针对现有自动化综述生成受限于上下文窗口、内容深度不足等问题，提出SurveyX系统，通过两阶段分解、在线检索、AttributeTree预处理和润色，提升内容与引用质量，接近人类专家水平。
2025-02-27 cs.CL
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题，但近年来，自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查，讨论了最先进的预训练模型的优势和劣势，这些任务所揭示的常识推理和生成，并反映在未来的研究方向。
2022-01-28 cs.CL
A Survey of Large Language Models for European Languages
The University of Turku（图尔库大学）；Institute of Business Management（商业管理学院）
本文综述了针对欧洲联盟官方语言的大型语言模型，介绍了LLaMA、PaLM、GPT和MoE等模型家族，总结了相关创建增强方法及预训练数据集。
2024-08-28 cs.CL
Exploring the Nexus of Large Language Models and Legal Systems: A Short Survey
Renmin University of China（中国人民大学）
本文综述了大语言模型在法律领域的应用、挑战、微调模型与数据集，并展望了未来研究方向。
2024-04-01 cs.CL
A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）
本文系统综述了医学领域大语言模型和多模态大语言模型的发展、构建评估方法、应用场景及挑战，并提出未来方向，旨在推动智能医疗系统发展。
2024-12-30 cs.CL
A Survey of Uncertainty Estimation Methods on Large Language Models
Rutgers, The State University of New Jersey（新泽西州立大学拉特格斯分校）
本文综述了大型语言模型不确定性估计的四个主要途径，并在多种方法和数据集上进行了广泛实验评估，为该领域提供了关键的未来研究方向。
2025-05-28 cs.CL
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型（PLM）通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域，并为各种NLP任务设置了新的最先进的性能。然而，尽管PLM可以存储来自训练语料库的某些知识/事实，但它们的知识感知仍然远远不能令人满意。为了解决这个问题，将知识集成到PLM中最近已经成为一个非常活跃的研究领域，并开发了各种方法。在本文中，我们提供了一个全面的调查，这一新兴的和快速增长的领域-知识增强预训练语言模型（KE-PLMs）的文献。我们引入三个分类法来分类现有的工作。此外，我们还调查了各种NLU和NLG应用程序，KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后，我们讨论了KE-PLM面临的挑战，也有前途的未来研究方向。
2021-10-16 cs.CL
Survey Response Generation: Generating Closed-Ended Survey Responses In-Silico with Large Language Models
University of Mannheim（曼海姆大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Maryland, College Park（马里兰大学学院公园分校）；GESIS Cologne（科隆社会研究所）；CSH Vienna（维也纳认知科学研究所）
本文研究了不同调查回应生成方法对模拟调查回应的影响，发现受限生成方法效果最佳，推理输出不总能提升对齐度。
2026-04-24 cs.CL cs.CY
Trajectory Prediction Meets Large Language Models: A Survey
Department of Electrical and Computer Engineering, Northeastern University（电气与计算机工程系，东北大学）
本综述系统梳理了大型语言模型在轨迹预测中的五大应用方向，涵盖语言建模、场景理解、数据生成与推理可解释性，旨在统一视角并指明开放挑战。
2025-10-07 cs.CL cs.CV
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Several categories of Large Language Models (LLMs): A Short Survey
Cardinal Health（卡地纳健康）
本综述梳理了金融、多语言、生物医学临床、视觉、代码等五类大语言模型的方法、数据集等进展，指出聊天机器人开发的现存问题，为相关研究者与从业者提供参考与方向。
2023-07-05 cs.CL cs.LG
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking
Peking University（北京大学）；Microsoft（微软）；University of Technology Sydney（悉尼科技大学）；Xi’an Jiaotong University（西安交通大学）
本文通过10项结构与语义任务实证评估大语言模型理解图数据的能力，揭示其当前局限并提出需发展新方法以增强图处理能力。
2023-07-11 cs.AI cs.CL
BioPars: A Pretrained Biomedical Large Language Model for Persian Biomedical Text Mining
Department of Computer Science, Faculty of Education, University of Kufa（计算机科学系，教育学院，科菲大学）；Department of Computer Science, Florida State University（计算机科学系，佛罗里达州立大学）；Department of Computer Engineering, Velayat University（计算机工程系，瓦莱yat大学）；Department of Mechanical Engineering, Amirkabir University of Technology（机械工程系，阿米卡比尔技术大学）；Department of Computer Engineering, Ferdowsi University of Mashhad（计算机工程系，法尔德大学）
本文提出面向波斯语生物医学文本挖掘的预训练大语言模型BioPars，并构建BIOPARS-BENCH和BioParsQA数据集，在波斯语医学问答任务上取得优于GPT-4等模型的结果。
2025-07-01 cs.AI cs.CL cs.LG
A Survey of Theory of Mind in Large Language Models: Evaluations, Representations, and Safety Risks
Apart Research（阿帕特研究所）；University of Science and Technology of Hanoi（河内科技大学）
本文综述大语言模型（LLMs）中心智理论（ToM）的评估与表征研究，识别其安全风险并提出评估与缓解风险的研究方向，为LLM社会智能安全研究提供参考。
2025-02-10 cs.AI cs.CL
Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models
Peking University（北京大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）；University of Arizona（亚利桑那大学）；National University of Singapore（新加坡国立大学）
本文综述了大语言模型多步推理机制，探讨了隐式和显式推理过程，并提出了未来研究方向。
2026-01-02 cs.AI cs.CL
Survey on Reasoning Capabilities and Accessibility of Large Language Models Using Biology-related Questions
School of Computing, The University of Georgia（佐治亚大学计算学院）
本文回顾了生物医学与大型语言模型的进展及自然语言处理的整合，通过引入新问题列表调查排名前两位的语言模型，量化评估了LLM推理能力的改进及用户感知，并扩展了生物文献检索研究。
2024-05-11 cs.AI cs.CL
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego（加州大学圣地亚哥分校）
尽管在许多NLP任务上实现了最先进的性能，但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型（PLM）被更广泛地采用，包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算，时间和碳排放，包括数据准备，模型训练和推理。在本次调查中，我们重点关注推理阶段，并回顾了预训练语言模型的模型压缩和加速的现状，包括基准测试，指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
A Survey of Large Language Models for Arabic Language and its Dialects
iWAN Research Group（iWAN研究组）；College of Computer and Information Sciences（计算机与信息科学学院）；King Saud University（沙特国王大学）
本文综述了针对阿拉伯语言及其方言设计的大型语言模型，涵盖关键架构、预训练数据集以及单语、双语和多语模型在下游任务中的性能，同时讨论了阿拉伯LLM的开放性及其对未来研究的挑战与机遇。
2025-02-24 cs.AI cs.CL
Bioinformatics and Classical Literary Study
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Harvard University（哈佛大学）
本文介绍定量批评实验室，运用生物信息学方法（如序列比对）研究拉丁文学中的互文性，以检测非精确词语相似性，并可推广至其他语言。
2017-07-20 cs.CL
SurveyGen: Quality-Aware Scientific Survey Generation with Large Language Models
Nanjing University of Science and Technology（南京理工大学）；University of Alberta（阿尔伯塔大学）
针对自动科学综述生成缺乏标准化评估数据集的问题，提出SurveyGen大规模数据集及QUAL-SG质量感知框架，系统评估不同人类参与度下LLMs的性能，发现半自动生成具部分竞争力但全自动仍存引用质量低等问题。
2025-08-25 cs.CL cs.DL cs.IR
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy（蒂鲁吉拉伯利国立理工学院）
基于transformer的预训练语言模型（PLM）开创了现代自然语言处理（NLP）的新纪元。这些模型结合了Transformers、迁移学习和自监督学习（SSL）的强大功能。随着这些模型在一般领域的成功，生物医学研究界开发了各种领域内的PLM，从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文，可以对各种基于transformer的生物医学预训练语言模型（BPLM）进行全面调查。在本调查中，我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念，如预训练方法，预训练任务，微调方法，以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类，然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后，我们强调了一些开放的问题，这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
A Survey on Hardware Accelerators for Large Language Models
University of West Attica（西阿提卡大学）
本文综述GPU、FPGA及定制架构等LLM硬件加速器，从架构、性能与能效方面分析，为优化实际部署提供参考。
2024-01-18 cs.AR cs.CL cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
School of Computer Science, Sichuan University（四川大学计算机学院）；School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院）；Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI））
本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。
2026-06-26 cs.AI cs.CL cs.CV
Leveraging Natural Language Processing to Unravel the Mystery of Life: A Review of NLP Approaches in Genomics, Transcriptomics, and Proteomics
The Shmunis School of Biomedicine and Cancer Research, George S. Wise Faculty of Life Sciences, Tel-Aviv University（谢蒙尼生物医学与癌症研究学院，乔治·S·威斯生命科学学院，特拉维夫大学）
探讨自然语言处理方法在生物序列数据（基因组学、转录组学和蛋白质组学）中的应用，介绍从经典到先进模型的适配，分析分词策略与模型架构，提及生物数据应用进展及语言模型融入生物信息学的前景。
2026-07-07 cs.AI cs.CL q-bio.GN
A Survey of Neural Networks and Formal Languages
Dartmouth College（达特茅斯学院）
本报告是对各种最先进的神经网络架构和形式语言之间关系的调查，例如，由Chomsky语言层次结构构成。特别感兴趣的是神经架构通过从语言样本学习来表示、识别和生成特定语言的单词的能力。
2020-06-02 cs.CL
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University（达尔马辛赫·德赛大学）
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文，从著名的期刊和会议。
2015-01-28 cs.CL
Natural Language Generation for Advertising: A Survey
CyberAgent, Inc.（CyberAgent公司）
本综述回顾了广告中自然语言生成的研究趋势，涵盖从模板到神经网络的抽取式和生成式方法，并讨论了指标优化、忠实性、多样性、多模态及基准数据集等关键挑战与方向。
2023-06-22 cs.CL
Survey on the Use of Typological Information in Natural Language Processing
University of Cambridge（剑桥大学）；MIT（麻省理工学院）；Technion, IIT（以色列理工学院）
近年来，语言类型学，根据其功能和结构特性对世界语言进行分类，已被广泛用于支持多语言NLP。虽然类型学信息在支持多语言任务方面的重要性日益增加，但没有对现有类型学资源及其在NLP中的使用进行系统的调查。本文提供了这样一个调查，以及讨论，我们希望这将既通知和启发在该领域的未来工作。
2016-10-11 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry
School of Politics and Public Administration, South China Normal University（华南师范大学政治与公共管理学院）；University of Chinese Academy of Sciences（中国科学院大学）；Shenyang institute of computing technology, Chinese academy of sciences（中国科学院沈阳计算技术研究所）；Beijing Xiaotangshan hospital（北京小汤山医院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本综述系统梳理大型语言模型在医疗行业的应用，重点分析其评估框架、方法、指标及基准数据集，旨在确保模型有效、准确且合乎道德地部署。
2024-05-29 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS；University of Crete（克里特大学）
针对希腊语NLP资源匮乏的现状，本文系统梳理了三十年来希腊语自动处理的研究、资源与工具，覆盖现代希腊语、古希腊语及方言，为相关研究者提供参考。
2024-08-20 cs.CL
Editing Across Languages: A Survey of Multilingual Knowledge Editing
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈姆扎大学）
本综述系统梳理了多语言知识编辑（MKE）的最新研究，提出了涵盖基于参数、基于记忆、微调和超网络方法的综合分类体系，总结了方法有效性与迁移模式，并指出了跨语言传播等挑战，为可编辑的语言感知LLM的发展奠定基础。
2025-11-01 cs.CL
A Survey of Multilingual Reasoning in Language Models
Indian Institute of Technology Patna（印度理工学院帕纳巴分校）；University of Virginia（弗吉尼亚大学）
本文首次系统综述语言模型中的多语言推理，梳理方法、数据、基准与挑战，并展望提升跨语言复杂推理能力的未来方向。
2025-10-14 cs.CL
Sentiment/Subjectivity Analysis Survey for Languages other than English
CareerBuilder；Indiana University（印第安纳大学）
主观和情感分析最近得到了相当大的关注。到目前为止，大多数资源和系统都是为英语而建的。为其他语言设计系统的需求正在增加。本文调查了不同的方法用于建立系统的主观和情感分析的语言以外的英语。有三种不同类型的系统用于构建这些系统。第一个（也是最好的）是特定语言系统。第二类系统涉及将情感资源从英语重用或转移到目标语言。第三类方法是基于使用语言独立的方法。本文提出了一个单独的部分，致力于阿拉伯语情感分析。
2016-08-25 cs.CL
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Halmstad University（哈尔姆斯塔德大学）
本综述为NLP中的自然语言推理提供清晰定义与分类，全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理，并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Multilingual Vision-Language Models, A Survey
Faculty of Mathematics and Physics, Charles University, V Holešovičkách 747/2, Prague, Czech Republic（数学与物理系，查尔斯大学，V Holešovičkách 747/2，布拉格，捷克共和国）
本文综述了处理多语言文本和图像的视觉-语言模型，分析了语言中立性与文化意识之间的矛盾，指出对比学习在训练中的主导地位及文化适应性的数据依赖性。
2026-05-13 cs.CL
A Survey in Mathematical Language Processing
University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文综述非形式化数学语言处理在五个子领域的近年进展，总结成功方法与局限，以服务定量科学和数学发现的自动化。
2024-04-08 cs.CL
Learning with Latent Structures in Natural Language Processing: A Survey
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然具有完全可微模型的端到端学习已经在自然语言处理（NLP）和机器学习中取得了巨大的成功，但最近人们对具有潜在离散结构的学习产生了极大的兴趣，以结合更好的归纳偏差，从而提高最终任务的性能和更好的可解释性。然而，这种范例并不直接适用于主流的基于梯度的优化方法。这项工作调查了三个主要的家庭的方法来学习这样的模型：代理梯度，连续松弛，并通过抽样边际似然最大化。最后，我们审查这些方法的应用程序和检查的学习潜在的结构，他们诱导。
2022-01-11 cs.CL
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
语言模型作为自然语言处理（NLP）系统的核心组成部分，能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难，提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构，然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后，对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business（雅典经济与商业大学）；Athena Research Center（雅典娜研究中心）；Stockholm University（斯德哥尔摩大学）
本研究提出一个可推广的系统性单语NLP综述框架，应用于希腊语（2012-2023），通过结构化搜索、任务与资源分类法分析现状与资源空白，并提供公开更新的常青资源，展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Pre-trained Models for Natural Language Processing: A Survey
Fudan University（复旦大学）
近年来，预训练模型（PTM）的出现将自然语言处理（NLP）带入了一个新的时代。在这次调查中，我们对NLP的PTM进行了全面的回顾。我们首先简要介绍了语言表示学习及其研究进展。然后，我们系统地分类现有的PTM的基础上的分类与四个方面。接下来，我们将描述如何将PTM的知识适应下游任务。最后，我们概述了一些潜在的PTMs为未来的研究方向。本调查旨在成为理解，使用和开发各种NLP任务的PTM的实践指南。
2021-06-23 cs.CL cs.LG
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理（NLP）代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用，有助于自动化任务，如将文本从一种语言翻译成另一种语言，从非常庞大的存储库中检索和总结数据，垃圾邮件过滤，识别数字媒体中的假新闻，发现人们的情绪和反馈，发现政治观点和人民对各种政府政策的看法，根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言，在印度有近6.91亿用户，在世界其他地区有3.66亿用户。目前，印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
East China University of Science and Technology（东华大学）；Peking University（北京大学）
本综述系统梳理了检索增强语言模型（RALMs）在NLP中的研究，涵盖RAG与RAU两大范式，分析其组件、分类、应用及评估方法，并指出当前局限与未来方向。
2025-06-29 cs.AI cs.CL
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University（德雷塞尔大学）；College of Computing and Informatics（计算与信息学院）
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性，自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此，我们综述了目前的研究景观字，句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类，并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中，我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL
A Survey of Code-switched Speech and Language Processing
Microsoft Research India（微软印度研究院）；Carnegie Mellon University（卡内基梅隆大学）
语码转换是一种常见的语言交际现象，在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统，与用户在多语言社区。由于代码转换的数据和资源是稀缺的，我们列出了什么是可用的各种代码转换语言对的语言处理任务，他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究，包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
