Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute（中国移动研究院）
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心，具有自动发现新知识和语法的能力，新发现的知识和语法将由人工识别，并用于更新知识库和语法库。这个过程可以重复多次，以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University（国际希腊大学）
自然语言处理（NLP）在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑，同时试图确定每个模型和算法对整体进展的贡献。此外，它侧重于仍然有待解决的问题，强调了Transformers，BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore（新加坡国立大学）
本文提出COOL，一种用于自然语言处理的展望注意力机制，通过编码局部句法上下文提升变换器模型性能，在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan（IBM日本公司）
在自然语言处理中，对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接，并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失，熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna（维也纳医科大学）
在这篇文章中，我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点，其中描述了自然语言处理及其在生物医学领域的应用。在第4节中，我们介绍了可解释的人工智能，并讨论了可解释性的重要性，人工智能系统，特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
Sequential Attention Module for Natural Language Processing
Ping An Life Insurance, Ltd.（平安人寿保险有限公司）
最近，大型预训练神经语言模型通过微调在许多下游自然语言处理（NLP）应用中获得了显着的性能。在本文中，我们的目标是如何进一步改善语言模型上的令牌表示。因此，我们提出了一个简单而有效的即插即用模块，顺序注意模块（SAM），从预先训练的语言模型学习的令牌嵌入。我们提出的SAM由两个主要的注意力模块依次部署：智能注意力模块（FAM）和令牌式注意力模块（TAM）。更具体地说，FAM可以有效地识别每个维度上特征的重要性，并通过点积对下游NLP应用的原始令牌嵌入进行提升。同时，TAM可以进一步在令牌级别上重新加权特征。此外，我们提出了一个自适应滤波器的FAM，以防止噪声的影响，增加信息的吸收。最后，我们进行了大量的实验，以证明我们提出的SAM的优点和属性。我们首先展示SAM如何在SemEval'21任务7的两个子任务的冠军解决方案中发挥主要作用。之后，我们将SAM应用于情感分析和三个流行的NLP任务，并证明SAM始终优于最先进的基线。
2021-09-07 cs.AI cs.CL
Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention
University of Stuttgart（斯图加特大学）；Institute for Visualization and Interactive Systems (VIS)（可视化与交互系统研究所）；Institute for Natural Language Processing (IMS)（自然语言处理研究所）
到目前为止，语料库的缺乏限制了将人类凝视数据作为自然语言处理（NLP）的神经注意力机制中的监督信号整合的进展。我们提出了一种新的混合文本显着性模型（TSM），首次将阅读的认知模型与明确的人类注视监督结合在一个单一的机器学习框架中。在四个不同的语料库中，我们证明了我们的混合TSM持续时间预测与人类凝视地面真相高度相关。我们进一步提出了一种新的联合建模方法，将TSM预测集成到为特定上游NLP任务设计的网络的注意力层中，而不需要任何特定于任务的人类凝视数据。我们证明了我们的联合模型在BLEU-4中的Quora问题对语料库上的释义生成性能优于最先进的水平超过10%，并在具有挑战性的Google句子压缩语料库上实现了句子压缩的最先进性能。因此，我们的工作引入了一种实用的方法来桥接数据驱动和认知模型，并展示了一种将人类凝视引导的神经注意力整合到NLP任务中的新方法。
2020-10-27 cs.CL cs.LG
The Topological BERT: Transforming Attention into Topology for Natural Language Processing
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
近年来，Transformer模型的引入引发了自然语言处理（NLP）的革命。BERT是第一个只使用注意力机制而不使用任何重复部分的文本编码器之一，在许多NLP任务上实现了最先进的结果。本文介绍了一种基于拓扑数据分析的文本分类器。我们使用BERT的注意力地图转换成注意力图作为该分类器的唯一输入。该模型可以解决诸如区分垃圾邮件和业余消息，识别句子是否语法正确，或评估电影评论为负面或正面等任务。它的性能接近BERT基准，并且在某些任务上优于它。此外，我们提出了一种新的方法来减少BERT的注意头部的拓扑分类器，这使我们能够修剪的头部的数量从144下降到少至10没有减少性能。我们的工作还表明，拓扑模型显示出更高的鲁棒性对抗攻击比原来的BERT模型，这是保持在修剪过程中。据我们所知，这项工作是第一个在NLP背景下面对基于拓扑的模型与对抗攻击的工作。
2022-06-30 cs.CL cs.LG math.AT
Integrating AI Planning with Natural Language Processing: A Combination of Explicit and Tacit Knowledge
Sun Yat-sen University（中山大学）
本文首次系统综述AI规划与自然语言处理的深层联系，提出二者通过基于规划的文本理解、NLP、可解释性、人机交互及应用五个方面相互促进，融合显性与隐性知识以改善人机通信。
2023-04-13 cs.AI cs.CL
Fractional neural attention for efficient multiscale sequence processing
School of Physics, University of Sydney（物理学院，悉尼大学）
该研究针对自注意力原理扩展的挑战，提出受神经科学启发的分数神经注意力（FNA）框架，通过分数拉普拉斯算子控制的Lévy扩散实现多尺度依赖建模，理论上提升计算效率，实证上在多任务中表现优异，为AI提供可解释基础。
2025-11-13 cs.AI cs.LG math.DS
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute（神经科学研究所）；Department of Machine Learning（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现，但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法，它依赖于我们唯一能理解语言的处理系统：人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo，USE，BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度，上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外，在Transformer模型中，我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设，改变BERT以更好地与大脑记录保持一致，将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示，具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑，这项工作关闭了NLP和认知神经科学之间的互动，使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Data Readiness for Natural Language Processing
RISE（瑞典研究院）
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据，以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题，帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
Challenges Encountered in Turkish Natural Language Processing Studies
Iskenderun Technical University（伊斯肯德伦技术大学）
自然语言处理是计算机科学的一个分支，它将人工智能与语言学相结合。它旨在用软件分析语言元素，如写作或口语，并将其转换为信息。考虑到每种语言都有自己的语法规则和词汇多样性，这一领域的研究的复杂性是可以理解的。例如，土耳其语在许多方面都是一种非常有趣的语言。这方面的例子有粘着词结构、辅音/元音和谐、大量的生产性派生语素（几乎无限的词汇）、派生和句法关系、对词汇和语音规则的复杂强调。在这项研究中，土耳其语在自然语言处理方面的有趣功能被提到。此外，还给出了关于为土耳其语开发的自然语言处理技术、系统和各种来源的摘要信息。
2021-01-21 cs.AI cs.CL
Longer Attention Span: Increasing Transformer Context Length with Sparse Graph Processing Techniques
Case Western Reserve University（凯斯西储大学）
本文提出将注意力机制视为图计算问题，通过图处理算法实现真正稀疏的注意力计算，在单块A100 GPU上支持高达1.6亿的序列长度，并显著超越FlashAttention的执行速度。
2025-02-07 cs.AI cs.DC cs.LG
Quantifying Uncertainties in Natural Language Processing Tasks
University of California, Santa Barbara（加州大学圣巴巴拉分校）
可靠的不确定性量化是构建可解释、透明和负责任的人工智能系统的第一步。贝叶斯深度学习的最新进展使这种量化成为可能。在本文中，我们提出了新的方法来研究自然语言处理（NLP）任务的特征模型和数据的不确定性的好处。通过对情感分析、命名实体识别和使用卷积和递归神经网络模型进行语言建模的实证实验，我们表明，显式建模不确定性不仅是测量输出置信度所必需的，而且有助于增强各种NLP任务中的模型性能。
2018-11-18 cs.AI cs.CL cs.LG
Gap Analysis of Natural Language Processing Systems with respect to Linguistic Modality
Infosys（印孚瑟斯）
情态是语言学中语法的重要组成部分。它让说话者表达对事态的态度、评价或潜力。它意味着不同的意义，因此根据上下文有不同的感知。本文介绍了一个帐户显示的差距，在功能的当前状态的最先进的自然语言处理（NLP）系统。研究了语言情态的语境性质。本文综述了自然语言处理系统处理情态的工作和逻辑方法。它将人类认知和智能视为多层次的方法，可以由智能学习系统实现。最后，讨论了该领域目前的研究进展，为今后的研究提供了参考。
2015-04-18 cs.AI cs.CL
Putting Natural in Natural Language Processing
Tilburg University（蒂尔堡大学）
本文指出NLP过度依赖文本而忽视口语，主张借助深度学习的进展统一语音处理与主流NLP，将口语视为人类交流的主要模式，从而构建更高效、拟人且超越文本模态的系统。
2023-05-23 cs.AI cs.CL eess.AS
Translating Natural Language Instructions for Behavioral Robot Navigation with a Multi-Head Attention Mechanism
Pontificia Universidad Catolica de Chile（智利天主教大学）；Millennium Institute for Foundational Research on Data（千年基础数据研究所）
我们提出了一个多头注意力机制作为一个混合层的神经网络模型，将自然语言转换为一个高层次的行为语言的室内机器人导航。我们遵循由（Zang et al.，2018a），提出使用导航图作为任务的知识库。我们的研究结果显示，在以前看不见的环境中翻译指令时，性能有了显着的提高，因此，提高了模型的泛化能力。
2020-06-07 cs.CL cs.LG cs.RO
Graph Convolutions Enrich the Self-Attention in Transformers!
Yonsei University（延世大学）；KAIST（韩国科学技术院）；Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）
针对深度Transformer的过平滑问题，该研究从图信号处理角度将自注意力重构为图滤波器，提出复杂度略高的GFSA机制，有效提升了多领域任务的性能。
2024-11-01 cs.AI cs.LG
BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text
Wadhwani School of Data Science and AI（瓦德瓦尼数据科学与人工智能学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）
本研究针对生物医学文本长程依赖处理需求，提出BioBigBird模型，采用稀疏注意力机制与多任务学习框架，在BLURB基准上取得与SOTA相当的结果，为专业领域长上下文语言模型开发提供有效方法。
2026-10-09 cs.CL cs.LG
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理，系统使用具有相同表示的规则作为数据。操作系统的文件映射（SHM）机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则，考虑了现有实现的特点，并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data
Zhong Guan（钟冠）；Likang Wu（吴立康）；Hongke Zhao（赵宏凯）；Ming He（何明）
本文从注意力机制视角实证研究大语言模型处理图结构数据的能力，揭示其在节点关系建模和拓扑适应上的不足，并提出中间状态注意力窗口以提升训练与推理性能。
2025-05-04 cs.AI cs.CL
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon（亚马逊Alexa AI）
神经网络模型在自然语言推理（NLI）任务上已经非常成功地实现了高精度。然而，正如最近的文献所证明的那样，当在一些简单的对抗性示例上进行测试时，大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中，我们提出了将外部知识的注意力机制使用一个简单的转换，使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型：一种是Transformer编码器，另一种是可分解模型，并表明我们的方法可以显着提高其鲁棒性。此外，当与BERT预训练相结合时，我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
SWAA: Sliding Window Attention Adaptation for Efficient and Quality Preserving Long Context Processing
Oregon State University（俄勒冈州立大学）；Penn State University（宾夕法尼亚州立大学）；AG2ai, Inc.（AG2ai公司）；DeepSolution
本文提出SWAA，通过结合四种核心策略，解决Transformer模型中长上下文处理的效率与质量问题，实现30%-100%的加速提升同时保持高质量。
2026-03-26 cs.AI cs.CL
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester（曼彻斯特大学）
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子，从学术会议，我们发现，这个生态和复杂的域的框架的应用是有效的，反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外，对于学术自然语言处理系统的应用，也许更广泛的系统图，我们建议增加“对象的”作为一个新的视觉编码原则，和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
DeepZensols: Deep Natural Language Processing Framework
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过发布公开可用的源代码在出版物中复制结果变得越来越流行。鉴于再现机器学习（ML）实验的困难，在减少这些结果的方差方面已经做出了重大努力。正如在任何科学中一样，持续复制结果的能力有效地加强了工作的基本假设，因此，应该被视为与研究本身的新颖性一样重要。这项工作的贡献是一个框架，能够重现一致的结果，并提供了一种轻松创建，训练和评估自然语言处理（NLP）深度学习（DL）模型的方法。
2021-09-08 cs.AI cs.CL
Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）
“这篇论文介绍了一个新的任务和一个新的数据集”，“我们通过Y改进了X的最新技术水平”--很难找到一篇当前的自然语言处理论文（或更普遍的AI论文）不包含这样的陈述。然而，最隐含的是这样一种假设，即这必然构成进步，以及它构成了什么样的进步。在这里，我们更精确的印象通常使用的语言任务和语言游戏的概念，并询问如何建立在这些研究计划可能取得进展的目标建模一般的语言能力。
2019-08-28 cs.AI cs.CL
Using Natural Language Processing to Develop an Automated Orthodontic Diagnostic System
Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Graduate School of Dentistry（牙医学研究生院）
我们的工作任务是根据牙医撰写的医疗证明中的发现自动设计治疗计划。为了开发一个处理牙医撰写的自由格式证书的人工智能系统，我们对研究结果进行了注释，并利用了自然语言处理方法。作为使用990个证书的实验的结果，从调查结果中提取正畸问题的任务实现了0.585 F1分数，并且治疗优先化任务实现了与人类排名的0.584相关系数。
2019-05-31 cs.AI cs.CL
ATTENTION2D: Communication Efficient Distributed Self-Attention Mechanism
Microsoft（微软）
本文提出ATTENTION2D，一种通过在query和key/value两维度并行化自注意力计算来提升分布式训练与推理效率的方法，相比Ring Attention在多节点多GPU上实现数倍性能提升且有效扩展。
2025-06-28 cs.AI cs.DC cs.LG
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理（NLP）中的几个推理问题。本教程概述了该技术。我们描述了示例算法，描述了正式的方法保证，并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献，但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是，拉格朗日松弛自然地与广泛的组合算法相结合，允许在模型中进行推理，这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
Information retrieval in folktales using natural language processing
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们的目标是从非结构化文本中提取文学人物的信息。我们对领域本体进行自然语言处理和推理。第一个任务是确定主要人物和故事中这些人物被描述或表演的部分。我们说明了在民间故事领域的一个场景中的系统。该系统依赖于一个民间故事本体，我们已经开发的基础上Propp的模型的民间故事形态。
2015-11-10 cs.AI cs.CL cs.IR
TensorCoder: Dimension-Wise Attention via Tensor Representation for Natural Language Modeling
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
Transformer已被广泛应用于许多自然语言处理（NLP）任务中，标记间的缩放点积注意力是Transformer的核心模块。这种注意力是一种令牌式设计，其复杂度是序列长度的二次函数，限制了其在长序列任务中的应用潜力。在本文中，我们提出了一个维度的注意力机制，基于此可以开发一种新的语言建模方法（即TensorCoder）。维度注意可以将注意复杂度从原来的$O(N^2d)$降低到$O(Nd^2)$，其中$N$是序列的长度，$d$是头部的维度。我们在两个任务上验证了TensorCoder，包括掩码语言建模和神经机器翻译。与原始Transformer相比，TensorCoder不仅大大减少了原始模型的计算量，而且在掩蔽语言建模任务（PTB数据集）上获得了改进的性能，在机器翻译任务上也获得了相当的性能。
2020-08-12 cs.CL cs.LG
The Dawn of Quantum Natural Language Processing
Ceridian HCM Inc.（赛里迪安人力资本管理公司）；University of Amsterdam（阿姆斯特丹大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；University of Pavia（帕维亚大学）
在本文中，我们讨论了基于量子计算的深度学习模型来增强人类语言理解的初步尝试。通过数值模拟，我们成功地训练了一个量子增强的长短期记忆网络来完成词性标注任务。此外，量子增强的Transformer被提出来执行基于现有数据集的情感分析。
2021-10-13 cs.AI cs.CL cs.CV
Deep Natural Language Processing for LinkedIn Search Systems
LinkedIn（领英）
许多搜索系统与大量自然语言数据一起工作，搜索查询、用户简档和文档，其中基于深度学习的自然语言处理技术（deep NLP）可以提供很大帮助。在本文中，我们介绍了一个全面的研究应用深度自然语言处理技术的五个代表性的任务在搜索引擎。通过五个任务的模型设计和实验，读者可以找到三个重要问题的答案：（1）深度NLP在搜索系统中什么时候有用/没有帮助？(2)如何应对延迟挑战？(3)如何保证模型的鲁棒性？这项工作建立在LinkedIn搜索的现有努力之上，并在商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-07-30 cs.AI cs.CL
MAP: Mitigating Hallucinations in Large Vision-Language Models with Map-Level Attention Processing
DAIL Tech（DAIL科技）
MAP通过地图级注意力处理提升大视觉-语言模型的事实一致性与性能。
2026-03-06 cs.AI cs.CV
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University（麦考瑞大学）
在本文中，我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范，其表达能力与答案集程序相同。为了支持这些规范的编写过程，预测文本编辑器与受控的自然语言处理器异步通信，该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别，并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Probing Negation Understanding in Vision-Language Models With Object Attention
University of Bristol（布里斯托尔大学）；University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
该研究分析VLMs处理否定的注意力模式，发现模型与人类注意力模式存在差异，PaliGemma2-3B的注意力转向是副产物，LLaVA-1.5-7B有空间偏好，下游任务中肯定与否定问题存在性能差距。
2026-10-16 cs.AI cs.CL cs.CV
Morality in AI. A plea to embed morality in LLM architectures and frameworks
Eindhoven University of Technology（埃因霍温理工大学）；Dembrane
本文呼吁将道德嵌入大语言模型架构和框架中，通过自上而下设计原则，提出技术路径以实现道德处理。
2025-11-21 cs.AI q-bio.NC
Introduction: Cognitive Issues in Natural Language Processing
CNRS（法国国家科学研究中心）；École normale supérieure（巴黎高等师范学院）；Université Sorbonne Nouvelle（索邦新大学）；University of Potsdam（波茨坦大学）
这期特刊致力于更好地了解计算语言学和认知科学之间的关系。它特别提出了两个问题：“计算语言建模对认知科学的潜在贡献是什么？“反过来说：“认知科学对当代计算语言学的影响是什么？"
2016-10-24 cs.AI cs.CL cs.HC
End-to-End Transformer Acceleration Through Processing-in-Memory Architectures
Department of Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学电气与计算机工程系）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
本文提出通过处理在内存架构减少变换器模型的计算开销、内存瓶颈和注意力复杂度，实现端到端加速。
2025-11-21 cs.AR cs.LG
On Difficulties of Attention Factorization through Shared Memory
Charles University in Prague（布拉格查理大学）；Czech Technical University in Prague（布拉格捷克技术大学）
本文研究基于共享记忆的注意力分解方法，发现直接通过注意力操作与外部记忆交互是次优的，并提出在与记忆通信前先对输入信号进行过滤，从而显著提升模型性能。
2024-03-31 cs.LG
Natural Language Processing in-and-for Design Research
Singapore University of Technology and Design（新加坡科技设计大学）
我们回顾了利用自然语言处理（NLP）技术来支持设计过程的学术贡献。使用启发式的方法，我们收集了223篇文章，发表在32种期刊在1991年至今。我们根据自然语言文本来源的类型来回顾这些文章，以展示最先进的NLP设计研究：内部报告，设计概念，话语记录，技术出版物，消费者意见等。在总结和确定这些贡献中的差距后，我们利用现有的设计创新框架来确定目前由NLP支持的应用程序。然后，我们提出了一些方法和理论方向，为未来的NLP在和设计研究。
2022-07-02 cs.AI cs.CL cs.DL
A Novel Pipeline for Improving Optical Character Recognition through Post-processing Using Natural Language Processing
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
本文提出一种端到端流水线，先对手写或印刷文本执行OCR，再利用自然语言处理进行后处理，以解决相似字符和手写变体导致的识别准确率有限问题。
2023-07-09 cs.AI cs.CV
Integrating Natural Language Processing Techniques of Text Mining Into Financial System: Applications and Limitations
University of Tirana（地拉那大学）
本文综述了2018至2023年自然语言处理文本挖掘技术在资产定价、公司金融等金融系统各领域的应用，指出常用模型与算法，并从工程视角提出分析路径及现存挑战。
2024-12-29 cs.AI cs.CL econ.GN
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在最近的研究[1][13][14]中，循环神经网络被用于生成过程，其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外，数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的，那么问题就归结为确定在与人类语言相关的特定任务中，压缩算法是否比神经网络更智能。在我们的旅程中，我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing
University of Padua（帕多瓦大学）
我们提出了一个形式主义的有限语言，被称为类的IDL表达式，它结合了概念，只考虑在现有的形式主义隔离表示。建议的应用是在自然语言处理中，更具体地说，在表面自然语言生成和机器翻译中，通过首先生成以紧凑方式表示的候选句子的大集合，然后通过分析器过滤这样的集合来获得句子。我们研究了IDL表达式的几个形式属性，并将这种新的形式主义与更标准的形式主义进行了比较。我们还提出了一种新的解析算法的IDL表达式，并证明了其时间复杂度的一个非平凡的上限。
2011-06-30 cs.AI
Naturalness of Attention: Revisiting Attention in Code Language Models
Faculty of Computer Science（计算机科学学院）
本研究分析了CodeBERT中注意力分布与变换表示，发现输入的缩放变换范数比单独的注意力权重更能捕获语法结构，为理解神经代码模型提供了新见解。
2023-11-22 cs.LG cs.SE
Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
针对大型语言模型中MoE和注意力层因连续批处理导致的低算术强度和频繁DRAM访问问题，提出Duplex设备，集成高Op/B的xPU与低Op/B的Logic-PIM，根据各层Op/B动态选择处理器并提出专家与注意力协同处理以最大化利用硬件。
2024-09-02 cs.AR cs.LG
Security Vulnerability Detection Using Deep Learning Natural Language Processing
Ball State University（鲍尔州立大学）；Illinois State University（伊利诺伊州立大学）
几十年来，在软件被利用之前检测软件中的安全漏洞一直是一个具有挑战性的问题。传统的代码分析方法已经被提出，但通常是无效和低效的。在这项工作中，我们将软件漏洞检测建模为一个自然语言处理（NLP）问题，将源代码视为文本，并使用最近先进的深度学习NLP模型，辅以书面英语的迁移学习，来解决自动化软件venerability检测问题。为了进行培训和测试，我们对NIST NVD/SARD数据库进行了预处理，并使用$C$程序设计语言构建了一个包含123种漏洞的10万多个文件的数据集。大量的实验表明，该算法在安全漏洞检测中的准确率达到了93%以上。
2021-05-06 cs.AI cs.CR
Bridging between Cognitive Processing Signals and Linguistic Features via a Unified Attentional Network
Tianjin University（天津大学）
认知处理信号可用于改善自然语言处理（NLP）任务。然而，目前还不清楚这些信号如何与语言信息相关联。人类语言加工和语言特征之间的桥接在神经语言学中得到了广泛的研究，通常是通过高度控制刺激的单变量控制实验。这种方法不仅损害了自然阅读的真实性，而且耗时且昂贵。在本文中，我们提出了一个数据驱动的方法来研究认知加工信号和语言特征之间的关系。具体来说，我们提出了一个统一的注意框架，由嵌入，注意，编码和预测层选择性地映射认知处理信号的语言特征。我们定义的映射过程作为一个桥接任务，并开发了12个桥接任务的词汇，句法和语义特征。该框架只需要在自然阅读下记录的认知处理信号作为输入，并且可以用于使用单个认知数据集检测广泛的语言特征。实验结果的观察与以前的神经科学发现产生了共鸣。除此之外，我们的实验还揭示了一些有趣的发现，如上下文眼动特征与句子时态之间的相关性。
2022-03-19 cs.AI cs.CL
Plausibility Processing in Transformer Language Models: Focusing on the Role of Attention Heads in GPT
University of Michigan（密歇根大学）
本文探索Transformer语言模型如何处理名词与动词关系的合理性，发现GPT2与人类处理方式高度相似，并证实其内部多个注意力头共同因果地促成了这种合理性处理能力。
2023-10-20 cs.CL
