Controlled Natural Language Generation from a Multilingual FrameNet-based Grammar
Språkbanken, University of Gothenburg（哥德堡大学语言库）；Department of Computer Science and Engineering, University of Gothenburg（哥德堡大学计算机科学与工程系）
本文介绍了一个目前双语，但潜在的多语种的语法库实现语法框架。本文的贡献是双重的。首先，它提供了一种方法论的方法来自动生成语法的基础上提取的语义句法配价模式从FrameNet标注语料库。其次，它提供了两个用例的概念证明，说明如何收购多语言语法可以在不同的CNL应用程序中的艺术和旅游领域的开发。
2014-06-10 cs.CL
Natural Language Generation for Advertising: A Survey
CyberAgent, Inc.（CyberAgent公司）
本综述回顾了广告中自然语言生成的研究趋势，涵盖从模板到神经网络的抽取式和生成式方法，并讨论了指标优化、忠实性、多样性、多模态及基准数据集等关键挑战与方向。
2023-06-22 cs.CL
Lexpresso: a Controlled Natural Language
Defence Science & Technology Organisation（国防科学与技术组织）
本文介绍了“Lexpresso”的概述，一个受控的自然语言在国防科学技术组织开发的双向自然语言接口的高级信息融合系统。本文描述了Lexpresso的主要特征，包括词汇覆盖率、表现力和句法语义结构的范围。它还触及到它的紧密集成与一个正式的语义形式主义，并尝试性地对PENS系统进行分类。
2014-07-08 cs.AI cs.CL
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University（麦考瑞大学）
在本文中，我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范，其表达能力与答案集程序相同。为了支持这些规范的编写过程，预测文本编辑器与受控的自然语言处理器异步通信，该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别，并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
A Multilingual FrameNet-based Grammar and Lexicon for Controlled Natural Language
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
Berkeley FrameNet是基于框架语义学理论的英语词汇语义资源库。它已被广泛用于自然语言处理应用程序中，并启发了许多语言的框架网的开发。我们提出了一种方法论的方法来提取和生成一个计算多语言的基于FrameNet的语法和词汇。该方法利用FrameNet标注语料库自动提取一组跨语言语义-句法配价模式。基于伯克利框架网和瑞典框架网的数据，所提出的方法已经实现了语法框架（GF），一个类别的语法形式主义专门为多语言语法。语法和词典的实现由FrameNet的设计支持，在GF资源语法库已经提供的语际语法API之上提供框架语义抽象层，语际语义API（应用程序编程接口）。对习得的语法和词汇的评价表明了该方法的可行性。此外，我们说明了如何在两个不同的多语言控制的自然语言的应用程序中利用基于FrameNet的语法和词典。所生成的资源在开源许可证下可用。
2015-11-12 cs.CL
Embedded Controlled Languages
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
受嵌入式程序设计语言的启发，嵌入式CNL（受控自然语言）是整个自然语言（其宿主语言）的适当片段，但它具有识别整个宿主语言的解析器。这使得处理CNL外的输入并向用户提供有用的反馈成为可能，而不仅仅是报告语法错误。这个扩展的摘要解释了GF（语法框架）中嵌入式CNL实现的主要概念，并以机器翻译和其他一些正在进行的工作为例。
2014-06-16 cs.CL
Specifying Logic Programs in Controlled Natural Language
编写计算机程序的规范并不容易，因为必须考虑应用领域和软件开发的不同概念世界。为了弥合这一概念上的差距，我们提出了控制自然语言作为一种声明性和应用程序特定的规范语言。受控自然语言（英语：Controlled natural language）是自然语言的一个子集，可以被计算机准确有效地处理，但表达能力足以让非专业人士自然使用。受控自然语言中的规范被自动翻译成Prolog子句，从而成为形式化的和可执行的。翻译使用了一个明确的小句语法（DCG）增强功能结构。语篇表征理论（DRT）的帮助下，解决的规范，如回指的语篇间参考。生成的Prolog子句被添加到知识库中。我们已经实现了一个原型规范系统，成功地处理一个简单的自动柜员机的规格。
1995-07-21 cmp-lg cs.CL
Survey on the Use of Typological Information in Natural Language Processing
University of Cambridge（剑桥大学）；MIT（麻省理工学院）；Technion, IIT（以色列理工学院）
近年来，语言类型学，根据其功能和结构特性对世界语言进行分类，已被广泛用于支持多语言NLP。虽然类型学信息在支持多语言任务方面的重要性日益增加，但没有对现有类型学资源及其在NLP中的使用进行系统的调查。本文提供了这样一个调查，以及讨论，我们希望这将既通知和启发在该领域的未来工作。
2016-10-11 cs.CL
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University（达尔马辛赫·德赛大学）
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文，从著名的期刊和会议。
2015-01-28 cs.CL
Attempto - From Specifications in Controlled Natural Language towards Executable Specifications
从非正式需求中推导出正式规范是困难的，因为必须考虑到应用领域和软件开发的不同概念世界。为了弥合概念上的差距，我们提出了控制自然语言作为一个文本的逻辑正式规格说明。规范语言Attempto Controlled English（ACE）是自然语言的一个子集，可以被计算机准确有效地处理，但表达能力足以允许自然使用。Attempto系统将ACE中的规范转换为话语表示结构和Prolog。所得到的知识库可以在ACE中进行查询以进行验证，并且可以执行该知识库以进行仿真、原型设计和规范验证。
1996-03-12 cmp-lg cs.CL
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Halmstad University（哈尔姆斯塔德大学）
本综述为NLP中的自然语言推理提供清晰定义与分类，全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理，并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Learning with Latent Structures in Natural Language Processing: A Survey
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然具有完全可微模型的端到端学习已经在自然语言处理（NLP）和机器学习中取得了巨大的成功，但最近人们对具有潜在离散结构的学习产生了极大的兴趣，以结合更好的归纳偏差，从而提高最终任务的性能和更好的可解释性。然而，这种范例并不直接适用于主流的基于梯度的优化方法。这项工作调查了三个主要的家庭的方法来学习这样的模型：代理梯度，连续松弛，并通过抽样边际似然最大化。最后，我们审查这些方法的应用程序和检查的学习潜在的结构，他们诱导。
2022-01-11 cs.CL
A Survey of the Usages of Deep Learning in Natural Language Processing
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在过去的几年里，自然语言处理领域已经被深度学习模型的爆炸式使用所推动。本调查简要介绍了该领域，并快速概述了深度学习架构和方法。然后，它筛选了过多的最近的研究，并总结了大量的相关贡献。分析的研究领域包括几个核心的语言处理问题，除了一些计算语言学的应用。然后提供了一个讨论的当前状态的最新技术，以及在该领域的未来研究的建议。
2019-12-21 cs.CL
Natural Language Processing - A Survey
自然语言处理（NLP）的效用和力量似乎注定要以深刻和根本的方式改变我们的技术社会。然而，到目前为止，很少有针对大众的NLP科学的描述，甚至是针对聪明但不知情的科学家的描述。本文旨在提供这样一个概述。简而言之，本文的目的是以清晰，平衡和可读的方式描述NLP的目的，程序和实际应用。我们将研究描述NLP方法和过程的最新文献，分析研究人员面临的一些挑战，并简要概述这门科学在IT研究中的当前和未来应用。
2012-09-25 cs.CL
Automatic Metrics in Natural Language Generation: A Survey of Current Evaluation Practices
trivago N.V.；Charles University（查理大学）；Utrecht University（乌得勒支大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；University of Aberdeen（阿伯丁大学）
该综述聚焦自然语言生成任务中自动评估指标的使用情况，调研了指标选用、选择原因及报告方式，发现存在使用不当、缺实现细节及与人类判断相关性缺失等问题，并提出提升领域严谨性的建议。
2024-08-17 cs.CL
Symbolic, Distributed and Distributional Representations for Natural Language Processing in the Era of Deep Learning: a Survey
University of Rome Tor Vergata（罗马第二大学）
自然语言本质上是人类知识的离散符号表示。机器学习（ML）和自然语言处理（NLP）的最新进展似乎与上述直觉相矛盾：离散符号正在消失，被称为分布式和分布式表示的矢量或张量所消除。然而，在分布式/分布式表示和离散符号之间存在严格的联系，第一种是第二种的近似。更清楚地理解分布式/分布式表示和符号之间的严格联系肯定会导致全新的深度学习网络。在本文中，我们做了一个调查，旨在更新符号表示和分布式/分布式表示之间的联系。这是振兴解释离散符号在神经网络中如何表示的领域的正确时机。
2019-06-04 cs.CL
Controlled Natural Language Processing as Answer Set Programming: an Experiment
Macquarie University（麦考瑞大学）
大多数受控自然语言（CNL）都是在依赖于不同软件组件的流水线架构的帮助下处理的。在本文中，我们以实验的方式研究了答案集编程（ASP）如何适合作为解析CNL、推导所得语法树的正式表示以及使用该表示进行推理的统一框架。我们开始从一个列表中的输入标记在ASP符号，并显示如何输入可以转换成一个语法树使用ASP语法，然后到具体的ASP规则的形式的一组事实。这些事实然后由ASP元解释器处理，允许我们推断新知识。
2014-07-15 cs.AI cs.CL
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；MIT（麻省理工学院）；University of Washington（华盛顿大学）
现有的工作控制文本生成（CTG）假设一个控制接口的分类属性。在这项工作中，我们提出了一个自然语言（NL）的接口，我们工艺PCFG嵌入控制属性到自然语言命令，并提出了现有的CTG模型，以命令作为输入的变体。在我们的实验中，我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比，固定设置的模板，我们提出的NL模型可以有效地推广到看不见的属性，NL接口启用的新功能，以及看不见的属性组合。有趣的是，我们发现，简单的条件生成方法，增强了我们提出的NL接口，是一个强大的基线，在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；Schools of Electronic Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对现有受控文本编辑数据集指令信息不足的问题，研究者构建并发布了高质量数据集WikiIns，包含多类标注数据及自动生成的大规模银标训练集，并开展了相关分析以助力文本编辑研究。
2023-10-08 cs.CL
Controlled Natural Languages and Default Reasoning
Stony Brook University（石溪大学）
受控自然语言是知识表示和推理的有效语言。它们是基于某些自然语言设计的，具有受限的词汇和语法。CNL与它们的基础语言相比是明确和简单的。它们保持了自然语言的表达性和连贯性。在这份报告中，我们专注于一类CNLs，称为面向机器的CNLs，它具有定义良好的语义，可以确定性地翻译成形式语言，如Prolog，做逻辑推理。在过去的20年里，出现了许多面向机器的CNL，并已被用于许多应用领域的问题解决和问答。然而，很少有人支持非单调推理。在我们的工作中，我们提出了非单调扩展CNL支持可废止推理。在本报告的第一部分，我们调查CNLs和比较三个有影响力的系统：尝试控制英语（ACE），可处理英语（PENG）和计算机可处理英语（CPL）。我们比较他们的语言设计，语义解释和推理服务。在本文的第二部分，我们首先分析了自然语言中典型的非单调性，如缺省、例外和会话含义。然后，我们提出了他们的CNL表示和相应的形式化形式的可废止推理称为逻辑程序设计与推理和论证理论（LPDA）。
2019-05-11 cs.AI cs.CL
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches
University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）；Computer Science and Engineering（计算机科学与工程学院）
在NLP社区中，近年来出现了大量研究活动，这些研究活动旨在解决机器执行深度语言理解的能力，这种能力超越了文本中明确陈述的内容，而是依赖于推理和对世界的了解。已经创建了许多基准任务和数据集来支持这种自然语言推理能力的开发和评估。随着这些基准成为NLP研究社区的工具和驱动力，本文旨在概述最近的基准，相关知识资源以及最先进的学习和推理方法，以支持更好地理解这个不断发展的领域。
2020-02-26 cs.CL
A Survey on Natural Language Processing for Programming
Beihang University（北京航空航天大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文从编程语言的结构化与功能化特性出发，系统综述了面向编程的自然语言处理在任务、数据集、评估方法、技术和模型方面的研究现状，并指出未探索领域与未来方向。
2023-08-06 cs.CL
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
University of Michigan（密歇根大学）；Westlake University（西湖大学）
Text-to-SQL由于能够将自然语言中的语义转换为SQL查询，并在构建与数据库系统的自然语言接口中得到了实际应用，因此受到了自然语言处理和数据库社区的关注。文本到SQL的主要挑战在于对自然语句的含义进行编码，解码为SQL查询，以及在这两种形式之间转换语义。最近的进展在不同程度上解决了这些挑战。然而，仍然缺乏对这项任务的全面调查。为此，我们回顾了文本到SQL的数据集，方法和评估的最新进展，并提供了这个系统的调查，解决了上述挑战，并讨论了潜在的未来方向。我们希望这项调查可以作为快速访问现有的工作，并激励未来的研究。
2022-08-22 cs.CL
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales（新南威尔士大学）；National Institute of Information and Communications Technology（信息通信技术研究所）；University of Surrey（萨里大学）；Monash University（莫纳什大学）
该综述聚焦方言NLP领域，从数据集和方法梳理相关研究，划分NLU和NLG任务类别，覆盖多语言，介绍经典与深度学习方法，为构建公平语言技术提供参考。
2024-12-06 cs.CL
Controlled Generation with Prompt Insertion for Natural Language Explanations in Grammatical Error Correction
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tokyo Institute of Technology（东京工业大学）
本文提出基于提示插入的受控生成方法，通过自动提取并插入纠错点提示，引导大语言模型为语法纠错生成完整自然语言解释，并构建XGEC数据集验证其有效性。
2023-09-20 cs.CL
SECNLP: A Survey of Embeddings in Clinical Natural Language Processing
National Institute of Technology Tiruchirappalli（特里奇拉普里国家理工学院）
传统的表示方法如Bagofwords是高维的、稀疏的，忽略了顺序以及句法和语义信息。分布式向量表示或嵌入将可变长度的文本映射到密集的固定长度向量，并捕获可以传输到下游任务的先验知识。尽管嵌入已经成为一般和临床领域基于深度学习的NLP任务的事实标准表示，但没有调查论文对临床自然语言处理中的嵌入进行详细审查。在这篇综述论文中，我们讨论了各种医学语料库及其特点，医学代码，并简要概述了流行的嵌入模型，以及比较。我们将临床嵌入分为九种类型，并详细讨论每种嵌入类型。我们讨论了各种评估方法，随后是临床嵌入中各种挑战的可能解决方案。最后，我们总结了一些未来的方向，这将推动临床嵌入的研究。
2020-11-25 cs.CL
Natural Language Processing for Human Resources: A Survey
Megagon Labs（美加刚实验室）
本文综述了自然语言处理在人力资源领域的应用，分析了信息抽取和文本分类等基础任务及其在下游应用中的作用，并指出了研究空白与伦理问题。
2025-03-25 cs.CL
Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models
University of Manchester（曼彻斯特大学）
近年来，越来越多的出版物分析了自然语言推理（NLI）数据集的表面线索，它们是否破坏了这些数据集背后的任务的复杂性，以及它们如何影响这些数据优化和评估的模型。这种结构化的调查提供了一个不断发展的研究领域的概述，通过分类报告的模型和数据集的弱点，并提出了方法，以揭示和减轻这些弱点的英语。我们总结和讨论的结果，并得出结论，为未来可能的研究方向的一组建议。我们希望这将是一个有用的资源，为研究人员谁提出新的数据集，有一套工具来评估他们的数据的适用性和质量，以评估各种感兴趣的现象，以及那些谁开发新的架构，以进一步了解他们的改进的影响，就其模型的后天能力。
2020-05-29 cs.CL
Linguistic Analysis of Requirements of a Space Project and their Conformity with the Recommendations Proposed by a Controlled Natural Language
CLLE-ERSS, CNRS and Université Toulouse 2 – Le Mirail（CLLE-ERSS，法国国家科学研究中心和图卢兹第二大学）；CNES（法国国家空间研究中心）
法国国家航天局（法国空研中心）实施的这一项目的长期目标是，根据真实和定期的要求编写一份写作指南。作为该项目的第一步，本文提出了一个语言分析的要求，法国国家空间研究中心的工程师写在法国。其目的是确定它们在多大程度上符合INCOSE中规定的两条规则，INCOSE是最近的写作要求指南。虽然CNES的工程师在编写需求时没有义务遵循任何受控自然语言，但我们认为，主要由于编写者的经验，语言错误很可能会从这项任务中出现。这个问题是使用自然语言处理工具来识别不符合INCOSE规则的句子。我们进一步审查这些句子，以了解为什么这些建议不能（或不应该）总是适用于指定大型项目。
2014-06-06 cs.CL cs.SE
RuleCNL: A Controlled Natural Language for Business Rule Specifications
Université de Franche-Comté（弗朗什-孔泰大学）；Global Data Excellence Ltd.（Global Data Excellence有限公司）
业务规则代表了公司定义其业务、执行其操作以实现其目标的主要手段。因此，它们需要明确地表达以避免业务涉众之间的不一致，并且需要正式地表达以便于机器处理。一个有前途的解决方案是使用受控自然语言（CNL），它是自然语言和形式语言之间的良好中介。本文提出了RuleCNL，这是一个用于定义业务规则的CNL。它的核心特性是业务规则定义与业务词汇表的一致性，这确保了业务领域的可跟踪性和一致性。RuleCNL工具提供了编辑器，可以帮助最终用户编写流程并自动映射到业务词汇语义和业务规则（Semantics of Business Vocabulary and Business Rules，SBVR）标准。SBVR基于一阶逻辑，包括称为语义公式的结构，这些结构构成规则的含义。
2014-06-09 cs.CL cs.SE
Survey on Publicly Available Sinhala Natural Language Processing Tools and Research
Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，莫图瓦大学）
本文综述了公开可用的僧伽罗语自然语言处理工具和研究，旨在填补现有文献的空白，促进该领域研究的协调与进步。
2026-09-06 cs.CL
Faithfulness in Natural Language Generation: A Systematic Survey of Analysis, Evaluation and Optimization Methods
Baidu Inc.（百度公司）；Peking University（北京大学）
近年来，由于预训练语言模型等深度学习技术的发展，自然语言生成（NLG）取得了很大进展。这一进步导致了更流畅，连贯，甚至属性可控（例如风格，情感，长度等）。生成，自然导致下游任务的发展，例如抽象摘要、对话生成、机器翻译和数据到文本生成。然而，生成的文本往往包含不忠实或非事实信息的忠实性问题已成为最大的挑战，这使得文本生成的性能在许多现实场景中不能满足实际应用的要求。针对不同任务提出了许多关于忠诚问题的分析、评价和优化方法的研究，但没有以组合的方式进行组织、比较和讨论。本文系统地综述了自然语言学习者忠实性问题的研究进展，包括问题分析、评价指标和优化方法。我们将不同任务的评估和优化方法组织成一个统一的分类法，以便于跨任务的比较和学习。最后对几个研究方向进行了讨论。
2022-03-10 cs.CL
Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts
College of Foreign Languages and Cultures, Jilin University（吉林大学外语学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对上下文嵌入中语法性别与社会语义偏见的纠缠问题，首次提出在受控模板和自然维基百科上下文中，利用质心、SVM和LDA估计器及污染感知加权策略进行解耦，并设计双目标评估指标平衡去偏与语义保留。
2026-06-29 cs.AI cs.CL
Dual use issues in the field of Natural Language Generation
Department of Communication and Cognition, Tilburg University（蒂尔堡大学沟通与认知系）
本研究针对ACL下属SIGGEN社区开展NLG领域双重用途问题调查，2024年10月发放、2025年1月处理，23人参与，虽不具完全代表性但可为后续讨论提供参考，报告开放社区反馈。
2025-01-11 cs.CL
Improving User Controlled Table-To-Text Generation Robustness
University of Edinburgh（爱丁堡大学）；The Hong Kong Polytechnic University（香港理工大学）
在这项工作中，我们研究了用户控制的表到文本的生成，用户探索的内容在一个表中选择单元格和阅读的自然语言描述自动产生的自然语言发生器。这样的生成模型通常从仔细选择的单元选中单元组合（干净单元选择）学习;然而，在实践中，用户可能选择意外的、冗余的或不相干的单元组合（有噪声的单元选择）。在实验中，我们发现，模型表现良好的测试集来自相同的分布作为训练数据，但其性能下降时，现实的嘈杂的用户输入进行评估。我们提出了一个微调制度，额外的用户模拟嘈杂的细胞选择。使用所提出的机制进行微调的模型在用户嘈杂的测试用例中获得4.85个BLEU点，在干净的测试用例中获得1.4个BLEU点;并在ToTTo数据集上实现了相当的最先进性能。
2023-02-20 cs.CL
Natural Language Processing with Commonsense Knowledge: A Survey
College of Information Engineering Shanghai Maritime University；Independent Researcher；School of AI；Advanced Computing Xi'an Jiaotong-Liverpool University；Alibaba Business School Hangzhou Normal University；School of Computer
该综述梳理了常识知识库、评估基准、融入方法及在NLP任务中的应用，分析了相关挑战与趋势，为融合常识提升NLP推理能力的研究提供了系统参考。
2024-09-13 cs.CL
Modeling Language Variation and Universals: A Survey on Typological Linguistics for Natural Language Processing
LTL, University of Cambridge（剑桥大学LTL（语言与理论语言学实验室））；Department of Brain and Cognitive Sciences, MIT（麻省理工学院脑与认知科学系）；Faculty of Industrial Engineering and Management, Technion – IIT（以色列理工学院工业工程与管理学院）；LATTICE Lab, CNRS and ENS/PSL and Univ. Sorbonne nouvelle/USPC（LATTICE实验室（法国国家科学研究中心、巴黎高等师范学院/PSL、巴黎索邦大学/巴黎文理研究大学））；ILLC, University of Amsterdam（阿姆斯特丹大学ILLC（语言、逻辑与计算研究所））
语言类型学旨在捕捉世界语言的结构和语义变化。大规模的类型学可以为多语言自然语言处理（NLP）提供很好的指导，特别是对于缺乏人类标记资源的语言。我们提出了一个广泛的文献调查的类型信息的使用在自然语言处理技术的发展。我们的调查表明，到目前为止，在现有的类型数据库中的信息的使用，导致系统性能的一致，但适度的改善。我们发现，这是由于数据库的内在限制（在覆盖范围和功能粒度方面）和就业不足的类型学特征包括在其中。我们提倡一种新的方法，使类型学类别的广泛和离散性质适应当代NLP中使用的机器学习算法的上下文和连续性质。特别是，我们认为，这种方法可以促进最近的发展，数据驱动的归纳类型学知识。
2020-10-26 cs.CL
A Survey on Using Gaze Behaviour for Natural Language Processing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什研究学院）；Apple Inc.（苹果公司）
凝视行为已经被用作收集认知信息的一种方式多年。在本文中，我们讨论了使用凝视行为在解决不同的任务在自然语言处理（NLP），而不必记录在测试时。这是因为收集凝视行为在时间和金钱方面都是一项昂贵的任务。因此，在本文中，我们专注于研究所做的，以减轻需要在运行时间记录凝视行为。我们还提到了多种语言的不同眼动追踪语料库，这些语料库目前可用，并且可以用于自然语言处理。我们通过讨论在教育领域的应用以及学习凝视行为如何帮助解决复杂单词识别和自动论文评分的任务来结束我们的论文。
2022-01-03 cs.CL
Are Style Guides Controlled Languages? The Case of Koenig & Bauer AG
University of Hildesheim（希尔德斯海姆大学）
受控的工业应用自然语言通常被认为是对翻译和多语言交流挑战的回应。本文介绍了Koenig & Bauer AG采取的一种完全不同的方法，其主要目标是改进技术文档的编写过程。最重要的是，本文探讨了受控语言的概念，并演示了如何从非语言的考虑中产生风格指南。此外，它还展示了从松散的语言建议到精确和规定性规则的过渡，并调查了这些规则是否可以被视为一种成熟的控制语言。
2014-06-13 cs.CL
Efficient Methods for Natural Language Processing: A Survey
IST/U. of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Berliner Hochschule für Technik（柏林应用科技大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Edinburgh（爱丁堡大学）；Cohere For AI（Cohere人工智能研究所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Unbabel（Unbabel公司）；Brown University（布朗大学）；Stony Brook University（石溪大学）；University of Bristol（布里斯托大学）；IBM Research（IBM研究院）；Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Technical University of Darmstadt（达姆施塔特工业大学）
最近在自然语言处理（NLP）方面的工作已经从缩放模型参数和训练数据中产生了有吸引力的结果;然而，仅使用缩放来提高性能意味着资源消耗也会增加。这些资源包括数据、时间、存储或能量，所有这些都是自然有限且分布不均匀的。这促使人们研究需要更少资源来实现类似结果的有效方法。本调查综合并联系了高效NLP的当前方法和发现。我们的目标是为在有限的资源下进行自然语言处理提供指导，并指出有前途的研究方向，以开发更有效的方法。
2023-03-24 cs.CL
A Survey on Natural Language Counterfactual Generation
Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）
本综述针对自然语言反事实生成领域，全面梳理相关方法尤其是大语言模型相关方法，提出新的四类分类体系与质量评估指标，探讨现有挑战并指明未来研究方向。
2024-10-05 cs.CL
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy（特里奇国立理工学院）
基于transformer的预训练语言模型（T-PTLM）在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers，自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示，并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识，避免了从头开始训练下游模型。在这篇全面的综述论文中，我们首先简要概述了自监督学习。接下来，我们将解释各种核心概念，如预训练，预训练方法，预训练任务，嵌入和下游适应方法。接下来，我们提出了一个新的分类T-PTLM，然后简要概述了各种基准，包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后，我们强调了一些未来的研究方向，这将进一步改善这些模型。我们坚信，这份全面的调查报告将作为一个很好的参考，以了解核心概念，以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
A survey of joint intent detection and slot-filling models in natural language understanding
The University of Sydney（悉尼大学）
意图分类和槽填充是自然语言理解的两个关键任务。传统上，这两项任务被认为是独立进行的。然而，最近，用于意图分类和槽填充的联合模型已经实现了最先进的性能，并且已经证明这两个任务之间存在很强的关系。本文是对过去在自然语言理解方面的工作的汇编，特别是联合意图分类和槽填充。到目前为止，我们在这项研究中观察到三个里程碑：意图检测，以确定扬声器的意图，插槽填充，以标记语音/文本中的每个单词标记，最后，联合意图分类和插槽填充任务。在这篇文章中，我们描述了趋势，方法，问题，数据集，意图分类和插槽填充的评估指标。我们还讨论了代表性的性能值，描述共享的任务，并提供指针，以未来的工作，在以前的作品。为了解释最新的趋势，我们提供了多个表格，描述和总结了过去在不同维度上的研究，包括特征类型、基本方法和使用的数据集域。
2021-02-22 cs.CL
Verifiable Source Code Documentation in Controlled Natural Language
ETH Zurich（苏黎世联邦理工学院）；University of Chile（智利大学）
编写关于软件内部的文档很少被认为是一种有价值的活动。当软件在多开发人员环境中不断发展时，这是非常耗时的，并且产生的文档是脆弱的。不幸的是，传统的编程环境对文档的编写和维护支持不足。由于缺乏软件结构文档，对软件产品的整体质量产生了负面影响，因此后果是严重的。我们表明，使用受控的自然语言与推理机和查询引擎是一种可行的技术，用于验证文档和源代码的一致性和准确性。使用ACE，一个国家的最先进的控制自然语言，我们提出了积极的成果的可理解性和一般的可行性创建和验证文档。作为一个案例研究，我们使用自动文档验证来识别和修复一个重要软件架构中的严重缺陷。此外，用户实验表明，我们的语言是更快，更容易学习和理解比其他形式语言的软件文档。
2013-11-12 cs.AI cs.CL cs.HC
A Survey of Diffusion Models in Natural Language Processing
University of Minnesota（明尼苏达大学）
该综述梳理了扩散模型在NLP中的应用、形式、优缺点，对比其与自回归模型的优势，指出Transformer融合、多模态及大规模少样本扩散语言模型为未来方向。
2023-06-14 cs.CL
Pre-trained Models for Natural Language Processing: A Survey
Fudan University（复旦大学）
近年来，预训练模型（PTM）的出现将自然语言处理（NLP）带入了一个新的时代。在这次调查中，我们对NLP的PTM进行了全面的回顾。我们首先简要介绍了语言表示学习及其研究进展。然后，我们系统地分类现有的PTM的基础上的分类与四个方面。接下来，我们将描述如何将PTM的知识适应下游任务。最后，我们概述了一些潜在的PTMs为未来的研究方向。本调查旨在成为理解，使用和开发各种NLP任务的PTM的实践指南。
2021-06-23 cs.CL cs.LG
Identifying Health Risks from Family History: A Survey of Natural Language Processing Techniques
CSIRO Data61（联邦科学与工业研究组织Data61）；CSIRO Health & Biosecurity（联邦科学与工业研究组织健康与生物安全局）
本文综述了利用自然语言处理技术从电子健康记录中提取家族史以识别健康风险的方法，重点比较了规则方法与基于预训练语言模型的神经方法，并指出了未来研究方向。
2024-03-15 cs.CL
A Literature Survey of Recent Advances in Chatbots
The University of Sunderland（桑德兰大学）
聊天机器人是智能对话计算机系统，旨在模仿人类对话，以实现自动化在线指导和支持。聊天机器人的好处越来越多，导致许多行业广泛采用它们，以便为客户提供虚拟帮助。聊天机器人利用来自两个人工智能领域的方法和算法：自然语言处理和机器学习。然而，在其应用中存在许多挑战和限制。在这项调查中，我们回顾了聊天机器人的最新进展，其中使用了人工智能和自然语言处理。我们强调了目前工作的主要挑战和局限性，并为未来的研究调查提出建议。
2022-01-17 cs.CL
A Multilingual Semantic Wiki Based on Attempto Controlled English and Grammatical Framework
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们描述了一个语义维基系统与底层控制的自然语言语法实现语法框架（GF）。该语法将wiki内容限制为Attempto Controlled English（ACE）的一个定义良好的子集，并促进ACE与许多其他自然语言的语言片段之间的精确双向自动翻译，从而使wiki内容可以多语言访问。此外，我们的方法允许自动翻译成Web本体语言（OWL），这使得自动推理的wiki内容。因此，开发的wiki环境允许用户通过用户友好的多语言自然语言界面来构建、查询和查看OWL知识库。作为进一步的功能，底层的多语言语法被集成到wiki中，并且可以协作编辑以扩展wiki的词汇表，甚至定制其句子结构。这项工作展示了Attempto控制的英语和语法框架的现有技术的结合，并实现为现有的语义维基引擎AceWiki的扩展。
2013-03-11 cs.CL cs.HC
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Controlled Text Generation with Natural Language Instructions
ETH Zürich（苏黎世联邦理工学院）
本文提出 InstructCTG 框架，将文本约束自动提取并表述为自然语言指令及示范来微调语言模型，在不改变解码过程的情况下灵活实现多约束受控生成，并支持少样本适应新约束。
2023-06-08 cs.AI cs.CL cs.LG
A Systematic Survey of Text Worlds as Embodied Natural Language Environments
University of Arizona（亚利桑那大学）
文本世界是一种虚拟环境，与2D或3D环境不同，它是专门使用文本描述呈现的。这些环境提供了一种替代高保真度的3D环境，因为它们的进入门槛低，提供了研究语义，组合推理和其他高级任务的能力，具有丰富的高级动作空间，同时控制感知输入。本系统的调查概述了工具，环境和代理建模的文本世界的最新发展，同时检查最近的趋势，知识图谱，常识推理，迁移学习文本世界的性能，以更高的保真度的环境，以及近期的发展目标，一旦实现，使文本世界自然语言处理有吸引力的一般研究范式。
2021-07-08 cs.AI cs.CL
