Towards Structural Natural Language Formalization: Mapping Discourse to Controlled Natural Language
Technische Universität München(慕尼黑工业大学)
作者描述了一个概念性的研究,对映射接地自然语言的话语表征结构的实例控制的语言语句。这可以通过现有技术的流水线来实现,即自然语言语法到语义话语映射,以及在给定一组先前学习的简化规则的情况下将后者简化为受控语言话语。最后,描述基于本体的推理的评价,潜力和局限性。
2013-12-07 cs.CL
Natural Language Tools: A Natural Language Approach to Tool Calling In Large Language Agents
提出自然语言工具框架,用自然语言输出替代JSON工具调用,通过解耦选择与生成提升准确率18.4个百分点并降低方差70%,且对开放权重模型增益显著。
2025-10-16 cs.CL
Semantic Parsing Natural Language into SPARQL: Improving Target Language Representation with Neural Attention
语义解析是将自然语言句子映射成其意义的形式化表示的过程。在这项工作中,我们使用神经网络的方法来转换自然语言句子到查询的本体数据库中的SPARQL语言。这种方法不依赖于手工规则,高质量的词典,手工构建的模板或其他手工制作的复杂结构。我们的方法是基于向量空间模型和神经网络。该模型基于两个学习步骤。第一步生成自然语言和SPARQL查询的句子的向量表示。第二步使用此向量表示作为神经网络(具有注意力机制的LSTM)的输入,以生成能够编码自然语言和解码SPARQL的模型。
2018-03-12 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University(北京大学)
自然语言处理中的评价指导和促进了模型和方法的研究。近年来,新的评价数据集和评价任务不断提出。与此同时,考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手,对主流自然语言评价的任务和特点进行了分类和总结,进而总结了自然语言处理评价存在的问题及其原因。最后,本文参照人类语言能力评价标准,提出了类人机器语言能力评价的概念,并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
Language models as tools for investigating the distinction between possible and impossible natural languages
Stanford University(斯坦福大学)
本文探讨语言模型作为探究可能与不可能自然语言区别的工具,通过改进模型架构来揭示人类语言学习的归纳偏见。
2025-12-10 cs.CL
e-SNLI: Natural Language Inference with Natural Language Explanations
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
为了使机器学习获得广泛的公众采用,模型必须能够为其决策提供可解释和强大的解释,并在训练时从人类提供的解释中学习。在这项工作中,我们扩展了斯坦福大学的自然语言推理数据集与人类注释的自然语言解释的蕴涵关系的附加层。我们进一步实现了将这些解释纳入其训练过程并在测试时输出的模型。我们展示了我们的解释语料库(我们称之为e-SNLI)如何用于各种目标,例如获得模型决策的完整句子理由,改进通用句子表示以及转移到域外NLI数据集。因此,我们的数据集为使用自然语言解释开辟了一系列研究方向,无论是为了改进模型还是为了维护它们的信任。
2018-12-06 cs.CL
Using natural language prompts for machine translation
Google(谷歌)
我们探索使用自然语言提示来控制由机器翻译模型生成的输出的各个方面。我们证明,自然语言提示允许我们影响的输出像正式或特定方言的属性。我们表明,使用语言名称来控制多语言翻译模型的输出语言,可以为看不见的语言对实现正迁移。这解锁了通过使用他们的英文名字翻译成微调期间看不到的语言的能力。我们研究了规模,预训练步骤的数量,微调中的语言数量以及语言相似性如何影响这种现象。
2022-02-23 cs.CL
Natural Language Translation of Formal Proofs through Informalization of Proof Steps and Recursive Summarization along Proof Structure
Tokyo University of Science(东京科学大学)
本文提出一种利用LLM对形式证明步骤进行非形式化和递归摘要的方法,以生成高可读性且准确的自然语言证明,并在Lean证明助手的库及本科教材数据上验证了其有效性。
2025-09-10 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley(加州大学伯克利分校)
我们引入了一种新的基于词嵌入的语言间距离度量,称为词嵌入语言分歧(WELD)。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施,我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库,可以保证所有语言都有相同的内容,但有趣的是,在许多情况下,同一家族中的语言会聚集在一起。除了自然语言之外,我们还对12种不同生物(4种植物,6种动物和2种人类)基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤,以定义一个定量的语言之间的相似性度量,在语言分类,体裁识别,方言识别和评估的翻译应用。
2016-04-28 cs.CL
Stochastic Answer Networks for Natural Language Inference
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种随机回答网络(SAN)来研究自然语言推理中的多步推理策略。该模型不是直接预测给定输入的结果,而是保持一个状态并迭代地改进其预测。我们的实验表明,SAN达到了最先进的结果在三个基准:斯坦福自然语言推理(SNLI)数据集,多流派自然语言推理(MultiNLI)数据集和Quora问题对数据集。
2019-03-30 cs.CL
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Halmstad University(哈尔姆斯塔德大学)
本综述为NLP中的自然语言推理提供清晰定义与分类,全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理,并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义,而自然语言生成则与之相反,其目标是根据给定的语义构造相应的句子。然而,这种双重关系在文献中还没有被研究。本文在双监督学习的基础上,提出了一种新的语言理解和生成的学习框架,提供了一种利用二元性的方法。初步实验表明,所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Natural Language Understanding Based on Semantic Relations between Sentences
Kim Il Sung University(金日成综合大学)
本文定义了自然语言句子上的事件表示和事件之间的语义关系。在此基础上,我们形式化地考虑了以事件为基本单位的文本理解过程。
2012-12-19 cs.CL
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology(东部理工学院)
自然语言处理作为一种数据分析相关技术,在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前,由于数据的爆炸式增长,自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一,利用Hadoop并包含语言处理组件,如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台,并提供了分析wiki数据的步骤。最后,对KOSHIK体系结构的优缺点进行了评价和讨论,并给出了提高处理性能的建议。
2016-08-15 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里,神经网络已经重新成为强大的机器学习模型,在图像识别和语音处理等领域取得了最先进的成果。最近,神经网络模型也开始应用于文本自然语言信号,再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型,试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络,以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data
Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学)
大型的人工注释数据集是自然语言处理模型开发的核心。收集这些数据集可能是开发过程中最具挑战性的部分。我们解决这个问题,通过引入一个通用的技术,“模拟到真实”的转移语言理解问题与一组划定的目标行为,使之有可能开发模型,可以解释自然的话语,没有自然的训练数据。我们从一个合成数据生成过程开始,并训练一个模型,该模型可以准确地解释由数据生成器产生的话语。为了推广到自然话语,我们使用学习的句子嵌入来定义距离度量,自动找到自然语言话语到合成语言的支持上的投影。仅使用合成训练数据,我们的方法在几个领域中匹配或优于在自然语言数据上训练的最先进的模型。这些结果表明,模拟到真实的转移是开发自然语言处理应用程序的一个实用框架,改进的转移模型可能会为下游任务提供广泛的改进。
2020-04-28 cs.CL
An Overview of Natural Language State Representation for Reinforcement Learning
University of Potsdam(波茨坦大学)
合适的状态表示是强化学习中学习过程的基本部分。在各种任务中,状态既可以用自然语言描述,也可以是自然语言本身。本调查概述了文献中使用的策略,以建立自然语言状态表示。我们呼吁更多的语言解释和接地表示,设计决策和评估不同方法的有效性仔细的理由。
2020-07-19 cs.CL
Simple Natural Language Processing Tools for Danish
ITU Copenhagen(哥本哈根信息技术大学)
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的,使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处,并将始终免费提供。
2019-07-26 cs.CL
Semi-Supervised Neural Text Generation by Joint Learning of Natural Language Generation and Natural Language Understanding Models
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在自然语言生成(NLG)中,通过深度学习训练的端到端(E2E)系统最近引起了人们的强烈兴趣。这种深度模型需要大量仔细注释的数据才能达到令人满意的性能。然而,为每个新的NLG应用程序获取这样的数据集是一项繁琐而耗时的任务。在本文中,我们提出了一种半监督深度学习方案,可以从未注释的数据和注释的数据中学习。它使用NLG和自然语言理解(NLU)序列到序列模型,这些模型是联合学习的,以弥补注释的不足。在两个基准数据集上的实验表明,在有限的标注数据量下,该方法可以在不使用任何预处理或重新评分技巧的情况下获得非常有竞争力的结果。这些发现为利用非注释数据集开辟了道路,这是E2E NLG系统开发新应用的当前瓶颈。
2019-09-29 cs.CL
Natural Language Generation
Tilburg University(蒂尔堡大学);University of Manchester(曼彻斯特大学)
本文概述了自然语言生成(NLG)领域,探讨了其定义、与机器翻译和对话系统的关系,并指出大型语言模型的兴起使自然语言处理各子领域在生成与评估方法上趋于一致。
2025-11-02 cs.CL
Visual Reasoning with Natural Language
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
自然语言为机器人智能体提供了一个可广泛访问和表达的接口。为了在复杂的环境中理解语言,智能体必须对各种语言输入及其与世界的对应进行推理。这种对语言和视觉的推理是一个开放的问题,正在受到越来越多的关注。虽然现有的数据集关注视觉多样性,但它们并不显示自然语言表达的全部范围,例如计数、集合推理和比较。我们提出了一个简单的任务,自然语言视觉推理,图像与描述性语句配对。任务是预测一个陈述对于给定场景是否为真。这个摘要描述了我们现有的合成图像语料库和我们目前收集真实视觉数据的工作。
2017-10-02 cs.CL
NILE : Natural Language Inference with Faithful Natural Language Explanations
Indian Institute of Science(印度科学学院)
最近,深度学习模型在NLP分类任务中的流行和成功伴随着对预测标签生成某种形式的自然语言解释的需求。期望这样生成的自然语言(NL)解释是忠实的,即,它们应该与模型的内部决策很好地关联。在这项工作中,我们专注于自然语言推理(NLI)的任务,并解决以下问题:我们可以建立NLI系统,产生高精度的标签,同时也产生忠实的解释其决定?我们提出了自然语言推理的标签特定的解释(NILE),一种新的NLI方法,利用自动生成的标签特定的NL解释,以产生标签及其忠实的解释。我们证明了NILE的有效性,通过自动化和人工评价所产生的标签和解释比以前报道的方法。我们对NILE的评估也支持这样的说法,即可以设计出能够为他们的决定提供可测试解释的精确系统。我们讨论了NILE的解释的忠实性方面的敏感性的决定,相应的解释。我们认为,除了标签和解释准确性外,对忠实性的明确评估是评估模型解释的重要步骤。此外,我们表明,任务特定的探针是必要的,以建立这样的灵敏度。
2020-05-25 cs.CL
Evaluating Computational Language Models with Scaling Properties of Natural Language
The University of Tokyo(东京大学)
在这篇文章中,我们评估计算模型的自然语言方面的普遍统计行为的自然语言。统计力学分析表明,自然语言文本的特征在于缩放特性,其量化了词汇群体中的全局结构和文本的长记忆。我们研究了五个标度性质(由Zipf定律,Heaps定律,Ebeling方法,Taylor定律和长程相关分析给出)是否可以用于评价计算模型。具体来说,我们测试$n$ -gram语言模型,概率上下文无关文法(PCFG),基于Simon/Pitman-Yor过程的语言模型,神经语言模型和生成对抗网络(GANs)用于文本生成。我们的分析表明,基于具有门控机制的递归神经网络(RNN)的语言模型(即,长短期记忆(LSTM)、门控递归单元(GRU)和准递归神经网络(QRNNs)是唯一能够再现自然语言的长记忆行为的计算模型。此外,通过与最近提出的基于模型的评价方法的比较,我们发现泰勒定律的指数是一个很好的指标模型的质量。
2019-06-22 cs.CL
A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network
自然语言是结构复杂的实体。它们表现出特征性的特征,可以被利用来将它们彼此联系起来。在这项工作中,我比较两个形态方面的语言:书面模式和句子结构。我展示了语言如何自发地在两种分析中通过相似性分组,并得出平均语言距离。最后,利用句子结构,我开发了一个能够区分语言的人工神经网络,这表明不仅词根,而且语法句子结构也是一个特征,仅凭这些特征就足以识别它们。
2019-06-13 cs.CL
Robustly Optimized and Distilled Training for Natural Language Understanding
在本文中,我们探索多任务学习(MTL)作为第二个预训练步骤,学习增强通用语言表示的Transformer语言模型。我们在几个自然语言理解任务中使用MTL增强表示来提高性能和泛化能力。此外,我们将知识蒸馏(KD)在MTL中,以进一步提高性能,并设计一个KD变体,有效地从多个教师学习。通过结合MTL和KD,我们提出了鲁棒优化和蒸馏(ROaD)建模框架。我们使用ROaD与ELECTRA模型一起获得机器阅读理解和自然语言推理的最新结果。
2021-03-16 cs.CL
Do Neural Nets Learn Statistical Laws behind Natural Language?
The University of Tokyo(东京大学)
深度学习在自然语言处理中的表现非常出色,但由于深度学习固有的复杂性,这种成功的原因仍然不清楚。本文提供了经验证据的有效性和语言工程的神经网络的局限性。准确地说,我们证明了基于长短期记忆(LSTM)的神经语言模型有效地再现了Zipf定律和Heaps定律,这是自然语言的两个代表性统计特性。我们讨论了质量的再现性和出现的齐普夫定律和堆的法律培训的进展。我们还指出,神经语言模型在再现自然语言的另一个统计特性--长程相关性方面存在局限性。这种理解可以为改进神经网络的体系结构提供方向。
2017-11-28 cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语,大多数语义解析系统将该问题作为一次性翻译,其中话语被映射到对应的逻辑形式。在本文中,我们研究了一个更具交互性的场景,人类可以进一步与系统进行交互,提供自由形式的自然语言反馈,以纠正系统时,它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造,SPLASH,一个数据集的话语,不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务,并表明,将这样一个丰富的反馈形式,可以显着提高整体语义解析的准确性,同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%,但我们的最佳模型仅达到25.1%,这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
NLTK: The Natural Language Toolkit
NLTK,自然语言工具包,是一套源程序模块,教程和问题集,提供现成的使用计算语言学课件。NLTK涵盖符号和统计自然语言处理,并与带注释的语料库接口。学生增加和替换现有组件,通过示例学习结构化编程,并从一开始就操作复杂的模型。
2002-05-17 cs.CL
Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline
Boise State University(博伊西州立大学)
随着口语对话系统和聊天机器人的广泛采用,用于自然语言理解的商业和开源服务正在出现。在本文中,我们解释了我们如何改变开源RASA自然语言理解管道以增量方式处理(即,逐词),遵循Schlangen和Skantze提出的增量单元框架。为此,我们更改了现有的RASA组件以增量方式处理,并将更新增量意图识别模型作为组件添加到RASA中。我们对Snips数据集的评估表明,我们的变化允许RASA作为一个有效的增量自然语言理解服务。
2019-07-11 cs.CL
A Geometry-Inspired Attack for Generating Natural Language Adversarial Examples
ETH Zurich(苏黎世联邦理工学院);Department of Electrical Engineering and Information Technology(电气工程与信息技术系);Switzerland(瑞士(注:此处原文本中“Switzerland”为国家信息,非机构,根据提取规则,机构粒度到大学/学院/公司/研究院级别即可,故主要机构为ETH Zurich))
为自然语言生成对抗性示例是困难的,因为自然语言由离散的符号组成,并且示例通常具有可变的长度。在本文中,我们提出了一个几何启发的攻击生成自然语言对抗性的例子。我们的攻击通过迭代逼近深度神经网络(DNN)的决策边界来生成对抗性示例。在两个不同模型的数据集上的实验表明,我们的攻击欺骗自然语言模型的成功率很高,而只替换了几个单词。人类评估表明,我们的攻击生成的对抗性示例很难被人类识别。进一步的实验表明,对抗性训练可以提高模型对攻击的鲁棒性。
2020-10-03 cs.CL
Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding
Kyoto University(京都大学)
使用辅助语言的Meta学习已经证明了跨语言自然语言处理的有希望的改进。然而,以前的研究从同一种语言中抽取元训练和元测试数据,这限制了模型的跨语言迁移能力。在本文中,我们提出了XLA-MAML,它在元学习阶段进行直接的跨语言适应。我们进行了zero-shot和Few-Shot两个自然语言推理和问答实验。实验结果证明了我们的方法在不同语言,任务和预训练模型上的有效性。我们还分析了元学习的各种跨语言特定设置,包括采样策略和并行性。
2021-11-10 cs.CL
Tree-Based Representation and Generation of Natural and Mathematical Language
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
数学语言在科学交流和教育场景中很重要,但与自然语言相比,研究相对不足。数学语言的最新研究集中在表示独立的数学表达式,特别是在它们的自然树格式中,或者在预先训练的自然语言模型中进行数学推理。关于联合建模和生成自然语言和数学语言的现有工作简单地将数学表达式视为文本,而没有考虑数学表达式的刚性结构属性。在本文中,我们提出了一系列的修改现有的语言模型,共同表示和生成文本和数学:表示数学表达式的节点令牌在其操作符树格式的序列,使用数学符号和树位置嵌入,以保持语义和结构属性的数学表达式,并使用约束解码方法来生成数学上有效的表达式。我们在GPT-2的基础上进行修改,得到一个模型MathGPT,并证明它在数学表达式生成任务上优于基线。
2023-02-15 cs.CL
Improving Natural Language Capability of Code Large Language Model
Cooperative Innovation Center, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所协同创新中心);University of Chinese Academy of Sciences(中国科学院大学);Integrative Innovation Center, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所综合创新中心);Peking University(北京大学)
针对代码大语言模型自然语言能力不足的问题,提出由AttentionExtractor和AttentionCoder组成、融合传统NLP工具的框架,并构建涵盖五种语言的MultiNL-H基准验证其有效性。
2024-01-25 cs.CL
Semantics-Aware Inferential Network for Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
对于自然语言理解任务,无论是机器阅读理解还是自然语言推理,语义感知和推理都是相关建模的有利特征,以获得更好的理解性能。因此,我们提出了一个语义感知推理网络(SAIN),以满足这样的动机。SAIN的推理模块以显式语境化语义作为补充输入,通过注意力机制对语义线索进行一系列推理。通过串接这些步骤,推理网络有效地学习执行迭代推理,该迭代推理结合了显式语义和上下文表示。在良好的预训练语言模型作为前端编码器方面,我们的模型在包括机器阅读理解和自然语言推理在内的11个任务上取得了显着的改进。
2020-04-28 cs.CL
Challenging the principle of compositionality in interpreting natural language texts
本文旨在强调,组合性假设在解释自然语言语篇时,即使是放松的组合性假设,也面临着许多问题。与其在组成框架内解决这些问题,我们认为有必要进行更彻底的改变,并提出另一种方法。
2006-09-08 cs.CL
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Controlling What You Share: Assessing Language Model Adherence to Privacy Preferences
ILCC, University of Edinburgh(爱丁堡大学ILCC);ILLC, University of Amsterdam(阿姆斯特丹大学ILLC)
本文提出基于隐私配置文件的本地查询重写框架,并构建多语言数据集 PEEP,使轻量级微调 LLM 在保护敏感信息的同时达到或超过大型零样本模型性能。
2025-10-17 cs.AI cs.CL
Using Answer Set Programming in an Inference-Based approach to Natural Language Semantics
在基于推理的自然语言语义方法中使用答案集编程
2006-07-18 cs.AI cs.CL
A natural language interface to a graph-based bibliographic information retrieval system
Drexel University(德雷塞尔大学)
随着科学文献的不断增加,书目信息检索系统需要一个自然语言接口来有效地检索相关信息。在本文中,我们提出了一个自然语言接口,NLI-GIBIR,以图形为基础的书目信息检索系统。在设计NLI-GIBIR时,我们开发了一个新的框架,可以适用于基于图的书目信息检索系统。我们的框架集成了用于解释和分析自然语言书目查询的算法/算法。NLI-GIBIR允许用户通过自然语言搜索各种书目数据。一系列基于文本和语言学的技术用于分析和回答自然语言查询,包括标记化、命名实体识别和语法分析。我们发现,我们的框架可以有效地代表和解决复杂的书目信息需求。因此,本文的贡献如下:第一,据我们所知,这是第一次尝试提出一个自然语言接口,以图形为基础的书目信息检索。其次,我们提出了一种新的定制自然语言处理框架,集成了一些原始的算法/算法来解释和分析自然语言书目查询。第三,我们提出的框架和自然语言接口提供了一个实用的解决方案,在现实世界中的自然语言接口为基础的书目信息检索系统。我们的实验结果表明,所提出的系统可以正确回答39的40例自然语言查询不同的长度和复杂性。
2016-12-10 cs.CL cs.IR
Natural Language Understanding with Distributed Representation
Center for Data Science, New York University(纽约大学数据科学中心)
这是< Natural Language Understanding with Distributed Representation>2015年秋季纽约大学数据科学中心DS-GA 3001课程的讲义。正如课程名称所示,本课堂讲稿向读者介绍了一种基于神经网络的自然语言理解/处理方法。为了使它尽可能独立,我花了很多时间描述机器学习和神经网络的基础知识,然后才介绍它们如何用于自然语言。在语言方面,我几乎只专注于语言建模和机器翻译,其中两个我个人认为是最吸引人的,也是自然语言理解的基础。
2015-11-24 cs.CL stat.ML
Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
本文提出了一种自动评价对话系统中自然语言生成自然度的方法。虽然这个任务以前是通过昂贵和耗时的人工渲染,我们提出了这个新的任务生成的语言的自动自然度评估。通过微调的BERT模型,我们提出的自然度评价方法显示出强大的结果,并优于基线:支持向量机,双向LSTM,和BLEURT。此外,通过对质量和信息量较高的语言知识进行迁移学习,提高了自然度模型的训练速度和评价性能。
2021-11-26 cs.AI cs.CL
Natural Language Models for Data Visualization Utilizing nvBench Dataset
UC Berkeley School of Information(加州大学伯克利分校信息学院)
本研究利用nvBench数据集,构建基于序列到序列transformer、以BERT为编码器的自然语言翻译模型,将自然语言转为Vega Zero可视化命令,并与T5模型对比,推动数据可视化翻译研究。
2023-10-02 cs.AI cs.CL
Towards a theory of word order. Comment on "Dependency distance: a new perspective on syntactic patterns in natural language" by Haitao Liu et al
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
刘海涛等“依存距离:自然语言句法模式的新视角“述评
2017-06-15 cs.CL physics.soc-ph
Thoth: Improved Rapid Serial Visual Presentation using Natural Language Processing
Georgia Institute of Technology(佐治亚理工学院)
Thoth是一个旨在结合许多不同类型的快速阅读技术的工具。最大的启示是使用自然语言解析更优化的快速串行视觉呈现和更有效的阅读信息。
2019-08-05 cs.CL cs.HC
Information Flow in Pregroup Models of Natural Language
University of York(约克大学)
本文是关于自然语言的前组模型,以及它们如何与前组在成分分布语义学和自然语言处理中的显式范畴使用相关。这些分类解释对自然语言的性质做出了某些假设,当正式陈述时,可能会被视为对自然语言的前群语法施加了强烈的限制。我们正式这作为一个假设的形式,前组模型的自然语言必须采取,并证明了人工语言的例子,这些限制是不强加的前组公理本身。我们比较和对比人工语言的例子与自然语言(使用威尔士语,一种语言的“名词”类型不能作为原始的,作为一个说明性的例子)。这个假设很简单,即目的是传达信息的语言中句子的单词之间必须存在因果联系或信息流。对于由一系列“无意义”规则简单生成的形式语言来说,情况未必如此。这对我们期望在自然语言中找到的前群文法的类型施加了限制;我们用代数、范畴和图形术语来形式化这一点。我们采取一些初步的步骤,提供条件,确保前群模型满足这些约束性质,并讨论更一般的形式,这一假设可能采取。
2018-11-08 cs.CL cs.FL
Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research
University of Potsdam(波茨坦大学);Department of Linguistics(语言学系)
“这篇论文介绍了一个新的任务和一个新的数据集”,“我们通过Y改进了X的最新技术水平”--很难找到一篇当前的自然语言处理论文(或更普遍的AI论文)不包含这样的陈述。然而,最隐含的是这样一种假设,即这必然构成进步,以及它构成了什么样的进步。在这里,我们更精确的印象通常使用的语言任务和语言游戏的概念,并询问如何建立在这些研究计划可能取得进展的目标建模一般的语言能力。
2019-08-28 cs.AI cs.CL
From quantum foundations via natural language meaning to a theory of everything
University of Oxford(牛津大学)
在本文中,我们主张从“还原论”到“团结”的范式转变。特别是,我们展示了量子理论中系统之间的相互作用如何自然地转移到建模单词含义如何在自然语言中相互作用。由于自然语言中的意义取决于学科领域,涵盖了任何科学学科中的讨论,因此我们获得了社会互动、动物行为等理论的模板。
2016-02-22 cs.CL quant-ph
NLOMJ--Natural Language Object Model in Java
本文以英语为实验语言,介绍了Java语言中的自然语言对象模型NLOMJ。该模型用面向对象程序设计中的“对象”概念描述了自然语言中任何允许的表达式的语法元素及其相互之间的复杂关系。它直接映射到自然语言的语法和语义,可以作为一种语言学方法用于信息检索。围绕NLOMJ的UML图,介绍了重要的类(句子、子句和短语)及其子类,并解释了它们的语法和语义意义。
2006-02-06 cs.CL cs.PL
Using Large Language Models for (De-)Formalization and Natural Argumentation Exercises for Beginner's Students
EUF Flensburg(弗伦斯堡欧洲大学);Institut für Mathematik Europa-Universität Flensburg(弗伦斯堡欧洲大学数学研究所)
本研究开发了两个基于大语言模型的自动批改系统,可分别用于逻辑形式化互译练习与自然论证写作练习,助力初学者相关能力训练。
2024-04-10 cs.CL math.LO
GANCoder: An Automatic Natural Language-to-Programming Language Translation Approach based on GAN
Northeastern University(东北大学)
我们提出了GANCoder,一种基于生成对抗网络(GAN)的自动编程方法,它可以根据给定的自然语言语句生成相同的功能和逻辑程序设计语言代码。生成器和编译器之间的对抗训练有助于生成器学习数据集的分布,提高代码生成质量。我们的实验结果表明,GANCoder可以达到与最先进的方法相当的准确性,并且在使用程序设计语言时更稳定。
2019-12-02 cs.CL cs.LG
Position: Natural Language Should Not Fully Replace Formal Languages
针对自然语言能否完全取代形式语言的争议,引入基于“任务特异性”的形式框架并证明“特异性交叉定理”,通过跨模态案例分析表明二者各有优势,是互补工具,倡导开发混合系统。
2026-07-24 cs.CL cs.PL
Attributes as Semantic Units between Natural Language and Visual Recognition
ICSI(国际计算机科学研究所)
在计算机视觉和自然语言处理领域取得了令人印象深刻的进展。然而,为这些非常不同的模式找到最佳互动点仍然是一个挑战。在本章中,我们将讨论属性如何使我们能够在两种模态之间交换信息,并以这种方式导致语义层面上的交互。具体来说,我们讨论了属性如何允许使用从语言资源中挖掘的知识来识别新的视觉类别,我们如何生成关于图像和视频的句子描述,我们如何在视觉内容中建立自然语言,最后,我们如何回答关于图像的自然语言问题。
2016-04-12 cs.CL cs.CV
Natural Language Generation Using Link Grammar for General Conversational Intelligence
Saratoga High School(萨拉托加高中);SingularityNET Foundation(奇点网络基金会);Aigents(Aigents公司);Novosibirsk State University(新西伯利亚国立大学)
许多当前的人工通用智能(AGI)和自然语言处理(NLP)架构不具备通用会话智能-也就是说,它们要么不处理语言,要么无法在没有手动劳动密集型方法(如基于模板的定制)的情况下以类似于人类语言的形式传达知识。在本文中,我们提出了一种使用Link Grammar数据库自动生成语法有效句子的新技术。这种自然语言生成方法远远优于当前最先进的基线,并且可以作为原型AGI问答管道中的最终组件,可以理解地处理自然语言材料。
2021-04-19 cs.AI cs.CL
Phoneme-level speech and natural language intergration for agglutinative languages
针对基于TDNN的大词汇量连续语音识别系统,提出了一种新的紧耦合语音和自然语言集成模型。不同于流行的n-best技术开发的主要基于HMM的语音和自然语言系统在词的水平,这显然是不够的形态复杂的粘着语言,我们的模型构建了一个口语系统的基础上音素级的整合。TDNN-CYK口语体系结构的设计和实现使用基于TDNN的双音子识别模块与表驱动的语音/形态学的联合分析。我们的集成模型提供了一个无缝集成的语音和自然语言的连接语音识别系统,特别是对于形态复杂的语言,如韩语。实验结果表明,该方法可以将基于说话人的连续词识别与形态分析相结合,对于中等词汇量的语音输入,形态分析的成功率超过80%。
1994-11-05 cmp-lg cs.CL