CST5: Data Augmentation for Code-Switched Semantic Parsing
Google（谷歌）
将语义解析器扩展到代码交换输入一直是一个具有挑战性的问题，主要是由于缺乏监督的训练数据。在这项工作中，我们介绍了CST5，一种新的数据增强技术，微调T5模型使用一个小的种子集（$\approx$ 100话语），以产生代码转换的话语从英语话语。我们表明，CST5生成高质量的代码转换数据，无论是内在的（每人的评价）和extraderior通过比较基线模型，没有数据增强的训练模型与增强的数据。根据经验，我们观察到使用CST 5，可以通过使用多达20倍的标记数据来实现相同的语义解析性能。为了帮助这一领域的进一步研究，我们还发布了（a）Hinglish-TOP，迄今为止最大的人类注释代码转换语义解析数据集，包含10k人类注释印地语-英语（Hinglish）代码转换话语，以及（b）超过170K CST 5从TOPv2数据集生成的代码转换话语。人工评估表明，人工注释的数据以及CST 5生成的数据质量良好。
2022-11-14 cs.CL
Diverse In-Context Example Selection After Decomposing Programs and Aligned Utterances Improves Semantic Parsing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Amazon（亚马逊公司）
提出SCUD4ICL系统，通过分解AST树片段并映射对齐话语，结合多样化上下文示例选择，显著提升LLMs在语义解析任务中的准确率。
2025-04-04 cs.CL
Dialogue Response Prefetching Based on Semantic Similarity and Prediction Confidence of Language Model
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；Tokyo Institute of Technology（东京技术大学）
本文提出基于语义相似度和语言模型预测置信度的对话响应预取方法，旨在减少用户感知延迟。
2026-01-13 cs.CL
Zero-Shot Learning for Semantic Utterance Classification
University of Montreal（蒙特利尔大学）；Microsoft Research（微软研究院）
提出一种新的零样本学习方法用于语义话语分类。它学习一个分类器$f: X \to Y$，用于在训练集中不存在任何语义类别$Y$的问题。该框架揭示了使用语义空间的类别和话语之间的联系。我们证明了这个语义空间可以通过在大量搜索引擎查询日志数据上训练的深度神经网络来学习。更确切地说，我们提出了一种新的方法，可以学习判别语义特征，而无需监督。它使用零样本学习框架来指导语义特征的学习。我们证明了zero-shot语义学习算法在（Tur，2012）收集的SUC数据集上的有效性。此外，我们通过将语义特征与监督方法相结合来实现最先进的结果。
2014-03-07 cs.CL cs.LG
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本研究通过波兰语场景下的两项实验，探究大语言模型从带噪声对话转录中提取语法规范话语的能力，发现其相关能力仍较表层，未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training
AWS AI Labs（AWS人工智能实验室）
最近，通过利用大规模文本语料库来训练具有自监督学习目标的大型神经语言模型，例如掩蔽语言模型（MLM），对学习用于各种NLP任务的上下文表示产生了极大的兴趣。然而，基于试点研究，我们观察到三个问题，现有的通用语言模型，当它们被应用到文本到SQL语义解析器：未能检测列提到的话语，未能推断列提到的细胞值，并未能组成复杂的SQL查询。为了缓解这些问题，我们提出了一个模型预训练框架，生成增强预训练（GAP），通过利用生成模型来生成预训练数据，联合学习自然语言话语和表模式的表示。GAP MODEL在2 M话语-模式对和30 K话语-模式-SQL三元组上训练，其话语由生成模型产生。基于实验结果，利用GAP MODEL作为表示编码器的神经语义解析器在SPIDER和CRITERIA-TO-SQL基准测试中获得了最新的结果。
2020-12-18 cs.CL
Triple GNNs: Introducing Syntactic and Semantic Information for Conversational Aspect-Based Quadruple Sentiment Analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；The National Computer Network Emergency Response Technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
本文提出Triple GNNs网络，结合GCN建模话语内句法依赖和DualGATs建模话语间语义交互，显著提升对话式四元组情感分析性能。
2024-03-15 cs.CL
The Acquisition of a Lexicon from Paired Phoneme Sequences and Semantic Representations
我们提出了一个算法，获取单词（配对的语音形式和语义表示）从较大的话语未分割的音素序列和语义表示。该算法保持从话语到话语只有一个连贯的字典，并学习存在的同音异义词，同义词，和噪音。测试结果超过语料库的话语产生的Childes数据库的母子互动。
1994-07-15 cmp-lg cs.CL
Mining Clues from Incomplete Utterance: A Query-enhanced Network for Incomplete Utterance Rewriting
Peking University（北京大学）
针对不完整话语重写中语义结构建模不足的问题，提出查询增强网络QUEEN，通过查询模板显式引入语义结构知识并结合编辑操作评分网络，在多个公开数据集上取得最先进性能。
2023-07-27 cs.AI cs.CL
Learning from Executions for Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
语义解析的目的是将自然语言（NL）语句翻译成机器可解释的程序，该程序可以在真实世界的环境中执行。长期以来，昂贵的话语-程序对注释一直被认为是将当代神经模型部署到现实生活应用中的主要瓶颈。在这项工作中，我们专注于半监督学习的任务，其中有限数量的注释数据与许多未标记的NL话语。基于观察到的程序，对应于NL的话语必须始终是可执行的，我们建议鼓励分析器生成可执行程序的未标记的话语。由于可执行程序的大搜索空间，使用基于波束搜索的近似的常规方法（诸如自训练和前k个边际似然训练）不能很好地执行。相反，我们从后验正则化的角度来看待从执行中学习的问题，并提出了一组新的训练目标。在Overnight和GeoQuery上的实验结果表明，我们的新目标优于传统方法，弥补了半监督学习和监督学习之间的差距。
2021-04-12 cs.CL
A Multi-view Discourse Framework for Integrating Semantic and Syntactic Features in Dialog Agents
针对现有多轮对话模型忽略话语交互或同等对待所有话语的问题，本文提出语篇感知框架，通过MCCA和CCA两步法整合语义与句法特征，在Ubuntu语料库上提升响应选择效果。
2025-04-12 cs.CL
Weakly-supervised Neural Semantic Parsing with a Generative Ranker
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
弱监督语义解析器在话语-指称对上进行训练，将逻辑形式视为潜在的。由于搜索空间大和逻辑形式的虚假性，该任务具有挑战性。在本文中，我们介绍了一个神经分析器排名系统的弱监督语义解析。该分析器使用指称的线索从话语生成候选树结构逻辑形式。这些候选人，然后排名的基础上两个标准：他们的可能性执行正确的表示，和他们的协议与话语语义。我们提出了一个预定的培训程序，以平衡这两个目标的贡献。此外，我们建议使用一个神经编码的词典注入先验领域知识的模型。三个Freebase数据集上的实验证明了我们的语义解析器的有效性，达到了最先进的范围内的结果。
2018-08-23 cs.CL
Look-up and Adapt: A One-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；LAER AI, Inc.（LAER AI公司）
计算设备近来已经变得能够经由自然语言与它们的终端用户交互。然而，它们只能在有限的“支持”话语域中运行，并且在面对域外话语时会严重失败，这主要是由于它们的语义分析器的限制。在本文中，我们提出了一种语义解析器，通过学习一个通用的策略，通过适应看到的话语的逻辑形式来解析一个看不见的话语，而不是从头开始学习生成一个逻辑形式，从而概括出域外的例子。我们的分析器保持一个内存组成的一个代表性的子集，看到的话语与他们的逻辑形式配对。给定一个看不见的话语，我们的解析器的工作原理是从内存中查找一个类似的话语，并调整其逻辑形式，直到它适合看不见的话语。此外，我们提出了一个数据生成策略，用于构建不同领域的话语逻辑形式对。我们的研究结果显示，与基线相比，在两种不同的评估设置下，单次解析的性能提高了68.8%。
2019-10-27 cs.CL cs.LG
Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder
LIA - Avignon Université, France（阿维尼翁大学LIA中心，法国）
本文提出统一的后训练框架，使语音基础模型能生成多种语句层面的表示，用于多语言语音检索和说话人识别。
2026-03-09 cs.CL
Open Intent Discovery through Unsupervised Semantic Clustering and Dependency Parsing
SpeechX Limited（SpeechX有限公司）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
意图理解在对话系统中起着重要的作用，并且通常被公式化为监督学习问题。然而，从头开始为新领域设计意图是具有挑战性和耗时的，这通常需要领域专家的大量手动工作。本文提出了一种无监督的两阶段方法来发现意图和自动生成有意义的意图标签从一个领域中的未标记的话语的集合。在第一阶段，我们的目标是生成一组语义连贯的集群，其中每个集群内的话语传达相同的意图。我们从各种预训练的句子嵌入中获得话语表示，并提出了一个平衡得分的度量来确定平衡数据集的K-均值聚类中的最佳聚类数。在第二阶段，目标是为每个聚类自动生成意图标签。我们使用依赖解析器从每个话语中提取动作-对象对，并在每个聚类中取最频繁的对，例如，book-restaurant作为生成的intent标签。实验结果表明，该方法可以自动生成有意义的意图标签，并在话语聚类和意图发现中实现高精度和召回率。
2021-12-14 cs.CL
Few-Shot Adaptation for Parsing Contextual Utterances with LLMs
UC Berkeley（加州大学伯克利分校）；Microsoft Semantic Machines（微软语义机器部门）
本文研究大语言模型语义解析器在少样本条件下处理上下文话语的问题，构建SMCalFlow-EventQueries数据集并比较四种解析范式，发现Rewrite-then-Parse在准确率、标注成本和错误类型方面综合表现最优。
2023-09-18 cs.CL
Tracking Interaction States for Multi-Turn Text-to-SQL Semantic Parsing
University of Science and Technology of China（中国科学技术大学）；Baidu Research（百度研究院）；iFLYTEK Research（讯飞研究院）
多轮文本到SQL语义解析的任务旨在将交互中的自然语言话语翻译成SQL查询，以便使用通常包含多个表模式的数据库来回答它们。以往的研究通常利用语境信息来丰富话语表征并进一步影响解码过程。而忽略了对由历史SQL查询确定的、与当前话语意图相关的交互状态进行描述和跟踪。本文分别基于模式项和SQL关键字定义了两种交互状态。设计了一个关系型图神经网络和一个非线性层来分别更新这两种状态的表示。然后利用动态模式状态和SQL状态表示来解码与当前话语相对应的SQL查询。在具有挑战性的CoSQL数据集上的实验结果证明了该方法的有效性，该方法在任务排行榜上取得了比其他已发表方法更好的性能。
2020-12-09 cs.CL
Incomplete Utterance Rewriting as Semantic Segmentation
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；Microsoft Research（微软研究院）
近年来，不完整话语的改写问题引起了人们的广泛关注。以前的工作通常将其塑造为一个机器翻译任务，并采用基于序列到序列的体系结构与复制机制。在本文中，我们提出了一种新的和广泛的方法，制定它作为一个语义分割任务。而不是从零开始生成，这样的配方介绍了编辑操作和形状的问题作为一个字级编辑矩阵的预测。受益于能够捕获本地和全球信息，我们的方法在几个公共数据集上实现了最先进的性能。此外，我们的方法比标准方法的推理速度快四倍。
2020-09-28 cs.CL cs.LG
On The Ingredients of an Effective Zero-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；IBM Research（IBM研究院）
语义解析器将自然语言话语映射成意义表示（例如，程序）。由于需要费力的注释工作，这种模型通常会受到训练数据缺乏的影响。最近的研究已经通过合成来自语法的规范话语和程序的训练样本来执行零样本学习，并进一步释义这些话语以提高语言多样性。然而，这样的合成示例不能完全捕获真实数据中的模式。在本文中，我们通过语言和逻辑差距（Herzig和Berant，2019）的镜头分析了zero-shot解析器，这些镜头量化了规范示例和真实世界用户发布的示例之间的语言和编程模式的差异。我们建议使用改进的语法，更强的释义和有效的学习方法，使用最有可能反映真实用户意图的规范示例来弥合这些差距。我们的模型在两个语义解析基准测试（Scholar，Geo）上实现了强大的性能，零标记数据。
2021-10-15 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon（亚马逊）；Georgia Institute of Technology（佐治亚理工学院）
最近的研究表明，结合预训练的语言模型（LM）与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构，规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调，LM很容易忘记预先训练的知识，过拟合虚假偏差，并遭受成分分布外泛化错误。为了解决这些问题，我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题，这些子问题对应于形式语言的子子句。基于分解，LM仅需要使用用于预测子子句的提示来生成简短答案。因此，SeqZero避免一次生成长的规范话语。此外，SeqZero不仅采用了Few-Shot模型，而且还采用了zero-shot模型来减轻过拟合。特别是，SeqZero通过集成配备了我们提出的约束重新缩放，从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能，这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.（日立有限公司）
本文提出了一种新的框架，会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化，使得系统能够处理重叠语音，而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明，我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率（CER），而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明，我们的框架实现了21.8%的CER，仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
Effective weakly supervised semantic frame induction using expression sharing in hierarchical hidden Markov models
University of Antwerp（安特卫普大学）；KU Leuven（鲁汶大学）；TEXTGAIN
我们提出了一个框架，从话语中的自适应命令和控制界面的语义框架的感应。该系统是在单个用户的话语和表示控件的相应语义框架上训练的。在训练期间，没有关于话语段与帧时隙和值之间的对准的先验信息可用。此外，训练数据中的语义帧可以包含未在话语中表达的信息。为了解决这个弱监督分类任务，我们提出了一个基于隐马尔可夫模型（HHRM）的框架。结构修改，导致一个层次的HMM，和一个扩展称为表达式共享的介绍，以尽量减少训练时间和用户所需的工作量。用于本研究的数据集是PATCOR，其中包含在语音引导的纸牌游戏Patience的上下文中发出的命令。实验进行了正字法和语音的命令，分割不同级别的n-gram粒度。实验结果表明，所有研究的系统扩展的积极影响，与不同的输入表示之间的一些效果差异。最后，通过对最优系统配置下的Hold out数据进行评价实验，证明了该扩展系统能够以相对较少的训练数据达到较高的精度。
2019-01-30 cs.CL
CIG: Measuring Conversational Information Gain in Deliberative Dialogues with Semantic Memory Dynamics
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
本文提出CIG框架，通过语义记忆动态评估辩论对话中每个发言对集体理解的推进，展示基于记忆动态的指标比传统方法更有效。
2026-04-20 cs.CL
Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
Facebook（脸书）
构建seq 2seq、非自回归、面向任务的解析器以将话语映射到语义框架的有效方法分三个步骤进行：编码话语$x$、预测帧的长度|y|、以及用话语和本体令牌解码|y|大小的帧。虽然这些模型在经验上很强，但通常会受到长度预测的检验，因为即使是很小的不准确也会改变结果帧的句法和语义特征。在我们的工作中，我们提出了跨度指针网络，将解码任务从文本生成转移到跨度预测的非自回归解析器;也就是说，当将话语跨度输入到帧时隙时，我们的模型产生端点（例如，[i，j]）而不是文本（例如，“6pm”）。输出空间的这种自然量化减少了黄金帧的可变性，从而改善了长度预测，并最终实现了精确匹配。此外，长度预测现在负责帧语法，解码器负责帧语义，从而产生由粗到精的模型。我们评估我们的方法在几个面向任务的语义解析数据集。值得注意的是，我们弥合了非自回归和自回归解析器之间的质量差距，在TOPv 2上实现了87个EM（Chen et al. 2020）。此外，由于我们更一致的黄金框架，我们在低资源环境下的跨域和跨语言迁移中显示出模型泛化的显著改善。最后，由于我们减少了输出词汇，我们观察到与之前的非自回归解析器相比，在波束大小为5时，延迟减少了70%，内存减少了83%。
2021-09-14 cs.CL
Cross-lingual Back-Parsing: Utterance Synthesis from Meaning Representation for Zero-Resource Semantic Parsing
POSTECH（浦项科技大学）；aiXplain, Inc.（aiXplain公司）
本文提出跨语言回解析（CBP）方法，利用多语言预训练语言模型的表示几何结构，从源语言意义表示合成目标语言话语，在零资源条件下有效提升语义解析的跨语言迁移性能。
2024-10-01 cs.AI cs.CL
Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations
Amazon（亚马逊）；Amazon Alexa（亚马逊Alexa）；Berlin, Germany（德国柏林）；Cambridge, MA, USA（美国马萨诸塞州剑桥）
现代对话式AI系统支持自然语言理解，具有多种功能。虽然这些任务中的大多数可以使用意图和槽的简单和平面表示来完成，但更复杂的功能需要由语义解析支持的复杂分层表示。最先进的语义解析器是使用监督学习来训练的，其中数据根据分层模式进行标记，这可能是昂贵的，或者对于新的领域来说是不容易获得的。在这项工作中，我们探索了使用预训练的去噪序列到序列模型（即，BART）。具体来说，我们首先提取掩蔽模板从现有的标记的话语，然后微调BART生成合成话语上提取的模板调节。最后，我们使用一个辅助语法分析器（AP）过滤生成的话语。AP保证生成数据的质量。我们展示了我们的方法在Facebook TOP数据集上评估导航域时的潜力。
2020-11-03 cs.CL
Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
多话轮会话包含复杂的语义结构，在已有话语的基础上生成连贯多样的会话仍然是一个挑战。实际上，会话发生在一个背景下，同时，查询和响应通常是最相关的，它们在主题上是一致的，但在内容上也是不同的。然而，很少有研究关注话语之间的这种等级关系。为了解决这个问题，我们提出了一个会话语义关系RNN（CSRR）模型来显式地构建依赖关系。该模型包含三个层次的潜变量。语篇层次的语义模型反映了语言的整体背景，语对层次的语义模型反映了语言查询和响应之间的共同主题信息，而话语层次的语义模型则试图反映语言内容的差异。实验结果表明，我们的模型显着提高响应的流畅性，一致性和多样性方面的质量相比，基线方法。
2019-06-18 cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中，我们提出了一个结构感知的神经架构，它分解成两个阶段的语义解析过程。给定一个输入话语，我们首先生成其含义的粗略草图，其中低级别信息（如变量名和参数）被掩盖。然后，我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明，我们的方法不断提高性能，实现竞争力的结果，尽管使用相对简单的解码器。
2018-05-12 cs.CL
Filling Conversation Ellipsis for Better Social Dialog Understanding
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
省略现象普遍存在于社会会话中。省略增加了一系列下游语言理解任务的难度，例如对话行为预测和语义角色标注。我们建议通过自动完成句子来解决省略，以提高语言理解。然而，自动省略补全可能导致输出不能准确地反映用户意图。为了解决这个问题，我们提出了一种方法，该方法同时考虑了具有省略的原始话语和对话行为和语义角色标注任务中自动完成的话语。具体来说，我们首先完成用户话语解决省略使用端到端指针网络模型。然后，我们训练一个预测模型，使用包含省略的话语和我们自动完成的话语。最后，我们结合这两个话语的预测结果，使用一个选择模型，是由专家知识指导。在社交会话中，我们的方法在F1得分上分别提高了1.3%和2.5%的对话行为预测和语义角色标注。我们还提出了一个开放域的人机对话数据集手动完成用户的话语和注释后，手动完成的语义角色标注。
2019-11-25 cs.AI cs.CL
Dialogue Act Sequence Labeling using Hierarchical encoder with CRF
IBM Research（IBM研究院）
对话行为识别关联对话行为（即，语义标签）到对话中的话语。将语义标签与话语相关联的问题可以被视为序列标签问题。在这项工作中，我们构建了一个分层递归神经网络，使用双向LSTM作为基本单元，条件随机场（CRF）作为顶层，将每个话语分类为其相应的对话行为。分层网络在多个级别学习表示，即，单词级、话语级和会话级。会话级表示被输入到CRF层，CRF层不仅考虑所有先前的话语，而且考虑它们的对话行为，从而对标签和话语之间的依赖性进行建模，这是自然对话的重要考虑因素。我们验证了我们的方法在两个不同的基准数据集，交换机和会议记录器对话行为，并显示性能的改善，在国家的最先进的方法，分别由$2.2\%$和$4.1\%$绝对点。值得注意的是，Switchboard数据集上的注释器间一致性是$84\%$，尽管在噪声数据上进行了训练，但我们的方法仍能够实现约$79\%$的准确性。
2017-09-14 cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语，大多数语义解析系统将该问题作为一次性翻译，其中话语被映射到对应的逻辑形式。在本文中，我们研究了一个更具交互性的场景，人类可以进一步与系统进行交互，提供自由形式的自然语言反馈，以纠正系统时，它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造，SPLASH，一个数据集的话语，不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务，并表明，将这样一个丰富的反馈形式，可以显着提高整体语义解析的准确性，同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%，但我们的最佳模型仅达到25.1%，这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego（加州大学圣迭戈分校）；Microsoft Semantic Machines（微软语义机器公司）
我们探讨使用大语言模型（LLM）的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练，并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中，我们提出了ZEROTOP，一个zero-shot面向任务的分析方法，将语义解析问题分解成一组抽象和提取的问答（QA）问题，使我们能够利用LLM的能力，zero-shot回答阅读理解问题。对于每一个话语，我们提示LLM与问题相对应的顶级意图和一组插槽，并使用LLM代构建的目标意义表示。我们观察到，目前的LLM无法检测到无法回答的问题，因此，无法处理与缺失插槽对应的问题。为了解决这个问题，我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明，我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%，而不需要任何注释数据。
2022-12-21 cs.CL
Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing
Meta
近年来，面向任务的语义解析模型取得了很好的效果，但不幸的是，它在模型大小、运行时延迟和跨域泛化能力之间没有取得令人满意的平衡。我们解决这个问题，通过引入基于XML的语义解析：原始任务的一个变体，首先需要消除歧义的话语的“场景”（一个意图槽模板可变叶跨度），然后生成其框架，完成本体和话语令牌。这个公式使我们能够隔离任务的粗粒度和细粒度方面，每个方面我们都用现成的神经模块来解决，同时也优化了上面列出的轴。具体来说，我们创建了一个检索和填充（RAF）架构，包括（1）检索模块，它排名最好的情况下的话语和（2）填充模块，它将跨度到场景中创建帧。我们的模型是模块化的，可区分的，可解释的，并允许我们从场景中获得额外的监督。RAF在高资源、低资源和多语言环境中取得了很好的效果，尽管使用了基本的预训练编码器、小序列长度和并行解码，但其性能远远优于最近的方法。
2022-02-02 cs.CL
Measuring and Mitigating Constraint Violations of In-Context Learning for Utterance-to-API Semantic Parsing
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；AWS AI Labs（亚马逊云服务人工智能实验室）
本研究针对LLM在话语到API语义解析中的约束违规问题，定义了细粒度指标进行分析，并提出SRD和API-CD两种缓解策略，有效提升了生成质量但需权衡复杂性与延迟。
2023-05-24 cs.AI cs.CL
A Good Sample is Hard to Find: Noise Injection Sampling and Self-Training for Neural Language Generation Models
Columbia University（哥伦比亚大学）
深度神经网络（DNN）正在迅速成为许多自然语言生成（NLG）任务的事实上的标准建模方法。为了使这些模型真正有用，它们必须能够在测试时正确地生成新意义表示（MR）的话语。在实践中，即使是复杂的DNN与各种形式的语义控制经常无法生成忠实于输入MR的话语。在本文中，我们提出了一种架构不可知的自训练方法，以采样新的MR/文本话语对，以增加原始的训练数据。值得注意的是，在对增强数据进行训练之后，即使是具有贪心解码的简单编码器-解码器模型也能够生成语义正确的话语，这些话语在自动和人工质量评估中与最先进的输出一样好。
2019-11-08 cs.CL
On Robustness of Neural Semantic Parsers
Monash University（莫纳什大学）；Deakin University（迪肯大学）
语义解析将自然语言的话语映射为逻辑形式，这是许多高级自然语言处理问题的基础。语义解析器通过深度神经网络获得性能提升，但继承了对抗性示例的漏洞。在本文中，我们提供了在存在对抗攻击的语义解析器的鲁棒性的实证研究。形式上，语义解析的对手被认为是扰动的话语-LF对，其话语具有与原始话语完全相同的含义。提出了一种基于已有基准语料库的可扩展鲁棒性测试集构造方法。我们的研究结果回答了五个研究问题，在衡量最先进的解析器的鲁棒性测试集的性能，并评估数据增强的效果。
2021-02-03 cs.AI cs.CL
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Multi-Granularity Information Interaction Framework for Incomplete Utterance Rewriting
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Ant Group（蚂蚁集团）
针对不完整话语重写中重要词来源捕捉不足的问题，提出多任务信息交互框架，通过上下文选择、编辑矩阵构建和相关性合并捕捉多粒度语义信息，在两个基准数据集上超越现有最先进模型。
2024-01-08 cs.CL
"When Words Fail, Emojis Prevail": Generating Sarcastic Utterances with Emoji Using Valence Reversal and Semantic Incongruity
Islamic University of Technology（伊斯兰科技大学）
针对反讽生成多局限于文本的现状，提出将任务拆分为文本反讽生成（融入效价反转、语义不一致要素）和关联emoji收集两部分的新架构，经人工评估验证效果，代码数据已公开。
2023-06-16 cs.CL
Hinting Semantic Parsing with Statistical Word Sense Disambiguation
University of Rochester（罗切斯特大学）
语义解析的任务可以近似为将话语转换为逻辑形式图，其中边表示语义角色，节点表示词义。所得到的表示应该捕获话语的含义并且适合于推理。词义和语义角色是相互依存的，词义分配错误会导致语义角色分配错误，反之亦然。虽然统计方法的词义消歧优于逻辑，基于规则的语义解析器的原始词义分配，这些统计词义消歧系统不产生丰富的角色结构或详细的语义表示的输入。在这项工作中，我们提供了一个统计的WSD系统的提示，以指导逻辑语义解析器产生更好的语义类型分配，同时保持所产生的逻辑形式的合理性。我们观察到F分数提高了10.5%，但是我们发现这种提高是以语法分析的结构完整性为代价的
2020-07-06 cs.CL
Sequence-to-Sequence Data Augmentation for Dialogue Language Understanding
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本文研究面向任务的对话系统中语言理解的数据增强问题。在以前的工作，增强话语，而不考虑其与其他话语的关系，我们提出了一个序列到序列生成的数据增强框架，利用一个话语的相同的语义替代品的训练数据。在话语表示中引入了一种新的多样性秩，使模型产生多样的话语，这些多样性增强的话语有助于提高语言理解模块。在航空公司旅游信息系统数据集和斯坦福大学多回合多领域对话数据集上新创建的语义框架注释上的实验结果表明，当仅表示数百个话语的训练集时，我们的框架分别实现了6.38和10.04的F分数的显着提高。案例研究也证实，我们的方法产生不同的话语。
2018-07-04 cs.AI cs.CL
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Content is What Remains: Invariant Speech Tokenization from Parallel Utterances
nyra labs（nyra实验室）
研究针对离散语音分词器问题，提出PINT方法，通过微调SSL编码器及相关损失和增强来提取共享残差，降低条件熵，使词元保留时间基础，实验证明该方法能有效提升效果，正确不变性对高效学习很关键。
2026-07-22 cs.CL
Semantic query-by-example speech search using visual grounding
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里，我们考虑这样的模型可以用于查询的例子（QBE）搜索，检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE，其中的任务不仅是检索话语包含确切的查询实例，但也话语的意义是相关的查询。我们遵循分段QBE方法，其中可变持续时间的语音段（查询，搜索话语）被映射到固定维度的嵌入向量。我们表明，使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
Diagnosing Transformers in Task-Oriented Semantic Parsing
Facebook（脸书）
现代面向任务的语义解析方法通常使用seq 2seq Transformers将文本话语映射到由意图和槽组成的语义框架。虽然这些模型在经验上是强大的，但它们的具体优点和缺点在很大程度上仍未得到探索。在这项工作中，我们研究BART和XLM-R，两个国家的最先进的解析器，跨单语和多语言设置。我们的实验产生了几个关键结果：基于transformer的解析器不仅要消除意图/插槽的歧义，而且还要生成语法有效的框架。虽然预训练给Transformers注入了句法归纳偏差，但我们发现将话语跨度复制到帧中的歧义通常会导致树无效，这表明跨度提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示了基于transformer的解析器为框架是否可能正确或不正确提供了足够的指标，使它们更容易部署在生产环境中。
2021-05-27 cs.CL
Discovering Dialog Structure Graph for Open-Domain Dialog Generation
Harbin Institute of Technology（哈尔滨工业大学）；Baidu, Inc.（百度公司）
从人-人对话中学习可解释的对话结构产生对对话结构的基本见解，并且还提供背景知识以促进对话生成。在本文中，我们进行无监督的发现对话结构的聊天语料库，然后利用它来促进下游系统中的对话生成。为此，我们提出了一个离散变分自动编码器与图神经网络（DVAE-GNN），发现一个统一的人类可读的对话结构。该结构是一个两层有向图，包含会话级语义在上层顶点，话语级语义在下层顶点，和这些语义顶点之间的边缘。特别是，我们将GNN集成到DVAE中，以微调话语级语义，从而更有效地识别会话级语义顶点。此外，为了减轻发现大量话语级语义的困难，我们设计了一种耦合机制，将每个话语级语义顶点与一个不同的短语绑定，以提供先验语义。在两个基准语料库上的实验结果证实了DVAE-GNN能够发现有意义的对话结构，并且使用对话结构图作为背景知识可以促进基于图的会话系统进行连贯的多轮对话生成。
2020-12-31 cs.AI cs.CL
Few-Shot Semantic Parsing with Language Models Trained On Code
Microsoft Semantic Machines（微软语义机器公司）
当提示上下文示例时，大语言模型可以用很少的训练数据执行语义解析。已经表明，这可以通过将问题公式化为释义到规范话语中来改进，这将潜在的含义表示转换为受控的自然语言样表示。直觉上，这样的模型可以更容易地输出规范的话语，因为它们更接近用于预训练的自然语言。最近，像OpenAI Codex这样的预先训练过代码的模型已经崭露头角。对于语义解析任务，我们映射到代码的自然语言，这样的模型可能会证明更善于it. In本文中，我们测试了这一假设，并发现，法典执行更好的比等价的GPT-3模型在这样的任务。我们对Overnight和SMCalFlow进行了评估，发现与GPT-3不同，Codex在直接针对意义表示时的表现类似，这可能是因为意义表示的结构与这些数据集中的代码相似。
2022-05-29 cs.CL
Text is no more Enough! A Benchmark for Profile-based Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
当前对口语语言理解（SLU）的研究严重限于一个简单的设置：基于纯文本的SLU，其将用户话语作为输入并生成其相应的语义框架（例如，意图和插槽）。不幸的是，这样一个简单的设置可能无法工作在复杂的现实世界的情况下，当话语是语义模糊的，这是不能实现的基于文本的SLU模型。在本文中，我们首先介绍了一个新的和重要的任务，基于轮廓的口语语言理解（ProSLU），这需要模型，不仅依赖于纯文本，而且还支持轮廓信息，以预测正确的意图和槽。为此，我们进一步介绍了一个大规模的人类注释的中文数据集，超过5 K的话语和相应的支持档案信息（知识图谱（KG），用户简档（UP），上下文感知（CA））。此外，我们评估了几个国家的最先进的基线模型，并探讨了多层次的知识适配器，以有效地将配置文件信息。实验结果表明，现有的基于文本的SLU模型在语义模糊的情况下都不能正常工作，而我们提出的框架能够有效地融合语义级意图检测和标记级槽填充的支持信息.最后，总结了当前的主要挑战，并对未来的研究方向提出了新的观点，希望能对今后的研究起到一定的促进作用。
2022-01-12 cs.CL
Addressing Resource and Privacy Constraints in Semantic Parsing Through Data Augmentation
UC Berkeley（加州大学伯克利分校）；Microsoft Semantic Machines（微软语义机器公司）
我们介绍了一种新的设置低资源面向任务的语义解析，其中包括几个限制，可能会出现在现实世界的情况下：（1）缺乏类似的数据集/模型从相关领域，（2）无法直接从语法采样有用的逻辑形式，（3）隐私要求未标记的自然话语。我们的目标是改善低资源的语义分析器使用通过用户交互收集的话语。在这个极具挑战性但现实的环境中，我们研究数据增强方法，包括生成一组对应于逻辑形式的结构化规范话语，然后模拟相应的自然语言并过滤所产生的对。我们发现，尽管我们的设置受到限制，但这种方法是有效的：在复杂SMCalFlow数据集的低资源设置中（Andreas等人，2020年），我们观察到33%的相对改善超过非数据增强的基线在前1匹配。
2022-05-18 cs.AI cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词（在文本中）表示为携带语义信息的向量，但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练，除非需要单词边界。在本文中，我们扩展了音频Word2Vec从词级到话语级，提出了一个新的分段音频Word2Vec，其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强，所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器（SSAE）实现的，其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明，在无监督的口语分词和口语词检测应用中表现出非常好的性能（明显优于基于帧的DTW）。
2018-08-07 cs.CL
RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing
University of Utah（犹他大学）；Facebook Conversational AI（Facebook对话式AI）
虽然大型预训练语言模型在其参数中积累了大量知识，但已经证明，使用非参数检索记忆对其进行增强具有许多好处，例如提高以知识为中心的任务（例如问答）的数据效率的准确性。在本文中，我们将基于检索的建模思想应用于会话助手的多领域面向任务的语义解析问题。我们的方法，RetroNLU，扩展了一个序列到序列的模型架构与检索组件，用于获取现有的类似的例子，并提供它们作为一个额外的输入模型。特别是，我们分析了两种设置，在那里我们增加输入（a）检索最近邻话语（话语NN），和（b）地面实况语义解析最近邻话语（semparse-nn）。我们的技术优于基线方法1.5%的绝对宏观F1，特别是在低资源设置下，仅用40%的数据匹配基线模型精度。此外，我们分析了最近邻检索组件的质量，模型的敏感性和分解的语义分析不同的话语复杂度的性能。
2021-09-21 cs.CL cs.IR cs.LG
Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance Representation
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对现有无监督对话主题分割方法主题识别不充分、未标注数据利用不足的问题，提出通过邻接话语匹配与伪分割学习主题感知话语表示的框架，在两个基准上性能优于强基线。
2023-05-04 cs.AI cs.CL
Symbolic Priors for RNN-based Semantic Parsing
Xerox Research Centre Europe（施乐欧洲研究中心）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
基于递归神经网络（RNN）的Seq2seq模型最近在用于问答的语义解析领域中受到了很多关注。虽然原则上它们可以直接在成对（自然语言话语，逻辑形式）上进行训练，但它们的性能受到可用数据量的限制。为了缓解这个问题，我们建议利用各种来源的先验知识：良好的形式的逻辑形式是由加权上下文无关文法建模的可能性，某些实体存在于输入话语也存在于逻辑形式的加权有限状态自动机建模。语法和自动机通过一个有效的交集算法结合在一起，形成RNN的软指南（“背景”）。我们在Overnight数据集的扩展上测试了我们的方法，并表明它不仅在RNN基线上有很大的改进，而且基于丰富的手工特征集，它的性能优于非RNN模型。
2018-09-20 cs.CL
Finding needles in a haystack: Sampling Structurally-diverse Training Sets from Synthetic Data for Compositional Generalization
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
现代语义解析器有两个主要的局限性。首先，训练需要昂贵的话语-程序对集合。第二，语义解析器在测试时无法泛化到在训练期间没有观察到的新组合/结构。最近的研究表明，自动生成的合成话语程序对可以缓解第一个问题，但其潜力的第二个迄今尚未被充分发掘。在这项工作中，我们研究自动生成的合成话语程序对，以提高合成概括语义解析。给定一个小的注释示例训练集和一个“无限”的合成示例池，我们选择一个结构多样的合成示例子集，并使用它们来提高合成泛化。我们评估我们的方法上的schema 2 QA数据集的一个新的分裂，并表明，它导致了显着的改进，在组成的泛化以及温和的改进，在传统的i.i.d设置。此外，结构多样性采样仅用5 K个样本就实现了这些改进，而随机均匀采样时只有1 M个样本-数据效率提高了200倍。
2021-09-06 cs.CL
