New Intent Discovery with Pre-training and Contrastive Learning
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机学院);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Fano Labs(Fano实验室)
本文针对新意图发现中表示学习与聚类两大问题,提出多任务预训练策略和新对比损失,在无监督与半监督场景下显著超越现有方法。
2025-04-06 cs.CL
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University(东南大学);Ulm University(乌尔姆大学);Mercedes-Benz Research & Development(梅赛德斯-奔驰研发中心)
本文介绍了一个自然语言理解(NLU)框架,在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型,即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上,并微调模型以识别用户意图,而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统,从事用户通知他/她自己的一个有争议的话题,通过探索赞成和反对的论点,并建立他/她对这个话题的意见。为了评估所提出的方法,我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型(来自英国的英语母语者和来自中国的非英语母语者)。此外,我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明,在几个数据集的基线方法,以及对新的主题和不同的语言能力,以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外,结果表明,我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型(即,每个意图具有10、20或30个标记的示例)和完整的数据设置。
2022-02-19 cs.CL cs.LG
Intent Generation for Goal-Oriented Dialogue Systems based on Schema.org Annotations
University of Innsbruck(因斯布鲁克大学)
面向目标的对话系统通常与后端(例如,数据库、Web API)通信以完成某些任务来达到目标。对话系统能够识别的意图大多由开发者静态地包含到系统中。对于一个开放的对话系统来说,它可以在一小部分精心策划的数据和API上工作,这种手动意图创建将无法扩展。在本文中,我们介绍了一个简单的方法,意图创建的基础上语义标注的数据和服务在Web上。通过这种方法,面向目标的对话系统的自然语言理解(NLU)模块可以适应新引入的API,而不需要大量的开发人员参与。我们能够从schema.org注释中提取意图和需要填充的位置。我们还能够创建一组初始训练句子,用于将用户话语分类到生成的意图中。我们展示了我们的方法上的NLU模块的最先进的对话系统开发框架。
2018-07-03 cs.CL
Conversational Intent Understanding for Passengers in Autonomous Vehicles
Intel Labs(英特尔实验室);Anticipatory Computing Lab(预期计算实验室)
理解乘客意图并提取相关槽是开发负责处理自动驾驶车辆(AV)中的某些车辆-乘客交互的上下文对话系统的重要构建块。当乘客向AMIE(Automated-vehicle Multimodal In-cabin Experience)发出指令时,代理应该正确解析这些命令并触发AV系统的相应功能。在我们的AMIE场景中,我们描述了使用并支持各种自然命令与车辆进行交互。我们收集了一个多模式的机舱内数据集,乘客和AMIE之间的多轮对话,使用绿野仙踪计划。我们探索了各种最近的基于递归神经网络(RNN)的技术,并建立了我们自己的分层模型来识别乘客的意图以及与AV场景中要执行的动作相关的插槽。我们的实验结果实现了F1分数为0.91的话语级意图识别和0.96槽提取模型。
2018-12-14 cs.CL
Resolving Intent Ambiguities by Retrieving Discriminative Clarifying Questions
Amelia Science(阿米莉亚科学公司);IPsoft(艾普索夫特公司)
针对任务导向对话中用户查询在两个意图间存在歧义且领域澄清问题获取成本高的问题,本文提出一种基于规则的区分性问题生成方法,无需标注数据即可借助问题生成系统澄清意图,并可扩展至多意图场景。
2024-12-06 cs.AI cs.CL cs.LG
Benchmarking Natural Language Understanding Services for building Conversational Agents
Heriot-Watt University(赫瑞-瓦特大学);The University of New South Wales(新南威尔士大学);Emotech North LTD(北英莫科技有限公司)
我们最近看到了几个公开可用的自然语言理解(NLU)工具包的出现,它们将用户的话语映射到结构化但更抽象的对话行为(DA)或意图规范,同时使这个过程对外行开发人员来说是可访问的。在本文中,我们提出了一些最流行的NLU服务的第一个广泛覆盖的评估和比较,在一个大型的,多域(21个域)的25 K用户话语数据集上,我们已经收集并注释了意图和实体类型规范,并将作为本次提交的一部分发布。结果表明,在Intent分类方面,Watson的表现明显优于其他平台,即Dialogflow、LUIS和Rasa;尽管这些平台的表现也很好。有趣的是,在实体类型识别方面,Watson由于其精度较低而表现得更差。同样,Dialogflow、LUIS和Rasa在这项任务上表现良好。
2019-03-26 cs.CL cs.LG
User Intent Inference for Web Search and Conversational Agents
Emory University(埃默里大学)
用户意图理解是设计会话代理和搜索引擎的关键步骤。检测或推断用户意图是具有挑战性的,因为用户话语或查询可能是简短的、模糊的并且依赖于上下文。针对这些研究挑战,本文的研究工作主要集中在:1)会话主体的话语主题和意图分类; 2)Web搜索引擎的查询意图挖掘和分类,主要针对电子商务领域。为了解决第一个问题,我提出了新的模型,将实体信息和会话上下文线索,以预测用户的话语的主题和意图。对于第二个研究主题,我计划将现有的Web搜索意图预测方法扩展到电子商务领域,通过:1)开发一个联合学习模型来预测搜索查询的意图和与之相关的产品类别,2)发现新的隐藏用户的意图。所有的模型都将在一个主要的电子商务网站搜索引擎的真实查询上进行评估。来自这些研究的结果可以被利用来提高各种任务的性能,诸如自然语言理解、查询范围确定、查询建议和排名,从而产生丰富的用户体验。
2020-07-08 cs.CL cs.IR
A Hybrid Architecture for Out of Domain Intent Detection and Intent Discovery
Amirkabir University of Technology(阿米卡比尔理工大学)
本文提出一种混合架构,利用变分自编码器独立于数据分布进行OOD/OOS意图检测,并结合非线性降维与无监督聚类实现意图发现,在英语和波斯语上超越基线。
2023-07-30 cs.AI cs.CL
CASA-NLU: Context-Aware Self-Attentive Natural Language Understanding for Task-Oriented Chatbots
Amazon AI(亚马逊人工智能)
自然语言理解是对话系统的核心组成部分。它通常涉及两个任务-意图分类(IC)和插槽标记(SL),然后是对话管理(DM)组件。这样的NLU系统迎合孤立的话语,从而将上下文管理的问题推到DM。然而,上下文信息对于正确预测会话中的意图和时隙至关重要。上下文NLU的先前工作在所使用的上下文信号的类型以及对它们对模型的影响的理解方面受到限制。在这项工作中,我们提出了一个上下文感知的自我注意的NLU(CASA-NLU)模型,使用多个信号,如以前的意图,插槽,对话行为和话语在一个可变的上下文窗口,除了当前用户的话语。CASA-NLU在两个会话数据集上的表现优于循环上下文NLU基线,其中一个数据集的IC任务增益高达7%。此外,CASA-NLU的非上下文变体在标准公共数据集- Snips和ATIS上实现了IC任务的最新性能。
2019-09-18 cs.CL cs.LG
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs(亚马逊云科技人工智能实验室)
获得面向任务的对话系统的基于训练神经网络(NN)的自然语言理解(NLU)组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的,特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法,不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签,我们表明,可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系,以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构,翻译之间的单词和句子嵌入空间,并证明这些修改是必要的,使零样本学习这项任务。我们展示了强基线的实质性改进,并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
SalesBot 2.0: A Human-Like Intent-Guided Chit-Chat Dataset
National Taiwan University(台湾大学)
针对SalesBot数据集依赖BlenderBot导致长轮对话自然度、一致性不足的问题,研究利用大语言模型常识知识构建修订版数据集SalesBot 2.0,实现闲聊到任务导向对话的平滑过渡,还可生成多意图对话。
2023-08-28 cs.AI cs.CL
Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学)
识别新的用户意图是对话系统中的基本任务。然而,由于意图的定义受到先验知识的强烈指导,很难得到令人满意的聚类结果。现有的方法通过密集的特征工程结合先验知识,这不仅会导致过拟合,而且使其对聚类数敏感。在本文中,我们提出了带聚类细化的约束深度自适应聚类(CDAC+),这是一种端到端的聚类方法,可以自然地将成对约束作为先验知识来指导聚类过程。此外,我们通过强制模型从高置信度分配中学习来细化聚类。在消除低置信度分配后,我们的方法对聚类的数量惊人地不敏感。在三个基准数据集上的实验结果表明,我们的方法可以在强基线上产生显着的改进。
2019-11-20 cs.CL cs.LG
A Fast Attention Network for Joint Intent Detection and Slot Filling on Edge Devices
Zhejiang University of Technology(浙江工业大学)
意图检测和槽填充是自然语言理解中的两个主要任务,在面向任务的对话系统中起着至关重要的作用。两个任务的联合学习可以提高推理的准确性,在最近的工作中很受欢迎。然而,大多数联合模型忽略了推理延迟,无法满足在边缘部署对话系统的需求。在本文中,我们提出了一种快速注意力网络(FAN),用于联合意图检测和插槽填充任务,保证准确性和延迟。具体来说,我们引入了一个干净的和参数细化的注意力模块,以增强意图和插槽之间的信息交换,提高语义准确率超过2%。FAN可以在不同的编码器上实现,并在每个速度级别上提供更准确的模型。我们在Jetson Nano平台上的实验表明,FAN每秒推理15次,准确率略有下降,显示了其在边缘设备上的有效性和效率。
2022-05-16 cs.CL cs.SD eess.AS
Composed Variational Natural Language Generation for Few-shot Intents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
在本文中,我们专注于在现实的不平衡场景中生成训练样本的Few-Shot意图。为了在现有的多镜头意图和Few-Shot意图之间建立联系,我们将意图视为域和动作的组合,并提出了一种组合变分自然语言生成器(CLANG),一种基于变换的条件变分自编码器。CLANG利用两个隐变量来表示意图中两个不同的独立部分(域和动作)对应的话语,并将隐变量组合在一起生成自然的例子。此外,为了改进生成器学习,我们采用了对比正则化损失,该损失将类内与类外话语生成进行对比。为了评估生成的话语的质量,实验进行了广义的Few-Shot意图检测任务。实证结果表明,我们提出的模型在两个真实世界的意图检测数据集上实现了最先进的性能。
2020-09-21 cs.CL
A survey of joint intent detection and slot-filling models in natural language understanding
The University of Sydney(悉尼大学)
意图分类和槽填充是自然语言理解的两个关键任务。传统上,这两项任务被认为是独立进行的。然而,最近,用于意图分类和槽填充的联合模型已经实现了最先进的性能,并且已经证明这两个任务之间存在很强的关系。本文是对过去在自然语言理解方面的工作的汇编,特别是联合意图分类和槽填充。到目前为止,我们在这项研究中观察到三个里程碑:意图检测,以确定扬声器的意图,插槽填充,以标记语音/文本中的每个单词标记,最后,联合意图分类和插槽填充任务。在这篇文章中,我们描述了趋势,方法,问题,数据集,意图分类和插槽填充的评估指标。我们还讨论了代表性的性能值,描述共享的任务,并提供指针,以未来的工作,在以前的作品。为了解释最新的趋势,我们提供了多个表格,描述和总结了过去在不同维度上的研究,包括特征类型、基本方法和使用的数据集域。
2021-02-22 cs.CL
Fuzzy Classification of Multi-intent Utterances
Purdue University(普渡大学)
当前的意图分类方法将二元意图类成员分配给自然语言话语,而忽略了语言中的固有相似性和意图类边界中的对应相似性。在这项工作中,我们提出了一个计划,以解决单意图以及多意图自然语言话语的模糊性,通过创建模糊化的意图类的程度成员。据我们所知,这是第一个工作,以解决和量化的影响,模糊性质的自然语言话语的意图类别成员。此外,我们的方法克服了稀疏的多意图话语数据训练分类模型,通过使用一个小的数据库的单意图话语生成类成员的多意图话语。我们评估我们的方法在两个面向任务的对话数据集,在不同的模糊成员生成技术和近似字符串相似性的措施。我们的研究结果揭示了不同意图的话语之间的词汇重叠的影响,以及潜在的数据分布,意图成员的模糊化。此外,我们评估我们的方法的准确性,通过比较去模糊化的成员,他们的二进制同行,在不同的组合的隶属函数和字符串相似性措施。
2021-04-22 cs.CL
Intent Matching based Customer Services Chatbot with Natural Language Understanding
University of Nottingham Malaysia(诺丁汉大学马来西亚校区)
客户服务是任何企业的生命线。优秀的客户服务不仅可以产生回头客,还可以创造新的客户。鉴于为客户提供24/7服务的需求市场,许多组织越来越多地参与流行的社交媒体和短信平台,如WhatsApp和Facebook Messenger,为当前需求市场的客户提供24/7服务。在本文中,我们提出了一种基于意图匹配的客户服务聊天机器人(IMCSC),它能够取代销售人员的客户服务工作,同时通过使用自然语言理解(NLU)以更自然、更人性化的方式进行交互。该机器人能够回答最常见的常见问题,我们还集成了处理和导出客户订单到Google Sheet的功能。
2022-01-07 cs.CL
BERT for Joint Intent Classification and Slot Filling
Speech Lab, DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团,语音实验室)
意图分类和槽填充是自然语言理解的两个基本任务。它们通常受到小规模人类标记的训练数据的影响,导致泛化能力差,特别是对于稀有词。最近,一种新的语言表示模型,BERT(来自Transformers的双向编码器表示),有助于在大规模未标记语料库上预训练深度双向表示,并在简单的微调后为各种各样的自然语言处理任务创建了最先进的模型。然而,还没有太多的努力,探索BERT的自然语言的理解。本文提出了一种基于BERT的联合意图分类和时隙填充模型。实验结果表明,与基于注意力的递归神经网络模型和槽门模型相比,该模型在多个公共基准数据集上的意图分类准确率、槽填充F1和句子级语义框架准确率都有显著提高.
2019-02-28 cs.CL
Bi-directional Joint Neural Networks for Intent Classification and Slot Filling
University of Sydney(悉尼大学)
意图分类和槽填充是自然语言理解的两个关键任务。传统上,这两项任务是独立进行的。然而,最近的意图分类和插槽填充的联合模型已经达到了最先进的性能,并证明了这两个任务之间存在很强的关系。本文提出了一种双向联合的意图分类和槽填充模型,该模型通过BERT和双向联合的自然语言理解机制(包括intent2slot和slot2intent),实现意图分类和槽填充之间的相互性能增强。评估结果表明,我们的模型在意图分类准确性,插槽填充F1方面取得了最先进的结果,并在应用于公开可用的基准数据集ATIS(88.6%)和SNIPS(92.8%)时显着提高了语义框架的准确性。
2022-02-26 cs.CL
Intent Engine: Natural-Language Intent Translation for Intent-Driven Orchestration in the Compute Continuum
Western Sydney University(西悉尼大学)
本文提出Intent Engine架构,可将自然语言意图转换为计算连续体服务部署的经验证SLO制品,在多款大语言模型上均优于基线,能显著减少幻觉与部署失败率。
2026-08-24 cs.CL cs.DC
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute(三星研发院);Indian Institute of Technology(印度理工学院)
最近的联合意图检测和插槽标记模型与单独的模型相比,性能有所提高。在许多真实世界的数据集中,槽标签和值与其意图标签有很强的相关性。在这种情况下,意图标签信息可以充当槽标记模型的有用特征。在本文中,我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术,并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL
Inferring Latent Intentions: Attributional Natural Language Inference in LLM Agents
University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学);Idiap Research Institute(Idiap研究 institute);National Biomarker Centre, CRUK-MI, University of Manchester(国家生物标志物中心,CRUK-MI,曼彻斯特大学)
本文提出归因性NLI框架,通过文本游戏实验展示其在多智能体环境中提升LLM推理能力的潜力。
2026-01-13 cs.CL
Tri-level Joint Natural Language Understanding for Multi-turn Conversational Datasets
The University Of Sydney(悉尼大学);The University Of Western Australia(西澳大学)
本文提出三层联合自然语言理解方法,在意图和槽位基础上引入领域层并实现三层语义交互,首次在多轮对话数据集上验证其槽位填充和意图检测性能优于现有最优联合模型。
2023-05-28 cs.CL
Joint Slot Filling and Intent Detection via Capsule Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Alibaba Group(阿里巴巴集团);Tencent Medical AI Lab(腾讯医疗人工智能实验室);Institute for Data Science, Tsinghua University(清华大学数据科学研究院)
能够将单词识别为槽并检测话语的意图一直是自然语言理解中的一个尖锐问题。现有的工作要么单独对待槽填充和意图检测在一个管道的方式,或采用联合模型,顺序标记槽,同时总结话语级的意图,而不显式地保持单词,槽,和意图之间的层次关系。为了利用语义层次结构进行有效的建模,我们提出了一个基于胶囊的神经网络模型,通过动态路由协议模式完成插槽填充和意图检测。提出了一种重新路由方案,以进一步协同使用推断的意图表示的槽填充性能。两个真实世界的数据集上的实验表明,我们的模型相比,其他替代模型架构,以及现有的自然语言理解服务的有效性。
2019-07-08 cs.CL
Exploring the Limits of Natural Language Inference Based Setup for Few-Shot Intent Detection
本研究提出基于自然语言推理的少样本意图检测方法,利用类标签语义,在1-shot和5-shot任务上F1提升2-8%,广义设置下提升达20%。
2023-12-26 cs.CL cs.LG
TESS: A Multi-intent Parser for Conversational Multi-Agent Systems with Decentralized Natural Language Understanding Models
Boston University(波士顿大学);IBM Research(IBM研究院)
针对去中心化NLU的多智能体对话系统中多意图解析准确率低的问题,提出高效解析编排流水线算法TESS,在三个数据集上性能媲美深度学习模型,速度最高快48倍。
2023-12-19 cs.CL cs.MA
Intent Detection and Slot Filling for Vietnamese
VinAI Research(VinAI研究院)
意图检测和槽填充是口语和自然语言理解中的重要任务。然而,越南语在这些研究课题中是一种低资源语言。在本文中,我们为越南人提供了第一个公共意图检测和插槽填充数据集。此外,我们还提出了一个用于意图检测和槽填充的联合模型,该模型扩展了最近最先进的JointBERT+CRF模型,具有意图槽注意层,以通过“软”意图标签嵌入将意图上下文信息显式地纳入槽填充。在我们的越南数据集上的实验结果表明,我们提出的模型显着优于JointBERT+CRF。我们公开发布我们的数据集和模型的实现:https://github.com/VinAIResearch/JointIDSF
2021-06-09 cs.CL
Bengali Intent Classification with Generative Adversarial BERT
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);Chittagong University of Engineering and Technology(吉大港工程技术大学)
该研究构建了包含30个类别的孟加拉语意图分类数据集BNIntent30,并提出GAN-BnBERT模型,结合BERT上下文嵌入与GAN生成建模能力,在该数据集上性能优于Bi-LSTM和独立BERT分类模型。
2023-12-17 cs.CL
RichRAG: Crafting Rich Responses for Multi-faceted Queries in Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Intelligent Technology(百川智能科技)
针对宽泛开放式多面查询,本文提出 RichRAG 框架,通过子方面探索、多面检索及结合 SFT 与强化学习的列表式排序,为生成器提供高覆盖且符合偏好的文档。
2024-10-01 cs.CL
Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究中心);Huazhong University of Science and Technology(华中科技大学)
意图检测是面向目标的对话系统的核心组成部分之一,而检测范围外(OOS)意图也是一项重要的实用技能。少样本学习在缓解数据稀缺方面吸引了很多关注,但OOS检测变得更具挑战性。在本文中,我们提出了一个简单而有效的方法,歧视性最近邻分类与深自我关注。与softmax分类器不同,我们利用BERT风格的成对编码来训练二进制分类器,该二进制分类器估计用户输入的最佳匹配训练样本。我们提出了通过转移一个自然语言推理(NLI)模型来提高区分能力。我们在大规模多领域意图检测任务上的大量实验表明,我们的方法比基于RoberTa的分类器和基于嵌入的最近邻方法实现了更稳定和准确的域内和OOS检测精度。更值得注意的是,NLI传输使我们的10次模型能够与50次甚至全次分类器竞争,同时我们可以通过利用更快的嵌入检索模型来保持推理时间恒定。
2020-10-25 cs.AI cs.CL
Joint Multiple Intent Detection and Slot Filling via Self-distillation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
意图检测和槽填充是自然语言理解(NLU)中的两个主要任务,用于从用户的话语中识别用户的需求。这两项任务高度相关,经常联合训练。然而,大多数先前的作品假设每个话语仅对应于一个意图,忽略了用户话语在许多情况下可以包括多个意图的事实。在本文中,我们提出了一种新的自蒸馏联合NLU模型(SDJN)的多意图NLU。首先,我们将多意图检测作为一个弱监督问题,并采用多实例学习(MIL)方法。然后,我们通过自蒸馏设计了一个辅助循环,其中有三个顺序排列的解码器:初始槽解码器,MIL意图解码器和最终槽解码器。每个解码器的输出将作为下一个解码器的辅助信息。利用MIL Intent Decoder提供的辅助知识,我们将Final Slot Decoder设置为教师模型,将知识传递回Initial Slot Decoder以完成循环。辅助循环使意图和插槽能够相互深入指导,并进一步提高整体NLU性能。在两个公共多意图数据集上的实验结果表明,与其他模型相比,我们的模型具有很强的性能。
2021-08-18 cs.CL
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan(卡尚大学)
提出CTRAN,一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构,通过引入窗口特征序列和对齐Transformer解码器,在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Deep Learning Approaches for Multimodal Intent Recognition: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
该综述梳理了意图识别从单模态文本到融合多模态信号的深度学习演进路径,介绍了相关数据集、方法、应用与挑战,为多模态意图识别领域研究提供进展参考与未来方向指引。
2025-07-24 cs.AI cs.CL
Infer Human's Intentions Before Following Natural Language Instructions
University of Washington(华盛顿大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
该研究针对人类指令的歧义问题,提出FISER框架,通过显式推断人类意图改进协作具身任务的指令遵循,在HandMeThat基准上达到最优性能。
2026-08-27 cs.AI cs.CL cs.LG
A Persian Benchmark for Joint Intent Detection and Slot Filling
Amirkabir University of Technology(阿米卡比尔理工大学);Fasa University(法萨大学)
自然语言理解(NLU)在当今的技术中非常重要,因为它使机器能够理解和处理人类语言,从而改善人机交互,并在虚拟助手,聊天机器人和基于语言的AI系统等领域取得进步。本文强调了推进低资源语言NLU领域的重要性。由于意图检测和槽填充是NLU中的关键任务,因此过去已经使用了广泛使用的数据集ATIS和SNIPS。但是,这些数据集仅适用于英语,不支持其他语言。在这项工作中,我们的目标是通过创建一个波斯基准联合意图检测和插槽填充的基础上ATIS数据集来解决这一差距。为了评估我们的基准测试的有效性,我们采用了最先进的意图检测和插槽填充方法。
2023-03-01 cs.CL
Intent Detection and Entity Extraction from BioMedical Literature
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Columbia University(哥伦比亚大学)
本文实证评估生物医学文本的意图检测与命名实体识别,证明监督微调的PubMedBERT等模型仅需5个样本即可在NER上超越ChatGPT。
2024-08-05 cs.CL
Zero-Shot Slot and Intent Detection in Low-Resource Languages
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文面向低资源语言的零样本槽位与意图检测,评估多种模型与设置,并验证 mT0 在未见语言和 SID 任务上的泛化能力,最佳模型较基线最高提升 30 个 F1 点。
2023-04-26 cs.CL
Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection
Sofia University “St. Kliment Ohridski”(圣克莱门特·奥里季斯基索菲亚大学);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学))
在自然语言理解中,检测用户的意图并在话语的词之间找到对应的槽是重要的任务。它们相互关联的性质使得它们的联合建模成为训练此类模型的标准部分。此外,缺乏数据和专门词汇也带来了额外的挑战。最近,预训练语言模型的进展,即ELMo和BERT等情境化模型,通过挖掘训练非常大的模型的潜力,对特定任务数据集进行几步微调,彻底改变了该领域。在这里,我们利用这样的模型,即BERT和RoBERTa,我们设计了一个新的架构上。此外,我们提出了一个意图池注意力机制,我们加强了插槽填充任务融合意图分布,文字功能,和令牌表示。在标准数据集上的实验结果表明,我们的模型的性能优于当前的非BERT技术水平以及一些更强的基于BERT的基线。
2021-10-05 cs.CL
Training LLMs with Reinforcement Learning for Intent-Aware Personalized Question Answering
University of Washington(华盛顿大学)
本文提出IAP框架,通过强化学习直接从单轮问题推断用户意图并生成意图感知的回答,实验表明其在LaMP-QA基准上优于所有基线,平均宏得分提升约7.5%。
2026-05-12 cs.AI cs.CL
Natural Language Interactions in Autonomous Vehicles: Intent Detection and Slot Filling from Passenger Utterances
Intel Labs(英特尔研究院)
理解乘客意图并提取相关时隙是开发用于自动驾驶车辆(AV)中的自然交互的上下文对话系统的重要构建块。在这项工作中,我们探讨了AMIE(自动车辆多模态机舱内体验),机舱内代理负责处理某些车辆与车辆的交互。当乘客向AMIE发出指令时,代理应正确解析此类命令并触发AV系统的相应功能。在我们目前的探索中,我们专注于AMIE场景,描述了设置或更改目的地和路线,更新驾驶行为或速度,完成行程和其他用例的用法,以支持各种自然命令。我们收集了一个多模态的机舱内数据集,乘客和AMIE之间的多回合对话,通过一个现实的清道夫狩猎游戏活动,使用绿野仙踪计划。在探索了各种最近的基于递归神经网络(RNN)的技术之后,我们引入了自己的分层联合模型来识别乘客意图以及与AV场景中要执行的动作相关的相关插槽。我们的实验结果优于某些竞争基线,并实现了整体F1分数为0.91的话语级意图检测和0.96的插槽填充任务。此外,我们通过比较在人类transmittance上训练和测试的意图/槽模型与嘈杂的自动语音识别(ASR)输出进行了初步的语音到文本探索。最后,我们比较了单乘客乘坐与多乘客乘坐的结果。
2019-04-23 cs.CL cs.HC cs.LG
A Concept Knowledge Graph for User Next Intent Prediction at Alipay
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
本文以概念知识图谱为例,阐述了用户下一次意图预测技术。该系统已部署在支付宝的网络上,日活跃用户超过1亿。为了明确地表征用户意图,我们提出了AlipayKG,这是一个离线的概念知识图谱在生活服务领域建模用户的历史行为,用户交互的丰富内容和它们之间的关系。我们进一步介绍了一个基于转换器的模型,它集成了专家规则的知识图谱推断在线用户的下一个意图。实验结果表明,该系统可以有效地提高下游任务的性能,同时保持可解释性。
2023-03-14 cs.AI cs.CL cs.DB
Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们研究了用于对话语言理解的Few-Shot联合学习。大多数现有的Few-Shot模型每次只学习一个任务,只有很少的例子。然而,对话语言理解包含两个密切相关的任务,即,意图检测和槽填充,并且通常受益于联合学习这两个任务。这就需要新的少样本学习技术,这些技术能够从几个示例中捕获任务关系,并联合学习多个任务。为了实现这一点,我们提出了一个基于相似性的少样本学习方案,称为对比原型合并网络(ConProm),它学习桥接数据丰富域上的意图和槽的度量空间,然后将桥接的度量空间适应特定的Few-Shot域。在两个公共数据集Snips和FewJoint上的实验表明,我们的模型在一次和五次拍摄设置中显着优于强基线。
2021-05-25 cs.AI cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute(创新实验室研究所);Queen’s University(女王大学);Smith School of Business(史密斯商学院);Department of Electrical and Computer Engineering(电气与计算机工程系)
本研究针对开放意图检测的组合泛化挑战,提出用ChatGPT生成合成数据做数据增强的方法,经多基准验证性能优于现有技术,证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
Generalized Zero-shot Intent Detection via Commonsense Knowledge
University of California, Riverside(加州大学河滨分校)
从自然语言话语中识别用户意图是会话系统中的关键步骤,其已作为监督分类问题被广泛研究。然而,在实践中,部署意图检测模型后会出现新的意图。因此,这些模型应该无缝地适应和分类具有可见和不可见意图的话语-不可见意图在部署后出现,并且它们没有训练数据。针对这种设置的少数现有模型严重依赖于几乎不可用的训练数据,并且过度拟合可见意图数据,导致将具有不可见意图的话语错误分类为可见意图的偏见。我们建议乘坐:意图检测模型以无监督的方式利用常识知识来克服训练数据稀缺的问题。RIDE计算鲁棒且可概括的关系元特征,其捕获话语和意图标签之间的深层语义关系;这些特征通过考虑话语中的概念如何经由常识知识链接到意图标签中的概念来计算。我们对三个广泛使用的意图检测基准进行了广泛的实验分析,结果表明,关系元特征显著提高了检测可见和不可见意图的准确性,并且RIDE在不可见意图方面优于最先进的模型。
2021-02-04 cs.AI cs.CL
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages
Amazon(亚马逊)
我们提供了MASSIVE数据集-多语言Amazon Slu资源包(SLURP),用于插槽填充,意图分类和虚拟助手评估。MASSIVE包含1 M真实、并行、标记的虚拟助理话语,涵盖51种语言、18个领域、60种意图和55个插槽。MASSIVE是由专业翻译人员创建的,他们将仅限英语的SLURP数据集本地化为来自29个属的50种不同类型的语言。我们还介绍了XLM-R和mT5的建模结果,包括精确匹配精度,意图分类精度和插槽填充F1得分。我们已经公开发布了我们的数据集、建模代码和模型。
2022-06-17 cs.AI cs.CL cs.LG
Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
IBM Consulting Italy(IBM意大利咨询公司);IBM Research Europe(IBM欧洲研究院)
本文提出 Zero-Shot-BERT-Adapters 两阶段零样本流水线,将多语言意图分类建模为 NLI,并在已知与未见意图任务上优于基线。
2023-12-08 cs.CL cs.LG
CG-BERT: Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Florida State University(佛罗里达州立大学)
在本文中,我们制定了一个更现实和困难的问题设置的意图检测任务在自然语言理解,即广义Few-Shot意图检测(GFSID)。GFSID旨在区分由具有足够标记数据的现有意图和每个类别只有几个示例的新意图组成的联合标签空间。为了解决这个问题,我们提出了一个新的模型,条件文本生成与BERT(CG-BERT)。CG-BERT有效地利用大型预训练语言模型来生成以意图标签为条件的文本。通过用变分推理对话语分布进行建模,CG-BERT可以为新意图生成不同的话语,即使只有几个可用的话语。实验结果表明,CG-BERT在两个真实世界数据集上的1次和5次设置的GFSID任务上实现了最先进的性能。
2020-04-04 cs.CL cs.LG
Intent-based Product Collections for E-commerce using Pretrained Language Models
NAVER CLOVA;NAVER AI LAB;LBox Co., Ltd.(LBox有限公司)
建立购物产品系列主要是人类的工作。通过手工制作的努力,专家们收集了具有共同购物意图的相关但不同的产品,这些产品在一起展示时是有效的,例如,背包,笔记本电脑包,和信使袋新生袋礼物。自动构建集合需要ML系统学习客户意图和产品属性之间的复杂关系。但也出现了挑战点,比如1)长而复杂的意图语句,2)丰富多样的产品属性,3)它们之间存在巨大的语义鸿沟,使问题变得困难。在本文中,我们使用预训练的语言模型(PLM),利用Web规模的产品的文本属性,使基于意图的产品集合。具体来说,我们通过将意图句子设置为锚并将相应的产品设置为正例来训练具有三重损失的BERT。此外,我们还通过基于搜索的负采样和分类正对增强来提高模型的性能。我们的模型显着优于基于搜索的基线模型,在离线评估的基于意图的产品匹配。此外,在我们的电子商业平台上的在线实验结果表明,基于PLM的方法可以构建产品的集合,与专家精心制作的集合相比,具有更高的CTR,CVR和订单多样性。
2021-10-15 cs.CL cs.IR
NUBOT: Embedded Knowledge Graph With RASA Framework for Generating Semantic Intents Responses in Roman Urdu
FAST University Islamabad(伊斯兰堡FAST大学)
通过识别意图和实体来量化人类语言的理解。尽管依赖于标记信息的分类方法经常用于语言理解的理解,但生成高倾向监督数据集的过程非常耗时且乏味。在本文中,我们提出了相应的罗马乌尔都语非结构化数据的准确意图的生成,并将此语料库集成到RASA NLU模块中进行意图分类。我们嵌入知识图谱与RASA框架,以维护基于语义的自然语言机制的聊天机器人通信的对话历史。我们比较我们的工作与现有的语言系统结合语义技术的结果。意图生成的最小准确率为64%的置信度,响应生成部分的最小准确率为82.1%,最大准确率增益为96.7%。所有的分数都是指每个意图的日志精确度、召回率和f1测量值,一旦汇总所有的结果。此外,它还创建了一个混淆矩阵,表示哪些意图是模糊识别的方法。
2021-02-20 cs.AI cs.CL
Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model
Almawave(阿尔马维)
意图检测和槽填充是口语自然语言理解中的两个主要任务。常见的方法在基于注意力的递归框架中采用联合深度学习架构。在这项工作中,我们的目标是利用这些任务的“复发少”模型的成功。我们引入Bert-Joint,即,多语言联合文本分类和序列标记框架。两个著名的英语基准的实验评估表明,该模型可以获得强大的性能,即使在很少的注释数据。此外,我们为意大利语注释了一个新的数据集,我们观察到了类似的表现,而无需改变模型。
2019-07-05 cs.CL cs.LG
A Usage-centric Take on Intent Understanding in E-Commerce
University of Edinburgh(爱丁堡大学);Huawei Technologies, Edinburgh RC, CSI(华为技术有限公司爱丁堡研发中心CSI)
针对电商意图理解缺乏统一定义与基准的问题,本文将其定义为以使用为中心的自然语言推理任务,指出SOTA模型FolkScope的两大缺陷,并提出商品恢复基准验证该缺陷。
2024-10-07 cs.AI cs.CL
User-in-the-loop Adaptive Intent Detection for Instructable Digital Assistant
Inserm(法国国家健康与医学研究院);Cloud Temple(云圣殿);INRIA(法国国家信息与自动化研究所)
人们越来越习惯使用数字助理(DA)与服务或连接对象进行交互。然而,对于非编程用户,定制他们的DA的可能性是有限的,不包括教助理新任务的可能性。为了充分利用DA的潜力,用户应该能够通过自然语言(NL)指导他们来定制助理。为了提供这样的功能,应当改进传统助理中的NL解释:(1)意图识别系统应当能够识别新形式的已知意图,并且在用户表达新意图时获取新意图。(2)为了适应新的意图,自然语言理解模块应该是样本高效的,并且不应该依赖于预先训练的模型。相反,系统应该在从用户学习新意图时连续地收集训练数据。在这项工作中,我们提出了AidMe(多域环境中的自适应意图检测),这是一个用户在环自适应意图检测框架,允许助手通过学习他的意图来适应用户,因为他们的交互进展。AidMe构建其意图库并收集数据以训练语义相似性评估模型,该模型可以区分所学习的意图并自主发现已知意图的新形式。AidMe解决了两个主要问题-意图学习和用户适应-可扩展的数字助理。我们通过模拟与用户的交互,将AidMe与一次性学习系统和预训练的NLU模块进行比较,展示了AidMe作为独立系统的功能。我们还展示了AidMe如何顺利集成到现有的可扩展数字助理。
2020-01-16 cs.AI cs.CL cs.HC
DialogUSR: Complex Dialogue Utterance Splitting and Reformulation for Multiple Intent Detection
Peking University(北京大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Cloud Xiaowei(腾讯云小微)
在与聊天机器人交互时,用户可以在单个对话话语中引出多个意图。我们提出了DialogUSR,而不是训练一个专用的多意图检测模型,这是一个对话话语分裂和重构任务,它首先将多意图用户查询分成几个单意图子查询,然后恢复子查询中所有的共指和省略信息。DialogUSR可以作为一个插件和域无关模块,以最小的努力为部署的聊天机器人提供多意图检测。我们收集了一个高质量的自然发生的数据集,涵盖了23个领域的多步人群搜索程序。为了对拟议的数据集进行基准测试,我们提出了多个基于动作的生成模型,这些模型涉及端到端和两阶段训练,并对拟议基线的利弊进行了深入分析。
2022-10-20 cs.AI cs.CL
Natural Language Commanding via Program Synthesis
Microsoft(微软)
本文提出 Semantic Interpreter,通过 ODSL 与 Analysis-Retrieval 提示驱动 LLM 进行程序综合,使自然语言命令可转译为 Office API 并执行,重点探索 PowerPoint 场景。
2023-06-06 cs.CL cs.HC cs.LG