Improving Multi-turn Dialogue Modelling with Utterance ReWriter
Tencent Inc(腾讯公司);MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔大学信息学院);Institute of Software, University of Chinese Academy of Science(中国科学院大学软件研究所);Alibaba Group(阿里巴巴集团);IBM Research(IBM研究院)
最近的研究在单轮对话建模方面取得了令人印象深刻的进展。然而,在多转弯设置中,当前的模型仍然远远不能令人满意。一个主要的挑战是我们日常对话中经常发生的共指和信息遗漏,这使得机器很难理解真正的意图。在本文中,我们建议重写人类的话语作为一个预处理,以帮助多轮dialgoue建模。首先重写每个话语以恢复所有共指和省略的信息。然后基于重写的话语执行接下来的处理步骤。为了正确训练话语重写器,我们收集了一个新的数据集与人类注释,并介绍了一个基于转换器的话语重写架构使用指针网络。我们表明,所提出的架构实现了非常好的性能上的话语重写任务。经过训练的话语重写器可以很容易地集成到在线聊天机器人中,并在不同的领域带来普遍的改进。
2019-06-14 cs.AI cs.CL
SLIM: Explicit Slot-Intent Mapping with BERT for Joint Multi-Intent Detection and Slot Filling
EPFL(洛桑联邦理工学院)
在面向任务的系统中,话语级意图检测和标记级槽填充是自然语言理解的两个关键任务。大多数现有的方法假设只有一个单一的意图存在于一个话语。然而,在现实生活场景中,话语内通常存在多个意图。在本文中,我们提出了一个多意图自然语言理解框架,称为SLIM,共同学习多意图检测和槽填充的基础上BERT。为了充分利用现有的注释数据并捕获插槽和意图之间的交互,SLIM引入了显式插槽意图分类器来学习插槽和意图之间的多对一映射。在三个公共多意图数据集上的实证结果表明:(1)SLIM的性能优于当前最先进的具有多意图的NLU;(2)从槽意图分类器中获得的好处。
2021-08-26 cs.AI
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue
Shanghai Jiao Tong University(上海交通大学);CloudWalk Technology(云从科技)
多轮对话由来自两个或多个不同说话者角色的多个话语组成。因此,话语和说话者意识的线索应该很好地捕捉模型。然而,在现有的基于检索的多话轮对话建模中,作为编码器的预训练语言模型(PrLM)通过将成对对话历史和候选响应作为一个整体来粗略地表示对话,没有很好地解决这种表示中耦合的话语相关性或说话人角色的层次信息。在这项工作中,我们提出了一个新的模型,以填补这样的空白,通过建模的有效话语感知和说话者感知的表示所涉及的对话历史。详细地,我们通过基于transformer的PrLM中的掩蔽机制来解耦上下文化的词表示,使得每个词仅关注当前话语中的词、其他话语、两个说话者角色(即,发送者的话语和接收者的话语)。实验结果表明,我们的方法大大提高了强大的ELECTRA基线在四个公共基准数据集,并实现了各种新的最先进的性能比以前的方法。进行了一系列的消融研究,以证明我们的方法的有效性。
2020-12-12 cs.AI cs.CL cs.IR
Proactive Dialogue Policy Optimization via Cognitive-State Transition
Northwestern Polytechnical University(西北工业大学)
针对主动对话中用户认知演化建模不足及策略标签粒度粗糙的问题,联合设计认知用户模拟器Cog-Sim与认知状态转移驱动的策略优化CSTPO,通过层次化策略-话语表示和双级优势估计,显著提升策略优化效果,使Qwen3-14B达到GPT-5.5规划方法的水平。
2026-09-29 cs.AI
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University(名古屋大学)
当在现实世界的面向任务的对话系统中实现自然语言生成(NLG)组件时,不仅需要生成如在训练数据上学习的自然话语,而且需要生成适于对话环境的话语(例如,来自环境声音的噪声)和用户(例如,具有低水平理解能力的用户)。受语言生成任务的强化学习(RL)的最新进展的启发,我们提出了ANTOR,一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中,一个自然语言理解(NLU)模块,它对应于用户对系统话语的理解,被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU,则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验,我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
DialogUSR: Complex Dialogue Utterance Splitting and Reformulation for Multiple Intent Detection
Peking University(北京大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Cloud Xiaowei(腾讯云小微)
在与聊天机器人交互时,用户可以在单个对话话语中引出多个意图。我们提出了DialogUSR,而不是训练一个专用的多意图检测模型,这是一个对话话语分裂和重构任务,它首先将多意图用户查询分成几个单意图子查询,然后恢复子查询中所有的共指和省略信息。DialogUSR可以作为一个插件和域无关模块,以最小的努力为部署的聊天机器人提供多意图检测。我们收集了一个高质量的自然发生的数据集,涵盖了23个领域的多步人群搜索程序。为了对拟议的数据集进行基准测试,我们提出了多个基于动作的生成模型,这些模型涉及端到端和两阶段训练,并对拟议基线的利弊进行了深入分析。
2022-10-20 cs.AI cs.CL
DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
JD AI(京东人工智能);Xiaoduo AI(晓多人工智能)
随着人工智能的快速发展,会话机器人已经在主流电子商务平台中盛行,它可以及时提供便捷的客户服务。为了满足用户,会话机器人需要理解用户的意图,检测用户的情感,并从会话语句中提取关键实体。然而,理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同,对话中的话语是从不同的角色交替出现的,并且通常被组织成层次结构。为了促进对话的理解,在本文中,我们提出了一种新的上下文对话编码器(即对话BERT)的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入,包括话轮嵌入,角色嵌入,标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话,然后在三个不同的下游对话理解任务中进行了微调。实验结果表明,DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩,大大优于几个强基线。
2021-09-22 cs.AI cs.CL
Non-Sentential Utterances in Dialogue: Experiments in Classification and Interpretation
University of Oslo(奥斯陆大学)
非正式话语是指缺乏完整的正式形式,但其意义可以从对话语境中推断出来的话语,如“OK”、“Where?“,“可能在他的公寓里”。非正式话语是对话中常见的现象,其解释与语境密切相关,因此非正式话语的解释是计算语言学的一个重要问题。对非言语单位的解释是从其形式和对话语境中提取其全部语义内容的任务。本论文的前半部分致力于NSU分类任务。我们的工作建立在Fernández et al.(2007)的基础上,后者提出了一系列关于NSU分类的机器学习实验。我们扩展了他们的方法,结合了新的功能和半监督学习技术。本论文的实证结果显示,与最先进的分类性能相比,该方法有了适度但显著的改进。连续的,但独立的,问题是如何推断出一个适当的语义表示,这样的NSU的对话上下文的基础上。Fernández(2006)在基于记录的类型论(TTR)的基础上,用“解析规则”形式化了这一任务。我们的工作重点是重新实现Fernández(2006)的决议规则与对话状态的概率帐户。概率规则形式主义Lison(2014)特别适合这项任务,因为与Ginzburg(2012)和Fernández(2006)开发的框架类似,它涉及对对话状态变量的更新规则的规范,以捕捉对话的动态。然而,概率规则也可以对概率知识进行编码,从而在NSU解析过程中提供对模糊性的原则性说明。
2015-11-22 cs.AI cs.CL
Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification
Soochow University(苏州大学)
本文提出话语感知澄清模块和贡献感知偏好优化,解决对话话语解析中的歧义问题,在STAC和Molweni数据集上显著优于现有最先进方法。
2025-06-18 cs.AI cs.CL
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
训练机器理解自然语言并与人类交互是人工智能的主要目标之一。近年来,已经见证了从匹配网络到预训练语言模型(PrLM)的演变。相对于纯文本建模的重点PrLM,对话文本涉及多个扬声器,并反映特殊的特性,如主题转换和结构之间的依赖关系遥远的话语。然而,相关的PrLM模型通常表示对话顺序处理成对的对话历史作为一个整体。因此,无论是话语的相互关系或扬声器的角色耦合在这样的表示的层次信息没有得到很好的解决。在这项工作中,我们提出了组合学习的整体互动的话语超越顺序的语境化从PrLM,为了捕捉话语意识和说话者意识的表示所涉及的对话历史。我们通过基于Transformer的PrLM中的掩蔽机制来解耦上下文化的单词表示,使得每个单词仅关注当前话语中的单词、其他话语和两个说话者角色(即,发送者的话语和接收者的话语)。此外,我们采用领域自适应训练策略,以帮助模型适应对话域。实验结果表明,我们的方法大大提高了四个公共基准数据集的强PrLM基线,实现了新的最先进的性能比以前的方法。
2023-01-11 cs.AI cs.CL cs.HC
Explaining (Sarcastic) Utterances to Enhance Affect Understanding in Multimodal Dialogues
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院);University of Maryland, College Park(马里兰大学帕克分校);Indian Institute of Technology Delhi(印度理工学院德里分校)
对话成为交流思想和概念的主要媒介。从听者的角度来看,识别各种情感特质,如讽刺,幽默和情感,对于理解所发出的话语的真正含义至关重要。然而,学习这些情感维度的主要障碍之一是比喻语言的存在,即讽刺,隐喻或讽刺。我们假设,任何检测系统构成的详尽和明确的介绍所发出的话语将提高整体的理解对话。为此,我们探讨了对话中的反讽解释任务,旨在揭示反讽话语背后隐藏的反讽。我们提出了MOSES,一个深度神经网络,它以多模态(讽刺)对话实例作为输入,并生成一个自然语言句子作为解释。随后,我们利用生成的解释,在会话对话设置中的各种自然语言理解任务,如讽刺检测,幽默识别和情感识别。我们的评估表明,MOSES在不同的评估指标(如ROUGE、BLEU和METEOR)上的平均性能优于最先进的SED系统约2%。此外,我们观察到,利用生成的解释推进了三个下游任务的影响分类-平均提高约14%F1分数的讽刺检测任务和约2%的幽默识别和情感识别任务。我们还进行了广泛的分析,以评估结果的质量。
2022-11-22 cs.AI cs.CL
Learning LLM Preference over Intra-Dialogue Pairs: A Framework for Utterance-level Understandings
Amazon.com Inc.(亚马逊公司)
本文提出一种面向话语级对话理解的框架,通过降噪偏好学习损失结合LLM生成标签与人工标注,在情感检测和对话行为分类等任务上显著提升小型模型的准确率。
2025-03-07 cs.AI cs.CL
A Context-based Approach for Dialogue Act Recognition using Simple Recurrent Neural Networks
University of Hamburg(汉堡大学)
对话行为识别是自然语言理解的重要组成部分。我们调查的方式对话行为语料库的注释和学习方法使用到目前为止。我们发现,对话行为是上下文敏感的会话中的大多数类。然而,以前的对话行为分类模型在话语层面上工作,只有很少的考虑上下文。我们提出了一种新的基于上下文的学习方法来分类对话行为使用字符级语言模型话语表示,我们注意到显着的改善。我们评估这种方法上的交换机对话行为语料库,我们的结果表明,考虑到前面的话语作为当前话语的上下文提高了对话行为检测。
2018-05-16 cs.AI cs.CL cs.HC
Analysis of Utterance Embeddings and Clustering Methods Related to Intent Induction for Task-Oriented Dialogue
Korea University(高丽大学);Naver Corporation(Naver公司)
本文研究任务型对话中意图归纳的无监督方法,比较不同话语嵌入与聚类算法的组合,发现预训练MiniLM结合Agglomerative聚类在NMI、ARI、F1、准确率和覆盖率上显著提升。
2024-06-05 cs.AI cs.CL
Structural Pre-training for Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学)
预训练的语言模型(PrLM)表现出优越的性能,因为它们具有从自我监督的预训练中学习通用语言表示的强大能力。然而,即使在强大的PrLM的帮助下,它仍然是具有挑战性的有效地捕捉任务相关的知识,从对话文本,丰富的说话人意识的话语之间的相关性。在这项工作中,我们提出了SPIDER,结构预训练的对话阅读器,捕捉对话的独特功能。为了模拟类似对话的特征,除了原始的LM目标之外,我们还提出了两个训练目标:1)话语顺序恢复,预测对话上下文中置换话语的顺序; 2)句子主干正则化,正则化模型以提高总结的主谓宾三元组的事实正确性。在广泛使用的对话基准上的实验结果验证了新引入的自监督任务的有效性。
2021-05-23 cs.AI cs.CL
A Personalized Utterance Style (PUS) based Dialogue Strategy for Efficient Service Requirement Elicitation
Harbin Institute of Technology(哈尔滨工业大学)
随着互联网上服务的蓬勃发展,服务提供商要想准确地向客户提供服务,必须全面、准确、高效地捕捉用户需求。这被称为“服务需求获取(SRE获取)”任务。考虑到客户的数量是巨大的,这是一个低效的方式,服务提供商与每个用户进行面对面的对话。因此,借助虚拟智能助手来获取用户需求已成为一种主流方式。由于用户需求通常由不同层次的细节组成,并且需要通过来自多个域的服务来满足,因此SRE有巨大的潜在需求空间来探索以引出完整的需求。由于传统的静态槽对话系统不能直接应用于SRE任务,因此在如此巨大的潜在需求空间中,如何设计有效的对话策略引导用户表达完整、准确的需求是一个挑战。基于用户倾向于以顺序方式主观地表达需求的现象,提出了个性化话语风格(PUS)模块来感知个性化的需求表达习惯,并将PUS应用于对话策略,以有效地完成SRE任务。具体而言,对话策略选择合适的响应动作来动态更新对话状态。在对话历史中提取PUS的辅助下,系统可以缩小潜在需求空间的搜索范围。实验结果表明,基于PUS的对话策略能够以较少的对话轮数引出更准确的用户需求。
2023-01-07 cs.AI cs.CL
Zero-shot User Intent Detection via Capsule Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huawei Technologies(华为技术有限公司);Jilin University(吉林大学)
用户意图检测在问答和对话系统中起着关键作用。大多数以前的作品把意图检测作为一个分类问题,其中的话语标记与预定义的意图。然而,由于意图的表达是多样的,并且会不断地涉及新的意图,因此对用户的话语进行标记是劳动密集型和耗时的。相反,我们研究的zero-shot意图检测问题,其目的是检测新兴的用户意图,目前没有标记的话语。我们提出了两种基于胶囊的架构:INTENT-CAPSNET,从话语中提取语义特征,并将其聚合以区分现有意图,以及INTENTCAPSNET-RESTOL,它使INTENTCAPSNET具有零样本学习能力,通过知识转移从现有意图中区分新出现的意图。在两个真实世界数据集上的实验表明,我们的模型不仅可以更好地区分不同的表达现有的意图,但也能够区分新兴的意图时,没有标记的话语。
2018-09-02 cs.AI cs.CL
A Mixture-of-Expert Approach to RL-based Dialogue Management
Google Research(谷歌研究院)
尽管最近在语言模型(LM)方面取得了进展,但它们在对话管理(DM)问题和进行丰富对话的能力方面的应用仍然是一个挑战。我们使用强化学习(RL)来开发一个对话代理,避免短视(输出通用话语),并最大限度地提高整体用户满意度。大多数现有的RL方法DM训练的代理在单词级别,因此,必须处理一个组合复杂的动作空间,即使是一个中等大小的词汇。因此,他们很难产生一个成功的和引人入胜的对话,即使他们是热开始与预先训练的LM。为了解决这个问题,我们开发了一个基于RL的DM使用一种新的混合专家语言模型(MoE-LM),它包括(i)一个LM能够学习不同的语义会话历史,(ii)一些{ \em专门} LM(或专家)能够生成对应于特定属性或个性的话语,以及(iii)基于RL的DM,其利用由专家生成的话语执行对话规划。我们的MoE方法提供了更大的灵活性,以生成具有不同意图的合理话语,并允许RL专注于会话级别的DM。我们比较它与SOTA基线开放域对话,并证明其有效性的多样性和敏感性的生成的话语和整体DM性能。
2022-05-31 cs.AI cs.CL
Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Emory University(埃默里大学)
我们介绍了一种新的方法来Transformers,学习层次表示在多方对话。首先,三个语言建模任务用于预训练Transformers,令牌和话语级语言建模和话语顺序预测,学习令牌和话语嵌入,以便在对话上下文中更好地理解。然后,在话语预测和标记跨度预测之间的多任务学习被应用于基于跨度的问答(QA)的微调。我们的方法进行了评估,在BASINSQA数据集,并显示出3.8%和1.4%的改进,在两个国家的最先进的Transformer模型,BERT和RoBERTa,分别。
2020-05-23 cs.AI cs.CL cs.LG
MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines
Amazon(亚马逊);Google(谷歌)
MultiWOZ 2.0(Budzianowski等人,2018)是最近发布的多领域对话数据集,涵盖7个不同的领域,包含超过10,000个对话。虽然MultiWOZ 2.0非常有用,也是迄今为止同类资源中最大的资源之一,但它也有一些缺点。首先,在对话状态注释和对话话语中存在大量噪声,这对状态跟踪模型的性能产生负面影响。其次,后续工作(Lee等人,2019)通过用户对话行为增强了原始数据集。这会导致同一数据集的多个共存版本进行微小修改。在这项工作中,我们通过引入MultiWOZ 2.1来解决上述问题。为了修复嘈杂的状态注释,我们使用众包工作人员根据数据集中的原始话语重新注释状态和话语。这个校正过程导致在40%的对话回合中对超过32%的状态注释进行了更改。此外,我们固定146对话话语规范槽值的话语数据集本体中的值。为了解决第二个问题,我们将后续工作的贡献合并到MultiWOZ 2.1中。因此,我们的数据集还包括用户对话行为以及每个对话状态槽的多个槽描述。然后,我们在MultiWOZ 2.1数据集上对一些最先进的对话状态跟踪模型进行基准测试,并在校正的状态注释上显示联合状态跟踪性能。我们向社区公开发布MultiWOZ 2.1,希望这个数据集资源能够在内置的各种对话子问题中构建更有效的模型。
2019-12-03 cs.AI cs.CL
Emp-RFT: Empathetic Response Generation via Recognizing Feature Transitions between Utterances
Yonsei University(延世大学)
多轮移情对话中的每一个话语都具有情感、关键词和话语层面意义等特征。话语之间的特征转换自然发生。然而,现有的方法无法感知的过渡,因为他们提取的背景下,在粗粒度的水平。为了解决上述问题,我们提出了一种新的方法来识别话语之间的特征转换,这有助于理解对话流程,更好地把握需要注意的话语特征。此外,我们引入了一个响应生成策略,以帮助集中在情感和关键字相关的适当功能时,生成响应。实验结果表明,我们的方法优于基线,特别是,取得了显着的改善多轮对话。
2022-05-06 cs.AI cs.CL cs.LG
Ranking Enhanced Dialogue Generation
CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所网络数据科学与技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
如何有效地利用对话历史是多轮对话生成中的一个关键问题。以前的工作通常采用各种神经网络架构(例如,递归神经网络、注意力机制和分层结构)来对历史进行建模。然而,Sankar等人最近的一项实证研究表明,这些架构缺乏理解和建模对话历史动态的能力。例如,广泛使用的体系结构对对话历史的扰动(诸如单词混洗、话语丢失和话语重新排序)不敏感。为了解决这个问题,我们在本文中提出了一个排名增强对话生成框架。尽管传统的表示编码器和响应生成模块,一个额外的排名模块被引入到模型之间的排名关系的前话语和连续的话语。具体来说,前一个话语和连续的话语被视为查询和相应的文档,并在学习过程中设计了局部和全局的排名损失。通过这种方式,可以明确地捕获对话历史中的动态。为了评估我们提出的模型,我们在三个公共数据集上进行了广泛的实验,即,bAbI、PersonaChat和JDC。实验结果表明,我们的模型产生更好的反应,在定量措施和人类的判断,与国家的最先进的对话生成模型。此外,我们给出了一些详细的实验分析,以显示改进来自哪里以及如何。
2020-08-13 cs.AI cs.CL cs.LG
Two-stage Incomplete Utterance Rewriting on Editing Operation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有不完整话语改写研究忽略对话共指与省略现象的问题,提出两阶段编辑操作框架TEO及对抗扰动策略,在三个数据集上性能显著优于当前最优模型。
2025-03-20 cs.AI cs.CL
Generalized Zero-shot Intent Detection via Commonsense Knowledge
University of California, Riverside(加州大学河滨分校)
从自然语言话语中识别用户意图是会话系统中的关键步骤,其已作为监督分类问题被广泛研究。然而,在实践中,部署意图检测模型后会出现新的意图。因此,这些模型应该无缝地适应和分类具有可见和不可见意图的话语-不可见意图在部署后出现,并且它们没有训练数据。针对这种设置的少数现有模型严重依赖于几乎不可用的训练数据,并且过度拟合可见意图数据,导致将具有不可见意图的话语错误分类为可见意图的偏见。我们建议乘坐:意图检测模型以无监督的方式利用常识知识来克服训练数据稀缺的问题。RIDE计算鲁棒且可概括的关系元特征,其捕获话语和意图标签之间的深层语义关系;这些特征通过考虑话语中的概念如何经由常识知识链接到意图标签中的概念来计算。我们对三个广泛使用的意图检测基准进行了广泛的实验分析,结果表明,关系元特征显著提高了检测可见和不可见意图的准确性,并且RIDE在不可见意图方面优于最先进的模型。
2021-02-04 cs.AI cs.CL
Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation
Cornell University(康奈尔大学);LMU Muinich(慕尼黑大学)
本文提出一种基于LLM的对话分割方法,通过代码表注入提升分割一致性,并在无黄金标签情况下评估不同分割器的性能,发现需根据下游任务优化分割策略。
2026-01-22 cs.AI cs.CL
Incomplete Utterance Rewriting with Editing Operation Guidance and Utterance Augmentation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对不完整话语改写中生成冗余无关内容、训练数据不足的问题,提出带编辑操作引导和标记级异构图的EO-IUR框架及二维话语增强策略,在三类数据集上性能超越现有SOTA模型。
2025-03-20 cs.AI cs.CL
Building a Conversational Agent Overnight with Dialogue Self-Play
Google AI(谷歌人工智能)
我们提出了机器对机器(M2M),一个框架相结合的自动化和众包,以快速引导端到端的对话代理在任意领域的目标为导向的对话。M2M仅通过任务模式和来自对话系统开发人员的API客户端扩展到新任务,但它也可以定制以满足特定于任务的交互。与用于数据汇集的绿野仙踪方法相比,M2M实现了显著对话流的更大多样性和覆盖率,同时保持了个体话语的自然性。在第一阶段中,模拟的用户机器人和领域不可知的系统机器人进行对话,以详尽地生成对话“大纲”,即模板话语及其语义解析的序列。在第二阶段,人群工作者提供对话的上下文重写,使话语更自然,同时保留其意义。整个过程可以在几个小时内完成。我们提出了一个新的语料库的3,000对话跨越2个领域收集与M2M,并提出与流行的对话数据集的表面形式和对话流的质量和多样性的比较。
2018-01-15 cs.AI cs.CL
MALA: Cross-Domain Dialogue Generation with Action Learning
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
面向任务的对话反应生成包括两个基本部分:对话规划和表面实现。然而,这两个组成部分在其目标上有差异,即,完成任务和语言质量。为了处理这种差异,已经引入了条件反应生成,其中生成过程被分解为动作决策和语言生成通过显式动作表征。为了获得动作表征,最近的研究学习潜在的动作在无监督的方式的基础上的话语词汇相似性。这种行动学习方法容易出现语言表面的混乱,从而影响任务的完成和语言质量。为了解决这个问题,我们提出了多阶段自适应潜在动作学习(MALA),通过区分话语对对话进程的影响来学习语义潜在动作。我们使用话语引起的对话状态的转换建模话语效果,并开发了一个语义相似性测量,估计话语是否有类似的效果。为了在没有对话状态的域上学习语义动作,MsALA逐步扩展跨域的语义相似性度量,即,从调整共享操作到学习特定领域的操作。使用多域数据集SMD和MultiWOZ的实验表明,我们提出的模型在任务完成和语言质量方面都比基线模型取得了一致的改进。
2020-10-13 cs.AI cs.CL cs.LG
From Intents to Conversations: Generating Intent-Driven Dialogues with Contrastive Learning for Multi-Turn Classification
Singapore University of Technology and Design(新加坡科技设计大学)
针对多轮意图分类缺乏大规模领域多语言数据的问题,提出融合HMM与LLM的Chain-of-Intent框架生成意图驱动对话,搭配MINT-CL多任务对比学习框架提升分类效果,还发布了电商领域多语言多轮对话语料库MINT-E。
2025-09-01 cs.AI cs.CL
A retrieval-based dialogue system utilizing utterance and context embeddings
Maastricht University(马斯特里赫特大学)
为文本对话、话语和单词找到语义丰富且计算机可理解的表示对于对话系统(或会话代理)至关重要,因为它们的性能主要取决于对会话上下文的理解。最近的研究旨在为单词找到分布式向量表示(嵌入),使得语义相似的单词在向量空间内相对接近。将文本的“含义”编码为矢量是当前的趋势,文本可以从单词、短语和文档到实际的人与人之间的对话。在最近的研究方法中,响应已经利用解码器架构生成,给出当前会话的矢量表示。在本文中,利用嵌入的答案检索进行了探索,通过使用局部敏感哈希森林(LSH森林),一个近似最近邻(ANN)模型,找到相似的对话语料库和排名可能的候选人。著名的Ubuntu语料库(英语)和客户服务聊天数据集(荷兰语)上的实验结果表明,结合候选人选择方法,检索为基础的方法优于生成的,并揭示了有前途的未来研究方向对这样一个系统的可用性。
2017-10-20 cs.AI cs.CL cs.IR
StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Kunming University of Science and Technology(昆明理工大学)
针对大语言模型处理长对话的效率与一致性难题,提出基于对话注意力汇聚点的StreamingDialogue方法,通过压缩长对话历史实现长时学习,搭配两种学习策略降低信息损失,在对话任务中性能更优且大幅提升速度、降低内存占用。
2024-11-04 cs.AI cs.CL
Intent-driven In-context Learning for Few-shot Dialogue State Tracking
School of Intelligent Systems Engineering Sun Yat-sen University Shenzhen, China
本文提出 IDIC-DST,通过意图驱动的对话信息增强、噪声屏蔽、输入重写与相似示例检索,利用大语言模型在少样本 DST 中达到 MultiWOZ 2.1/2.4 最优性能。
2024-12-04 cs.AI cs.CL
Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
Huazhong University of Science and Technology(华中科技大学);Joint Laboratory of HUST and Pingan Property & Casualty Research (HPL)(华中科技大学与平安财产保险研究联合实验室);Beijing Institute of Technology(北京理工大学);Ping An Property & Casualty Insurance Company of China, Ltd(中国平安财产保险股份有限公司)
本文提出因果感知长期对话框架(CPD),通过基于扰动的因果变量发现方法提取因果相关话语,并采用局部位置感知消除句子间位置相关性,结合因果感知微调策略增强模型发现因果不变因素的能力,有效缓解了LLMs在长期对话中的位置偏差问题。
2024-06-04 cs.AI cs.CL
Template-assisted Contrastive Learning of Task-oriented Dialogue Sentence Embeddings
Stanford University(斯坦福大学);Zhejiang University(浙江大学);Alibaba Qwen Pilot(阿里巴巴Qwen Pilot)
本文提出TaDSE方法,利用模板信息通过自监督对比学习学习对话句嵌入,通过合成数据集增强效果,并在五个对话基准数据集上验证了其有效性。
2026-04-12 cs.AI cs.CL
Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge
Shanghai Jiao Tong University(上海交通大学)
多轮对话阅读理解旨在教机器阅读对话上下文,并解决回答选择和回答问题等任务。主要的挑战涉及嘈杂的历史背景和特殊的常识性知识的先决条件,是看不见的给定的材料。现有的工作主要集中在上下文和响应匹配的方法。因此,这项工作首次尝试解决上述两个挑战,提取实质上重要的话轮作为枢纽话语,并利用外部知识,以提高表示的上下文。在基于transformer的语言模型基础上,提出了一种面向文本的深度选择模型(PoDS)。具体地说,我们的模型首先根据与候选响应或问题的语义匹配从会话历史中挑选出枢轴话语,如果有的话。此外,从知识图谱中提取与对话上下文相关的知识项作为外部知识。然后,枢轴话语和外部知识与精心设计的机制相结合,用于细化预测。四个对话理解基准任务的实验结果表明,我们提出的模型取得了很大的改善基线。一系列的实证比较,以显示我们的选择策略和额外的知识注入如何影响的结果。
2021-02-10 cs.AI cs.CL
CloneBot: Personalized Dialogue-Response Predictions
Stanford University(斯坦福大学)
我们的项目任务是创建一个模型,给定说话者ID,聊天历史和话语查询,可以预测对话中的响应话语。该模型是个性化的每个扬声器。这个任务可以成为构建语音机器人的有用工具,这些机器人可以在实时对话中以类似人类的方式说话。此外,我们成功地使用密集向量编码聚类来检索相关的历史对话上下文,这是一种有用的策略,可以克服基于神经模型的输入限制,当预测需要从对话历史中获得长期参考时。在本文中,我们已经实现了一个国家的最先进的模型,使用预训练和微调技术建立在Transformer架构和多头注意力块的开关板语料库。我们还展示了如何有效的向量聚类算法可以用于实时话语预测,不需要训练,因此工作在离线和加密的消息历史。
2021-03-31 cs.AI cs.CL cs.LG
A Sequence-to-Sequence Approach to Dialogue State Tracking
University College London(伦敦大学学院);ByteDance AI Lab(字节跳动人工智能实验室)
研究了面向任务的对话系统中的对话状态跟踪问题。构建高效的DST模块仍然是一个具有挑战性的问题,尽管最近已经取得了重大进展。本文提出了一种新的对话状态跟踪方法,称为Seq 2Seq-DU,它将DST形式化为一个序列到序列的问题。Seq 2Seq-DU采用两个基于BERT的编码器分别对对话中的话语和模式描述进行编码,一个参与者计算话语嵌入和模式嵌入之间的注意力,一个解码器生成指针来表示对话的当前状态。Seq 2Seq-DU具有以下优点。它可以联合建模意图、槽和槽值;它可以利用基于BERT的话语和模式的丰富表示;它可以有效地处理分类和非分类槽以及看不见的模式。此外,Seq 2Seq-DU还可以用于对话系统的NLU(自然语言理解)模块中。在不同设置的基准数据集(SGD、MultiWOZ2.2、MultiWOZ2.1、WOZ2.0、DSTC 2、M2M、SNIPS和ATIS)上的实验结果表明,Seq 2Seq-DU优于现有方法。
2021-05-29 cs.AI cs.CL cs.IR
Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information
The University of Electro-Communications(电通大学)
本研究通过对话摘要和人物信息提升Werewolf AI代理发言的一致性。
2026-03-07 cs.AI cs.CL
Automatic Intent-Slot Induction for Dialogue Systems
Ping An Life Insurance of China, Ltd.(中国平安人寿保险股份有限公司)
自动和准确地识别用户意图并从他们的口语中填充相关联的槽是对话系统成功的关键。传统的方法需要手动定义DOMAIN-INTENT-SLOT模式,并要求许多领域专家注释相应的话语,在此基础上训练神经模型。这一过程带来的挑战,信息共享阻碍,模式外,或数据稀疏的开放域对话系统。为了应对这些挑战,我们探索了一个新的任务{ \em自动意图槽归纳},并提出了一个新的域独立的工具。也就是说,我们设计了一个由粗到精的三步过程,包括角色标记、概念挖掘和模式挖掘(RCAP):(1)角色标记:从用户的话语中提取关键词,并通过序列标记将其分类为四个粗略定义的意图角色;(2)概念挖掘:将提取的意图角色提及聚类并将其命名为抽象的细粒度概念;(3)模式挖掘:将Apriori算法应用于意图角色模式的挖掘,并利用这些粗粒度的意图角色标签和细粒度的概念自动推断意图槽。在域内和域外数据集上的实验结果表明:(1)RCAP可以生成令人满意的SLU模式,性能优于现有的监督学习方法:(2)RCAP可以直接应用于域外数据集,在意图检测和槽填充上分别提高了76%和41%;(3)我们的RCAP在通用意图槽提取方面表现出了强大的功能,并且人工工作量更少,这为新领域的模式归纳和可推广的对话系统的不可见意图槽发现开辟了途径。
2021-03-16 cs.AI cs.CL
Generalizable and Explainable Dialogue Generation via Explicit Action Learning
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
任务型对话的反应生成同时隐含优化两个目标:任务完成和语言质量。条件反应生成作为一种有效的方法,分别和更好地优化这两个目标。这种方法依赖于系统动作注释,这是昂贵的获得。为了减轻对动作注释的需求,引入了潜在动作学习来将每个话语映射到潜在表示。然而,这种方法容易过度依赖于训练数据,从而限制了泛化能力。为了解决这个问题,我们建议学习自然语言的行动,代表话语作为一个跨度的话。这种明确的动作表征通过语言的组成结构促进了泛化。它还提供了一个可解释的生成过程。我们提出的无监督方法学习一个记忆组件,将系统话语总结成一小段单词。为了进一步促进紧凑的动作表示,我们提出了一个辅助任务,使用记忆组件恢复状态注释作为总结对话上下文。我们提出的方法优于MultiWOZ,一个基准多域数据集上的潜在动作基线。
2020-10-08 cs.AI cs.CL
Dialogue Meaning Representation for Task-Oriented Dialogue Systems
Amazon AWS AI(亚马逊AWS人工智能部门);Fudan University(复旦大学)
对话意义表征将自然语言的话语语义以一种明确的、机器可读的形式表达出来。以前的工作通常遵循意图槽框架,这是很容易注释,但在复杂的语言表达的可扩展性有限。一系列的作品通过引入层次结构来解释表示问题,但对表达复杂的组合语义(如否定和共指)具有挑战性。我们提出了对话意义表示(DMR),一个柔韧的,易于扩展的表示面向任务的对话。我们的表示包含一组节点和边来表示丰富的组合语义。此外,我们提出了一个继承层次机制,重点领域的可扩展性。此外,我们用DMR注释了DMR-FastFood,这是一个具有超过70 k话语的多轮对话数据集。我们提出了两个评估任务来评估不同的对话模型和一个新的共指消解模型GNNCoref用于基于图的共指消解任务。实验表明,DMR可以很好地解析预训练的Seq 2Seq模型,GNNCoref大幅优于基线模型。
2022-11-15 cs.AI cs.CL
Example-Driven Intent Prediction with Observers
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊Alexa AI)
对话系统研究的一个关键挑战是有效地和高效地适应新的领域。适应的可扩展范例需要开发在Few-Shot设置中表现良好的可推广模型。在本文中,我们专注于意图分类问题,其目的是确定用户意图给定的话语寻址到对话系统。我们提出了两种方法来提高话语分类模型的泛化能力:(1)观察者和(2)示例驱动的训练。先前的工作表明,BERT类模型倾向于将大量的注意力归因于[CLS]令牌,我们假设这会导致稀释表示。观察者是不受关注的令牌,并且是[CLS]令牌的替代品,作为话语的语义表示。示例驱动的训练通过与示例进行比较来学习对话语进行分类,从而使用底层编码器作为句子相似性模型。这些方法是相辅相成的;通过观察者改进表示可以让示例驱动模型更好地衡量句子相似性。当组合时,所提出的方法在全数据和Few-Shot(每个意图10个示例)设置中在三个意图预测数据集(\textsc{banking77}、\textsc{clinc150}、\textsc{hwu64})上获得最先进的结果。此外,我们证明了所提出的方法可以在没有任何额外训练的情况下转移到新的意图和跨数据集。
2021-05-25 cs.AI cs.CL
Intent Mining from past conversations for conversational agent
Accenture Labs(埃森哲实验室)
对话系统是AI社区的主要兴趣。聊天机器人越来越多地被部署来提供全天候支持并提高客户参与度。许多商业机器人构建框架遵循一种标准方法,该方法要求构建和训练意图模型以识别用户输入。意图模型在有监督的设置中使用文本话语和意图标签对的集合进行训练。为不同的意图收集大量和广泛的训练数据是机器人构建过程中的瓶颈。此外,标记一百到数千个具有意图的对话的成本是一项耗时费力的工作。在本文中,我们提出了一个意图发现框架,包括4个主要步骤:使用预训练的领域不可知对话行为分类器从对话中提取文本话语(数据提取),相似用户话语的自动聚类(聚类),使用Intent标签手动注释聚类(标记)并将意图标签传播到来自先前步骤的话语,其未被映射到任何聚类(标签传播);以从原始会话生成意图训练数据。针对不平衡数据的聚类问题,提出了一种新的基于密度的聚类算法ITER-DBSCAN。主题专家(具有领域专业知识的注释者)手动查看聚类的用户话语,并提供用于发现的意图标签。我们进行了用户研究,以验证在意图覆盖率、准确性和节省手动注释时间方面生成的训练意图模型的有效性。虽然系统被开发用于构建会话系统的意图模型,但是该框架也可以用于短文本聚类或作为标记框架。
2021-01-18 cs.AI cs.CL cs.LG
Out-of-Domain Intent Detection Considering Multi-Turn Dialogue Contexts
Alibaba Group(阿里巴巴集团)
本文提出上下文感知的域外意图检测框架Caro,通过信息瓶颈和多视图学习建模多轮对话上下文,并利用无标签数据自举训练,将F1-OOD分数提升超过29%。
2024-02-23 cs.AI cs.CL cs.LG
Towards Actionable Pedagogical Feedback: A Multi-Perspective Analysis of Mathematics Teaching and Tutoring Dialogue
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oklahoma(俄克拉荷马大学);University of Chittagong(奇塔格昂大学);Saga Education(Saga教育)
针对数学教学与辅导对话中话语多功能性和话语遗漏问题,提出融合谈话动作、对话行为与话语关系的多视角分析框架,揭示无谈话动作话语的关键作用,助力AI辅助教育反馈。
2025-05-12 cs.AI cs.CL cs.HC
MedDialog: Two Large-scale Medical Dialogue Datasets
UC San Diego(加州大学圣地亚哥分校)
医疗对话系统在协助远程医疗以增加获得保健服务的机会、提高患者护理质量和降低医疗成本方面是有希望的。为了方便医学对话系统的研究和开发,我们建立了两个大规模的医学对话数据集:MedDialog-EN和MedDialog-CN。MedDialog-EN是一个英文数据集,包含患者和医生之间的30万次对话和50万次话语。MedDialog-CN是一个包含110万个对话和400万个话语的中文数据集。据我们所知,MedDialog-(EN,CN)是迄今为止最大的医学对话数据集。该数据集可在https://github.com/UCSD-AI4H/Medical-Dialogue-System上获得
2020-07-07 cs.AI cs.CL cs.LG
Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System
Imperial College London(帝国理工学院);Laiye Network Technology Co. Ltd.(来也网络科技有限公司);KAIST(韩国科学技术院);University of Bath(巴斯大学)
设计面向任务的对话系统是一个具有挑战性的研究课题,因为它不仅需要生成满足用户要求的话语,而且要保证可理解性。许多先前的工作训练端到端(E2 E)模型与监督学习(SL),然而,在标注系统话语的偏见仍然是一个瓶颈。强化学习(RL)通过使用不可微的评估度量(例如,成功率)作为奖励。尽管如此,现有的工作与强化学习表明,生成的系统话语的可理解性可能会损坏时,提高性能,满足用户的请求。在我们的工作中,我们(1)提出了对话策略和自然语言生成器(NLG)之间的层次结构建模与选项框架,称为HDNO,其中潜在的对话行为被应用,以避免设计特定的对话行为表示;(2)通过分层强化学习(HRL)训练HDNO,以及建议在训练期间在对话策略和NLG之间的异步更新,以理论上保证它们收敛到局部最大化器;以及(3)建议使用用语言模型建模的词典作为额外奖励,以进一步提高可理解性。我们在MultiWoz 2.0和MultiWoz 2.1(多域对话数据集)上测试了HDNO,并与使用RL,LaRL和HDSA训练的单词级E2 E模型进行了比较,显示了自动评估指标和人工评估的性能改进。最后,我们论证了潜在对话行为的语义,以说明HDNO的可解释性。
2021-02-19 cs.AI cs.CL cs.LG
Memory-augmented Dialogue Management for Task-oriented Dialogue Systems
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
对话管理根据当前对话状态决定对话系统的下一步动作,在面向任务的对话系统中起着核心作用。由于对话管理不仅需要访问本地话语,而且需要访问整个对话会话的全局语义,因此对远程历史信息进行建模是一个关键问题。为此,我们提出了一种新的内存增强对话管理模型(MAD),它采用了一个内存控制器和两个额外的内存结构,即,槽值存储器和外部存储器。槽值存储器通过记忆和更新语义槽的值(例如,菜系、价格和位置)来跟踪对话状态,外部存储器通过存储更多的上下文信息来增强传统递归神经网络的隐藏状态的表示。为了有效地更新对话状态,我们还提出了槽级关注用户的话语提取特定的语义信息,为每个槽。实验表明,我们的模型可以获得最先进的性能,并优于现有的基线。
2018-05-01 cs.AI cs.CL cs.IR
DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances
School of Software, Shanghai Jiao Tong University(上海交通大学软件学院);NAVER AI Lab(NAVER人工智能实验室)
预训练语言模型的最新进展显着改善了神经反应的生成。然而,现有的方法通常将对话上下文视为令牌的线性序列,并通过令牌级的自我注意来学习生成下一个单词。这种标记级编码阻碍了话语间语篇级连贯性的探索。本文介绍了DialogBERT,一种新的会话响应生成模型,增强了以前的基于PLM的对话模型。DialogBERT采用分层Transformer架构。为了有效地捕捉话语之间的语篇级连贯性,我们提出了两个训练目标,包括掩蔽的话语回归和分布式话语顺序排序类似于原始的BERT训练。在三个多话轮会话数据集上的实验表明,我们的方法在定量评估方面明显优于基线,如BART和DialoGPT。人类评估表明,DialogBERT比基线产生了更连贯,更丰富,更人性化的响应。
2021-12-13 cs.AI cs.CL cs.LG
I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Facebook AI Research(脸书人工智能研究院)
为了量化自然语言理解模型在一般对话中捕获一致性的程度,我们引入了对话矛盾检测任务(DECODE)和一个新的包含人与人和人与机器人矛盾对话的对话数据集。然后,我们比较了结构化的话语为基础的方法,使用预训练的Transformer模型的矛盾检测与典型的非结构化的方法。结果表明:(i)我们新收集的数据集在为对话矛盾检测任务提供监督方面比现有的NLI数据(包括旨在覆盖对话域的数据)明显更有效;(ii)基于结构化话语的方法在分析和分发外对话方面比其非结构化对应物更鲁棒和可转移。我们还表明,我们的最佳矛盾检测模型与人类判断相关性很好,并进一步为其在自动评估和提高最先进的生成聊天机器人的一致性方面的使用提供了证据。
2020-12-28 cs.AI cs.CL cs.LG
Utterance-Level Methods for Identifying Reliable ASR-Output for Child Speech
Centre for Language Studies, Radboud University, Netherlands(语言研究所以及鲁文大学,荷兰);Department of Language and Communication, Radboud University, Netherlands(语言与交流系,鲁文大学,荷兰)
本文提出两种新型方法,用于在语句层面选择可靠的ASR输出,用于阅读语音和对话材料,通过英荷语数据集验证,结果显示最佳策略的精度超过97.4%,有效降低错误率。
2026-04-10 cs.AI cs.CL eess.AS