Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited(PolyAI有限公司)
尽管它们在聊天机器人文献中很受欢迎,但基于检索的模型对面向任务的对话系统的影响不大,其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发,我们提出了一种有效的方法,用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型,我们提出了一种新的方法:1)在大型通用领域对话语料库上预训练响应选择模型;然后2)针对目标对话领域微调预训练模型,仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域,从电子商务到银行,证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Precognition in Task-oriented Dialogue Understanding: Posterior Regularization by Future Context
Ant Group(蚂蚁集团)
面向任务的对话系统是近年来研究的热点。在面向任务的对话系统中,对话理解被广泛用于理解用户的意图、情感和对话状态。大多数以前的作品,这种歧视性的任务只模型当前查询或历史对话。即使在某些工作中,整个对话流被建模,它是不适合现实世界的面向任务的会话,因为未来的上下文是不可见的,在这种情况下。在本文中,我们提出了联合模型的历史和未来的信息,通过后验正则化方法。更具体地说,通过将当前话语和过去的上下文建模为先验,将整个对话流建模为后验,我们优化了这些分布之间的KL距离,以在训练过程中正则化我们的模型。只有历史信息才能用于推理。在两个对话数据集上的实验验证了该方法的有效性,与所有基线模型相比,取得了更好的结果。
2022-03-07 cs.CL
CookDial: A dataset for task-oriented dialogs grounded in procedural documents
Ghent University(根特大学);imec(比利时微电子研究中心)
这项工作提出了一个新的对话数据集CookDial,它有助于研究具有程序知识理解的面向任务的对话系统。该语料库包含260个人与人之间的任务导向对话,其中一个代理,给出一个食谱文档,指导用户烹饪一道菜。CookDial中的对话具有两个独特的功能:(i)对话流和支持文档之间的程序对齐;(ii)复杂的代理决策,包括分割长句,解释硬指令和解决对话上下文中的共指。此外,我们确定了三个具有挑战性的(子)任务,在假设的面向任务的对话系统:(1)用户问题理解,(2)代理动作帧预测,(3)代理响应生成。对于这些任务中的每一个,我们都开发了一个神经基线模型,并在CookDial数据集上进行了评估。我们公开发布了CookDial数据集,包括对话框和食谱文档的丰富注释,以刺激对特定于域的基于文档的对话框系统的进一步研究。
2022-06-17 cs.CL
Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Samsung Research(三星研究院)
在这项工作中,我们提出了一种混合学习方法,通过在线用户交互训练面向任务的对话系统。用于学习面向任务的对话的流行方法包括在监督的预训练模型上应用具有用户反馈的强化学习。这种学习方法的效率可能受到离线训练和在线交互式学习阶段之间的对话状态分布的不匹配的影响。为了解决这一挑战,我们提出了一种混合模仿和强化学习的方法,与对话代理可以有效地学习,从人类的教学和反馈与用户的互动。我们设计了一个基于神经网络的面向任务的对话代理,可以优化端到端的学习方法。实验结果表明,我们的端到端的对话代理可以有效地学习,从它所犯的错误,通过模仿学习从用户教学。在模仿学习阶段之后应用具有用户反馈的强化学习进一步提高了代理成功完成任务的能力。
2018-04-18 cs.CL
Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generation
Microsoft Maluuba(微软 Maluuba)
诸如BLEU的自动化度量在机器翻译文献中被广泛使用。它们最近也被对话界用于评估对话回应的生成。然而,以前的工作中的对话响应生成表明,这些指标不密切相关的非面向任务的对话设置与人类的判断。任务导向型对话的回答表达的领域较窄,多样性较低。因此,有理由认为,这些自动化的指标将与人类的判断在面向任务的设置,其中生成任务包括翻译成一个句子的对话行为。我们进行了实证研究,以证实是否是这样。我们的研究结果表明,这些自动化的指标有更强的相关性与人类的判断,在面向任务的设置相比,在非面向任务的设置。我们还观察到,这些指标与提供多个地面真实参考句子的数据集的相关性更好。此外,我们表明,一些目前可用的语料库面向任务的语言生成可以解决简单的模型和倡导更具挑战性的数据集。
2017-06-29 cs.CL
An End-to-End Trainable Neural Network Model with Belief Tracking for Task-Oriented Dialog
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的端到端的可训练神经网络模型面向任务的对话系统。该模型能够跟踪对话状态,向知识库(KB)发出API调用,并将结构化的KB查询结果合并到系统响应中,以成功地完成面向任务的对话。该模型通过共同学习信念跟踪和KB结果处理条件的对话历史,产生结构良好的系统响应。我们使用从第二个对话状态跟踪挑战(DSTC 2)语料库转换的数据集来评估餐厅搜索域中的模型。实验结果表明,该模型可以鲁棒地跟踪对话状态给定的对话历史。此外,我们的模型在产生适当的系统响应方面表现出良好的效果,优于使用每个响应准确度评估指标的先前端到端可训练神经网络模型。
2017-08-20 cs.CL
Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation
Meituan Group(美团集团);Peking University(北京大学)
针对工业场景中任务型对话系统在可控性和效率上的瓶颈,提出基于动作级生成的对话系统,通过构建对话动作序列并训练 Seq2Seq 模型生成动作再转换为响应,实现轻量且具竞争力的可控高效方案。
2023-04-03 cs.CL
Adversarial Learning of Task-Oriented Neural Dialog Models
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一个对抗性学习方法的奖励估计强化学习(RL)为基础的面向任务的对话模型。当前大多数基于RL的面向任务的对话系统都需要访问来自用户反馈或用户评级的奖励信号。然而,这种用户评级在实践中可能并不总是一致或可用的。此外,使用RL的在线对话策略学习通常需要向用户进行大量查询,从而遭受样本效率问题。为了解决这些挑战,我们提出了一种对抗性学习方法,直接从对话样本中学习对话奖励。这样的奖励进一步用于利用基于策略梯度的RL来优化对话策略。在餐馆搜索领域的评估中,我们表明,与强基线方法相比,所提出的对抗性对话学习方法实现了高级对话成功率。我们进一步讨论了在线对抗对话学习中的协变量偏移问题,并展示了如何通过部分访问用户反馈来解决这个问题。
2018-05-30 cs.CL
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University(苏州大学)
基于最近提出的可转移的对话状态生成器(TRADE),预测对话状态,从话语连接的对话上下文,我们提出了一个多任务学习模型,一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文,我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中,我们提出的模型比基线实现了7.03%的相对改进,在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
BORT: Back and Denoising Reconstruction for End-to-End Task-Oriented Dialog
JD AI Research(京东人工智能研究院)
典型的端到端面向任务的对话系统将上下文转换为对话状态,并在其上生成响应,这通常面临来自先前生成的不准确的对话状态和响应的错误传播的问题,特别是在低资源场景中。为了缓解这些问题,我们提出了BORT,一个后端和去噪重建方法的端到端面向任务的对话系统。为了提高对话状态的准确性,由于不准确的对话状态不能恢复相应的输入上下文,因此使用反向重建来从生成的对话状态重建原始输入上下文。为了增强模型的去噪能力以减少错误传播的影响,使用去噪重建来重建损坏的对话状态和响应。在MultiWOZ 2.0和CamRest676上进行的大量实验表明了BORT的有效性。此外,BORT在zero-shot域和低资源场景中展示了其高级功能。
2022-05-05 cs.CL
BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
针对任务型对话预训练中对比框架依赖正负样本且缺乏多样性的问题,本文提出 BootTOD,通过自举对齐上下文与上下文加响应表示并利用多响应目标建模一对多多样性,在下游任务上超过 TOD 基线。
2024-03-02 cs.CL
Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个深度强化学习(RL)框架,用于端到端面向任务的对话系统中的迭代对话策略优化。使用RL学习对话策略的流行方法包括让对话代理学习用户模拟器。然而,构建一个可靠的用户模拟器并不简单,它通常和构建一个好的对话代理一样困难。我们通过模拟两个代理之间的对话来联合优化对话代理和具有深度RL的用户模拟器来解决这一挑战。我们首先引导一个基本的对话代理和一个基本的用户模拟器直接从对话语料库与监督训练。然后,我们通过让两个代理进行面向任务的对话并使用深度RL迭代优化其策略来进一步改进它们。对话代理和用户模拟器都是用可以端到端训练的神经网络模型设计的。我们的实验结果表明,与监督训练和单智能体RL训练基线模型相比,所提出的方法在任务成功率和总任务奖励方面都有很大的改进。
2017-09-18 cs.CL
Adapting Task-Oriented Dialogue Models for Email Conversations
Microsoft(微软)
意图检测是会话助理的任何自然语言理解(NLU)系统的关键部分。检测正确的意图对于存在多个指令和意图的电子邮件对话来说是必不可少的,但也很困难。在这样的设置中,对话上下文可以成为用于检测来自助理的用户请求的关键消歧因素。一个突出的方式纳入上下文是建模过去的会话历史,如面向任务的对话模型。然而,电子邮件对话(长格式)的性质限制了直接使用面向任务的对话模型的最新进展。因此,在本文中,我们提供了一个有效的迁移学习框架(EMToD),允许对话模型的最新发展,以适应长形式的对话。我们表明,所提出的EMToD框架的意图检测性能提高了45%,超过预训练的语言模型和30%的面向任务的电子邮件对话的预训练的对话模型。此外,所提出的框架的模块化性质允许即插即用的任何未来的发展,在预先训练的语言和面向任务的对话模型。
2022-08-19 cs.CL
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Cambridge University(剑桥大学);PolyAI Limited(PolyAI有限公司)
数据稀缺是一个长期存在的关键挑战,它阻碍了跨多个领域的面向任务的对话系统的快速开发:面向任务的对话模型预计将从少量的特定于任务的数据中学习语法,句法,对话推理,决策和语言生成。在本文中,我们证明了语言建模预训练和迁移学习的最新进展有望克服这个问题。我们提出了一个面向任务的对话模型,只对文本输入操作:它有效地绕过明确的政策和语言生成模块。在TransferTransfo框架之上构建(Wolf等人,2019)和生成模型预训练(Radford et al.,2019),我们从MultiWOZ数据集验证了复杂的多领域面向任务的对话方法。我们的自动和人工评估表明,所提出的模型与强大的任务特定神经基线相当。从长远来看,我们的方法有望缓解数据稀缺问题,并支持构建更具吸引力和更雄辩的面向任务的会话代理。
2019-08-04 cs.CL
Learning End-to-End Goal-Oriented Dialog
Facebook AI Research(Facebook人工智能研究院)
面向目标的应用程序中使用的传统对话系统需要大量特定于领域的手工制作,这阻碍了扩展到新领域。端到端对话系统,其中所有组件都是从对话本身训练的,摆脱了这个限制。但是,最近在闲聊对话中取得的令人鼓舞的成功可能不会延续到目标导向的环境中。本文提出了一个测试床,打破了面向目标的应用程序中的端到端对话系统的优点和缺点。在餐厅预订的背景下,我们的任务需要操纵句子和符号,以便正确地进行对话,发出API调用并使用这些调用的输出。我们表明,基于内存网络的端到端对话系统可以达到有前途的,但不完美的,性能和学习执行非平凡的操作。我们通过将我们的系统与第二次对话状态跟踪挑战(Henderson et al.,2014年a)。我们从在线礼宾服务中提取的数据显示了类似的结果模式。
2017-03-30 cs.CL
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis(加利福尼亚大学戴维斯分校);Carnegie Mellon University(卡内基梅隆大学)
创建一个能够理解视觉和语言的智能对话系统是人工智能(AI)的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成,然而,有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架,动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略,以提高对话任务的成功率和效率。我们还提出了一种新的技术,状态自适应,在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术,并取得了可喜的成果。
2018-05-08 cs.CL
DORA: Toward Policy Optimization for Task-oriented Dialogue System with Efficient Context
Pohang University of Science and Technology(浦项科技大学)
最近,强化学习(RL)已经通过使用潜在动作来解决监督学习(SL)的缺点,被应用于面向任务的对话系统。在本文中,我们提出了一个多领域的面向任务的对话系统,称为对话系统与优化循环的行动政策使用有效的上下文(DORA),使用SL,随后应用RL优化对话系统使用循环的对话政策。这种对话策略会反复生成显式的系统操作,作为单词级别和高级策略。因此,DORA在SL和RL步骤期间通过使用考虑有效上下文而不是整个对话历史的显式系统动作策略而被明显优化。系统行为既可解释又可控制,而潜在行为则不然。DORA将MultiWOZ 2.0的成功率提高了6.6分,将MultiWOZ 2.1的成功率提高了10.9分。
2021-07-07 cs.CL
What Did You Say? Task-Oriented Dialog Datasets Are Not Conversational!?
Google(谷歌)
面向任务对话的高质量数据集对于虚拟助手的开发至关重要。然而,三个最相关的大规模对话数据集有一个共同的缺陷:对话状态更新可以跟踪,在很大程度上,通过一个模型,只考虑当前用户的话语,忽略对话的历史。在这项工作中,我们概述了一个分类的会话和上下文的影响,我们用它来检查MultiWOZ,SGD和SMCalFlow,其中最新的和广泛使用的面向任务的对话数据集。我们以独立于模型的方式分析数据集,并使用强大的文本到文本基线(T5)通过实验证实了这些发现。我们发现,MultiWOZ的回合中只有不到4%和SGD的回合中有10%是会话式的,而SMCalFlow在其当前版本中根本不是会话式的:其对话状态跟踪任务可以简化为单交换语义解析。最后,我们概述了真正的会话对话数据集的必要条件。
2022-03-07 cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research(京东人工智能研究院)
本文提出端到端任务型对话系统 Mars,通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系,发现与语义状态差异更大的上下文表示更有利于多轮对话,并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
UBAR: Towards Fully End-to-End Task-Oriented Dialog Systems with GPT-2
Sun Yat-sen University(中山大学)
本文介绍了我们的面向任务的对话系统UBAR模型面向任务的对话对话会话级别。具体而言,UBAR是通过在整个对话会话的序列上微调大型预训练单向语言模型GPT-2来获得的,该整个对话会话的序列由每个对话回合的用户话语、信念状态、数据库结果、系统动作和系统响应组成。此外,UBAR在更现实的设置中进行评估,其中其对话上下文可以访问用户话语及其生成的所有内容,例如信念状态,系统行为和系统响应。在MultiWOZ数据集上的实验结果表明,UBAR在多个设置中实现了最先进的性能,响应生成、策略优化和端到端建模的综合得分分别提高了4.7、3.5和9.4分。深入的分析表明,会话级的训练序列制定和生成的对话上下文是必不可少的UBAR作为一个完全端到端的面向任务的对话系统在现实生活中。我们还检查了UBAR向数据有限的新领域的传输能力,并提供了可视化和案例研究来说明UBAR在对话会话级别建模方面的优势。
2021-03-18 cs.CL
UBARv2: Towards Mitigating Exposure Bias in Task-Oriented Dialogs
Sun Yat-sen University(中山大学)
本文研究了面向任务的对话系统中的曝光偏差问题,其中模型在多个回合中生成的内容在训练时驱动对话上下文远离地面真实分布,引入错误传播并损害TOD系统的鲁棒性。为了弥合多轮面向任务的对话框的训练和推理之间的差距,我们提出了会话级采样,该采样在训练期间将模型显式暴露给采样生成的对话上下文内容。此外,我们采用了基于丢弃的一致性正则化和掩蔽策略R-Mask,以进一步提高模型的鲁棒性和性能。所提出的UBARv 2在标准化评估基准MultiWOZ上实现了最先进的性能,大量实验表明了所提出方法的有效性。
2022-09-15 cs.CL
Gaining Insights into Unrecognized User Utterances in Task-Oriented Dialog Systems
IBM Research(IBM研究院)
快速增长的市场需求的自动对话代理能够面向目标的行为,导致许多技术行业的领导者投入大量精力到面向任务的对话系统。这些系统的成功高度依赖于其意图识别的准确性-推断用户请求的目标或含义并将其映射到已知意图之一以进行进一步处理的过程。因此,深入了解未识别的话语(系统无法将用户请求归因于已知意图)是持续改进面向目标的对话系统的关键过程。我们提出了一个端到端的管道处理未识别的用户话语,部署在现实世界中,商业任务导向的对话系统,包括专门定制的聚类算法,一种新的方法来集群代表提取,和集群命名。我们评估了所提出的组件,展示了它们在分析未识别用户请求方面的优势。
2022-10-24 cs.CL
GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection
Alibaba(阿里巴巴)
预先训练的模型在增强面向任务的对话系统方面已被证明是强大的。然而,目前的预训练方法主要集中在提高对话理解和生成任务,而忽略了开发的对话策略。在本文中,我们提出了GALAXY,一种新的预训练的对话模型,显式地学习对话策略,从有限的标记对话和大规模的未标记的对话语料库,通过半监督学习。具体来说,我们在预训练期间引入了一个对话行为预测任务来进行策略优化,并采用一致性正则化项来在未标记对话框的帮助下改进学习的表示。我们还实现了一个门控机制来衡量合适的未标记的对话框样本。实证结果表明,GALAXY大大提高了面向任务的对话系统的性能,并在基准数据集上取得了新的最先进的结果:In-Car,MultiWOZ2.0和MultiWOZ2.1,分别将其端到端综合得分提高了2.5,5.3和5.5分。我们还表明,GALAXY有一个更强的Few-Shot能力比现有的模型在各种低资源设置。
2022-03-29 cs.CL
Dialogue-oriented Pre-training
Shanghai Jiao Tong University(上海交通大学)
预训练的语言模型(PrLM)在增强广泛的下游任务(包括各种对话相关任务)方面表现出强大的功能。然而,PrLM通常是在具有公共语言模型(LM)训练目标的一般纯文本上训练的,由于这种训练设置的限制,其不能充分捕获对话排他性特征,使得迫切需要填补特定对话任务和LM任务之间的空白。由于面向对话的预训练不太可能收集大量对话数据,因此本文提出了三种策略来模拟普通文本上的对话特征。我们提出的方法不同于现有的后训练方法,它可以产生一个通用的PrLM,并没有个性化的任何详细的任务,同时保持学习对话相关的功能,包括扬声器意识,连续性和一致性的能力。由此产生的Dialog-PrLM在三个公共的多轮对话数据集上进行了微调,并有助于实现对普通PrLM的显着和一致的改进。
2021-07-31 cs.CL
Topic-Aware Response Generation in Task-Oriented Dialogue with Unstructured Knowledge Access
University College London(伦敦大学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
为了缓解结构化数据库的有限覆盖的问题,最近的面向任务的对话系统将外部非结构化知识,以指导系统响应的生成。然而,这些通常使用单词或句子级别的相似性来检测相关的知识上下文,这只能部分捕获主题级别的相关性。在本文中,我们研究如何更好地整合主题信息的知识为基础的面向任务的对话,并提出了“主题感知响应生成”(TARG),一个端到端的响应生成模型。TARG结合了多个主题感知的注意力机制,以获得对对话话语和外部知识源的重要性加权方案,从而更好地理解对话历史。实验结果表明,TARG在知识选择和响应生成方面达到了最先进的性能,在Doc 2Dial上的EM,F1和BLEU-4中分别比以前的最先进性能高出3.2,3.6和4.2分,并在DSTC 9上与以前的工作进行了比较;两者都是以知识为基础的面向任务的对话数据集。
2022-12-10 cs.CL
SMRT Chatbots: Improving Non-Task-Oriented Dialog with Simulated Multiple Reference Training
Johns Hopkins University(约翰霍普金斯大学);New York University(纽约大学)
非面向任务的对话模型遭受质量差和非多样性的响应。为了克服有限的会话数据,我们应用模拟多参考训练(SMRT; Khayrallah等人,2020),并使用释义器来模拟每个训练提示的多个响应。我们发现SMRT在一个强大的Transformer基线上得到了改进,这是通过人工和自动质量分数以及词汇多样性来衡量的。我们还发现SMRT在人类评估质量方面与预训练相当,并且在自动质量和词汇多样性方面优于预训练,而不需要相关领域的对话数据。
2020-11-01 cs.CL
Quantized-Dialog Language Model for Goal-Oriented Conversational Systems
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一种新的方法来解决对话学习的背景下,面向目标的会话系统。其关键思想是将对话空间划分为集群,并在集群中创建语言模型,从而允许准确选择对话中的下一个话语。语言模型依赖于与话语聚类相关联的n-gram。这种量化的对话语言模型方法已被应用到最新的对话系统技术挑战(DSTC 6)的端到端的目标导向的轨道。我们的目标是找到正确的系统话语从一个池的候选人,以完成用户和自动餐厅预订系统之间的对话。我们的研究结果表明,本文提出的技术实现了高精度的选择正确的候选话语,并优于其他国家的最先进的方法的基础上神经网络。
2018-12-26 cs.CL
Contextual Data Augmentation for Task-Oriented Dialog Systems
Amazon Alexa(亚马逊Alexa)
本文提出一种基于完整对话上下文的用户话语生成模型,结合新的提示设计和输出重排序,在MultiWoZ和SGD基准上将对话成功率提升高达8%。
2023-10-16 cs.CL
Using a KG-Copy Network for Non-Goal Oriented Dialogues
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);Volkswagen Group Research(大众汽车集团研究部)
非目标导向的生成式对话系统缺乏用有根据的事实生成答案的能力。知识图谱可以被认为是对现实世界的一种抽象,它由有充分根据的事实组成。本文解决了通过将知识图谱集成到对话系统响应生成过程中,以端到端的方式生成良好接地响应的问题。本文提出了一个非目标导向对话的数据集,在足球领域,不同的俱乐部和国家队的交谈,以及这些球队的知识图谱。还提出了一种新的神经网络架构作为该数据集的基线,它可以将知识图谱集成到响应生成过程中,产生清晰的、基于知识的响应。经验证据表明,所提出的模型表现优于其他国家的最先进的知识图谱集成对话系统。
2019-10-17 cs.CL
DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable Task-Oriented Dialogue Systems
Columbia University(哥伦比亚大学);AWS AI Labs(AWS 人工智能实验室)
本文提出端到端潜在对话行为模型DiactTOD,通过在潜在空间表示对话行为,在大型语料库预训练后实现零样本预测与控制回复生成,并在MultiWOZ数据集的多种设置下达到最先进性能。
2023-08-01 cs.CL
Q-TOD: A Query-driven Task-oriented Dialogue System
Baidu Inc.(百度公司)
现有的面向任务的流水线对话系统通常难以适应未知领域,而端到端系统在实践中受到大规模知识库的困扰。本文介绍了一种新颖的查询驱动的面向任务的对话系统,即Q-TOD。从对话上下文的基本信息提取到一个查询,这是进一步用来检索相关的知识记录响应生成。首先,由于查询是以自然语言的形式进行的,而不局限于知识库的模式,因此Q-TOD中的领域自适应问题得到了明显的缓解。其次,由于查询使知识检索与生成脱钩,Q-TOD摆脱了知识库可扩展性的问题。为了评估所提出的Q-TOD的有效性,我们收集了三个公开的面向任务的对话数据集的查询注释。全面的实验验证了Q-TOD优于强基线,并在这些数据集上建立了新的最先进的性能。
2022-10-14 cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong(香港中文大学)
本文从强化学习视角系统综述任务型对话策略学习,归纳主要问题、解决方案及方法分类,并展望对话管理未来研究方向。
2022-07-11 cs.CL
Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
University of Cambridge(剑桥大学);Amazon AWS AI(亚马逊AWS人工智能);The Chinese University of Hong Kong(香港中文大学)
预训练的语言模型最近已被证明有利于面向任务的对话(TOD)系统。尽管他们的成功,现有的方法往往制定这个任务作为一个级联的生成问题,这可能会导致错误积累在不同的子任务和更大的数据注释开销。在这项研究中,我们提出了PPTOD,一个统一的即插即用模型面向任务的对话。此外,我们引入了一个新的对话多任务预训练策略,允许模型学习的主要TOD任务完成技能,从异构对话语料库。我们在三个基准TOD任务上广泛测试了我们的模型,包括端到端对话建模,对话状态跟踪和意图分类。实验结果表明,PPTOD在高资源和低资源场景下的所有评估任务上都达到了新的水平。此外,与以前的SOTA方法的比较表明,由PPTOD生成的响应是更真实的正确性和语义一致的判断由人类注释。
2022-03-01 cs.CL
FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
本文提出FutureTOD对话预训练模型,通过自训练框架将未来知识融入对话上下文表示,以解决通用文本与任务型对话差异及对比学习难题,实验验证了其泛化性和鲁棒性。
2023-06-17 cs.CL
Explicit State Tracking with Semi-Supervision for Neural Dialogue Generation
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
对话生成的任务旨在自动提供响应给定先前的话语。跟踪对话状态是判断用户意图的一个重要环节。然而,\emph{expensive nature of state labeling}和\emph{weak interpretability}使得对话状态跟踪对于面向任务和非面向任务的对话生成都是具有挑战性的问题:对于在面向任务的对话中生成响应,状态跟踪通常从人工注释的语料库中学习,其中人工注释对于训练来说是昂贵的;对于在非面向任务的对话中生成响应,由于对话状态的数量不受限制,大多数现有工作忽略了显式状态跟踪。在本文中,我们提出了\emph{semi-supervised explicit dialogue state tracker}(SEDST)的神经对话生成。为此,我们的方法有两个核心成分:\emph{CopyFlowNet}和\emph{posterior regularization}。具体来说,我们提出了一个编码器-解码器架构,命名为\emph{CopyFlowNet},表示一个明确的对话状态的概率分布在词汇空间。为了优化训练过程,我们采用后验正则化策略来整合间接监督。在任务型和非任务型对话语料库上进行的大量实验证明了该模型的有效性。此外,我们发现,我们提出的半监督对话状态跟踪器实现了国家的最先进的监督学习基线状态跟踪过程中的性能相当。
2018-08-31 cs.CL
CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation
Alibaba Group(阿里巴巴集团)
实用的对话系统需要处理各种知识源,嘈杂的用户表达,以及注释数据的短缺。为了更好地解决上述问题,我们提出了CGoDial,新的具有挑战性的和全面的中文基准多领域面向目标的对话评估。它总共包含96,763个对话会话和574,949个对话回合,覆盖了三个具有不同知识源的数据集:1)基于槽的对话(SBD)数据集,具有表形式的知识,2)基于流的对话(FBD)数据集,具有树形式的知识,以及基于检索的对话(RBD)数据集,具有候选人形式的知识。为了弥合学术基准和口语对话场景之间的差距,我们要么从真实对话中收集数据,要么通过众包将口语特征添加到现有数据集中。所提出的实验设置包括使用整个训练集或Few-Shot训练集进行训练,以及使用标准测试集或硬测试子集进行测试的组合,这可以评估模型在一般预测,快速适应性和可靠鲁棒性方面的能力。
2022-11-21 cs.CL
An Interpretable Neuro-Symbolic Reasoning Framework for Task-Oriented Dialogue Generation
The University of Melbourne(墨尔本大学)
本文研究了面向任务的对话系统的可解释性问题。以前,大多数基于神经的面向任务的对话系统采用隐式推理策略,使模型预测无法解释给人类。为了获得一个透明的推理过程,我们引入神经符号执行显式推理,证明模型的决策推理链。由于推导推理链需要多跳推理面向任务的对话,现有的神经符号方法会导致错误传播,由于一个阶段的设计。为了克服这一点,我们提出了一个两阶段的方法,包括一个假设发生器和推理。我们首先得到多个假设,即,潜在的操作,以执行所需的任务,通过假设生成器。然后,推理器验证每个假设,并选择有效的假设进行最终预测。整个系统的训练是利用原始文本对话,而不使用任何推理链注释。在两个公共基准数据集上的实验结果表明,该方法不仅取得了较好的结果,而且引入了一个可解释的决策过程。
2022-03-11 cs.CL
The Interplay of Task Success and Dialogue Quality: An in-depth Evaluation in Task-Oriented Visual Dialogues
DISI - University of Trento(特伦托大学DISI学院);CIMeC and DISI - University of Trento(特伦托大学CIMeC与DISI学院)
在训练参考对话猜测游戏的模型时,通常根据其任务成功率来选择最佳模型。我们表明,在流行的端到端方法中,这种选择阻止了模型学习生成语言上更丰富的对话,因为语言熟练度的获得需要比学习猜测任务更长的时间。通过比较模型玩不同的游戏(GuessWhat,GuessWhich和Mutual Friends),我们发现这种差异是模型和任务不可知的。我们调查是否以及何时更好的语言质量可以导致更高的任务成功率。我们表明,在GuessWhat中,如果模型学习接地,编码和解码训练集中不经常出现的单词,则可以提高其准确性。
2021-03-20 cs.CL
Unsupervised Slot Schema Induction for Task-oriented Dialog
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
精心设计的模式描述了如何收集和注释对话语料库是一个先决条件,以建立面向任务的对话系统。在实际应用中,手动设计模式可能容易出错、费力、迭代和缓慢,特别是在模式复杂的情况下。为了减轻这个昂贵和耗时的过程中,我们提出了一个无监督的方法槽模式感应从未标记的对话语料库。利用域内语言模型和无监督解析结构,我们的数据驱动的方法提取候选插槽没有约束,然后由粗到细聚类,以诱导插槽类型。我们将我们的方法与几个强监督基线进行了比较,并在MultiWoz和SGD数据集上的槽模式归纳中显示出显着的性能改进。我们还证明了下游应用程序,包括对话状态跟踪和响应生成的诱导模式的有效性。
2022-05-09 cs.CL
HyKnow: End-to-End Task-Oriented Dialog Modeling with Hybrid Knowledge Management
Huawei Technologies(华为技术有限公司);Tsinghua University(清华大学)
面向任务的对话(task-oriented dialog,TOD)系统通常管理结构化知识(例如本体和数据库)来引导面向目标的对话。然而,它们不足以处理基于非结构化知识(例如评论和文档)的对话。在本文中,我们制定了一个任务,基于结构化和非结构化的知识建模TOD。为了解决这个问题,我们提出了一个TOD系统与混合知识管理,HyKnow。它扩展了信念状态来管理结构化和非结构化知识,并且是第一个基于这两种知识联合优化对话建模的端到端模型。我们在MultiWOZ 2.1数据集的修改版本上进行实验,其中对话框基于混合知识。实验结果表明,HyKnow具有较强的端到端性能相比,现有的TOD系统。它还优于管道知识管理方案,具有更高的非结构化知识检索精度。
2021-06-02 cs.CL
DKAF: KB Arbitration for Learning Task-Oriented Dialog Systems with Dialog-KB Inconsistencies
Indian Institute of Technology(印度理工学院);IBM Research(IBM研究院)
本文提出DKAF框架,通过为每个训练对话预测同期知识库快照来消除对话-知识库不一致性,从而提升任务型对话智能体的训练效果,并在两个公开数据集上验证其优于现有基线。
2023-05-26 cs.CL
Building Advanced Dialogue Managers for Goal-Oriented Dialogue Systems
EPFL(洛桑联邦理工学院);Swisscom(瑞士电信)
目标导向(GO)对话系统,俗称目标导向聊天机器人,帮助用户在封闭域中实现预定义的目标(例如预订电影票)。第一步是通过使用自然语言理解技术来理解用户的目标。一旦知道目标,机器人必须管理对话以实现该目标,该对话是根据学习的策略进行的。对话系统的成功取决于策略的质量,而策略的质量又依赖于策略学习方法(例如深度强化学习)的高质量训练数据的可用性。由于领域的特殊性,可用的数据量通常太低,无法培训良好的对话策略。在这篇硕士论文中,我们介绍了一种迁移学习方法,以减轻低域内数据可用性的影响。我们基于迁移学习的方法将机器人的成功率提高了$20\%$,与没有迁移学习的模型相比,对于远距离域,我们将其提高了一倍以上。此外,迁移学习聊天机器人学习策略的速度快了5到10倍。最后,由于迁移学习方法是补充额外的处理,如热启动,我们表明,他们的联合应用程序给出了最好的结果。
2018-06-03 cs.CL
AllWOZ: Towards Multilingual Task-Oriented Dialog Systems for All
Columbia University(哥伦比亚大学)
亚马逊Alexa和苹果Siri等最先进的自然语言技术的一个常见问题是,由于语言障碍,它们的服务无法扩展到大多数发展中国家的公民。这些人群由于缺乏可用的语言资源来构建NLP产品而受到影响。本文介绍了AllWOZ,一个多语言多领域面向任务的客户服务对话数据集,涵盖八种语言:英语,普通话,韩语,越南语,印地语,法语,葡萄牙语和泰语。此外,我们通过应用mT5和元学习为我们的多语言数据集创建了一个基准。
2021-12-15 cs.CL
Data-Efficient Goal-Oriented Conversation with Dialogue Knowledge Transfer Networks
Heriot-Watt University(赫瑞-瓦特大学);Amazon Alexa AI(亚马逊Alexa AI)
面向目标的对话系统现在被广泛采用的行业,它是至关重要的,以保持一个快速的原型周期的新产品和领域。数据驱动的对话系统开发必须适应这一要求-因此,减少训练此类系统所需的数据和注释量是一个中心研究问题。在本文中,我们提出了对话知识转移网络(DiKTNet),一个国家的最先进的方法,以目标为导向的对话生成,只使用几个例子对话(即少样本学习),其中没有一个被注释。我们通过执行两阶段训练来实现这一点。首先,我们在多个领域的目标导向对话的大型来源MetaLWOz语料库上进行无监督对话表示预训练。其次,在传输阶段,我们使用此表示以及其他2个具有不同通用性水平的文本知识源来训练DiKTNet:ELMo编码器和主数据集的源域。我们的主要数据集是斯坦福多领域对话语料库。我们在BLEU和实体F1分数方面评估了我们的模型,并表明我们的方法在一系列基线模型以及之前最先进的对话生成模型ZSDG上有显著且一致的改进。后者的改进--在实体F1中高达10%,BLEU得分平均为3%--仅使用相当于ZSDG域内训练数据10%的数据就实现了。
2019-10-03 cs.CL
Pre-Trained and Attention-Based Neural Networks for Building Noetic Task-Oriented Dialogue Systems
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学)
NOESIS II挑战赛作为第八届对话系统技术挑战赛(DSTC 8)的第二轨道,是DSTC 7的延伸。这条轨道纳入了新的要素,这些要素对于创建已部署的面向任务的对话系统至关重要。本文介绍了我们的系统,在这一挑战下的所有子任务进行评估。我们研究的问题,采用预先训练的基于注意力的网络多轮对话系统。同时,为了保持对话系统的固有特性,提出了几种自适应方法,对多轮对话系统中预先训练好的语言模型进行自适应。在DSTC 8的Track 2发布的评估结果中,我们提出的模型在子任务1中排名第四,在子任务2中排名第三,在子任务3和子任务4中分别排名第一。
2020-04-04 cs.CL
Intent Generation for Goal-Oriented Dialogue Systems based on Schema.org Annotations
University of Innsbruck(因斯布鲁克大学)
面向目标的对话系统通常与后端(例如,数据库、Web API)通信以完成某些任务来达到目标。对话系统能够识别的意图大多由开发者静态地包含到系统中。对于一个开放的对话系统来说,它可以在一小部分精心策划的数据和API上工作,这种手动意图创建将无法扩展。在本文中,我们介绍了一个简单的方法,意图创建的基础上语义标注的数据和服务在Web上。通过这种方法,面向目标的对话系统的自然语言理解(NLU)模块可以适应新引入的API,而不需要大量的开发人员参与。我们能够从schema.org注释中提取意图和需要填充的位置。我们还能够创建一组初始训练句子,用于将用户话语分类到生成的意图中。我们展示了我们的方法上的NLU模块的最先进的对话系统开发框架。
2018-07-03 cs.CL
A Manually Annotated Chinese Corpus for Non-task-oriented Dialogue Systems
Tencent AI Lab(腾讯AI实验室)
本文提出了一个大规模的语料库,用于非面向任务的对话响应选择,其中包含超过27K的不同的提示超过82K的反应,从社会媒体收集。为了注释这个语料库,我们定义了一个5级评级方案:坏的,平庸的,可接受的,好的,优秀的,根据相关性,连贯性,信息性,有趣性,以及推动对话的潜力。为了测试所产生的语料库的有效性和实用性,我们比较了各种无监督和监督模型的响应选择。实验结果表明,该语料库有助于训练反应选择模型。
2018-05-15 cs.CL
Enhancing Goal-oriented Proactive Dialogue Systems via Consistency Reflection and Correction
Soochow University(苏州大学)
针对目标导向主动对话系统中响应与上下文不一致的问题,提出两阶段一致性反思与修正框架,通过反思识别不一致并修正,在多种模型和三个数据集上显著提升一致性。
2025-06-18 cs.CL
RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling
Soochow University(苏州大学);Tianjin University(天津大学)
为了缓解多领域数据不足的问题,并为面向任务的对话建模捕捉话语现象,我们提出了一个具有丰富语义标注的大规模多领域中文Wizard-of-Oz数据集RiSAWOZ。RiSAWOZ包含11.2K人对人(H2 H)多回合语义注释对话,其中超过15万个话语跨越12个领域,这比之前所有注释的H2 H对话数据集都要大。单域对话和多域对话都有,分别占65%和35%。每一个对话都有全面的对话注释,包括自然语言描述形式的对话目标、领域、对话状态和用户侧和系统侧的动作。除了传统的对话注释外,我们还特别提供对话语现象的语言注释,例如,省略和共指,在对话中,这是有用的对话共指和省略决议的任务。除了完整的注释数据集外,我们还详细描述了数据集的数据汇集过程、统计和分析。文中给出了一系列的基准测试模型和结果,包括自然语言理解(意图检测和槽填充)、对话状态跟踪和对话上下文到文本的生成,以及共指和省略消解,为该语料库的后续研究提供了基线比较。
2020-10-17 cs.CL
SUMBT+LaRL: Effective Multi-domain End-to-end Neural Task-oriented Dialog System
NAVER Green Factory;SK Telecom(SK电信);Chungnam National University(忠南国立大学)
最近出现的神经方法开发每个对话组件在面向任务的对话系统有显着改善,但优化整体系统的性能仍然是一个挑战。此外,以前的研究建模复杂的多领域的面向目标的对话在端到端的方式已经有限。在本文中,我们提出了一个有效的多域端到端可训练神经对话系统SUMBT+LaRL,它结合了两个以前的强模型,并使它们完全可微。具体而言,SUMBT+估计用户行为以及对话信念状态,LaRL模型潜在的系统动作空间,并生成响应给定的估计上下文。我们强调,三个步骤的训练框架显着和稳定地提高对话成功率:分别预训练SUMBT+和LaRL,微调整个系统,然后强化学习的对话策略。我们还介绍了新的奖励标准的强化学习的对话策略训练。然后,我们讨论了根据奖励标准和不同的对话评价方法的实验结果。因此,我们的模型在基于语料库的评估中实现了85.4%的最新成功率,并且在DSTC 8挑战提供的基于模拟器的评估中实现了81.40%的可比成功率。据我们所知,我们的工作是第一个全面的研究,一个模块化的E2E多域对话系统,学习从每个组件到整个对话策略的任务成功。
2021-08-26 cs.CL
Effective Data Augmentation Approaches to End-to-End Task-Oriented Dialogue
Soochow University(苏州大学)
面向任务的对话系统的训练常常面临着缺乏注释数据的问题。与以前通过昂贵的众包努力来增强训练数据的工作相比,我们提出了四种不同的自动方法来在单词和句子级别上进行数据增强,以实现端到端的面向任务的对话,并对其影响进行了实证研究。在CamRest676和KVRET数据集上的实验结果表明,四种数据增强方法中的每一种都能够在成功F1分数方面获得比强基线显著的改善,并且四种方法的集成在两个数据集中实现了最先进的结果。深入的分析进一步证实,我们的方法充分增加了用户话语的多样性,这使得端到端模型能够鲁棒地学习特征。
2019-12-05 cs.CL
AARGH! End-to-end Retrieval-Generation for Task-Oriented Dialog
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们介绍AARGH,一个端到端的面向任务的对话系统结合检索和生成方法在一个单一的模型,旨在提高对话管理和词汇的多样性的输出。该模型具有一个新的响应选择方法的基础上,一个动作感知的训练目标和一个简化的单编码器检索架构,使我们能够建立一个端到端的检索增强生成模型,检索和生成共享的大部分参数。在MultiWOZ数据集上,我们表明,与最先进的基线相比,我们的方法产生了更多样化的输出,同时保持或提高了状态跟踪和上下文响应生成性能。
2022-09-25 cs.CL
A Benchmark for Bangla Task-Oriented Dialogue Understanding
East West University(东西方大学)
针对孟加拉语面向任务的对话理解研究不足的问题,推出三语基准BanglaTOD,标注多维度信息并建立基线,揭示跨语言性能差异,为相关研究提供基础。
2026-10-14 cs.CL
Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);TAL AI Lab(好未来人工智能实验室)
大多数现有的面向目标的对话策略学习方法使用强化学习,它关注目标代理策略,并简单地将对方代理策略视为环境的一部分。而在现实世界的场景中,一个相对的代理的行为往往表现出某些模式或隐藏的政策,这可以推断和利用的目标代理,以促进自己的决策。这一策略在人类心理模拟中很常见,即在真正行动之前先想象一个特定的行动和可能的结果。因此,我们提出了一个面向目标的对话中策略学习的相反行为感知框架。我们估计对方代理的政策,从它的行为,并使用此估计,以改善目标代理作为目标政策的一部分。我们在合作和竞争对话任务上评估了我们的模型,显示出比最先进的基线更优越的性能。
2020-04-21 cs.CL