Modeling the Quality of Dialogical Explanations
Columbia University（哥伦比亚大学）；Paderborn University（帕德博恩大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Bielefeld（比勒费尔德大学）
本文构建并标注含399段对话的解释对话语料，分析交互流与理解成功的关系，并用长上下文语言模型编码交互流以提升对话成功预测效果。
2024-03-01 cs.CL
Multi-task dialog act and sentiment recognition on Mastodon
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
由于许可证的限制，在语料库创建几个月后，通常不可能在Twitter数据上严格复制大多数研究结果。随着时间的推移，这种情况逐渐恶化，推特变得无法访问。这是对社交媒体进行可复制和负责任研究的关键问题。我们部分地解决了这个挑战，通过注释一个新的Twitter样的语料库，从一个替代的大型社交媒体与许可证，是可重复的实验兼容：乳齿象。我们手动注释这个语料库上的对话和情感，并训练一个多任务的层次递归网络的联合情感和对话行为识别。我们的实验表明，迁移学习可以有效地实现这两个任务之间，并进一步分析情感和社交媒体上的对话之间的一些特定的相关性。注释语料库和深度网络都是以开源许可证发布的。
2018-07-13 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Modeling Non-Cooperative Dialogue: Theoretical and Empirical Insights
University of Pittsburgh（匹兹堡大学）
对话者的合作性是对话语用学研究的核心。仅假设合作主体的对话模型无法解释战略对话的动态。因此，我们调查的能力，以确定非合作的对话者，同时完成一个并发的视觉对话任务的代理。在这个新的设置，我们研究的沟通策略，以实现这一多任务目标的最优性。我们运用学习理论的工具，建立了一个识别非合作对话者的理论模型，并应用该理论分析了不同的交际策略。我们还介绍了一个语料库的非合作对话的图像在GuessWhat？！De Vries et al.（2017）提出的数据集。我们使用强化学习在这种情况下实现多种沟通策略，并发现实证结果验证了我们的理论。
2022-07-15 cs.CL cs.LG
Development of a Trust-Aware User Simulator for Statistical Proactive Dialog Modeling in Human-AI Teams
University of Augsburg（奥格斯堡大学）；Ulm University（乌尔姆大学）
本文开发了一个基于语料库的用户模拟器，用于训练和测试主动对话策略，以改善人机团队协作，并通过比较两种模拟方法发现基于任务步骤的方法效果更优。
2023-06-18 cs.AI cs.CL
Learning Multi-Level Information for Dialogue Response Selection by Highway Recurrent Transformer
National Taiwan University（台湾大学）
随着对对话响应生成的研究兴趣的增加，出现了一个新兴的分支，该分支将该任务制定为选择下一个句子，其中给定部分对话上下文，目标是确定最可能的下一个句子。继Transformer模型最近的成功之后，本文提出了（1）一种新的基于多头注意力的注意力机制变体，称为高速公路注意力，以及（2）一种基于Transformer和所提出的高速公路注意力的递归模型，所谓的高速公路递归Transformer。在第七届对话系统技术挑战赛（DSTC7）的应答选择任务上的实验表明，该模型能够同时对话语级和对话级信息进行建模，并进一步分析了各模块的有效性。
2019-03-21 cs.CL
RAP-Net: Recurrent Attention Pooling Networks for Dialogue Response Selection
National Taiwan University（台湾大学）
响应选择一直是一个新兴的研究课题，由于越来越多的兴趣在对话建模，其中的任务的目标是选择一个适当的响应继续对话。为了进一步将端到端对话模型推向现实场景，第七届对话系统技术挑战赛（DSTC 7）提出了一个基于真实聊天日志数据集的挑战性赛道。竞赛的重点是具有几个先进特征的对话建模：（1）自然语言多样性，（2）从大量候选人或没有任何正确答案的场景中精确选择适当响应的能力，以及（3）知识基础。本文介绍了一种新的应答选择框架--递归注意力池网络（RAP-Net），它可以很好地估计对话上下文与候选人之间的相关性。所提出的RAP网络被证明是有效的，并且可以在DSTC 7实验中跨不同的数据集和设置进行推广。
2019-03-21 cs.CL
PhotoChat: A Human-Human Dialogue Dataset with Photo Sharing Behavior for Joint Image-Text Modeling
Google Research（谷歌研究院）；Kuaishou Technology（快手科技）
我们提出了一个新的人与人之间的对话数据集- PhotoChat，第一个数据集，投光的照片共享行为在线电子邮件。PhotoChat包含12 k个对话，每个对话都与对话期间共享的用户照片配对。基于此数据集，我们提出了两个任务，以促进图像-文本建模的研究：照片共享意图预测任务，预测是否打算在下一个会话回合中共享照片，以及照片检索任务，根据对话上下文检索最相关的照片。此外，对于这两个任务，我们使用最先进的模型提供基线模型，并报告其基准性能。最好的图像检索模型达到了10.4%的recall@1（在1000个候选者中），最好的照片意图预测模型达到了58.1%的F1分数，这表明数据集提出了有趣但具有挑战性的现实问题。我们正在发布PhotoChat，以促进社区未来的研究工作。
2021-07-06 cs.AI cs.CL cs.IR
Predicting Corporate Risk by Jointly Modeling Company Networks and Dialogues in Earnings Conference Calls
Shanghai Jiao Tong University（上海交通大学）
盈余电话会议是波动性预测的重要信息事件，对于金融风险管理和资产定价至关重要。虽然最近的一些波动性预测模型已经利用了电话会议的文本内容，电话会议和公司关系的对话结构几乎被忽略在现存的文献。为了弥补这一差距，我们提出了一个新的模型，称为时间虚拟图神经网络（TVGNN）的波动性预测共同建模电话会议对话和公司网络。我们的模型在几个重要方面与现有模型不同。首先，我们建议通过编码位置、话语、说话人角色和问答片段来开发更多的对话结构。其次，我们建议通过扩展GRU（Gated Recurrent Units）来对市场状态进行编码。第三，我们提出了一种新的方法来构建时间公司网络，其中的消息只能从时间上的前一个节点流到连续的节点，并扩展了图注意力网络（GAT）建模公司关系。我们收集了2008年至2019年S\&P500公司的电话会议记录，并构建了一个电话会议对话数据集，其中包含有关对话结构和公司网络的其他信息。我们的数据集上的实证结果表明，我们的模型优于竞争性基线波动预测。我们还进行补充分析，以检查我们的模型的关键组件和可解释性的有效性。
2022-08-17 cs.AI cs.CE cs.CL
Recurrent Polynomial Network for Dialogue State Tracking
Shanghai Jiao Tong University（上海交通大学）
对话状态跟踪（DST）是一个过程，以估计随着对话的进展，对话状态的分布。最近的研究约束马尔可夫贝叶斯多项式（CMBP）框架迈出了第一步之间的差距，基于规则和统计方法的DST。本文提出了一种新的框架--递归多项式网络（RPN），进一步弥补了这一不足。RPN的独特结构使该框架具有CMBP的所有优点，包括效率，可移植性和可解释性。此外，RPN比CMBP实现了更多的统计方法属性。在第二次和第三次对话状态跟踪挑战（DSTC-2/3）的数据库上评价RPN。实验表明，RPN可以显着优于传统的基于规则的方法和统计方法具有相似的特征集。与现有的统计DST方法相比，RPN具有更丰富的特征，具有很强的竞争力。
2015-11-21 cs.CL
Multi-level Gated Recurrent Neural Network for Dialog Act Classification
Peking University（北京大学）
在本文中，我们专注于对话行为（DA）标记的问题。这个问题最近吸引了很多关注，因为它是当前需求量很大的自动问答系统的重要子部分。传统的方法倾向于将这个问题视为序列标记任务，并通过应用具有丰富特征的分类器来处理它。目前大多数神经网络模型仍然忽略了会话中的序列信息。然而，我们采用了一种新的多级门控循环神经网络（GRNN）与非文本信息预测DA标签。我们的模型不仅利用文本信息，但也利用非文本和上下文信息。相比之下，我们的模型已经显示出显着的改善超过6%的开关板对话法（SWDA）任务比以前的作品。
2019-10-04 cs.CL
Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking
Cambridge University（剑桥大学）
口语对话系统（SDS）的自然语言生成（NLG）组件通常需要大量的手工制作或良好标记的数据集进行训练。这些限制显著增加了开发成本，并使跨域，多语言对话系统变得棘手。此外，人类语言是上下文感知的。最自然的反应应该直接从数据中学习，而不是依赖于预定义的语法或规则。本文提出了一种基于联合递归和卷积神经网络结构的统计语言生成器，它可以在没有任何语义对齐或预定义语法树的情况下对对话行为-话语对进行训练。客观指标表明，这种新的模型优于以前的方法在相同的实验条件下。人类法官的评估结果表明，它不仅产生高质量，但语言上不同的话语相比，n-gram和基于规则的系统是首选。
2015-08-07 cs.CL
A Dual-Attention Hierarchical Recurrent Neural Network for Dialogue Act Classification
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
识别对话行为（DA）对于诸如对话生成和意图识别等许多自然语言处理任务是重要的。在本文中，我们提出了一个双注意层次循环神经网络的DA分类。我们的模型的部分灵感来自于观察，会话语句通常与DA和主题，前者捕捉的社会行为和后者描述的主题。然而，DA和主题之间的这种依赖性尚未被大多数现有的DA分类系统所利用。通过一种新颖的双任务特定的注意力机制，我们的模型能够，对于话语，捕获关于DA和主题的信息，以及关于它们之间的交互的信息。实验结果表明，通过将主题建模为辅助任务，我们的模型可以显着改善DA分类，在三个公共数据集上产生更好或与最先进的方法相当的性能。
2019-10-10 cs.CL
DORA: Toward Policy Optimization for Task-oriented Dialogue System with Efficient Context
Pohang University of Science and Technology（浦项科技大学）
最近，强化学习（RL）已经通过使用潜在动作来解决监督学习（SL）的缺点，被应用于面向任务的对话系统。在本文中，我们提出了一个多领域的面向任务的对话系统，称为对话系统与优化循环的行动政策使用有效的上下文（DORA），使用SL，随后应用RL优化对话系统使用循环的对话政策。这种对话策略会反复生成显式的系统操作，作为单词级别和高级策略。因此，DORA在SL和RL步骤期间通过使用考虑有效上下文而不是整个对话历史的显式系统动作策略而被明显优化。系统行为既可解释又可控制，而潜在行为则不然。DORA将MultiWOZ 2.0的成功率提高了6.6分，将MultiWOZ 2.1的成功率提高了10.9分。
2021-07-07 cs.CL
DARER: Dual-task Temporal Relational Recurrent Reasoning Network for Joint Dialog Sentiment Classification and Act Recognition
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；Centre for Frontier Artificial Intelligence Research（前沿人工智能研究中心）
联合对话情感分类（DSC）和行为识别（DAR）的任务旨在同时预测对话中每个话语的情感标签和行为标签。在本文中，我们提出了一个新的框架，通过集成\textit{prediction-level interactions}而不是语义级的相互作用，更符合人类的直觉模型的显式依赖。此外，我们提出了一个说话人感知时序图（SATG）和双任务关系时序图（DRTG），将\textit{temporal relations}引入对话理解和双任务推理。为了实现我们的框架，我们提出了一种新的模型称为DARER，它首先产生的上下文，扬声器和时间敏感的话语表示通过建模SATG，然后进行循环的双任务关系推理DRTG，在这个过程中，估计的标签分布作为关键线索，在预测级的互动。实验结果表明，DARER模型在计算资源和训练时间上都大大优于现有模型。值得注意的是，在Mastodon的DSC任务中，DARER在F1方面比以前的最佳模型相对提高了约25%，参数不到50%，仅需约60%的GPU内存。
2022-03-08 cs.CL
Leveraging Recurrent Neural Networks for Multimodal Recognition of Social Norm Violation in Dialog
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
社会规范是管理和促进社会互动的共同规则。通过戏弄和侮辱来违反这种社会规范可能有助于打破权力的不平衡，或者相反，加强谈话中的团结和融洽关系，这种融洽关系高度依赖于情境。在这项工作中，我们研究的任务，自动识别的社会规范违反的现象在话语。为了实现这一目标，我们利用了循环神经网络的力量和交互中存在的多模态信息，并提出了一个预测模型来识别违反社会规范的行为。使用长期的时间和上下文信息，我们的模型达到了0.705的F1分数。我们的工作，发展社会意识代理的影响进行了讨论。
2016-10-10 cs.CL
Multi-step Reasoning via Recurrent Dual Attention for Visual Dialog
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Microsoft Research（微软研究院）
本文提出了一种新的视觉对话模型--递归双注意网络（ReDAN），它使用多步推理来回答一系列关于图像的问题。在对话的每个问答环节中，ReDAN通过多个推理步骤逐步推断答案。在推理过程的每个步骤中，基于图像和先前的对话历史更新问题的语义表示，并且在后续步骤中使用循环细化的表示进行进一步推理。在VisDial v1.0数据集上，所提出的ReDAN模型达到了64.47% NDCG分数的最新水平。推理过程的可视化进一步证明，ReDAN可以通过迭代细化来定位上下文相关的视觉和文本线索，从而逐步得出正确的答案。
2019-06-04 cs.CL cs.CV
Multi-domain Dialog State Tracking using Recurrent Neural Networks
University of Cambridge（剑桥大学）；VocalIQ Ltd.（VocalIQ有限公司）
对话状态跟踪是许多现代对话系统的关键组件，其中大多数对话系统都是针对单个定义良好的域而设计的。本文表明，从不同的对话域的对话数据可以用来训练一般的信念跟踪模型，可以在所有这些领域，表现出优越的性能，每个特定领域的模型。我们提出了一个训练过程，使用域外数据初始化的信念跟踪模型，为全新的领域。该过程导致信念跟踪性能的改善，而不管可用于训练模型的域内数据的量。
2015-06-23 cs.CL cs.LG
Hybrid Supervised Reinforced Model for Dialogue Systems
Worldline；INSA de Rouen（鲁昂国立应用科学学院）
提出了一种基于深度递归Q-网络（DRQN）的面向任务的对话系统的递归混合模型和训练过程。该模型处理对话管理所需的两项任务：状态跟踪和决策。它基于将人机交互建模为嵌入交互上下文的潜在表示来引导讨论。该模型实现了更高的性能，学习速度和鲁棒性比非经常性的基线。此外，结果允许解释和验证的政策演变和潜在的代表性信息明智的。
2020-11-04 cs.CL cs.LG
Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
统计口语对话系统具有能够通过与真实用户的交互从数据优化的吸引人的特性。然而，在强化学习范例中，对话管理器（代理）通常需要大量的时间来探索状态-动作空间，以学习以期望的方式表现。这是一个关键的问题，当系统是在线训练与真实用户的学习成本是昂贵的。奖励塑造是解决这些问题的一种有前途的技术。在这里，我们研究了三种递归神经网络（RNN）方法，除了主要的（面向任务的）环境反馈外，还提供了奖励塑造信息。这些RNN是根据模拟用户生成的对话的返回值进行训练的，并试图将对话的整体评估扩散到回合级别，以引导智能体更快地实现良好的行为。在模拟和真实的用户场景中，这些RNN被证明可以提高策略学习速度。重要的是，它们不需要事先了解用户的目标。
2015-08-18 cs.CL cs.LG
A Context-based Approach for Dialogue Act Recognition using Simple Recurrent Neural Networks
University of Hamburg（汉堡大学）
对话行为识别是自然语言理解的重要组成部分。我们调查的方式对话行为语料库的注释和学习方法使用到目前为止。我们发现，对话行为是上下文敏感的会话中的大多数类。然而，以前的对话行为分类模型在话语层面上工作，只有很少的考虑上下文。我们提出了一种新的基于上下文的学习方法来分类对话行为使用字符级语言模型话语表示，我们注意到显着的改善。我们评估这种方法上的交换机对话行为语料库，我们的结果表明，考虑到前面的话语作为当前话语的上下文提高了对话行为检测。
2018-05-16 cs.AI cs.CL cs.HC
Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models
University of California, Davis（加州大学戴维斯分校）；Tsinghua University（清华大学）
现有的对话系统模型需要大量的人工注释，并且难以推广到不同的任务。大型预训练语言模型如BERT和GPT-2（Devlin等人，2019; Radford等人，2019年）提出了将语言先验纳入下游NLP任务的有效性。然而，预训练的语言模型能在多大程度上帮助对话响应生成仍在探索中。在本文中，我们提出了一个简单，通用，有效的框架：交替角色对话模型（ARDM）。ARDM分别对每个说话者建模，并利用大型预训练语言模型。它不需要人类注释的监督，如信念状态或对话行为，以实现有效的对话。ARDM在两个流行的面向任务的对话数据集：CamRest 676和MultiWOZ上的性能优于或与最先进的方法相当。此外，我们可以将ARDM推广到更具挑战性的非协作任务，如说服。在说服任务中，ARDM能够产生类似人类的反应，说服人们向慈善机构捐款。
2021-04-26 cs.AI cs.CL
SEntNet: Source-aware Recurrent Entity Network for Dialogue Response Selection
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软研究院AI）
对话应答选择是面向任务的对话系统的重要组成部分，它的目的是在给定的对话语境中预测一个合适的应答。从复杂、长时间的对话上下文中获取关键信息是具有挑战性的，特别是当不同的信息源可用时，例如，用户的话语、系统的响应以及从知识库（KB）检索的结果。以前的工作忽略了信息源的类型，并合并源的响应选择。然而，占的来源类型可能会导致显着的差异，在响应选择的质量。我们提出了源感知的递归实体网络（SENTNet），这是知道不同的信息源的响应选择过程。SENTNet通过使用特定于源的存储器来利用来自不同信息源（用户、系统和知识库）的单词使用和句法结构的差异来实现这一点。实验结果表明，SEntNet在Dialog bAbI数据集上获得了91.0%的准确率，比之前的工作高出4.7%。在DSTC 2数据集上，SEntNet获得了41.2%的准确率，击败了2.4%的不知道源的循环实体网络。
2019-09-16 cs.AI cs.CL cs.IR
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
Memory-Augmented Recurrent Networks for Dialogue Coherence
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
最近的对话方法通过读取对话历史中的每个单词并将累积的对话信息聚合到单个状态中来操作。这个固定大小的向量是不可扩展的，并且必须随着时间的推移保持一致的格式。其他最近的方法利用注意力机制来从过去的会话话语中提取有用的信息，但是这引入了增加的计算复杂性。在这项工作中，我们探索使用神经图灵机（NTM），以提供一个更持久和灵活的存储机制，以保持对话的连贯性。具体来说，我们介绍了两个独立的对话架构的基础上，这个NTM设计。第一种设计的特点是一个序列到序列的架构，有两个独立的NTM模块，一个用于对话中的每个参与者。第二存储器架构结合了单个NTM模块，其存储两个扬声器的并行上下文信息。该第二设计还用神经语言模型替换序列到序列架构，以允许NTM的更长上下文和对对话历史的更好理解。我们报告了这两种模型的困惑性能，并将其与现有的基线进行比较。
2019-10-16 cs.CL cs.LG stat.ML
Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling
Shanghai Jiao Tong University（上海交通大学）
多轮对话建模作为自然语言理解（NLU）的一个具有挑战性的分支，旨在为机器构建理解人类对话的表示，这为多个下游任务提供了坚实的基础。目前的对话建模研究通常采用预训练的语言模型（PrLM）将对话历史编码为连续的令牌，这在捕捉对话的时间特性方面是不够的。因此，我们提出了双向信息解耦网络（BiDeN）作为一个通用的对话编码器，它明确地结合了过去和未来的上下文，并可以推广到广泛的对话相关的任务。在不同下游任务的数据集上的实验结果证明了BiDeN的通用性和有效性。
2022-10-20 cs.CL
Semantic Representation for Dialogue Modeling
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
虽然神经模型在对话系统中取得了有竞争力的成果，但它们在表示核心语义方面表现出有限的能力，例如忽略重要实体。为此，我们利用抽象意义表示（AMR），以帮助对话建模。与文本输入相比，AMR显式地提供了核心语义知识，降低了数据稀疏性。我们开发了一个算法来构建对话级AMR图从会话级AMR，并探讨了两种方法，将AMR到对话系统。对话理解和响应生成任务的实验结果表明，我们的模型的优越性。据我们所知，我们是第一个将正式的语义表示用于神经对话建模的人。
2021-06-01 cs.CL
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
HiGRU: Hierarchical Gated Recurrent Units for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；Meitu（美图）；The Hang Seng University of Hong Kong（香港恒生大学）
针对对话系统中话语级情感识别面临的三大挑战：（1）同一个词在不同的语境中表达不同的情感;（2）某些情感在一般对话中很少见;（3）长距离语境信息难以有效获取。因此，我们提出了一个分层的门控递归单元（HiGRU）框架，较低级别的GRU模型的单词级输入和上层GRU捕获的话语级嵌入的上下文。此外，我们将该框架提升为两个变体，HiGRU与个体特征融合（HiGRU-f）和HiGRU与自我注意和特征融合（HiGRU-sf），从而可以充分利用单词/话语级别的个体输入和远程上下文信息。在IEMOCAP、Friends和QuestionPush三个对话情感数据集上的实验表明，我们提出的HiGRU模型在每个数据集上分别比现有方法提高了8.7%、7.5%和6.0%。特别是，通过仅利用IEMOCAP中的文本特征，我们的HiGRU模型比具有文本、视频和音频三模态特征的最先进的会话记忆网络（CMN）至少提高了3.8%。
2019-04-09 cs.CL
TIAGE: A Benchmark for Topic-Shift Aware Dialog Modeling
University of Cambridge（剑桥大学）；Northeastern University（东北大学）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
人类的对话自然会围绕不同的主题发展，并在它们之间流畅地移动。在对话系统的研究中，主动平滑地转换到新话题的能力往往被忽视。在本文中，我们介绍了TIAGE，一个新的主题转移意识的对话基准构建利用人类注释的主题转移。基于TIAGE，我们介绍了三个任务来研究不同的场景中的话题转移模型的对话设置：话题转移检测，话题转移触发响应生成和话题感知对话生成。对这些任务的实验表明，TIAGE中的主题转换信号对主题转换反应的产生是有用的。另一方面，对话系统仍然难以决定何时改变话题。这表明，主题转移感知对话建模需要进一步的研究。
2021-09-09 cs.CL
Neural Dialogue State Tracking with Temporally Expressive Networks
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）；University of Leeds（利兹大学）
对话状态跟踪是口语对话系统的重要组成部分。现有的DST模型要么忽略了跨对话轮的时间特征依赖关系，要么未能显式地对对话中的时间状态依赖关系进行建模。在这项工作中，我们提出了时间表达网络（TEN），以联合建模DST中的两种类型的时间依赖关系。TEN模型利用了递归网络和概率图形模型的强大功能。在标准数据集上的测试结果表明，该方法能有效地提高匝数-电平-状态预测和状态聚合的精度。
2020-10-03 cs.CL
Neural-based Context Representation Learning for Dialog Act Classification
Institute for Natural Language Processing (IMS)（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
我们探讨了上下文表示学习方法在基于神经的模型的对话行为分类。我们提出并广泛比较了不同的方法，结合递归神经网络架构和注意力机制（AM）在不同的上下文水平。我们在两个基准数据集上的实验结果表明，与没有上下文信息的模型相比，我们的实验结果显示出一致的改进，并揭示了架构中最合适的AM取决于数据集的性质。
2017-08-08 cs.CL
Dialogue Act Classification with Context-Aware Self-Attention
Grammarly
最近在Dialogue Act分类中的工作已经将任务视为使用分层深度神经网络的序列标记问题。我们建立在这个以前的工作，利用上下文感知的自我注意力机制的有效性，再加上一个层次循环神经网络。我们对标准对话法分类数据集进行了广泛的评估，并显示出对交换机对话法（SwDA）语料库的最新结果的显着改善。我们还研究了不同的话语级表示学习方法的影响，并表明我们的方法是有效的，在捕获话语级语义文本表示，同时保持高准确性。
2019-05-06 cs.CL
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University（苏州大学）
基于最近提出的可转移的对话状态生成器（TRADE），预测对话状态，从话语连接的对话上下文，我们提出了一个多任务学习模型，一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文，我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中，我们提出的模型比基线实现了7.03%的相对改进，在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation
Peking University（北京大学）；Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）
多模态对话框建模越来越受到人们的关注。在这项工作中，我们提出的框架，以解决一个特定的情况下，更好地模仿多模态对话框生成在现实世界中，其中每个对话框都与它发生的视觉环境。具体来说，我们建议建立文本视觉特征之间的相互依赖关系模型，模型不仅需要学习生成下一个对话话语的概率，而且还需要学习预测对话话语发生的视觉特征的概率，从而生成特定于视觉上下文的对话话语。我们观察到显着的性能提升香草模型时，文本和视觉功能之间的相互依赖性建模。代码可在https://github.com/ShannonAI/OpenViDial上获得。
2021-05-30 cs.CL
S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；University of Electronic Science and Technology of China, Shenzhen Campus（电子科技大学深圳校区）
研究针对现有多模态对话检索方法无法捕捉对话全局语义与风格一致性的问题，提出S2Dialog框架，结合对话级文本与声学检索器及对比学习，在DailyTalk数据集上实现出色检索性能。
2026-08-17 cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon（亚马逊）
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中，我们专注于上下文感知的主题分类方法，用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作，神经主题分类和无监督主题关键字检测，将会话上下文和对话行为功能。在注释数据上，我们表明，将上下文和对话行为导致主题分类准确率相对提高35%，主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现，主题深度等主题指标与连贯性和参与度等对话评价指标高度相关，这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University（赫瑞-瓦特大学）；Adeptmind Inc.（Adeptmind公司）
在这项工作中，我们调查的任务，文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话（MMD）数据集（Saha等人，2017年，在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器（HRED）模型，并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点，通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
HyKnow: End-to-End Task-Oriented Dialog Modeling with Hybrid Knowledge Management
Huawei Technologies（华为技术有限公司）；Tsinghua University（清华大学）
面向任务的对话（task-oriented dialog，TOD）系统通常管理结构化知识（例如本体和数据库）来引导面向目标的对话。然而，它们不足以处理基于非结构化知识（例如评论和文档）的对话。在本文中，我们制定了一个任务，基于结构化和非结构化的知识建模TOD。为了解决这个问题，我们提出了一个TOD系统与混合知识管理，HyKnow。它扩展了信念状态来管理结构化和非结构化知识，并且是第一个基于这两种知识联合优化对话建模的端到端模型。我们在MultiWOZ 2.1数据集的修改版本上进行实验，其中对话框基于混合知识。实验结果表明，HyKnow具有较强的端到端性能相比，现有的TOD系统。它还优于管道知识管理方案，具有更高的非结构化知识检索精度。
2021-06-02 cs.CL
Simple, Fast, Accurate Intent Classification and Slot Labeling for Goal-Oriented Dialogue Systems
Amazon AI（亚马逊人工智能）；Stanford University（斯坦福大学）
随着亚马逊Alexa、谷歌Now等会话助手的出现，对话系统正在获得很大的牵引力，尤其是在工业环境中。这些系统通常由口语语言理解组件组成，口语理解组件又由两个任务组成-意图分类（IC）和槽标记（SL）。通常，这两个任务一起建模以实现最佳性能。然而，这种联合建模增加了模型混淆。在这项工作中，我们首先设计了一个模块化的联合IC-SL任务，以提高架构的透明度框架。然后，我们探索了一些自注意、卷积和递归模型，对两个数据集上IC + SL的建模范式进行了大规模分析。最后，利用这个框架，我们提出了一类非递归的“标签-递归”模型，具有10维的标签历史表示，并表明我们提出的系统易于解释，高度准确（与Snips数据集上的最新技术相比，SL中的错误减少了30%以上），以及快速，2倍的推理和2/3到1/2的训练时间的可比循环模型，从而在关键的现实世界系统中的优势。
2019-07-17 cs.CL cs.LG
A Context-aware Natural Language Generator for Dialogue Systems
Charles University in Prague（布拉格查理大学）
我们提出了一种新的自然语言生成系统的口语对话系统能够夹带（适应）用户的说话方式，提供上下文适当的反应。该生成器是基于递归神经网络和序列到序列的方法。它完全可以从包括先前上下文以及要生成的响应的数据中进行训练。我们表明，上下文感知生成器产生了显着的改进，在自动度量和人类成对偏好测试的基线。
2016-08-25 cs.CL
End-to-End Task-Oriented Dialog Modeling with Semi-Structured Knowledge Management
Tsinghua University（清华大学）；EPFL（洛桑联邦理工学院）；Alibaba Group（阿里巴巴集团）
目前的面向任务的对话（task-oriented dialogue，TOD）系统主要通过管理结构化的知识（如数据库和表格）来引导目标导向的对话。然而，它们不足以处理也涉及非结构化知识的对话（例如，审查和文档）。在本文中，我们制定了一个任务的建模TOD接地融合结构化和非结构化的知识。为了解决这个问题，我们提出了一个半结构化的知识管理，SeKnow，它扩展了信念状态，以管理知识与结构化和非结构化的内容的TOD系统。此外，我们介绍了两个实现的SeKnow的基础上，非预训练的序列到序列模型和预训练的语言模型，分别。这两种实现都使用端到端的方式来联合优化基于结构化和非结构化知识的对话建模。我们在MultiWOZ 2.1数据集的修改版本Mod-MultiWOZ 2.1上进行实验，其中对话框被处理为涉及半结构化知识。实验结果表明，SeKnow具有较强的性能，在端到端的对话和中间知识管理，相比现有的TOD系统和他们的扩展与管道知识管理计划。
2022-02-01 cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research（京东人工智能研究院）
本文提出端到端任务型对话系统 Mars，通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系，发现与语义状态差异更大的上下文表示更有利于多轮对话，并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling
Amazon（亚马逊）
基于检索的会话系统通过计算它们的向量表示之间的相似性来学习对给定对话上下文的响应候选进行排名。然而，在多回合上下文的单个文本形式上进行训练限制了模型学习表示的能力，这些表示概括为推理期间看到的自然扰动。在本文中，我们提出了一个框架，将增强版本的对话背景下的学习目标。我们利用对比学习作为一个辅助目标，学习强大的对话上下文表示是不变的扰动注入通过增强方法。我们用四个基准对话数据集进行了实验，证明我们的框架与现有的增强方法结合得很好，并且可以显着改善基于BERT的基线排名架构。此外，我们提出了一种新的数据增强方法，ConMix，通过随机混合令牌从其他上下文中的批次添加令牌级扰动。我们表明，我们提出的增强方法优于以前的数据增强方法，并提供对话表示，更强大的常见干扰推理过程中看到的。
2022-04-15 cs.CL
Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System
Academia Sinica（中央研究院）；Cornell Tech（康奈尔理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
理解动态场景和对话上下文以便与用户对话对于多模态对话系统来说是具有挑战性的。第八届对话系统技术挑战赛（DSTC 8）提出了一个视听场景感知对话（AVSD）任务，该任务包含包括音频、视觉和语言在内的多种模态，以评估对话系统如何理解不同的模态和对用户的响应。本文提出了一种基于递归神经网络（RNN）的多步联合模态注意力网络（JMAN）来对视频进行推理。我们的模型执行多步注意力机制，并在每个推理过程中共同考虑视觉和文本表示，以更好地整合来自两种不同模态的信息。与AVSD组织者发布的基线相比，我们的模型在ROUGE-L评分和CIDER评分上分别比基线提高了12.1%和22.4%。
2020-01-17 cs.CL
Topic-Aware Multi-turn Dialogue Modeling
Shanghai Jiao Tong University（上海交通大学）
在基于检索的多话轮对话建模中，如何根据上下文话语中的显著特征来选择最合适的应答仍然是一个挑战。随着会话的进行，话语层面的话题转移在连续的多话轮对话语境中自然发生。然而，所有已知的基于检索的系统都满足于利用局部主题词进行上下文话语表示，但未能在语篇级别捕获这种必要的全局主题感知线索。本文提出了一种新的话题感知的多轮对话建模方法，该方法以无监督的方式分割和提取话题感知的话语，从而使模型能够根据需要在语篇级别捕捉显著的话题转移，从而有效地跟踪多轮对话中的话题流。我们的主题感知建模实现了一个新提出的无监督的主题感知分割算法和主题感知双注意力匹配（TADAM）网络，它匹配每个主题段与响应在一个双交叉注意的方式。在三个公开数据集上的实验结果表明，TADAM的性能优于现有的方法，特别是在主题转移明显的电子商务数据集上，TADAM的性能提高了3.3%。
2020-12-17 cs.CL
Semantic Refinement GRU-based Neural Language Generation for Spoken Dialogue Systems
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Information and Communication Technology（信息与通信技术大学）
自然语言生成在口语对话系统中起着至关重要的作用。本文提出了一种新的方法，NLG使用循环神经网络（RNN），其中的门控机制之前，RNN计算。这允许所提出的模型生成适当的句子。基于RNN的生成器可以通过联合训练句子规划和表面实现来从未对齐的数据中学习，以产生自然语言响应。该模型进行了广泛的评估四个不同的NLG域。结果表明，该生成器实现了更好的性能在所有的NLG域相比，以前的发电机。
2017-07-11 cs.CL
A Dual Encoder Sequence to Sequence Model for Open-Domain Dialogue Modeling
UC Santa Cruz（加州大学圣克鲁兹分校）
自从序列到序列学习在神经机器翻译系统中的成功应用以来，人们对它在其他问题领域中对语言生成的适用性的兴趣激增。最近的工作已经调查了使用这些神经架构对建模开放域会话对话，其中已经发现，虽然这些模型能够学习一个良好的分布式语言模型，对话的连贯性仍然是关注。与翻译不同，对话更多的是从话语到响应的一对多映射，更迫切的是，模型要知道前面的对话流。在本文中，我们建议解决这个问题，通过引入以前的会话背景下，随着时间的推移，潜在的代表性的对话行为。我们将潜在的上下文表示注入到序列到序列神经网络的对话行为的形式，使用第二个编码器，以提高质量和生成的会话的一致性。这项研究工作的主要任务是表明，增加潜变量，捕捉话语关系确实会导致更连贯的反应相比，传统的序列到序列模型。
2017-10-28 cs.CL
End-to-end Conversation Modeling Track in DSTC6
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
神经网络的端到端训练是使用人对人对话语料库自动构建对话系统的有前途的方法。最近，Vinyals等人使用OpenSubtitles测试了神经会话模型。Lowe等人发布了Ubuntu Dialogue Corpus，用于研究非结构化多轮对话系统。此外，该方法已被扩展到完成面向任务的对话，以提供适当的信息与自然的对话。例如，Ghazvininejad等人提出了一种基于知识的神经会话模型[3]，该研究旨在使用非结构化数据（如用于会话的Twitter数据和用于外部知识的Foursquare数据）将会话对话与面向任务的知识相结合。然而，该任务仍仅限于餐厅信息服务，尚未在各种对话任务中进行测试。此外，目前还不清楚如何创建可以像人类代理一样响应的智能对话系统。考虑到这些问题，我们提出了一个挑战跟踪到第六届对话系统技术挑战赛（DSTC 6）使用人对人的对话数据，以模仿人类的对话行为。挑战轨道的重点是从人与人的对话中训练端到端的对话模型，并在假设客户服务的各种情况下完成端到端的对话任务，其中系统扮演人类代理的角色，并响应于给定对话上下文的用户的问题或评论生成自然和信息丰富的句子。
2018-01-30 cs.CL
Dynamically Context-Sensitive Time-Decay Attention for Dialogue Modeling
National Taiwan University（国立台湾大学）
口语语言理解是会话系统的重要组成部分。考虑到上下文提供了更好地理解的信息线索，历史可以用于上下文SLU。然而，以往的研究大多只关注历史话语中的相关内容，而忽略了时间信息。在对话中，直觉告诉我们，最近的话语比最近的话语更重要，时间感知注意力应该是衰减的。因此，本文允许模型自动学习时间衰减注意力函数，其中注意力权重可以根据每个角色上下文的内容动态地决定，这有效地集成了内容感知和时间感知的观点，并对复杂的对话上下文表现出显着的灵活性。在对话状态跟踪挑战（DSTC 4）数据集上的实验表明，本文提出的动态上下文敏感时间衰减注意力机制显著提高了上下文理解性能。
2018-11-01 cs.CL
Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation
University of Montreal（蒙特利尔大学）；IBM Research（IBM研究院）
我们引入了多分辨率递归神经网络，它扩展了序列到序列框架，将自然语言生成建模为两个并行的离散随机过程：一个高级粗令牌序列和一个自然语言令牌序列。有很多方法来估计或学习的高层次的粗令牌，但我们认为，一个简单的提取过程是足以捕捉丰富的高层次的话语语义。这样的过程允许通过最大化两个序列的精确联合对数似然来训练多分辨率递归神经网络。与标准的对数似然目标w.r.t.自然语言标记（单词困惑），优化联合对数似然模型偏向于建模高级抽象。我们将所提出的模型应用到两个具有挑战性的领域中的对话响应生成任务：Ubuntu技术支持域和Twitter对话。在Ubuntu上，该模型的性能大大优于竞争方法，根据自动评估指标和人工评估研究，都获得了最先进的结果。在Twitter上，该模型似乎根据自动评估指标生成更相关和更主题的响应。最后，我们的实验表明，该模型更善于克服自然语言的稀疏性，能够更好地捕捉长期结构。
2016-06-14 cs.AI cs.CL cs.LG
Modeling Multi-Action Policy for Task-Oriented Dialogues
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Uber AI（优步人工智能）
在面向任务的对话系统中，对话管理（DM）对与用户的交互质量起着关键作用。在大多数现有的方法中，代理预测每轮只有一个DM政策行动。这大大限制了会话代理的表达能力，并引入了可能挑战用户耐心的不必要的交互。更长的对话也会导致更多错误，系统需要更加强大才能处理它们。在本文中，我们比较了几种模型的性能预测多个行为的任务，为每一个回合。提出了一种新的策略模型的基础上称为门控连续动作槽（gCAS），克服了现有模型的局限性的循环细胞。实验结果表明，gCAS优于其他方法。代码可在https://leishu02.github.io/上获得
2019-08-30 cs.CL
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue
Salesforce Research（Salesforce研究院）
普通文本和任务型对话在语言模式上的根本差异使得现有的预训练语言模型在实践中用处不大。在这项工作中，我们统一了9个人与人之间的多回合面向任务的对话数据集，用于语言建模。为了在预训练期间更好地建模对话行为，我们将用户和系统令牌纳入掩蔽语言建模。我们提出了一个对比的目标函数来模拟反应选择任务。我们预先训练的面向任务的对话BERT（TOD-BERT）在四个下游面向任务的对话应用上的性能优于BERT等强基线，包括意图识别，对话状态跟踪，对话行为预测和响应选择。我们还表明，TOD-BERT具有更强的Few-Shot能力，可以缓解面向任务的对话的数据稀缺问题。
2020-10-01 cs.CL
An Efficient Approach to Encoding Context for Spoken Language Understanding
Google AI（谷歌人工智能）
在面向任务的对话系统中，口语语言理解或SLU是指将自然语言用户话语解析成语义框架的任务。从先前的对话历史中利用上下文是更有效的SLU的关键。SLU的现有技术方法使用存储器网络通过在每一轮处理来自对话的多个话语来编码上下文，从而导致准确性和计算效率之间的显著权衡。另一方面，像对话状态跟踪器（DST）这样的下游组件已经跟踪了对话状态，这可以作为对话历史的摘要。在这项工作中，我们提出了一个有效的方法来编码上下文从先前的话语SLU。更具体地说，我们的架构包括一个单独的基于递归神经网络（RNN）的编码模块，该模块积累对话上下文以指导帧解析子任务，并且可以在SLU和DST之间共享。在我们的实验中，我们证明了我们的方法对两个领域的对话的有效性。
2018-07-01 cs.CL
