MIDAS: A Dialog Act Annotation Scheme for Open Domain Human Machine Spoken Conversations
University of California, Davis(加州大学戴维斯分校)
对话行为预测是建立对话系统和进行语篇分析的重要任务。以前的对话行为方案,如SWBD-DAMSL,都是为人与人之间的对话而设计的,在这种对话中,对话伙伴具有完美的语言理解能力。本文针对开放域人机对话,设计了一种对话行为标注方案MIDAS(Machine Interaction Dialog Act Scheme)。MIDAS旨在帮助那些理解人类伙伴能力有限的机器。MIDAS具有层次结构,支持多标签注释。我们收集并注释了一个大型开放域人机口语对话数据集(由24 K话语组成)。为了展示该方案的适用性,我们利用迁移学习方法来训练多标签对话行为预测模型,并达到F1得分0.79。
2019-08-27 cs.CL
Mapping the Dialog Act Annotations of the LEGO Corpus into the Communicative Functions of ISO 24617-2
INESC-ID Lisboa(INESC-ID里斯本);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高级技术学院);ISCTE-IUL – Instituto Universitário de Lisboa(ISCTE-IUL里斯本大学学院)
在本文中,我们提出了战略映射的乐高语料库的对话行为注释到ISO 24617-2标准的通信功能。使用这些策略,我们获得了额外的347个对话根据标准进行注释。这一点特别重要,因为由于标准的新近发布,这些条件下的现有数据量减少。此外,这些对话来自广泛探索的语料库,用于对话相关任务。然而,它的对话注释由于其高度的领域依赖性而被忽视,这使得它们在语料库的上下文之外没有用处。因此,通过我们的映射过程中,我们都获得了更多的数据注释根据最近的标准,并提供有用的对话行为注释的对话研究的背景下,广泛探索的语料库。
2016-12-05 cs.CL
Dialogue Act Classification with Context-Aware Self-Attention
Grammarly
最近在Dialogue Act分类中的工作已经将任务视为使用分层深度神经网络的序列标记问题。我们建立在这个以前的工作,利用上下文感知的自我注意力机制的有效性,再加上一个层次循环神经网络。我们对标准对话法分类数据集进行了广泛的评估,并显示出对交换机对话法(SwDA)语料库的最新结果的显着改善。我们还研究了不同的话语级表示学习方法的影响,并表明我们的方法是有效的,在捕获话语级语义文本表示,同时保持高准确性。
2019-05-06 cs.CL
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University(中山大学)
对话策略学习是面向任务的对话系统的一个重要子任务,它决定了系统响应生成的内容和任务完成的程度。然而,系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中,我们提出了一个检索和记忆的框架,以加强学习系统的行动。特别地,我们首先设计了一个神经上下文感知检索模块,从给定的对话上下文的训练集中检索多个候选系统动作。然后,我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作,这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明,我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
A Context-Aware Hierarchical BERT Fusion Network for Multi-turn Dialog Act Detection
Georgia Institute of Technology(佐治亚理工学院)
交互式对话系统的成功通常与口语语言理解(SLU)任务的质量相关,该任务主要识别每轮中相应的对话行为和槽值。通过孤立地处理话语,大多数SLU系统经常忽略对话行为所期望的语义上下文。回合之间的动作依赖性是重要的,但对识别正确的语义表示至关重要。以前的作品与有限的上下文意识暴露了处理复杂性的不足,在多方位的用户意图,这是受自发变化,在回合转换。在这项工作中,我们提出了增强SLU在多轮对话,采用上下文感知的分层BERT融合网络(CaBERT-SLU),不仅辨别对话中的上下文信息,但也联合识别多个对话行为和插槽中的每个话语。实验结果表明,我们的方法达到了新的国家的最先进的(SOTA)性能在两个复杂的多轮对话数据集有相当大的改善相比,以前的方法,只考虑单话语的多个意图和插槽填充。
2021-09-03 cs.CL
Lexico-acoustic Neural-based Models for Dialog Act Classification
University of Stuttgart(斯图加特大学)
最近的工作提出了在口语对话中的对话行为分类的神经模型。然而,他们没有探讨声学信息的作用和有用性。我们提出了一个神经模型,处理词汇和声学特征进行分类。我们在两个基准数据集上的结果表明,声学特征有助于提高整体精度。最后,更深入的分析表明,声学特征是有价值的三种情况下:当一个对话行为有足够的数据,当词汇信息是有限的,当强大的词汇线索不存在。
2018-03-02 cs.CL
Dialogue Act Sequence Labeling using Hierarchical encoder with CRF
IBM Research(IBM研究院)
对话行为识别关联对话行为(即,语义标签)到对话中的话语。将语义标签与话语相关联的问题可以被视为序列标签问题。在这项工作中,我们构建了一个分层递归神经网络,使用双向LSTM作为基本单元,条件随机场(CRF)作为顶层,将每个话语分类为其相应的对话行为。分层网络在多个级别学习表示,即,单词级、话语级和会话级。会话级表示被输入到CRF层,CRF层不仅考虑所有先前的话语,而且考虑它们的对话行为,从而对标签和话语之间的依赖性进行建模,这是自然对话的重要考虑因素。我们验证了我们的方法在两个不同的基准数据集,交换机和会议记录器对话行为,并显示性能的改善,在国家的最先进的方法,分别由$2.2\%$和$4.1\%$绝对点。值得注意的是,Switchboard数据集上的注释器间一致性是$84\%$,尽管在噪声数据上进行了训练,但我们的方法仍能够实现约$79\%$的准确性。
2017-09-14 cs.CL
Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level
Jazan University(吉赞大学);Cairo University(开罗大学);Institute of Statistical Studies and Research(统计研究与研究所)
对话行为的建模和自动检测是理解自发语音和即时消息的重要一步。然而,从表面话语中推断出对话行为是很困难的,因为它高度依赖于话语的语境和说话者的语言知识,特别是在阿拉伯语方言中。本文提出了一个统计对话分析模型,采用多类层次结构识别话语的对话行为。该模型可以自动获取概率语篇知识的对话语料库收集和注释的多体裁埃及呼叫中心。使用支持向量机分类器进行了大量的实验,以评估系统的性能。在平均F-测量分数为0.912的条件下获得的结果表明,所提出的方法适度提高了F-测量约20%。
2018-05-30 cs.CL
Dialogue Act Recognition via CRF-Attentive Structured Network
Zhejiang University(浙江大学)
对话行为识别(DAR)是对话理解中的一个具有挑战性的问题,其目的是为话语附加语义标签并表征说话人的意图。目前,许多现有的方法制定的DAR问题,从多分类到结构化预测,这遭受手工制作的功能扩展和细心的上下文结构依赖性。在本文中,我们考虑DAR的问题,从扩展更丰富的条件随机场(CRF)的结构依赖,而不放弃端到端的训练的观点。在话语建模中,我们结合了层次语义推理和记忆机制。然后,我们将结构化注意网络扩展到线性链条件随机场层,该层同时考虑了上下文话语和相应的对话行为。在两个主要的基准数据集Switchboard Dialogue Act(SWDA)和Meeting Recorder Dialogue Act(MRDA)数据集上进行的大量实验表明,该方法比其他最先进的解决方案具有更好的性能。值得注意的是,我们的方法几乎接近人类注释者在SWDA上的性能,差距在2%以内。
2017-11-15 cs.CL
JPS-daprinfo: A Dataset for Japanese Dialog Act Analysis and People-related Information Detection
Graduate School of Engineering Science, Osaka University(大阪大学工程科学研究生院);Advanced Telecommunications Research Institute International(国际电气通信基础技术研究所)
我们对一个用于文本分类的日语口语数据集(I-JAS)进行了标记工作,该数据集包含50个双向日语对话的访谈对话,讨论了参与者的过去、现在和未来。每段对话时长30分钟。从这个数据集中,我们选择了母语为日语的面试对话作为样本。给定数据集,我们用13个标签标注句子。标记工作由具有数据注释经验的母语为日语的人进行。注释样本的总量为20130。
2021-03-06 cs.CL
Neural-based Context Representation Learning for Dialog Act Classification
Institute for Natural Language Processing (IMS)(自然语言处理研究所);University of Stuttgart(斯图加特大学)
我们探讨了上下文表示学习方法在基于神经的模型的对话行为分类。我们提出并广泛比较了不同的方法,结合递归神经网络架构和注意力机制(AM)在不同的上下文水平。我们在两个基准数据集上的实验结果表明,与没有上下文信息的模型相比,我们的实验结果显示出一致的改进,并揭示了架构中最合适的AM取决于数据集的性质。
2017-08-08 cs.CL
Multi-level Adaptive Contrastive Learning for Knowledge Internalization in Dialogue Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
提出多层级自适应对比学习框架,通过动态采样负样本并在词元级和序列级惩罚复制式退化行为,促进对话生成中的知识内化,在WoW数据集上验证了有效性。
2023-10-17 cs.CL
Automatic Recognition of the General-Purpose Communicative Functions defined by the ISO 24617-2 Standard for Dialog Act Annotation
INESC-ID Lisboa(里斯本信息与通信技术研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
ISO 24617-2是对话行为注释的标准,定义了一组分层组织的通用通信功能。这些功能的自动识别,虽然实际上未被探索,是相关的对话系统,因为它们提供线索的意图背后的片段,以及它们应该如何被解释。我们探索DialogBank中通用交际功能的识别,DialogBank是根据该标准注释的参考对话框集。要做到这一点,我们提出了适应现有的方法,平面对话行为识别,使他们能够处理的层次分类问题。更具体地说,我们建议使用一个分层网络级联输出和最大后验路径估计预测的通信功能在每个层次结构的水平,保持路径中的功能之间的依赖关系,并决定在哪一级停止。此外,由于DialogBank中的对话框数量减少,我们依赖于迁移学习过程来减少过拟合并提高性能。我们的实验结果表明,分层的方法优于一个平面的,它的每个组件起着重要的作用,对通用的交际功能的识别。
2021-01-16 cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research(京东人工智能研究院)
本文提出端到端任务型对话系统 Mars,通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系,发现与语义状态差异更大的上下文表示更有利于多轮对话,并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer
Carnegie Mellon University(卡内基梅隆大学)
对话状态跟踪(DST)中一个重要但很少解决的问题是动态本体的可扩展性(例如,电影、餐馆)和看不见的槽值。我们专注于一个特定的条件,其中本体是未知的状态跟踪器,但目标槽值(除了没有和dontcare),可能在训练过程中看不见,可以在对话上下文中找到的词段。先前的方法通常依赖于从n-gram枚举或时隙标记器输出的候选生成,这可能是低效的或遭受错误传播。我们提出了BERT-DST,一个端到端的对话状态跟踪器,直接从对话上下文中提取插槽值。我们使用BERT作为对话上下文编码器,其上下文化的语言表示适合于可扩展的DST,以从其语义上下文中识别槽值。此外,我们采用编码器参数共享在所有槽有两个优点:(1)参数的数量不与本体线性增长。(2)语言表征知识可以在槽之间转移。实证评估表明,跨时隙参数共享的BERT-DST在基准可扩展DST数据集Sim-M和Sim-R上的性能优于先前的工作,并在标准DSTC 2和WOZ 2.0数据集上实现了有竞争力的性能。
2019-07-05 cs.CL
Multi-level Gated Recurrent Neural Network for Dialog Act Classification
Peking University(北京大学)
在本文中,我们专注于对话行为(DA)标记的问题。这个问题最近吸引了很多关注,因为它是当前需求量很大的自动问答系统的重要子部分。传统的方法倾向于将这个问题视为序列标记任务,并通过应用具有丰富特征的分类器来处理它。目前大多数神经网络模型仍然忽略了会话中的序列信息。然而,我们采用了一种新的多级门控循环神经网络(GRNN)与非文本信息预测DA标签。我们的模型不仅利用文本信息,但也利用非文本和上下文信息。相比之下,我们的模型已经显示出显着的改善超过6%的开关板对话法(SWDA)任务比以前的作品。
2019-10-04 cs.CL
Multi-task dialog act and sentiment recognition on Mastodon
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
由于许可证的限制,在语料库创建几个月后,通常不可能在Twitter数据上严格复制大多数研究结果。随着时间的推移,这种情况逐渐恶化,推特变得无法访问。这是对社交媒体进行可复制和负责任研究的关键问题。我们部分地解决了这个挑战,通过注释一个新的Twitter样的语料库,从一个替代的大型社交媒体与许可证,是可重复的实验兼容:乳齿象。我们手动注释这个语料库上的对话和情感,并训练一个多任务的层次递归网络的联合情感和对话行为识别。我们的实验表明,迁移学习可以有效地实现这两个任务之间,并进一步分析情感和社交媒体上的对话之间的一些特定的相关性。注释语料库和深度网络都是以开源许可证发布的。
2018-07-13 cs.CL
SONIC: Segmented Optimized Nexus for Information Compression in Key-Value Caching
The Hong Kong University of Science(香港科学与技术大学);King's College London, United Kingdom(伦敦国王学院)
SONIC通过动态预算训练实现高效键值缓存压缩,提升多轮对话的连贯性和部署效率。
2026-01-29 cs.CL
Exploring Textual and Speech information in Dialogue Act Classification with Speaker Domain Adaptation
Monash University(莫纳什大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管最近的成功的对话行为(DA)的分类,大多数先前的作品集中在基于文本的分类与甲骨文transmittance,即人类transmittance,而不是自动语音识别(ASR)的transmittance。然而,在口语对话系统中,代理将只能访问有噪声的ASR传输,这可能由于域移位而进一步遭受性能降级。在本文中,我们探讨了使用声学和文本信号的有效性,无论是甲骨文或ASR transmittance,并探讨说话人领域自适应DA分类。我们的多模态模型被证明是优于单峰模型,特别是当甲骨文transmittance不可用。我们还提出了一种有效的方法,说话人领域自适应,取得了竞争力的结果。
2018-10-17 cs.CL
A Study on Dialog Act Recognition using Character-Level Tokenization
INESC-ID Lisboa(里斯本系统与计算机工程研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
对话行为识别是对话系统中的一个重要环节,它揭示了话语背后的意图。大多数任务的方法都使用单词级标记。相反,本文探讨了字符级标记化的使用。这是相关的,因为在子词水平上存在与词的功能相关的信息,因此,它们的意图。我们还探讨了在每个标记周围使用不同的上下文窗口,这些窗口能够捕获重要的元素,例如词缀。此外,我们评估标点符号和大写的重要性。我们在Switchboard Dialog Act语料库和DIHANA语料库上进行了实验。在这两种情况下,实验不仅表明,字符级标记化导致更好的性能比典型的词级方法,而且这两种方法都能够捕捉互补的信息。因此,通过在两个级别上组合标记化来实现最佳结果。
2018-07-23 cs.CL
ISO-Standard Domain-Independent Dialogue Act Tagging for Conversational Agents
University of Trento(特伦托大学)
对话行为(DA)标注对于口语语言理解系统是至关重要的,因为它提供了说话者意图的一般表示,而不受特定对话系统的约束。不幸的是,具有DA注释的公开可用数据集都基于不同的注释方案,因此彼此不兼容。此外,他们的方案往往没有涵盖开放领域人机交互所需的所有方面。在本文中,我们提出了一种方法来映射几个公开可用的语料库的ISO标准的一个子集,以创建一个大型的任务无关的训练语料库DA分类。我们展示了使用此语料库训练一个独立于域的DA标记测试它的域外的会话数据的可行性,并认为多个语料库的训练,以实现跨不同DA类别的鲁棒性的重要性。
2018-06-12 cs.CL
Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentiment Classification
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
在对话系统中,对话行为识别和情感分类是两个相互关联的任务,以捕捉说话人的意图,其中对话行为和情感可以分别表示显式和隐式意图。对话上下文信息(上下文信息)和相互交互信息是促成这两个相关任务的两个关键因素。不幸的是,现有的方法都没有同时考虑这两个重要的信息来源。在本文中,我们提出了一个共同互动的图形注意力网络(Co-GAT),共同执行这两个任务。核心模块是一个协同交互的图形交互层,在该交互层中,构建了跨话语连接和跨任务连接,并相互迭代更新,实现了同时考虑两种类型的信息。在两个公共数据集上的实验结果表明,该模型成功地捕获了两个信息源,并达到了最先进的性能。此外,我们发现,从上下文和相互作用的信息的贡献不完全重叠的上下文化的词表示(BERT,罗伯塔,XLNet)。
2020-12-24 cs.CL
Hierarchical Multi-Label Dialog Act Recognition on Spanish Data
INESC-ID Lisboa(里斯本信息与通信技术研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
对话行为揭示了话语背后的意图。因此,它们的自动识别对于试图理解其会话伙伴的对话系统是重要的。本文提出的研究方法,在DIHANA语料库,其三个层次的对话行为注释方案提出的问题,还没有在最近的研究探讨的任务。除了层次问题之外,两个较低的层次构成多标签分类问题。此外,层次结构中的每一级都涉及到说话者在对话结构和任务方面的意图的不同方面。此外,由于它的对话是西班牙语的,它使我们能够评估英语数据的最先进方法是否适用于不同的语言。更具体地说,我们比较了不同的段表示方法的性能,专注于序列和模式的话,并评估的重要性的对话历史和层次结构的多个级别之间的关系。关于单标签分类问题所造成的最高水平,我们表明,英语数据得出的结论也持有西班牙语数据。此外,我们表明,该方法可以适应多标签的情况。最后,通过分层组合每个级别的最佳分类器,我们实现了该语料库的最佳结果。
2019-07-29 cs.CL
DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification
Harbin Institute of Technology(哈尔滨工业大学)
在对话系统中,对话行为识别和情感分类是两个相互关联的任务,以捕捉说话人的意图,其中对话行为和情感可以分别表示显式和隐式意图。大多数现有的系统要么将它们视为单独的任务,要么通过以隐式方式共享参数来联合建模这两个任务,而没有明确地建模相互的交互和关系。为了解决这个问题,我们提出了一个深度协同交互关系网络(DCR-Net),明确考虑交叉影响,并通过引入协同交互关系层来建模两个任务之间的交互。此外,所提出的关系层可以堆叠,以通过多个交互步骤逐渐捕获相互知识。特别是,我们深入研究了不同的关系层及其影响。在两个公开数据集(Mastodon和Dailydialog)上的实验结果表明,该模型在对话行为识别任务上的F1得分分别比最先进的联合模型高出4.3%和3.4%,在情感分类任务上的F1得分分别比联合模型高出5.7%和12.4%.综合分析实证验证了显式建模两个任务之间的关系和多步交互机制的有效性。最后,我们在我们的框架中使用了来自Transformer的双向编码器表示(BERT),这可以进一步提高我们在这两个任务中的性能。
2020-08-16 cs.CL
A Bi-directional Multi-hop Inference Model for Joint Dialog Sentiment Classification and Act Recognition
Wuhan University(武汉大学)
针对联合DSC与DAR任务中单向上下文编码及标签关联利用不足的问题,本文提出BMIM,通过双向多跳推理、对比学习和对偶学习提升性能与可解释性。
2023-08-12 cs.CL
Dialog Acts for Task-Driven Embodied Agents
Amazon Alexa AI(亚马逊Alexa人工智能)
具身智能体需要能够以自然语言进行交互,理解任务描述,并询问适当的后续问题,以获得必要的信息,从而有效地为广泛的用户成功完成任务。在这项工作中,我们提出了一套对话行为建模这样的对话和注释的TEACh数据集,其中包括超过3,000个位于,面向任务的对话(包括39.5k话语)与对话行为。TEACh-DA是第一个大规模的对话行为注释数据集,用于实现任务完成。此外,我们演示了使用这个注释数据集在训练模型中标记给定话语的对话行为,预测给定对话历史的下一个响应的对话行为,并使用对话行为来指导代理的非对话行为。特别是,我们的实验TEACh执行从对话的历史任务,该模型预测的低级别的行动序列中执行的环境中体现的任务完成,表明对话行为可以提高最终任务的成功率高达2点相比,系统没有对话行为。
2022-09-26 cs.CL cs.CV
Contextual Topic Modeling For Dialog Systems
Amazon(亚马逊)
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中,我们专注于上下文感知的主题分类方法,用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作,神经主题分类和无监督主题关键字检测,将会话上下文和对话行为功能。在注释数据上,我们表明,将上下文和对话行为导致主题分类准确率相对提高35%,主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现,主题深度等主题指标与连贯性和参与度等对话评价指标高度相关,这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
The Influence of Context on Dialogue Act Recognition
INESC-ID Lisboa(INESC-ID 里斯本);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院)
本文分析了语境信息对对话行为识别的影响。我们进行了实验,广泛探索的交换机语料库,以及根据最近的ISO 24617-2标准注释的数据。后者是从蒂尔堡对话库,并通过映射的一个子集的让我们去语料库的注释。我们使用了一种基于支持向量机的分类方法,这种方法在以前的工作中被证明是成功的,并允许我们限制提供的上下文信息的数量。通过这种方式,我们能够观察到随着上下文信息量的增加而产生的影响模式。我们的基本特征包括n-grams、标点符号和wh-words。上下文信息是从一个到五个先前的片段中获得的,并作为n元语法或对话行为分类提供,后者通常会产生更好的结果和更稳定的影响模式。除了关于上下文信息的重要性和影响的结论之外,我们在Switchboard语料库上的实验还导致了在该语料库上进行对话行为识别任务的最新结果。此外,根据ISO 24617-2标准标注的数据所获得的结果为今后的工作确定了基线,并有助于该领域实验的标准化。
2017-01-09 cs.CL
Act-Aware Slot-Value Predicting in Multi-Domain Dialogue State Tracking
Georgia Institute of Technology(佐治亚理工学院)
作为面向任务的对话系统的重要组成部分,对话状态跟踪(DST)的目的是跟踪人机交互,并生成用于管理对话的状态表示。对话状态的表示依赖于领域本体和用户的目标。在几个目标范围有限的面向任务的对话中,对话状态可以表示为一组槽值对。随着对话系统的能力扩展到支持越来越自然的通信,将对话行为处理纳入对话模型设计变得至关重要。缺乏这样的考虑限制了具有特定目标和本体的对话的对话状态跟踪模型的可扩展性。为了解决这个问题,我们制定并纳入对话行为,并利用机器阅读理解的最新进展,预测分类和非分类类型的插槽多域对话状态跟踪。实验结果表明,我们的模型可以提高对话状态跟踪的MultiWOZ 2.1数据集上的整体准确性,并表明,纳入对话行为可以指导未来面向任务的对话系统的对话状态设计。
2022-08-04 cs.AI cs.CL
Cross-domain Dialogue Policy Transfer via Simultaneous Speech-act and Slot Alignment
Hong Kong University of Science and Technology(香港科技大学)
对话策略迁移使我们能够利用来自具有大量数据的源域的知识,在具有少量数据的目标域中构建对话策略。对话语句通常由言语行为和领域槽表示,对话策略转换通常通过分配基于人类记忆的槽映射矩阵来实现。然而,现有的对话策略转移方法不能跨具有不同语音行为的对话域转移,例如,在由不同公司构建的系统之间转移。此外,它们依赖于公共槽或槽熵,当源槽和目标槽完全不相交并且没有数据库可用于计算槽熵时,公共槽或槽熵不可用。为了解决这个问题,我们提出了一个跨域会话和言语行为的策略转移(PROMISE)模型,该模型能够在具有不同言语行为和不相交槽的域之间转移对话策略。PROMISE模型可以同时学习对齐不同的言语行为和时隙,并且它不需要公共时隙或时隙熵的计算。在真实对话数据上的实验和仿真结果表明,PROMISE模型可以有效地在具有不同言语行为和不相交槽的域之间传递对话策略。
2018-04-20 cs.AI cs.CL
A Slot Is Not Built in One Utterance: Spoken Language Dialogs with Sub-Slots
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于子槽的任务型对话任务SSTOD,构建含40K对话的中文数据集SSD,揭示现有多轮对话模型难以处理逐段提供槽值的问题,并探索引入槽知识的改进模型。
2022-03-21 cs.AI cs.CL cs.LG
Task-Oriented Dialog Systems that Consider Multiple Appropriate Responses under the Same Context
Tsinghua University(清华大学);University of California, Davis(加州大学戴维斯分校)
对话具有内在的一对多属性,这意味着多个响应可以适用于同一对话上下文。在面向任务的对话框中,此属性会导致任务完成的有效对话框策略不同。然而,现有的面向任务的对话框生成方法都没有考虑到这个属性。我们提出了一个多动作数据增强(MADA)框架,利用一对多的属性,以产生不同的适当的对话响应。具体来说,我们首先使用对话框状态来总结对话框历史,然后发现每个对话框状态到其不同有效系统操作的所有可能映射。在对话系统训练期间,我们使当前对话状态能够映射到在先前过程中发现的所有有效系统操作,以创建额外的状态-操作对。通过合并这些额外的对,对话策略学习平衡的动作分布,这进一步指导对话模型生成不同的响应。实验结果表明,该框架不断提高对话策略的多样性,提高响应的多样性和适当性。我们的模型在MultiWOZ上获得了最先进的结果。
2019-12-02 cs.AI cs.CL
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London(伦敦玛丽女王大学);Amazon(亚马逊)
由于会话中情感和动态的复杂性,准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响,如对话者刺激、对话场景和话题。在这项工作中,我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先,我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次,一个专注的双向门控递归单元(GRU)模型上下文敏感信息,并探讨内和说话人之间的依赖关系,以动态的方式。在标准会话数据集MELD上进行的实验表明,与最先进的方法相比,所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
Cross-lingual Approaches for Task-specific Dialogue Act Recognition
University of West Bohemia(西波希米亚大学);Université de Lorraine(洛林大学)
在本文中,我们利用跨语言模型,使对话行为识别特定的任务与少量的注释。我们设计了一种迁移学习方法用于对话行为识别,并在两种不同的目标语言和领域上进行了验证。我们用CNN和多头自注意模型计算对话轮嵌入,并表明通过结合所有传输信息源获得最佳结果。我们进一步证明,所提出的方法显着优于相关的跨语言DA识别方法。
2021-04-21 cs.CL cs.LG
A Context-based Approach for Dialogue Act Recognition using Simple Recurrent Neural Networks
University of Hamburg(汉堡大学)
对话行为识别是自然语言理解的重要组成部分。我们调查的方式对话行为语料库的注释和学习方法使用到目前为止。我们发现,对话行为是上下文敏感的会话中的大多数类。然而,以前的对话行为分类模型在话语层面上工作,只有很少的考虑上下文。我们提出了一种新的基于上下文的学习方法来分类对话行为使用字符级语言模型话语表示,我们注意到显着的改善。我们评估这种方法上的交换机对话行为语料库,我们的结果表明,考虑到前面的话语作为当前话语的上下文提高了对话行为检测。
2018-05-16 cs.AI cs.CL cs.HC
A Universality-Individuality Integration Model for Dialog Act Classification
North China Electric Power University(华北电力大学)
对话行为揭示了会话中说话人话语的总体意图。准确地预测DA可以极大地促进对话代理的开发。虽然研究者们对会话行为分类做了大量的研究,但是分类的特征信息并没有得到充分的考虑。本文认为,词线索、词性线索和统计线索可以相互补充,以提高识别的基础。此外,三者的不同类型导致其分布形式的多样性,阻碍了特征信息的挖掘。为了解决这个问题,我们提出了一种新的模型,基于共性和个性的策略,称为普遍性-个性集成模型(UIIM)。UIIM不仅通过学习普遍性加深线索之间的联系,而且还利用个性的学习来捕捉线索本身的特征。在SwDA和MRDA两个常用的对话行为分类基准数据集上进行实验,结果表明,提取线索之间的共性和个性特征,可以更充分地挖掘话语中隐藏的信息,提高对话行为自动识别的准确率。
2022-04-13 cs.AI cs.CL
Hierarchical Knowledge Distillation for Dialogue Sequence Labeling
NTT Media Intelligence Laboratories, NTT Corporation(NTT公司NTT媒体情报实验室)
提出了一种新的会话序列标注的知识蒸馏方法。对话序列标记是一个监督学习任务,它估计目标对话文档中每个话语的标签,并且对于诸如对话行为估计之类的许多应用都是有用的。准确的标签往往是实现了一个分层结构的大模型,包括话语级和对话级的网络,捕捉内的话语和话语之间的上下文,分别。然而,由于其大的模型大小,这样的模型不能被部署在资源受限的设备上。为了克服这一困难,我们专注于知识蒸馏,通过提取一个大的和高性能的教师模型的知识来训练一个小的模型。我们的核心思想是提取知识,同时保持教师模型捕获的复杂上下文。为此,所提出的方法,分层知识蒸馏,训练的小模型,不仅提取的概率分布的标签分类,但也训练的话语级和对话级上下文的知识,在教师模型,通过训练模型模仿教师模型的输出在每个级别。对话行为估计和通话场景分割实验验证了该方法的有效性。
2021-11-22 cs.CL cs.LG
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon(亚马逊Alexa)
提出对话行为引导的上下文适配器网络,利用对话行为选择用户目录并结合音频与语义关系创建查询,在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低,显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
Hierarchical Summarization for Longform Spoken Dialog
Columbia University(哥伦比亚大学);Microsoft(微软);Stanford University(斯坦福大学)
我们每天都被对话包围着。这种媒介提供丰富多样的信息流,但系统地理解对话往往是不平凡的。尽管口头对话普遍存在,但自动语音理解和质量信息抽取仍然明显较差,特别是与书面散文相比时。此外,与理解文本相比,听觉交流带来了许多额外的挑战,例如说话者不流利,非正式的散文风格和缺乏结构。这些问题都表明,需要一个明显的语音定制的交互系统,以帮助用户理解和浏览口语领域。虽然个人自动语音识别(ASR)和文本摘要方法已经存在,但它们是不完善的技术;既不考虑用户目的和意图,也不解决口语引起的并发症。因此,我们设计了一个两阶段的ASR和文本摘要管道,并提出了一套语义分割和合并算法,以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容,以及从这些底层技术的错误中恢复。最后,我们提出了一个评估系统,突出用户偏好的分层摘要作为一种工具,快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
Semantically Conditioned Dialog Response Generation via Hierarchical Disentangled Self-Attention
Tencent AI Lab(腾讯人工智能实验室);Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
有限域上的语义控制神经响应生成已经取得了很好的性能。然而,走向多领域的大规模的情况下,被证明是困难的,因为可能的组合的语义输入增长与域的数量呈指数级。为了缓解这种可扩展性问题,我们利用对话行为的结构来构建一个多层的层次图,其中每个行为表示为图上的根到叶路由。然后,我们将这样的图结构作为一个归纳偏见,建立一个层次化的解开自我注意力网络,在那里我们解开注意力头来模拟对话行为图上的指定节点。通过在每一层激活不同的(解开的)头,可以组合地对许多对话行为语义进行建模以控制神经响应生成。在大规模的多领域WOZ数据集上,我们的模型可以在各种自动和人工评估指标上产生比基线显著的改进。
2019-06-09 cs.AI cs.CL
End-to-end speech-to-dialog-act recognition
Kyoto University(京都大学)
提取话语中的意图和/或语义概念的口语语言理解通常被公式化为自动语音识别的后处理。它通常使用Oracle脚本进行训练,但需要通过ASR处理错误。此外,还有一些与意图相关但没有用转录本表示的声学特征。在本文中,我们提出了一个端到端的模型,直接将语音转换成对话行为,而不确定性的转录过程。在该模型中,对话行为识别网络在softmax层之前的潜在层与声学到单词ASR模型相结合,该模型提供了单词级ASR解码信息的分布式表示。然后,整个网络以端到端的方式进行微调。这允许稳定的训练以及对ASR错误的鲁棒性。该模型进一步扩展,进行DA分割联合。与Switchboard语料库的评估表明,该方法显着提高了对话行为识别的准确性从传统的管道框架。
2020-07-28 cs.CL cs.SD eess.AS
Modeling Long-Range Context for Concurrent Dialogue Acts Recognition
Georgetown University(乔治城大学)
在对话中,一个话语是由一个说话者产生的一系列连续的句子,从一个短句到一个千字的帖子。在话语层面上研究对话时,一个话语具有多种功能的情况并不少见。例如,“谢谢。效果很好。“在同一句话中表达了感激和积极的反馈。一个话语的多个对话行为(DA)在对话轮之间产生了复杂的依赖关系。因此,DA识别挑战了模型对长话语和复杂DA上下文的预测能力。我们称这个问题为并发对话行为识别。以前的工作DA识别要么假设一个DA每话语或未能实现的顺序性对话。在本文中,我们提出了一个自适应卷积递归神经网络(CRNN)模型的话语之间的相互作用的远程上下文。我们的模型在技术论坛数据集上显著优于现有的CDA识别工作。
2019-10-22 cs.CL cs.LG cs.SD