Non-Autoregressive Dialog State Tracking
Salesforce Research(Salesforce研究);Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究)
最近在面向任务的对话的对话状态跟踪(DST)的努力已经朝着开放词汇或基于生成的方法,其中模型可以从对话历史本身生成槽值候选人。这些方法表现出良好的性能增益,特别是在复杂的对话域与动态槽值。然而,它们在两个方面存在不足:(1)它们不允许模型显式地学习跨域和时隙的信号,以检测(域,时隙)对之间的潜在依赖关系;以及(2)现有模型遵循自回归方法,当对话在多个域和多个回合上演变时,会产生很高的时间成本。在本文中,我们提出了一种新的框架,非自回归对话状态跟踪(NADST),它可以考虑域和插槽之间的潜在依赖关系,以优化模型,更好地预测对话状态作为一个完整的集合,而不是单独的插槽。特别是,我们的方法的非自回归性质,不仅使解码并行显着减少延迟的DST实时对话响应生成,但也检测插槽之间的依赖关系,除了插槽和域级别令牌级别。我们的实证结果表明,我们的模型在MultiWOZ 2.1语料库上的所有领域都达到了最先进的联合准确度,并且随着对话历史的不断延长,我们模型的延迟比以前的最先进水平低一个数量级。
2020-02-19 cs.AI cs.CL cs.LG
Dataflow Dialogue Generation
Telepathy Labs GmbH(心灵实验室有限公司)
本文在数据流对话范式内展示面向任务的对话生成,通过MultiWOZ和SMCalFlow领域的示例证明,使用生成的对话扩充训练集可提升用户请求到数据流表达式的翻译准确率。
2023-08-04 cs.CL
GEPARD - Generative, Prosody-aware, Autoregressive text-to-speech model for Realtime Dialogue
本研究提出面向实时对话的流式TTS模型GEPARD,以vLLM为骨干,通过将辅助机制移至预填充或蒸馏至权重实现高效推理,单流实时因子约0.067,256并发流总加速比约204倍,还解决了短寄存器失效等问题。
2026-09-07 cs.CL cs.LG cs.SD
Amendable Generation for Dialogue State Tracking
Baidu Inc.(百度公司)
在面向任务的对话系统中,最近的对话状态跟踪方法倾向于基于先前的对话状态来执行对话状态的一遍生成。这些模型在当前回合中所犯的错误很容易被带到下一回合,导致错误传播。本文提出了一种新的会话状态跟踪修正生成算法(AG-DST),该算法包含两个阶段:(1)根据当前会话和前一阶段会话生成原始会话状态;(2)对第一阶段的原始会话状态进行修正。通过额外的修改生成通道,我们的模型的任务是通过修改原始对话状态中仍然存在的错误来学习更强大的对话状态跟踪,这在双重检查过程中扮演了修订者的角色,并减轻了不必要的错误传播。实验结果表明,AG-DST在两个活跃的DST数据集(MultiWOZ 2.2和WOZ 2.0)显着优于以前的工作,实现了新的最先进的性能。
2021-10-29 cs.CL
Adversarial Bootstrapping for Dialogue Model Training
Capital One Conversation Research(第一资本对话研究部)
开放域神经对话模型尽管取得了成功,但已知会产生缺乏相关性、多样性和在许多情况下缺乏连贯性的反应。这些缺点源于常见训练目标直接表达这些属性的能力有限,以及它们与训练数据集和模型架构的相互作用。为了解决这些问题,本文提出了一个对话响应生成器与adversarially训练的自举。该方法涉及在自回归和传统教师强制模式下训练神经发生器,其中自回归输出的最大似然损失由基于度量的神经网络模型的分数加权。该自回归输入是地面真值标签、生成器的教师强制输出和从数据集采样的干扰项的混合,从而允许对生成器的自回归输出进行更丰富的反馈。为了改进对自回归输出的校准,我们还通过匹配地面真值的中间特征和发生器的自回归输出来引导自回归。我们在训练过程中探索不同的采样和对抗策略优化策略,以了解如何在不牺牲相关性的情况下鼓励响应多样性。我们的实验表明,对抗性自举在解决暴露偏差方面是有效的,从而改善了反应的相关性和一致性。这种改进通过Movie和Ubuntu对话数据集上关于人类评估和BLUE、ROGUE以及不同的n-gram分数的最先进的结果来证明。
2019-09-04 cs.CL cs.LG
Discourse Coherence and Response-Guided Context Rewriting for Multi-Party Dialogue Generation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出DRCR框架,通过对话上下文重写提升多方对话生成效果,利用对话连贯性和响应质量构建偏好数据,并采用动态自进化学习方法增强重写与响应能力。
2026-04-13 cs.CL
Terminology-aware Medical Dialogue Generation
The University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
医学对话生成的目的是根据医生和患者之间的对话轮的历史来生成响应。与开放域对话生成不同,这需要特定于医学领域的背景知识。现有的医疗对话生成生成框架没有纳入特定领域的知识,特别是关于医学术语。在本文中,我们提出了一个新的框架,以提高医疗对话生成考虑集中在特定领域的术语的功能。我们利用一个注意力机制,将术语为中心的功能,并通过强制执行语言模型,以学习术语表示与辅助术语识别任务,以填补医学背景知识和常见的话语之间的语义差距。实验结果表明,我们的方法,其中我们提出的框架优于SOTA语言模型的有效性。此外,我们提供了一个新的数据集与医学术语注释,以支持医疗对话生成的研究。我们的数据集和代码可以在https://github.com/tangg555/meddialog上找到。
2023-03-15 cs.CL
CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shandong University(山东大学)
对话结构发现是对话生成的关键。结构良好的主题流可以利用背景信息和预测未来的主题,以帮助产生可控和可解释的反应。然而,以往的研究大多集中在任务型对话中的对话结构学习,而不是更复杂、更具挑战性的开放域对话。在本文中,我们提出了一个新的框架CTRLStruct对话结构学习,有效地探索主题级的对话集群,以及他们的过渡与未标记的信息。准确地说,由双向Transformer编码的对话话语通过特殊设计的对比学习任务进一步训练以提高表征。然后,我们执行聚类的话语级表示和形成的主题级集群,可以被认为是对话结构图中的顶点。通过模仿数据集中的专家行为来计算图中指示顶点之间的转移概率的边。最后,将对话结构图集成到对话模型中,实现受控响应生成。在两个流行的开放域对话数据集上的实验表明,与一些优秀的对话模型相比,该模型能够产生更连贯的响应,并且在对话话语表示方面优于一些典型的句子嵌入方法。代码可以在GitHub上找到。
2023-03-02 cs.CL
Towards Automatic Generation of Entertaining Dialogues in Chinese Crosstalks
Peking University(北京大学)
相声是中国传统的喜剧表演艺术,以笑话和有趣的对话为特色,是中国最受欢迎的文化元素之一。它通常以两个表演者之间的对话的形式为观众带来笑声,其中一个人担任主要喜剧演员,另一个人担任配角。虽然一般的对话生成已经在以前的研究中被广泛探讨,它是未知的,这样的娱乐对话是否可以自动生成或不。本文首次探讨了汉语相声中娱乐性对话自动生成的可能性。我们的任务是根据每段对话中主角的话语,生成配角的回答话语。我们提出了一个幽默增强的翻译模型来解决这个任务和人类的评价结果证明了我们提出的模型的有效性。同时也验证了娱乐性对话自动生成的可行性。
2017-11-01 cs.CL
Less is More: Learning to Refine Dialogue History for Personalized Dialogue Generation
Renmin University of China(中国人民大学);University of Montreal(蒙特利尔大学)
个性化对话系统探索生成与用户的个性一致的响应的问题,这在近年来引起了很多关注。现有的个性化对话系统已经尝试从对话历史中提取用户简档以指导个性化响应生成。由于对话历史通常是长的和嘈杂的,大多数现有的方法截断对话历史来建模用户的个性。这样的方法可以生成一些个性化的响应,但是浪费了大部分对话历史,导致个性化响应生成的次优性能。在这项工作中,我们提出了细化用户的对话历史在大规模上,在此基础上,我们可以处理更多的对话历史,并获得更丰富和准确的人物信息。具体来说,我们设计了一个MSP模型,它包括三个个人信息提炼器和一个个性化的响应生成器。有了这些多层次的精炼器,我们可以从对话历史中稀疏地提取最有价值的信息(令牌),并利用其他类似用户的数据来增强个性化。在两个真实数据集上的实验结果表明,我们的模型在生成更多信息和个性化的响应方面具有优越性。
2022-04-18 cs.CL
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University(苏州大学)
基于最近提出的可转移的对话状态生成器(TRADE),预测对话状态,从话语连接的对话上下文,我们提出了一个多任务学习模型,一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文,我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中,我们提出的模型比基线实现了7.03%的相对改进,在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
Explicit State Tracking with Semi-Supervision for Neural Dialogue Generation
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
对话生成的任务旨在自动提供响应给定先前的话语。跟踪对话状态是判断用户意图的一个重要环节。然而,\emph{expensive nature of state labeling}和\emph{weak interpretability}使得对话状态跟踪对于面向任务和非面向任务的对话生成都是具有挑战性的问题:对于在面向任务的对话中生成响应,状态跟踪通常从人工注释的语料库中学习,其中人工注释对于训练来说是昂贵的;对于在非面向任务的对话中生成响应,由于对话状态的数量不受限制,大多数现有工作忽略了显式状态跟踪。在本文中,我们提出了\emph{semi-supervised explicit dialogue state tracker}(SEDST)的神经对话生成。为此,我们的方法有两个核心成分:\emph{CopyFlowNet}和\emph{posterior regularization}。具体来说,我们提出了一个编码器-解码器架构,命名为\emph{CopyFlowNet},表示一个明确的对话状态的概率分布在词汇空间。为了优化训练过程,我们采用后验正则化策略来整合间接监督。在任务型和非任务型对话语料库上进行的大量实验证明了该模型的有效性。此外,我们发现,我们提出的半监督对话状态跟踪器实现了国家的最先进的监督学习基线状态跟踪过程中的性能相当。
2018-08-31 cs.CL
Multilingual Dialogue Generation and Localization with Dialogue Act Scripting
Nara Institute of Science and Technology(那拉科学与技术研究所)
本文提出对话行为脚本DAS,以结构化意图表示替代直接翻译,实现多语言对话的本地化生成,并在意、德、中三种语言上验证其优于机器与人工翻译。
2025-09-26 cs.CL
OpenViDial 2.0: A Larger-Scale, Open-Domain Dialogue Generation Dataset with Visual Contexts
Peking University(北京大学);Zhejiang University(浙江大学)
为了更好地模拟真实的人类对话过程,模型不仅需要基于先前的文本上下文,而且还需要基于视觉上下文来生成对话语句。然而,随着多模态对话学习的发展,数据集规模逐渐成为一个瓶颈。在本报告中,我们发布了OpenViDial 2.0,这是一个比以前版本OpenViDial 1.0更大规模的开放域多模态对话数据集。OpenViDial 2.0包含从不同资源的电影或电视剧中提取的总共560万个对话回合,每个对话回合都与其相应的视觉上下文配对。我们希望这个大规模的数据集可以帮助促进未来开放域多模态对话生成的研究,例如,多模式预训练,用于生成对话。
2021-09-28 cs.CL
EM Pre-training for Multi-party Dialogue Response Generation
Shanghai Jiao Tong University(上海交通大学)
针对多方对话数据集缺乏听话者标签难以预训练响应生成模型的问题,提出迭代生成标签并优化模型的EM预训练方法,实验证明其可行有效。
2023-05-21 cs.CL
Cross Copy Network for Dialogue Generation
Harbin Institute of Technology(哈尔滨工业大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校)
在过去的几年里,来自不同领域的观众见证了序列到序列模型的成就(例如,LSTM+attention、Pointer Generator Networks和Transformer)来增强对话内容的生成。虽然内容的流畅性和准确性往往是模型训练的主要指标,但承载某些特定领域关键信息的对话逻辑往往被忽视。以客户服务和法庭辩论对话为例,可以在不同的对话实例中观察到兼容的逻辑,这些信息可以为话语生成提供重要证据。在本文中,我们提出了一种新的网络架构-交叉复制网络(CCN),同时探索当前对话上下文和类似的对话实例的逻辑结构。法庭辩论和客户服务内容生成两个任务的实验证明,该算法优于现有的最先进的内容生成模型。
2020-10-22 cs.CL
Capture Salient Historical Information: A Fast and Accurate Non-Autoregressive Model for Multi-turn Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学);Beijing Normal University (Zhuhai)(北京师范大学(珠海));BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);Nanyang Technological University(南洋理工大学)
口语语言理解是面向任务的对话系统的核心组成部分,面对人类用户的不耐烦,它需要更短的推理时间。现有的工作提高推理速度,通过设计非自回归模型单轮SLU任务,但未能适用于多轮SLU面对的对话历史。直观的想法是连接所有的历史话语,并直接利用非自回归模型。然而,这种方法严重错过了显着的历史信息,并遭受不协调槽问题。为了克服这些缺点,我们提出了一种新的多轮SLU模型命名为显着的历史注意与层细化Transformer(SHA-LRT),它由一个SHA模块,一个层细化机制(LRM),和一个槽标签生成(SLG)任务。SHA通过设计良好的历史-注意力机制从历史话语和结果中捕获当前对话的突出历史信息。LRM从Transformer的中间状态预测初步SLU结果,并利用它们来指导最终预测,SLG获得用于非自回归编码器的顺序依赖性信息。在公共数据集上的实验表明,我们的模型显着提高了多轮SLU性能(总体上提高了17.5%),在最先进的基线上加速了(近15倍)推理过程,并且对单轮SLU任务有效。
2022-06-24 cs.AI cs.CL
MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
Northeastern University(东北大学)
在zero-shot场景中构建对话生成系统仍然是一个巨大的挑战,因为对话生成中的典型zero-shot方法严重依赖于大规模预训练的语言生成模型,例如GPT-3和T5。由于缺乏相应的平行对话语料库,使得在没有繁琐语言模型的情况下实现zero-shot对话生成的研究受到限制。在本文中,我们提出了一个简单但有效的多语言学习框架Zero-shot对话生成(称为MulZDG),可以有效地将知识从大规模训练样本的英语语料库转移到零样本的非英语语料库。此外,MulZDG可以被看作是一种多语言数据增强方法,以提高资源丰富的语言的性能。首先,我们从单语英语语料库中随机抽取翻译话语,构建多语言语码转换对话数据集。然后利用MulZDG对语码转换数据集进行训练,得到一个统一的多语言对话模型。MulZDG可以在不同语言之间进行隐式语义对齐。在DailyDialog和DSTC 7数据集上的实验结果表明,MulZDG不仅在zero-shot情况下取得了较好的性能,而且大大提高了源语言的性能。
2022-08-18 cs.CL
MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages
Nanjing University(南京大学);Saarland University(萨尔大学)
由于缺乏低资源语言的语料库,目前的对话生成工作主要集中在英语。在本文中,我们提出了mDIA,第一个大规模的多语言对话生成基准跨越低到高资源的语言。它涵盖了19个语系的46种语言的真实对话。我们通过微调多语言,非对话重点的预训练模型mT5以及以英语为中心,以对话为重点的预训练聊天机器人DialoGPT获得了基线结果。结果表明,基于mT5的模型在sacreBLEU和BertScore上表现更好,但在多样性上表现较差。尽管在Few-Shot和zero-shot场景中发现了有希望的结果,但是英语和其他语言的生成质量之间存在很大的差距。我们希望mDIA的发布能够鼓励更多关于多语言对话生成的工作,以促进语言多样性。
2022-08-27 cs.CL
Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training
Beihang University(北京航空航天大学)
在本文中,我们提出了反向对抗训练(IAT)算法训练神经对话系统,以避免通用的反应和模型的对话历史更好。与标准对抗训练算法相比,IAT鼓励模型对对话历史中的扰动敏感,从而从扰动中学习。通过给予更高的奖励,其输出概率降低更显着时,对话历史被扰动的响应,该模型被鼓励,以产生更多样化和一致的响应。通过在给定扰动的对话历史生成相同响应时惩罚模型,迫使模型更好地捕获对话历史并生成更多信息的响应。两个基准数据集上的实验结果表明,我们的方法可以更好地模拟对话历史,并产生更多样化和一致的反应。此外,我们指出了一个问题,广泛使用的最大互信息(MMI)为基础的方法,以提高对话响应生成模型的多样性,并证明它的经验。
2021-05-31 cs.CL
Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation
Meituan Group(美团集团);Peking University(北京大学)
针对工业场景中任务型对话系统在可控性和效率上的瓶颈,提出基于动作级生成的对话系统,通过构建对话动作序列并训练 Seq2Seq 模型生成动作再转换为响应,实现轻量且具竞争力的可控高效方案。
2023-04-03 cs.CL
Ontologically Faithful Generation of Non-Player Character Dialogues
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Semantic Machines(微软语义机器公司);Microsoft Gaming(微软游戏部门)
提出KNUDGE任务,基于《天外世界》游戏数据生成忠实于本体和任务细节的非玩家角色对话树,实验显示神经模型表现胜任但仍有提升空间。
2023-05-13 cs.CL
Dynamic Knowledge Graph-based Dialogue Generation with Improved Adversarial Meta-Learning
Xi'an Jiaotong University(西安交通大学)
基于知识图谱的对话系统能够生成更多信息的响应,并且可以实现复杂的推理机制。然而,这些模型没有考虑到知识图谱(KG)的稀疏性和不完整性,现有的对话模型不能应用于动态KG。提出了一种基于知识图谱的动态对话生成方法。KDAD将动态知识三元组作为对抗攻击的问题,并结合了快速适应动态知识感知对话生成的目标。我们使用最少的训练样本,用改进的ADML对一个基于知识图谱的对话模型进行训练。该模型可以初始化参数,并适应以前看不见的知识,使训练可以快速完成的基础上只有少数知识三元组。我们表明,我们的模型显着优于其他基线。我们评估和证明,我们的方法适应非常快,以及动态知识图谱为基础的对话生成。
2020-04-19 cs.CL
Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generation
Microsoft Maluuba(微软 Maluuba)
诸如BLEU的自动化度量在机器翻译文献中被广泛使用。它们最近也被对话界用于评估对话回应的生成。然而,以前的工作中的对话响应生成表明,这些指标不密切相关的非面向任务的对话设置与人类的判断。任务导向型对话的回答表达的领域较窄,多样性较低。因此,有理由认为,这些自动化的指标将与人类的判断在面向任务的设置,其中生成任务包括翻译成一个句子的对话行为。我们进行了实证研究,以证实是否是这样。我们的研究结果表明,这些自动化的指标有更强的相关性与人类的判断,在面向任务的设置相比,在非面向任务的设置。我们还观察到,这些指标与提供多个地面真实参考句子的数据集的相关性更好。此外,我们表明,一些目前可用的语料库面向任务的语言生成可以解决简单的模型和倡导更具挑战性的数据集。
2017-06-29 cs.CL
Topic-Aware Response Generation in Task-Oriented Dialogue with Unstructured Knowledge Access
University College London(伦敦大学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
为了缓解结构化数据库的有限覆盖的问题,最近的面向任务的对话系统将外部非结构化知识,以指导系统响应的生成。然而,这些通常使用单词或句子级别的相似性来检测相关的知识上下文,这只能部分捕获主题级别的相关性。在本文中,我们研究如何更好地整合主题信息的知识为基础的面向任务的对话,并提出了“主题感知响应生成”(TARG),一个端到端的响应生成模型。TARG结合了多个主题感知的注意力机制,以获得对对话话语和外部知识源的重要性加权方案,从而更好地理解对话历史。实验结果表明,TARG在知识选择和响应生成方面达到了最先进的性能,在Doc 2Dial上的EM,F1和BLEU-4中分别比以前的最先进性能高出3.2,3.6和4.2分,并在DSTC 9上与以前的工作进行了比较;两者都是以知识为基础的面向任务的对话数据集。
2022-12-10 cs.CL
From Persona to Person: Enhancing the Naturalness with Multiple Discourse Relations Graph Learning in Personalized Dialogue Generation
Department of Computer Science(计算机科学系);Information Engineering, National Cheng Kung University, Taiwan(信息工程系,国立云林科技大学,台湾);Department of Computer Science, National Tsing Hua University, Taiwan(计算机科学系,国立清华大学,台湾)
针对个性化对话生成中回复需兼顾连贯性与人设一致性的挑战,提出MUDI方法,借助大语言模型构建对话图、用DialogueGAT捕捉话语关系,并通过连贯感知注意力提升生成质量,使回复更自然类人。
2025-06-13 cs.CL
Knowledge-graph based Proactive Dialogue Generation with Improved Meta-Learning
Xi'an Jiaotong University(西安交通大学)
基于知识图谱的对话系统可以缩小知识候选,以用于使用先验信息来生成信息丰富的和多样的响应,例如,三重属性或图形路径。然而,大多数现有的知识图谱(KG)覆盖了不完整的特定领域知识。为了克服这一缺点,我们提出了一个基于知识图谱的主动对话生成模型(KgDg)的三个组成部分,改进的模型不可知的Meta学习算法(MAML),知识三元组嵌入的知识选择,知识感知的主动响应生成器。对于知识三元组的嵌入和选择,我们将其表述为一个句子嵌入的问题,以更好地捕捉语义信息。我们改进的MAML算法能够从有限数量的知识图谱中学习一般特征,这也可以快速适应具有未知知识三元组的对话生成。在知识感知对话数据集(DuConv)上进行了大量的实验。结果表明,KgDg适应快速和良好的知识图谱为基础的对话生成,并优于国家的最先进的基线。
2020-04-19 cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology(哈尔滨工业大学)
本文提出策略驱动的文档基础对话框架,通过话语功能和话题转移意图两类信号辅助知识选择与回复生成,在三个公开基准上取得最优性能。
2024-10-21 cs.CL
Exploring Persona Sentiment Sensitivity in Personalized Dialogue Generation
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学)
本文通过大规模实验揭示用户人物角色情感极性对LLM个性化对话质量的影响,并提出结合轮次生成、画像排序和情感感知提示的对话生成方法,以提升个性化对话系统的稳健性与细腻度。
2025-06-01 cs.CL
Knowledge-Grounded Dialogue Generation with Pre-trained Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, AAIS, Peking University(北京大学人工智能研究院数据科学中心);Meituan(美团);Microsoft Corporation(微软公司);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院)
我们研究基于知识的对话生成与预训练的语言模型。为了利用冗余的外部知识的能力约束下,我们提出装备响应生成定义的一个预先训练的语言模型与知识选择模块,和一个无监督的方法来联合优化知识选择和响应生成与未标记的对话。两个基准的实证结果表明,我们的模型可以显着优于国家的最先进的方法,在自动评估和人类的判断。
2020-10-17 cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology(华南理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中,我们提出了一种新的知识感知的对话生成模型(称为transDG),转移的问题表示和知识匹配能力,从知识库问答(KBQA)任务,以促进话语理解和事实知识的选择对话生成。此外,我们提出了一个响应引导注意力和多步解码策略,以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation
Carnegie Mellon University(卡内基梅隆大学)
目标引导的响应生成使得对话系统能够将对话从对话上下文平滑地过渡到目标句子。这种控制对于设计将对话引导到特定目标的对话系统是有用的,例如创建非侵扰性推荐或在对话中引入新主题。在本文中,我们介绍了一种新的技术,目标引导的响应生成,首先找到一个桥接路径的常识性知识概念之间的源和目标,然后使用确定的桥接路径生成过渡响应。此外,我们提出的技术,重新利用现有的对话数据集为目标引导的生成。实验表明,所提出的技术优于各种基线上这项任务。最后,我们观察到,现有的自动化指标,这项任务的相关性很差,与人类的判断评级。我们提出了一种新的评价指标,我们证明是更可靠的目标导向的响应评估。我们的工作通常使对话系统设计者能够对他们的系统产生的对话进行更多的控制。
2022-05-19 cs.CL
Improvement of a dedicated model for open domain persona-aware dialogue generation
本文分析了近年来Transformer架构的一些速度和性能改进方法,主要是其在专用模型训练中的应用。本文所研究的专用模型是指开放领域的人物感知对话生成模型,数据集为多轮简短对话,单个输入序列的总长度不超过105个标记。因此,本文不讨论Transformer体系结构针对长序列处理的体系结构和注意力机制方面的许多改进。实验的源代码已经开放:https://github.com/ghosthamlet/persona
2020-08-27 cs.CL
Deep Reinforcement Learning for Dialogue Generation
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
最近的对话生成神经模型为会话代理生成响应提供了很大的希望,但往往是短视的,一次预测一个话语,而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要,这一需求导致传统的NLP对话模型借鉴了强化学习。在本文中,我们展示了如何整合这些目标,应用深度强化学习来模拟聊天机器人对话中的未来奖励。该模型模拟了两个虚拟代理之间的对话,使用策略梯度方法奖励序列,显示三个有用的会话属性:信息性(非重复性回合),连贯性和易于回答(相关的前瞻性功能)。我们评估我们的模型的多样性,长度以及与人类法官,表明该算法产生更多的互动响应,并设法培养一个更持久的对话模拟。这项工作标志着学习基于对话长期成功的神经会话模型的第一步。
2016-09-29 cs.CL
Controllable Generation of Dialogue Acts for Dialogue Systems via Few-Shot Response Generation and Ranking
University of California Santa Cruz(加州大学圣克鲁兹分校)
本研究提出一种新颖的少样本过生成与排序方法,通过八种提示风格和六种自动排序函数,在四种LLMs和三个领域上实现了对话行为的可控生成,其对话行为准确性与语义准确性优于少样本微调。
2023-07-26 cs.CL
Commonsense-Focused Dialogues for Response Generation: An Empirical Study
Department of Computer Science, University of Southern California(南加州大学计算机科学系);Amazon Alexa AI(亚马逊Alexa AI)
顺畅和有效的沟通需要执行潜在或显式常识推理的能力。以前的常识推理基准(如SocialIQA和CommonsenseQA)主要集中在从一组候选答案中选择正确答案的判别任务上,并且不涉及对话中的交互式语言生成。此外,现有的对话数据集并没有明确侧重于将常识作为一个方面来展示。在本文中,我们提出了一个对话反应生成的常识的实证研究。我们首先利用ConceptNet(一个常识知识图谱)从现有的对话数据集中自动提取常识对话。此外,基于SocialIQA中的社会背景/情况,我们收集了一个新的对话数据集,其中包含25 K对话,旨在在互动环境中展示社会常识。我们评估了使用这些数据集训练的响应生成模型,发现在提取的和我们收集的数据上训练的模型产生的响应始终比基线表现出更多的常识。最后,我们提出了一种自动评估常识的方法,该方法依赖于来自ConceptNet和预训练的语言和对话模型的特征,并与人类对响应常识质量的评估表现出合理的相关性。我们正在发布我们收集的数据的一个子集,Commonsense-Dialogues,包含大约11 K对话。
2021-09-21 cs.CL
TalkFa: A Unified Benchmark for Farsi Dialogue Generation and Understanding
University of Siena(锡耶纳大学)
本文针对波斯语缺乏对话生成与理解综合基准的问题,提出含三个互补数据集的TalkFa基准,经实验验证其可靠性,还将发布相关资源。
2026-09-03 cs.CL
Knowledge Injection into Dialogue Generation via Language Models
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Google Research(谷歌研究院)
对话生成已经通过神经网络从零开始成功地学习,但是倾向于产生相同的一般响应,例如,“你在说什么?”在许多谈话中。为了减少这种同质性,外部知识,如扬声器的配置文件和领域知识作为一个额外的条件,以多样化的模型的输出。然而,开发有效对话所需的知识并不总是可用的,这与先前工作的假设不同,即模型在聊天之前总是获得足够的知识。当应用这样的对话模型与不受约束的人和主题在线聊天时,这个问题可能是有害的,因为模型没有所需的知识。为了解决这个问题,我们提出了InjK,这是一个两阶段的方法注入知识的对话生成模型。首先,我们训练一个大规模的语言模型,并将其作为文本知识进行查询。其次,我们建立了一个对话生成模型来生成文本知识和相应的回应。从经验上讲,当对话生成模型只能访问有限的知识时,我们的方法通过产生更连贯和信息量更大的响应而优于先前的工作。
2021-04-05 cs.CL
Hierarchical Text Generation and Planning for Strategic Dialogue
Facebook AI Research(Facebook人工智能研究院)
面向目标的对话的端到端模型对训练具有挑战性,因为语言和策略方面纠缠在潜在的状态向量中。我们介绍了一种方法来学习表示的对话中的消息,通过最大限度地提高后续的句子和动作,这是从它的语言实现的对话话语的语义。然后,我们使用这些潜在的句子表示分层语言生成,规划和强化学习。实验表明,我们的方法增加了模型实现的最终任务奖励,提高了使用推出的长期规划的有效性,并允许自我发挥强化学习,以改善决策,而不偏离人类语言。我们的分层潜变量模型在语言和战略上都优于以前的工作。
2018-06-04 cs.CL
Neural Generation of Dialogue Response Timings
ADAPT Centre(ADAPT中心);School of Engineering(工程学院);Trinity College Dublin(都柏林圣三一学院)
人类对话中的口头响应偏移的定时已经被示出基于对话的上下文元素而变化。我们提出了神经模型,模拟这些响应偏移量的分布,同时考虑到响应转向以及前面的转向。这些模型被设计成集成到增量口语对话系统(SDS)的流水线中。我们使用离线实验以及人类听力测试来评估我们的模型。我们表明,人类听众认为某些响应时间是更自然的对话上下文的基础上。将这些模型引入SDS管道可以增加交互的感知自然度。
2020-05-18 cs.CL
CREDIT: Coarse-to-Fine Sequence Generation for Dialogue State Tracking
Shanghai Jiao Tong University(上海交通大学)
在对话系统中,对话状态跟踪器旨在基于整个对话历史准确地找到当前对话状态的紧凑表示。虽然以前的方法通常定义为一个单独的三元组({ \em域槽值})的组合对话状态,在本文中,我们采用了结构化的状态表示和铸造对话状态跟踪作为一个序列生成问题。基于这个新的公式,我们提出了一种{ \bf C} a { \bf R}s{ \bf E}-精细{ \bf DI}重态{ \bf T}的racking({ \bf CREDIT})方法。利用结构化的状态表示,这是一个标记的语言序列,我们可以进一步微调预训练的模型(通过监督学习),通过优化自然语言度量与策略梯度方法。像所有生成状态跟踪方法一样,CREDIT不依赖于枚举所有可能的槽值的预定义对话本体。实验表明,我们的跟踪器在MultiWOZ 2.0和MultiWOZ 2.1数据集的五个域中实现了令人鼓舞的联合目标精度。
2020-09-22 cs.CL
An Adversarial Approach to High-Quality, Sentiment-Controlled Neural Dialogue Generation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一种神经对话响应生成的方法,它不仅允许根据对话历史生成语义合理的响应,而且还可以通过情感标签明确控制响应的情感。我们提出的模型是基于有条件对抗学习的范式;情感控制对话生成器的训练由对抗性学习辅助,该学习评估从对话历史和给定情感标签生成的响应的流畅性和可行性。由于我们的框架的灵活性,生成器可以是标准的序列到序列(SEQ 2 SEQ)模型或更复杂的一个,如条件变分自编码器为基础的SEQ 2 SEQ模型。使用自动和人类评价的实验结果都表明,我们提出的框架是能够生成语义合理和情感控制的对话响应。
2019-01-22 cs.CL
Adversarial Learning for Neural Dialogue Generation
Stanford University(斯坦福大学);New York University(纽约大学);Ohio State University(俄亥俄州立大学)
在本文中,从图灵测试中得出直觉,我们建议使用对抗训练来生成开放域对话:系统经过训练,生成与人类生成的对话语句无法区分的序列。我们将任务转换为强化学习(RL)问题,我们联合训练两个系统,一个生成模型产生响应序列,另一个生成模型--类似于图灵测试中的人类评估者--区分人类生成的对话和机器生成的对话。然后,来自机器人的输出被用作生成模型的奖励,推动系统生成大多类似于人类对话的对话。除了对抗性训练,我们还描述了一个对抗性{ \em evaluation}模型,该模型使用欺骗对手的成功作为对话评估指标,同时避免了许多潜在的陷阱。包括对抗性评估在内的几个指标的实验结果表明,经过对抗性训练的系统生成的响应质量比以前的基线更高。
2017-09-24 cs.CL
Does Collaborative Human-LM Dialogue Generation Help Information Extraction from Human Dialogues?
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allstate(好事达保险公司);University of Hong Kong(香港大学);Allen Institute for AI(艾伦人工智能研究所)
针对隐私受限的呼叫中心对话信息提取问题,提出人在回路的对话生成框架合成逼真对话,通过数据增强使汽车保险场景下F1相对提升25%,并公开代码与合成数据集以促进复杂对话研究。
2024-02-20 cs.CL
Zero-Resource Knowledge-Grounded Dialogue Generation
Peking University(北京大学);Microsoft STCA(微软亚洲研究院搜索技术中心);Meituan(美团)
虽然神经会话模型已经显示出通过引入外部知识来生成信息丰富和引人入胜的响应的巨大潜力,但学习这样的模型通常需要难以获得的基于知识的对话。为了克服数据的挑战,并降低成本,建立一个知识为基础的对话系统,我们探讨了零资源设置下的问题,假设没有上下文知识响应三元组需要培训。为此,我们建议表示的知识,桥梁的上下文和响应和方式,知识表示为潜变量,并设计一种变分的方法,可以有效地估计一个生成模型从对话语料库和知识语料库是相互独立的。基于知识的对话生成的三个基准的评估结果表明,我们的模型可以实现与依赖于知识的对话进行训练的最先进的方法相当的性能,并在不同的主题和不同的数据集上表现出良好的泛化能力。
2021-05-14 cs.CL
PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
Baidu Inc.(百度公司)
预训练模型已被证明是有效的广泛的自然语言处理任务。受此启发,我们提出了一种新的对话生成预训练框架,以支持各种类型的对话,包括闲聊,知识为基础的对话,会话问答。在这个框架中,我们采用灵活的注意力机制,充分利用了语境的双向性和语言生成的单向性。我们还引入离散的潜变量来解决响应生成中固有的一对多映射问题。反应生成和潜在行为识别的两个相互的任务被设计并在一个共享的网络内同时进行。在三个公开数据集上的综合实验验证了该框架的有效性和优越性。
2020-04-30 cs.CL
Natural Language Generation in Dialogue using Lexicalized and Delexicalized Data
Microsoft Maluuba(微软 Maluuba);AdeptMind
自然语言生成在口语对话系统中起着至关重要的作用。我们提出了一种新的方法,自然语言生成面向任务的对话,使用递归神经网络的编码器-解码器框架。与以前的工作相比,我们的模型同时使用词汇化和非词汇化组件,即对话行为的槽值对,槽和相应的值对齐在一起。这使得我们的模型可以从所有可用的数据中学习,包括槽值配对,而不是局限于去词汇化的槽。我们表明,这有助于我们的模型生成更自然的句子,具有更好的语法。我们通过转移从预训练的句子自动编码器学习的权重来进一步提高模型的性能。对我们表现最好的模型的人类评估表明,它生成的句子对用户来说更有吸引力。
2017-04-21 cs.CL
Schema-Guided Semantic Accuracy: Faithfulness in Task-Oriented Dialogue Response Generation
University of Cambridge(剑桥大学)
确保生成的话语忠实于对话行为是面向任务的对话响应生成的关键。时隙出错率(SER)仅部分地测量生成质量,因为它仅评估从期望精确再现其值的非分类时隙生成的话语。从类别槽,这是更多变的,产生的话语,不评估SER。我们提出了模式引导的语义准确性(SGSAcc),以评估产生的话语从类别和非类别槽识别文本蕴涵。我们表明,SGSAcc可以应用于评估从广泛的对话行动中产生的话语的模式引导对话(SGD)数据集与人类的判断很好的协议。我们还确定了一个以前被忽视的弱点,在生成忠实的话语从分类插槽看不见的域。我们表明,前缀调整适用于T5代可以解决这个问题。我们进一步构建了一个前缀调整和微调模型的集合,该模型在SGD数据集上实现了最低的SER报告和高SGSAcc。
2023-01-29 cs.CL
Stylized Dialogue Response Generation Using Stylized Unpaired Texts
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分部);NetEase Inc.(网易公司)
生成程式化的响应对于构建智能和引人入胜的对话系统至关重要。然而,这项任务是远远没有得到很好的探讨,由于在连贯的响应呈现特定的风格的困难,特别是当目标风格是嵌入在不成对的文本,不能直接用于训练的对话模型。本文提出了一种风格化的对话生成方法,可以捕获嵌入在不成对的文本中的风格特征。具体来说,我们的方法可以产生的对话反应,既连贯给定的上下文和符合目标风格。在这项研究中,首先引入一个反向对话模型来预测输入响应的可能帖子,然后使用该反向模型来基于这些风格化的未配对文本生成风格化的伪对话对。此外,这些伪对被用来训练风格化的对话模型与联合训练过程,并提出了一种风格路由的方法,以加强风格特征的解码器。对两个数据集的自动和手动评估表明,我们的方法在产生连贯和风格密集的对话响应方面优于竞争基线。
2020-12-16 cs.CL
Post Persona Alignment for Multi-Session Dialogue Generation
RIKEN AIP(日本理化学研究所Advanced Institute for Physical Research);The University of Tokyo(东京大学)
本文提出事后人格对齐(PPA)框架,先基于对话上下文生成通用回复,再以回复为查询检索人格记忆并精炼回复,在多会话对话生成中显著提升一致性、多样性和人格相关性。
2025-11-05 cs.CL
Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出DCG模型,通过属性提示向量和解耦损失实现多属性可控对话生成的组合泛化,并设计统一无参考评估框架,在两个基准上验证了有效性。
2023-06-17 cs.CL
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University(赫瑞-瓦特大学);Adeptmind Inc.(Adeptmind公司)
在这项工作中,我们调查的任务,文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话(MMD)数据集(Saha等人,2017年,在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器(HRED)模型,并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点,通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
由于缺乏训练数据和异构的知识源,基于知识的对话系统的构建具有挑战性。由于训练数据中覆盖的主题有限,现有系统在看不见的主题上表现不佳。此外,异构的知识源使得系统推广到其他任务具有挑战性,因为不同知识表示中的知识源需要不同的知识编码器。为了解决这些挑战,我们提出了PLUG,一种语言模型,同质化不同的知识来源,以一个统一的知识表示知识为基础的对话生成任务。PLUG是预先训练的对话生成任务的条件下,一个统一的基本知识表示。它可以推广到不同的下游知识为基础的对话生成任务与几个训练样本。两个基准测试的实证评估表明,我们的模型在不同的知识为基础的任务,以及推广。它可以在完全监督设置下实现与最先进方法相当的性能,并且在zero-shot和Few-Shot设置下显著优于其他方法。
2022-07-31 cs.CL
LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Linköping University(林雪平大学)
提出LLMVoX,一个轻量级、与LLM无关的自回归流式TTS系统,通过多队列token流式系统解耦语音合成与LLM处理,实现低延迟高质量语音并保留LLM能力,支持无限对话及多模态扩展。
2025-03-06 cs.CL