GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而,目前的评估指标只考虑表面特征或话语级语义,没有明确考虑细粒度的话题转换动态的对话流。在这里,我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑,这是产生有说服力的度量的更自然的方式。利用主题级对话图,我们提出了一个新的评价指标GRADE,它代表图形增强表示自动对话评价。具体来说,GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的,该对话图由常识图的证据增强,包括k跳邻近表示和跳注意力权重。实验结果表明,我们的GRADE显着优于其他国家的最先进的衡量标准,衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外,我们还发布了一个新的大规模人类评估基准,以促进未来对自动度量的研究。
2020-10-08 cs.CL
CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shandong University(山东大学)
对话结构发现是对话生成的关键。结构良好的主题流可以利用背景信息和预测未来的主题,以帮助产生可控和可解释的反应。然而,以往的研究大多集中在任务型对话中的对话结构学习,而不是更复杂、更具挑战性的开放域对话。在本文中,我们提出了一个新的框架CTRLStruct对话结构学习,有效地探索主题级的对话集群,以及他们的过渡与未标记的信息。准确地说,由双向Transformer编码的对话话语通过特殊设计的对比学习任务进一步训练以提高表征。然后,我们执行聚类的话语级表示和形成的主题级集群,可以被认为是对话结构图中的顶点。通过模仿数据集中的专家行为来计算图中指示顶点之间的转移概率的边。最后,将对话结构图集成到对话模型中,实现受控响应生成。在两个流行的开放域对话数据集上的实验表明,与一些优秀的对话模型相比,该模型能够产生更连贯的响应,并且在对话话语表示方面优于一些典型的句子嵌入方法。代码可以在GitHub上找到。
2023-03-02 cs.CL
EnSToM: Enhancing Dialogue Systems with Entropy-Scaled Steering Vectors for Topic Maintenance
Graduate School of Artificial Intelligence, POSTECH(人工智能研究生院,POSTECH);Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH)
针对小型大语言模型在任务型对话中难以维持主题一致性的问题,提出熵缩放引导向量方法EnSToM,根据输入不确定性动态调整引导强度,以较小数据规模显著提升主题遵循性能。
2025-05-22 cs.CL
Viola: A Topic Agnostic Generate-and-Rank Dialogue System
University of Southern California(南加州大学)
我们提出了中提琴,一个开放域的对话系统口语对话,使用一个简单的生成和排名的方法的基础上的主题不可知的对话管理器。利用由大语言模型驱动的生成对话系统的最新进展,Viola从使用不同数据集和知识基础输入训练的各种神经对话模型中提取了一批响应候选者。还考虑源自基于模板的生成器的附加响应,这取决于用户的输入和检测到的实体。手工制作的生成器建立在动态知识图谱上,注入了从网络上抓取的丰富内容,并每天自动处理。Viola的响应排序器是一个微调的polyencoder,它根据对话历史选择最佳响应。虽然单独为polyencoder提供专用注释可以间接引导它避免选择有问题的响应,但我们添加了基于规则的安全网来检测神经退化,并添加了专用分类器来过滤掉攻击性内容。我们分析了Viola参加Alexa Prize Socialbot Grand Challenge 4的对话,并讨论了我们方法的优点和缺点。最后,我们建议未来的工作重点是专门为社交机器人管理会话数据,这将有助于建立一个更强大的数据驱动的社交机器人。
2021-08-25 cs.CL
Consistent Dialogue Generation with Self-supervised Feature Learning
Microsoft Research(微软研究院)
生成与对话上下文一致的响应是构建参与对话代理的核心挑战之一。我们证明了神经会话模型可以通过在整个会话中保持与主题和人物角色相关的某些功能来生成一致的响应。过去的工作需要外部监督,利用通常无法获得的用户身份等功能。在我们的方法中,主题和人物特征提取器使用对比训练方案,利用对话数据的自然结构进行训练。我们还采用了一个功能,解开损失,与可控的响应生成技术相结合,使我们能够促进或降级某些学习的主题和人物角色的功能。评估结果表明,该模型的能力,捕捉有意义的主题和人物角色的功能。所学习的特征的并入在两个对话数据集上生成的响应的质量方面带来了显著的改进。
2021-08-11 cs.CL
TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System
The Chinese University of Hong Kong(香港中文大学)
多轮对话总是遵循特定的主题线索,随着对话的进行,话语级别的主题转移自然发生,这需要模型能够捕捉不同的主题并生成主题感知响应。以往的研究要么先预测主题然后生成相关反应,要么简单地将注意力机制应用于所有主题,忽视了主题预测和反应生成模型的联合分布,导致反应不可控且不相关。在本文中,我们提出了一个联合框架与主题细化机制,同时学习这两个任务。具体而言,我们设计了一个三遍迭代机制,首先生成粗响应,然后预测相应的主题,最后生成精细的响应条件下预测的主题。此外,我们分别使用GPT 2 DoubleHeads和BERT进行主题预测任务,旨在研究联合学习的效果和GPT模型的理解能力。实验结果表明,我们提出的框架实现了新的国家的最先进的性能在响应生成任务和GPT模型的巨大潜力的理解能力。
2021-09-11 cs.AI cs.CL
Athena: Constructing Dialogues Dynamically with Discourse Constraints
University of California, Santa Cruz(加州大学圣克鲁兹分校)
这份报告介绍了雅典娜,一个对话系统的口头交谈的热门话题和时事。我们开发了一个灵活的主题不可知的对话管理方法,动态配置对话的基础上,实体和主题的一致性的一般原则。Athena的对话管理器使用基于契约的方法,其中话语约束被分派到响应生成器的集群。这使得Athena能够从动态源获得响应,例如知识图谱遍历和基于特征的即时响应检索方法。在描述了对话系统架构之后,我们对Athena在2019年Alexa Prize竞赛期间参与的对话进行了分析。最后,我们对几个用户进行了研究,以更好地了解个人用户的特点如何影响系统的评级报告。
2020-11-21 cs.CL
End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
Sun Yat-Sen University(中山大学);Soochow University(苏州大学);Dark Matter AI Inc.(暗物质人工智能公司)
除了目前越来越受到关注的会话聊天机器人或面向任务的对话系统之外,我们还在开发一种用于自动医疗诊断的对话系统,该系统与患者对话,收集他们自我报告之外的其他症状,并自动进行诊断。除了会话对话系统面临的挑战(如话题转换连贯性和问题理解)外,自动医疗诊断还对医学知识和疾病关系背景下的对话合理性提出了更严格的要求。现有的对话系统(Madotto,Wu,and Fung 2018; Wei et al. 2018; Li et al. 2017)主要依赖于数据驱动的学习,无法对额外的专家知识图谱进行编码。在这项工作中,我们提出了一个端到端的知识路由的关系对话系统(KR-DS),无缝地将丰富的医学知识图谱到对话管理中的主题转换,并使其与自然语言理解和自然语言生成合作。提出了一种新的知识路由深度Q网络(KR-DQN)来管理主题转换,它集成了一个用于编码不同症状和疾病对之间关系的关系精化分支和一个用于主题决策的知识路由图分支。在公共医疗对话数据集上进行的广泛实验表明,我们的KR-DS显著击败了最先进的方法(诊断准确率超过8%)。我们进一步展示了我们的KR-DS在新收集的医疗对话系统数据集上的优越性,该数据集在保留患者和医生之间的原始自我报告和对话数据方面更具挑战性。
2019-03-18 cs.CL
RubyStar: A Non-Task-Oriented Mixture Model Dialog System
Carnegie Mellon University(卡内基梅隆大学)
RubyStar是一个对话系统,旨在通过结合不同的响应生成策略来创建“类人”对话。RubyStar通过使用基于规则、基于检索和生成方法的集合,就一般主题进行非任务导向的对话。主题检测、参与监控和上下文跟踪用于管理交互。可预测的对话元素,如机器人的背景故事和简单的问答由单独的模块处理。我们描述了一个评级计划,我们开发的响应生成评估。我们发现,字符级RNN是一种有效的一般响应生成模型,具有适当的参数设置;然而,其他类型的会话主题可能会受益于使用其他模型。
2017-12-16 cs.CL
CET2: Modelling Topic Transitions for Coherent and Engaging Knowledge-Grounded Conversations
National University of Singapore(新加坡国立大学);Bytedance(字节跳动)
本文提出 CET2 框架,通过建模有效话题转换逻辑并比较知识候选,平衡上下文连贯性与知识多样性,从而提升知识选择的准确率与跨话题泛化能力。
2024-03-04 cs.CL
Topic-switch adapted Japanese Dialogue System based on PLATO-2
KDDI Research, Inc.(KDDI综合研究所)
PLATO-2等大型开放域对话系统在中英文两方面都取得了最先进的成绩。然而,很少有工作探讨是否这样的对话系统也很好地工作在日语。在这项工作中,我们创建了一个大规模的日语对话数据集,对话图,其中包含165.6万对话数据的树结构从新闻,电视字幕,维基百科语料库。然后,我们用Dialogue-Graph对PLATO-2进行训练,建立了一个大规模的日语对话系统PLATO-JDS。此外,为了改进PLATO-JDS在主题切换问题上的不足,我们引入了一个主题转换算法,当用户输入的主题与前一个主题不同时,由一个主题转换器组成,切换到一个新的主题。我们通过使用我们的模型来评估用户体验的四个指标,即一致性,信息性,亲和力和人性化。因此,我们提出的PLATO-JDS实现了平均得分为1.500的人类评估与人类机器人聊天策略,这是接近最高分2.000,并建议高质量的对话生成能力的PLATO-2在日本。此外,我们提出的主题切换算法达到了1.767的平均分数,并优于PLATO-JDS的0.267,表明它在改善我们的系统的用户体验的有效性。
2023-02-22 cs.CL cs.MM
Interpersonal Memory Matters: A New Task for Proactive Dialogue Utilizing Conversational History
School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本文提出记忆感知主动对话任务MapDia,构建首个中文数据集ChMapData,并设计基于RAG的三模块联合框架,以在恰当时机引导对话转向相关历史主题。
2025-03-07 cs.CL
Multi-Granularity Prompts for Topic Shift Detection in Dialogue
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对对话话题转换检测中未深入探讨多粒度话题信息的问题,提出基于提示的方法,从标签、轮次和话题三个层次提取信息,在 CNTD 和 TIAGE 数据集上优于基线并有效提升模型对话题的理解。
2023-05-23 cs.CL
Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method
School of Computer Science and Statistics, Trinity College Dublin, University of Dublin(都柏林大学圣三一学院计算机科学与统计学院);ADAPT Centre, Trinity College Dublin, University of Dublin(都柏林大学圣三一学院ADAPT中心)
会话系统需要知道如何在主题之间切换,以便在更长的时间内继续会话。因此,从对话语料中检测话题已成为会话的一项重要任务,准确预测会话话题对于创建连贯和引人入胜的对话系统至关重要。本文提出了一种基于并行潜在狄利克雷分配(PLDA)模型的主题检测方法,该方法基于TF-IDF得分和词袋(BOW)技术对已知相似词进行聚类。在实验中,我们使用K-均值聚类与肘方法的解释和验证一致性的类内分析,以选择最佳的聚类数。我们通过与传统LDA和聚类技术的比较来评估我们的方法。实验结果表明,PLDA和肘方法相结合,选择最佳的集群数量和细化会话的主题。
2020-06-05 cs.CL cs.IR
Searching for Snippets of Open-Domain Dialogue in Task-Oriented Dialogue Datasets
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire Interdisciplinaire des Sciences du Numérique(数字科学跨学科实验室)
本研究通过主题建模探索Schema-Guided Dialogues和MultiWOZ训练集,发现面向任务对话数据中自然存在社交闲聊序列,为闲聊与任务对话的结合研究提供了依据。
2023-11-23 cs.CL
Chat, Shift and Perform: Bridging the Gap between Task-oriented and Non-task-oriented Dialog Systems
Keio University(庆应义塾大学)
我们提出了CASPER(ChAt,Shift和PERform),一个新的对话系统,包括三种类型的对话模型:颤振,移位器,和表演者。Shifter是专为主题切换而设计的,它可以实现从开放域聊天到面向任务的对话的无缝对话流。在一项用户研究中,CASPER在响应的自然性、缺乏强迫话题切换和满意度方面给人留下了更好的印象,而与以端到端方式训练的基线对话系统相比。在消融研究中,我们发现,自然的反应,对话满意度和任务引出率提高时,移位器被删除CASPER相比,表明主题转移与移位器支持自然的任务导向对话的介绍。
2022-06-05 cs.AI cs.CL
Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
由于缺乏训练数据和异构的知识源,基于知识的对话系统的构建具有挑战性。由于训练数据中覆盖的主题有限,现有系统在看不见的主题上表现不佳。此外,异构的知识源使得系统推广到其他任务具有挑战性,因为不同知识表示中的知识源需要不同的知识编码器。为了解决这些挑战,我们提出了PLUG,一种语言模型,同质化不同的知识来源,以一个统一的知识表示知识为基础的对话生成任务。PLUG是预先训练的对话生成任务的条件下,一个统一的基本知识表示。它可以推广到不同的下游知识为基础的对话生成任务与几个训练样本。两个基准测试的实证评估表明,我们的模型在不同的知识为基础的任务,以及推广。它可以在完全监督设置下实现与最先进方法相当的性能,并且在zero-shot和Few-Shot设置下显著优于其他方法。
2022-07-31 cs.CL
DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有大语言模型在复杂诊断类任务型对话中表现不足的问题,本文提出具备自动主题管理功能的多智能体系统DiagGPT,可拓展大模型的任务型对话适用场景、提升交互灵活性,实验验证其性能优异。
2024-04-15 cs.AI cs.CL
Fractional Decay KV-Cache: Ownership-Aware Memory Management for Improved Inference Relevancy in Dialog Systems
NetApp Inc(NetApp公司)
提出FD-KVC算法,通过双通道评分机制实现对话系统KV缓存的所有权感知内存管理,在多轮对话场景中多项指标优于H2O,适配新话题更快且话题多样性更高。
2026-08-20 cs.AI cs.CL
Target-constrained Bidirectional Planning for Generation of Target-oriented Proactive Dialogue
The Hong Kong Polytechnic University(香港理工大学)
针对目标导向主动对话的规划难题,提出带双向一致性的目标约束双向规划TRIP方法,用两个Transformer解码器双向生成动作-话题对路径,引导对话生成,在两个数据集上显著优于基线模型。
2024-03-10 cs.AI cs.CL
"Nice Try, Kiddo": Investigating Ad Hominems in Dialogue Responses
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
人身攻击是指针对一个人的性格特征,而不是这个人所保持的地位。这些攻击是有害的,因为它们传播了隐含的偏见,降低了一个人的可信度。由于对话系统直接响应用户输入,因此研究对话响应中的广告人是很重要的。为此,我们提出了类别的广告hominems,组成一个注释的数据集,并建立一个分类器来分析人类和对话系统对英语Twitter帖子的反应。我们特别比较了Twitter上关于边缘化社区的话题(#BlackLivesMatter,#MeToo)与其他话题(#Vegan,#WFH)的反应,因为广告人的辱骂性语言可能会进一步放大边缘化人群的权力倾斜。此外,我们提出了一种约束解码技术,使用显着的$n$ -gram的相似性作为软约束的顶部- $k$采样,以减少产生的广告hominems的量。我们的研究结果表明:1)来自人类和DialoGPT的响应都包含更多的广告人,用于围绕边缘化社区进行讨论,2)训练数据中广告人的数量不同可以影响生成广告人的可能性,3)我们可以使用约束解码技术来减少生成的对话响应中的广告人。
2021-04-12 cs.CL
A Survey on Dialog Management: Recent Advances and Challenges
Alibaba Group(阿里巴巴集团);Cornell University(康奈尔大学)
对话管理是面向任务的对话系统的重要组成部分。给定对话历史,DM预测对话状态并决定对话代理应该采取的下一个动作。近年来,对话策略学习被广泛地表述为一个强化学习(RL)问题,并且更多的工作集中在DM的适用性上。在本文中,我们调查了最近的进展和挑战,在三个关键主题的DM:(1)提高模型的可扩展性,以促进对话系统建模在新的情况下,(2)处理数据稀缺问题的对话策略学习,(3)提高训练效率,以实现更好的任务完成性能。我们相信,这一调查可以阐明未来的研究在对话管理。
2021-10-25 cs.CL
A Transformer-based Response Evaluator for Open-Domain Spoken Conversation
Amazon Alexa AI(亚马逊Alexa人工智能部门);UCSC(加州大学圣克鲁兹分校)
许多开放域对话系统依赖于多个响应生成器,其中任何一个都可以在特定上下文中对对话做出响应。因此,比较潜在响应并选择最佳响应的能力在确保对话系统连贯且引人入胜方面发挥着重要作用。对话的连贯性不仅仅是停留在主题上-有些琐事可能是在主题上,在突然提到时很吸引人,但在对话的背景下可能不连贯和不连贯。我们在Athena系统中进行响应选择实验,该系统是Alexa Prize SocialBot,具有专用内容和针对大量主题的多个特定主题响应生成器。首先,我们收集了一个语料库的雅典娜对话与现场人类交通,其中所有启用的响应生成器的潜在响应被记录,并随后注释响应质量。我们比较了几个现成的开放域对话的响应排名方法,雅典娜启发式,启发式响应排名,在雅典娜在第三届Alexa奖比赛中进行了现场测试。我们还将这些与基于transformer的响应排名器进行比较,我们称之为Athena-RR,我们在Athena对话中进行训练。Athena-RR使用会话上下文和对话状态来对潜在的响应进行排名。我们发现,具有70.79\%的Recall@1的Athena-RR大幅优于Athena-Heuristic和所有现成的排名器。然后,我们进行了一项现场A/B研究,在与Alexa用户的6,358次对话中比较了Athena-Heuristic和Athena-RR。我们表明,雅典娜RR导致显着更长的对话,获得显着更高的用户评级比启发式…
2023-02-09 cs.CL
Proactive Human-Machine Conversation with Explicit Conversation Goals
Baidu Inc.(百度公司)
虽然人机对话已经取得了很大的进展,但目前的对话系统仍处于起步阶段:它通常是被动地对话,更多地是作为回应而不是主动地说出话语。在本文中,我们朝着构建类人会话代理迈出了激进的一步:赋予它主动领导会话的能力(引入新主题或维护当前主题)。为了促进这种对话系统的开发,我们创建了一个名为DuConv的新数据集,其中一个充当对话领导者,另一个充当追随者。领导者被提供了一个知识图谱,并被要求按照给定的谈话目标顺序改变讨论主题,同时保持对话尽可能自然和吸引人。DuConv实现了一个非常具有挑战性的任务,因为模型需要理解对话并在给定的知识图谱上进行规划。我们使用几种最先进的模型在这个数据集上建立了基线结果(大约270K话语和30K对话)。实验结果表明,规划在知识图谱上的对话模型可以充分利用相关知识生成更多样化的多轮对话。基线系统和数据集都是公开的
2019-11-07 cs.CL
DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset
Institute of Software, Chinese Academy of Science(中国科学院软件研究所);Spoken Language Systems (LSV), Saarland University(萨尔大学口语语言系统研究所);The Hong Kong Polytechnic University(香港理工大学)
我们开发了一个高质量的多轮对话数据集,DailyDialog,这是有趣的几个方面。语言是人类书写的,噪音较小。数据集中的对话反映了我们日常的交流方式,涵盖了我们日常生活中的各种话题。我们还手动标记开发的数据集与通信意图和情感信息。然后,我们评估现有的方法在DailyDialog数据集,希望它有助于对话系统的研究领域。
2017-10-11 cs.CL
CATCH: A Controllable Theme Detection Framework with Contextualized Clustering and Hierarchical Generation
CATCH提出了一种可控主题检测框架,通过上下文聚类和层次生成机制,解决稀疏语句和用户偏好识别的问题,提升对话系统中主题检测的准确性和一致性。
2025-12-25 cs.AI cs.CL
Fact-based Dialogue Generation with Convergent and Divergent Decoding
Nagoya Institute of Technology(名古屋工业大学)
基于事实的对话生成是一项基于对话语境和事实文本生成类人应答的任务。人们提出了各种方法来集中于生成有效地包含事实的信息词。然而,以前的作品隐含地假设一个主题要保持对话,通常是被动地交谈,因此系统很难产生不同的反应,主动提供有意义的信息。本文提出了一个端到端的基于事实的对话系统,增强了聚合和发散思维的能力,在上下文和事实,它可以谈论当前的话题或引入一个新的话题。具体来说,我们的模型采用了一种新的收敛和发散解码,不仅考虑给定的输入(上下文和事实),而且考虑输入相关的主题,可以生成信息丰富和多样化的响应。DSTC 7数据集上的自动和人工评估结果都表明,我们的模型显著优于最先进的基线,这表明我们的模型可以生成更合适、更丰富和更多样化的响应。
2020-05-08 cs.CL cs.HC cs.LG
Recent Advances and Challenges in Task-oriented Dialog System
Tsinghua University(清华大学);Institute for Artificial Intelligence, Tsinghua University (THUAI)(清华大学人工智能研究院);Beijing National Research Center for Information Science & Technology(北京信息科学与技术国家研究中心)
由于其在人机交互和自然语言处理中的重要性和价值,面向任务的对话系统受到了学术界和工业界越来越多的关注。在本文中,我们调查最近的进展和挑战,面向任务的对话系统。我们还讨论了面向任务的对话系统的三个关键主题:(1)提高数据效率,以促进在低资源设置对话建模,(2)建模多轮动态对话策略学习,以实现更好的任务完成性能,(3)集成领域本体知识到对话模型。此外,我们还回顾了对话评价的最新进展和一些广泛使用的语料库。我们相信,这项调查,虽然不完整,可以揭示未来的研究在面向任务的对话系统。
2020-06-23 cs.CL
Topic Spotting using Hierarchical Networks with Self Attention
Disney Research(迪士尼研究院);Rutgers University(罗格斯大学)
深度学习技术的成功重新激发了人们对对话系统开发的兴趣。然而,当前的系统难以与用户进行一致的长期对话,并且无法建立融洽的关系。话题识别,即自动推断对话话题的任务,已被证明有助于使对话系统更吸引人和更有效。我们提出了一个层次模型与自我注意的主题发现。在Switchboard语料库上的实验表明,我们的模型比以前提出的主题发现技术和文本分类的深度模型具有更好的性能。此外,与对话的离线处理相比,我们还分析了我们的模型在更现实的设置中的性能,即在在线设置中,随着对话的进行,主题被实时的识别。结果表明,我们的模型是能够推广,即使在有限的信息在线设置。
2019-04-04 cs.AI cs.CL cs.LG
Data-Driven Dialogue Systems for Social Agents
为了建立对话系统来解决举行社交对话的雄心勃勃的任务,我们认为,我们需要一个数据驱动的方法,包括洞察人类会话聊天,并结合不同的自然语言处理模块。我们的策略是分析和索引大型语料库的社交媒体数据,包括Twitter的对话,在线辩论,朋友之间的对话,和博客文章,然后将此数据检索与模块,执行任务,如情感和风格分析,主题建模和总结。我们的目标是个人助理,可以学习更细致入微的人类语言,并从面向任务的代理成长为更有个性的社交机器人。
2017-09-10 cs.CL
RAP-Net: Recurrent Attention Pooling Networks for Dialogue Response Selection
National Taiwan University(台湾大学)
响应选择一直是一个新兴的研究课题,由于越来越多的兴趣在对话建模,其中的任务的目标是选择一个适当的响应继续对话。为了进一步将端到端对话模型推向现实场景,第七届对话系统技术挑战赛(DSTC 7)提出了一个基于真实聊天日志数据集的挑战性赛道。竞赛的重点是具有几个先进特征的对话建模:(1)自然语言多样性,(2)从大量候选人或没有任何正确答案的场景中精确选择适当响应的能力,以及(3)知识基础。本文介绍了一种新的应答选择框架--递归注意力池网络(RAP-Net),它可以很好地估计对话上下文与候选人之间的相关性。所提出的RAP网络被证明是有效的,并且可以在DSTC 7实验中跨不同的数据集和设置进行推广。
2019-03-21 cs.CL
A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation
Shandong University(山东大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);University of Amsterdam(阿姆斯特丹大学)
非结构化面向角色的对话系统(UPDS)已经被证明在通过利用预定义的自然语言用户角色描述(例如,“我是一个素食主义者”)。然而,预定义的用户角色描述通常很短,并且仅限于几个描述性词语,这使得难以将它们与对话相关联。因此,现有的方法要么无法使用的角色描述或使用它们不正确时,生成人物角色一致的响应。为了解决这个问题,我们提出了一个神经主题扩展框架,即人物角色探索和利用(PEE),它能够扩展预定义的用户角色描述与语义相关的内容,然后利用它们来生成对话响应。PEE由两个主要模块组成:角色探索和角色开发。前者通过使用基于变分自动编码器(VAE)的主题模型挖掘和关联现有对话语料库来学习扩展预定义的用户角色描述。后者通过利用预定义的和扩展的用户角色描述来学习生成角色一致的响应。为了使角色开发能够更好地利用用户的角色描述,我们还引入了两个面向角色的损失函数:面向角色匹配(Persona-oriented Matching,P-Match)损失和面向角色词袋(Persona-oriented Bag-of-Words,P-BoWs)损失,分别用于监督编码器和解码器中的角色选择。实验结果表明,我们的方法优于国家的最先进的基线,在自动和人工评估。
2020-02-06 cs.AI cs.CL cs.LG
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs(英特尔研究院)
随着人工智能(AI)、智能虚拟助理(IVA)(如Alexa、Google Home等)的最新进展,已经成为许多家庭中无处不在的一部分。目前,这样的IVA大多是基于音频的,但展望未来,我们正在目睹视觉,语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象,活动和事件的对话。在这项工作中,我们提出了三个主要的架构探索的视听场景感知对话(AVSD):1)调查“主题”的对话作为一个重要的上下文特征的对话,2)探索多模态注意力机制在响应生成过程中,3)将端到端的音频分类ConvNet,AclNet,到我们的架构。我们讨论了详细的分析实验结果,并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
Context, Attention and Audio Feature Explorations for Audio Visual Scene-Aware Dialog
Anticipatory Computing Lab(预期计算实验室);Intel Labs(英特尔实验室)
随着人工智能的发展,智能虚拟助理(IVA)已经成为每个家庭中无处不在的一部分。展望未来,我们正在见证视觉、语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础,并与用户就周围的物体、活动和事件进行对话。作为第七届对话系统技术挑战赛(DSTC 7)的一部分,对于视听场景感知对话(AVSD)轨道,我们探索对话的“主题”作为一个重要的上下文特征,以及围绕多模态注意力的探索。我们还将端到端音频分类ConvNet,AclNet纳入我们的模型。我们提出了详细的实验分析,并表明我们的一些模型的变化优于基线系统提出了这项任务。
2018-12-20 cs.CL
Domain Aware Neural Dialog System
University of Pennsylvania(宾夕法尼亚大学)
我们调查的任务是建立一个域感知聊天系统,该系统在不同的域组成的对话中生成智能响应。在这种情况下,域是对话的主题或主题。为了实现这一点,我们提出了DOM-Seq 2Seq,一种基于使用域靶向序列到序列模型的新技术的域感知神经网络模型(Sutskever et al.,2014)和域分类器。该模型从当前话语和先前话语的域中捕获特征,以促进相关响应的形成。我们评估我们的模型的自动指标,并比较我们的性能与Seq 2Seq模型。
2017-08-02 cs.CL
Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation
Carnegie Mellon University(卡内基梅隆大学)
目标引导的响应生成使得对话系统能够将对话从对话上下文平滑地过渡到目标句子。这种控制对于设计将对话引导到特定目标的对话系统是有用的,例如创建非侵扰性推荐或在对话中引入新主题。在本文中,我们介绍了一种新的技术,目标引导的响应生成,首先找到一个桥接路径的常识性知识概念之间的源和目标,然后使用确定的桥接路径生成过渡响应。此外,我们提出的技术,重新利用现有的对话数据集为目标引导的生成。实验表明,所提出的技术优于各种基线上这项任务。最后,我们观察到,现有的自动化指标,这项任务的相关性很差,与人类的判断评级。我们提出了一种新的评价指标,我们证明是更可靠的目标导向的响应评估。我们的工作通常使对话系统设计者能够对他们的系统产生的对话进行更多的控制。
2022-05-19 cs.CL
Zero-Resource Knowledge-Grounded Dialogue Generation
Peking University(北京大学);Microsoft STCA(微软亚洲研究院搜索技术中心);Meituan(美团)
虽然神经会话模型已经显示出通过引入外部知识来生成信息丰富和引人入胜的响应的巨大潜力,但学习这样的模型通常需要难以获得的基于知识的对话。为了克服数据的挑战,并降低成本,建立一个知识为基础的对话系统,我们探讨了零资源设置下的问题,假设没有上下文知识响应三元组需要培训。为此,我们建议表示的知识,桥梁的上下文和响应和方式,知识表示为潜变量,并设计一种变分的方法,可以有效地估计一个生成模型从对话语料库和知识语料库是相互独立的。基于知识的对话生成的三个基准的评估结果表明,我们的模型可以实现与依赖于知识的对话进行训练的最先进的方法相当的性能,并在不同的主题和不同的数据集上表现出良好的泛化能力。
2021-05-14 cs.CL
Policy-Driven Neural Response Generation for Knowledge-Grounded Dialogue Systems
Amazon Alexa AI(亚马逊 Alexa 人工智能)
开放域对话系统旨在产生相关、信息丰富和吸引人的回应。Seq2seq神经响应生成方法没有明确的机制来控制所生成的响应的内容或风格,并且经常导致无信息的话语。在本文中,我们提出了使用对话策略计划的内容和风格的目标响应的形式的行动计划,其中包括相关的对话上下文,有针对性的对话行为,主题信息等知识句的行动计划内的属性自动注释公开发布的主题聊天数据集。我们的条件神经反应发生器上的行动计划,然后实现为目标的话语在回合和句子水平。我们还研究了不同的对话政策模型,以预测给定对话背景下的行动计划。通过自动化和人工评估,我们测量生成的响应的适当性,并检查生成模型是否确实学会实现给定的行动计划。我们证明,一个基本的对话政策,在句子层面上产生更好的反应,在比较转向水平生成以及基线模型,没有行动计划。此外,基本对话政策还具有可控性的附加效果。
2020-08-24 cs.AI cs.CL
Taming the Beast: Learning to Control Neural Conversational Models
The Hong Kong University of Science and Technology(香港科技大学)
本文研究了基于深度学习的端到端生成式对话系统在面向任务和聊天场景下的可控性。特别地,我们研究了控制生成对话系统的不同方面,包括控制风格和主题以及不断添加和组合对话技巧。自第一个对话系统商业化以来的三十年中,这种系统的基本架构基本上保持不变,由四个流水线基本组件组成,即自然语言理解(NLU)、对话状态跟踪(DST)、对话管理器(DM)和自然语言生成(NLG)。对话管理器是模块化系统的关键组成部分,它控制响应的内容和风格。该模块通常按规则编程,并设计为高度可控和易于扩展。随着强大的“深度学习“架构的出现,端到端生成式对话系统被提出来优化整体系统性能并简化训练。然而,这些系统不能像模块化对话管理器那样容易地控制和扩展。这是因为使用了单个神经系统,其通常是大型的预训练语言模型(例如,GPT-2),因此难以通过手术改变期望的属性(例如,风格、主题等)。更重要的是,不可控的对话系统会产生攻击性甚至有毒的反应。因此,本论文主要研究面向任务和聊天场景的端到端生成式对话系统的可控方法。在整个章节中,我们描述了1)如何控制聊天模型的风格和主题,2)如何持续控制和扩展面向任务的对话系统,以及3)如何组合和控制多技能对话模型。
2021-08-24 cs.AI cs.CL cs.LG
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University(东南大学);Ulm University(乌尔姆大学);Mercedes-Benz Research & Development(梅赛德斯-奔驰研发中心)
本文介绍了一个自然语言理解(NLU)框架,在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型,即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上,并微调模型以识别用户意图,而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统,从事用户通知他/她自己的一个有争议的话题,通过探索赞成和反对的论点,并建立他/她对这个话题的意见。为了评估所提出的方法,我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型(来自英国的英语母语者和来自中国的非英语母语者)。此外,我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明,在几个数据集的基线方法,以及对新的主题和不同的语言能力,以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外,结果表明,我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型(即,每个意图具有10、20或30个标记的示例)和完整的数据设置。
2022-02-19 cs.CL cs.LG
Mind the Gap Between Conversations for Improved Long-Term Dialogue Generation
The University of Tokyo(东京大学)
本文提出让对话模型感知时间间隔,构建了多会话数据集GapChat,通过比较时间与事件进展的不同表示,证明时间感知模型在话题相关性和信息获取的评估指标上表现更优。
2023-10-24 cs.AI cs.CL cs.HC
MAPS: Modeling Co-Existing Subjective Perspectives and Shared Meaning in Multi-Agent Cognitive Dialogue
研究针对当前AI对话系统问题,提出MAPS框架,通过领域加权配置文件、动态GRU记忆和令牌级注意力,让智能体保持个性化推理并趋向共享意义,在多数据集评估中支持语义对齐且不损主观性,为可解释对话系统发展提供路径。
2026-07-17 cs.AI cs.CL
Open-domain Topic Identification of Out-of-domain Utterances using Wikipedia
University of Southampton(南安普顿大学);Amazon Alexa AI(亚马逊Alexa人工智能);Toshiba Research Europe(东芝欧洲研究公司);Huawei Technologies(华为技术有限公司);Toshiba Europe Limited(东芝欧洲有限公司)
口语对话系统(SDS)的用户期望跨广泛的不同主题的高质量交互。然而,实现SDS能够响应每一个可以想象的用户话语在一个信息的方式是一个具有挑战性的问题。多域SDS必须识别和处理域外(OOD)话语,以生成适当的响应,因为用户并不总是事先知道SDS可以处理什么域。为了解决这个问题,我们扩展了目前的国家的最先进的多域SDS估计主题的OOD话语使用外部知识表示从维基百科。在真实的人与人对话上的实验结果表明,与基本模型相比,我们的方法不会降低域预测性能。但更重要的是,与基准测试相比,我们的联合训练对最近的维基百科文章的预测准确率高达30%左右。
2021-01-26 cs.CL cs.LG
InterviewBot: Real-Time End-to-End Dialogue System to Interview Students for College Admission
Emory University(埃默里大学);InitialView(初鉴)
本文提出InterviewBot,一种端到端对话系统,通过上下文注意力和主题存储方法,在10分钟混合领域面试中评估外国学生的学术与文化准备,经统计和动态测试验证其流畅性和上下文感知能力。
2023-09-05 cs.CL cs.HC
Topic Shift Detection in Chinese Dialogues: Corpus and Benchmark
Soochow University(苏州大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对无回复信息的对话话题转移预测难题,构建了含1308段对话的中文CNTD语料库,提出基于层级对比学习的师生框架,实验验证了模型有效性。
2023-05-02 cs.CL cs.LG
Advancing the State of the Art in Open Domain Dialog Systems through the Alexa Prize
Amazon(亚马逊)
构建开放域对话系统,允许用户就他们选择的主题进行引人入胜的对话是一项具有挑战性的任务。Alexa Prize于2016年推出,旨在解决实现自然,持续,连贯和引人入胜的开放领域对话的问题。在2018年的第二轮比赛中,大学团队通过在对话模型中使用上下文,利用知识图谱进行语言理解,处理复杂的话语,构建统计和分层对话管理器,以及利用用户响应的模型驱动信号来推进最先进的技术。2018年的比赛还包括为参赛者提供一套工具和模型,包括CoBot(会话机器人)工具包,主题和对话行为检测模型,对话评估器和敏感内容检测模型,以便参赛团队可以专注于构建知识丰富,连贯和引人入胜的多轮对话系统。本文概述了大学团队和Alexa Prize团队为实现推进对话式人工智能科学的共同目标而取得的进展。我们解决了几个关键的开放式问题,如会话语音识别,开放域自然语言理解,常识推理,统计对话管理,对话评估。这些合作努力使Alexa用户的体验得到了改善,平均评分为3.61分,中位持续时间为2分18秒,平均回合数为14.6,自2018年比赛启动以来分别增长了14%,92%和54%。对于会话语音识别,自Alexa Prize推出以来,我们的相对单词出错率提高了55%,相对实体出错率提高了34%。Socialbots在2018年的质量改善速度明显加快,部分原因是CoBot工具包的发布。
2018-12-27 cs.AI cs.CL
Long-term Control for Dialogue Generation: Methods and Evaluation
ASAPP;Cornell(康奈尔大学)
当前用于控制对话响应生成的方法主要集中在诸如风格、情感或主题的高级属性上。在这项工作中,我们专注于受约束的长期对话生成,这涉及到更细粒度的控制,并需要一组给定的控制词出现在生成的响应。这种设置需要一个模型,不仅要考虑这些控制词在当前上下文中的生成,而且还要产生在(可能是遥远的)未来某个时间鼓励生成这些词的话语。我们定义的问题,约束的长期控制对话生成,确定目前的评估方法的差距,并提出新的指标,更好地衡量长期控制。我们还提出了一种检索增强的方法,通过logit修改技术,提高长期控制发电的性能。我们通过对三个面向任务的对话数据集的实验表明,我们的指标更好地评估对话控制相对于当前的替代方案,我们的方法优于最先进的约束生成基线。
2022-05-15 cs.AI cs.CL
Evaluating Coherence in Dialogue Systems using Entailment
University of Alberta(阿尔伯塔大学)
由于可能的正确答案的多样性,评估开放域对话系统是困难的。BLEU等自动指标与人类注释的相关性很弱,导致不同模型和数据集之间存在显著偏差。一些研究人员求助于人类判断实验来评估响应质量,这是昂贵的,耗时的,并且不可扩展。此外,评委们倾向于评价少数对话,这意味着评价结构的微小差异可能导致不同的结果。在本文中,我们提出了可解释的指标评估主题的连贯性,利用分布式句子表示。此外,我们引入了可计算的近似的人类判断的基础上会话的连贯性,采用国家的最先进的蕴涵技术。结果表明,我们的指标可以作为人类判断的替代品,可以很容易地在大规模数据集上评估对话系统,并允许对响应的质量进行无偏估计。
2020-04-01 cs.CL cs.LG
From Knowledge Augmentation to Multi-tasking: Towards Human-like Dialogue Systems
Nanyang Technological University(南洋理工大学)
自人工智能诞生之初,构建能够与人类自然对话的对话智能体一直是研究人员的梦想。著名的图灵测试提出了判断一个人工智能主体的最终有效性的标准是它的对话与人类对话的不可混淆性。毫不奇怪,人类级别的对话系统非常具有挑战性。但是,虽然基于规则的系统的早期努力取得了有限的成功,但深度学习的出现使这一主题取得了巨大进展。在这篇论文中,我们专注于解决人工会话代理人和人类对话者之间存在差距的众多问题的方法。这些方法的提出和实验方式受到了一般最先进的人工智能方法的启发。但他们也瞄准了对话系统所具有的特征。
2022-12-11 cs.AI cs.CL cs.LG
Probing Neural Dialog Models for Conversational Understanding
Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
开放域对话生成的主要方法依赖于聊天数据集上神经模型的端到端训练。然而,这种方法几乎没有提供关于这些模型学习(或不学习)参与对话的见解。在这项研究中,我们分析了神经开放域对话系统学习的内部表征,并评估这些表征的质量,以学习基本的会话技能。我们的研究结果表明,标准的开放域对话系统在回答问题、推断矛盾、确定对话主题等任务方面都很困难。我们还发现,这些模型并没有充分利用对话的二元,话轮转换的性质。通过探索这些限制,我们强调需要对架构和训练方法进行额外的研究,以更好地捕捉有关对话框的高级信息。
2020-06-07 cs.AI cs.CL cs.LG
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
在客户服务系统中,对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中,我们专注于面向主题的对话摘要,它生成高度抽象的摘要,保留对话的主要思想。在口语对话中,大量的对话噪音和共同的语义可能会掩盖潜在的信息内容,使一般的主题建模方法难以应用。此外,对于客户服务而言,特定角色的信息至关重要,是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息,在这项工作中,我们提出了一种新的主题增强的两阶段对话摘要(TDS)与显着性感知神经主题模型(SATM)共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Multi-turn Dialogue Comprehension from a Topic-aware Perspective
Shanghai Jiao Tong University(上海交通大学)
本文从主题感知视角建模多轮对话,提出无监督对话切分算法和主题感知双注意力匹配网络TADAM,在主题检测与回复选择任务上显著优于基线。
2023-09-18 cs.CL
"Wait, did you mean the doctor?": Collecting a Dialogue Corpus for Topical Analysis
Université de Lorraine(洛林大学);University of Gothenburg(哥德堡大学)
针对现有对话主题组织与识别研究不足、长对话多主题数据难获取的问题,本文提出通过自研即时通讯工具开展对话收集实验,构建适用于主题分析的对话语料库。
2025-01-14 cs.CL
Enhancing Dialogue Summarization with Topic-Aware Global- and Local- Level Centrality
Beihang University(北京航空航天大学);ByteDance Inc.(字节跳动公司);Lark Platform Engineering-AI(飞书平台工程-人工智能部)
对话摘要旨在将给定的对话浓缩成简单而集中的摘要文本。通常,角色的观点和对话主题在对话流中都会发生变化。因此如何有效地处理话题的转换,选择最突出的话语成为这一任务的主要挑战之一。在本文中,我们提出了一种新的主题感知的全局-局部中心性(GLC)模型,以帮助选择所有子主题的显着背景。这些中心是在全球和地方两级建立的。全球对话的目的是确定对话中的重要分专题,地方对话的目的是选择每个分专题中最重要的背景。具体地,GLC基于话语表征来收集子主题。每句话都对应一个子主题。根据这些分专题,全球生命周期计算全球和地方一级的中心性。最后,我们结合两者来指导模型在生成摘要时捕获突出的上下文和子主题。实验结果表明,我们的模型在三个公共对话摘要数据集上的性能优于强基线:CSDS,MC和SAMSUM。进一步的分析表明,我们的GLC可以准确地识别子主题中的重要内容。\footnote{\url{https://github.com/xnliang98/bart-glc}}
2023-01-29 cs.CL