SocialDial: A Benchmark for Socially-Aware Dialogue Systems
Monash University(莫纳什大学);California State University, Northridge(加州州立大学北岭分校)
本文构建基于中国社会文化的社会感知对话基准 SocialDial,结合人工标注多轮对话与基于本体的 ChatGPT 合成数据,并通过 BERT、RoBERTa 等模型验证社会规范建模的研究价值。
2023-04-24 cs.CL
Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System
Academia Sinica(中央研究院);Cornell Tech(康奈尔理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
理解动态场景和对话上下文以便与用户对话对于多模态对话系统来说是具有挑战性的。第八届对话系统技术挑战赛(DSTC 8)提出了一个视听场景感知对话(AVSD)任务,该任务包含包括音频、视觉和语言在内的多种模态,以评估对话系统如何理解不同的模态和对用户的响应。本文提出了一种基于递归神经网络(RNN)的多步联合模态注意力网络(JMAN)来对视频进行推理。我们的模型执行多步注意力机制,并在每个推理过程中共同考虑视觉和文本表示,以更好地整合来自两种不同模态的信息。与AVSD组织者发布的基线相比,我们的模型在ROUGE-L评分和CIDER评分上分别比基线提高了12.1%和22.4%。
2020-01-17 cs.CL
Generate, Evaluate, and Select: A Dialogue System with a Response Evaluator for Diversity-Aware Response Generation
Waseda University(早稻田大学)
我们的目标是克服目前对话系统的反应缺乏多样性,并开发一个作为对话伙伴参与的对话系统。我们提出了一个生成器评估模型,评估多个响应生成器生成的响应,并选择最佳响应的评估。通过生成多个响应,我们获得不同的响应。我们进行人类的评价,比较建议的系统与基线系统的输出。人工评估的结果表明,所提出的系统的响应往往被判断为优于基线系统的,并表明所提出的方法的有效性。
2022-06-10 cs.CL
Can Neural Generators for Dialogue Learn Sentence Planning and Discourse Structuring?
University of California, Santa Cruz(加州大学圣克鲁兹分校)
任务型对话系统中的应答往往实现多个命题,其最终形式取决于句子规划和语篇构建操作的使用。例如,推荐可以由明确的评价话语组成,例如Chanpen Thai是最佳选项,以及由理由话语关系相关的内容,例如It has great food and service,其将多个命题组合成单个短语。虽然神经生成方法在一个端到端学习框架中集成了句子规划和表面实现,但以前的工作尚未表明神经生成器可以:(1)执行常见的句子规划和话语结构化操作;(2)决定是在单个句子中还是在多个句子中实现内容;(3)决定是否在一个句子中实现内容。(3)概括训练中所见之外的句子规划和语篇关系操作。我们系统地创建大型训练语料库,展示特定的句子规划操作,然后测试神经模型,看看它们学到了什么。我们比较了没有显式潜变量的句子规划模型与在训练过程中提供显式监督的模型。我们表明,只有额外的监督模型可以重现句子规划和话语操作,并推广到训练中看不到的情况。
2018-11-01 cs.CL
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学);Salesforce Research(赛富时研究院)
对领域本体的过度依赖和跨领域知识共享的缺乏是对话状态跟踪的两个实际问题,但研究较少。现有的方法通常在推理期间跟踪未知时隙值方面存在不足,并且通常难以适应新的域。在本文中,我们提出了一个可转移的对话状态生成器(TRADE),它使用复制机制从话语中生成对话状态,在预测(域,槽,值)三元组时促进知识转移。我们的模型是由一个话语编码器,一个槽门,和一个状态发生器,这是跨域共享。实证结果表明,TRADE在MultiWOZ(一个人与人之间的对话数据集)的五个领域中实现了48.62%的最先进的联合目标准确率。此外,我们通过模拟zero-shot和Few-Shot的对话状态跟踪看不见的领域,它的传输能力。TRADE在其中一个zero-shot域中实现了60.58%的联合目标准确度,并且能够适应Few-Shot情况而不会忘记已经训练过的域。
2019-05-26 cs.AI cs.CL
Grounding Dialogue Systems via Knowledge Graph Aware Decoding with Pre-trained Transformers
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
在面向目标和非目标的对话系统中生成基于知识的响应是一个重要的研究挑战。知识图谱(KG)可以被视为现实世界的抽象,其可以潜在地促进对话系统产生基于知识的响应。然而,以端到端的方式将KG集成到对话生成过程中是一项重要的任务。本文提出了一种新的体系结构,通过训练一个BERT模型,学习回答使用KG(实体和关系)的元素在多任务,端到端的设置集成KG到响应生成过程。KG的k-hop子图在使用图拉普拉斯算子的训练和推理期间被并入模型中。实证评估表明,该模型实现了更好的知识覆盖度(通过实体F1得分衡量)相比,其他国家的最先进的模型,目标和非目标导向的对话。
2021-03-30 cs.CL
Speaker and Time-aware Joint Contextual Learning for Dialogue-act Classification in Counselling Conversations
BITS Pilani(比尔拉理工学院);Maharaja Agrasen Institute of Technology(马哈拉贾·阿格拉森理工学院);IIIT-Delhi(德里印度信息技术学院)
COVID-19疫情的爆发使人们的心理健康面临风险。在这种环境下,社会咨询具有非常重要的意义。与一般的目标导向型对话不同,患者和治疗师之间的对话是相当含蓄的,尽管对话的目标是非常明显的。在这种情况下,理解患者的意图对于在治疗过程中提供有效的咨询是必不可少的,这同样适用于对话系统。在这项工作中,我们在开发用于心理健康咨询的自动对话系统方面迈出了一小步,但这是重要的一步。我们开发了一个新的数据集,命名为希望,提供一个平台的对话行为分类在咨询会话。我们确定这样的对话的要求,并提出了12个特定领域的对话行为(DAC)标签。我们从YouTube上公开的咨询会议视频中收集了12.9K的话语,提取它们的成绩单,清理并用DAC标签注释它们。此外,我们提出了SPARTA,一个基于变压器的架构与一个新的扬声器和时间感知上下文学习的对话行为分类。我们的评估显示了令人信服的性能在几个基线,实现国家的最先进的希望。我们还补充我们的实验与广泛的实证和定性分析斯巴达。
2021-11-12 cs.CL
EthicMind: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
本文提出EthicMind框架,通过多轮对话中联合分析伦理风险与用户情感,生成平衡伦理指导与情感互动的回复,提升对话系统的伦理与情感对齐能力。
2026-04-10 cs.CL
Do You Know My Emotion? Emotion-Aware Strategy Recognition towards a Persuasive Dialogue System
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
劝说策略识别任务要求系统根据会话内容识别劝说者所采用的策略。然而,以往的方法主要集中在上下文信息,很少有人知道,将心理反馈,即情绪的说服,以预测策略。在本文中,我们提出了一个跨渠道反馈记忆网络(CFO-Net),利用情感反馈迭代地测量策略的潜在好处,并将它们纳入上下文感知的对话信息。CFO-Net设计了一个反馈记忆模块,包括策略池和反馈池,以获得情感感知策略表征。策略池用于存储历史策略,反馈池用于根据反馈的情感信息获取更新的策略权重。此外,跨通道融合预测器的发展,使情感感知的策略表示和上下文感知的对话信息之间的相互作用的策略识别。在\textsc{PersuasionForGood}上的实验结果表明,所提出的模型CFO-Net可以有效地将M-F1的性能从61.74提高到65.41。
2022-06-24 cs.CL
Grounding in social media: An approach to building a chit-chat dialogue model
Waseda University(早稻田大学)
构建具有丰富的类人会话能力的开放域对话系统是语言生成的基本挑战之一。然而,即使在该领域的最新进展,现有的开放域生成模型未能捕获和利用外部知识,导致重复或通用的反应看不见的话语。目前的工作知识为基础的对话生成主要集中在人物角色的纳入或搜索基于事实的结构化知识源,如维基百科。我们的方法采用了一种更广泛、更简单的方法,旨在通过在社交媒体上发现的随意互动来模仿人类的反应行为,从而提高系统的原始对话能力。利用联合检索器-生成器设置,该模型从Reddit查询大量过滤后的评论数据,作为seq 2seq生成器的附加上下文。开放域对话数据集上的自动和人工评估证明了我们方法的有效性。
2022-06-12 cs.CL
History-Aware Hierarchical Transformer for Multi-session Open-domain Dialogue System
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Joint NTU-UBC LILY Research Centre(南洋理工大学-不列颠哥伦比亚大学LILY联合研究中心);Alibaba Group(阿里巴巴集团);Shandong University(山东大学)
随着预先训练的语言模型的发展,当前的开放域对话系统在进行单会话会话方面取得了很大的进步。相比之下,多会话对话(MSC),它由同一用户长期的多个会话组成,研究不足。在本文中,我们提出了历史感知的分层Transformer(HAHT)的多会话开放域对话。HAHT保持历史会话的长期记忆,并利用历史信息来理解当前会话上下文,并生成消息灵通和上下文相关的响应。具体地,HAHT首先将历史会话分层地编码到历史存储器中。然后,HAHT利用历史信息,以促进当前会话上下文的理解,通过编码的历史记忆与当前上下文的注意力为基础的机制。最后,为了明确地利用历史信息,HAHT使用了一个历史感知响应生成器,它可以在通用词汇表和历史感知词汇表之间切换。大规模MSC数据集上的实验结果表明,所提出的HAHT模型始终优于基线模型。人类评估结果支持HAHT比基线模型产生更多的人性化,上下文相关和历史相关的响应。
2023-02-02 cs.CL
An Interpretable Neuro-Symbolic Reasoning Framework for Task-Oriented Dialogue Generation
The University of Melbourne(墨尔本大学)
本文研究了面向任务的对话系统的可解释性问题。以前,大多数基于神经的面向任务的对话系统采用隐式推理策略,使模型预测无法解释给人类。为了获得一个透明的推理过程,我们引入神经符号执行显式推理,证明模型的决策推理链。由于推导推理链需要多跳推理面向任务的对话,现有的神经符号方法会导致错误传播,由于一个阶段的设计。为了克服这一点,我们提出了一个两阶段的方法,包括一个假设发生器和推理。我们首先得到多个假设,即,潜在的操作,以执行所需的任务,通过假设生成器。然后,推理器验证每个假设,并选择有效的假设进行最终预测。整个系统的训练是利用原始文本对话,而不使用任何推理链注释。在两个公共基准数据集上的实验结果表明,该方法不仅取得了较好的结果,而且引入了一个可解释的决策过程。
2022-03-11 cs.CL
Domain-Aware Dialogue State Tracker for Multi-Domain Dialogue Systems
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);ICT Doctoral School, University of Trento(特伦托大学ICT博士学校);University of Trento(特伦托大学);University of Trento, Italy(特伦托大学(意大利));Fondazione Bruno Kessler, Trento, Italy(布鲁诺·凯斯勒基金会,特伦托,意大利);ICT Doctoral School, University of Trento, Italy(特伦托大学ICT博士学校,意大利)
在面向任务的对话系统中,对话状态跟踪器(DST)组件负责基于对话历史来预测对话的状态。目前的DST方法依赖于预定义的领域本体,这限制了它们在大规模会话代理中的有效使用,其中DST不断需要与不断增加的服务和API进行接口。为了克服这个缺点,我们提出了一个领域感知的对话状态跟踪器,这是完全数据驱动的,它是建模预测动态服务模式。该模型利用域和槽信息提取域和槽特定的表示为一个给定的对话,然后使用这样的表示来预测相应的槽的值。将此机制与预训练的语言模型(即BERT)相结合,我们的方法可以有效地学习语义关系。
2020-01-21 cs.AI cs.CL
Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System
Imperial College London(帝国理工学院);Laiye Network Technology Co. Ltd.(来也网络科技有限公司);KAIST(韩国科学技术院);University of Bath(巴斯大学)
设计面向任务的对话系统是一个具有挑战性的研究课题,因为它不仅需要生成满足用户要求的话语,而且要保证可理解性。许多先前的工作训练端到端(E2 E)模型与监督学习(SL),然而,在标注系统话语的偏见仍然是一个瓶颈。强化学习(RL)通过使用不可微的评估度量(例如,成功率)作为奖励。尽管如此,现有的工作与强化学习表明,生成的系统话语的可理解性可能会损坏时,提高性能,满足用户的请求。在我们的工作中,我们(1)提出了对话策略和自然语言生成器(NLG)之间的层次结构建模与选项框架,称为HDNO,其中潜在的对话行为被应用,以避免设计特定的对话行为表示;(2)通过分层强化学习(HRL)训练HDNO,以及建议在训练期间在对话策略和NLG之间的异步更新,以理论上保证它们收敛到局部最大化器;以及(3)建议使用用语言模型建模的词典作为额外奖励,以进一步提高可理解性。我们在MultiWoz 2.0和MultiWoz 2.1(多域对话数据集)上测试了HDNO,并与使用RL,LaRL和HDSA训练的单词级E2 E模型进行了比较,显示了自动评估指标和人工评估的性能改进。最后,我们论证了潜在对话行为的语义,以说明HDNO的可解释性。
2021-02-19 cs.AI cs.CL cs.LG
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University(苏州大学)
基于最近提出的可转移的对话状态生成器(TRADE),预测对话状态,从话语连接的对话上下文,我们提出了一个多任务学习模型,一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文,我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中,我们提出的模型比基线实现了7.03%的相对改进,在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
Viola: A Topic Agnostic Generate-and-Rank Dialogue System
University of Southern California(南加州大学)
我们提出了中提琴,一个开放域的对话系统口语对话,使用一个简单的生成和排名的方法的基础上的主题不可知的对话管理器。利用由大语言模型驱动的生成对话系统的最新进展,Viola从使用不同数据集和知识基础输入训练的各种神经对话模型中提取了一批响应候选者。还考虑源自基于模板的生成器的附加响应,这取决于用户的输入和检测到的实体。手工制作的生成器建立在动态知识图谱上,注入了从网络上抓取的丰富内容,并每天自动处理。Viola的响应排序器是一个微调的polyencoder,它根据对话历史选择最佳响应。虽然单独为polyencoder提供专用注释可以间接引导它避免选择有问题的响应,但我们添加了基于规则的安全网来检测神经退化,并添加了专用分类器来过滤掉攻击性内容。我们分析了Viola参加Alexa Prize Socialbot Grand Challenge 4的对话,并讨论了我们方法的优点和缺点。最后,我们建议未来的工作重点是专门为社交机器人管理会话数据,这将有助于建立一个更强大的数据驱动的社交机器人。
2021-08-25 cs.CL
A Large Collection of Model-generated Contradictory Responses for Consistency-aware Dialogue Systems
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文首次构建大规模模型生成矛盾回复数据集,通过广泛分析揭示矛盾特征,并证明该数据集显著提升数据驱动矛盾抑制方法的性能。
2024-03-19 cs.CL
Multi-domain Neural Network Language Generation for Spoken Dialogue Systems
Cambridge University(剑桥大学)
从有限域自然语言生成(NLG)到开放域是困难的,因为语义输入组合的数量随着域的数量呈指数级增长。因此,重要的是利用现有资源并利用域之间的相似性来促进领域自适应。在本文中,我们提出了一个过程,训练多领域,基于递归神经网络(RNN)的语言生成器通过多个适应步骤。在这个过程中,首先在从域外数据集合成的伪造数据上训练模型,然后在具有判别目标函数的一小组域内话语上进行微调。基于语料库的评估结果表明,所提出的程序可以实现竞争力的性能,在BLEU分数和插槽出错率,同时显着减少所需的数据,训练发电机在新的,看不见的领域。在主观测试中,人类法官证实,该程序大大提高了生成器的性能时,只有少量的数据是在域中。
2016-03-03 cs.CL
Dual Learning for Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.(上海市教育委员会智能交互与认知工程重点实验室);SpeechLab, Department of Computer Science and Engineering(计算机科学与工程系SpeechLab);Brain Science and Technology Research Center(脑科学与技术研究中心);Shanghai Jiao Tong University, Shanghai, China(上海交通大学)
在面向任务的多轮对话系统中,对话状态是指用户目标在对话历史背景中的紧凑表示。对话状态跟踪(DST)是对每一轮对话的状态进行估计。由于对复杂的对话历史上下文的依赖,DST数据注释比单句语言理解更昂贵,这使得任务更具挑战性。在这项工作中,我们制定DST作为一个序列生成问题,并提出了一种新的双重学习框架,充分利用未标记的数据。在双重学习框架中,有两个代理:原始跟踪代理(话语到状态生成器)和双重话语生成代理(状态到话语生成器)。与传统的监督学习框架相比,对偶学习可以在没有标记数据的情况下,分别通过重构误差和奖励信号迭代更新两个智能体。在以往的DST方法中,奖励稀疏性问题难以解决。在这项工作中,重新制定的DST作为一个序列生成模型有效地解决了这个问题。我们称之为原始追踪剂双重DST。在MultiWOZ2.1数据集上的实验结果表明,提出的双DST算法具有很好的性能,尤其是在标记数据有限的情况下。它实现了与完全使用标记数据的系统相当的性能。
2020-09-22 cs.CL
Knowledge-graph based Proactive Dialogue Generation with Improved Meta-Learning
Xi'an Jiaotong University(西安交通大学)
基于知识图谱的对话系统可以缩小知识候选,以用于使用先验信息来生成信息丰富的和多样的响应,例如,三重属性或图形路径。然而,大多数现有的知识图谱(KG)覆盖了不完整的特定领域知识。为了克服这一缺点,我们提出了一个基于知识图谱的主动对话生成模型(KgDg)的三个组成部分,改进的模型不可知的Meta学习算法(MAML),知识三元组嵌入的知识选择,知识感知的主动响应生成器。对于知识三元组的嵌入和选择,我们将其表述为一个句子嵌入的问题,以更好地捕捉语义信息。我们改进的MAML算法能够从有限数量的知识图谱中学习一般特征,这也可以快速适应具有未知知识三元组的对话生成。在知识感知对话数据集(DuConv)上进行了大量的实验。结果表明,KgDg适应快速和良好的知识图谱为基础的对话生成,并优于国家的最先进的基线。
2020-04-19 cs.CL
Personalized Dialogue Generation with Diversified Traits
Samsung R&D Institute of China - Beijing (SRC-B)(三星中国研发研究院-北京(SRC-B));Utrecht University(乌得勒支大学);Tsinghua University(清华大学)
赋予一个对话系统特定的个性特征对于提供更人性化的对话至关重要。然而,由于通过语言表达体现个性的挑战和缺乏大规模的人物角色标记的对话数据,这一研究问题还远远没有得到很好的研究。在本文中,我们研究的问题,将明确的个性特征的对话生成提供个性化的对话。为此,首先,我们构建了PersonalDialog,这是一个大规模的多轮对话数据集,包含大量说话者的各种特征。该数据集由来自847万说话者的2083万会话和5625万话语组成。每个话语都与一个扬声器相关联,该扬声器标有年龄,性别,位置,兴趣标签等特征。这个大规模的数据集不仅将促进个性化对话生成的研究,而且还将促进社会语言学或社会科学的其他研究。其次,为了研究如何在对话生成中捕获和处理个性特征,我们提出了序列到序列学习框架内的人物角色感知对话生成模型。显式的人格特质(由键-值对结构化)嵌入使用特质融合模块。在解码过程中,两种技术,即人物角色意识的注意和人物角色意识的偏见,被设计来捕获和处理特质相关的信息。实验表明,我们的模型是能够解决适当的特点,在不同的情况下。案例研究也显示了这个具有挑战性的研究问题有趣的结果。
2020-01-02 cs.CL
Interpretable NLG for Task-oriented Dialogue Systems with Heterogeneous Rendering Machines
Ant Group(蚂蚁集团)
端到端神经网络在自然语言生成(NLG)中取得了令人满意的性能。然而,它们被视为黑箱,缺乏可解释性。为了解决这个问题,我们提出了一个新的框架,异构渲染机(HRM),解释神经生成器如何将输入对话行为(DA)转化为话语。HRM由渲染器集和模式切换器组成。渲染器集包含多个解码器,这些解码器在结构和功能上都不同。对于每个生成步骤,模式切换器从渲染器集合中选择适当的解码器以生成项(单词或短语)。为了验证我们的方法的有效性,我们已经进行了广泛的实验5基准数据集。在自动度量方面(例如,BLEU),我们的模型与当前最先进的方法是有竞争力的。定性分析表明,我们的模型可以很好地解释神经发生器的渲染过程。人的评价也证实了我们提出的方法的可解释性。
2021-02-07 cs.CL
FaceChat: An Emotion-Aware Face-to-face Dialogue Framework
Columbia University(哥伦比亚大学)
虽然像ChatGPT这样的当前对话系统在基于文本的交互方面取得了重大进展,但它们往往忽视了其他模式在增强整体用户体验方面的潜力。我们提出了FaceChat,一个基于网络的对话框架,使情感敏感和面对面的对话。通过无缝集成自然语言处理、计算机视觉和语音处理方面的尖端技术,FaceChat提供了高度沉浸式和引人入胜的用户体验。FaceChat框架具有广泛的潜在应用,包括咨询,情感支持和个性化客户服务。该系统被设计为简单和灵活的平台,为未来的研究人员推进多模态对话系统领域。该代码可在https://github.com/qywu/FaceChat上公开获取。
2023-03-08 cs.AI cs.CL
RT-KGD: Relation Transition Aware Knowledge-Grounded Dialogue Generation
Soochow University(苏州大学);IFLYTEK Research(讯飞研究院);Fudan University(复旦大学)
将对话系统与外部知识结合起来是提高答复质量的一个有希望的方法。现有的大多数作品都采用知识图谱(KG)作为外部资源,关注对话最后一句话中实体对上下文理解和响应生成的贡献。然而,知识隐含在多轮背景下,在幼儿园的关系之间的过渡性的相关性是未充分探讨。为此,我们提出了一个关系迁移感知的知识为基础的对话生成模型(RT-KGD)。具体而言,受人类会话的潜在逻辑的启发,我们的模型集成了对话级关系转换与回合级实体语义信息。通过这种方式,知识之间的相互作用被认为产生了丰富的线索,用于预测适当的知识并产生连贯的反应。自动评估和手动评估的实验结果表明,我们的模型优于国家的最先进的基线。
2022-07-17 cs.AI cs.CL
Minority-Aware Satisfaction Estimation in Dialogue Systems via Preference-Adaptive Reinforcement Learning
Graduate School of Informatics, Kyoto University, Japan(信息学研究生学校,京都大学,日本)
本文针对对话系统中少数群体满意度估计被忽视的问题,提出融合个体与群体偏好的统一框架,通过CoPeR推理链、M2PC聚类和PAda-PPO强化学习实现偏好自适应对齐,在情感支持对话数据集上显著提升满意度估计性能。
2025-11-07 cs.CL
CHARP: Conversation History AwaReness Probing for Knowledge-grounded Dialogue Systems
Université de Montréal(蒙特利尔大学);RALI(RALI(机器智能学习与应用研究组))
本文提出 CHARP 诊断测试集,用于评估知识 grounded 对话系统的幻觉与对话历史遵从性,发现现有模型因忽略对话历史而表现不佳,并指出 FaithDial 评估的不足。
2024-05-24 cs.CL
Context-Aware Language Modeling for Goal-Oriented Dialogue Systems
UC Berkeley(加州大学伯克利分校)
面向目标的对话系统面临着流畅的语言生成和特定任务控制之间的权衡。虽然使用大语言模型的监督学习能够产生逼真的文本,但如何在不牺牲语言质量的情况下引导这些响应完成特定任务仍然是一个悬而未决的问题。在这项工作中,我们制定了面向目标的对话作为一个部分观察马尔可夫决策过程,解释的语言模型的动态和政策的代表。这种观点使我们能够扩展基于学习的控制技术,如任务重新标记,以获得一种简单有效的方法,以目标感知的方式微调语言模型,从而显着提高任务性能。我们还介绍了一些训练策略,这些策略可以更好地将模型集中在手头的任务上。我们评估我们的方法,上下文感知语言模型(CALM),在一个实际的航班预订任务,使用AirDialogue。从经验上看,CALM在任务成功率方面比最先进的方法高出7%,与人类水平的任务性能相匹配。
2022-04-22 cs.AI cs.CL
HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue
Sungkyunkwan University(成均馆大学)
提出HyPE框架,通过将人物角色文本解析为四元组并构建超图,利用HyperGCN和持久边嵌入(PEE)编码高阶关系,在PersonaChat上优于句子级池化基线。
2026-06-12 cs.CL
Rethinking Response Evaluation from Interlocutor's Eye for Open-Domain Dialogue Systems
The University of Tokyo(东京大学)
本研究从对话者视角分析开放域对话系统自动响应评估器所需特征,实验表明对话者感知对评估至关重要,且对话连续性预测可无监督训练此类评估器。
2024-01-04 cs.CL
A Transformer-based Response Evaluator for Open-Domain Spoken Conversation
Amazon Alexa AI(亚马逊Alexa人工智能部门);UCSC(加州大学圣克鲁兹分校)
许多开放域对话系统依赖于多个响应生成器,其中任何一个都可以在特定上下文中对对话做出响应。因此,比较潜在响应并选择最佳响应的能力在确保对话系统连贯且引人入胜方面发挥着重要作用。对话的连贯性不仅仅是停留在主题上-有些琐事可能是在主题上,在突然提到时很吸引人,但在对话的背景下可能不连贯和不连贯。我们在Athena系统中进行响应选择实验,该系统是Alexa Prize SocialBot,具有专用内容和针对大量主题的多个特定主题响应生成器。首先,我们收集了一个语料库的雅典娜对话与现场人类交通,其中所有启用的响应生成器的潜在响应被记录,并随后注释响应质量。我们比较了几个现成的开放域对话的响应排名方法,雅典娜启发式,启发式响应排名,在雅典娜在第三届Alexa奖比赛中进行了现场测试。我们还将这些与基于transformer的响应排名器进行比较,我们称之为Athena-RR,我们在Athena对话中进行训练。Athena-RR使用会话上下文和对话状态来对潜在的响应进行排名。我们发现,具有70.79\%的Recall@1的Athena-RR大幅优于Athena-Heuristic和所有现成的排名器。然后,我们进行了一项现场A/B研究,在与Alexa用户的6,358次对话中比较了Athena-Heuristic和Athena-RR。我们表明,雅典娜RR导致显着更长的对话,获得显着更高的用户评级比启发式…
2023-02-09 cs.CL
Retrospective and Prospective Mixture-of-Generators for Task-oriented Dialogue Response Generation
University of Amsterdam(阿姆斯特丹大学);The Netherlands(荷兰(注:此处原文本中The Netherlands为国家,非机构,根据要求不应提取,正确应为仅提取University of Amsterdam))
对话应答生成是面向任务的对话系统的一个重要组成部分。其目的是在给定某些上下文的情况下生成适当的自然语言响应,例如,历史话语、系统状态等。最先进的工作集中在如何以端到端的方式更好地处理DRG。通常,这样的研究假设每个标记都来自输出词汇表上的单个分布,这可能并不总是最佳的。不同意图的反应差异很大,例如,域、系统操作。我们提出了一种新的混合发电机网络(MoGNet)的DRG,我们假设每个令牌的响应是从混合分布。MoGNet由一个椅子生成器和几个专家生成器组成。每个专家都专门负责DRG w.r.t.一个特定的意图。主席协调多位专家,并结合他们产生的产出,以产生更适当的反应。我们提出了两种策略,以帮助主席作出更好的决策,即,一个回顾性的混合发电机(RMoG)和前瞻性的混合发电机(PMoG)。前者只考虑到历史专家生成的响应,直到当前的时间步,而后者也考虑可能的专家生成的响应,在未来的鼓励探索。为了区分专家,我们还设计了一个全球和本地(GL)的学习计划,迫使每个专家专门针对一个特定的意图使用本地损失和培训主席和所有专家协调使用全球损失。我们在MultiWOZ基准数据集上进行了广泛的实验。MoGNet在自动和人工评估方面都明显优于最先进的方法,证明了其对DRG的有效性。
2020-02-19 cs.AI cs.CL cs.IR
Less is More: Learning to Refine Dialogue History for Personalized Dialogue Generation
Renmin University of China(中国人民大学);University of Montreal(蒙特利尔大学)
个性化对话系统探索生成与用户的个性一致的响应的问题,这在近年来引起了很多关注。现有的个性化对话系统已经尝试从对话历史中提取用户简档以指导个性化响应生成。由于对话历史通常是长的和嘈杂的,大多数现有的方法截断对话历史来建模用户的个性。这样的方法可以生成一些个性化的响应,但是浪费了大部分对话历史,导致个性化响应生成的次优性能。在这项工作中,我们提出了细化用户的对话历史在大规模上,在此基础上,我们可以处理更多的对话历史,并获得更丰富和准确的人物信息。具体来说,我们设计了一个MSP模型,它包括三个个人信息提炼器和一个个性化的响应生成器。有了这些多层次的精炼器,我们可以从对话历史中稀疏地提取最有价值的信息(令牌),并利用其他类似用户的数据来增强个性化。在两个真实数据集上的实验结果表明,我们的模型在生成更多信息和个性化的响应方面具有优越性。
2022-04-18 cs.CL
Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出利用最大边缘似然训练感知型检索器并结合元知识指导生成器,以解决T5和ChatGPT等模型在任务型对话中难以区分检索记录的问题,有效提升了生成响应质量。
2023-10-20 cs.CL
DialoKG: Knowledge-Structure Aware Task-Oriented Dialogue Generation
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Hamburg(汉堡大学)
面向任务的对话生成具有挑战性,因为基础知识往往是动态的,很难有效地将知识纳入学习过程。在这种情况下,产生类似人类和信息的反应特别具有挑战性。最近的研究主要集中在各种知识蒸馏方法,其中知识库中的事实之间的潜在关系没有被有效地捕获。在本文中,我们更进一步,并证明如何结构信息的知识图谱可以提高系统的推理能力。具体来说,我们提出了DialoKG,一种新的面向任务的对话系统,有效地将知识纳入语言模型。我们提出的系统将关系知识视为一个知识图谱,并引入(1)结构感知的知识嵌入技术,(2)知识图谱加权注意掩蔽策略,以方便系统在对话生成过程中选择相关信息。实证评估表明,DialoKG在几个标准的基准数据集上的最先进的方法的有效性。
2022-04-19 cs.AI cs.CL
Exploring Personality-Aware Interactions in Salesperson Dialogue Agents
National Taiwan University(台湾大学)
本研究通过大规模测试,基于MBTI人格类型评估销售对话代理的交互质量与性能,揭示人格对交互动态和任务完成率的影响,并发布通用用户模拟器以支持个性化对话系统研究。
2025-04-25 cs.AI cs.CL
Athena: Constructing Dialogues Dynamically with Discourse Constraints
University of California, Santa Cruz(加州大学圣克鲁兹分校)
这份报告介绍了雅典娜,一个对话系统的口头交谈的热门话题和时事。我们开发了一个灵活的主题不可知的对话管理方法,动态配置对话的基础上,实体和主题的一致性的一般原则。Athena的对话管理器使用基于契约的方法,其中话语约束被分派到响应生成器的集群。这使得Athena能够从动态源获得响应,例如知识图谱遍历和基于特征的即时响应检索方法。在描述了对话系统架构之后,我们对Athena在2019年Alexa Prize竞赛期间参与的对话进行了分析。最后,我们对几个用户进行了研究,以更好地了解个人用户的特点如何影响系统的评级报告。
2020-11-21 cs.CL
WHAT, WHEN, and HOW to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue
SK Telecom(SK电讯);University of Southern California(南加州大学)
本文针对个性化开放域对话中的 WWH 问题,提出加权数据集混合、负向画像信息增强和响应类型标签等方法,在保持对话流畅性的同时提升 grounded 响应的可控性与可解释性。
2023-07-03 cs.AI cs.CL
Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Singapore Management University(新加坡管理大学);Institute of Inforcomm Research (I2R)(信息通信研究院);Salesforce Research Asia(Salesforce亚洲研究院)
开发基于视频的对话系统(VGDS),其中基于给定视频的视觉和音频方面进行对话,比传统的基于图像或文本的对话系统具有更大的挑战性,因为(1)视频的特征空间跨越多个图片帧,使得难以获得语义信息;以及(2)对话代理必须感知和处理来自不同模态(音频、视频、字幕等)的信息。以获得全面的了解。大多数现有的工作都是基于RNN和序列到序列架构,这对于捕获复杂的长期依赖关系(如视频)不是很有效。为了克服这一点,我们提出了多模态Transformer网络(MTN)来编码视频并整合来自不同模态的信息。我们还提出了查询感知注意通过自动编码器提取查询感知功能的非文本模态。我们开发了一个训练过程来模拟令牌级解码,以提高推理过程中生成的响应质量。我们在对话系统技术挑战7(DSTC 7)上获得了最先进的性能。我们的模型也推广到另一个多模态视觉为基础的对话任务,并获得了良好的性能。我们使用PyTorch实现了我们的模型,代码发布在www.example.com上。
2019-07-02 cs.CL
SEntNet: Source-aware Recurrent Entity Network for Dialogue Response Selection
University of Amsterdam(阿姆斯特丹大学);Microsoft Research AI(微软研究院AI)
对话应答选择是面向任务的对话系统的重要组成部分,它的目的是在给定的对话语境中预测一个合适的应答。从复杂、长时间的对话上下文中获取关键信息是具有挑战性的,特别是当不同的信息源可用时,例如,用户的话语、系统的响应以及从知识库(KB)检索的结果。以前的工作忽略了信息源的类型,并合并源的响应选择。然而,占的来源类型可能会导致显着的差异,在响应选择的质量。我们提出了源感知的递归实体网络(SENTNet),这是知道不同的信息源的响应选择过程。SENTNet通过使用特定于源的存储器来利用来自不同信息源(用户、系统和知识库)的单词使用和句法结构的差异来实现这一点。实验结果表明,SEntNet在Dialog bAbI数据集上获得了91.0%的准确率,比之前的工作高出4.7%。在DSTC 2数据集上,SEntNet获得了41.2%的准确率,击败了2.4%的不知道源的循环实体网络。
2019-09-16 cs.AI cs.CL cs.IR
Interpersonal Memory Matters: A New Task for Proactive Dialogue Utilizing Conversational History
School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本文提出记忆感知主动对话任务MapDia,构建首个中文数据集ChMapData,并设计基于RAG的三模块联合框架,以在恰当时机引导对话转向相关历史主题。
2025-03-07 cs.CL
Knowledge-Aware Graph-Enhanced GPT-2 for Dialogue State Tracking
University of Cambridge(剑桥大学)
对话状态跟踪是面向多领域任务的对话系统的核心,负责从用户话语中提取信息。我们提出了一种新的混合体系结构,增强GPT-2的表示来自图注意力网络的方式,允许因果,顺序预测槽值。该模型架构捕获跨域的时隙间关系和依赖性,否则这些关系和依赖性可能在顺序预测中丢失。我们报告了MultiWOZ 2.0在强大的GPT-2基线下状态跟踪性能的改进,并研究了一个简化的稀疏训练场景,其中DST模型仅在会话级注释上训练,但在回合级别进行评估。我们进一步报告了详细的分析,以证明图模型在DST中的有效性,通过显示所提出的图模块捕获插槽间的依赖关系,并提高对多个域共同的值的预测。
2021-09-23 cs.CL cs.LG
Empathetic Response Generation with State Management
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
一个好的同理心对话系统应该首先跟踪和理解用户的情绪,然后用适当的情绪进行回复。然而,目前的方法,这一任务要么集中在提高用户的情感的理解或提出更好的应对策略,很少有作品考虑在同一时间。我们的工作试图填补这一空缺。受面向任务的对话系统的启发,我们提出了一个新的移情反应生成模型与情感感知的对话管理。情感感知对话管理包括两个部分:(1)情感状态跟踪,维护用户当前的情感状态;(2)移情对话策略选择,根据情感状态跟踪的结果预测目标情感和用户意图。然后,预测的信息用于指导响应的生成。实验结果表明,动态管理不同的信息可以帮助模型产生更多的移情反应相比,在自动和人工评估的几个基线。
2022-08-03 cs.CL
Link the World: Improving Open-domain Conversation with Dynamic Spatiotemporal-aware Knowledge
Baidu Inc.(百度公司)
让聊天机器人像人类一样在对话中感知世界是一个至关重要的挑战,世界可能包含动态知识和时空状态。最近的一些进展试图将对话系统链接到静态知识库或搜索引擎,但它们不包含对话所需的所有世界信息。相反,我们提出了一种新的方法来改善对话系统使用时空感知的动态知识。我们利用服务信息作为对话系统连接世界的一种方式。该系统根据对话上下文和时空状态主动构建请求,获取服务信息,然后生成感知世界的响应。为了实现这种方法,我们收集了DuSinc,这是一个开放领域的人与人对话数据集,参与者可以访问该服务以获取对话响应所需的信息。通过自动评估和人工评估,我们发现服务信息显著提高了对话系统的一致性、信息性、真实性和可理解性,使其表现得更像人类。与没有时空感知动态知识的预训练模型相比,整体会话级别得分提高了60.87%。收集数据集和方法将是开源的。
2022-09-05 cs.AI cs.CL
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research(赛富时研究院)
最近强化学习(RL)在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题,因为便宜的模拟器可用于对策略上的数据进行采样。另一方面,面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是,使用在非政策数据上训练的RL方法容易出现偏差和泛化问题,这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此,我们提出了一个面向任务的对话策略学习的批量强化学习框架:因果感知安全策略改进(CASPI)。这种方法保证了对话策略的性能,并根据人类响应背后的意图来学习塑造奖励,而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下,所提出的方法在这些指标上优于现有技术。在端到端的情况下,我们的方法只训练了10%的数据,在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation
Sun Yat-sen University(中山大学);Hong Kong University of Science and Technology(香港科技大学);Hong Kong Polytechnic University(香港理工大学);Tencent Jarvis Lab(腾讯天衍实验室)
开发会话代理以与患者互动并提供主要临床建议,由于其巨大的应用潜力,特别是在COVID-19大流行时期,引起了越来越多的关注。然而,端到端的基于神经的医学对话系统的训练受到医学对话语料数量不足的制约。在这项工作中,我们首次尝试构建并发布了一个与12种常见胃肠道疾病相关的大规模高质量医学对话数据集MedDG,从在线健康咨询社区收集了超过17 K的对话。五种不同类别的实体,包括疾病,症状,属性,测试和药物,在MedDG的每个对话中作为附加标签进行注释。为了推动未来构建专家敏感的医学对话系统的研究,本文提出了两种基于MedDG数据集的医学对话任务。一个是下一个实体预测,另一个是医生响应生成。为了对这两个医学对话任务有一个清晰的理解,我们实现了几个最先进的基准,并设计了两个对话模型,进一步考虑了预测的实体。实验结果表明,预训练的语言模型和其他基线在我们的数据集中表现不佳的两个任务上挣扎,并且可以在辅助实体信息的帮助下提高响应质量。从人类的评价,简单的检索模型优于几个国家的最先进的生成模型,这表明仍然有很大的改进空间,产生医学上有意义的反应。
2022-07-31 cs.AI cs.CL
Improving Dialogue Management: Quality Datasets vs Models
Siani(西亚尼);ULPGC(拉斯帕尔马斯大学)
本文指出任务型对话系统性能瓶颈在于数据集质量而非模型,通过设计合成对话生成器控制Multiwoz 2.1和SGD数据集中的错误,证明数据集错误与模型性能下降成正比。
2023-10-23 cs.AI cs.CL
Beyond Task-Oriented and Chitchat Dialogues: Proactive and Transition-Aware Conversational Agents
Hanyang University(汉阳大学);Hyundai Motor Company(现代汽车公司)
针对任务型对话与闲聊融合不足的问题,本研究提出支持双向模式切换的TACT数据集及两个新评估指标,结合DPO训练的模型在相关任务上表现优异,推动了具备主动性与转换感知能力的对话智能体研发。
2025-11-11 cs.AI cs.CL
Alquist 4.0: Towards Social Intelligence Using Generative Models and Dialogue Personalization
Faculty of Electrical Engineering, CTU Prague(布拉格捷克理工大学电气工程学院);CTU Medialab(布拉格捷克理工大学媒体实验室);DTU Compute, Technical University of Denmark(丹麦技术大学计算学院);CIIRC, CTU Prague(布拉格捷克理工大学人工智能、机器人与控制论研究所)
开放域-对话系统Alquist的目标是进行连贯和引人入胜的对话,可以被认为是社会智力的基准之一。该系统的第四个版本是在Alexa Prize Socialbot Grand Challenge 4中开发的,带来了两个主要创新。第一个解决连贯性,第二个解决对话的连贯性。对于创新的一致性,我们提出了一种新的混合方法相结合的手设计的反应和生成模型。所提出的方法利用手工设计的对话,域外检测,和神经反应发生器。手工设计的对话引导用户完成高质量的对话流程。域外检测识别出用户偏离了预定义的流,并防止系统产生可能对意外的用户输入没有意义的脚本响应。最后,神经响应生成器基于对话的上下文生成响应,该响应正确地对意外的用户输入做出反应,并将对话返回到手动设计的对话的边界。我们提出的创新参与,主要是受到著名的探索-开发困境的启发。为了与对话伙伴进行一次引人入胜的对话,你必须了解他们的偏好和兴趣--探索。此外,为了吸引合作伙伴,我们必须利用我们已经学到的知识-剥削。在这项工作中,我们提出的原则和内部运作的开放域的对话系统Alquist开发的Alexa奖Socialbot大挑战4和实验,我们已经进行了评估。
2021-09-16 cs.AI cs.CL
Learning to Retrieve Entity-Aware Knowledge and Generate Responses with Copy Mechanism for Task-Oriented Dialogue Systems
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学)
第9届对话系统技术挑战赛(DSTC 9)的第一个主题是面向任务的非结构化知识访问会话建模,要求建立一个系统,在给定对话历史和知识访问的情况下生成响应。这个挑战可以分为三个子任务,(1)知识寻求转向检测,(2)知识选择,和(3)知识接地响应生成。我们使用预训练的语言模型,ELECTRA和ROBERTa,作为我们不同子任务的基本编码器。对于子任务1和子任务2,使用领域和实体等粗粒度信息来增强知识使用。对于子任务3,我们使用一个隐变量来更好地编码对话历史和选择的知识,并结合复制机制生成响应。同时,对模型的最终输出进行了一些有用的后处理策略,以便在生成任务中进一步使用知识。如发布的评估结果所示,我们提出的系统在客观指标下排名第二,在人类指标下排名第四。
2020-12-22 cs.AI cs.CL cs.LG
A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots
IIT Kanpur(印度理工学院坎普尔分校)
在口语对话系统中,我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。对话系统越来越多地被设计成不仅仅是模仿对话,而且随着时间的推移,还从这种交互中得到改进。在本调查中,我们提出了一个广泛的概述的方法,建立对话系统多年来。从基于任务的系统到开放域聊天机器人,对话系统的不同用例激发并需要特定的系统。从简单的基于规则的系统开始,研究已经朝着在大量数据集上训练的越来越复杂的架构发展,例如深度学习系统。出于类似人类对话的直觉,使用强化学习将情感融入自然语言生成器已经取得了进展。虽然我们看到一些指标的高度边际改进的趋势,我们发现,有限的理由存在的指标,和评估的做法是不统一的。最后,我们标记这些问题,并强调可能的研究方向。
2021-11-02 cs.AI cs.CL
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University(德里理工大学)
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系,这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平,其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器,用于捕获用户话语中的情商,以产生类似人类的移情反应。本文的贡献如下:1)在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2)提出了一种新颖的Transformer编码器,其将词嵌入与情感嵌入相加并归一化,从而集成了输入话语的语义和情感方面3)编码器和解码器栈属于Transformer。XL体系结构,这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性,与现有方法相比,生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实,包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
UniConv: A Unified Conversational Neural Architecture for Multi-domain Task-oriented Dialogues
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
建立一个端到端的会话代理多领域的面向任务的对话一直是一个开放的挑战,主要有两个原因。首先,跟踪多个域的对话状态是不平凡的,因为对话代理必须从所有相关域获得完整的状态,其中一些可能具有域之间的共享槽以及仅针对一个域的唯一槽。其次,对话代理还必须处理跨域的各种类型的信息,包括对话上下文、对话状态和数据库,以生成对用户的自然响应。与现有的通常被设计为单独训练每个模块的方法不同,我们提出了“UniConv”--一种用于多领域面向任务的对话中的端到端会话系统的新型统一神经架构,其被设计为联合训练(i)通过独立地在槽和域级别学习信号来跟踪对话状态的双层状态跟踪器,以及(ii)联合对话行为和响应生成器,其合并来自各种输入组件的信息并且同时对对话行为和目标响应进行建模。我们在MultiWOZ2.1基准测试中进行了对话状态跟踪、上下文到文本和端到端设置方面的全面实验,实现了优于竞争基准的性能。
2020-11-15 cs.CL cs.LG
Mind the Gap Between Conversations for Improved Long-Term Dialogue Generation
The University of Tokyo(东京大学)
本文提出让对话模型感知时间间隔,构建了多会话数据集GapChat,通过比较时间与事件进展的不同表示,证明时间感知模型在话题相关性和信息获取的评估指标上表现更优。
2023-10-24 cs.AI cs.CL cs.HC
SAGE: State-Grounded, Abstention-Aware Evaluation of Task-Oriented Dialogue Agents
Microsoft(微软)
SAGE是一种基于状态、感知弃权的任务型对话智能体评估方法,其SAGE-Core零LLM成本且在四个数据集切片上表现不劣于各类LLM评判器,经人工审计标签保真度高。
2026-09-02 cs.AI cs.CL cs.LG