Towards Unified Dialogue System Evaluation: A Comprehensive Analysis of Current Evaluation Protocols
Emory University(埃默里大学)
随着基于对话式人工智能的对话管理越来越成为一个热门话题,对标准化和可靠的评估程序的需求变得更加迫切。目前的情况下,建议各种评估协议,以评估聊天为导向的对话管理系统,使得它很难进行公平的比较研究,在不同的方法,并获得一个深刻的理解他们的价值。为了促进这一研究,必须制定一项更有力的评估协议。本文提出了一个全面的综合自动化和人类的评价方法对对话系统,找出他们的缺点,同时积累证据,对最有效的评价维度。从过去两年的20篇论文进行了调查,分析三种类型的评估协议:自动化,静态和交互式。最后,将这些论文中使用的评估维度与我们对Alexa Prize 2020收集的系统-用户对话数据的专家评估进行了比较。
2020-06-10 cs.CL
Comprehensive Study: How the Context Information of Different Granularity Affects Dialogue State Tracking?
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息技术研究院)
对话状态跟踪在任务导向的对话系统中起着监控用户目标的关键作用。通常,有两种策略来跟踪对话状态:从头开始预测对话状态和从先前状态更新对话状态。基于scratch的策略通过查询所有对话历史来获得每个槽值,基于previous-based的策略依赖于当前回合对话来更新先前的对话状态。然而,由于噪声的影响,基于抓图的策略很难正确跟踪短依赖性对话状态;同时,基于先前的策略对于长依赖性对话状态的跟踪也不是很有用。显然,不同粒度的上下文信息在跟踪不同类型的对话状态时所起的作用是不同的。因此,本文将研究和讨论不同粒度的上下文信息如何影响对话状态跟踪。首先,我们探讨了不同的粒度如何影响对话状态跟踪。然后,我们进一步讨论了如何结合多粒度的对话状态跟踪。最后,我们将上下文粒度的研究结果应用到少样本学习场景中。此外,我们已经公开发布了所有代码。
2021-05-31 cs.CL
Achieving Reliable Human Assessment of Open-Domain Dialogue Systems
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院);SFI Centre for Research Training in Machine Learning(爱尔兰科学基金会机器学习研究培训中心);Huawei(华为);Noah’s Ark Lab(诺亚方舟实验室)
开放域对话系统的评估是非常具有挑战性的,更好的技术的发展是一次又一次强调迫切需要。尽管在最近的比赛中进行了大量的努力来进行可靠的系统实时评估,但注释已被放弃,并被报道为太不可靠而无法产生合理的结果。这是一个严重的问题,因为不知道自动度量可以提供什么可能是或可能不是高质量对话的良好指示。在强调对话中迫切需要更好的评价技术的比赛中,我们提出了成功的发展,人类评价是高度可靠的,同时仍然保持可行性和低成本的求救信号。自我复制实验揭示了几乎完全可重复的结果与$r=0.969$的相关性。此外,由于缺乏适当的统计显着性检验方法,潜在的改进系统发生的可能性,由于机会很少考虑到对话评估,我们提出的评估促进了标准测试的应用。由于我们开发了一种高度可靠的评估方法,可以揭示系统性能的新见解。因此,我们包括一个比较国家的最先进的模型(i)与不使用人物角色,以衡量人物角色的对话质量的贡献,以及(ii)规定与自由选择的主题。有趣的是,关于人物角色,结果表明,人物角色并不像预期的那样对对话质量有积极的贡献。
2022-03-11 cs.CL
Dialogue You Can Trust: Human and AI Perspectives on Generated Conversations
Honda Research Institute Europe(本田欧洲研究院);Honda Research Institute Japan(本田日本研究院);University of Malta(马耳他大学);University of Trento(特伦托大学)
本文利用 GPT-4o 生成多方与双人对话数据集,从七项指标比较人类与 AI 评估,发现 GPT 判断接近人类但在冗余和自相矛盾上仍不足。
2024-09-10 cs.AI cs.CL
Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Survey
Nanyang Technological University(南洋理工大学)
对话系统是自然语言处理(NLP)领域中的一个重要研究课题。这也是一个复杂的任务,因为许多值得研究的NLP任务。因此,在这方面开展了大量新颖的工作,其中大多数是基于深度学习的,因为它们表现出色。在本调查中,我们主要关注基于深度学习的对话系统。本文综述了对话系统的最新研究成果,并从模型类型和系统类型两个角度进行了分析。从模型类型的角度,讨论了对话系统中广泛使用的各种模型的原理、特点和应用。这将有助于研究人员熟悉这些模型,并了解它们如何应用于最先进的框架,这在设计新的对话系统时非常有用。从系统类型的角度,我们讨论了面向任务和开放领域的对话系统作为两个研究方向,提供了相关热点问题的见解。此外,我们全面回顾了对话系统的评估方法和数据集,为未来的研究铺平了道路。最后,根据最新的研究成果,提出了一些可能的研究趋势。据我们所知,这项调查是目前基于深度学习的对话系统最全面和最新的调查,广泛涵盖了流行的技术。我们推测,这项工作是一个很好的起点,学者谁是新的对话系统或那些谁想要快速掌握最新的技术在这一领域。
2022-03-30 cs.AI cs.CL cs.IR
A Survey on Recent Advances in LLM-Based Multi-turn Dialogue Systems
Sun Yat-Sen University(中山大学)
本文综述了基于大型语言模型的多轮对话系统,总结了LLMs及适配方法,阐述了开放域与任务型对话系统的最新进展、数据集与评估指标,并探讨了未来研究方向。
2025-08-15 cs.AI cs.CL
CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems
Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
由于面向任务的对话(ToD)系统中不同模块的标记成本很高,实际上的主要挑战是用最少的标记数据学习不同的任务。最近,基于预训练语言模型(PLM)的提示方法在ToD中的少样本学习方面显示出了有希望的结果。为了更好地利用PLM的力量,本文提出了综合指令(CINS),利用PLM与额外的任务特定的指令。我们设计了一个模式(定义,约束,提示)的指令和他们的定制实现的三个重要的下游任务在ToD,即意图分类,对话状态跟踪,和自然语言生成。采用序列到序列模型(T5)在统一的框架中解决这三个任务。在这些ToD任务上进行了大量的实验,在现实的少样本学习场景中,小验证数据。实证结果表明,所提出的CINS方法不断提高技术,微调PLM与原始输入或短提示。
2022-03-21 cs.CL cs.LG
ViWOZ: A Multi-Domain Task-Oriented Dialogue Systems Dataset For Low-resource Language
VNU(越南国立大学)
目前大多数面向任务的对话系统(ToD),尽管有有趣的结果,是专为少数语言,如中文和英文。因此,由于缺乏标准的数据集和评估策略,它们在低资源语言中的性能仍然是一个重大问题。为了解决这个问题,我们提出了ViWOZ,一个完全注释的越南语面向任务的对话数据集。ViWOZ是越南语(一种低资源语言)中第一个多回合、多领域任务导向的数据集。该数据集由总共5,000个对话组成,其中包括60,946个完全注释的话语。此外,我们提供了一个全面的基准测试,在低资源语言场景中的模块化和端到端模型。有了这些特征,ViWOZ数据集使未来的研究能够创建一个面向多语言任务的对话系统。
2022-03-15 cs.AI cs.CL
DraDDP: A Multimodal Multi-Party Dialogue Discourse Parsing Dataset
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有研究局限于文本或双方对话的问题,构建了基于美剧的首个公开英文多模态多方对话话语解析数据集DraDDP,并验证了多模态信息在捕捉对话结构和关系类型中的价值。
2026-04-13 cs.AI cs.CL
MME-CRS: Multi-Metric Evaluation Based on Correlation Re-Scaling for Evaluating Open-Domain Dialogue
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
开放域对话自动评测是对话系统的重要组成部分。近年来,基于学习的评价指标在开放域对话评价中取得了很好的效果。然而,这些指标只关注少数品质,很难全面评估对话。此外,这些指标缺乏一个有效的评分合成方法,不同的评价质量。为了解决上述问题,我们提出了一种基于相关性重新缩放的多度量评估(MME-CRS)来评估开放域对话。首先,我们建立了一个评估指标组成的5组并行的子指标称为多度量评估(MME),全面评估对话的质量。此外,我们提出了一种新的得分合成方法称为相关性重新缩放(CRS)模型之间的关系的子指标和不同的质量。在DSTC 10 track 5 subtask 1自动开放域对话评估挑战赛的最终测试数据中,MME-CRS以较大的优势排名第一,证明了该方法的有效性。
2022-06-19 cs.CL
TODSum: Task-Oriented Dialogue Summarization with State Tracking
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团);China Mobile Communication Corporation(中国移动通信集团公司)
以往的会话摘要数据集主要集中在开放领域的聊天会话,而广泛使用的面向任务的会话摘要数据集还没有被探索。自动总结这种面向任务的对话可以帮助企业收集和审查需求以改进服务。此外,以往的数据集更注重生成具有较高ROUGE分数的好摘要,但它们几乎不理解对话的结构化信息,忽略了摘要的真实性。在本文中,我们介绍了一个大规模的公共面向任务的对话摘要数据集,TODSum,它旨在总结智能体完成某些任务与用户的关键点。与现有的工作相比,TODSum遭受严重的分散信息问题,并要求严格的事实一致性,这使得它很难直接应用最近的对话摘要模型。因此,我们引入额外的对话状态知识TODSum,以提高所生成的摘要的忠实性。我们希望更好地理解会话内容有助于摘要模型生成简洁和连贯的摘要。同时,我们建立了一个全面的基准TODSum,并提出了一个状态感知的结构化对话摘要模型,集成对话状态信息和对话历史。详尽的实验和定性分析证明了对话结构指导的有效性。最后,我们讨论了当前的问题TODSum和未来工作的潜在发展方向。
2021-10-25 cs.AI cs.CL
Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation
Tsinghua University(清华大学);Microsoft Research(微软研究院)
人们对开发面向目标的对话系统越来越感兴趣,该系统通过多轮对话为用户完成复杂任务提供服务。虽然设计了许多方法来评估和提高单个对话组件的性能,但缺乏对不同组件如何对对话系统的整体性能做出贡献的全面实证研究。在本文中,我们进行了系统的评估,并提出了不同类型的对话系统,这是由不同的模块在不同的设置进行了实证分析。我们的研究结果表明,(1)使用不同组件级别的细粒度监督信号训练的管道对话系统通常比使用粗粒度标签训练的联合或端到端模型的系统获得更好的性能,(2)组件方面的单轮评估结果并不总是与对话系统的整体性能一致,(3)尽管模拟器和人类用户之间存在差异,但模拟评估仍然是昂贵的人类评估的有效替代方案,特别是在开发的早期阶段。
2020-05-15 cs.AI cs.CL
How to Build User Simulators to Train RL-based Dialog Systems
Carnegie Mellon University(卡内基梅隆大学);University of California, Davis(加州大学戴维斯分校)
用户模拟器对于训练基于强化学习(RL)的对话模型是必不可少的。仿真器的性能直接影响RL策略。然而,构建一个好的用户模拟器来模拟真实的用户行为是具有挑战性的。我们提出了一种标准化用户模拟器建设的方法,可用于社区使用相同的用户模拟器公平地比较对话系统的质量。我们提出了实现六个用户模拟器训练不同的对话规划和生成方法。然后,我们计算一组自动度量直接和间接地评估这些模拟器的质量。我们还要求人类用户通过对模拟对话进行评级并与经过训练的系统进行交互来直接或间接地评估模拟器。本文提出了一个全面的评估框架,用户模拟器的研究,并提供了一个更好的了解不同的用户模拟器的优点和缺点,以及它们对训练系统的影响。
2019-09-03 cs.AI cs.CL
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
我们解决了面向任务的会话系统的对话信念状态跟踪(DST)问题。最近利用基于transformer的模型来解决这个问题的方法已经取得了很好的效果。然而,训练这些模型在计算资源和时间方面都是昂贵的。此外,收集高质量的注释对话数据集仍然是研究人员面临的挑战,因为训练这些模型需要大量的注释。在最近成功的预训练语言模型和基于样本的学习的推动下,我们探索了基于样本的少样本学习用于对话信念状态跟踪。我们制定的DST问题作为一个2阶段的基于语义的语言建模任务和训练语言模型的任务,并提出了一个全面的实证分析,他们的单独和联合性能。我们展示了基于递归的方法在DST的少样本学习中的潜力,并为未来的改进提供了方向。
2022-04-18 cs.AI cs.CL
DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
Salesforce AI;Columbia University(哥伦比亚大学)
DialogStudio构建了最大且最多样的统一对话数据集集合,覆盖多种对话任务,并通过许可证识别和指令感知微调,在零样本和少样本实验中展现优越性能。
2024-02-05 cs.AI cs.CL
Robustness Testing of Language Understanding in Task-Oriented Dialog
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
面向任务的对话系统中的大多数语言理解模型都是在少量带注释的训练数据上训练的,并在来自相同分布的小集合中进行评估。然而,当这些模型在实践中暴露于自然语言扰动或变化时,可能导致系统故障或不期望的输出。本文对自然语言理解模型的鲁棒性进行了综合评价和分析,并介绍了现实世界对话系统中与语言理解相关的三个重要方面,即语言多样性、语音特征和噪声扰动。我们提出了一个模型无关的工具LAUG来近似自然语言的扰动测试的鲁棒性问题,在面向任务的对话。四个数据增强的方法,涵盖了这三个方面组装在LAUG,这揭示了关键的鲁棒性问题,在国家的最先进的模型。通过LAUG增强的数据集可以用来促进未来的研究面向任务的对话中的语言理解的鲁棒性测试。
2021-06-04 cs.AI cs.CL
Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
定义会话代理的动作空间并使用强化学习优化其决策过程是一个持久的挑战。通常的做法是使用手工制作的对话行为或输出词汇表,例如在神经编码器解码器中,作为动作空间。两者都有各自的局限性。本文提出了一种新的潜在的行动框架,把一个端到端的对话代理的行动空间作为潜在的变量,并开发无监督的方法,以诱导自己的行动空间的数据。全面的实验进行检查连续和离散的行动类型和两种不同的优化方法的基础上随机变分推理。结果表明,所提出的潜在行动实现了优越的经验性能的改善,比以前的字级策略梯度方法的DealOrNoDeal和MultiWoz对话。我们的详细分析也提供了关于各种潜在变量的策略学习方法的见解,可以作为在未来的研究中开发更好的潜在行动的基础。
2019-04-15 cs.AI cs.CL
Interactive Evaluation of Dialog Track at DSTC9
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
对话研究的最终目标是开发能够被真实用户有效地用于交互设置的系统。为此,我们在第九届对话系统技术挑战赛上介绍了对话轨道的交互式评估。这条轨道由两个子任务组成。第一个子任务涉及建立基于知识的响应生成模型。第二个子任务旨在通过与真实用户的交互设置来评估静态数据集之外的对话模型。我们的跟踪挑战参与者开发强大的响应生成模型,并探索将其扩展到与真实用户的来回交互的策略。从静态语料库到交互式评估的进展引入了独特的挑战,并促进了开放域对话系统的更彻底的评估。本文概述了这一轨道,包括方法和结果。此外,它还提供了如何最好地评估开放域对话模型的见解
2022-07-28 cs.CL
Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
本文从认知与语言学角度重新审视基于检索增强的个性化对话评估,指出传统表面相似度指标无法反映对话质量的深层特征,并通过LAPDOG框架分析,强调需建立更符合人类沟通原理的评估方法。
2026-07-15 cs.CL
RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling
Soochow University(苏州大学);Tianjin University(天津大学)
为了缓解多领域数据不足的问题,并为面向任务的对话建模捕捉话语现象,我们提出了一个具有丰富语义标注的大规模多领域中文Wizard-of-Oz数据集RiSAWOZ。RiSAWOZ包含11.2K人对人(H2 H)多回合语义注释对话,其中超过15万个话语跨越12个领域,这比之前所有注释的H2 H对话数据集都要大。单域对话和多域对话都有,分别占65%和35%。每一个对话都有全面的对话注释,包括自然语言描述形式的对话目标、领域、对话状态和用户侧和系统侧的动作。除了传统的对话注释外,我们还特别提供对话语现象的语言注释,例如,省略和共指,在对话中,这是有用的对话共指和省略决议的任务。除了完整的注释数据集外,我们还详细描述了数据集的数据汇集过程、统计和分析。文中给出了一系列的基准测试模型和结果,包括自然语言理解(意图检测和槽填充)、对话状态跟踪和对话上下文到文本的生成,以及共指和省略消解,为该语料库的后续研究提供了基线比较。
2020-10-17 cs.CL
VoxRole: A Comprehensive Benchmark for Evaluating Speech-Based Role-Playing Agents
针对当前角色扮演对话智能体研究忽略语音副语言特征、语音角色扮演领域缺乏标准化评估基准的问题,提出首个专门的综合基准VoxRole及两阶段构建流水线,并基于该基准评估现有口语对话模型的人设一致性表现。
2025-09-04 cs.AI cs.CL cs.SD
Social Influence Dialogue Systems: A Survey of Datasets and Models For Social Influence Tasks
University of Southern California(南加州大学);Columbia University(哥伦比亚大学);University of California Davis(加州大学戴维斯分校)
具有社会影响力的对话系统,如说服、谈判和治疗,对于将技术的使用扩展到许多现实场景至关重要。然而,现有的研究主要集中在任务导向或开放领域的情况下,分类已不足以系统地捕捉影响力技能。对于具备这些技能的对话系统,目前还没有正式的定义或分类,而且这方面的数据驱动努力也非常有限。在这项工作中,我们正式定义和介绍的类别的社会影响对话系统,影响用户的认知和情感的反应,导致思想,意见和行为的变化,通过自然的对话。我们对各种任务、数据集和方法进行了调查,汇编了七个不同领域的进展。我们讨论了检查系统之间的共性和差异,确定限制,并建议未来的发展方向。本研究为社会影响力对话系统提供了一个全面的参考,以激发在这一新兴领域进行更专门的研究和讨论。
2023-01-24 cs.CL
SUMBT+LaRL: Effective Multi-domain End-to-end Neural Task-oriented Dialog System
NAVER Green Factory;SK Telecom(SK电信);Chungnam National University(忠南国立大学)
最近出现的神经方法开发每个对话组件在面向任务的对话系统有显着改善,但优化整体系统的性能仍然是一个挑战。此外,以前的研究建模复杂的多领域的面向目标的对话在端到端的方式已经有限。在本文中,我们提出了一个有效的多域端到端可训练神经对话系统SUMBT+LaRL,它结合了两个以前的强模型,并使它们完全可微。具体而言,SUMBT+估计用户行为以及对话信念状态,LaRL模型潜在的系统动作空间,并生成响应给定的估计上下文。我们强调,三个步骤的训练框架显着和稳定地提高对话成功率:分别预训练SUMBT+和LaRL,微调整个系统,然后强化学习的对话策略。我们还介绍了新的奖励标准的强化学习的对话策略训练。然后,我们讨论了根据奖励标准和不同的对话评价方法的实验结果。因此,我们的模型在基于语料库的评估中实现了85.4%的最新成功率,并且在DSTC 8挑战提供的基于模拟器的评估中实现了81.40%的可比成功率。据我们所知,我们的工作是第一个全面的研究,一个模块化的E2E多域对话系统,学习从每个组件到整个对话策略的任务成功。
2021-08-26 cs.CL
Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Technologies Ltd.(华为技术有限公司)
在大规模语料库上训练的神经模型极大地促进了开放域对话系统的研究,然而,这样的语料库经常引入各种安全问题(例如,攻击性语言、偏见和有害行为),这些都严重阻碍了对话系统在实践中的部署。在所有这些不安全的问题中,解决社会偏见更为复杂,因为它对边缘化人口的负面影响通常是含蓄地表达出来的,因此需要进行规范性推理和严格的分析。在本文中,我们专注于我们的调查社会偏见检测对话安全问题。我们首先提出了一个新的拨号偏见框架,用于分析会话中的社会偏见语用,它考虑更全面的偏见相关的分析,而不是简单的二分法注释。基于所提出的框架,我们进一步介绍了CDail-Bias数据集,据我们所知,这是第一个注释良好的中文社会偏见对话数据集。此外,我们建立了几个对话偏见检测基准在不同的标签粒度和输入类型(话语级和上下文级)。我们表明,提出的深入分析,连同这些基准在我们的拨号偏置框架是必要的和必不可少的偏见检测任务,并有利于在实践中建立安全的对话系统。
2022-10-28 cs.CL
Incremental Risk Assessment of Progressive Elder Financial Scams via Instruction-Tuned Small Language Models
Kansas State University(堪萨斯州立大学)
该研究针对多轮渐进式老年金融诈骗,提出基于指令微调小型语言模型的累计轮次风险评估框架,构建多场景多轮诈骗数据集,验证Phi-4等小型模型可实现高效增量风险评估。
2026-09-02 cs.AI
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出包含12K购物对话的SURE数据集以刻画多模态推荐中的主观偏好与推荐行为,并基于该数据定义三个基准任务及一个由先进多模态模型驱动的基线模型。
2023-05-26 cs.AI cs.CL cs.CV
Mental Health Assessment for the Chatbots
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心);University of Chinese Academy of Sciences(中国科学院大学)
以往对对话系统评估的研究通常集中在聊天机器人生成的响应的质量评估(例如流畅性、相关性等)上,这是局部的和技术性的度量。对于一个回应数百万在线用户(包括未成年人)的聊天机器人,我们认为它应该有一个健康的心理倾向,以避免对他们产生负面的心理影响。在本文中,我们建立了几个心理健康评估维度(抑郁,焦虑,酒精成瘾,共情),并介绍了基于情感的心理健康评估方法。我们对一些著名的开放域聊天机器人进行了评估,发现所有这些聊天机器人都存在严重的心理健康问题。我们认为这是由于在数据集构建和模型训练过程中忽视了心理健康风险。我们期望引起研究者对聊天机器人严重的心理健康问题的关注,并提高聊天机器人的积极情感互动能力。
2022-01-14 cs.CL cs.HC
DLiPath: A Benchmark for the Comprehensive Assessment of Donor Liver Based on Histopathological Image Dataset
Hunan University(湖南大学);The Third Xiangya Hospital of Central South University(中南大学湘雅医院第三医院)
本文提出首个供体肝脏组织病理综合评估基准DLiPath,包含304例患者636张全切片图像及六类关键病理特征标注,并通过九个MIL基线模型验证了自动化评估的可行性。
2025-05-30 cs.AI cs.CV eess.IV
Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization
SRM Institute of Science and Technology(SRM科学技术学院);SRM University, AP(SRM大学(安得拉邦))
本文系统复现并比较了基于AMI数据集的HMNet和多种PGN对话摘要模型,通过人工评估分析其摘要质量与信息量,揭示了原始研究与复现结果之间的差异,为抽象式摘要的可复现性研究提供方法学参考。
2024-10-21 cs.AI cs.CL
An empirical assessment of deep learning approaches to task-oriented dialog management
深度学习在与会话界面相关的领域(如语音识别)提供了非常积极的结果,但其对对话管理的潜在好处尚未得到充分研究。在本文中,我们使用来自不同应用领域的三个对话语料库对深度学习对话管理的不同配置进行了评估,这些对话语料库的大小、维度和可能的系统响应各不相同。我们的研究结果使我们能够确定可能对准确性产生影响的几个方面,包括用于特征提取的方法,输入表示,上下文考虑和所采用的深层神经网络的超参数。
2021-08-07 cs.CL cs.HC cs.LG
FunctionChat-Bench: Comprehensive Evaluation of Language Models' Generative Capabilities in Korean Tool-use Dialogs
Kakao Corp.(Kakao公司)
本文提出韩语工具使用对话基准 FunctionChat-Bench,从工具调用、答案补全、槽位提问和相关性检测四个维度评估语言模型,发现单轮工具调用准确率高并不代表多轮生成能力强。
2024-11-21 cs.AI cs.CL
A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators
National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
本文系统评估30个LLM在12个元评估数据集上的话轮级与对话级多维评分、对抗鲁棒性及集成效果,以检验其作为自动对话评估器的有效性。
2024-01-20 cs.CL
MediTOD: An English Dialogue Dataset for Medical History Taking with Comprehensive Annotations
Indian Institute of Technology, Delhi(印度理工学院德里分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学);IBM Research(IBM研究院)
本文提出英文医患对话数据集MediTOD,通过医生参与的问卷式标注方案提供包含症状发生、进展和严重程度等属性的全面医学槽位标注,并在NLU、策略学习和NLG子任务上建立监督与少样本基准。
2024-10-18 cs.CL
Recent Trends in Personalized Dialogue Generation: A Review of Datasets, Methodologies, and Evaluations
University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP)
本文系统综述了个性化对话生成的近期研究,涵盖22个数据集、2021-2023年间17项顶级会议论文及LLMs进展,总结了方法论、评估指标与未来挑战。
2024-05-28 cs.AI cs.CL
Impact of enriched meaning representations for language generation in dialogue tasks: A comprehensive exploration of the relevance of tasks, corpora and metrics
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
本文研究了在对话任务中,通过提供任务示范器是否能提升微调模型的生成质量,分析了不同领域、语料特征和评估指标对生成质量的影响,发现意义增强输入在复杂任务和小数据集上效果显著,且语义指标比词汇指标更准确。
2026-03-31 cs.AI cs.CL
Investigating the Impact of Pre-trained Language Models on Dialog Evaluation
National University of Singapore(新加坡国立大学);Robert Bosch (SEA)(罗伯特博世(东南亚));Universidad Politécnica de Madrid(马德里理工大学);Kriston AI Lab(Kriston人工智能实验室)
最近,有一个在自动开放域对话评估中应用预训练语言模型(Pr-LM)的兴趣激增。Pr-LM为解决多领域评估挑战提供了一个有前途的方向。然而,不同的Pr-LM对自动度量性能的影响还没有得到很好的理解。本文研究了8种不同的Pr-LM,并研究了它们对三种典型的自动对话评估指标的影响。具体来说,我们分析了如何选择的Pr-LM影响自动度量的性能。对每个指标进行广泛的相关性分析,以评估不同Pr-LM沿各个轴的影响,包括预训练目标,对话评估标准,模型大小和跨数据集鲁棒性。这项研究作为第一次全面评估不同的Pr-LM对自动对话评价的影响。
2021-11-02 cs.CL
ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark
Sony Group Corporation(索尼集团公司);EPFL(洛桑联邦理工学院);Sony AI(索尼人工智能公司)
本文提出 ComperDial 基准,包含来自 99 个对话智能体的 10,395 个人工评分回复,并基于此设计了与人类判断更相关的自动评估指标 CPDScore,以推动开放域对话评估发展。
2024-06-17 cs.CL
CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation
Alibaba Group(阿里巴巴集团)
实用的对话系统需要处理各种知识源,嘈杂的用户表达,以及注释数据的短缺。为了更好地解决上述问题,我们提出了CGoDial,新的具有挑战性的和全面的中文基准多领域面向目标的对话评估。它总共包含96,763个对话会话和574,949个对话回合,覆盖了三个具有不同知识源的数据集:1)基于槽的对话(SBD)数据集,具有表形式的知识,2)基于流的对话(FBD)数据集,具有树形式的知识,以及基于检索的对话(RBD)数据集,具有候选人形式的知识。为了弥合学术基准和口语对话场景之间的差距,我们要么从真实对话中收集数据,要么通过众包将口语特征添加到现有数据集中。所提出的实验设置包括使用整个训练集或Few-Shot训练集进行训练,以及使用标准测试集或硬测试子集进行测试的组合,这可以评估模型在一般预测,快速适应性和可靠鲁棒性方面的能力。
2022-11-21 cs.CL
Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction
Idiap Research Institute(伊迪亚普研究所);University of Zurich(苏黎世大学);Brno University of Technology(布尔诺理工大学)
本文提出Dialog2Flow嵌入,通过软对比预训练将对话话语按动作功能映射到潜在空间并聚类量化,从而自动提取对话工作流,在多个领域上优于现有句子嵌入方法。
2024-11-05 cs.AI cs.CL cs.LG
DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technical University Berlin(柏林技术大学);Berlin Institute of Health (BIH)(柏林健康研究所(BIH));Tilburg University(蒂尔堡大学);Universidad de Buenos Aires(布宜诺斯艾利斯大学);Independent Researcher(独立研究者);Bundesinstitut für Risikobewertung (BfR)(风险评估联邦机构(BfR))
提出DialogPII多语言合成对话数据集,覆盖8种场景、19种实体类型和11种语言,通过半自动生成、语音合成与转录、人工校正构建,并发布基线模型和验证结果。
2026-06-29 cs.CL
A Video-grounded Dialogue Dataset and Metric for Event-driven Activities
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究所(AIST));Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出了VDAct数据集和VDEval评估指标,通过包含更长更复杂的视频和基于会话上下文的评估,解决了事件驱动活动中视频对话理解的挑战。
2025-01-30 cs.CL cs.CV