WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning(印度机器学习);Amazon(亚马逊)
多回合设置中的智能对话系统不仅应该生成高质量的响应,而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量,但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据,用于学习对话策略和奖励估计器,并使策略采取行动(生成响应),这可以预见成功(奖励)对话的未来方向。我们模拟一个代理和用户之间的对话(建模类似于代理与监督学习目标)相互作用。代理使用动态阻塞来生成排名不同的响应,并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估(作为弱注释):语义相关性,语义一致性和一致性流。两个基准的实证研究表明,我们的模型可以显着优于响应质量,并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems
Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学)
本研究利用大语言模型生成反事实对话扩充测试集,评估开源LLM在任务型对话系统中对用户不满识别的鲁棒性,发现其优于微调模型,并发布人工标注数据以促进研究。
2024-08-20 cs.CL
One "Ruler" for All Languages: Multi-Lingual Dialogue Evaluation with Adversarial Multi-Task Learning
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
开放域对话系统性能的自动评估是一个具有挑战性的问题。最近的工作在神经网络为基础的指标显示了有前途的机会,自动对话评估。然而,现有的方法主要集中在单语评估,其中训练的度量不够灵活,无法在不同语言之间进行迁移。为了解决这个问题,我们提出了一个对抗性多任务神经度量(ADVMT)多语言对话评估,跨语言共享特征提取。我们用两种不同的语言来评估所提出的模型。实验表明,对抗性多任务神经指标实现了与人类注释的高度相关性,这比单语和各种现有指标产生更好的性能。
2018-05-08 cs.CL
ACCENT: An Automatic Event Commonsense Evaluation Metric for Open-Domain Dialogue Systems
University of Southern California / Information Sciences Institute(南加州大学 / 信息科学研究所);Peking University(北京大学);AWS AI Labs(AWS AI 实验室);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对开放域对话系统常识评估难题,该研究提出依托常识知识库的事件常识评估指标ACCENT,构建首个相关公开数据集,实验显示其与人类判断相关性优于现有基线。
2023-11-03 cs.CL
Assessing Dialogue Systems with Distribution Distances
University of Science and Technology of China(中国科学技术大学);University of Trento(特伦托大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
开发对话系统的一个重要方面是如何评估和比较不同系统的性能。现有的自动评估指标是基于回合级质量评估,并使用平均分数进行系统级比较。在本文中,我们建议通过计算其生成的会话和真实世界的会话之间的分布距离来衡量对话系统的性能。具体而言,两个分布明智的指标,FBD和PRD,开发和评估。几个对话语料库的实验表明,我们提出的指标更好地与人类的判断比现有的指标。
2021-05-27 cs.CL
Modeling and Utilizing User's Internal State in Movie Recommendation Dialogue
Kyoto University(京都大学)
智能对话系统被认为是人机之间的一种新的接口。这种智能对话系统应该估计用户在对话中的内部状态(UIS),并根据估计结果适当地改变其响应。本文以电影推荐对话为例,对UIS进行了对话建模,并在此基础上构建了一个响应变化的对话系统。基于对话数据分析,我们将UIS建模为三个要素:知识,兴趣和参与。我们训练的UIS估计与建模的UIS的注释对话语料库。估计器实现了较高的估计精度。我们还设计了响应更改规则,根据每个UIS更改系统的响应。我们证实,使用UIS估计器的结果的响应变化提高了系统话语的自然度在对话明智的评估和话语明智的评估。
2020-12-05 cs.CL
PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
开放域生成式对话系统在过去的几年里引起了人们的极大关注。目前,如何对它们进行自动评价,仍然是一个具有很大挑战性的问题。据我们所知,目前对开放域生成式对话系统的自动评价方法主要有三种:(1)基于词重叠的评价方法;(2)基于嵌入的评价方法;(3)基于学习的评价方法。由于缺乏系统的比较,目前尚不清楚哪种度量标准更有效。在本文中,我们将首先在相同的实验设置上系统地测量各种自动评估指标,以检查哪种是最好的。通过大量的实验,基于学习的评价指标被证明是最有效的评价开放域生成式对话系统的指标。此外,我们观察到几乎所有基于学习的度量都依赖于负采样机制,该机制获得了一个极不平衡和低质量的数据集来训练分数模型。为了解决这个问题,我们提出了一种新的和可行的基于学习的度量,可以显着提高与人类判断的相关性,通过使用增强的阳性样本和有价值的阴性样本,称为PONE。大量的实验表明,我们提出的评估方法显着优于最先进的基于学习的评估方法,平均相关性提高了13.18%。此外,我们已经公开发布了我们提出的方法和最先进的基线的代码。
2020-04-06 cs.CL
Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark
University of Alberta(阿尔伯塔大学);Google Research(谷歌研究院);New York University(纽约大学)
由大语言模型驱动的基于知识的对话系统通常生成的响应虽然流畅,但不能归因于相关的信息源。要想在不存在这一问题的模型方面取得进展,就需要能够量化其普遍性的评价指标。为此,我们介绍了基准评估接地互动(BEGIN),由12k的对话轮神经对话系统培训三个知识接地的对话语料库。我们收集人类注释,评估模型的响应在多大程度上可以归因于给定的背景信息。然后,我们使用BEGIN来分析八个评估指标。我们发现,这些指标依赖于虚假的相关性,不可靠区分可归因的抽象反应,从不可归因的,并执行时,知识源更长的实质上更差。我们的研究结果强调,需要更复杂和强大的评估指标,以知识为基础的对话。我们在https://github.com/google/BEGIN-dataset上公开提供BEGIN。
2022-06-28 cs.CL
A Review of Evaluation Techniques for Social Dialogue Systems
Heriot-Watt University(赫瑞瓦特大学)
与面向目标的对话相比,社会对话没有明确的衡量任务成功的标准。因此,对这些系统的评估是非常困难的。在本文中,我们回顾了当前的评估方法,重点是自动度量。我们的结论是,回合制的指标往往忽略了上下文,并没有考虑到几个答复是有效的,而对话结束的奖励主要是手工制作的。两者都缺乏人类感知的基础。
2017-09-13 cs.CL
Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学);College of Natural Sciences(自然科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
尽管在开放领域的对话系统的进步,这样的系统的自动评估仍然是一个具有挑战性的问题。传统的基于引用的指标(如BLEU)是无效的,因为对于给定的上下文可能有许多有效的响应,这些响应与引用响应没有共同的单词。最近的一项工作提出了参考度量和未参考度量混合评估例程(RUBER),将基于学习的度量(预测生成的响应与给定查询之间的相关性)与基于参考的度量相结合;它与人类判断具有高度相关性。在本文中,我们探索使用上下文词嵌入来计算更准确的相关性分数,从而更好的评价指标。实验表明,我们的评估指标优于在静态嵌入上训练的RUBER。
2019-04-24 cs.CL
Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4
Universidad Politécnica de Madrid(马德里理工大学);National University of Singapore(新加坡国立大学);Tencent AI Lab(腾讯人工智能实验室);University of Southern California(南加州大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文概述了DSTC11 Track 4,旨在推动开放域对话系统在多领域、多维度和多语言下可靠的自动评估指标,介绍了提供的数据集、基线及两个子任务的提交与结果。
2023-09-14 cs.CL
Joint Turn and Dialogue level User Satisfaction Estimation on Multi-Domain Conversations
LinkedIn(领英);Amazon(亚马逊)
对话级别质量估计对于优化数据驱动的对话管理至关重要。目前的自动化方法来估计转向和对话级别的用户满意度采用手工制作的功能,并依赖于复杂的注释方案,这降低了训练模型的泛化能力。我们提出了一种新的用户满意度估计方法,最大限度地减少了自适应多任务损失函数,以共同预测轮级响应质量标签提供的专家和明确的对话级评级提供的最终用户。提出的基于BiLSTM的深度神经网络模型自动权衡每个回合对估计对话级别评级的贡献,隐式编码时间依赖性,并消除了手工制作功能的需要。在从28个Alexa域、两个对话系统和三个用户组中采样的对话上,联合对话级满意度估计模型的线性相关性能分别比基线深度神经网络和基准梯度提升回归模型提高了27%(0.43->0.70)和7%(0.63->0.70)。
2020-10-08 cs.AI cs.CL cs.LG
DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);University of California, Los Angeles(加州大学洛杉矶分校)
自动评估指标是必不可少的开放领域的对话系统的快速发展,因为它们有助于超参数调整和模型之间的比较。尽管最近提出的可训练会话级度量已经显示出令人鼓舞的结果,但是度量的质量强烈地依赖于训练数据的质量。先前的作品主要采取启发式文本级操作(例如,话语洗牌)引导不连贯的对话(负面的例子)从连贯的对话(正面的例子)。这种方法不足以适当反映高级对话模式与人类互动中出现的不一致性。为了解决这个问题,我们提出了DEAM,对话一致性评估指标,依赖于抽象意义表示(AMR)应用语义级操作不连贯(负)的数据生成。AMR自然地促进在语义水平上注入各种类型的不连贯源,例如共指不一致、不相关、矛盾和减少参与,从而导致更自然的不连贯样本。我们的实验表明,DEAM实现了更高的相关性与人类的判断相比,基线方法在几个对话数据集的显着利润率。我们还表明,DEAM可以区分基线操作产生的连贯和不连贯的对话,而这些基线模型不能检测到DEAM产生的不连贯的例子。我们的研究结果表明,AMR为基础的语义操作自然的负面例子生成的潜力。
2022-03-18 cs.CL
Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression
Nara Institute of Science and Technology(奈良科学技术大学);RIKEN(理化学研究所);NTT Communication Science Laboratories(NTT通信科学研究所);Institute of Science Tokyo(东京科学大学)
本研究提出利用监督微调LLM构建12个对话印象指标的奖励模型,并通过RLAIF微调对话模型,有效提升了对话回应的自然度及整体印象。
2025-01-25 cs.CL
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
在面向任务的对话系统中,对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合,因为监督信号(或奖励)仅在对话结束时提供。为了解决这个问题,已经引入了奖励学习来从最优策略的状态-动作对中学习,以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释(即,专家演示),这是劳动密集型的。为了克服这一局限性,我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数(即,状态-动作序列),或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入,以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ,一个基准多域数据集。
2020-05-09 cs.AI cs.CL
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
我们调查评估指标的对话响应生成系统,监督标签,如任务完成,是不可用的。响应生成的最新工作采用了来自机器翻译的度量,以将模型生成的响应与单个目标响应进行比较。我们发现,这些指标与非技术Twitter域中的人类判断非常弱相关,而在技术Ubuntu域中根本不相关。我们提供了定量和定性的结果,突出了现有指标的具体弱点,并提供建议,为对话系统更好的自动评估指标的未来发展。
2017-01-03 cs.AI cs.CL cs.LG
Dialogue Evaluation with Offline Reinforcement Learning
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
面向任务的对话系统旨在通过自然语言交互实现用户目标。理想情况下,它们是由人类用户进行评估的,但是在开发阶段的每个迭代中都无法实现。模拟用户可能是一个替代方案,但他们的发展是不平凡的。因此,研究人员求助于现有的人与人之间的语料库,这是更实用,更容易复制的离线指标。不幸的是,它们在反映对话系统的真实性能方面是有限的。例如,BLEU与人类判断的相关性很差,现有的基于语料库的指标(如成功率)忽略了对话上下文的不匹配。仍然需要一个可靠的度量面向任务的系统,具有良好的泛化能力和与人类判断的强相关性。在本文中,我们提出了使用离线强化学习的对话评估的基础上的静态语料库。这样的评估器通常被称为批评者,并用于策略优化。我们更进一步,表明离线RL评论家可以在静态语料库上训练任何对话系统作为外部评估者,允许在各种类型的系统之间进行对话性能比较。这种方法的好处是语料库和模型独立,同时实现与人类判断的强相关性,我们通过交互式用户试验证实。
2022-09-02 cs.CL
Minority-Aware Satisfaction Estimation in Dialogue Systems via Preference-Adaptive Reinforcement Learning
Graduate School of Informatics, Kyoto University, Japan(信息学研究生学校,京都大学,日本)
本文针对对话系统中少数群体满意度估计被忽视的问题,提出融合个体与群体偏好的统一框架,通过CoPeR推理链、M2PC聚类和PAda-PPO强化学习实现偏好自适应对齐,在情感支持对话数据集上显著提升满意度估计性能。
2025-11-07 cs.CL
Probing the Robustness of Trained Metrics for Conversational Dialogue Systems
Zurich University of Applied Sciences (ZHAW)(苏黎世应用科学大学)
本文介绍了一种对抗性的方法来压力测试训练指标,以评估会话对话系统。该方法利用强化学习来找到从训练的度量中得出最佳分数的响应策略。我们应用我们的方法来测试最近提出的训练指标。我们发现,他们都很容易给相对简单和明显有缺陷的策略所产生的反应,我们的方法收敛高分。例如,简单地复制对话上下文的一部分,以形成一个响应产生竞争力的分数,甚至优于人类写的响应。
2022-02-28 cs.AI cs.CL
Improving Interaction Quality Estimation with BiLSTMs and the Impact on Dialogue Policy Learning
Daimler AG(戴姆勒股份公司);Sindelfingen, Germany(斯图加特辛德尔芬根(德国))
在统计口语对话系统中学习合适且表现良好的对话行为多年来一直是研究的焦点。虽然大多数基于强化学习的工作都采用了客观的衡量标准,如任务成功率来建模奖励信号,但我们使用基于用户满意度估计的奖励。我们提出了一种新的估计,并表明它优于所有以前的估计,同时学习时间依赖隐式。此外,我们将这种新的用户满意度估计模型应用于模拟实验中,其中满意度估计模型在一个域上进行训练,并应用于许多其他域,这些域涵盖了类似的任务。我们表明,应用该模型的结果在更高的估计满意度,类似的任务成功率和更高的鲁棒性噪声。
2020-01-21 cs.AI cs.CL stat.ML
Modeling User Satisfaction Dynamics in Dialogue via Hawkes Process
University College London(伦敦大学学院);National University of Singapore(新加坡国立大学)
针对对话评估中现有用户满意度估计器忽略跨轮次满意度动态的问题,提出基于Hawkes过程的ASAP估计器,将满意度建模为事件序列,在四个基准数据集上显著优于基线方法。
2023-05-21 cs.CL
Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation
Carnegie Mellon University(卡内基梅隆大学)
目标引导的响应生成使得对话系统能够将对话从对话上下文平滑地过渡到目标句子。这种控制对于设计将对话引导到特定目标的对话系统是有用的,例如创建非侵扰性推荐或在对话中引入新主题。在本文中,我们介绍了一种新的技术,目标引导的响应生成,首先找到一个桥接路径的常识性知识概念之间的源和目标,然后使用确定的桥接路径生成过渡响应。此外,我们提出的技术,重新利用现有的对话数据集为目标引导的生成。实验表明,所提出的技术优于各种基线上这项任务。最后,我们观察到,现有的自动化指标,这项任务的相关性很差,与人类的判断评级。我们提出了一种新的评价指标,我们证明是更可靠的目标导向的响应评估。我们的工作通常使对话系统设计者能够对他们的系统产生的对话进行更多的控制。
2022-05-19 cs.CL
Towards Quantifiable Dialogue Coherence Evaluation
Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
对话连贯性的自动评估是开发有前途的对话系统的关键,已引起越来越多的关注。然而,现有的度量标准有两个主要的局限性:(a)它们大多是在简化的两级设置(连贯与不连贯)中训练的,而人类给出的是Likert类型的多级连贯性分数,被称为“可量化”;(b)由于在训练期间缺乏人类指导,它们预测的连贯性分数无法与实际的人类评级标准保持一致。为了解决这些局限性,我们提出了可量化的对话一致性评价(QuantiDCE),一个新的框架,旨在训练一个可量化的对话一致性度量,可以反映实际的人类评级标准。具体而言,QuantiDCE包括两个训练阶段,多级排名(MLR)预训练和知识蒸馏(KD)微调。在MLR预训练过程中,提出了一种新的MLR损失,使模型能够学习相干度的粗略判断。然后,在KD微调期间,预训练的模型被进一步微调,以仅用很少的人工注释数据来学习实际的人类评级标准。为了在有限的微调数据下也能推广泛化能力,引入了一种新的KD正则化来保留在预训练阶段学习到的知识。实验结果表明,由QuantiDCE训练的模型与人类判断的相关性比其他最先进的指标更强。
2021-07-22 cs.CL
Measuring Conversational Fluidity in Automated Dialogue Agents
Queen Mary College, University of London(伦敦大学玛丽女王学院);Constellation AI
我们提出了一个自动化的评估方法来衡量流动性会话对话系统。该方法将各种最先进的自然语言工具结合到分类器中,并对这些对话进行人工评分以训练自动判断模型。我们的实验表明,结果是现有的测量流动性的指标的改进。
2019-10-25 cs.CL
Towards a Metric for Automated Conversational Dialogue System Evaluation and Improvement
Zurich University of Applied Sciences(苏黎世应用科技大学)
我们提出了“自动判断”,会话对话系统的自动评估方法。该方法通过首先基于自对话(即,对话系统与自身对话)生成对话来工作。然后,它使用人类对这些对话的评分来训练自动判断模型。我们的实验表明,AutoJudge与人类评级相关性很好,可以用来自动评估对话系统,即使在部署的系统。在第二部分中,我们尝试应用自动判断来改进现有系统。这对于重新排序一组候选话语很有效。然而,我们的实验表明,AutoJudge不能作为强化学习的奖励,尽管该指标可以区分好与坏的对话。我们讨论了潜在的原因,但在这里已经指出,这仍然是一个有待进一步研究的开放问题。
2020-06-25 cs.AI cs.CL cs.LG
Deconstruct to Reconstruct a Configurable Evaluation Metric for Open-Domain Dialogue Systems
The University of Tokyo(东京大学);IBM-Research Tokyo(IBM东京研究院);National Institute of Informatics(日本国立信息学研究所)
已经提出了许多自动评估指标来对开放域对话中的响应的整体质量进行评分。一般来说,整体素质由各个方面组成,如相关性,特异性和同理心,每个方面的重要性根据任务而有所不同。例如,在点餐对话任务中,具体性是强制性的,而在语言教学对话系统中,流利性是优选的。然而,现有的度量标准并没有被设计为应对这种灵活性。例如,BLEU分数基本上只依赖于单词重叠,而BERTScore依赖于参考和候选响应之间的语义相似性。因此,它们不能保证捕获所需的方面,即,的特异性为了设计一个对任务灵活的指标,我们首先建议将这些品质分为三类:可理解性,敏感性和可爱性,其中可爱性是任务所必需的品质的组合。我们还提出了一个简单的方法来合成每个方面的指标,以获得一个单一的指标,称为USL-H,这代表了可理解性,敏感性和层次结构中的相似性。我们证明了USL-H评分与人类判断具有良好的相关性,并保持其对不同方面和指标的可配置性。
2020-11-01 cs.AI cs.CL
Generative Induction of Dialogue Task Schemas with Streaming Refinement and Simulated Interactions
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
本文提出一种基于生成式文本生成与流式细化、结合模拟交互的槽位模式归纳方法,并改进评估数据与指标,推动对话系统理解与开发。
2025-04-25 cs.CL
User Response and Sentiment Prediction for Automatic Dialogue Evaluation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Amazon Alexa AI(亚马逊Alexa人工智能部门)
自动评估有利于开放域对话系统的开发。然而,标准的词重叠度量(BLEU,ROUGE)不相关以及与人类的判断开放域对话系统。在这项工作中,我们建议使用下一个用户话语的情绪,转向或对话级别的评估。具体来说,我们提出了三种方法:一种是直接预测下一个情感,另外两种是使用话语或反馈生成器模型预测下一个用户话语,然后对其情感进行分类。实验表明,我们的模型优于现有的自动评价指标的书面和口头开放域对话数据集。
2022-02-16 cs.CL
How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Facebook AI Research (FAIR)(Facebook 人工智能研究院(FAIR));Canada CIFAR AI Chair(加拿大 CIFAR 人工智能讲席教授);École Polytechnique de Montréal(蒙特利尔理工学院)
虽然生成式对话建模被广泛认为是一种语言建模任务,但该任务要求智能体对其输入文本具有复杂的自然语言理解,以便与用户进行有意义的交互。使用的自动度量评估生成的文本的质量作为代理的整体交互的代理。这些指标早先被证明与人类判断无关。在这项工作中,我们观察到,由于缺乏足够的信息进行适当的评估,对话代理人的人类评估可能是不确定的。自动度量是确定性的,但很肤浅,人工评估可能是相关的,但不确定。为了弥补这一差距,在评估,我们建议设计一套探测任务来评估对话模型。手工制作的任务旨在定量评估生成对话模型对生成文本的理解,而不是对生成文本的标记级评估。探测任务是确定性的,就像自动度量一样,在设计时需要人工判断;从两个世界中获益。通过对探测任务的实验,我们观察到,与基于RNN的架构不同,Transformer模型可能不会学习理解输入文本,尽管其生成的文本与目标文本具有更高的重叠。
2020-08-24 cs.AI cs.CL
Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset
KAIST(韩国科学技术院)
在开放域对话中,预测不确定性主要在域转移设置中进行评估,以应对分布外的输入。然而,在现实世界的对话中,分配转移输入可能比分配外输入更广泛。为了评估这一点,我们首先提出了两种方法,未知词(UW)和上下文不足(IC),通过对话数据集的腐败实现逐渐的分布变化。然后,我们调查的准确性和校准的分布变化的影响。我们的实验表明,现有的不确定性估计方法的性能不断下降,加强移位。结果表明,所提出的方法可能是有用的,用于评估校准的对话系统下的分布转移。
2021-09-01 cs.CL
EnDex: Evaluation of Dialogue Engagingness at Scale
University of California, Los Angeles(加州大学洛杉矶分校);Dartmouth College(达特茅斯学院)
我们提出了EnDex,这是第一个基于人类反应的模型来评估对话的真实性。EnDex在基于Reddit的80k参与数据集(RED)上进行训练,该数据集使用一种新型的远程监督框架进行管理。参与度是一个关键的衡量标准,它可以捕捉人工智能对话系统的高质量,并密切反映实际的用户体验。然而,数据的短缺,加上抽象和广泛的定义,使它具有挑战性的开发一个自动度量。我们的工作背离了主流的方法,使用合成的负面的例子来训练二进制分类器,而不是,提出了一种解决方案,使用远程监督从人的反应反馈。为了支持我们的EnDex指标的合理性,我们提供了参与的理论基础,广泛的消融研究,以及五个相关数据集的高相关性的经验证据。我们将在论文发表后发布代码,现成的EnDex模型和大规模数据集,以促进未来的研究。
2022-10-22 cs.CL
Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
Carnegie Mellon University(卡内基梅隆大学)
本文的目的是通过多参考评估,以减轻开放域对话系统的自动评估的缺点。现有的指标已被证明与人类的判断,特别是在开放域对话相关性差。一种替代方案是收集人工注释以进行评估,这可能是昂贵且耗时的。为了证明多参考评估的有效性,我们增加了DailyDialog的测试集与多个参考。一系列的实验表明,使用多个参考的结果,提高了几个自动度量和人类判断的质量和多样性的系统输出之间的相关性。
2019-09-08 cs.CL
Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
本文从认知与语言学角度重新审视基于检索增强的个性化对话评估,指出传统表面相似度指标无法反映对话质量的深层特征,并通过LAPDOG框架分析,强调需建立更符合人类沟通原理的评估方法。
2026-07-15 cs.CL
Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
该方法将预先训练好的模型编码的对话历史信息与当前系统话语的意义表示相结合,实现了面向任务的对话中的语境语言生成。我们利用预训练的多上下文ConveRT模型在从头开始训练的模型中进行上下文表示;并利用紧接在前的用户话语在从预训练的GPT-2改编的模型中生成上下文。MultiWOZ数据集的两个实验都表明,由预训练模型编码的上下文信息提高了自动度量和人工评估中响应生成的性能。我们提出的上下文生成器能够更好地适应正在进行的对话生成的反应,更高的品种。分析上下文大小表明,较长的上下文并不会自动导致更好的性能,但紧接在前的用户话语上下文生成起着至关重要的作用。此外,我们还提出了一个基于GPT的生成模型的重排序器。实验结果表明,重新排序器选择的响应对自动度量有显著的改善。
2021-11-28 cs.CL
Modeling Performance in Open-Domain Dialogue with PARADISE
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近,关于口语对话系统的工作出现了爆炸式的增长,同时人们对开放域系统的兴趣也在增加,这些系统可以就电影、书籍和音乐等流行话题进行随意的对话。这些系统旨在社交参与,娱乐,甚至同情他们的用户。由于这些社会目标的实现很难衡量,最近的研究使用对话长度或人类评级作为评估指标,并开发了自动计算新指标的方法,如连贯性,一致性,相关性和参与度。在这里,我们开发了一个Paradise模型来预测Athena的性能,Athena是一个对话系统,它参与了与真实用户的数千次对话,同时作为Alexa Prize的决赛选手参加了比赛。我们使用用户评分和对话长度作为对话质量的指标,并尝试使用系统相关和独立的自动功能来预测这些指标。我们的目标是学习一个通用的目标函数,该函数可用于实时的优化任何Alexa Prize系统的对话选择,并评估其性能。我们用于预测用户评级的最佳模型与DistilBert模型的R $^2$为0.136,而用于预测长度与系统无关特征的最佳模型的R $^2$为0.865,这表明会话长度可能是对话系统自动训练的更可靠的度量。
2021-10-21 cs.AI cs.CL
Key-Value Retrieval Networks for Task-Oriented Dialogue
Ford Research Innovation Center(福特研究创新中心)
神经任务导向的对话系统通常难以与知识库平滑地接口。在这项工作中,我们试图通过提出一种新的神经对话代理来解决这个问题,该代理能够通过一种新型的键值检索机制有效地维持接地的多域话语。该模型是端到端可区分的,并且不需要显式地对对话状态或信念跟踪器进行建模。我们还发布了一个包含3,031个对话的新数据集,这些对话基于底层知识库,涵盖车载个人助理领域的三个不同任务:日历调度、天气信息检索和兴趣点导航。我们的架构同时对来自所有领域的数据进行训练,并且根据自动和人工评估指标,在所提供的领域上显著优于基于规则的竞争系统和其他现有的神经对话架构。
2017-07-14 cs.CL
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University(赫瑞-瓦特大学);Adeptmind Inc.(Adeptmind公司)
在这项工作中,我们调查的任务,文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话(MMD)数据集(Saha等人,2017年,在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器(HRED)模型,并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点,通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
How to Evaluate Your Dialogue Models: A Review of Approaches
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
评价对话系统的质量是一个未充分研究的问题。评价方法的最新演变促使进行了这项调查,其中寻求对现有方法进行明确和全面的分析。我们首先将评价方法分为三类,即,自动评估、人工参与评估和基于用户模拟器的评估。然后,每个类都涵盖了主要功能和相关的评估指标。存在的基准,适合于对话技术的评估也进行了详细讨论。最后指出了一些有待解决的问题,以期将评价方法引入一个新的领域.
2021-08-03 cs.CL
Evaluating Coherence in Dialogue Systems using Entailment
University of Alberta(阿尔伯塔大学)
由于可能的正确答案的多样性,评估开放域对话系统是困难的。BLEU等自动指标与人类注释的相关性很弱,导致不同模型和数据集之间存在显著偏差。一些研究人员求助于人类判断实验来评估响应质量,这是昂贵的,耗时的,并且不可扩展。此外,评委们倾向于评价少数对话,这意味着评价结构的微小差异可能导致不同的结果。在本文中,我们提出了可解释的指标评估主题的连贯性,利用分布式句子表示。此外,我们引入了可计算的近似的人类判断的基础上会话的连贯性,采用国家的最先进的蕴涵技术。结果表明,我们的指标可以作为人类判断的替代品,可以很容易地在大规模数据集上评估对话系统,并允许对响应的质量进行无偏估计。
2020-04-01 cs.CL cs.LG
Talking with Machines: A Comprehensive Survey of Emergent Dialogue Systems
University of California, Berkeley(加州大学伯克利分校)
本文全面综述对话系统的历史发展、核心方法、训练数据集及评估指标,涵盖传统系统与基于Transformer的先进方法,并展望未来挑战与前景。
2023-05-10 cs.CL
Constructing Multi-Modal Dialogue Dataset by Replacing Text with Semantically Relevant Images
KAIST(韩国科学技术院)
在多模态对话系统中,重要的是允许使用图像作为多轮对话的一部分。训练这样的对话系统通常需要由涉及图像的多轮对话组成的大规模数据集,但是这样的数据集很少存在。作为回应,本文提出了一个45k多模态对话数据集,以最少的人为干预创建。我们创建这样一个数据集的方法包括(1)准备和预处理文本对话数据集,(2)通过使用文本到图像替换技术创建图像混合对话,以及(3)采用基于上下文相似性的过滤步骤来确保数据集的上下文一致性。为了评估我们的数据集的有效性,我们设计了一个简单的检索模型的对话句子预测任务。对这些任务的自动度量和人类评估结果表明,我们的数据集可以有效地用作多模态对话系统的训练数据,这些系统需要以上下文感知的方式理解图像和文本。我们的数据集和生成代码可以在https://github.com/shh1574/multi-modal-dialogue-dataset上找到。
2021-07-19 cs.CL
Generating Informative Dialogue Responses with Keywords-Guided Networks
Beijng Institute of Technology(北京理工大学)
近年来,开放域对话系统引起了越来越多的关注。它们中的大多数使用序列到序列(Seq 2Seq)架构来生成响应。然而,传统的基于Seq 2Seq的开放域对话模型倾向于生成通用和安全的响应,与人类响应不同,这些响应的信息量较少。在本文中,我们提出了一种简单但有效的关键词引导的序列到序列模型(KW-Seq 2Seq),该模型使用关键词信息作为指导来生成开放域对话响应。具体来说,KW-Seq 2Seq首先使用关键词解码器来预测一些主题关键词,然后在它们的指导下生成最终响应。大量的实验表明,KW-Seq 2Seq模型产生了更多信息,连贯和流畅的响应,在自动和人工评估指标方面都有实质性的收获。
2020-07-03 cs.CL
Neural Emoji Recommendation in Dialogue Systems
Tsinghua University(清华大学);Baidu Inc.(百度公司)
Jumeji是对话的重要组成部分,几乎在所有社交平台上都得到了广泛的应用。它可以表达出超越文本的细腻情感,从而使用户之间的交流更加顺畅,使对话系统更加拟人化和生动。在本文中,我们专注于自动推荐适当的表情符号给定的上下文信息在多轮对话系统,其中的挑战在于理解整个对话。更具体地说,我们提出了分层长短期记忆模型(H-LSTM)来构建对话表示,然后使用softmax分类器进行表情符号分类。我们在真实世界的数据集上对我们的模型进行了表情符号分类任务的评估,并对参数敏感性和案例研究进行了进一步的探索。实验结果表明,我们的方法在所有评估指标上都取得了最好的性能。实验结果表明,该方法能够很好地捕捉对话中的上下文信息和情感流,对表情符号推荐具有重要意义。
2016-12-14 cs.CL
CREDIT: Coarse-to-Fine Sequence Generation for Dialogue State Tracking
Shanghai Jiao Tong University(上海交通大学)
在对话系统中,对话状态跟踪器旨在基于整个对话历史准确地找到当前对话状态的紧凑表示。虽然以前的方法通常定义为一个单独的三元组({ \em域槽值})的组合对话状态,在本文中,我们采用了结构化的状态表示和铸造对话状态跟踪作为一个序列生成问题。基于这个新的公式,我们提出了一种{ \bf C} a { \bf R}s{ \bf E}-精细{ \bf DI}重态{ \bf T}的racking({ \bf CREDIT})方法。利用结构化的状态表示,这是一个标记的语言序列,我们可以进一步微调预训练的模型(通过监督学习),通过优化自然语言度量与策略梯度方法。像所有生成状态跟踪方法一样,CREDIT不依赖于枚举所有可能的槽值的预定义对话本体。实验表明,我们的跟踪器在MultiWOZ 2.0和MultiWOZ 2.1数据集的五个域中实现了令人鼓舞的联合目标精度。
2020-09-22 cs.CL
DiQAD: A Benchmark Dataset for End-to-End Open-domain Dialogue Assessment
Shandong University(山东大学);Baidu Inc.(百度公司);Leiden University(莱顿大学)
本文发布了大规模开放域对话质量评估基准数据集DiQAD,基于符合人类判断的维度对约10万条真实用户对话进行标注,并报告基线模型性能作为基准。
2023-10-25 cs.CL
A Context-aware Natural Language Generator for Dialogue Systems
Charles University in Prague(布拉格查理大学)
我们提出了一种新的自然语言生成系统的口语对话系统能够夹带(适应)用户的说话方式,提供上下文适当的反应。该生成器是基于递归神经网络和序列到序列的方法。它完全可以从包括先前上下文以及要生成的响应的数据中进行训练。我们表明,上下文感知生成器产生了显着的改进,在自动度量和人类成对偏好测试的基线。
2016-08-25 cs.CL
TD-EVAL: Revisiting Task-Oriented Dialogue Evaluation by Combining Turn-Level Precision with Dialogue-Level Comparisons
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对任务型对话系统评估方法不足的问题,提出两步评估框架TD-EVAL,结合细粒度轮级分析与对话级成对比较,有效识别传统指标遗漏的对话错误,且与人类判断更一致。
2025-07-16 cs.AI cs.CL
BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
针对标准语言建模损失不足以支撑对话建模的问题,提出关键词袋(BoK)辅助损失,通过预测下轮话语关键词增强回复生成的质量与可解释性,在两类架构及多个数据集上验证了有效性与指标潜力。
2025-01-17 cs.CL
A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots
IIT Kanpur(印度理工学院坎普尔分校)
在口语对话系统中,我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。对话系统越来越多地被设计成不仅仅是模仿对话,而且随着时间的推移,还从这种交互中得到改进。在本调查中,我们提出了一个广泛的概述的方法,建立对话系统多年来。从基于任务的系统到开放域聊天机器人,对话系统的不同用例激发并需要特定的系统。从简单的基于规则的系统开始,研究已经朝着在大量数据集上训练的越来越复杂的架构发展,例如深度学习系统。出于类似人类对话的直觉,使用强化学习将情感融入自然语言生成器已经取得了进展。虽然我们看到一些指标的高度边际改进的趋势,我们发现,有限的理由存在的指标,和评估的做法是不统一的。最后,我们标记这些问题,并强调可能的研究方向。
2021-11-02 cs.AI cs.CL
An Ontology-Based Dialogue Management System for Banking and Finance Dialogue Systems
Com Innovation Center(4Com创新中心)
在对话系统中保持对话状态是众所周知的困难任务。我们介绍了一个基于本体的对话管理器(OntoDM),对话管理器,保持会话的状态,提供了一个基础的回指解析和驱动会话通过领域本体。银行和金融领域通过丰富的产品集和专有名词、命名实体和动词的特异性来消除上下文的歧义。我们使用本体作为知识库和对话管理器的基础;知识库组件和对话管理器组件在某种意义上合并。领域知识用于跟踪感兴趣的实体,即本体的节点(类),这些节点恰好是产品和服务。通过这种方式,我们在某种意义上也介绍了会话记忆和注意力。我们将语言学方法、领域驱动的关键词排名和领域本体进行了很好的融合,以创建领域驱动的对话方式。建议的框架用于我们内部的德语银行和金融聊天机器人。还介绍了德语语言处理和金融银行领域聊天机器人语言模型和词汇的一般挑战。这项工作仍在进行中,因此尚未引入成功指标。
2018-04-13 cs.CL
PyTOD: Programmable Task-Oriented Dialogue with Execution Feedback
University of Cambridge(剑桥大学);Apple(苹果公司);Meta;Imperial College London(帝国理工学院)
PyTOD 通过生成可执行代码跟踪对话状态,并利用策略与执行反馈纠错,在 SGD 基准上取得最先进的状态跟踪性能,显著提升任务导向对话的准确性与鲁棒性。
2025-08-21 cs.CL
Exploring the Impact of Human Evaluator Group on Chat-Oriented Dialogue Evaluation
Emory University(埃默里大学)
本文通过4个评估者群体测试4个最先进对话系统,分析评估者群体对对话评估的影响,发现Likert评估比Pairwise评估对评估者群体更稳健,并揭示了专业水平与客观性对评估结果的影响。
2023-09-14 cs.CL
Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems
Emory University(埃默里大学)
本文提出了一种新颖的人工评估方法,用于估计多种对话系统行为的发生率,对四个最先进的开放域对话系统进行维度评估,证明其比Likert风格或比较方法更合适。
2023-07-28 cs.CL
Towards Best Experiment Design for Evaluating Dialogue System Output
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
为了克服用于评估对话系统的自动化度量(例如BLEU、METEOR)的局限性,研究人员通常使用人类判断来提供收敛证据。虽然它已被证明,人类的判断可能会受到评级的不一致性,现有的研究也发现,评估任务的设计影响的一致性和人类判断的质量。我们进行了一项被试间研究,以了解四个实验条件对人类评级的对话系统输出的影响。除了离散和连续的规模评级,我们还尝试了一种新的应用程序的最佳-最差缩放对话评估。通过我们对40名众包工作者在每个任务中的系统研究,我们发现使用连续量表比Likert量表或基于排名的实验设计获得了更一致的评级。此外,我们还发现,完成任务所需的时间以及没有参与过类似的对话系统输出评级研究的经验等因素对评级者之间的一致性和一致性有积极影响
2019-09-23 cs.CL