$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Towards Best Experiment Design for Evaluating Dialogue System Output
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
为了克服用于评估对话系统的自动化度量（例如BLEU、METEOR）的局限性，研究人员通常使用人类判断来提供收敛证据。虽然它已被证明，人类的判断可能会受到评级的不一致性，现有的研究也发现，评估任务的设计影响的一致性和人类判断的质量。我们进行了一项被试间研究，以了解四个实验条件对人类评级的对话系统输出的影响。除了离散和连续的规模评级，我们还尝试了一种新的应用程序的最佳-最差缩放对话评估。通过我们对40名众包工作者在每个任务中的系统研究，我们发现使用连续量表比Likert量表或基于排名的实验设计获得了更一致的评级。此外，我们还发现，完成任务所需的时间以及没有参与过类似的对话系统输出评级研究的经验等因素对评级者之间的一致性和一致性有积极影响
2019-09-23 cs.CL
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI（Kriston AI（科思顿人工智能））
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度，人们做了很多努力。然而，目前还缺乏对对话摘要系统的系统研究。在这项工作中，我们首先对对话摘要的忠实性进行细粒度的人工分析，并观察到超过35%的生成摘要与源对话忠实地不一致。此外，我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型，其中包含由基于规则的转换创建的多项选择题。实验结果表明，我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布，以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
Empirically Evaluating an Adaptable Spoken Dialogue System
最近的技术进步已经使得为各种各样的应用建立实时、交互式口语对话系统成为可能。然而，当用户不尊重这种系统的限制时，性能通常会下降。尽管用户对系统限制的了解有所不同，并且尽管不同的对话策略使系统限制对用户来说更加明显，但大多数当前系统并没有尝试通过使对话行为适应个人用户来提高性能。本文提出了一个经验评估TOOT，一个自适应口语对话系统检索训练时刻表在网络上。我们进行了一个实验，其中20个用户进行4个任务，适应性和非适应性版本的TOOT，导致语料库的80个对话。然后从该语料库中提取各种评价措施的值。我们的研究结果表明，自适应TOOT一般优于非自适应TOOT，适应的效用取决于TOOT的初始对话策略。
1999-03-05 cs.CL
Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；New York University（纽约大学）
由大语言模型驱动的基于知识的对话系统通常生成的响应虽然流畅，但不能归因于相关的信息源。要想在不存在这一问题的模型方面取得进展，就需要能够量化其普遍性的评价指标。为此，我们介绍了基准评估接地互动（BEGIN），由12k的对话轮神经对话系统培训三个知识接地的对话语料库。我们收集人类注释，评估模型的响应在多大程度上可以归因于给定的背景信息。然后，我们使用BEGIN来分析八个评估指标。我们发现，这些指标依赖于虚假的相关性，不可靠区分可归因的抽象反应，从不可归因的，并执行时，知识源更长的实质上更差。我们的研究结果强调，需要更复杂和强大的评估指标，以知识为基础的对话。我们在https://github.com/google/BEGIN-dataset上公开提供BEGIN。
2022-06-28 cs.CL
Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems
Emory University（埃默里大学）
本文提出了一种新颖的人工评估方法，用于估计多种对话系统行为的发生率，对四个最先进的开放域对话系统进行维度评估，证明其比Likert风格或比较方法更合适。
2023-07-28 cs.CL
PARADISE: A Framework for Evaluating Spoken Dialogue Agents
本文介绍了Paradise（PARAdigm for DIMENSIONAL System Evaluation），一个评价口语对话代理的通用框架。该框架从代理人的对话行为中提取任务要求，支持对话策略之间的比较，能够计算子对话和整个对话的性能，指定各种因素对性能的相对贡献，并通过规范化任务复杂性来比较执行不同任务的代理人。
1997-04-15 cmp-lg cs.CL
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited（PolyAI有限公司）
尽管它们在聊天机器人文献中很受欢迎，但基于检索的模型对面向任务的对话系统的影响不大，其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发，我们提出了一种有效的方法，用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型，我们提出了一种新的方法：1）在大型通用领域对话语料库上预训练响应选择模型;然后2）针对目标对话领域微调预训练模型，仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域，从电子商务到银行，证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Evaluating Open-Domain Dialogues in Latent Space with Next Sentence Prediction and Mutual Information
Wuhan University（武汉大学）；The University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
针对开放域对话一对多的评估难题，提出融合下一句预测目标与互信息的CVAE-based评估指标CMN，在两个数据集上优于多种基线，尤其擅长处理语义偏离参考的回复。
2023-06-10 cs.CL
BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiaotong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）
本报告提出BotChat，一种基于LLM的多轮对话评估方法。研究发现GPT-4能生成难以区分于人类的高质量对话，显著优于其他模型。
2023-10-20 cs.CL
PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
本文提出PSentScore度量指标，用于评估对话摘要中情感内容的保留程度，发现现有先进摘要模型情感保留不足，并证明通过精心选择训练集可在轻微牺牲内容指标的情况下改善情感保留。
2024-05-03 cs.CL
CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers
Salesforce Research（Salesforce研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
对话状态跟踪器在基准数据集上取得了重大进展，但它们对超出对话的新颖和现实场景的泛化能力却鲜为人知。我们提出了可控反事实（CoCo）来弥合这一差距，并在新的场景下评估对话状态跟踪（DST）模型，即，如果用户以不同的方式响应但仍然与对话流一致，系统是否会成功处理请求？CoCo利用回合级别信念状态作为反事实条件，以两个步骤产生新的会话场景：（i）通过删除和添加槽，然后替换槽值，在回合级别生成反事实目标，（ii）以（i）为条件并与对话流一致的反事实会话生成。使用CoCo生成的反事实对MultiWOZ数据集上的最先进DST模型进行评估，导致绝对联合目标准确度的性能显著下降高达30.8%（从49.4%降至18.6%）。相比之下，广泛使用的技术，如释义，最多只影响2%的准确性。人工评估表明，COCO生成的对话完美地反映了潜在的用户目标，准确率超过95%，并且与原始对话一样人性化，进一步加强了其可靠性，并有望被用作DST模型鲁棒性评估的一部分。
2021-03-26 cs.CL
RAP-Net: Recurrent Attention Pooling Networks for Dialogue Response Selection
National Taiwan University（台湾大学）
响应选择一直是一个新兴的研究课题，由于越来越多的兴趣在对话建模，其中的任务的目标是选择一个适当的响应继续对话。为了进一步将端到端对话模型推向现实场景，第七届对话系统技术挑战赛（DSTC 7）提出了一个基于真实聊天日志数据集的挑战性赛道。竞赛的重点是具有几个先进特征的对话建模：（1）自然语言多样性，（2）从大量候选人或没有任何正确答案的场景中精确选择适当响应的能力，以及（3）知识基础。本文介绍了一种新的应答选择框架--递归注意力池网络（RAP-Net），它可以很好地估计对话上下文与候选人之间的相关性。所提出的RAP网络被证明是有效的，并且可以在DSTC 7实验中跨不同的数据集和设置进行推广。
2019-03-21 cs.CL
Evaluating the Capabilities of LLMs for Persuasive Dialogue
University of Liverpool（利物浦大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Leeds（利兹大学）
该研究推出多智能体对话平台\textsc{Persuasio}，通过192场辩论发现LLMs主观说服力强但形式论证能力弱，人类在形式判定中仍具竞争力，二者存在系统性差距。
2026-09-01 cs.CL
An Interpretable and Crosslingual Method for Evaluating Second-Language Dialogues
The University of Melbourne（墨尔本大学）；The Chinese University of Hong Kong（香港中文大学）；Central South University（中南大学）；Tiangong University（天津工业大学）
本文构建含1万段对话的CNIMA数据集，验证对话评估框架的跨语言可迁移性，并提出无需标注数据、可解释且低数据需求的第二语言对话整体质量自动评分方法。
2025-02-04 cs.CL
Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Sciences and AI (RBC-DSAI), Indian Institute of Technology, Madras（罗伯特博世数据科学与人工智能中心（RBC-DSAI），印度理工学院马德拉斯分校）；Microsoft, India（微软印度公司）；NVIDIA, India（英伟达印度公司）
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。ADEM（Lowe et al. 2017）将对话系统的自动评估表述为一个学习问题，并表明这种模型能够预测与人类判断显著相关的反应，无论是在话语还是系统层面。他们的系统被证明击败了单词重叠指标，如BLEU，具有很大的利润率。我们从对手是否能利用ADEM模型的问题开始。针对基于神经网络的ADEM评估系统设计了一系列有针对性的攻击，表明对话系统的自动评估还有很长的路要走。ADEM可能会与文本中的词序颠倒这样简单的变体混淆！我们报告几个这样的对抗性的情况下，得出违反直觉的分数的对话反应的实验。我们采取了系统的看ADEM提出的评分功能，并将其连接到线性系统理论来预测系统中明显的缺点。我们还设计了一种攻击，可以欺骗这样的系统，以评价响应生成系统作为有利的。最后，我们提到未来的研究方向，使用对抗攻击，设计一个真正的自动化对话评估系统。
2019-02-23 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究）
针对LLMs在现实交互任务中表现不佳的问题，本文提出含确定性评分机制的多轮谜题基准，评估模型的交互式推理等能力，揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
What Do Humans Hear When Interacting? Experiments on Selective Listening for Evaluating ASR of Spoken Dialogue Systems
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；Japan National Institute of Informatics（日本信息处理学会）；Tokyo Institute of Technology（东京技术大学）
本研究通过实验确认人类在生成对话响应时存在选择性听力，并探讨利用该特性评估ASR系统与人类转录能力差距的新方法。
2025-10-07 cs.CL
Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；The Chinese University of Hong Kong（香港中文大学）；Sichuan University（四川大学）
本研究针对基于大型语言模型的对话系统在主动对话中的不足，提出主动思维链提示方案以增强其目标规划能力，并围绕澄清、目标引导与非协作三方面进行了全面分析与实证评估。
2023-10-14 cs.CL
KoDialogBench: Evaluating Conversational Understanding of Language Models with Korean Dialogue Benchmark
Scatter Lab
本文提出 KoDialogBench 韩语对话基准，通过原生与翻译对话构建理解和响应选择数据集，评估多种语言模型并揭示其能力短板及训练技术的效果。
2024-06-17 cs.CL
Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task
Scatter Lab（斯卡特实验室）；KAIST（韩国科学技术院）
在基于检索的对话系统中，响应选择模型充当排序器以在多个候选者中选择最合适的响应。然而，这样的选择模型往往依赖于上下文响应内容相似性，这使得模型容易受到语义相似但与对话上下文无关的对抗性响应的影响。最近的研究表明，利用这些对抗性反应作为负训练样本对于提高选择模型的辨别力是有用的。然而，收集人类书写的对抗性响应是昂贵的，并且现有的合成方法通常具有有限的可扩展性。为了克服这些局限性，本文提出了一种简单而有效的方法，利用大规模的语言模型生成对抗性的负面反应。对话选择任务的实验结果表明，我们的方法优于其他方法合成对抗性的负面反应。这些结果表明，我们的方法可以有效地替代人类注释器生成对抗性响应。我们的数据集和生成代码可以在https://github.com/leenw23/generating-negatives-by-gpt3上找到。
2022-10-31 cs.CL
Learning Multi-Level Information for Dialogue Response Selection by Highway Recurrent Transformer
National Taiwan University（台湾大学）
随着对对话响应生成的研究兴趣的增加，出现了一个新兴的分支，该分支将该任务制定为选择下一个句子，其中给定部分对话上下文，目标是确定最可能的下一个句子。继Transformer模型最近的成功之后，本文提出了（1）一种新的基于多头注意力的注意力机制变体，称为高速公路注意力，以及（2）一种基于Transformer和所提出的高速公路注意力的递归模型，所谓的高速公路递归Transformer。在第七届对话系统技术挑战赛（DSTC7）的应答选择任务上的实验表明，该模型能够同时对话语级和对话级信息进行建模，并进一步分析了各模块的有效性。
2019-03-21 cs.CL
Metrics for Evaluating Dialogue Strategies in a Spoken Language System
在本文中，我们描述了一组不同的对话管理策略，在一个实时口语系统的评估指标。我们提出的一组指标提供了有用的见解，在评估对话管理中的特定选择如何影响人机对话的整体质量。评估使用既定的指标：交易成功，系统答案的上下文适当性，计算正常和纠正的对话。我们还定义了一个新的指标，隐式恢复，它允许测量的能力，对话管理器处理错误的不同层次的分析。我们报告的评估数据，从几个实验中，我们比较了两种不同的方法，对话修复策略使用的一组指标，我们认为。
1996-12-17 cmp-lg cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST（韩国科学技术院）；LT3；IDLab（ID实验室）；Universiteit Gent（根特大学）；Boston University（波士顿大学）
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力，发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%，且存在显著的社交推理局限性。
2026-04-20 cs.CL
Generative Knowledge Selection for Knowledge-Grounded Dialogues
Shandong University（山东大学）
本文提出生成式知识选择方法GenKS，通过序列到序列模型生成知识片段标识符，并引入超链接机制建模对话与知识的交互，在三个基准数据集上同时取得知识选择和回复生成的最佳效果。
2023-04-10 cs.CL
Evaluating Robustness of Dialogue Summarization Models in the Presence of Naturally Occurring Variations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research AI（IBM研究院人工智能）；Google（谷歌）
本研究系统评估了自然语言变异对对话摘要模型鲁棒性的影响，发现指令调优模型更易受影响，且数据增强不足以解决挑战。
2023-11-15 cs.CL
RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues
National Taiwan University（台湾大学）；MediaTek Research（联发科研究院）
针对现有基准缺乏多轮检索增强对话评估的空白，提出RAD-Bench基准，评估大模型的检索综合与推理能力，实验发现多轮约束增加时模型性能会下降。
2025-02-21 cs.CL
Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue
Seoul National University（首尔国立大学）
基于知识的对话是一种基于话语语境和外部知识的信息反应的任务。由于我们专注于更好地建模的知识选择在多轮知识为基础的对话，我们提出了一个顺序的潜变量模型作为第一种方法来解决这个问题。序列知识Transformer（SKT）模型能够跟踪知识的先验分布和后验分布，不仅能够减少会话中知识选择的多样性所带来的歧义，而且能够更好地利用应答信息进行正确的知识选择。实验结果表明，该模型提高了知识选择的准确性，从而提高了话语生成的性能。我们在维基百科的向导上实现了新的最先进的性能（Dinan等人，2019年）作为最具规模和挑战性的基准之一。我们进一步验证了我们的模型在另一个基于知识的对话Holl-E数据集（Moghe等人，2018年）。
2020-06-16 cs.CL
Visualizing Dialogues: Enhancing Image Selection through Dialogue Understanding with Large Language Models
National Taiwan University（台湾大学）
本文提出利用大语言模型的推理能力生成对话相关视觉描述符，以解决对话到图像检索中视觉语言模型理解复杂对话的局限，实验证明该方法能显著提升检索性能并具有良好的泛化能力。
2024-07-04 cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
本文提出策略驱动的文档基础对话框架，通过话语功能和话题转移意图两类信号辅助知识选择与回复生成，在三个公开基准上取得最优性能。
2024-10-21 cs.CL
On Task-Adaptive Pretraining for Dialogue Response Selection
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
对话响应选择（DRS）的最新进展是基于\textit{task-adaptive pre-training (TAP)}方法，首先使用BERT~ \cite{devlin-etal-2019-bert}初始化模型，并使用对话特定或细粒度预训练任务适应对话数据。然而，它是不确定的BERT是否是最好的初始化选择，或是否建议的对话特定的细粒度学习任务实际上是比MLM+NSP。本文的目的是验证在以前的作品中所作的假设，并了解DRS的改进来源。我们表明，初始化与ROBERTa实现类似的性能BERT，MLM+NSP可以优于所有以前提出的TAP任务，在此期间，我们还贡献了一个新的国家的最先进的Ubuntu语料库。进一步的分析表明，改进的主要来源来自TAP步骤，NSP任务对DRS至关重要，不同于常见的NLU任务。
2022-10-08 cs.CL
LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue
本文提出一个两阶段框架，利用大型语言模型作为团队对话的人类风格标注器和自动差异检测器，评估共享心智模型的连贯性。
2026-06-28 cs.CL
Multi-Sentence Knowledge Selection in Open-Domain Dialogue
Amazon Alexa AI（亚马逊Alexa人工智能部门）
如何在会话中有效地识别外部知识源是开放域对话研究中的一个长期问题。关于开放领域知识选择的现有文献是有限的，并且对知识源做出某些脆弱的假设以简化整体任务（Dinan等人，2019），例如每个上下文存在单个相关知识句子。在这项工作中，我们评估了现有的状态开放域的对话知识选择，显示现有的方法，数据和评估是有缺陷的。然后，我们通过提出一个新的框架来收集相关知识，并基于维基百科向导（WOW）语料库创建一个增强数据集，我们称之为WOW++。WOW++平均每个对话上下文有8个相关的知识句子，包含了开放域对话知识选择的固有模糊性。然后，我们在这个增强的数据集上对各种知识排名算法进行了基准测试，包括内在评估和外在的响应质量测量，表明使用WOW++的神经排名器可以优于在标准数据集上训练的排名器。
2022-10-04 cs.CL
Beyond the Granularity: Multi-Perspective Dialogue Collaborative Selection for Dialogue State Tracking
Beijing University of Posts and Telecommunications（北京邮电大学）；The University of Tokyo（东京大学）
在对话状态跟踪中，对话历史是一个重要的材料，它的使用在不同的模型之间存在差异。然而，无论如何使用对话历史，在整个状态跟踪过程中，每个现有模型都使用自己一致的对话历史，而不管哪个槽被更新。显然，它需要不同的对话历史，以更新不同的插槽在不同的回合。因此，使用一致的对话内容可能会导致不同时隙的信息不足或冗余，这会影响整体性能。为了解决这个问题，我们设计的DiCoS-DST动态选择相应的对话内容对应于每个插槽的状态更新。具体而言，它首先检索对话历史的话轮话语，并从三个角度的组合来评估它们与槽的相关性：（1）它与槽名称的显式连接;（2）它与当前话轮对话的相关性;（3）隐式提及导向推理。然后，这些观点被组合以产生决策，并且只有所选择的对话内容被馈送到状态生成器中，状态生成器显式地最小化传递到下游状态预测的分散注意力的信息。实验结果表明，我们的方法在MultiWOZ 2.1和MultiWOZ 2.2上实现了新的最先进的性能，并在多个主流基准数据集（包括Sim-M，Sim-R和DSTC 2）上实现了卓越的性能。
2022-05-20 cs.CL
A Source-Grounded Framework for Constructing and Evaluating Progressive Multimodal Diagnostic Dialogues from Clinical Case Reports
Weill Cornell Medicine（威尔康奈尔医学院）
该研究提出基于来源的框架用于构建渐进式多模态诊断对话，并评估MLLMs的诊断推理能力，实验显示所提框架转换病例报告的参考对话表现优异，而前沿MLLMs的相关指标显著更低。
2026-08-25 cs.CL
Zero-Shot Dialogue Disentanglement by Self-Supervised Entangled Response Selection
Carnegie Mellon University（卡内基梅隆大学）
首次提出零样本对话解耦方法，通过自监督训练网络收集的多参与者回复选择数据集，无需标注即可实现25的聚类F1分数，且仅用10%标注数据微调即可接近全量数据性能。
2023-06-26 cs.CL
Multi-turn Response Selection using Dialogue Dependency Relations
Shanghai Jiao Tong University（上海交通大学）；China Merchants Bank Credit Card Center（招商银行信用卡中心）
本文针对多轮回复选择中忽略轮间依赖的问题，提出基于依赖关系的对话线程提取算法和 Thread-Encoder 模型，在多个基准上取得领先效果。
2023-11-30 cs.CL
From Myopic Selection to Long-Horizon Awareness: Sequential LLM Routing for Multi-Turn Dialogue
School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院）；WeChat, Tencent Inc, Beijing, China（腾讯北京研发中心）；University at Buffalo, New York, United States（布法罗大学）
本文提出DialRouter，通过MCTS探索对话分支并学习轻量路由策略，实现多轮对话的高效路由，提升任务成功率并优化性能成本比。
2026-04-14 cs.CL
Evaluating Coherence in Dialogue Systems using Entailment
University of Alberta（阿尔伯塔大学）
由于可能的正确答案的多样性，评估开放域对话系统是困难的。BLEU等自动指标与人类注释的相关性很弱，导致不同模型和数据集之间存在显著偏差。一些研究人员求助于人类判断实验来评估响应质量，这是昂贵的，耗时的，并且不可扩展。此外，评委们倾向于评价少数对话，这意味着评价结构的微小差异可能导致不同的结果。在本文中，我们提出了可解释的指标评估主题的连贯性，利用分布式句子表示。此外，我们引入了可计算的近似的人类判断的基础上会话的连贯性，采用国家的最先进的蕴涵技术。结果表明，我们的指标可以作为人类判断的替代品，可以很容易地在大规模数据集上评估对话系统，并允许对响应的质量进行无偏估计。
2020-04-01 cs.CL cs.LG
'What are you referring to?' Evaluating the Ability of Multi-Modal Dialogue Models to Process Clarificational Exchanges
Heriot-Watt University（赫瑞-瓦特大学）；AlanaAI
本文评估多模态对话模型处理澄清性交流的能力，发现语言模型擅长处理对话历史相关的澄清，而多模态模型通过额外学习目标获取解耦对象表示，以应对跨模态复杂指称歧义。
2023-07-28 cs.CL
Dialogue Response Selection with Hierarchical Curriculum Learning
University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent Inc.（腾讯公司）
我们研究了对话响应选择匹配模型的学习。最近的发现，随机负样本训练的模型在现实世界中并不理想，我们提出了一个分层的课程学习框架，训练匹配模型在一个“容易到困难”的计划。我们的学习框架由两个互补的课程组成：（1）语料库级课程（CC）;和（2）实例级课程（IC）。在CC中，该模型逐渐提高其在对话上下文和响应候选者之间找到匹配线索的能力。对于IC，它逐步增强了模型识别对话上下文和响应候选之间的不匹配信息的能力。三个基准数据集与三个国家的最先进的匹配模型的实证研究表明，所提出的学习框架显着提高了各种评估指标的模型性能。
2021-08-31 cs.CL
ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems
Tsinghua University（清华大学）
我们提出了ConvLab-2，这是一个开源工具包，使研究人员能够使用最先进的模型构建面向任务的对话系统，进行端到端的评估，并诊断系统的弱点。作为ConvLab的继任者（Lee等人，ConvLab-2继承了ConvLab的框架，但集成了更强大的对话模型并支持更多数据集。此外，我们还开发了一个分析工具和一个交互式工具，以帮助研究人员诊断对话系统。该分析工具提供了丰富的统计数据，并从模拟对话中总结了常见错误，便于错误分析和系统改进。交互式工具提供用户界面，该用户界面允许开发者通过与系统交互并修改每个系统组件的输出来诊断组装的对话系统。
2020-04-29 cs.AI cs.CL
Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression
Nara Institute of Science and Technology（奈良科学技术大学）；RIKEN（理化学研究所）；NTT Communication Science Laboratories（NTT通信科学研究所）；Institute of Science Tokyo（东京科学大学）
本研究提出利用监督微调LLM构建12个对话印象指标的奖励模型，并通过RLAIF微调对话模型，有效提升了对话回应的自然度及整体印象。
2025-01-25 cs.CL
Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
提供具有背景知识的对话模型已被证明可以使开放域对话更具信息性和吸引力。现有的模型将知识选择视为句子排序或分类问题，其中每个句子都单独处理，忽略了背景文档中句子之间的内部语义联系。在这项工作中，我们建议自动转换的背景知识文件到文档的语义图，然后进行知识选择这样的图。我们的文档语义图通过使用句子节点来保留句子级别的信息，并提供句子之间的概念连接。我们联合应用多任务学习的知识水平和概念水平的选择，并表明它提高了知识水平的选择。我们的实验表明，我们的基于语义图的知识选择提高了句子选择基线的知识选择任务和端到端的响应生成任务的HollE，并提高了泛化在魔兽世界中看不见的主题。
2022-06-30 cs.CL
Two-Level Supervised Contrastive Learning for Response Selection in Multi-Turn Dialogue
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在多话轮对话中，如何从多个候选者中选出一个合适的回答是基于检索的对话系统的关键问题。现有的工作形式化的任务之间的匹配的话语和候选人，并使用交叉熵损失的学习模型。本文将对比学习应用到该问题中，利用监督对比损失。通过这种方式，可以在嵌入空间中更远地分离正例的学习表示和负例的表示，并且可以增强匹配的性能。我们进一步发展了一种新的监督对比学习方法，称为两级监督对比学习，并采用该方法在多轮对话的响应选择。我们的方法利用两种技术：句子标记洗牌（STS）和句子重新排序（SR）的监督对比学习。在三个基准数据集上的实验结果表明，该方法明显优于对比学习基线和最先进的方法的任务。
2022-03-01 cs.CL
Evaluating Task-Oriented Dialogue Consistency through Constraint Satisfaction
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出将任务导向对话一致性建模为约束满足问题，用CSP求解器检测LLM重词汇化对话的不一致，发现LLM准确率仅0.15，且领域知识约束最难满足。
2024-07-16 cs.CL cs.SC
Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection
Northeastern University（东北大学）
基于知识的对话是一种基于会话语境和外部知识的会话，其中知识选择起着重要的作用，引起了越来越多的研究兴趣。然而，大多数现有的模型要么只选择一个知识或使用所有的知识生成响应。前者可能会在丢弃的知识中丢失有价值的信息，而后者可能会带来大量的噪声。同时，许多方法需要用指示地面实况知识的知识标签来训练知识选择器，但是这些标签难以获得并且需要大量的人工注释。基于这些问题，本文提出了一种基于强化学习的对话响应生成模型Knoforer，该模型可以自动从知识库中选择一个或多个相关知识，并且在训练过程中不需要知识标签。Knoformer在两个知识引导的会话数据集上进行了评估，并实现了最先进的性能。
2021-08-31 cs.CL
Granular Change Accuracy: A More Accurate Performance Metric for Dialogue State Tracking
National University of Singapore (NUS)（新加坡国立大学（NUS））
针对现有对话状态跟踪评估指标的均匀分布假设、无部分评分及重复计数偏差，提出粒度变化准确率（GCA）指标，聚焦对话状态变化评估，显著减少偏差，尤其适用于少样本和零样本模型评估。
2024-03-17 cs.CL
Well Begun is Half Done: Generator-agnostic Knowledge Pre-Selection for Knowledge-Grounded Dialogue
Nankai University（南开大学）；Sichuan University（四川大学）；Ludong University（鲁东大学）
本文关注知识增强对话中生成前的知识选择，提出生成器无关的方法GATE，通过预选相关知识减轻后续模型负担，实验证明其能有效促进ChatGPT等LLMs生成更具信息量的响应。
2023-10-20 cs.CL
Designing and Evaluating Dialogue LLMs for Co-Creative Improvised Theatre
Improbotics；University of Kent（肯特大学）
本研究在爱丁堡艺穗节现场部署对话LLM开展为期一月的即兴戏剧协同创作实验，通过人在环路方法结合观众与表演者反馈，分析了多方即时对话LLM的技术局限、界面作用及公众对AI参与艺术的复杂态度。
2024-05-11 cs.CL
SDARE-Bench: Evaluating Large Language Models on Conversational Stigma Detection and Response in Dyadic and Group Dialogue
Monash University（莫纳什大学）；University of Liverpool（利物浦大学）；University of Edinburgh（爱丁堡大学）；Federation University（联邦大学）；Orygen, The University of Melbourne（墨尔本大学下属Orygen机构）
研究人员构建首个场景式基准SDARE-Bench，评估8个LLMs在二元与群体对话中的污名检测和响应能力，发现LLMs对污名识别差、群体场景污名表达率达97.5%，污名响应是其安全漏洞。
2026-09-02 cs.CL
Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
该研究从网络剪枝视角提出基于层级重要度的注意力头选择策略，通过操控未充分利用的头注入结构感知特征，在对话摘要任务中融入共指信息实现了性能提升，无需额外增加神经组件与参数量。
2023-12-15 cs.CL
A Manually Annotated Chinese Corpus for Non-task-oriented Dialogue Systems
Tencent AI Lab（腾讯AI实验室）
本文提出了一个大规模的语料库，用于非面向任务的对话响应选择，其中包含超过27K的不同的提示超过82K的反应，从社会媒体收集。为了注释这个语料库，我们定义了一个5级评级方案：坏的，平庸的，可接受的，好的，优秀的，根据相关性，连贯性，信息性，有趣性，以及推动对话的潜力。为了测试所产生的语料库的有效性和实用性，我们比较了各种无监督和监督模型的响应选择。实验结果表明，该语料库有助于训练反应选择模型。
2018-05-15 cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research（LG人工智能研究院）
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面，提出了DSTC 10-Track 2-Task 2，其目的是建立一个面向任务的对话（TOD）系统，将非结构化的外部知识的口语会话，扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法：数据构建，加权负采样，后训练，风格转移。我们首先自动构建一个大的训练数据，因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务，我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务，以生成一个适当的响应与目标响应相似的风格。在实验中，我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支，在人工评价中排名6支。
2022-09-06 cs.CL
