Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
Carnegie Mellon University（卡内基梅隆大学）
本文的目的是通过多参考评估，以减轻开放域对话系统的自动评估的缺点。现有的指标已被证明与人类的判断，特别是在开放域对话相关性差。一种替代方案是收集人工注释以进行评估，这可能是昂贵且耗时的。为了证明多参考评估的有效性，我们增加了DailyDialog的测试集与多个参考。一系列的实验表明，使用多个参考的结果，提高了几个自动度量和人类判断的质量和多样性的系统输出之间的相关性。
2019-09-08 cs.CL
SteerDuplex: Steerable Duplex Speech Dialogue Models
Scale AI；University of Maryland（马里兰大学）
针对全双工语音对话模型缺乏可操控性的问题，提出SteerDuplex模型和SteerBench基准，通过微调与两阶段强化学习，显著提升音频操控与打断处理能力。
2026-09-14 cs.AI cs.CL
Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge
HKUST(GZ)（香港科技大学（广州））；Wuhan Univ.（武汉大学）；Univ. of Iowa（爱荷华大学）；Univ. of Manchester（曼彻斯特大学）
本文提出PsyCrisis-Bench，通过LLM-as-Judge方法评估LLM在中文心理健康对话中的安全对齐性，提供高质量数据集和可解释的评估工具。
2026-02-13 cs.CL cs.CY
AI-lead Court Debate Case Investigation
Harbin Institute of Technology（哈尔滨工业大学）；Alibaba Group（阿里巴巴集团）
由原告、被告、法官组成的多角色司法辩论是司法审判的重要组成部分。与其他形式的对话不同，法官提问，原告、原告代理人、被告、被告代理人进行辩论，使庭审有序进行。问句生成是自然语言生成中的一项重要任务。在司法审判中，它可以帮助法官提出有效率的问题，使法官对案件有更清晰的认识。本文提出了一种创新的端到端问题生成模型--审判大脑模型（Trial Brain Model，TBM），构建了一个审判大脑，它可以通过原告和被告之间的历史对话生成法官想要问的问题。与以往的自然语言生成方法不同，该模型可以通过预先定义的知识来学习法官的提问意图。我们在真实世界的数据集上进行了实验，实验结果表明我们的模型可以在多角色法庭辩论场景中提供更准确的问题。
2020-11-16 cs.CL
Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue
University of Rochester（罗切斯特大学）；Stony Brook University（石溪大学）；Independent Researcher（独立研究者）
提出逆图灵基准，评估LLM区分人类与AI多轮对话的能力，发现GPTZero、Claude Opus-4.6和GPT-5.5准确率最高，统计方法有语义盲点而语义方法易受角色提示影响。
2026-09-11 cs.CL cs.CY
MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators
INESC-ID（葡萄牙国家系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；Carnegie Mellon University（卡内基梅隆大学）
MEDAL框架通过多语言多代理方法，评估LLM作为开放领域对话评估者的性能，揭示了现有评判者在检测细微问题上的不足。
2026-01-22 cs.CL
Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
Utrecht University（乌得勒支大学）
本研究通过人类评估和LLM-as-a-judge方法，发现LLM在多轮角色扮演对话中回应质量随时间下降，而人类回应逐步提升，并提出了验证的混合评估框架。
2025-10-08 cs.AI cs.CL
ED-FAITH: Evaluating Dialogue Summarization on Faithfulness
Meta AI
摘要摘要模型通常会生成不忠实于输入的内容，因此突出了评估所生成摘要的忠实性的重要性。大部分忠实度指标只在新闻领域进行评估，它们是否可以转移到其他摘要任务中？在这项工作中，我们首先提出了一个系统的研究的忠实度指标的对话摘要。我们在对话数据集上评估了常见的忠诚度指标，并观察到大多数指标与人类判断的相关性很差，尽管在新闻数据集上表现良好。鉴于这些发现，为了提高现有指标在对话摘要上的性能，我们首先对域内数据集进行微调，然后对负样本进行不似然训练，并表明它们可以成功地提高对话数据的指标性能。受T0语言模型强大的zero-shot性能的启发，我们进一步提出了T0-Score --一种新的忠实性评估指标，它在多个领域的基线指标上显示出一致的改进。
2022-11-15 cs.CL
DynaEval: Unifying Turn and Dialogue Level Evaluation
National University of Singapore（新加坡国立大学）；Robert Bosch (SEA)（博世（东南亚））；Universidad Politécnica de Madrid（马德里理工大学）；Kriston AI Lab（科通人工智能实验室）
对话本质上是对话者之间的多轮互动。有效的评价衡量标准应反映这种互动的动态。现有的自动化指标非常注重转弯质量，而忽略了这样的动态。为此，我们提出了DynaEval，一个统一的自动评估框架，它不仅能够执行回合水平评估，但也从整体上考虑整个对话的质量。在DynaEval中，采用图卷积网络（GCN）对对话进行整体建模，其中图节点表示每个单独的话语，边表示话语对之间的依赖关系。然后应用对比损失来区分精心构建的负样本的良好形式的对话。实验结果表明，DynaEval在话轮和对话层次的多个对话评价方面均显著优于最先进的对话连贯性模型，并与人类的判断有很强的相关性。
2021-06-06 cs.CL
BaatCheet: A Multilingual Corpus for Dialogue Translation in Indian Languages
针对现有翻译模型难以处理日常对话现象的问题，本文提出多语种对话语料库BaatCheet，含约49,000个对话，覆盖五个翻译方向，并微调五个开源LLM，证明微调显著优于零样本和少样本基线，采用多种评估策略验证翻译质量。
2026-09-29 cs.CL
From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究探讨了任务框架对LLM在对话系统中判断确信度的影响，发现对话上下文显著改变模型判断，强调了对话框架在评估中的重要性。
2026-01-09 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。不幸的是，现有的自动评估指标是有偏见的，相关性非常差，与人类的反应质量的判断。然而，拥有一个准确的自动评估程序对对话研究至关重要，因为它允许快速原型设计和测试新模型，减少昂贵的人工评估。为了应对这一挑战，我们制定了自动对话评估作为一个学习问题。我们提出了一个评估模型（ADEM），学习预测人类的分数输入响应，使用一个新的数据集的人的反应分数。我们发现，ADEM模型的预测相关性显着，并在一个比词的重叠指标，如BLEU，与人类的判断，在话语和系统级的水平高得多。我们还表明，ADEM可以推广到评估在训练过程中看不见的对话模型，自动对话评估的重要一步。
2018-01-16 cs.AI cs.CL cs.LG
When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation
本文研究了在临床对话评估中，LLM作为评判者与传统自动相似性度量之间的分歧，通过LoRA技术对Llama-2-7B进行领域适应，并发现自动化指标可能无法完全反映临床实用性。
2026-03-31 cs.AI cs.CL
GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而，目前的评估指标只考虑表面特征或话语级语义，没有明确考虑细粒度的话题转换动态的对话流。在这里，我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑，这是产生有说服力的度量的更自然的方式。利用主题级对话图，我们提出了一个新的评价指标GRADE，它代表图形增强表示自动对话评价。具体来说，GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的，该对话图由常识图的证据增强，包括k跳邻近表示和跳注意力权重。实验结果表明，我们的GRADE显着优于其他国家的最先进的衡量标准，衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外，我们还发布了一个新的大规模人类评估基准，以促进未来对自动度量的研究。
2020-10-08 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning（印度机器学习）；Amazon（亚马逊）
多回合设置中的智能对话系统不仅应该生成高质量的响应，而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量，但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据，用于学习对话策略和奖励估计器，并使策略采取行动（生成响应），这可以预见成功（奖励）对话的未来方向。我们模拟一个代理和用户之间的对话（建模类似于代理与监督学习目标）相互作用。代理使用动态阻塞来生成排名不同的响应，并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估（作为弱注释）：语义相关性，语义一致性和一致性流。两个基准的实证研究表明，我们的模型可以显着优于响应质量，并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking
Cambridge University（剑桥大学）
口语对话系统（SDS）的自然语言生成（NLG）组件通常需要大量的手工制作或良好标记的数据集进行训练。这些限制显著增加了开发成本，并使跨域，多语言对话系统变得棘手。此外，人类语言是上下文感知的。最自然的反应应该直接从数据中学习，而不是依赖于预定义的语法或规则。本文提出了一种基于联合递归和卷积神经网络结构的统计语言生成器，它可以在没有任何语义对齐或预定义语法树的情况下对对话行为-话语对进行训练。客观指标表明，这种新的模型优于以前的方法在相同的实验条件下。人类法官的评估结果表明，它不仅产生高质量，但语言上不同的话语相比，n-gram和基于规则的系统是首选。
2015-08-07 cs.CL
Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
University of Cambridge（剑桥大学）；Amazon AWS AI（亚马逊AWS人工智能）；The Chinese University of Hong Kong（香港中文大学）
预训练的语言模型最近已被证明有利于面向任务的对话（TOD）系统。尽管他们的成功，现有的方法往往制定这个任务作为一个级联的生成问题，这可能会导致错误积累在不同的子任务和更大的数据注释开销。在这项研究中，我们提出了PPTOD，一个统一的即插即用模型面向任务的对话。此外，我们引入了一个新的对话多任务预训练策略，允许模型学习的主要TOD任务完成技能，从异构对话语料库。我们在三个基准TOD任务上广泛测试了我们的模型，包括端到端对话建模，对话状态跟踪和意图分类。实验结果表明，PPTOD在高资源和低资源场景下的所有评估任务上都达到了新的水平。此外，与以前的SOTA方法的比较表明，由PPTOD生成的响应是更真实的正确性和语义一致的判断由人类注释。
2022-03-01 cs.CL
Multi-Expert Conformal Risk Control for Pairwise LLM Judging in Open-Ended Dialogue
Monash University（莫纳什大学）
本文提出多专家共形风险控制算法，针对开放式对话的Pairwise LLM评判问题，设计Score Averaging、Decision Voting及MC3方法，构建Panel基准数据集，提升了同构与异构专家面板的评估性能。
2026-08-28 cs.CL
SAGE: State-Grounded, Abstention-Aware Evaluation of Task-Oriented Dialogue Agents
Microsoft（微软）
SAGE是一种基于状态、感知弃权的任务型对话智能体评估方法，其SAGE-Core零LLM成本且在四个数据集切片上表现不劣于各类LLM评判器，经人工审计标签保真度高。
2026-09-02 cs.AI cs.CL cs.LG
Evaluating the Capabilities of LLMs for Persuasive Dialogue
University of Liverpool（利物浦大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Leeds（利兹大学）
该研究推出多智能体对话平台\textsc{Persuasio}，通过192场辩论发现LLMs主观说服力强但形式论证能力弱，人类在形式判定中仍具竞争力，二者存在系统性差距。
2026-09-01 cs.CL
Evaluating Language Models in Realistic Conversational Contexts
该研究针对现有对话评估框架的不足，推出UPHELD基准，开发混合评判者框架，提升了对话评估与人类判断的相关性，为LLM对话评估提供了稳健基础。
2026-08-28 cs.CL
ACUTE-EVAL: Improved Dialogue Evaluation with Optimized Questions and Multi-turn Comparisons
Facebook AI Research（脸书人工智能研究院）
虽然对话仍然是自然语言研究的一个重要的最终目标，但评估的困难是一个经常引用的原因，为什么它仍然很难在解决问题方面取得真正的进展。评估困难实际上是双重的：不仅自动度量与人类判断没有很好的相关性，而且人类判断本身实际上也很难衡量。两个最常用的人类判断测试，单轮成对评估和多轮李克特分数，都有严重的缺陷，因为我们在这项工作中讨论。相反，我们提供了一个新的程序，涉及比较两个完整的对话，其中一个人的法官被要求注意只有一个扬声器在每个，并作出成对的判断。问题本身经过优化，以最大限度地提高不同注释器之间判断的鲁棒性，从而实现更好的测试。我们还展示了这些测试如何在自玩模型聊天设置中工作，从而实现更快，更便宜的测试。我们希望这些测试成为事实标准，并将为此发布开源代码。
2019-09-06 cs.CL
Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems
Cambridge University Engineering Department（剑桥大学工程系）
自然语言生成（NLG）是口语对话的重要组成部分，它对可用性和感知质量都有重要影响。大多数常用的NLG系统使用规则和语法，并且倾向于生成刚性和风格化的响应，而没有人类语言的自然变化。它们也不容易扩展到覆盖多个领域和语言的系统。提出了一种基于语义控制的长短期记忆（LSTM）结构的统计语言生成器。LSTM生成器可以通过使用简单的交叉熵训练标准联合优化句子规划和表面实现来从未对齐的数据中学习，并且可以通过从输出候选中采样来轻松实现语言变化。在两个不同的测试域中的客观评价表明，与以前的方法相比，该方法提高了性能。人类评委在信息量和自然性方面对LSTM系统的评分更高，总体上比其他系统更喜欢它。
2015-08-26 cs.CL
Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
一致性识别在开放域对话中取得了显著的成功，它可以用来防止不一致的响应生成。然而，相对于开放领域对话的快速发展，面向任务的对话方向却鲜有尝试。本文认为，在面向任务的领域中，一致性问题更为迫切。为了便于研究，我们引入了CI-ToD，一个新的数据集的一致性识别面向任务的对话系统。此外，我们不仅对单个标签进行注释，使模型能够判断系统响应是否矛盾，还提供了更多细粒度的标签（即，实验结果表明，现有方法的一致性识别率仅为51.3%，远远落后于人类的93.2%，表明一致性识别能力还有很大的提升空间。最后，我们进行了详尽的实验和定性分析，以了解关键的挑战，并为未来的发展方向提供指导。所有数据集和模型都可在\url{https://github.com/yizhen20133868/CI-ToD}上公开获得。
2021-09-23 cs.CL
CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues
University Regensburg（雷根斯堡大学）
针对现有基准对话数据集缺少真实沟通失误类话语的问题，提出CoPrUS两步合成方法，借助大语言模型生成三类沟通错误及修复话语，经多维度验证可用于数据增强，并发布修改后的CoPrUS-MultiWOZ数据集。
2024-12-10 cs.CL
BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiaotong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）
本报告提出BotChat，一种基于LLM的多轮对话评估方法。研究发现GPT-4能生成难以区分于人类的高质量对话，显著优于其他模型。
2023-10-20 cs.CL
Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Sciences and AI (RBC-DSAI), Indian Institute of Technology, Madras（罗伯特博世数据科学与人工智能中心（RBC-DSAI），印度理工学院马德拉斯分校）；Microsoft, India（微软印度公司）；NVIDIA, India（英伟达印度公司）
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。ADEM（Lowe et al. 2017）将对话系统的自动评估表述为一个学习问题，并表明这种模型能够预测与人类判断显著相关的反应，无论是在话语还是系统层面。他们的系统被证明击败了单词重叠指标，如BLEU，具有很大的利润率。我们从对手是否能利用ADEM模型的问题开始。针对基于神经网络的ADEM评估系统设计了一系列有针对性的攻击，表明对话系统的自动评估还有很长的路要走。ADEM可能会与文本中的词序颠倒这样简单的变体混淆！我们报告几个这样的对抗性的情况下，得出违反直觉的分数的对话反应的实验。我们采取了系统的看ADEM提出的评分功能，并将其连接到线性系统理论来预测系统中明显的缺点。我们还设计了一种攻击，可以欺骗这样的系统，以评价响应生成系统作为有利的。最后，我们提到未来的研究方向，使用对抗攻击，设计一个真正的自动化对话评估系统。
2019-02-23 cs.CL
A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文系统评估30个LLM在12个元评估数据集上的话轮级与对话级多维评分、对抗鲁棒性及集成效果，以检验其作为自动对话评估器的有效性。
2024-01-20 cs.CL
Measuring Semantic Progress in Multi-turn Dialogue via Information Gain
NTU Singapore（新加坡南洋理工大学）；Amazon（亚马逊）；Amazon Research, Tübingen, Germany（亚马逊研究院（德国图宾根））
提出基于信息论的信息增益指标，通过高斯嵌入近似量化多轮对话中问题相关的语义进展，无需LLM推理，在多个基准上取得与人类判断一致的结果。
2026-06-11 cs.CL cs.LG
Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM
Fudan University（复旦大学）；Huawei（华为）；ByteDance（字节跳动）
针对多轮长辩论自动化评估的难题，提出融合迭代时序分析与多维度评估协同的Debatrix框架，结合PanelBench基准验证，其效果显著优于直接用大语言模型评估。
2024-06-19 cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One（Connex One公司）
本文提供了一些文本摘要技术的评估结果的目的，生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法，因为它们不需要任何标记的数据，并且在生产中非常快速和容易实现。我们实验比较几个这样的方法，使用它们来产生呼叫的摘要，并客观地（使用ROUGE-L）和主观地（通过聚合几个注释者的判断）评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法，而BERTSum在主观和客观评价中的得分相对较低。结果表明，即使是像Lead-N这样简单的基于统计学的方法，也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Single- vs. Dual-Prompt Dialogue Generation with LLMs for Job Interviews in Human Resources
IDLab, Universiteit Gent – imec（根特大学-imec IDLab实验室）；LT3, Universiteit Gent（根特大学LT3语言与翻译技术团队）
本研究在人力资源领域比较了基于LLM的单提示与双提示面试对话生成方法，发现双提示法虽增加六倍token消耗，但其生成对话的胜率比单提示法高2至10倍。
2025-09-18 cs.CL
HalluDial: A Large-Scale Benchmark for Automatic Dialogue-Level Hallucination Evaluation
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
本文提出含4,094段对话、146,856个样本的HalluDial基准，并训练专用裁判模型HalluJudge，以实现对话级事实性与忠实性幻觉的自动评估、定位和依据分析。
2024-06-11 cs.CL
Multi-domain Neural Network Language Generation for Spoken Dialogue Systems
Cambridge University（剑桥大学）
从有限域自然语言生成（NLG）到开放域是困难的，因为语义输入组合的数量随着域的数量呈指数级增长。因此，重要的是利用现有资源并利用域之间的相似性来促进领域自适应。在本文中，我们提出了一个过程，训练多领域，基于递归神经网络（RNN）的语言生成器通过多个适应步骤。在这个过程中，首先在从域外数据集合成的伪造数据上训练模型，然后在具有判别目标函数的一小组域内话语上进行微调。基于语料库的评估结果表明，所提出的程序可以实现竞争力的性能，在BLEU分数和插槽出错率，同时显着减少所需的数据，训练发电机在新的，看不见的领域。在主观测试中，人类法官证实，该程序大大提高了生成器的性能时，只有少量的数据是在域中。
2016-03-03 cs.CL
Evaluating Coherence in Dialogue Systems using Entailment
University of Alberta（阿尔伯塔大学）
由于可能的正确答案的多样性，评估开放域对话系统是困难的。BLEU等自动指标与人类注释的相关性很弱，导致不同模型和数据集之间存在显著偏差。一些研究人员求助于人类判断实验来评估响应质量，这是昂贵的，耗时的，并且不可扩展。此外，评委们倾向于评价少数对话，这意味着评价结构的微小差异可能导致不同的结果。在本文中，我们提出了可解释的指标评估主题的连贯性，利用分布式句子表示。此外，我们引入了可计算的近似的人类判断的基础上会话的连贯性，采用国家的最先进的蕴涵技术。结果表明，我们的指标可以作为人类判断的替代品，可以很容易地在大规模数据集上评估对话系统，并允许对响应的质量进行无偏估计。
2020-04-01 cs.CL cs.LG
SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation
University of Pittsburgh（匹兹堡大学）；The University of Manchester（曼彻斯特大学）
针对开放域对话评估中的一对多问题及LLMs在特定领域表现不佳的缺陷，提出SLIDE框架，结合小型专用模型与LLMs，通过对比学习、新型语义敏感性指标及结果融合策略，实现了与人类判断高度相关的最先进评估性能。
2024-05-30 cs.CL
From Knowledge Augmentation to Multi-tasking: Towards Human-like Dialogue Systems
Nanyang Technological University（南洋理工大学）
自人工智能诞生之初，构建能够与人类自然对话的对话智能体一直是研究人员的梦想。著名的图灵测试提出了判断一个人工智能主体的最终有效性的标准是它的对话与人类对话的不可混淆性。毫不奇怪，人类级别的对话系统非常具有挑战性。但是，虽然基于规则的系统的早期努力取得了有限的成功，但深度学习的出现使这一主题取得了巨大进展。在这篇论文中，我们专注于解决人工会话代理人和人类对话者之间存在差距的众多问题的方法。这些方法的提出和实验方式受到了一般最先进的人工智能方法的启发。但他们也瞄准了对话系统所具有的特征。
2022-12-11 cs.AI cs.CL cs.LG
D-SMART: Enhancing LLM Dialogue Consistency via Dynamic Structured Memory And Reasoning Tree
D-SMART通过动态结构化记忆和推理树，使LLM在多变对话中保持事实与逻辑一致，显著提升一致性分数超48%。
2025-10-15 cs.CL
Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages
Zendesk
研究揭示了在受控生成条件下，LLM评判者在不同芬兰-乌戈里语系语言中的稳定性问题，发现语用判断存在排名不稳定性，需针对特定语言进行校准。
2026-02-02 cs.CL
Integrating Pretrained Language Model for Dialogue Policy Learning
The Chinese University of Hong Kong（香港中文大学）
强化学习（RL）已被证明其潜力，训练一个对话策略代理，以最大限度地提高用户的累积奖励。然而，奖励可能是非常稀疏的，因为它通常只在对话会话结束时提供，这导致了可接受的对话代理无法承受的交互要求。与许多致力于优化策略和回收奖励的努力不同，这些努力容易陷入局部最优和模型崩溃，我们将对抗训练分解为两个步骤：1）我们将预训练的语言模型整合为一个模型，以判断当前系统动作是否足够好用于最后一个用户动作（即，\textit{next action prediction}）; 2）算法给出局部稠密奖励，以指导Agent的探索。实验结果表明，该方法显著提高了对话系统的完成率（~4.4\%）和成功率（~8.0\%）。
2021-11-02 cs.AI cs.CL
SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs
Maulana Abul Kalam Azad University of Technology（Maulana Abul Kalam Azad 工业技术大学）；National Institute of Technology Durgapur（Durgapur 国家理工大学）
本文提出SKG-Eval框架，通过增量语义知识图谱模型，解决多轮对话评估中长距离不一致问题，提供可解释的评估信号和可复现的评分结果。
2026-05-15 cs.AI cs.CL
Automated Evaluation of Multi-Turn Dialogues in In-Car Conversational Assistants
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；BMW Group（宝马集团）；Technical University of Munich（慕尼黑工业大学）；RWTH Aachen University（亚琛工业大学）；fortiss GmbH（fortiss有限公司）
针对车载对话助手多轮交互评估难题，提出基于策略引导用户模拟器与双层LLM评判器的自动化框架，显著提升失败类型与失败对话的发现效率。
2026-09-30 cs.CL cs.SE
VISTA: Verification In Sequential Turn-based Assessment
The Ohio State University（俄亥俄州立大学）
VISTA通过声明级验证和顺序一致性追踪评估对话事实性，提升多轮对话中幻觉检测效果，改进现有基准测试的一致性。
2026-04-20 cs.CL
SageLM: A Multi-aspect and Explainable Large Language Model for Speech Judgement
SageLM提出一种端到端、多方面可解释的语音大语言模型，通过联合评估语义与声学维度、引入理由监督和合成偏好数据集SpeechFeedback，在语音到语音模型评估中与人类一致率达82.79%，显著优于现有基线。
2025-11-10 cs.CL
LLM-Rubric: A Multidimensional, Calibrated Approach to Automated Evaluation of Natural Language Texts
Microsoft（微软）
本文提出LLM-Rubric框架，通过训练小型前馈神经网络校准多个LLM对评分标准问题的回答分布，以预测人类评判者的多维标注，在对话系统评估中将用户满意度预测误差降至0.5以下，较未校准基线提升2倍。
2024-12-31 cs.CL
SDARE-Bench: Evaluating Large Language Models on Conversational Stigma Detection and Response in Dyadic and Group Dialogue
Monash University（莫纳什大学）；University of Liverpool（利物浦大学）；University of Edinburgh（爱丁堡大学）；Federation University（联邦大学）；Orygen, The University of Melbourne（墨尔本大学下属Orygen机构）
研究人员构建首个场景式基准SDARE-Bench，评估8个LLMs在二元与群体对话中的污名检测和响应能力，发现LLMs对污名识别差、群体场景污名表达率达97.5%，污名响应是其安全漏洞。
2026-09-02 cs.CL
HEART: A Unified Benchmark for Assessing Humans and LLMs in Emotional Support Dialogue
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
HEART通过多轮情感支持对话评估人类与大语言模型的能力差异，揭示两者在共情、一致性等维度上的表现及趋同趋势。
2026-02-25 cs.AI cs.CL
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
Dialpad Inc.（戴爾福公司）
本研究构建了真实客户支持技能的LLM工作流执行基准，评估17个LLM的表现，发现GPT-5.4领先，QWEN3.5-9B是最强开源模型，且评判者可靠性对评估至关重要。
2026-10-15 cs.CL
StoryMI: Steerable Multi-Agent Therapeutic Dialogue Generation
Vrije Universiteit Amsterdam（弗里堡大学阿姆斯特丹分校）；NII, Tokyo Institute of Technology（东京技术大学信息机构）
提出StoryMI框架，通过多LLM智能体协作、情境故事基础和动态策略控制，生成符合动机性访谈标准的治疗性对话，并构建评估协议和数据集验证其有效性。
2026-04-18 cs.AI cs.CL
Can LLMs Judge Debates? Evaluating Non-Linear Reasoning via Argumentation Theory Semantics
Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）；CRIL CNRS & University of Artois（CNRS CRIL与阿维尼昂大学）
本文研究大语言模型能否在仅给定对话文本、无法访问论证图的情况下近似计算定量论证辩论（QuAD）语义，发现模型仅达到中等一致性，且长输入或话语流打乱会降低性能，而思维链和上下文学习等高级提示可缓解长度与位置偏差。
2025-09-19 cs.CL
Personality, Role, and Expressive Style in Large Language Models: An Interactionist Analysis
Okayama Prefectural University（冈山县立大学）；AI & Humans Lab（人工智能与人类实验室）；C4A Research Institute（C4A研究所）
本研究从互动主义视角，通过因子设计实验分析个性特质、对话角色和表达风格如何共同影响大型语言模型生成对话中感知的大五人格特质表达。
2026-05-27 cs.CL
X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
本文提出X-Turing测试，通过突发对话模式和伪对话历史迭代生成机制减少人类参与，并引入X-Turn通过率指标评估LLMs在长期对话中的类人程度，发现GPT-4等模型随对话轮次增加难以保持一致性。
2025-05-29 cs.AI cs.CL
Småprat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning
Luleå University of Technology（吕勒奥理工大学）；RISE Research Institutes of Sweden（瑞典RISE研究机构）
构建能够产生令人信服的响应的开放域会话系统（或聊天机器人）是一项公认的挑战。最新的基于转换器的自然语言对话生成模型在模拟英语中的类人单轮对话方面表现出令人印象深刻的性能。这项工作调查，通过实证研究，这种模式的迁移学习到瑞典语的潜力。DialoGPT是一种英语预训练模型，通过对从公开来源获得的三种不同的瑞典语会话数据集进行训练来适应。困惑分数（一种自动化的内在语言模型度量）和人类评估的调查被用来评估微调模型的性能，结果表明，迁移学习的能力可以得到相当大的成功。要求对模拟对话进行评分的人类评估人员判断，对于在最大（瑞典）数据集上训练的模型，超过57%的聊天机器人响应与人类相似。我们在HuggingFace平台上提供英语和瑞典语聊天机器人的演示和模型检查点供公众使用。
2022-02-13 cs.CL cs.LG
