TEA-Bench: A Systematic Benchmarking of Tool-enhanced Emotional Support Dialogue Agent
Harbin Institute of Technology(哈尔滨工业大学)
本文提出TEA-Bench,首个评估工具增强情感支持对话代理的交互式基准,通过真实情感场景和工具环境评估情感支持质量和事实性。实验表明工具增强提升情感支持质量并减少幻觉,但效果依赖模型能力。
2026-05-08 cs.AI
TPBench: A Turning-Point Benchmark for Dialogue Compression
Korea Institute of Energy Technology (KENTECH)(韩国能源技术研究院)
TPBench是一个针对对话压缩的转折点基准,通过三个探针评估压缩方法在保留初始目标和当前槽位值上的表现,发现现有压缩方法在联合探针上低于完整上下文。
2026-10-05 cs.AI cs.CL
DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents
KAIST(韩国科学技术院);SNU(釜山大学)
针对现有对话智能体评估忽视多方对话与长期依赖的问题,提出DialSim模拟评估框架及LongDialQA数据集,发现大上下文或RAG模型仍难以保持长期多方理解,凸显更真实基准的必要性。
2025-09-26 cs.AI cs.CL
FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems
Emory University(埃默里大学)
本文提出FCC框架,通过融合对话历史与候选来源的领域知识提升多轮对话响应排序性能,在MSDialog数据集上Recall@1提升7%、MAP提升4%。
2023-03-31 cs.AI cs.CL
Positively transitioned sentiment dialogue corpus for developing emotion-affective open-domain chatbots
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
在本文中,我们描述了一种数据增强方法,用于开发Emily,一个情感开放域聊天机器人。所提出的方法是基于显式建模的正转换(PT)的情感数据从多轮对话。我们用PT情感数据构建了一个对话语料库,并将其公开使用。通过使用产生的PT增强对话微调预训练的对话模型,我们能够开发一个情感情感开放域聊天机器人,在各种情感情感指标中表现出接近人类的表现。我们评估艾米丽对一些国家的最先进的(SOTA)开放域聊天机器人,并显示所提出的方法的有效性。语料库是公开提供的。
2022-08-10 cs.CL
Enhance word representation for out-of-vocabulary on Ubuntu dialogue corpus
AT&T, Chief Data Office(AT&T首席数据办公室)
Ubuntu对话语料库是最大的公共可用对话语料库,使直接从对话数据构建端到端深度神经网络模型成为可能。Ubuntu对话语料库的一个挑战是大量的词汇表外的单词。在本文中,我们提出了一种方法,结合一般的预训练词嵌入向量的特定任务的训练集上生成的,以解决这个问题。我们将字符嵌入集成到Chen等人的增强型LSTM方法(ESIM)中,并使用它来评估我们提出的方法的有效性。对于下一个话语选择任务,所提出的方法表现出了显着的性能改进,相对于原始ESIM和新模型已经取得了最先进的结果在Ubuntu的对话语料库和豆瓣会话语料库。此外,我们还研究了话语结束和回合结束标记对性能的影响。
2018-05-07 cs.CL
The BEA 2023 Shared Task on Generating AI Teacher Responses in Educational Dialogues
KU Leuven(鲁汶大学);imec(比利时微电子研究中心);MBZUAI(穆罕默德·本·扎耶德人工智能大学);King’s College London(伦敦国王学院);Universidad Central del Ecuador(厄瓜多尔中央大学);Stanford University(斯坦福大学)
该研究介绍BEA 2023首个教育对话AI教师回复生成共享任务,8支团队用多种大模型参赛,NAISTeacher系统凭GPT-3.5结合提示集成与DialogRPT排序夺冠,同时指出需更适配教育场景的评估指标。
2023-06-12 cs.CL
BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));KT Corporation(KT公司)
针对多模态对话响应生成中以文本为中间步骤易丢失图像信息的问题,提出BI-MDRG桥接图像历史信息,提升文本响应相关性与图像物体一致性,还构建了300段标注对话的图像一致性评估数据集。
2024-08-12 cs.AI cs.LG cs.MM
More Robust Schema-Guided Dialogue State Tracking via Tree-Based Paraphrase Ranking
University of Cambridge(剑桥大学);Apple(苹果公司)
模式引导的范式克服了使用静态本体构建面向任务的对话(TOD)代理所固有的可扩展性问题。而不是单独的对话上下文操作,代理人有机会获得分层模式包含任务相关的自然语言描述。微调的语言模型擅长模式引导的对话状态跟踪(DST),但对模式的写作风格敏感。我们探索提高DST模型鲁棒性的方法。我们提出了一个框架,使用基于树的排名,以共同优化词汇多样性和语义的忠实性产生的合成模式。当使用我们的框架生成的提示来增强其训练数据时,强基线的泛化得到了改善,正如SGD-X基准测试中平均联合目标准确度(JGA)和模式敏感度(SS)的显着改善所证明的那样。
2023-03-17 cs.CL
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间,该方法在美式英语对话的反馈排序任务中优于人类,且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
DialogCC: An Automated Pipeline for Creating High-Quality Multi-Modal Dialogue Dataset
School of Computing, KAIST(韩国科学技术院计算机学院);NAVER Vision(NAVER视觉);NAVER Cloud Multimodal AI(NAVER云多模态人工智能)
本文提出自动化流程 DialogCC,利用 GPT-4 推断图像分享时刻并结合 CLIP 保证图文一致性,构建高质量多模态对话数据集,显著提升模型泛化能力。
2024-03-29 cs.CL cs.CV
The World is Not Binary: Learning to Rank with Grayscale Data for Dialogue Response Selection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
响应选择在构建基于检索的会话系统中起着至关重要的作用。尽管响应选择自然是一个学习排名的问题,大多数以前的作品采取了逐点的观点和训练二进制分类器为这项任务:每个响应候选人被标记为相关(一)或不相关(零)。一方面,这种形式化可能是次优的,因为它忽略了响应质量的多样性。另一方面,注释灰度数据用于学习排名可能是非常昂贵和具有挑战性的。在这项工作中,我们表明,灰度数据可以自动构建,而无需人工努力。我们的方法采用现成的响应检索模型和响应生成模型作为自动灰度数据生成器。利用构建的灰度数据,我们提出了多层次的排名目标进行训练,这可以(1)教匹配模型捕获更细粒度的上下文响应相关性差异,(2)减少训练测试在干扰物强度方面的差异。该方法简单、有效、通用。在三个基准数据集和四个最先进的匹配模型上的实验表明,该方法带来了显着的和一致的性能改善。
2020-10-13 cs.CL
An Ensemble Model with Ranking for Social Dialogue
Heriot-Watt University(赫瑞瓦特大学)
开放领域的社会对话是人工智能的长期目标之一。今年,亚马逊首次宣布了Alexa Prize挑战赛,真正的客户可以对全球领先大学开发的系统进行评分。这项挑战的目的是“与人类就流行话题进行连贯和愉快的对话20分钟”。我们描述了我们的Alexa Prize系统(称为“Alana”),该系统由一系列机器人组成,结合了基于规则的系统和机器学习系统,并使用上下文排名机制来选择系统响应。在比赛期间接收到的真实用户反馈上训练排名器,其中我们解决了如何在比赛期间获得的嘈杂和稀疏反馈上进行训练的问题。
2017-12-20 cs.CL
A Systematic Evaluation of Response Selection for Open Domain Dialogue
Amazon Alexa AI(亚马逊Alexa AI)
语言处理神经方法的最新进展引发了人们对构建智能开放域聊天机器人的兴趣。然而,即使是最先进的神经聊天机器人也不能对对话中的每一个回合都产生令人满意的反应。一个实际的解决方案是为同一上下文生成多个响应候选,然后执行响应排名/选择以确定哪个候选是最好的。先前在响应选择方面的工作通常使用合成数据来训练响应排序器,该合成数据是通过将地面真实响应用作单个适当响应并经由随机选择或使用对抗方法来构建不适当的响应而从现有对话形成的。在这项工作中,我们策划了一个数据集,其中针对同一对话上下文产生的多个响应生成器的响应被手动注释为适当(积极)和不适当(消极)。我们认为,这样的训练数据更好地匹配实际的用例示例,使模型能够学习有效地排名响应。有了这个新的数据集,我们对最先进的响应选择方法进行了系统的评估,并证明了使用多个阳性候选者和使用手动验证的硬阴性候选者的策略与使用对抗性训练数据相比可以带来显着的性能改善,例如,Recall@1得分分别增加3%和13%。
2022-08-08 cs.CL
Controllable Generation of Dialogue Acts for Dialogue Systems via Few-Shot Response Generation and Ranking
University of California Santa Cruz(加州大学圣克鲁兹分校)
本研究提出一种新颖的少样本过生成与排序方法,通过八种提示风格和六种自动排序函数,在四种LLMs和三个领域上实现了对话行为的可控生成,其对话行为准确性与语义准确性优于少样本微调。
2023-07-26 cs.CL
Synthesizing Adversarial Negative Responses for Robust Response Ranking and Evaluation
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
开放域神经对话模型在响应排序和评估任务中取得了很高的性能。这些任务被公式化为在对话上下文中给出的响应的二进制分类,并且模型通常学习基于上下文响应内容相似性进行预测。然而,过度依赖内容相似性使得模型对不一致、不正确的时间表达和对响应适当性和一致性重要的其他因素的存在不太敏感。我们提出了自动创建对抗性负面训练数据的方法,以帮助排名和评估模型学习内容相似性之外的特征。我们提出了掩码和填充和关键词引导的方法,产生负面的例子,训练更强大的对话系统。这些生成的对抗性响应与上下文具有很高的内容相似性,但要么不连贯,不恰当,要么不流畅。我们的方法是完全数据驱动的,可以很容易地纳入现有的模型和数据集。在多个数据集上进行的分类、排名和评估任务的实验表明,我们的方法在为训练对话系统提供信息丰富的负面示例方面优于强基线。
2021-06-10 cs.CL
Dialogue-Contextualized Re-ranking for Medical History-Taking
University of British Columbia(不列颠哥伦比亚大学);AuxHealth;Curai Health(Curai健康)
针对医疗病史采集AI系统中的训练-推理差异问题,提出一种基于对话上下文的两阶段重排序方法及global re-ranker模型,相较专家系统,nDCG提升30%,mAP提升77%。
2023-04-04 cs.CL cs.IR
Hierarchical Context Enhanced Multi-Domain Dialogue System for Multi-domain Task Completion
Ping An(平安)
DSTC 8-track 1挑战赛的任务1旨在开发一个端到端的多领域对话系统,以实现游客咨询台设置下的复杂用户目标。本文介绍了我们提交的解决方案,层次上下文增强对话系统(HCEDS),为这项任务。我们的系统的主要动机是全面探索的潜力,层次背景下充分理解复杂的对话。更具体地说,我们应用BERT来捕获令牌级信息,并采用注意力机制来捕获令牌级信息。排行榜上的结果表明,我们的系统实现了第一名的自动评价和第二名的人的评价。
2020-03-03 cs.AI cs.CL
Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);PRESTO Japan Science Technology Agency(日本科学技术振兴机构PRESTO项目)
我们提出了一种新的方法来选择一个给定的对话上下文的连贯性和多样性的反应。所提出的方法通过使用对话历史中的事件与响应候选之间的事件因果关系(例如,"be stressed out“(强调)先于”relieve stress“(减轻压力)。我们使用分布式事件表示的基础上的角色因子张量模型的事件因果关系,由于有限的事件因果关系的知识系统的一个强大的匹配。实验结果表明,该方法提高了系统响应的一致性和对话的连续性。
2019-06-24 cs.CL
Teacher-Student Framework Enhanced Multi-domain Dialogue Generation
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
非常需要处理多域任务的对话系统。在面向任务的对话系统中,如何记录会话状态是一个关键问题。通常我们使用人类定义的特征作为对话状态,并应用状态跟踪器来提取这些特征。然而,这样的系统的性能受到状态跟踪器的误差传播的限制。在本文中,我们提出了一个对话生成模型,不需要外部状态跟踪器,仍然受益于人类标记的语义数据。通过使用教师-学生框架,多个教师模型首先在各自的领域进行训练,从标记状态学习对话策略。然后将学习到的知识和经验合并并转移到一个通用的学生模型中,该模型将原始话语作为其输入。实验表明,在我们的框架下训练的对话系统性能优于使用信念跟踪器。
2020-05-26 cs.AI cs.CL
E-CORE: Emotion Correlation Enhanced Empathetic Dialogue Generation
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出情感相关性增强的同理心对话生成框架E-CORE,通过多分辨率情感图建模情感相关性,并设计相关性感知聚合与软/硬策略的解码器,有效提升了情感感知准确性与回复生成的质量。
2023-11-25 cs.AI cs.CL
Mind the Knowledge Gap: A Survey of Knowledge-enhanced Dialogue Systems
University of Colorado Denver(科罗拉多大学丹佛分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
许多对话系统(DS)缺乏人类所具有的特性,例如情感感知、真实性和信息性。用知识增强DS可以解决这个问题,但是,由于存在许多这样做的方法,很难跟踪所有提出的方法。在这里,我们提出了知识增强DS的第一次调查。我们定义了三种类型的系统-内部,外部和混合-基于他们使用的知识。我们调查的动机,提高DS的知识,使用的数据集,知识搜索,知识编码和知识整合的方法。最后,我们提出了如何改进现有的系统的基础上,从语言学和认知科学的理论。
2022-12-20 cs.CL cs.LG
Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues
本文提出将预训练的语言模型与模块化对话范式相结合,用于开放域对话建模。我们的方法,语义增强微调,实例化会话理解,规划和响应生成作为一个语言模型微调任务。在推理中,我们通过分别为每个模块指定采样方法和约束来解开语义和令牌变化。对于训练和评估,我们提出了X-Weibo,这是一个中文多轮开放域对话数据集,具有情感,DA和主题词的自动注释。实验表明,语义增强的微调在非语义和语义指标上优于强基线,提高了人类评估的相关性,一致性和信息性,并对语义变量表现出相当大的可控性。
2022-05-24 cs.CL
Stop Filtering: Multi-View Attribute-Enhanced Dialogue Learning
Beijing Institute of Technology(北京理工大学)
通过过滤原始对话语料库来提高模型的会话能力越来越受到人们的关注。以前的过滤策略通常依赖于评分方法来从一个角度评估和丢弃样本,从而使模型能够增强相应的对话属性(例如,一致性)更容易。然而,丢弃的样本可能在其他方面获得高分,并且可以对模型学习提供正则化效果,这导致性能改善对过滤比率敏感。在这项工作中,我们提出了一个多视图属性增强的对话学习框架,加强属性相关的功能更强大,更全面。我们的框架不是过滤原始数据集来训练模型,而是首先在原始数据集上对模型进行预训练,然后通过选定子集上的适配器对其进行微调,这也增强了响应的某些属性,但不会出现上述问题。考虑到对话属性的多样性,我们进一步设计了多视图增强机制,包括多视图选择和视图间融合。它从多个角度分别对高质量样本进行分组,并使用相应的样本集和适配器增强响应的不同属性,保持知识独立并允许灵活集成。实验结果和分析表明,我们的框架可以提高性能显着增强对话属性和融合的观点特定的知识。
2022-05-23 cs.AI cs.CL
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对聊天机器人一致人设构建难题,提出名为RECAP的检索增强个性化对话回复生成方法,通过分层Transformer检索器和上下文感知前缀编码器实现信息融合,在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering
Amazon Alexa Search(亚马逊Alexa搜索部)
多域对话状态跟踪(DST)是对话式AI系统的关键组件。领域本体(即,会话式AI系统的域、槽和值的规范)通常是不完整的,使得DST模型在推理期间推广到新的槽、值和域的能力是必要的。在本文中,我们提出了一个问题回答问题,称为对话状态跟踪通过问答(DSTQA)的多域DST模型。在DSTQA中,每轮生成一个问题,询问(域,槽)对的值,从而使其自然地扩展到看不见的域,槽和值。此外,我们使用动态演化的知识图谱来明确地学习(域,槽)对之间的关系。我们的模型在MultiWOZ 2.0和MultiWOZ 2.1数据集上分别比当前最先进的模型有5.80%和12.21%的相对改进。此外,我们的模型在领域自适应设置中始终优于最先进的模型。(Code发布于https://github.com/alexa/dstqa)
2020-06-20 cs.AI cs.CL cs.LG
GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems
Sun Yat-Sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
自动评估对话一致性是开发高质量开放域对话系统的一项具有挑战性但要求很高的能力。然而,目前的评估指标只考虑表面特征或话语级语义,没有明确考虑细粒度的话题转换动态的对话流。在这里,我们首先考虑由对话中的主题构成的图结构可以准确地描述底层的通信逻辑,这是产生有说服力的度量的更自然的方式。利用主题级对话图,我们提出了一个新的评价指标GRADE,它代表图形增强表示自动对话评价。具体来说,GRADE结合了粗粒度的话语级上下文表示和细粒度的主题级图形表示来评估对话的连贯性。图表示是通过对主题级对话图进行推理来获得的,该对话图由常识图的证据增强,包括k跳邻近表示和跳注意力权重。实验结果表明,我们的GRADE显着优于其他国家的最先进的衡量标准,衡量不同的对话模型的皮尔逊和斯皮尔曼相关性与人类的判断。此外,我们还发布了一个新的大规模人类评估基准,以促进未来对自动度量的研究。
2020-10-08 cs.CL
Knowledge-Aware Graph-Enhanced GPT-2 for Dialogue State Tracking
University of Cambridge(剑桥大学)
对话状态跟踪是面向多领域任务的对话系统的核心,负责从用户话语中提取信息。我们提出了一种新的混合体系结构,增强GPT-2的表示来自图注意力网络的方式,允许因果,顺序预测槽值。该模型架构捕获跨域的时隙间关系和依赖性,否则这些关系和依赖性可能在顺序预测中丢失。我们报告了MultiWOZ 2.0在强大的GPT-2基线下状态跟踪性能的改进,并研究了一个简化的稀疏训练场景,其中DST模型仅在会话级注释上训练,但在回合级别进行评估。我们进一步报告了详细的分析,以证明图模型在DST中的有效性,通过显示所提出的图模块捕获插槽间的依赖关系,并提高对多个域共同的值的预测。
2021-09-23 cs.CL cs.LG
MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huawei Technologies(华为技术有限公司);Tsinghua University(清华大学)
面向任务的对话系统已经取得了前所未有的进展,多个国家的最先进的(SOTA)模型的支持下,一些公开可用的MultiWOZ数据集。对话状态注释容易出错,导致次优性能。在纠正原始MultiWOZ数据集中存在的注释错误方面已经做出了各种努力。在本文中,我们介绍了MultiWOZ 2.3,其中我们区分了对话行为中的不正确注释和对话状态,在发布更新的数据集时识别出缺乏共同引用。为了保证对话行为和对话状态之间的一致性,我们实现了共指功能,并统一了对话行为和对话状态的注释。我们在MultiWOZ 2.3上更新了自然语言理解和对话状态跟踪的最新性能,结果显示比以前版本的MultiWOZ数据集(2.0-2.2)有显著改进。
2021-06-14 cs.CL
X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
本文提出X-Turing测试,通过突发对话模式和伪对话历史迭代生成机制减少人类参与,并引入X-Turn通过率指标评估LLMs在长期对话中的类人程度,发现GPT-4等模型随对话轮次增加难以保持一致性。
2025-05-29 cs.AI cs.CL
Enhanced Speaker-aware Multi-party Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学)
多方多话轮对话理解在处理多个说话人的复杂场景和说话人意识话语之间的交叉话语关系方面带来了前所未有的挑战。大多数现有的方法处理的对话上下文作为纯文本和重视不够的关键说话人意识的线索。在这项工作中,我们提出了一个具有掩蔽注意力和异构图网络的增强的说话者感知模型,以全面捕获来自说话者属性和说话者感知关系双方的话语线索。通过这种全面的说话者感知建模,实验结果表明,我们的说话者感知模型有助于在基准数据集Molweni上实现最先进的性能。实例分析表明,该模型增强了话语与说话人之间的联系,捕捉到了说话人感知的话语关系,这对对话建模至关重要。
2021-09-09 cs.CL
A Frame Tracking Model for Memory-Enhanced Dialogue Systems
Microsoft Maluuba(微软 Maluuba)
最近,提出了资源和任务以超越对话系统中的状态跟踪。一个例子是帧跟踪任务,它需要记录多个帧,每个帧对应于对话期间设置的每个用户目标。这允许用户例如比较对应于不同目标的项目。本文提出了一种模型,它作为输入的列表中创建的框架到目前为止,在对话中,当前用户的话语以及对话行为,插槽类型,和插槽值与此话语。然后,该模型输出由对话行为、时隙类型和时隙值的每个三元组引用的帧。我们表明,在最近发布的Frames数据集上,该模型的性能显着优于先前提出的基于规则的基线。此外,我们提出了一个广泛的分析框架跟踪任务,将其划分为子任务,并评估其难度与我们的模型。
2017-06-06 cs.CL
FCM: A Fine-grained Comparison Model for Multi-turn Dialogue Reasoning
Beijing University of Posts and Telecommunications(北京邮电大学);Data Science Lab, JD.com(京东数据科学实验室);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
尽管神经对话系统在排行榜上取得了很高的成绩,但由于其推理能力差,在实践中无法满足用户的需求。其根本原因在于,大多数神经对话模型只捕捉句法和语义信息,而不能对对话历史和生成的响应之间的逻辑一致性进行建模。最近,一种新的多轮对话推理任务被提出,以促进对话推理的研究。但是,这项任务是具有挑战性的,因为在不合逻辑的反应和对话历史之间只有轻微的差异。如何有效解决这一挑战仍值得探讨。本文提出了一种细粒度的比较模型(FCM)来解决这个问题。受阅读理解中人类行为的启发,提出了一种比较机制,该机制关注每个响应候选项表征的细粒度差异。具体地,将每个候选表示与整个历史进行比较以获得历史一致性表示。此外,每个候选人和说话者自己的历史之间的一致性信号被认为是驱动模型,以优选在逻辑上与说话者的历史逻辑一致的候选人。最后,上述一致性表示被用来输出用于多轮对话推理的候选响应的排序列表。在两个公共对话数据集上的实验结果表明,该方法获得了比基线模型更高的排名分数。
2021-09-23 cs.CL
Persona-Knowledge Dialogue Multi-Context Retrieval and Enhanced Decoding Methods
Alexa AI(Alexa人工智能);Kakao Enterprise(Kakao企业)
Persona和Knowledge双上下文开放域聊天是最近提出的一种新的对话生成任务。虽然人格面具和知识都是开放域对话的有趣背景,但两者的结合还没有得到很好的研究。在本文中,我们解决了人物知识识别和响应生成任务。我们设计了一个明智的数据增强策略,是兼容的神经问答检索模型。随着增强的数据,我们执行置换的人物角色知识评估和连续的人物角色搜索微调。此外,我们执行对话生成与各种解码技术,并说明关键要素。我们在官方指标上达到SOTA,平均接地准确率为93.99%,SacreBLEU得分为23.62。
2022-07-28 cs.CL cs.IR
SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization
Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图));UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对传统语言模型忽略多轮对话特征的问题,提出SPECTRUM说话人增强预训练方法,结合自建多样化数据集与双预训练任务,在长对话摘要下游基准上取得SOTA性能。
2024-01-31 cs.CL
MUSE: MCTS-Driven Red Teaming Framework for Enhanced Multi-Turn Dialogue Safety in Large Language Models
East China Normal University(东华大学);Xi’an Jiaotong University(西安交通大学);Meituan(美团);Zhejiang University(浙江大学)
本文提出MUSE框架,从攻击与防御两侧应对多轮对话越狱:MUSE-A利用框架语义和启发式树搜索探索攻击轨迹,MUSE-D通过早期干预实现细粒度安全对齐,实验证明其能有效识别并缓解多轮漏洞。
2025-09-18 cs.AI cs.CL
G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents
Sungkyunkwan University(成均馆大学)
提出G-Long框架,利用微调小语言模型进行结构化三元组提取和关联检索,并引入注意力感知重要性评分机制,在降低计算开销的同时,在响应生成和记忆检索上达到最优性能。
2026-06-12 cs.AI cs.CL
LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems
Tencent AI Lab(腾讯人工智能实验室)
本文提出一种基于大语言模型的语义语音活动检测模块,用于高效管理全双工语音对话系统的轮询,通过轻量级大语言模型实现意图和非意图打断的区分,并通过短间隔处理输入语音以实现实时决策,同时减少计算开销。
2026-06-03 cs.CL eess.AS
TREND: Trigger-Enhanced Relation-Extraction Network for Dialogues
National Taiwan University(台湾大学)
对话关系抽取(DRE)的目的是识别给定对话中两个实体之间的关系。在会话过程中,说话人会通过明示或暗示的线索暴露出自己与特定实体的关系,这种证据被称为“触发点”。然而,触发器注释可能并不总是可用于目标数据,因此利用这些信息来增强性能是具有挑战性的。因此,本文提出学习如何从具有触发器注释的数据中识别触发器,然后将触发器查找能力转移到其他数据集以获得更好的性能。实验结果表明,该方法能够有效地提高未知关系的关系抽取性能,并证明了该模型在不同领域和数据集之间的可移植性.
2022-07-25 cs.CL
PLATO-K: Internal and External Knowledge Enhanced Dialogue Generation
Baidu Inc.(百度公司)
近年来,开放域对话系统的实际部署一直受到信息缺乏和事实不准确的知识问题的困扰。为此,我们引入了基于两阶段对话学习的PLATO-K,以加强内部知识的记忆和外部知识的开发。在第一阶段,PLATO-K通过大量的对话语料库进行学习,并将基本知识记忆为模型参数。在第二阶段,PLATO-K模仿人类搜索外部信息,并利用知识生成响应。大量的实验表明,知识问题显着缓解在PLATO-K与这种全面的内部和外部知识的增强。与现有的最先进的中文对话模型相比,PLATO-K的整体准确度在闲聊和知识密集型对话上分别提高了36.2%和49.2%。
2022-11-02 cs.CL
Dialogue Coherence Assessment Without Explicit Dialogue Act Labels
Ubiquitous Knowledge Processing Lab (UKP)(普适知识处理实验室(UKP));Technische Universität Darmstadt (TUDa)(达姆施塔特工业大学(TUDa))
最近的对话连贯性模型使用为独白文本设计的连贯性特征,例如名词实体,来表示话语,然后用对话相关特征显式地增强它们,例如,对话行为标签。它指出了两个缺点,(a)话语的语义仅限于实体提及,以及(b)连贯性模型的性能强烈依赖于输入对话行为标签的质量。我们通过引入一种新的对话连贯性评估方法来解决这些问题。我们使用对话行为预测作为多任务学习场景中的辅助任务,以获得信息性话语表征进行连贯性评估。我们的方法强调了在评估过程中需要明确的对话行为标签。我们的实验结果表明,我们的模型大大(超过20个准确点)优于其强大的竞争对手的DailyDialogue语料库,并与他们在SwitchBoard语料库中进行排名的对话有关的一致性。
2020-06-03 cs.CL
Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization
Beihang University(北京航空航天大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司)
本研究提出一种多阶段预训练模型,结合ChatGPT标注数据,专用于多场景多领域对话摘要,在多个数据集上显著超越现有最先进模型。
2023-10-16 cs.CL
Neural Response Ranking for Social Conversation: A Data-Efficient Approach
Heriot-Watt University(赫瑞-瓦特大学)
“社交”对话系统的总体目标是支持关于各种各样的话题的引人入胜的、娱乐性的和冗长的对话,包括社交闲聊。除了原始的对话数据,用户提供的评级是最常见的信号,用于训练这样的系统,以产生引人入胜的反应。在本文中,我们表明,社会对话系统可以有效地从原始的未注释的数据进行训练。使用在2017年Alexa Prize挑战中收集的真实对话数据集,我们开发了一个神经排名器,用于选择对用户话语的“好”系统响应,即可能导致长时间和引人入胜的对话的响应。我们表明,(1)当训练以优化用户评级时,我们的神经排名器始终优于几个强基线;(2)当训练大量数据并仅使用对话长度作为目标时,排名器的表现优于使用评级训练的排名器-最终达到0.87的Precision@1。这一进步将使社交会话代理的数据汇集在未来变得更简单、更便宜。
2018-11-02 cs.CL
Response Enhanced Semi-supervised Dialogue Query Generation
Xiamen University(厦门大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tencent AI Lab(腾讯AI Lab)
本文提出半监督框架SemiDQG,利用未标注对话和响应增强查询生成器(RA)提供伪查询与奖励信号,通过相似度筛选和REINFORCE算法训练查询生成器,在跨域和低资源场景下显著超越ChatGPT等基线。
2024-02-16 cs.AI cs.CL
Ontology-Enhanced Slot Filling
NYU Shanghai(上海纽约大学)
槽填充是面向任务的对话系统中对话状态跟踪的基本任务。在多领域任务导向的对话系统中,用户的话语和系统的响应可能会提到多个命名实体和属性值。系统需要选择那些由用户确认的,并将它们填充到指定的插槽中。一个困难是,由于对话会话包含多个系统-用户回合,由于输入单词令牌和GPU存储器的容量有限,将所有令牌馈送到诸如BERT的深度模型中可能具有挑战性。在本文中,我们研究了本体增强的方法,通过匹配命名实体出现在所有的对话轮使用本体。在先前的对话轮中匹配的实体将被累积和编码为基于BERT的对话状态跟踪器的附加输入。此外,我们的改进包括本体约束检查和插槽名称标记化的纠正。实验结果表明,我们的本体增强的对话状态跟踪器提高了联合目标的准确率(槽F1)从52.63%(91.64%)到53.91%(92%)的MultiWOZ 2.1语料库。
2021-08-25 cs.CL
Copy-Enhanced Heterogeneous Information Learning for Dialogue State Tracking
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Unisound Information Technology Co., Ltd(北京云知声信息技术有限公司)
对话状态跟踪(DST)是面向任务的对话系统中的一个重要组成部分,它估计用户在每个对话回合的目标。然而,大多数先前的方法通常遭受以下问题。许多判别模型,特别是端到端(E2 E)模型,很难提取出候选本体中不存在的未知值;而以往的生成模型,虽然可以从话语中提取未知值,但由于忽略了预定义本体的语义信息,导致性能下降。此外,以前的生成模型通常需要手工制作的列表来规范化生成的值。如何整合预定义本体和对话文本(异构文本)的语义信息以生成未知值并提高性能成为一个严峻的挑战。本文提出了一种基于多编码器-解码器的复制增强异构信息学习模型CEDST(Copy Enhanced Heterogeneous Information Learning Model with Multiple Encoder-Decoder for DST),该模型通过从异构文本中复制值,有效地生成包括未知值在内的所有可能值。同时,CEDST通过多个编码器有效地将大的状态空间分解为若干个小的状态空间,并采用多个解码器充分利用这些小的状态空间来产生值。多编解码器架构可以显著提高性能。实验表明,CEDST可以达到最先进的结果在两个数据集和我们构造的数据集与许多未知值。
2019-08-21 cs.CL
PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation
Anhui Robot Technology Standard Innovation Base, School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院安徽机器人技术标准创新基地)
提出PRIDE方法,利用训练时可用但推理时不可用的特权信息(如心理标注或未来事件摘要),通过共情推理提示、多源注意力机制和双对齐损失,将大模型的共情推理能力蒸馏到小模型,在资源受限场景下保持性能。
2026-06-23 cs.AI cs.CL
LUNA: Learning Slot-Turn Alignment for Dialogue State Tracking
JD AI Research(京东人工智能研究院)
对话状态跟踪(DST)的目的是在给定对话历史的情况下预测当前对话状态。现有的方法通常利用所有对话轮的话语来为每个时隙分配值。由于从对话历史中的不相关话语引入的信息,这可能导致次优结果,这可能是无用的,甚至可能导致混淆。为了解决这个问题,我们提出了LUNA,一个sLot-tUrN对齐增强的方法。它首先明确地将每个槽与其最相关的话语对齐,然后基于该对齐的话语而不是所有对话话语进一步预测对应的值。此外,我们还设计了一个时隙排序辅助任务来学习时隙之间的时间相关性,这有助于对齐。在多领域面向任务的对话数据集上进行了综合实验,MultiWOZ 2.0、MultiWOZ 2.1和MultiWOZ 2.2。结果表明,LUNA在这些数据集上取得了新的最先进的结果。
2022-05-05 cs.CL
Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation
针对开放域对话评估中对抗性负样本的挑战,提出一种将抽象意义表示(AMR)增强的特定领域语言模型与大语言模型集成的评估框架,通过门控机制和提示融合显著提升了与人类判断的相关性。
2025-09-16 cs.CL
Entropy-Enhanced Multimodal Attention Model for Scene-Aware Dialogue Generation
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学)
随着来自社交媒体的信息越来越多,可用的视频越来越多。因此,在视频上推理的能力很重要,值得讨论。The Dialog System Technology Challenge(DSTC 7)(Yoshino et al. 2018)提出了一种视听场景感知对话(AVSD)任务,该任务包含视频、对话历史、摘要和标题等五种模态,作为场景感知环境。在本文中,我们提出了熵增强的动态记忆网络(DMN),有效地模拟视频模态。该模型中基于注意力的GRU可以提高模型对序列信息的理解和记忆能力。熵机制可以更高地控制注意力分布,因此每个待回答的问题可以更具体地集中在一小组视频片段上。在熵增强的DMN确保视频上下文之后,我们应用注意力模型,该注意力模型结合摘要和标题来生成关于视频的问题的准确答案。在正式的评估中,我们的系统可以实现对发布的基线模型的主观和客观的评估指标的性能提高。
2019-08-22 cs.CL
MoNET: Tackle State Momentum via Noise-Enhanced Training for Dialogue State Tracking
CUHK-Shenzhen(香港中文大学(深圳));JD AI Research(京东人工智能研究院);SRIBD(深圳大数据研究院);Pengcheng Lab(鹏城实验室)
本文提出MoNET,通过噪声增强训练和对比上下文匹配框架,解决对话状态跟踪中的状态动量问题,在MultiWOZ数据集上取得优于现有方法的性能。
2023-06-19 cs.CL
Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation
Microsoft Research Asia(微软亚洲研究院);Westlake University(西湖大学);Zhejiang University(浙江大学)
虽然预训练模型在对话生成方面取得了巨大的成功,但当输入包含未出现在预训练和微调数据集中的实体(未见过的实体)时,它们的性能会急剧下降。为了解决这个问题,现有的方法利用外部知识库来生成适当的响应。在现实世界中,实体可能不包括在知识库中,或者受到知识检索精度的影响。为了解决这个问题,我们不引入知识库作为输入,而是通过预测知识库中的信息,仅基于输入上下文,迫使模型学习更好的语义表示。具体地说,在知识库的帮助下,我们引入了两个辅助训练目标:1)解释屏蔽词,它在给定上下文的情况下解释屏蔽实体的含义; 2)上位词生成,它根据上下文预测实体的上位词。在两个对话语料库上的实验结果验证了该方法在知识可用和不可用两种情况下的有效性。
2021-09-12 cs.CL
The Future of Cognitive Strategy-enhanced Persuasive Dialogue Agents: New Perspectives and Trends
Northwestern Polytechnical University(西北工业大学);National University of Defense Technology(国防科技大学)
本文综述认知策略增强的说服性对话智能体(CogAgent),提出融合说服、话题路径规划和论证结构预测三种策略的系统架构,并总结基准与未来方向。
2024-02-07 cs.CL
Dialogue Session Segmentation by Embedding-Enhanced TextTiling
Peking University(北京大学);Key Laboratory of High Confidence Software Technologies (Peking University), MoE(高可信软件技术教育部重点实验室(北京大学));Natural Language Processing Department, Baidu Inc.(百度公司自然语言处理部);School of Computer, Central China Normal University(华中师范大学计算机学院)
在人机对话系统中,用户发出的话语的上下文是特别重要的,因为它提供了有用的对话背景信息。然而,在当前会话中跟踪所有先前的发言是不明智的,因为并非所有发言都同样重要。在本文中,我们解决了会话分割的问题。我们提出了一个嵌入增强的TextTiling方法,灵感来自观察,会话话语是非常嘈杂的,和词嵌入提供了一个强大的方式捕捉语义。实验结果表明,我们的方法取得了更好的性能比TextTiling,MMD方法。
2016-10-13 cs.CL cs.HC