ParaQA: A Question Answering Dataset with Paraphrase Responses for Single-Turn Conversation
University of Bonn(波恩大学);Zerotha Research(Zerotha研究机构);Cerence GmbH(Cerence GmbH公司);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
本文提出了ParaQA,一个问答(QA)数据集与多个释义的反应,单轮会话的知识图谱(KG)。该数据集是使用半自动化框架创建的,该框架使用反向翻译等技术生成答案的各种释义。现有的用于在KG上的会话式问答(单轮/多轮)的数据集集中于问题释义并且仅提供最多一个答案口头化。然而,ParaQA包含5000个问答对,每个问题最少有两个,最多有八个独特的释义回答。我们用基线模型补充了数据集,并通过常用的指标(如BLEU和METEOR)说明了具有多个释义答案的优势。ParaQA数据集在一个持久的URI上公开提供,以便在研究社区中更广泛地使用和适应。
2021-03-13 cs.CL
Improving Matching Models with Hierarchical Contextualized Representations for Multi-turn Response Selection
Institute of Computer Science & Technology, Peking University(北京大学计算机科学技术研究所);Microsoft Corporation(微软公司)
在本文中,我们研究了在基于检索的聊天机器人中使用预训练的上下文化表示进行多轮响应选择的上下文响应匹配。现有的模型,如Cove和ELMo,是在有限的上下文(通常是一个句子或段落)下训练的,由于层次结构、非正式语言和特定领域的单词,在多轮对话中可能效果不佳。为了应对这些挑战,我们提出了预训练层次上下文化表示,包括上下文单词级和上下文级表示,通过学习一个对话生成模型,从大规模的对话与分层编码器-解码器架构。然后将这两层表示分别融合到匹配模型的输入层和输出层。在两个基准会话数据集上的实验结果表明,本文提出的层次化上下文表示方法可以显著提高现有的响应选择匹配模型的性能.
2019-06-04 cs.CL
Leveraging Turn-taking Dynamics for Intent Recognition in Multi-party Conversations
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);List(List(此处为CEA下属研究机构,保留英文原名))
该研究提出结合话轮转换熵辅助任务的多任务学习方法,在多方对话意图识别任务中提升了预训练模型的性能,优于忽略多方交互动态的现有方法。
2026-09-01 cs.CL cs.LG
Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
National Engineering Laboratory for Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学语音及语言信息处理国家工程实验室);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(科大讯飞研究院认知智能国家重点实验室)
在本文中,我们研究了在基于检索的聊天机器人中使用预训练的语言模型进行多轮响应选择的问题。提出了一种新的说话人感知BERT(SA-BERT)模型,该模型能够感知说话人变化信息,这是多话轮对话的一个重要的内在属性。此外,一个说话人感知的解纠缠策略,提出了解决纠缠的对话。该策略根据说话人的信息选择少量最重要的话语作为过滤后的语境。最后,执行领域自适应以将领域内知识结合到预先训练的语言模型中。在5个公共数据集上的实验表明,该模型在所有指标上都优于现有模型,并在多回合响应选择方面取得了新的最新性能。
2020-07-30 cs.CL
Influences on LLM Calibration: A Study of Response Agreement, Loss Functions, and Prompt Styles
Faculty of Computer Science, University of Vienna(维也纳大学计算机学院);UniVie Doctoral School Computer Science(维也纳大学计算机博士学院);Department of Computer Science, Aarhus University(奥胡斯大学计算机系);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语文学与文化学院)
本文提出 Calib-n 框架,通过聚合多 LLM 响应一致性并结合 focal、AUC 代理损失训练置信度辅助模型,在 12 个模型、四种提示风格和四个数据集上验证其校准优势。
2025-01-07 cs.CL
BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
针对标准语言建模损失不足以支撑对话建模的问题,提出关键词袋(BoK)辅助损失,通过预测下轮话语关键词增强回复生成的质量与可解释性,在两类架构及多个数据集上验证了有效性与指标潜力。
2025-01-17 cs.CL
Two-Level Supervised Contrastive Learning for Response Selection in Multi-Turn Dialogue
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ByteDance AI Lab(字节跳动人工智能实验室)
在多话轮对话中,如何从多个候选者中选出一个合适的回答是基于检索的对话系统的关键问题。现有的工作形式化的任务之间的匹配的话语和候选人,并使用交叉熵损失的学习模型。本文将对比学习应用到该问题中,利用监督对比损失。通过这种方式,可以在嵌入空间中更远地分离正例的学习表示和负例的表示,并且可以增强匹配的性能。我们进一步发展了一种新的监督对比学习方法,称为两级监督对比学习,并采用该方法在多轮对话的响应选择。我们的方法利用两种技术:句子标记洗牌(STS)和句子重新排序(SR)的监督对比学习。在三个基准数据集上的实验结果表明,该方法明显优于对比学习基线和最先进的方法的任务。
2022-03-01 cs.CL
Evaluating and Improving Context Attention Distribution on Multi-Turn Response Generation using Self-Contained Distractions
Norwegian University of Science and Technology(挪威科技大学)
尽管基于开放域生成的会话代理进展迅速,但大多数部署的系统将对话上下文视为单回合,而处理多回合上下文的系统研究较少。有一个缺乏可靠的度量评估多轮建模,以及一个有效的解决方案,以改善it.In本文中,我们专注于一个重要组成部分的多轮生成为基础的会话代理:上下文注意力分配,即系统如何分配他们的注意力对话的上下文。为了评估这个组件,我们引入了一个新的注意力机制为基础的度量:DAS比率。为了提高这个组件的性能,我们提出了一个优化策略,采用自包含的分心。我们在Ubuntu聊天记录数据集上的实验表明,具有可比困惑度的模型可以通过它们的上下文注意力分布能力来区分。我们提出的优化策略提高了非层次和层次模型的建议指标从基线约10%。
2022-11-09 cs.CL
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology(王选计算机技术研究所);Center for Data Science(数据科学中心);Academy for Advanced Interdisciplinary Studies(前沿交叉学科研究院);Peking University(北京大学);Soochow University(苏州大学);Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而,在真实对话场景中,响应候选是否合适不仅取决于给定的对话上下文,还取决于其他背景,例如,措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距,我们将用户特定的对话历史的响应选择,并提出了一个个性化的混合匹配网络(PHMN)。我们的贡献是两方面的:1)我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2)我们对上下文-响应话语进行混合表示学习,并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息,以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型,即,个性化Ubuntu对话语料库(P-Ubuntu)和个性化微博数据集(P-Weibo)。实验结果证实,我们的方法显着优于几个强大的模型相结合的个性化注意,措辞行为,和混合表示学习。
2021-03-17 cs.CL
Sequential Neural Networks for Noetic End-to-End Response Selection
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
作为第七届对话系统技术挑战赛(DSTC 7)中的一个轨道,思维端到端响应选择挑战赛旨在推动现实世界目标导向对话系统的话语分类技术的发展,参与者需要从多轮上下文的一组候选者中选择正确的下一个话语。本文介绍了我们的系统,在这一挑战下,在两个数据集上都排名第一,一个是集中的小(Advising),另一个是更多样化的大(Ubuntu)。先前的最先进的模型使用基于层次(话语级和令牌级)的神经网络来显式地对不同话轮的话语之间的交互进行建模,以用于上下文建模。在本文中,我们研究了一个顺序匹配模型的基础上,只有链序列的多轮响应选择。我们的研究结果表明,顺序匹配方法的潜力还没有得到充分利用,在过去的多轮响应选择。除了在挑战中排名前1外,该模型在两个大规模公共多轮响应选择基准数据集上的表现优于所有以前的模型,包括最先进的基于层次的模型。
2020-03-03 cs.CL
Multi-turn Response Selection using Dialogue Dependency Relations
Shanghai Jiao Tong University(上海交通大学);China Merchants Bank Credit Card Center(招商银行信用卡中心)
本文针对多轮回复选择中忽略轮间依赖的问题,提出基于依赖关系的对话线程提取算法和 Thread-Encoder 模型,在多个基准上取得领先效果。
2023-11-30 cs.CL
Sequential Attention-based Network for Noetic End-to-End Response Selection
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
作为对话系统技术挑战7(DSTC 7)中的一个轨道的思维端到端响应选择挑战旨在推动现实世界目标导向对话系统的话语分类的最新技术水平,对于该对话系统,参与者需要从多轮上下文的一组候选者中选择正确的下一个话语。本文描述了我们的系统,在这一挑战下,我们的系统在两个数据集上都排名第一,一个是集中的小数据集(Advising),另一个是更多样化的大数据集(Ubuntu)。先前的最先进的模型使用基于层次(话语级和令牌级)的神经网络来显式地对不同话轮的话语之间的交互进行建模,以用于上下文建模。在本文中,我们研究了一个顺序匹配模型的基础上,只有链序列的多轮响应选择。我们的研究结果表明,顺序匹配方法的潜力还没有得到充分利用,在过去的多轮响应选择。除了在挑战中排名第一之外,所提出的模型优于所有以前的模型,包括最先进的基于层次的模型,并在两个大规模公共多回合响应选择基准数据集上实现了新的最先进的性能。
2019-11-19 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning(印度机器学习);Amazon(亚马逊)
多回合设置中的智能对话系统不仅应该生成高质量的响应,而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量,但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据,用于学习对话策略和奖励估计器,并使策略采取行动(生成响应),这可以预见成功(奖励)对话的未来方向。我们模拟一个代理和用户之间的对话(建模类似于代理与监督学习目标)相互作用。代理使用动态阻塞来生成排名不同的响应,并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估(作为弱注释):语义相关性,语义一致性和一致性流。两个基准的实证研究表明,我们的模型可以显着优于响应质量,并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy
University of Malaya(马来亚大学);Vanderbilt University Medical Center(范德比尔特大学医学中心)
极端多标签文本分类利用标签层次结构将极端标签划分为多个标签组,将任务转化为简单的多组多标签分类任务。目前的研究将标签编码为固定长度的向量,需要为不同的标签组建立多个分类器。问题是如何只构建一个分类器而不牺牲层次结构中的标签关系。本文采用多答案提问任务进行极端多标签分类。本文还提出了一种辅助分类评价指标。本研究将所提出的方法与评估指标应用于法律领域。讨论了合法Berts的利用和任务分配的研究。实验结果表明,提出的层次结构和多答案提问任务可以对EURLEX数据集进行极端的多标签分类。而在对多标签分类任务进行微调时,领域自适应的BERT模型在本实验中并没有表现出明显的优势。该方法在理论上也适用于零样本学习。
2023-03-02 cs.CL
Response-conditioned Turn-taking Prediction
KTH Royal Institute of Technology(KTH皇家理工学院)
针对对话系统话轮转换两阶段处理的局限,提出融合对话历史与待生成响应的TurnGPT扩展模型,在多指标及两类模糊场景下优于基线,可作增量响应排序器使用。
2023-05-03 cs.CL cs.LG
Lingke: A Fine-grained Multi-turn Chatbot for Customer Service
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
传统的聊天机器人通常需要大量的人类对话数据,特别是当使用有监督的机器学习方法时。虽然他们可以很容易地处理单轮问答,多轮的表现往往是不令人满意的。在本文中,我们提出了Lingke,一个信息检索增强聊天机器人,它能够回答问题的基础上给定的产品介绍文件,并处理多轮对话。我们将介绍一种细粒度的流水线处理,以基于非结构化文档提取响应,并为多轮对话提供细心的顺序上下文响应匹配。
2018-08-10 cs.CL
A Sequential Matching Framework for Multi-turn Response Selection in Retrieval-based Chatbots
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);NanKai University(南开大学)
我们研究了基于检索的聊天机器人中多轮对话的响应选择问题。该任务需要将响应候选与会话上下文进行匹配,其挑战包括如何识别上下文的重要部分,以及如何对上下文中的话语之间的关系进行建模。现有的匹配方法可能会丢失上下文中的重要信息,因为我们可以用统一的框架来解释它们,在该框架中,上下文被转换为固定长度的向量,而无需在匹配之前与响应进行任何交互。这一分析促使我们提出一种新的匹配框架,该框架能够充分携带上下文中的重要信息,同时对话语之间的关系进行匹配和建模。新的框架,我们称之为顺序匹配框架(SMF),让每个话语在上下文中的响应候选人在第一步进行交互,并将对匹配向量。然后,使用递归神经网络(RNN)按照上下文中的话语顺序累积匹配向量,该递归神经网络对话语之间的关系进行建模。最后用RNN的隐藏状态计算上下文响应匹配。在SMF下,我们提出了顺序卷积网络和顺序注意网络,并在两个公共数据集上进行了实验,以测试它们的性能。实验结果表明,这两种模型可以显着优于国家的最先进的匹配方法。我们还表明,这些模型是可解释的可视化,为我们提供了关于它们如何捕获和利用上下文中的重要信息进行匹配的见解。
2017-10-31 cs.CL
An Evaluation Dataset and Strategy for Building Robust Multi-turn Response Selection Model
Kakao Enterprise;SK Telecom(SK电信)
多回合反应选择模型最近在几个基准数据集中显示出与人类相当的性能。然而,在现实环境中,这些模型往往存在弱点,例如在没有全面了解上下文的情况下,严重基于表面模式做出错误的预测。例如,这些模型通常会给包含与上下文相关的几个关键字但使用不一致时态的错误响应候选人高分。在这项研究中,我们分析了开放域韩国多回合响应选择模型的弱点,并发布了一个对抗数据集来评估这些弱点。我们还提出了一个策略,在这种对抗性的环境中建立一个强大的模型。
2021-09-10 cs.AI cs.CL
Integrating Planning into Single-Turn Long-Form Text Generation
Google DeepMind(谷歌DeepMind);Emory University(埃默里大学)
针对大语言模型长文本生成质量不足的问题,提出单辅助任务规划方法,通过合成中间写作数据微调LLM,在多数据集上实现了生成质量的显著提升。
2024-10-08 cs.AI cs.CL
Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
多话轮会话包含复杂的语义结构,在已有话语的基础上生成连贯多样的会话仍然是一个挑战。实际上,会话发生在一个背景下,同时,查询和响应通常是最相关的,它们在主题上是一致的,但在内容上也是不同的。然而,很少有研究关注话语之间的这种等级关系。为了解决这个问题,我们提出了一个会话语义关系RNN(CSRR)模型来显式地构建依赖关系。该模型包含三个层次的潜变量。语篇层次的语义模型反映了语言的整体背景,语对层次的语义模型反映了语言查询和响应之间的共同主题信息,而话语层次的语义模型则试图反映语言内容的差异。实验结果表明,我们的模型显着提高响应的流畅性,一致性和多样性方面的质量相比,基线方法。
2019-06-18 cs.CL
CoMAC: Conversational Agent for Multi-Source Auxiliary Context with Sparse and Symmetric Latent Interactions
North Carolina State University(北卡罗来纳州立大学);Lirio, Inc.(利里奥公司)
本文提出CoMAC对话生成方法,通过专门编码流、融合后接地网络及双向文本相似度度量,有效利用多源辅助上下文,显著提升人物设定与知识预测准确性及响应质量。
2025-03-25 cs.CL cs.IR cs.LG
Affective Decoding for Empathetic Response Generation
University of Sheffield(谢菲尔德大学);Utrecht University(乌得勒支大学);Zhejiang Wanli University(浙江万里大学信息与智能工程学院)
理解说话人的情感并做出恰当的情感回应是移情对话系统的关键交际技巧。在本文中,我们提出了一个简单的技术,称为情感解码移情反应的产生。我们的方法可以有效地将情感信号在每个解码步骤,并可以额外增加一个辅助的双情感编码器,它学习单独的嵌入扬声器和听众给定的情感基础的对话。广泛的实证研究表明,我们的模型被认为是更同情的人的评价,在几个强大的主流方法相比,同情的反应。
2021-10-14 cs.CL
Neural Generation of Dialogue Response Timings
ADAPT Centre(ADAPT中心);School of Engineering(工程学院);Trinity College Dublin(都柏林圣三一学院)
人类对话中的口头响应偏移的定时已经被示出基于对话的上下文元素而变化。我们提出了神经模型,模拟这些响应偏移量的分布,同时考虑到响应转向以及前面的转向。这些模型被设计成集成到增量口语对话系统(SDS)的流水线中。我们使用离线实验以及人类听力测试来评估我们的模型。我们表明,人类听众认为某些响应时间是更自然的对话上下文的基础上。将这些模型引入SDS管道可以增加交互的感知自然度。
2020-05-18 cs.CL
DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions
Institute of Science Tokyo(东京科学大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Third Intelligence;The University of Liverpool(利物浦大学)
本文提出DyMT-ESB协议,通过响应条件生成后续查询和可变轮数,评估LLM多轮交互中的社会偏见动态,发现后期出现、非单调及重新出现的偏见模式,强调轮级动态分析的重要性。
2026-09-17 cs.CL
Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems
Peking University(北京大学);Microsoft Corporation(微软公司)
我们研究了基于检索的对话系统中响应选择匹配模型的学习。这个问题与设计模型的架构同样重要,但在现有文献中较少探讨。为了从噪声训练数据中学习鲁棒匹配模型,我们提出了一个通用的协同教学框架,其中包括三个具体的教学策略,包括损失函数教学和数据课程教学。在该框架下,我们同时学习两个具有独立训练集的匹配模型。在每次迭代中,一个模型将从其训练集学习到的知识转移到另一个模型,同时从另一个模型接收关于如何克服训练中的噪声的指导。两种模式既当老师又当学生,相互学习,共同提高。两个公开数据集上的评估结果表明,所提出的学习方法可以普遍和显着提高现有的匹配模型的性能。
2019-06-11 cs.CL
Can Multiple Responses from an LLM Reveal the Sources of Its Uncertainty?
University of Arizona(亚利桑那大学);Michigan State University(密歇根州立大学)
本研究针对大语言模型不确定性来源诊断不足的问题,提出利用LLM多次响应的分歧模式,通过辅助LLM分析推断不确定性来源(如问题歧义、知识缺失等),并在多个基准上验证了框架的通用性,为提升LLM性能与可靠性提供支持。
2025-08-28 cs.AI cs.CL
Text Injection for Capitalization and Turn-Taking Prediction in Speech Models
Google(谷歌)
本文将 JEIT 文本注入用于 ASR 模型的大小写转换与话轮转换预测,证明其可改善长尾大小写性能并提高话轮检测召回率。
2023-08-14 cs.CL cs.LG cs.SD
IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);yz-intelligence Inc(元智智能公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对多轮对话响应选择中显式算法建模依赖关系局限且忽略选项差异的问题,提出隐式关系推理图网络(IRRGN),通过话语关系推理器和选项双重比较器联合优化,在MuTual等基准上取得SOTA并首次超越人类表现。
2023-10-23 cs.CL
ReSURE: Regularizing Supervision Unreliability for Multi-turn Dialogue Fine-tuning
The Chinese University of Hong Kong(香港中文大学);East China Normal University(东华大学)
ReSURE 提出一种自适应学习方法,通过 Welford 在线统计动态降低多轮对话微调中不可靠监督的权重,从而缓解错误传播并提升回复质量,为大规模数据利用提供新思路。
2025-08-27 cs.CL
Multi-turn Response Selection with Commonsense-enhanced Language Models
Tsinghua University(清华大学);The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学)
针对多轮响应选择中外部常识知识被忽略的问题,提出融合预训练语言模型与图神经网络的SinLG框架,通过相似度损失传递常识知识,在提升性能的同时保证在线推理效率。
2024-07-26 cs.CL
Small Changes Make Big Differences: Improving Multi-turn Response Selection in Dialogue Systems via Fine-Grained Contrastive Learning
Microsoft(微软)
基于检索的对话响应选择旨在从给定多轮上下文的候选集合中找到合适的响应。基于预训练的语言模型(PLM)的方法在这一任务上取得了显著的改进。序列表征在对话语境与应答匹配度的学习中起着关键作用。然而,我们观察到,不同的上下文响应对共享相同的上下文总是有更大的相似性,在序列表示计算的PLM,这使得它很难区分积极的反应,从消极的。基于此,我们提出了一种新的\textbf{F}线性学习方法-- \textbf{G}雨\textbf{C}对比学习(FGC)方法,用于基于PLM的响应选择任务.这种FGC学习策略有助于PLM在细粒度上生成每个对话的更可区分的匹配表示,并进一步对选择积极响应做出更好的预测。两个基准数据集的实证研究表明,所提出的FGC学习方法可以普遍和显着提高现有的基于PLM的匹配模型的模型性能。
2021-11-25 cs.CL cs.IR
Diversifying Topic-Coherent Response Generation for Natural Multi-turn Conversations
Southwest University(西南大学);Chongqing University of Education(重庆第二师范学院);The University of Western Australia(西澳大学)
虽然单轮对话的反应生成(RG)多样化已经得到了很好的发展,但对于自然的多轮对话的研究较少。此外,过去的工作侧重于使答复多样化,而没有考虑主题与背景的一致性,从而产生了信息量不大的答复。在本文中,我们提出了主题连贯的分层递归编码器-解码器模型(THRED),以多样化的生成的响应,而不偏离上下文主题的多轮会话。总的来说,我们建立了一个序列到序列网络(Seq 2Seq)来模拟多轮对话。然后,我们求助于潜在变量层次递归编码器-解码器模型(VHRED)来学习对话的全局上下文分布。此外,我们还构造了一个稠密的话题矩阵,该矩阵包含了会话语料库的词级相关性。话题矩阵用于学习上下文话语的局部话题分布。通过结合全局上下文分布和局部主题分布,THRED产生多样化和主题一致的回复。此外,我们提出了一个明确的指标(\emph{TopicDiv})来衡量的主题之间的分歧后,产生的反应,我们还提出了一个整体的指标相结合的多样化指标(\emph{Distinct})和\emph{TopicDiv}。我们评估我们的模型与三个基线(Seq 2Seq,HRED和VHRED)在两个真实世界的语料库,分别进行比较,并证明其在多样化和主题一致性的出色表现。
2019-10-24 cs.AI cs.CL
TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System
The Chinese University of Hong Kong(香港中文大学)
多轮对话总是遵循特定的主题线索,随着对话的进行,话语级别的主题转移自然发生,这需要模型能够捕捉不同的主题并生成主题感知响应。以往的研究要么先预测主题然后生成相关反应,要么简单地将注意力机制应用于所有主题,忽视了主题预测和反应生成模型的联合分布,导致反应不可控且不相关。在本文中,我们提出了一个联合框架与主题细化机制,同时学习这两个任务。具体而言,我们设计了一个三遍迭代机制,首先生成粗响应,然后预测相应的主题,最后生成精细的响应条件下预测的主题。此外,我们分别使用GPT 2 DoubleHeads和BERT进行主题预测任务,旨在研究联合学习的效果和GPT模型的理解能力。实验结果表明,我们提出的框架实现了新的国家的最先进的性能在响应生成任务和GPT模型的巨大潜力的理解能力。
2021-09-11 cs.AI cs.CL
Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection
Wisenut Inc.(威智努特公司);Kakao Corp.(卡卡奥公司);Korea University(高丽大学);Kakao Enterprise Corp.(卡卡奥企业公司)
在本文中,我们研究了在基于检索的多轮对话系统中,给定用户和系统话语历史选择最佳响应的任务。最近,预先训练的语言模型(例如,BERT、RoBERTa和ELECTRA)在各种自然语言处理任务中表现出显著的改进。这个和类似的响应选择任务也可以使用这样的语言模型通过将任务公式化为对话-响应二元分类任务来解决。虽然使用这种方法的现有作品成功地获得了最先进的结果,我们观察到,以这种方式训练的语言模型倾向于根据历史和候选人的相关性进行预测,忽略了多轮对话系统的顺序性。这表明,单独的响应选择任务是不够的学习话语之间的时间依赖性。为此,我们提出了话语操纵策略(UMS)来解决这个问题。具体而言,UMS由几种策略组成(即,插入、删除和搜索),这有助于响应选择模型保持对话一致性。此外,UMS是自我监督的方法,不需要额外的注释,因此可以很容易地纳入现有的方法。跨多种语言和模型的广泛评估表明,UMS在教学对话一致性方面非常有效,这导致模型在多个公共基准数据集上以显著的优势推动最先进的技术。
2020-12-16 cs.AI cs.CL
Modeling Multi-turn Conversation with Deep Utterance Aggregation
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
多轮会话理解是构建智能对话系统的主要挑战。本文主要研究基于检索的多轮会话响应匹配问题,其相关工作仅将会话话语连接起来,忽略了先前话语之间的交互作用,从而进行上下文建模。在本文中,我们制定以前的话语到上下文使用建议的深度话语聚合模型,形成一个细粒度的上下文表示。详细地说,首先引入自匹配注意力来路由每个话语中的重要信息。然后,该模型匹配的反应与每个细化的话语和最终的匹配得分后,注意轮聚合。实验结果表明,我们的模型优于国家的最先进的方法在三个多轮对话基准,包括新引入的电子商务对话语料库。
2018-11-06 cs.CL
Improving Response Selection in Multi-Turn Dialogue Systems by Incorporating Domain Knowledge
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Ruhr University Bochum(波鸿鲁尔大学)
构建能够与人类交流的系统是人工智能的核心问题。这项工作提出了一种新的神经网络架构的响应选择在一个端到端的多轮会话对话设置。该架构适用于上下文级别的注意力,并结合了额外的外部知识提供的领域特定的词的描述。它使用双向门控递归单元(GRU)对上下文和响应进行编码,并学习在给定潜在响应表示的情况下关注上下文单词,反之亦然。此外,它还使用另一个GRU对领域关键字描述进行编码,从而合并外部领域特定信息。这允许在响应中更好地表示特定于域的关键字,从而提高整体性能。实验结果表明,我们的模型优于所有其他国家的最先进的方法,在多轮对话的响应选择。
2018-11-05 cs.AI cs.CL cs.LG
TripleNet: Triple Attention Network for Multi-Turn Response Selection in Retrieval-based Chatbots
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
我们认为在选择响应的上下文中不同的话语的重要性通常取决于当前查询。在本文中,我们提出了一个模型TripleNet来完全建模的任务与三元组<上下文,查询,响应>,而不是<上下文,响应>在以前的作品。TripleNet的核心是一种新的注意力机制,称为三重注意力,用于在四个级别上对三重注意力之间的关系进行建模。新机制基于对其他两个元素的关注同时对称地更新每个元素的表示。我们将以响应为中心的三元组<C,Q,R>从字符匹配到上下文级别进行预测。在两个大规模多轮响应选择数据集上的实验结果表明,该模型的性能明显优于现有方法。TripleNet源代码可在https://github.com/wtma/TripleNet上获得
2019-09-29 cs.CL cs.IR
Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots
Didi Chuxing(滴滴出行)
近年来,开放领域的多轮聊天机器人吸引了学术界和工业界许多研究人员的兴趣。主要的基于检索的方法使用上下文响应匹配机制进行多轮响应选择。具体地,现有技术的方法通过词或片段相似性来执行上下文响应匹配。然而,这些模型缺乏对中间层语义信息的充分利用,并且会犯一些人类很容易避免的简单错误。在这项工作中,我们提出了一个匹配网络,称为顺序句子匹配网络(S2M),使用的句子层次的语义信息来解决这个问题。首先,也是最重要的一点,我们发现,通过使用中间层语义信息,网络成功地解决了这个问题,并在匹配方面得到了显着的改进,从而获得了最先进的性能。此外,我们结合我们在这里介绍的句子匹配和目前文献中报道的常用词相似度匹配,在不同的语义层次上进行匹配。在三个公开数据集上的实验表明,这种集成进一步提高了模型的性能。
2020-05-16 cs.CL cs.LG
Eliciting Instruction-tuned Code Language Models' Capabilities to Utilize Auxiliary Function for Code Generation
POSTECH(浦项科技大学);Yonsei University(延世大学)
本文研究了指令微调代码模型利用辅助函数生成代码的能力,设计了多种融合辅助函数与指令遵循的方法,实验证明该策略使开源模型性能超越了gpt-4o等强大的专有模型。
2024-09-20 cs.AI cs.CL cs.SE
X-ReCoSa: Multi-Scale Context Aggregation For Multi-Turn Dialogue Generation
Beijing University of Posts & Telecommunications(北京邮电大学)
在多轮对话生成中,响应不仅与上下文的主题和背景有关,而且与上下文句子中的单词和短语有关。然而,目前广泛使用的分层对话模型仅仅依赖于来自话语级编码器的上下文表示,忽略了由单词级编码器输出的句子表示。这不可避免地导致在解码和生成时信息的丢失。在本文中,我们提出了一个新的对话模型X-ReCoSa来解决这个问题,聚合多尺度上下文信息的层次对话模型。具体来说,我们将生成解码器分为上、下两部分,即意图部分和生成部分。首先,意图部分将上下文表示作为输入以生成响应的意图。然后生成部分根据句子表示生成单词。因此,层次信息已被融合到响应生成。我们在英语数据集DailyDialog上进行了实验。实验结果表明,我们的方法优于基线模型的自动度量为基础的和基于人的评价。
2023-03-14 cs.CL
Multi-lingual Multi-turn Automated Red Teaming for LLMs
Amazon(亚马逊)
提出多语言多轮自动化红队测试方法 MM-ART,用于评估 LLMs 在多语言和多轮对话场景下的安全漏洞,发现非英语和多轮对话显著增加了模型的安全风险。
2025-04-04 cs.CL
A Graph Reasoning Network for Multi-turn Response Selection via Customized Pre-training
Northeastern University(东北大学);Alibaba Group(阿里巴巴集团)
我们研究了基于检索的聊天机器人中多轮对话的响应选择。现有的研究更多地关注话语与应答之间的匹配,基于学习到的特征计算匹配分数,导致模型推理能力不足。在本文中,我们提出了一个图推理网络(GRN)来解决这个问题。GRN首先基于ALBERT进行预训练,使用专门为响应选择设计的下一个话语预测和话语顺序预测任务。这两个定制的预训练任务可以赋予我们的模型捕捉话语之间的语义和时间依赖的能力。然后,我们微调的模型与序列推理和图形推理结构的集成网络。序列推理模块从全局的角度出发,基于高度概括的话语-应答对的上下文向量进行推理。图推理模块从局部角度对话语级图神经网络进行推理。在两个会话推理数据集上的实验表明,我们的模型可以显着优于强基线方法,并可以达到接近人类水平的性能。
2021-01-15 cs.AI cs.CL
Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning
Faculty of Education, Charles University(查理大学教育学院);Institute of Computer Science of the Czech Academy of Sciences(捷克科学院计算机科学研究所)
本文提出了一种无响应项目难度建模方法,通过细调Transformer来处理阅读理解多项选择题的难度问题,采用组件级表示和多任务学习方法来提升模型性能。
2026-09-03 cs.AI cs.CL
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue
Carnegie Mellon University(卡内基梅隆大学);ANT GROUP(蚂蚁集团)
上下文建模在构建多轮对话系统中起着重要的作用。为了充分利用语境信息,系统可以使用不完全话语重写(IUR)方法,通过将当前话语和语境信息合并成一个自包含的话语,将多轮对话简化为单轮对话。然而,以前的方法忽略了原始查询和重写查询之间的意图一致性。可以进一步改进对原始查询中的省略或共指位置的检测。在本文中,我们引入了对比学习和多任务学习来联合建模的问题。我们的方法受益于精心设计的自我监督的目标,作为辅助任务,以捕捉语义在文本级和令牌级。实验表明,我们提出的模型在几个公共数据集上达到了最先进的性能。
2022-03-22 cs.CL cs.LG
Multi-turn Dialogue Response Generation in an Adversarial Learning Framework
Capital One Conversation Research(第一资本对话研究部)
我们提出了一种对抗性学习方法来生成多回合对话响应。我们提出的框架hredGAN基于条件生成对抗网络(GANs)。GAN的生成器是一个改进的分层递归编码器-解码器网络(HRED),而RNN是一个与生成器共享上下文和词嵌入的词级双向RNN。在推理过程中,以对话历史为条件的噪声样本用于扰动生成器的潜在空间以生成几种可能的响应。最后一个答案是最好的一个排名的。hredGAN显示出比现有方法更好的性能:(1)它比仅使用对数似然标准训练的网络更好地泛化,(2)即使在有限的训练数据下,它也能生成更长、更丰富、更多样化的响应,具有高的话语和主题相关性。这种改进在Movie三元组和Ubuntu对话数据集上使用自动和人工评估进行了演示。
2019-06-26 cs.AI cs.CL cs.LG
Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting
Peking University(北京大学);Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
基于开放域检索的对话系统需要大量的训练数据来学习它们的参数。然而,在实践中,训练数据的负样本通常是从未注释的会话数据集中随机选择的。生成的训练数据可能包含噪声并影响响应选择模型的性能。为了解决这个困难,我们考虑利用数据资源本身的潜在相关性来获得不同类型的监督信号,并减少噪声数据的影响。更特别的是,我们考虑一个主要的互补任务对。主任务(\ie,我们的焦点)根据最后一句话和上下文选择正确的回答,补充任务根据回答和上下文选择最后一句话。关键点在于,补充任务的输出用于设置主任务的实例权重。我们在两个公共数据集上进行了广泛的实验,并在两个数据集上都获得了显着的改善。我们还从多个方面对该方法的变体进行了研究,结果验证了该方法的有效性。
2020-02-18 cs.CL cs.IR
A Speaker-aware Parallel Hierarchical Attentive Encoder-Decoder Model for Multi-turn Dialogue Generation
Tongji University(同济大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的开放域对话生成模型,强调多话轮会话中说话人的区分。不同于先前的工作,仅仅依赖于会话历史的内容来生成响应,我们认为,捕捉话语之间的相对社会关系(即,由相同的说话者或不同的人生成)有利于机器从对话历史中捕获细粒度的上下文信息,以提高所生成的响应中的上下文一致性。鉴于此,我们提出了一个说话者感知的并行分层注意编码器-解码器(PHAED)模型,其目的是为每个话语建模与其扬声器的意识和上下文关联与同一扬声器的以前的消息。具体地说,在涉及两个说话人的对话中,我们把其中一个说话人的话语看作是回答,另一个说话人的话语看作是询问。在通过我们的编码器使用内部查询和查询间编码理解查询之后,我们的解码器重用先前生成的响应的隐藏状态,而不是由编码器重建这些状态,以生成新的响应。我们的实证结果表明,PHAED优于国家的最先进的自动和人工评估。此外,我们的消融研究表明,与扬声器令牌的对话模型,一般可以减少关于会话上下文产生不连贯的反应的可能性。
2021-10-14 cs.AI cs.CL
MMDuet2: Enhancing Proactive Interaction of Video MLLMs with Multi-Turn Reinforcement Learning
Wangxuan Institute of Computer Technology, Peking University(王宣计算机技术研究所,北京大学);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
MMDuet2通过多轮强化学习方法,实现了视频MLLMs在多轮对话中的主动交互,提升了回复时机和质量,达到ProactiveVideoQA基准的最优性能。
2025-12-07 cs.CL cs.CV
A Multi-Turn Emotionally Engaging Dialog Model
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
开放域对话系统(也称为聊天机器人)在自然语言处理中越来越受到关注。最近的一些工作旨在将情感信息纳入序列到序列神经对话建模中,使反应在情感上更丰富,而其他人则使用手工制作的规则来确定所需的情感反应。然而,他们并没有明确地学习人类对话中捕捉到的微妙的情感互动。在本文中,我们提出了一个多轮对话系统,旨在学习和产生情感反应,到目前为止,只有人类知道如何做。离线实验表明,与两个基线模型相比,该方法在困惑分数上表现最好。进一步的人类评估证实,我们的聊天机器人可以跟踪对话上下文,并在情感上产生更合适的反应,同时在语法上表现同样出色。
2020-06-24 cs.AI cs.CL cs.HC
Applying General Turn-taking Models to Conversational Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对人机交互系统话轮转换不自然的问题,首次将TurnGPT和VAP两种通用话轮模型结合使用,无需领域微调,经39人参与的实验验证,该系统更受偏好且能减少响应延迟与打断。
2025-01-15 cs.CL cs.RO
Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge
Shanghai Jiao Tong University(上海交通大学)
多轮对话阅读理解旨在教机器阅读对话上下文,并解决回答选择和回答问题等任务。主要的挑战涉及嘈杂的历史背景和特殊的常识性知识的先决条件,是看不见的给定的材料。现有的工作主要集中在上下文和响应匹配的方法。因此,这项工作首次尝试解决上述两个挑战,提取实质上重要的话轮作为枢纽话语,并利用外部知识,以提高表示的上下文。在基于transformer的语言模型基础上,提出了一种面向文本的深度选择模型(PoDS)。具体地说,我们的模型首先根据与候选响应或问题的语义匹配从会话历史中挑选出枢轴话语,如果有的话。此外,从知识图谱中提取与对话上下文相关的知识项作为外部知识。然后,枢轴话语和外部知识与精心设计的机制相结合,用于细化预测。四个对话理解基准任务的实验结果表明,我们提出的模型取得了很大的改善基线。一系列的实证比较,以显示我们的选择策略和额外的知识注入如何影响的结果。
2021-02-10 cs.AI cs.CL
ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在多话轮对话生成中,回应通常只与少数几个上下文相关。因此,理想的模型应该能够检测这些相关的上下文,并相应地产生合适的响应。然而,广泛使用的分层递归编码器解码器模型只是不加区别地对待所有的上下文,这可能会损害后续的响应生成过程。一些研究者尝试使用余弦相似度或传统的注意力机制来寻找相关语境,但这些方法要么存在关联假设不足,要么存在位置偏差问题。在本文中,我们提出了一个新的模型,名为ReCoSa,来解决这个问题。首先,进行词级LSTM编码器以获得每个上下文的初始表示。然后,自我注意力机制被用来更新上下文和掩蔽响应表示。最后,计算每个上下文和响应表示之间的注意力权重,并将其用于进一步的解码过程。在中文客户服务数据集和英文Ubuntu对话数据集上的实验结果表明,ReCoSa在基于度量的评估和人工评估方面都显着优于基线模型。对注意力的进一步分析表明,ReCoSa检测到的相关上下文与人类的理解高度一致,验证了ReCoSa的正确性和可解释性。
2019-07-09 cs.CL cs.LG
DialoGPS: Dialogue Path Sampling in Continuous Semantic Space for Data Augmentation in Multi-Turn Conversations
Renmin University of China(中国人民大学);Peking University(北京大学);Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出DialoGPS,首个多轮对话的多对多数据增强方法,通过在连续语义空间中映射对话到扩展Brownian Bridge并采样潜在变量形成连贯对话路径,解决了离散替换破坏上下文连贯性的问题,经自动和人工评估验证有效。
2023-06-29 cs.AI cs.CL
Pay More Attention to History: A Context Modelling Strategy for Conversational Text-to-SQL
Peking University(北京大学);Meituan(美团)
会话式文本到SQL的目标是将多轮自然语言查询转换成它们相应的SQL(结构化查询语言)表示。会话式文本到SQL的最棘手的问题之一是对多轮查询的语义进行建模,并收集当前查询所需的适当信息。本文表明,通过添加每个回合和整个上下文的摘要来明确地建模语义变化可以在将会话查询转换为SQL时带来更好的性能。特别是,我们提出了两个会话建模任务,在转粮食和会话粮食。这两个任务只是作为辅助训练任务来帮助多轮会话语义解析。我们进行了实证研究,并在大规模开放域会话文本到SQL数据集上取得了新的最先进的结果。实验结果表明,该机制显著提高了多轮语义解析的性能。
2022-07-26 cs.AI cs.CL