GoChat: Goal-oriented Chatbots with Hierarchical Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；UCAS（中国科学院大学）
一个像人类一样交谈的聊天机器人应该是目标导向的（即，在对话中有目的），这超出了语言生成。然而，现有的对话系统通常严重依赖于繁琐的手工制作的规则或昂贵的标记数据集来实现目标。在本文中，我们提出了面向目标的聊天机器人（GoChat），这是一个端到端训练聊天机器人的框架，可以最大限度地提高离线多轮对话数据集的长期回报。我们的框架利用分层强化学习（HRL），其中高层政策通过确定一些子目标来引导会话朝向最终目标，而低层政策通过生成相应的话语来响应来实现子目标。在我们对真实世界的金融反欺诈对话数据集的实验中，我们的方法在响应生成的质量和完成目标的成功率方面都优于以前的方法。
2020-05-26 cs.AI cs.CL
LLM Roleplay: Simulating Human-Chatbot Interaction
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室）
提出LLM Roleplay方法，利用大型语言模型扮演文本角色自动生成多轮人机对话，有效模拟不同社会人口背景的交互，并在高不可区分率下验证了其有效性。
2024-10-13 cs.CL
Learning from Dialogue after Deployment: Feed Yourself, Chatbot!
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
对话代理在其生命周期中看到的大多数对话都发生在它已经被训练和部署之后，留下了大量未开发的潜在训练信号。在这项工作中，我们提出了自喂聊天机器人，对话代理的能力，从它参与的对话中提取新的训练样本。当我们的代理参与对话时，它还在其响应中估计用户满意度。当对话看起来进行得很顺利时，用户的响应就成为新的训练样本来模仿。当智能体认为自己犯了错误时，它会要求反馈;学习预测将给出的反馈进一步提高了聊天机器人的对话能力。在拥有超过131 k训练样本的PersonaChat聊天数据集上，我们发现从与自喂聊天机器人的对话中学习可以显着提高性能，无论传统监督的数量如何。
2019-06-13 cs.AI cs.CL cs.HC
Designing dialogue systems: A mean, grumpy, sarcastic chatbot in the browser
University of Innsbruck（因斯布鲁克大学）；MLT Labs（MLT实验室）
在这项工作中，我们探索了一个基于深度学习的对话系统，从对话设计的角度生成讽刺和幽默的回应。我们在一个精心策划的3000个问答对的数据集上训练了一个seq 2seq模型，这是我们的意思，脾气暴躁，讽刺聊天机器人的核心。我们表明，端到端系统从小数据集中非常快速地学习模式，因此能够将表示抽象概念的简单语言结构转移到看不见的设置。我们还在浏览器中部署了基于LSTM的编码器-解码器模型，用户可以直接与聊天机器人进行交互。人类评分员评估了语言质量，创造力和人类特征，揭示了该系统的优势，局限性和未来研究的潜力。
2019-09-20 cs.CL
Ensemble-Based Deep Reinforcement Learning for Chatbots
University of Lincoln（林肯大学）；Samsung Research（三星研究院）
可训练的聊天机器人表现出流畅和类似人类的对话仍然是人工智能的一大挑战。深度强化学习（DRL）有望解决这一挑战，但其成功应用仍然是一个悬而未决的问题。本文描述了一种应用于基于值的DRL聊天机器人的新的基于集成的方法，该方法使用有限动作集作为意义表示的形式。在我们的方法中，虽然对话动作来自句子聚类，但我们集合中的训练数据集来自对话聚类。后者旨在诱导专门的代理人学习以特定的方式进行交互。为了使用我们提出的方法促进神经聊天机器人训练，我们假设对话数据仅为原始文本-没有任何手动标记的数据。使用聊天数据的实验结果表明，（1）可以诱导接近人类的对话策略，（2）推广到看不见的数据是一个困难的问题，（3）训练聊天机器人代理的集合对于使用单个代理来提高性能至关重要。除了使用保留的数据进行评估外，我们的结果还得到了人类评估的进一步支持，该评估对对话的流畅性，连贯性和一致性进行了评估-这表明我们提出的对话奖励与人类判断密切相关。
2019-08-27 cs.AI cs.CL cs.LG
Grammar Control in Dialogue Response Generation for Language Learning Chatbots
EPFL（洛桑联邦理工学院）；University of Tübingen（蒂宾根大学）；ETH Zürich（苏黎世联邦理工学院）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）
针对语言学习聊天机器人难以控制语法等语言形式以匹配学习者需求的问题，该研究将对话响应生成模型基于语法技能教学知识库，评估相关策略，发现策略性解码Llama3在容忍轻微质量损失时优于GPT-3.5，模拟显示其能支持适配学习者熟练度的语法习得。
2025-02-11 cs.CL
The Open-domain Paradox for Chatbots: Common Ground as the Basis for Human-like Dialogue
KTH（瑞典皇家理工学院）；Universiteit Gent（根特大学）
本文提出“开放域悖论”，指出要求用户随意聊天反而导致对话狭窄，并基于共同背景理论解释该现象，探讨在人机对话中实现共同背景的路径。
2023-07-28 cs.CL
Recent advances in conversational NLP : Towards the standardization of Chatbot building
Opla；Clermont-Ferrand（克莱蒙费朗（城市名，此处可能为机构所在地，按要求不提取额外信息，但根据原文“Affiliation: Opla / Clermont-Ferrand, France”，Opla 是主要机构名，Clermont-Ferrand 为城市，故仅提取 Opla 作为机构）}]} 修正：原理解中 Clermont-Ferrand 是城市名，不是机构，应只提取 Opla 。但严格按要求，原 HTML 中作者所属机构仅显示）
对话系统最近在我们的生活中变得至关重要。它们的使用越来越流畅，越来越容易。这可以归结为NLP和AI领域的改进。在本文中，我们试图提供一个概述的对话系统，他们的类别和不同的方法来建立他们的艺术现状。最后，我们将对所有技术进行比较，并分析每种技术的优缺点。最后，我们提出了一个意见，建议定向的对话系统建设的标准化研究。
2019-03-21 cs.AI cs.CL
Spot The Bot: A Robust and Efficient Framework for the Evaluation of Conversational Dialogue Systems
Zurich University of Applied Sciences (ZHAW)（苏黎世应用科技大学）；University of the Basque Country (UPV/EHU)（巴斯克地区大学）；National Distance Education University (UNED)（国家远程教育大学）；Synapse Développement（Synapse Développement（Synapse 发展公司））
缺乏高效且可靠的评估方法阻碍了会话式对话系统（聊天机器人）的发展。需要人类与聊天机器人对话的评估是时间和成本密集型的，对人类法官提出了很高的认知要求，并产生低质量的结果。在这项工作中，我们介绍了\emph{Spot The Bot}，一个具有成本效益和强大的评估框架，取代人与机器人之间的对话对话。然后，人类法官只为对话中的每个实体注释他们是否认为它是人类（假设这些对话中有人类参与者）。然后，这些注释允许我们根据聊天机器人模仿人类对话行为的能力对它们进行排名。由于我们预计所有机器人最终都会被认可，因此我们引入了一个指标来衡量哪些聊天机器人可以最长时间地维持类似人类的行为，即，\emph{Survival Analysis}。该指标能够将机器人的性能与其某些特性（例如，\流畅或敏感），产生可解释的结果。我们框架的低成本允许在评估周期内频繁评估聊天机器人。我们通过将\emph{Spot The Bot}应用于三个领域，评估几个最先进的聊天机器人，并与相关工作进行比较，来实证我们的主张。该框架作为一个即用型工具发布。
2020-10-05 cs.AI cs.CL
CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
Emora: An Inquisitive Social Chatbot Who Cares For You
Emory University（埃默里大学）
受人与人之间对话中经验分享的研究启发，埃默里大学开发的社交聊天机器人Emora旨在将这种以经验为中心的交互带入当前的对话人工智能领域。信息共享主题处理程序的传统方法与Emora提供的以观点为导向的交流相平衡，并开发了新的对话能力，支持由合作理解和学习伙伴生活经验的过程组成的对话。我们提出了一个策划的对话系统，利用高度表达的自然语言模板，强大的意图分类，和本体资源，提供一个引人入胜的和有趣的对话体验，每个用户。
2020-09-10 cs.AI cs.CL
When to Talk: Chatbot Controls the Timing of Talking during Multi-turn Open-domain Dialogue Generation
Beijing Institute of Technology（北京理工大学）
尽管多回合开放域对话系统已经引起了越来越多的关注并取得了很大的进展，但是现有的对话系统仍然非常枯燥。几乎所有现有的对话模型只提供一个响应时，用户的话语被接受。但在日常对话中，人们总是根据上下文来决定是否继续说出一句话。Intuelance是一种可以根据对话上下文自主控制说话时机的对话模型，可以更自然地与人类聊天。在本文中，我们探讨了对话系统，自动控制的谈话过程中的时间。具体来说，我们采用现有的对话模型的决策模块。此外，有效地建模会话上下文是非常重要的控制说话的时机。因此我们也采用图神经网络来处理具有自然图结构的上下文。在两个基准测试上的大量实验表明，控制说话的时间可以有效地提高对话生成的质量，所提出的方法显著提高了说话时间的准确性。此外，我们已经公开发布了我们提出的模型的代码。
2019-12-20 cs.CL
MCP: Self-supervised Pre-training for Personalized Chatbots with Multi-level Contrastive Sampling
Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
个性化聊天机器人专注于赋予聊天机器人一致的个性，以表现得像真实用户一样，并进一步充当个人助理。以前的研究已经探索了从用户的对话历史中生成隐式用户简档，以构建个性化的聊天机器人。然而，这些研究仅使用响应生成损失来训练整个模型，因此容易遭受数据稀疏的问题。此外，他们过分强调最终生成的响应的质量，而忽略了用户的对话历史之间的相关性和融合，导致粗糙的数据表示和性能下降。为了解决这些问题，我们提出了一个自监督学习框架MCP，用于从用户的对话历史中捕获更好的表示，以用于个性化聊天机器人。具体来说，我们应用对比采样方法来利用隐藏在用户对话历史中的监督信号，并生成用于增强模型的预训练样本。我们设计了三个预训练任务，基于三种类型的对比对用户对话历史，即响应对，序列增强对，和用户对。我们预先训练的话语编码器和历史编码器的对比目标，并使用这些预先训练的编码器生成用户简档，而个性化的响应生成。在两个真实数据集上的实验结果表明，与现有的方法相比，我们提出的模型MCP有显着的改善。
2022-12-14 cs.AI cs.CL cs.LG
Emily: Developing An Emotion-affective Open-Domain Chatbot with Knowledge Graph-based Persona
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
在本文中，我们描述了开发Emily（一个情感开放域聊天机器人）的方法。Emily能够感知用户的消极情绪状态，并通过积极地转换用户的情绪状态来提供支持。这是通过在数据捕获对话上下文和跨回合的期望情感状态转换时微调预训练的对话模型来完成的。Emily可以区分一般的开放域对话话语和与个人信息有关的问题。通过利用基于知识图谱的问答方法来处理个人信息，Emily保持了个性的一致性。我们评估艾米丽对一些国家的最先进的开放域聊天机器人，并显示所提出的方法在情感影响和解决个性不一致的影响。
2021-09-18 cs.CL
A Unified Framework for Emotion Identification and Generation in Dialogues
Indian Institute of Technology Patna（印度理工学院巴特那分校）
社交聊天机器人已经获得了巨大的人气，它们的吸引力不仅在于它们能够响应用户的各种请求，还在于它们能够与用户建立情感联系。为了进一步开发和推广社交聊天机器人，我们需要专注于增加用户交互，并考虑会话代理的智商和情商。在本文中，我们提出了一个多任务框架，共同确定的情感的一个给定的对话，并根据所确定的情感产生响应。我们采用基于BERT的网络来创建移情系统，并使用混合目标函数来训练具有分类和发电损失的端到端网络。实验结果表明，我们提出的框架优于当前国家的最先进的模型
2022-05-31 cs.AI cs.CL
CAiRE: An Empathetic Neural Chatbot
The Hong Kong University of Science and Technology（香港科技大学）；EMOS Technologies Inc.（EMOS科技公司）
在本文中，我们提出了一个端到端的移情会话代理CAiRE。我们的系统适应TransferTransfo（Wolf等人，2019）学习方法，微调具有多任务目标的大规模预训练语言模型：响应语言建模，响应预测和对话情感检测。我们在最近提出的移情对话数据集（Rashkin et al.，2019），实验结果表明，CAiRE在对话情感检测和移情反应生成方面达到了最先进的性能。
2020-04-26 cs.CL
Curriculum-Driven Edubot: A Framework for Developing Language Learning Chatbots Through Synthesizing Conversational Data
Columbia University（哥伦比亚大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
本文提出 Curriculum-Driven EduBot 框架，从教材提取主题并用 LLM 合成对话、微调开源模型，实验表明其在课程引导和适配英语水平方面优于 ChatGPT。
2024-08-03 cs.CL
Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals
Université de Montréal（蒙特利尔大学）；Renmin University of China（中国人民大学）；Huawei Poisson Lab.（华为泊松实验室）
主动对话系统具有主动引导对话的能力。与一般的聊天机器人只对用户做出反应不同，主动对话系统可以用于实现一些目标，例如，向用户推荐一些项目。背景知识对于对话的顺利和自然过渡至关重要。在本文中，我们提出了一个新的多任务学习框架检索为基础的知识为基础的主动对话。为了确定要使用的相关知识，我们将知识预测作为一项补充任务，并使用明确的信号来监督其学习。根据预测的知识、要实现的目标和上下文选择最终的响应。实验结果表明，知识预测和目标选择的显式建模可以大大提高最终的响应选择。我们的代码可在https://github.com/DaoD/KPN/上获得。
2021-07-18 cs.CL
KMI: A Dataset of Korean Motivational Interviewing Dialogues for Psychotherapy
Seoul National University（首尔国立大学）；Korea Counseling Graduate University（韩国咨询研究生大学）
针对心理健康聊天机器人开发中非英语MI数据集匮乏的问题，提出模拟专业治疗师MI会话的框架，利用MI预测模型和LLM构建了包含1000个高质量韩语对话的KMI数据集，并通过专家评估和新颖MI指标验证了其质量与实用性。
2025-06-30 cs.AI cs.CL
RAM2C: A Liberal Arts Educational Chatbot based on Retrieval-augmented Multi-role Multi-expert Collaboration
Center for Brain Inspired Computing Research (CBICR), Tsinghua University（清华大学脑启发计算研究中心）；Optical Memory National Engineering Research Center, Tsinghua University（清华大学光存储国家工程研究中心）；Tsinghua University-China Electronics Technology HIK Group Co. Joint Research Center for Brain-inspired Computing（清华大学-中国电子 hik 集团联合脑启发计算研究中心）；IDG/McGovern Institute for Brain Research, Tsinghua University（清华大学 IDG/麦戈文脑科学研究院）；Tsinghua University（清华大学）
针对大型语言模型在文科教育对话中难以兼顾人本化沟通、教学专长与安全伦理的问题，提出RAM2C框架，通过构建HTS引导知识库并组织多角色多专家协作生成对话数据集进行微调，有效提升了中文阅读教学的质量与安全性。
2024-09-23 cs.AI cs.CL
Structured Dialogue System for Mental Health: An LLM Chatbot Leveraging the PM+ Guidelines
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；East China Normal University（华东师范大学）；Wuhan Research Institute of Posts and Telecommunications（武汉邮电科学研究院）
本文提出基于LLM的心理咨询聊天机器人SuDoSys，利用WHO的PM+指南实现阶段感知的多轮对话，通过阶段控制器等组件维持对话流，并采用模拟客户的新技术自动评估，生成连贯响应。
2024-11-16 cs.CL
A Low-Cost, Controllable and Interpretable Task-Oriented Chatbot: With Real-World After-Sale Services as Example
Meituan Group（美团集团）；National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
虽然在工业中被广泛使用，但是传统的面向任务的对话系统遭受三个瓶颈：（i）困难的本体构建（例如，意图和插槽）;（ii）可控性和可解释性差;（iii）注释饥渴。在本文中，我们提出了一个更简单的概念表示话语命名为对话行动，在此基础上，我们构建了一个树形结构的任务流，并进一步建立面向任务的聊天机器人与任务流为核心组件。提出了一种基于大规模对话的任务流自动构建和在线部署的框架。通过对实际售后客户服务的实验表明，TaskFlow能够满足客户服务的主要需求，并有效地减轻了开发人员的负担。
2022-05-13 cs.CL
The Dynamics of Delusion: Modeling Bidirectional False Belief Amplification in Human-Chatbot Dialogue
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究通过分析聊天记录数据，发现人类与聊天机器人之间存在双向影响，人类短期影响聊天机器人，而聊天机器人长期影响人类，并自我强化妄想，为AI安全提供新见解。
2026-10-14 cs.CL cs.HC
Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
目前，开放域对话模型可以基于大规模预训练的语言模型，根据历史上下文生成可接受的响应。然而，它们通常直接将对话历史连接起来作为模型输入来预测响应，我们称之为平面模式，而忽略了对话话语之间的动态信息流。在这项工作中，我们提出了DialoFlow模型，其中我们引入了一个动态流机制来模拟上下文流，并设计了三个训练目标，通过解决大规模预训练中每个话语所带来的语义影响来捕获对话话语之间的信息动态。在多引用Reddit数据集和DailyDialog数据集上的实验表明，我们的DialoFlow在对话生成任务上明显优于DialoGPT。此外，我们提出了流分数，一个有效的自动度量评估交互式人类机器人会话质量的基础上预先训练的DialoFlow，它提出了高聊天机器人级别的相关性（$r=0.9$）与11个聊天机器人之间的人类评级。代码和预训练模型将是公开的。\footnote{\url{https://github.com/ictnlp/DialoFlow}}
2021-06-04 cs.AI cs.CL
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology（王选计算机技术研究所）；Center for Data Science（数据科学中心）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；Soochow University（苏州大学）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Renmin University of China（中国人民大学）
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而，在真实对话场景中，响应候选是否合适不仅取决于给定的对话上下文，还取决于其他背景，例如，措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距，我们将用户特定的对话历史的响应选择，并提出了一个个性化的混合匹配网络（PHMN）。我们的贡献是两方面的：1）我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2）我们对上下文-响应话语进行混合表示学习，并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息，以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型，即，个性化Ubuntu对话语料库（P-Ubuntu）和个性化微博数据集（P-Weibo）。实验结果证实，我们的方法显着优于几个强大的模型相结合的个性化注意，措辞行为，和混合表示学习。
2021-03-17 cs.CL
Dialogue Act Patterns in GenAI-Mediated L2 Oral Practice: A Sequential Analysis of Learner-Chatbot Interactions
University College London（伦敦大学学院）；University of Hong Kong（香港大学）
研究探讨了生成式人工智能中介的第二语言口语练习中学习者与聊天机器人互动的对话行为模式，通过分析12名学生10周内的70次互动，发现高进展会话中学习者提问更多，低进展会话中澄清寻求更频繁，反馈类型和时机对有效互动有重要影响。
2026-04-07 cs.CL cs.HC
DialogUSR: Complex Dialogue Utterance Splitting and Reformulation for Multiple Intent Detection
Peking University（北京大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Cloud Xiaowei（腾讯云小微）
在与聊天机器人交互时，用户可以在单个对话话语中引出多个意图。我们提出了DialogUSR，而不是训练一个专用的多意图检测模型，这是一个对话话语分裂和重构任务，它首先将多意图用户查询分成几个单意图子查询，然后恢复子查询中所有的共指和省略信息。DialogUSR可以作为一个插件和域无关模块，以最小的努力为部署的聊天机器人提供多意图检测。我们收集了一个高质量的自然发生的数据集，涵盖了23个领域的多步人群搜索程序。为了对拟议的数据集进行基准测试，我们提出了多个基于动作的生成模型，这些模型涉及端到端和两阶段训练，并对拟议基线的利弊进行了深入分析。
2022-10-20 cs.AI cs.CL
Towards Robust Online Dialogue Response Generation
Westlake University（西湖大学）；Tencent（腾讯）；Westlake Institute for Advanced Study（西湖高等研究院）
尽管预先训练的序列到序列模型在对话响应生成方面取得了巨大成功，但聊天机器人在现实世界的实践中仍然会产生不一致的响应，特别是在多轮设置中。我们认为，这可能是由于训练和现实世界的测试之间的差异。在训练时，聊天机器人生成具有黄金上下文的响应，而在现实世界测试期间，它必须基于由用户话语和模型预测话语组成的上下文生成响应。随着话语数量的增加，这种差异在多话轮语境中变得更加严重。在本文中，我们提出了一种分层采样的方法，包括话语级采样和半话语级采样，以减轻差异，这隐含地增加了对话的连贯性。我们进一步采用强化学习和重新排序的方法来显式优化对话的连贯性在训练和推理，分别。实验结果表明，该方法能够有效提高聊天机器人的鲁棒性。
2022-03-07 cs.CL
Lifelong Learning Dialogue Systems: Chatbots that Self-Learn On the Job
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
对话系统，也称为聊天机器人，现在被广泛应用。然而，它们仍然存在一些重大弱点。一个关键的弱点是，它们通常是从手动标记的数据和/或手工编写的规则中训练出来的，它们的知识库（KB）也是由人类专家编译的。由于涉及大量的手动工作，它们很难扩展，并且由于它们理解自然语言的能力有限以及知识库中的知识有限，也往往会产生许多错误。因此，用户满意度往往很低。在本文中，我们建议通过赋予系统不断学习（1）新的世界知识，（2）新的语言表达以使其成为行动，以及（3）新的会话技能的能力来显着改善这种情况，在对话或“工作”期间，随着系统与用户聊天越来越多，他们变得越来越有知识，并且能够越来越好地理解各种自然语言表达并提高他们的会话技能。实现这些目标的一个关键方法是利用这种系统的多用户环境，通过动词和非动词手段与用户进行交互来进行自学。本文不仅讨论了在会话过程中从用户学习的关键挑战和有前途的方向，而且还讨论了如何确保所学习的知识的正确性。
2021-02-24 cs.AI cs.CL cs.HC
Towards Task-Oriented Dialogue in Mixed Domains
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文研究了混合域环境下的任务型对话问题。我们使用两个相关的国家的最先进的对话系统的对话轮序列中的不同域之间的交替的效果进行研究。我们首先表明，一个专门的状态跟踪组件在多个领域中发挥着重要的作用，并给出了更好的结果比一个端到端的面向任务的对话系统。然后，我们提出了一个混合系统，这是能够提高约28%的平均绝对点在一个标准的多域对话数据集的信念跟踪精度。这些实验结果为改进我们的商业聊天机器人平台FPT.AI提供了一些有用的见解，该平台目前已被部署用于许多实际的聊天机器人应用。
2019-09-05 cs.CL
Deep Reinforcement Learning for Chatbots Using Clustered Actions and Human-Likeness Rewards
School of Computer Science University of Lincoln（林肯大学计算机学院）；Artificial Intelligence Research Group Samsung Electronics（三星电子人工智能研究组）
使用强化学习范式训练聊天机器人是具有挑战性的，因为它具有高维状态、无限的动作空间以及难以指定奖励函数。我们解决这些问题，使用集群的行动，而不是无限的行动，和一个简单的，但有前途的奖励功能的基础上，来自人与人的对话数据的人相似的分数。我们使用原始文本中的聊天数据训练深度强化学习（DRL）代理--没有任何手动注释。使用不同分割的训练数据的实验结果报告如下。首先，我们的智能体在他们熟悉的环境中学习合理的策略，但当他们暴露在一组看不见的对话中时，他们的表现会大幅下降。第二，在测试数据上，100维和300维之间的句子嵌入大小的选择没有显著差异。第三，我们提出的类似人类的奖励对于训练聊天机器人来说是合理的，只要他们使用超过10个句子的冗长对话历史。
2019-08-27 cs.AI cs.CL cs.LG
Say What I Want: Towards the Dark Side of Neural Dialogue Models
Michigan State University（密歇根州立大学）；TAL AI Lab（TAL AI实验室）
神经对话模型由于其在模拟和概括人类对话方面的良好性能而被广泛应用于各种聊天机器人应用中。然而，这些模型也存在着阴暗的一面--由于神经网络的脆弱性，神经对话模型可以被用户操纵来说出他们想要的东西，这带来了对实际聊天机器人服务安全性的担忧。在这项工作中，我们研究了我们是否可以制作输入，从而导致训练有素的黑盒神经对话模型生成有针对性的输出。我们制定这作为一个强化学习（RL）的问题和训练反向对话生成器，有效地找到这样的输入有针对性的输出。一个有代表性的神经对话模型上进行的实验表明，我们提出的模型是能够发现这样的期望的输入在相当一部分的情况下。总的来说，我们的工作揭示了神经对话模型的这一弱点，并可能促使进一步研究开发相应的解决方案来避免它。
2019-09-27 cs.AI cs.CL cs.LG
Search-Engine-augmented Dialogue Response Generation with Cheaply Supervised Query Production
Xiamen University（厦门大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
知识辅助的对话响应生成旨在用相关的外部知识来增强聊天机器人，希望生成更多信息的响应。之前的大部分工作假设相关知识作为输入给出或从静态知识池中检索。然而，这种假设违反了现实世界的情况，其中知识不断更新，聊天机器人必须动态检索有用的知识。我们提出了一个对话模型，可以访问来自任何搜索引擎的大量和动态的信息响应生成。查询生成器是系统的核心模块，用于从对话上下文中生成查询，并与搜索引擎进行交互。我们设计了一个训练算法，使用廉价的噪声监督的查询生产者，其中的信号是通过比较检索到的文章与下一个对话响应。结果，查询生成器被调整而无需对黄金查询进行任何人工注释，使得其容易地转移到其他域和搜索引擎。实验表明，我们的查询生成器可以实现R@1和R@5率为62.4%和74.8%的检索黄金知识，和整体模型产生更好的响应，在强大的知识辅助基线使用BART和其他典型的系统。
2023-02-16 cs.AI cs.CL
On the Benchmarking of LLMs for Open-Domain Dialogue Evaluation
INESC-ID；Instituto Superior Técnico, University of Lisbon（里斯本大学高级技术学院）；Carnegie Mellon University（卡内基梅隆大学）；Phrase
本文批判现有开放域对话评估基准依赖过时数据集和评估维度，无法反映现代聊天机器人能力，并通过SODA数据集实验证明GPT-4等LLM评估器难以识别当前LLM生成对话中的真实缺陷。
2024-07-04 cs.CL
Building Emotional Support Chatbots in the Era of LLMs
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
针对情感支持对话数据有限、缺乏训练范式的问题，研究结合人类经验与大语言模型能力构建ExTES数据集，并微调LLaMA得到专用模型，验证了情感支持能力，推动该领域发展。
2023-08-17 cs.AI cs.CL
Goal-Oriented Chatbot Dialog Management Bootstrapping with Transfer Learning
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）；Swisscom AG（瑞士电信公司）
目标导向（GO）对话系统，俗称目标导向聊天机器人，帮助用户在封闭域中实现预定义的目标（例如预订电影票）。第一步是通过使用自然语言理解技术来理解用户的目标。一旦知道目标，机器人必须管理对话以实现该目标，该对话是根据学习的策略进行的。对话系统的成功取决于策略的质量，而策略的质量又依赖于策略学习方法（例如深度强化学习）的高质量训练数据的可用性。由于领域的特殊性，可用的数据量通常太低，无法培训良好的对话策略。在本文中，我们介绍了一种迁移学习方法，以减轻低域内数据可用性的影响。与没有迁移学习的模型相比，我们基于迁移学习的方法将机器人的成功率相对于远距离域提高了20%，而对于近距离域，我们的成功率提高了一倍多。此外，迁移学习聊天机器人学习策略的速度快了5到10倍。最后，由于迁移学习方法是补充额外的处理，如热启动，我们表明，他们的联合应用程序给出了最好的结果。
2018-07-24 cs.CL
GraphWOZ: Dialogue Management with Conversational Knowledge Graphs
University of Bamberg（班贝格大学）；Norwegian Computing Center（挪威计算中心）
我们提出了一种新的对话管理方法，使用会话知识图谱作为对话状态的核心表示。为此，我们引入了一个新的数据集，GraphWOZ，它包括向导的奥兹对话，其中人类参与者与机器人作为接待员进行交互。与大多数现有的对话管理工作相比，GraphWOZ依赖于一个明确表示为动态知识图谱的对话状态，而不是一组固定的插槽。该图由不同数量的实体（如个人、地点、事件、话语和提及）以及它们之间的关系（如人是团体的一部分或参加活动）组成。然后根据新的观察结果和系统动作定期更新该图。GraphWOZ与详细的手动注释一起发布，这些注释与用户意图、系统响应以及用户和系统回合中发生的参考关系有关。基于GraphWOZ，我们提出了两个对话管理任务，即会话实体链接和响应排名的实验结果。对于会话实体链接，我们展示了如何将话语提及连接到知识图谱中的相应实体，该知识图谱具有依赖于基于字符串和基于图形的特征的组合的神经模型。然后，通过将图的相关内容汇总为文本来执行响应排名，该文本与对话历史连接并用作输入以对给定对话状态的可能响应进行评分。
2022-11-23 cs.AI cs.CL
Analyzing Information-Seeking Behaviors in a Hakka AI Chatbot: A Cognitive-Pragmatic Study
United Link Co., Ltd.（联合链接有限公司）
本研究以客家AI聊天机器人TALKA为对象，采用布卢姆认知分类与对话行为分类结合的双层框架，分析7077条用户话语，揭示对话行为与认知意图的关联，为低资源语言保护及AI辅助语言学习提供实证依据。
2025-10-04 cs.CL
Sounding Board: A User-Centric and Content-Driven Social Chatbot
University of Washington（华盛顿大学）
Sounding Board是一款社交聊天机器人，赢得了2017年亚马逊Alexa奖。该系统的架构包括几个组件，包括口语处理，对话管理，语言生成，和内容管理，强调以用户为中心和内容驱动的设计。我们还分享了从大规模在线日志中获得的见解，这些日志基于与现实世界用户的160，000次对话。
2018-04-26 cs.AI cs.CL cs.HC
Sub-domain Modelling for Dialogue Management with Hierarchical Reinforcement Learning
Cambridge University（剑桥大学）
人类对话本质上是复杂的，通常跨越许多不同的主题/领域。这使得对话系统的策略学习非常具有挑战性。标准的扁平强化学习方法没有提供用于对这样的对话进行建模的有效框架。在本文中，我们专注于多域对话管理的不足探索的问题。首先，我们提出了一种新的方法，分层强化学习使用的选项框架。接下来，我们表明，所提出的架构学习速度更快，并达到一个更好的政策比现有的平面。此外，我们还展示了如何通过一组额外的新动作来适应更复杂的系统。在这样做的过程中，我们表明，我们的方法有可能促进更复杂的多域对话系统的政策优化。
2017-07-17 cs.AI cs.CL
Prior Lessons of Incremental Dialogue and Robot Action Management for the Age of Language Models
Boise State University（博伊西州立大学）；Norwegian Computing Center（挪威计算中心）；University of Potsdam（波茨坦大学）
本文回顾了单词级或更低级别的增量交互系统文献，指出现有大型语言模型因处理单调性而缺乏增量修正能力，重点调研了对话管理器的增量建模，并为大型语言模型时代的具身机器人平台提出了实用增量对话管理的要求。
2025-04-02 cs.AI cs.CL
MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators
INESC-ID（葡萄牙国家系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；Carnegie Mellon University（卡内基梅隆大学）
MEDAL框架通过多语言多代理方法，评估LLM作为开放领域对话评估者的性能，揭示了现有评判者在检测细微问题上的不足。
2026-01-22 cs.CL
Incorporating Interlocutor-Aware Context into Response Generation on Multi-Party Chatbots
University of Chinese Academy of Sciences（中国科学院大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
传统的聊天机器人专注于双方响应生成，这简化了真实的对话场景。在本文中，我们致力于在多方聊天机器人（RGMPC）上生成响应的新任务，其中生成的响应在很大程度上依赖于对话者的角色（例如，说话人和受话人）及其话语。不幸的是，对话者角色之间的复杂互动使得准确捕捉会话上下文和对话者信息变得具有挑战性。面对这一挑战，我们提出了一个响应生成模型，将对话者感知的上下文到递归编码器-解码器框架（ICRED）的RGMPC。具体来说，我们采用交互式表示捕捉不同的对话者的对话上下文。此外，我们利用受话人的记忆来增强目标受话人的语境对话者信息。最后，我们基于现有的开放获取数据集构建了RGMPC的语料库。自动和人工评估表明，ICRED的表现明显优于强基线。
2019-10-29 cs.CL
Integrating Pre-trained Model into Rule-based Dialogue Management
Microsoft（微软）
基于规则的对话管理由于其可解释性仍然是工业面向任务的对话系统最流行的解决方案。然而，当场景变得越来越复杂时，开发人员很难保持对话逻辑。另一方面，数据驱动的对话系统，通常具有端到端的结构，在学术研究中很受欢迎，并且更容易处理复杂的会话，但是这样的方法需要大量的训练数据，并且行为的可解释性较差。在本文中，我们提出了一种方法，利用基于规则和数据驱动的对话管理器（DM）的力量。本文首先介绍了Carina Dialog System（CDS，一个先进的工业对话系统）中的数据模型。然后，我们提出了“模型触发器”的设计，使DM可训练，从而可扩展到场景的变化。此外，我们集成了预先训练的模型，并赋予DM Few-Shot能力。实验结果证明了该方法的有效性和较强的Few-Shot能力。
2021-02-17 cs.AI cs.CL
Building Multimodal AI Chatbots
Princeton University（普林斯顿大学）
针对开放域对话中单模态回复生成器易生成与图像矛盾内容的问题，本研究提出结合ViT与BERT、GPT-2/DialoGPT的双多模态模型聊天机器人系统，在PhotoChat数据集上多项自动与人工评估指标均优于基线。
2023-04-21 cs.CL
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
社交聊天机器人，也被称为聊天聊天机器人，随着大型预训练语言模型的快速发展。尽管取得了巨大的进步，但最近出现了隐私问题：大语言模型的训练数据可以通过模型反演攻击提取。另一方面，用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中，我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏，这还没有得到很好的研究。我们表明，说话人的人物角色可以推断，通过一个简单的神经网络与高精度。为此，我们提出了有效的防御目标，以保护隐藏状态的人物泄漏。我们进行了大量的实验，证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时，所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Understanding Multi-Turn Toxic Behaviors in Open-Domain Chatbots
Michigan State University（密歇根州立大学）
针对现有单轮检测无法识别多轮对话中无害句子触发有害回复的问题，提出toxicbot攻击方法，通过构造对话序列微调聊天机器人触发目标模型生成有害内容，验证了多轮场景下的聊天机器人安全风险并为防御研究提供工具。
2023-07-14 cs.AI cs.CL cs.CR
BotsTalk: Machine-sourced Framework for Automatic Curation of Large-scale Multi-skill Dialogue Datasets
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
为了构建能够使用多种沟通技能的开放域聊天机器人，我们提出了一个新的框架BotsTalk，其中多个代理基于特定的目标技能参与对话，以自动注释多技能对话。我们进一步展示了Blending Skill BotsTalk（BSBT），这是一个包含30万个对话的大规模多技能对话数据集。通过大量的实验，我们证明了我们的数据集可以有效的多技能对话系统，需要了解技能混合以及技能接地。我们的代码和数据可在https://github.com/convei-lab/BotsTalk上获得。
2022-10-23 cs.AI cs.CL
Implementing a Chatbot Solution for Learning Management System
Norwegian University of Science and Technology（挪威科技大学）
创新是尝试新解决方案的关键组成部分，让学生以符合自己经验的方式有效学习，其中聊天机器人是这些新解决方案之一。聊天机器人今天面临的主要问题之一是模仿人类语言，他们试图找到输入的最佳答案，这不是人类对话通常的工作方式，而是考虑到以前的消息并建立在它们之上。选择极端编程方法将ChatterBot，Pyside2，Web抓取和Tampermonkey集成到Blackboard中作为测试用例。机器人出现了问题，需要更多的培训才能使机器人完美地工作，但集成和网络抓取工作，给了我们一个能够与之交谈的聊天机器人。我们展示了在教育环境中集成AI机器人的可行性。
2022-06-30 cs.CL
Memory-augmented Dialogue Management for Task-oriented Dialogue Systems
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
对话管理根据当前对话状态决定对话系统的下一步动作，在面向任务的对话系统中起着核心作用。由于对话管理不仅需要访问本地话语，而且需要访问整个对话会话的全局语义，因此对远程历史信息进行建模是一个关键问题。为此，我们提出了一种新的内存增强对话管理模型（MAD），它采用了一个内存控制器和两个额外的内存结构，即，槽值存储器和外部存储器。槽值存储器通过记忆和更新语义槽的值（例如，菜系、价格和位置）来跟踪对话状态，外部存储器通过存储更多的上下文信息来增强传统递归神经网络的隐藏状态的表示。为了有效地更新对话状态，我们还提出了槽级关注用户的话语提取特定的语义信息，为每个槽。实验表明，我们的模型可以获得最先进的性能，并优于现有的基线。
2018-05-01 cs.AI cs.CL cs.IR
Improving Dialogue Management: Quality Datasets vs Models
Siani（西亚尼）；ULPGC（拉斯帕尔马斯大学）
本文指出任务型对话系统性能瓶颈在于数据集质量而非模型，通过设计合成对话生成器控制Multiwoz 2.1和SGD数据集中的错误，证明数据集错误与模型性能下降成正比。
2023-10-23 cs.AI cs.CL
An Ontology-Based Dialogue Management System for Banking and Finance Dialogue Systems
Com Innovation Center（4Com创新中心）
在对话系统中保持对话状态是众所周知的困难任务。我们介绍了一个基于本体的对话管理器（OntoDM），对话管理器，保持会话的状态，提供了一个基础的回指解析和驱动会话通过领域本体。银行和金融领域通过丰富的产品集和专有名词、命名实体和动词的特异性来消除上下文的歧义。我们使用本体作为知识库和对话管理器的基础;知识库组件和对话管理器组件在某种意义上合并。领域知识用于跟踪感兴趣的实体，即本体的节点（类），这些节点恰好是产品和服务。通过这种方式，我们在某种意义上也介绍了会话记忆和注意力。我们将语言学方法、领域驱动的关键词排名和领域本体进行了很好的融合，以创建领域驱动的对话方式。建议的框架用于我们内部的德语银行和金融聊天机器人。还介绍了德语语言处理和金融银行领域聊天机器人语言模型和词汇的一般挑战。这项工作仍在进行中，因此尚未引入成功指标。
2018-04-13 cs.CL
Towards Boosting the Open-Domain Chatbot with Human Feedback
Baidu Inc.（百度公司）
许多用社交媒体评论预先训练的开放域对话模型可以生成连贯的回复，但在与真实用户交互时很难产生吸引人的回复。这一现象主要是由于标注的人与人之间的对话的不足以及与人类偏好的不一致造成的。在本文中，我们提出了一种新的和有效的方法Diamante来提高开放域聊天机器人，其中两种人类反馈（包括显式演示和隐式偏好）被收集和利用。通过要求注释者选择或修改模型生成的候选响应，Diamante有效地收集了人类演示的响应，并构建了一个中文聊天数据集。为了增强与人类偏好的一致性，Diamante在数据汇集过程中利用了隐式偏好，并引入了生成-评估联合训练。综合实验表明，Diamante数据集和联合训练范式可以显着提高中文预训练对话模型的性能。
2022-08-30 cs.CL
Småprat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning
Luleå University of Technology（吕勒奥理工大学）；RISE Research Institutes of Sweden（瑞典RISE研究机构）
构建能够产生令人信服的响应的开放域会话系统（或聊天机器人）是一项公认的挑战。最新的基于转换器的自然语言对话生成模型在模拟英语中的类人单轮对话方面表现出令人印象深刻的性能。这项工作调查，通过实证研究，这种模式的迁移学习到瑞典语的潜力。DialoGPT是一种英语预训练模型，通过对从公开来源获得的三种不同的瑞典语会话数据集进行训练来适应。困惑分数（一种自动化的内在语言模型度量）和人类评估的调查被用来评估微调模型的性能，结果表明，迁移学习的能力可以得到相当大的成功。要求对模拟对话进行评分的人类评估人员判断，对于在最大（瑞典）数据集上训练的模型，超过57%的聊天机器人响应与人类相似。我们在HuggingFace平台上提供英语和瑞典语聊天机器人的演示和模型检查点供公众使用。
2022-02-13 cs.CL cs.LG
