From Human-to-Human to Human-to-Bot Conversations in Software Engineering
Chalmers University of Gothenburg（查尔姆斯理工大学）
本文通过观察性研究比较软件开发中的人际对话、NLU 与 LLM 聊天机器人对话，揭示其异同及对团队沟通和开发者预期的影响。
2024-05-21 cs.AI cs.CL cs.HC
Is There a Case for Conversation Optimized Tokenizers in Large Language Models?
ETSI de Telecomunicación Universidad Politécnica de Madrid（电信工程学院马德里理工大学）
本文探讨了针对聊天对话优化分词器能否降低token数量，实验表明可节省5%-10%能源且不影响原训练语料库效率。
2025-06-23 cs.AI cs.CL
Recent advances in conversational NLP : Towards the standardization of Chatbot building
Opla；Clermont-Ferrand（克莱蒙费朗（城市名，此处可能为机构所在地，按要求不提取额外信息，但根据原文“Affiliation: Opla / Clermont-Ferrand, France”，Opla 是主要机构名，Clermont-Ferrand 为城市，故仅提取 Opla 作为机构）}]} 修正：原理解中 Clermont-Ferrand 是城市名，不是机构，应只提取 Opla 。但严格按要求，原 HTML 中作者所属机构仅显示）
对话系统最近在我们的生活中变得至关重要。它们的使用越来越流畅，越来越容易。这可以归结为NLP和AI领域的改进。在本文中，我们试图提供一个概述的对话系统，他们的类别和不同的方法来建立他们的艺术现状。最后，我们将对所有技术进行比较，并分析每种技术的优缺点。最后，我们提出了一个意见，建议定向的对话系统建设的标准化研究。
2019-03-21 cs.AI cs.CL
The Knowledge-Behaviour Disconnect in LLM-based Chatbots
Jan Broersen
本文论证LLM聊天机器人存在根本性的知识-行为脱节，即模型虽有知识却未用于对话行为，且训练技术无法消除此脱节，并探讨了伦理脱节及现有干预措施的无效性。
2025-09-24 cs.AI cs.CL
DialogueForge: LLM Simulation of Human-Chatbot Dialogue
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心）
本文提出DialogueForge框架，利用多种LLM模拟人机对话，并通过微调提升小模型生成逼真对话的能力，实验表明大模型更优而小模型经微调后性能显著提升。
2025-07-21 cs.AI cs.CL
Empirical Study of Symmetrical Reasoning in Conversational Chatbots
Handong Global University（韩东全球大学）
本文使用 SIS 数据集和 ICL 评估五款 LLM 聊天机器人的谓词对称推理能力，发现模型表现不一，Gemini Advanced 与人类评分相关性达 0.85。
2024-07-08 cs.CL
EmpBot: A T5-based Empathetic Chatbot focusing on Sentiments
National Technical University of Athens（雅典国家技术大学）；ATHENA R.C.（雅典娜研究中心）；Behavioral Signals
在本文中，我们介绍EmpBot：一个端到端的移情聊天机器人。移情会话代理不仅应该理解正在讨论的内容，而且还应该承认会话伙伴的隐含感受并做出适当的回应。为此，我们提出了一种基于Transformer预训练语言模型（T5）的方法。具体来说，在微调过程中，我们建议使用三个目标：响应语言建模，情感理解和移情强迫。第一个目标对于产生相关和连贯的反应至关重要，而下一个目标对于承认会话伙伴的情感状态和有利于移情反应至关重要。我们使用自动化指标和人工评估在EmpatheticDialogues数据集上评估我们的模型。与现有技术相比，情感理解和移情强迫辅助损失的加入有利于移情反应，正如人类评估结果所示。
2021-10-30 cs.AI cs.CL
ChatGPT versus Traditional Question Answering for Knowledge Graphs: Current Status and Future Directions Towards Knowledge Graph Chatbots
Concordia University（康考迪亚大学）；KAUST（阿卜杜拉国王科技大学）
用于知识图谱（KG）的会话人工智能和问答系统（QAS）都是新兴的研究领域：它们为用户提供自然语言界面，以便轻松有效地提取信息。对话式人工智能模拟与人类的对话;然而，它受到训练数据集中捕获的数据的限制。相比之下，QAS通过理解自然语言问题并将其转换为数据库引擎支持的正式查询来从KG中检索最新的信息。在本文中，我们提出了一个全面的研究现有的替代品的特点，以结合两个世界到新的KG聊天机器人。我们的框架比较了两个代表性的会话模型，ChatGPT和卡拉狄加，对KGQAN，目前最先进的QAS。我们进行了全面的评估，使用四个真正的KG在不同的应用领域，以确定目前的限制，每一类系统。根据我们的研究结果，我们提出了开放的研究机会，为KGs的聊天机器人功能赋予QAS。所有基准和所有原始结果可供进一步分析。
2023-02-08 cs.AI cs.CL cs.IR
Exploring Emotion-Sensitive LLM-Based Conversational AI
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
本研究通过比较30名参与者使用情感敏感与不敏感的基于LLM的聊天机器人，发现情感敏感型聊天机器人虽未提升问题解决率，但能提高用户对其可信度和能力的感知，为客户服务中对话式AI的优化提供参考。
2025-02-13 cs.AI cs.HC
RICoTA: Red-teaming of In-the-wild Conversation with Test Attempts
提出韩语红队测试数据集RICoTA，利用真实社区的用户自制对话捕捉越狱尝试，评估LLMs识别对话类型与用户测试目的的能力，为降低越狱风险提供设计启示。
2025-01-29 cs.CL
Some hypotheses on how chatbots work in problem-solution-driven conversations: Large Language Models as confirmation of the Innovation Illusion
S.F.M. van Vlijmen and H.D. Lethe jr（S.F.M. van Vlijmen 和 H.D. Lethe jr）
本文提出聊天机器人作为对话伙伴的本质，基于聚合动力学、认知语言学等理论，假设LLM训练数据仅部分模仿人类思维，并得出结论：基础聊天机器人无法成为与人类匹敌的思考伙伴。
2026-09-11 cs.AI
Does My Chatbot Have an Agenda? Understanding Human and AI Agency in Human-Human-like Chatbot Interaction
University of Bergen（卑尔根大学）
研究探讨了人类与AI在持续对话中的代理感知，通过纵向研究和访谈揭示代理的共构过程，并提出3x4框架和透明设计理念。
2026-03-27 cs.AI cs.HC
"How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations
Imperial College London, London, United Kingdom（伦敦帝国学院）
本文研究了学生与LLM聊天机器人对话中程序性问题的主导地位，发现其在总结性评估中更为突出，但现有分类方案存在局限性。
2026-02-20 cs.AI cs.HC
Towards Healthy AI: Large Language Models Need Therapists Too
Columbia University（哥伦比亚大学）；IBM Research（IBM研究院）
本文提出SafeguardGPT框架，通过心理治疗和强化学习技术纠正AI聊天机器人的有害行为，提升对话质量并促进AI与人类价值观的对齐。
2023-04-02 cs.AI cs.CL cs.CY
The complexities of patient-centred conversational artificial intelligence
Verily Health（Verily健康公司）；University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）；University Hospitals Birmingham NHS Foundation Trust（伯明翰大学医院NHS基金会信托）；Harvard Medical School（哈佛医学院）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）
研究面向消费者的健康聊天机器人开发评估问题，开发患者模拟器建模多方面内容，经图灵启发评估和多案例测试，发现沟通风格影响分诊结果，强调以患者为中心的对话式人工智能要适应沟通多样性。
2026-07-10 cs.AI cs.CL
Chatbot To Help Patients Understand Their Health
Center for Healthcare Organization and Implementation Research, VA Bedford Health Care（VA贝德福德医疗中心健康组织与实施研究中心）；Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机与信息科学学院）；Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校信息与计算机科学学院）
本研究提出NoteAid-Chatbot，基于多智能体LLM和PPO强化学习，无需人工标注，训练轻量级模型促进患者理解，展现出清晰性等涌现行为，并超越非专家人类。
2025-10-24 cs.AI
Increasing happiness through conversations with artificial intelligence
Yale University（耶鲁大学）；Sainsbury Wellcome Centre for Neural Circuits and Behaviour, UCL（伦敦大学学院Sainsbury Wellcome神经环路与行为中心）；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）；Max Planck UCL Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心）
本研究通过与AI聊天机器人对话与撰写日记的对比实验，发现AI对话能提升参与者幸福感，特别是在讨论负面主题时，其机制在于AI的积极偏差引导参与者情感对齐，且情感预测误差能预测幸福感提升。
2025-04-02 cs.CL
Multi-User Chat Assistant (MUCA): a Framework Using LLMs to Facilitate Group Conversations
Microsoft Research（微软研究院）
针对现有聊天机器人多聚焦单用户的问题，本文提出多用户聊天机器人3W设计维度与基于LLM的MUCA框架，含三大模块确定回应内容、时机与对象，还提出MUS加速开发，实验验证其在中小规模目标对话中有效提升参与度等表现。
2024-10-04 cs.CL
Bridging UI Design and chatbot Interactions: Applying Form-Based Principles to Conversational Agents
Amazon Web Services（亚马逊云科技）
本文提出将 GUI 中的提交与重置操作建模为 LLM 提示中的显式任务，以改善领域特定聊天机器人的多步骤交互，并在酒店预订和客户管理场景中验证了其在任务连贯性、用户满意度和效率上的提升。
2025-07-02 cs.AI cs.HC
Grammar Control in Dialogue Response Generation for Language Learning Chatbots
EPFL（洛桑联邦理工学院）；University of Tübingen（蒂宾根大学）；ETH Zürich（苏黎世联邦理工学院）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）
针对语言学习聊天机器人难以控制语法等语言形式以匹配学习者需求的问题，该研究将对话响应生成模型基于语法技能教学知识库，评估相关策略，发现策略性解码Llama3在容忍轻微质量损失时优于GPT-3.5，模拟显示其能支持适配学习者熟练度的语法习得。
2025-02-11 cs.CL
Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews
Massachusetts Institute of Technology（麻省理工学院）；MIT Media Lab（麻省理工学院媒体实验室）；University of California, Irvine（加州大学欧文分校）
本研究模拟犯罪证人访谈，对比四种访谈条件，发现基于LLM的生成式聊天机器人会显著诱发并强化错误记忆，揭示敏感场景中应用对话式AI的伦理风险。
2024-08-08 cs.AI cs.CL cs.CY
The Decision to Verify: How Warmth and User Characteristics Shape Reliance on Conversational Agents for Information Search
Amsterdam University of Applied Sciences（阿姆斯特丹应用科学大学）；Leiden University（莱顿大学）
研究通过混合实验发现，即使提供事实核查工具，用户仍过度依赖对话AI，验证行为主要由用户特征（如先验信任）驱动，而温暖对话风格通过增加对错误答案的认同间接影响依赖。
2026-05-27 cs.AI cs.HC
AI-Assisted Conversational Interviewing: Effects on Data Quality and Respondent Experience
NORC at the University of Chicago（芝加哥大学NORC）
本研究提出AI辅助对话访谈框架，通过聊天机器人提升开放式数据收集质量，发现其在编码准确性上表现良好，但需平衡受访者体验与数据详细度。
2025-12-01 cs.AI cs.HC stat.AP
LLM Roleplay: Simulating Human-Chatbot Interaction
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室）
提出LLM Roleplay方法，利用大型语言模型扮演文本角色自动生成多轮人机对话，有效模拟不同社会人口背景的交互，并在高不可区分率下验证了其有效性。
2024-10-13 cs.CL
DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity
University of Pennsylvania（宾夕法尼亚大学）；National Institutes of Health（美国国立卫生研究院）
本文提出DiverseDialogue方法，通过基于真实人类交互特征自动优化提示，显著提升LLM模拟对话的人类相似性和语言多样性，平均特征误差降低54%。
2024-08-30 cs.CL
Conversational AI Threads for Visualizing Multidimensional Datasets
University of North Carolina（北卡罗来纳大学）；Tableau Research（Tableau 研究院）
本文探索了生成式大语言模型在对话式可视化分析中的应用，开发了多线程聊天机器人AI Threads，通过众包和专家评估验证其能有效支持渐进式可视化细化，并展示了其在未见数据集上的潜力。
2023-11-09 cs.AI cs.HC
Chatbot-Based Assessment of Code Understanding in Automated Programming Assessment Systems
University of Innsbruck（因斯布鲁克大学）
本文探讨了聊天机器人在自动化编程评估中的应用，提出混合苏格拉底框架以整合对话验证，解决代码理解评估中的挑战。
2026-04-08 cs.AI cs.SE
Guiding Topic Flows in the Generative Chatbot by Enhancing the ConceptNet with the Conversation Corpora
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）
人类的会话是由合理的、自然的话题流组成的，这些话题流可以被看作是所提到的概念在话语之间的转移。以前的聊天机器人结合了外部常识知识图谱，证明了对概念转换进行建模可以有效地缓解沉闷和无信息的响应困境。然而，自然会话中的概念关系与外部常识知识图谱中的概念关系之间仍然存在差距，这是一个有待解决的问题。具体来说，外部常识知识图谱中的概念关系不是从对话场景中直观构建的，而是从世界知识中直观构建的，这使得它们不足以用于聊天机器人的构建。为了弥补上述差距，我们提出的方法，提供更多的概念关系提取会话语料库和重建一个增强的概念图的聊天机器人建设。此外，我们提出了一种新的，强大的，快速的图形编码架构命名为边变压器，以取代传统的GNN架构。Reddit会话数据集上的实验结果表明，我们提出的方法显着优于强基线系统，并实现了新的SOTA结果。进一步的分析分别证明了增强的概念图和Edge-Transformer架构的有效性。
2021-09-14 cs.AI cs.CL
Understanding Multi-Turn Toxic Behaviors in Open-Domain Chatbots
Michigan State University（密歇根州立大学）
针对现有单轮检测无法识别多轮对话中无害句子触发有害回复的问题，提出toxicbot攻击方法，通过构造对话序列微调聊天机器人触发目标模型生成有害内容，验证了多轮场景下的聊天机器人安全风险并为防御研究提供工具。
2023-07-14 cs.AI cs.CL cs.CR
Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network
Quaid-i-Azam University（奎德阿扎姆大学）
聊天机器人是一种使用自然语言模仿人类行为的技术。有不同类型的聊天机器人，可以用作各种业务领域的会话代理，以提高客户服务和满意度。对于任何业务领域，它都需要为该领域建立一个知识库，并设计一个基于信息检索的系统，该系统可以用一段文档或生成的句子来响应用户。聊天机器人的核心组件是自然语言理解（NLU），它通过深度学习方法得到了令人印象深刻的改进。但是我们经常缺乏这样正确构建的NLU模块，并且需要更多的时间从头开始构建高质量的对话。这可能会鼓励新的学习者从头开始构建具有简单架构和使用小数据集的聊天机器人，尽管它可能具有减少的功能，而不是构建高质量的数据驱动方法。本研究的重点是命名实体识别（NER）和意图分类模型，可以集成到聊天机器人的NLU服务。命名实体将被手动插入知识库，并在给定的句子中自动检测。在所提出的架构中的NER模型是基于人工神经网络，人工神经网络是人工创建的实体进行训练，并使用CoNLL-2003数据集进行评估。
2020-06-19 cs.AI cs.CL
How "open" are the conversations with open-domain chatbots? A proposal for Speech Event based evaluation
Ghent University（根特大学）；KTH（瑞典皇家理工学院）
开放域聊天机器人应该与人类自由交谈，而不限于主题，任务或领域。然而，开放域对话的边界和/或内容并不清楚。为了明确“开放性”的边界，我们进行了两项研究：首先，我们对聊天机器人评估数据集中遇到的“语音事件”的类型进行了分类（即，Meena by Google），并发现这些对话主要覆盖了“闲聊”类别，排除了现实生活中人与人交流中遇到的其他言语事件类别。其次，我们进行了一项小规模的试点研究，以生成两个人与一个人和一个最先进的聊天机器人（即，Facebook的Blender）。对这些生成的对话的人类评估表明对人类对话的偏好，因为人类聊天机器人对话在大多数语音事件类别中缺乏连贯性。基于这些结果，我们建议（a）使用术语“闲聊”而不是“开放域”来描述目前在会话能力方面还不“开放”的聊天机器人，以及（b）修改评估方法以测试聊天机器人与其他语音事件的对话。
2022-11-24 cs.CL
The design and implementation of Language Learning Chatbot with XAI using Ontology and Transfer Learning
Division of Science and Technology, Beijing Normal University-Hong Kong Baptist University United International College（北京师范大学-香港浸会大学联合国际学院科技学部）
本文提出了一种基于迁移学习的英语学习聊天机器人，该机器人使用GPT-2生成的输出可以用基于微调数据集的本体图来解释。我们为系统的英语学习设计了三个层次，包括用于语音识别和发音纠正的语音层次，用于特定领域会话的语义层次，以及模拟英语中的自由式会话-作为自由式会话代理的语言聊天机器人通信的最高层次。在学术贡献方面，我们实现了本体图来解释自由式会话的性能，遵循XAI（可解释人工智能）的概念来可视化仿生学中的神经网络的连接，并解释从语言模型输出的句子。从实现的角度来看，语言学习代理集成了微信中的小程序作为前端，微调了迁移学习的GPT-2模型作为后端，通过本体图解释响应。
2020-09-29 cs.AI cs.CL cs.LG
Towards Proactive Information Probing: Customer Service Chatbots Harvesting Value from Conversation
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（教育部机器学习与产业智能工程研究中心）
本文提出主动信息探测任务，设计PROCHATIP框架，通过优化探测时机提升信息获取效率和服务质量，实验表明其在信息探测和服务质量方面优于基线模型。
2026-04-16 cs.AI cs.CL
"Love is as Complex as Math": Metaphor Generation System for Social Chatbot
University Of Rochester（罗切斯特大学）；Microsoft（微软）；Beijing Film Academy（北京电影学院）
随着智能聊天机器人在人类日常生活中的广泛应用，用户对此类系统的需求从基本的任务解决对话发展到更随意和朋友般的交流。为了满足用户需求并与用户建立情感联系，社交聊天机器人必须包含更多类似人类和高级语言的功能。在本文中，我们调查了人类常用的修辞手段--隐喻社交聊天机器人的用法。我们的工作首先设计了一个隐喻生成框架，生成主题意识和新颖的比喻句。通过将框架嵌入到聊天机器人系统中，我们使聊天机器人能够使用比喻语言与用户进行交流。人工注释者验证生成的隐喻的新颖性和适当性。更重要的是，我们评估了在人类聊天机器人对话中使用隐喻的效果。实验表明，我们的系统有效地引起了用户的兴趣，在与我们的聊天机器人进行通信，从而显着更长的人类聊天机器人的对话。
2020-01-03 cs.AI cs.CL
Enhancing conversational quality in language learning chatbots: An evaluation of GPT4 for ASR error correction
ML-Labs（机器学习实验室）；University College Dublin（都柏林大学学院）
针对语言学习聊天机器人识别非母语口语时WER高、影响对话质量的问题，提出用GPT4做ASR纠错，新增STS、NRS评估指标，发现其虽提升WER却优化对话质量，且无需域内数据即优于标准方法。
2023-07-19 cs.AI cs.CL
Spot The Bot: A Robust and Efficient Framework for the Evaluation of Conversational Dialogue Systems
Zurich University of Applied Sciences (ZHAW)（苏黎世应用科技大学）；University of the Basque Country (UPV/EHU)（巴斯克地区大学）；National Distance Education University (UNED)（国家远程教育大学）；Synapse Développement（Synapse Développement（Synapse 发展公司））
缺乏高效且可靠的评估方法阻碍了会话式对话系统（聊天机器人）的发展。需要人类与聊天机器人对话的评估是时间和成本密集型的，对人类法官提出了很高的认知要求，并产生低质量的结果。在这项工作中，我们介绍了\emph{Spot The Bot}，一个具有成本效益和强大的评估框架，取代人与机器人之间的对话对话。然后，人类法官只为对话中的每个实体注释他们是否认为它是人类（假设这些对话中有人类参与者）。然后，这些注释允许我们根据聊天机器人模仿人类对话行为的能力对它们进行排名。由于我们预计所有机器人最终都会被认可，因此我们引入了一个指标来衡量哪些聊天机器人可以最长时间地维持类似人类的行为，即，\emph{Survival Analysis}。该指标能够将机器人的性能与其某些特性（例如，\流畅或敏感），产生可解释的结果。我们框架的低成本允许在评估周期内频繁评估聊天机器人。我们通过将\emph{Spot The Bot}应用于三个领域，评估几个最先进的聊天机器人，并与相关工作进行比较，来实证我们的主张。该框架作为一个即用型工具发布。
2020-10-05 cs.AI cs.CL
Learning from Dialogue after Deployment: Feed Yourself, Chatbot!
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
对话代理在其生命周期中看到的大多数对话都发生在它已经被训练和部署之后，留下了大量未开发的潜在训练信号。在这项工作中，我们提出了自喂聊天机器人，对话代理的能力，从它参与的对话中提取新的训练样本。当我们的代理参与对话时，它还在其响应中估计用户满意度。当对话看起来进行得很顺利时，用户的响应就成为新的训练样本来模仿。当智能体认为自己犯了错误时，它会要求反馈;学习预测将给出的反馈进一步提高了聊天机器人的对话能力。在拥有超过131 k训练样本的PersonaChat聊天数据集上，我们发现从与自喂聊天机器人的对话中学习可以显着提高性能，无论传统监督的数量如何。
2019-06-13 cs.AI cs.CL cs.HC
Enhancing Long-term RAG Chatbots with Psychological Models of Memory Importance and Forgetting
Graduate School of Informatics Kyoto University（京都大学信息学研究科）
LUFY通过优先保留情绪唤醒记忆并遗忘大部分对话内容，提升长期对话体验和聊天机器人性能。
2025-12-18 cs.AI cs.CL
Churn Intent Detection in Multilingual Chatbot Conversations and Social Media
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
我们提出了一种新的方法来检测用户何时表达离开服务的意图，也称为流失。虽然以前的工作只关注社交媒体，但我们表明，这种意图可以在聊天机器人对话中检测到。随着公司越来越依赖聊天机器人，他们需要对潜在的流失用户进行概述。为此，我们众包并发布了德语和英语聊天机器人交互中的流失意图表达数据集。我们发现，在社交媒体数据上训练的分类器可以在聊天机器人的上下文中检测到相同的意图。我们引入了一个分类架构，优于现有的工作在社交媒体中的流失意图检测。此外，我们表明，使用双语词嵌入，在英语和德语相结合的数据上训练的系统优于单语方法。由于现有的唯一数据集是英语的，我们众包并发布了一个新的德国推文数据集。因此，我们强调了这个问题的普遍性，因为英语中的流失意图的例子可以帮助我们识别德国推文和聊天机器人对话中的流失。
2018-08-25 cs.CL
FinChat: Corpus and evaluation setup for Finnish chat conversations on everyday topics
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
创建开放域聊天机器人需要大量的会话数据和相关的基准任务来评估它们。标准化的评估任务对于为模型开发创建自动评估指标至关重要;否则，比较模型将需要资源昂贵的人工评估。虽然聊天机器人挑战最近设法为英语提供了大量此类资源，但其他语言的资源尚未提供。在这项工作中，我们为芬兰开放域聊天机器人研究提供了一个起点。我们描述了我们的收集工作，以创建芬兰聊天对话语料库FinChat，这是公开的。FinChat包括来自不同年龄的人的七个主题的无脚本对话。使用这个语料库，我们还构建了一个基于检索的评估任务，芬兰聊天机器人的发展。我们观察到，在会话语料库上训练的现成聊天机器人模型在基于自动度量选择正确答案方面的表现并不比偶然性更好，而人类几乎可以完美地完成相同的任务。类似地，在人类评估中，对来自聊天机器人生成的评估集的问题的响应主要被标记为不连贯。因此，FinChat提供了一个具有挑战性的评估集，旨在鼓励芬兰语的聊天机器人开发。
2020-08-19 cs.CL
Mind the Goal: Data-Efficient Goal-Oriented Evaluation of Conversational Agents and Chatbots using Teacher Models
针对现有多轮聊天机器人评估未关注用户总体目标的问题，提出结合教师LLM、含GSR指标与RCOF分类的目标导向评估框架，可解释且数据高效，在企业智能体AIDA上验证了其诊断与改进指导价值。
2025-10-04 cs.AI cs.CL
Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions
Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；Artificial Intelligence Graduate School, UNIST（UNIST人工智能研究生院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有聊天机器人多模态交互静态且缺乏听觉模态的问题，本文提出新型多模态对话数据集$M^3C$及具备多模态记忆检索的对话模型，实现视觉与听觉融合的动态多方长期交互。
2025-05-31 cs.AI cs.CL cs.CV
Conversational Process Modeling: Can Generative AI Empower Domain Experts in Creating and Redesigning Process Models?
Technical University of Munich（慕尼黑工业大学）；SAP Signavio
本文系统评估生成式AI聊天机器人对对话式流程建模的支持，结合生命周期场景、文献分类、KPI、提示词与用户调查，提出实践和研究建议。
2024-01-18 cs.AI cs.CL
Production Ready Chatbots: Generate if not Retrieve
Haptik Inc（哈普蒂克公司）
在本文中，我们提出了一个混合模型，结合了神经会话模型和基于规则的图形对话系统，帮助用户通过聊天对话安排提醒。基于图的系统具有高精度，并提供语法上准确的响应，但具有低召回。神经会话模型可以满足各种请求，因为它逐字生成响应，而不是使用预制响应。该混合系统显示出显着的改进，现有的基线系统的规则为基础的方法，并迎合复杂的查询与域限制的神经模型。限制会话主题并将基于图的检索系统与神经生成模型相结合，使得最终系统对于现实世界的应用足够鲁棒。
2017-11-27 cs.AI cs.CL
Towards a Continuous Knowledge Learning Engine for Chatbots
Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Department of Computer Science（计算机科学系）；University of Illinois at Chicago, IL, USA（伊利诺伊大学芝加哥分校，美国伊利诺伊州（注：此条按要求提取到大学级别，机构名应为University of Illinois at Chicago））
虽然聊天机器人近年来非常流行，但它们仍然存在一些严重的弱点，限制了它们的应用范围。一个主要的缺点是他们不能在对话过程中学习新知识，即，他们的知识是事先固定的，不能在谈话中扩展或更新。在本文中，我们建议为聊天机器人构建一个通用的知识学习引擎，使他们能够在对话过程中不断地、交互地学习新知识。随着时间的推移，他们变得越来越有知识，越来越善于学习和交谈。我们将任务建模为开放世界知识库完成问题，并提出了一种称为终身交互式学习和推理（LiLi）的新技术来解决它。LiLi通过模仿人类在交互式对话中获取知识和执行推理来工作。我们的实验结果表明，LiLi是非常有前途的。
2018-02-24 cs.AI cs.CL cs.HC
CharacterChat: Supporting the Creation of Fictional Characters through Conversation and Progressive Manifestation with a Chatbot
University of Bayreuth（拜罗伊特大学）
我们提出了一个概念和聊天机器人，以支持作家创造虚构的人物。具体地说，作者通过对话逐步将机器人变成他们想象中的角色。我们以用户为中心的方法迭代开发了MysterChat，首先是对作家的角色创作进行调查（N=30），然后是两项定性用户研究（N=7和N=8）。我们的原型结合了两种模式：（1）引导提示帮助作者定义角色属性（例如，用户：“你的名字是简。”），包括属性的建议（例如，Bot：“我的主要动机是什么？“）和价值观，实现为一个基于规则的系统与概念网络。(2)与聊天机器人的开放式对话有助于作家探索他们的角色并获得灵感，这是通过考虑到定义的角色属性的语言模型实现的。我们的用户研究揭示了这些好处，特别是在角色创建的早期阶段，以及由于有限的对话能力而带来的挑战。最后，我们总结了经验教训和今后工作的想法。
2021-06-23 cs.CL cs.HC
Hybrid Dialogue State Tracking for Persian Chatbots: A Language Model-Based Approach
Computer Engineering Department, Amirkabir University of Technology（阿米尔卡比尔技术大学计算机工程系）
针对传统基于规则的波斯语对话状态跟踪适配性不足的问题，提出融合规则与BERT、XGBoost、GPT及在线智能体的混合DST模型，在波斯语多轮对话数据集上实现准确率和连贯性的显著提升。
2025-10-01 cs.AI cs.CL
Deep Learning Based Chatbot Models
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
会话代理（聊天机器人）是一种能够使用自然语言与人类进行交流的软件。会话建模是自然语言处理和人工智能的重要研究课题。虽然聊天机器人可以用于各种任务，但一般来说，它们必须理解用户的话语，并提供与手头问题相关的响应。在我的工作中，我对最近的文献进行了深入的调查，研究了过去3年中发表的70多篇与聊天机器人相关的出版物。然后，我继续提出这样的论点，即一般会话域的本质要求与当前最先进的架构不同的方法。基于文献中的几个例子，我展示了为什么当前的聊天机器人模型在生成响应时没有考虑到足够的先验知识，以及这如何影响对话的质量。在聊天机器人的情况下，这些先验信息可以是对话所依赖的外部信息源，例如对话者的角色或情绪。除了提出这个问题背后的原因，我提出了几个想法，如何可以补救。下一节将重点介绍如何将最新的Transformer模型应用于聊天机器人领域，这是目前神经机器翻译的最新技术。我首先提出的实验与香草模型，使用从康奈尔电影对话语料库中提取的对话。其次，我用我的一些关于编码器-解码器架构问题的想法来增强模型。更具体地说，我将额外的特征（如情绪或人物角色）与原始对话数据一起输入模型。最后，我通过与以前的聊天机器人模型进行比较，详细分析了vanilla模型在会话数据上的表现，以及附加功能如何影响生成的响应质量。
2019-08-23 cs.CL
Using Chatbots to Teach Languages
Columbia University（哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
本文报告了建立一个在线语言学习工具，通过使用对话系统作为会话练习伙伴，为学习者提供会话体验的进展。我们的系统可以适应用户的语言熟练程度的飞行。我们还提供自动语法错误反馈，以帮助用户从错误中学习。根据我们的第一批采用者，我们的系统是有趣和有用的。此外，我们将为学习技术社区提供关于语言学习和语法纠正的大规模对话数据集。我们的下一步是通过使用强化学习算法使我们的系统更适应用户简档信息。
2022-07-31 cs.AI cs.CL
Towards Goal-Oriented Agents for Evolving Problems Observed via Conversation
BT Applied Research（英国电信应用研究部）
本文提出基于DQN的对话智能体架构，通过强化学习与模拟用户对话解决无法直接观察的演化问题，并研究了课程学习和奖励函数修改对训练效果的影响。
2024-01-11 cs.AI cs.CL
Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
一个好的开放域聊天机器人应该避免在对话会话中对事实或观点提出矛盾的回应，这被称为其一致性能力。然而，评估聊天机器人的一致性能力仍然具有挑战性。雇用人类法官与聊天机器人进行交互，以检查他们的能力，成本高，效率低，并且难以摆脱主观偏见。在本文中，我们提出了寻址查询历史（AIH），一个有效的和实用的一致性评价框架。在对话阶段，AIH试图解决有关对话历史的适当询问，以诱导聊天机器人重新声明历史事实或观点。我们在聊天机器人之间进行对话，这比人类与机器人的交互更有效，也可以减轻主观偏见。通过这种方式，我们能够快速获得包含具有高矛盾可能性的响应的对话会话。在矛盾识别阶段，我们可以使用人类法官或自然语言推理（NLI）模型来识别查询的答案是否与历史相矛盾。最后，我们能够根据矛盾统计对聊天机器人进行排名。在开放域聊天机器人上的实验表明，该方法能够有效、可靠地评估聊天机器人的一致性能力，并与人类评价结果具有较高的相关性。我们发布了框架，希望有助于提高聊天机器人的一致性能力。\footnote{\url{https://github.com/ictnlp/AIH}}
2021-06-04 cs.AI cs.CL
Text Mining Analysis of Symptom Patterns in Medical Chatbot Conversations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究通过多种NLP方法分析医疗聊天机器人对话中的症状模式，揭示临床相关主题结构，提升症状解读与医疗决策支持能力。
2025-11-30 cs.CL cs.IR cs.LG
Clustering Vietnamese Conversations From Facebook Page To Build Training Dataset For Chatbot
Nha Trang University（芽庄大学）
构建聊天机器人的最大挑战是训练数据。所需的数据必须是真实的，并且足够大，以训练聊天机器人。我们创建了一个工具来从Facebook页面的Facebook信使获取实际的训练数据。在文本预处理步骤之后，新获得的数据集生成FVnC和Sample数据集。我们使用越南语BERT的再训练（Pho BERT）来提取文本数据的特征。K-Means和DBSCAN聚类算法用于基于来自PhoBERT $_{base}$的输出嵌入对任务进行聚类。我们采用V-测度得分和轮廓得分来评估聚类算法的性能。我们还证明了PhoBERT的效率相比，其他模型的特征提取的样本数据集和维基数据集。还提出了一个GridSearch算法，结合两个聚类评价，以找到最佳参数。由于聚集了如此多的对话，我们节省了大量的时间和精力来构建训练聊天机器人的数据和故事情节。
2022-01-03 cs.CL
VIRATrustData: A Trust-Annotated Corpus of Human-Chatbot Conversations About COVID-19 Vaccines
IBM Research（IBM研究院）；New York University（纽约大学）；Johns Hopkins Bloomberg School of Public Health（约翰斯·霍普金斯大学布隆伯格公共卫生学院）
公众对医疗信息的信任对于成功实施疫苗接种等公共卫生政策至关重要。当信息由聊天机器人远程提供时尤其如此，近年来聊天机器人越来越流行。在这里，我们探讨了人类机器人回合级信任分类的挑战性任务。我们依赖于最近发布的观察收集（而不是众包）与VIRA聊天机器人（COVID-19疫苗信息资源助手）对话的数据。这些对话围绕着关于COVID-19疫苗的问题和担忧，其中信任尤为严重。我们注释了$3k$ VIRA系统-用户对话轮数，用于低机构信任或低代理信任与中性或高信任。我们发布了标记数据集VIRATrustData，据我们所知，这是第一个此类数据集。我们演示了如何这项任务是不平凡的，并比较几种模型，预测不同程度的信任。
2022-05-24 cs.CL
