Turn-level Dialog Evaluation with Dialog-level Weak Signals for Bot-Human Hybrid Customer Service Systems
我们开发了一种机器学习方法,可以在互动过程中的任何时候量化客户服务联系中的成功或价值的多个方面。具体而言,关于跨人类代理、聊天机器人和其他混合对话系统的回合级行为的价值/奖励函数的特征在于基于来自仅用对话级属性/状态中的弱信号训练的多任务神经网络的令牌级预测的语句之间的增量信息和置信度增益。由此产生的模型名为Value Profiler,作为一个面向目标的对话管理器,通过使用其奖励和状态预测来调节自动决策,从而增强对话。它支持对机器人和人工处理的联系人进行实时监控和可扩展的离线客户体验评估。我们展示了它如何在几个应用程序中提高亚马逊客户服务质量。
2020-10-25 cs.CL cs.LG
CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司凡语AI实验室)
对话摘要是近年来备受关注的话题。特别是在客户服务领域,代理人可以使用对话摘要,以帮助提高他们的工作,通过快速了解客户的问题和服务的进展。这些应用程序要求摘要包含单个发言者的观点,并具有清晰的主题流结构,而现有数据集中都没有。因此,在本文中,我们介绍了一个新的中国数据集的客户服务对话摘要(CSDS)。CSDS在两个方面对摘要进行了改进:(1)除了对整个对话进行全面总结外,还提供了面向角色的摘要,以获取不同发言者的观点。(2)所有的摘要都分别总结了每个主题,从而包含了对话的主题层次结构。我们将CSDS中的任务定义为生成给定对话的总体摘要和不同的面向角色的摘要。其次,我们比较了CSDS上的各种摘要方法,实验结果表明,现有的方法容易产生冗余和不连贯的摘要。此外,当分析面向角色的摘要和主题结构的性能时,性能变得更差。希望本研究能为汉语对话摘要的进一步研究提供参考。
2021-09-06 cs.CL
The JDDC 2.0 Corpus: A Large-Scale Multimodal Multi-Turn Chinese Dialogue Dataset for E-commerce Customer Service
JD AI Research(京东人工智能研究院)
随着互联网的发展,越来越多的人习惯于网上购物。在与客户服务沟通时,用户可能会通过文本、图像和视频来表达他们的需求,这就需要理解自动客户服务系统的多模态信息。图像通常作为产品型号的鉴别器,或者产品故障的指示器,在电子商业场景中扮演重要角色。另一方面,由图像提供的详细信息是有限的,并且通常,客户服务系统在没有输入文本的情况下不能理解用户的意图。因此,弥合图像和文本的差距是至关重要的多模态对话任务。为了解决这个问题,我们构建了JDDC 2.0,这是一个从中国主流电子商业平台(JD.com)收集的大规模多模态多回合对话数据集,包含约24.6万个对话会话,300万个话语和50.7万个图像,以及产品知识库和图像类别注释。基于该数据集,我们给出了JDDC多模态对话挑战赛前5名参赛团队的解决方案,为多模态对话任务的进一步研究提供了有价值的见解。
2021-09-27 cs.CL
TWEETSUMM -- A Dialog Summarization Dataset for Customer Service
IBM Research AI(IBM研究院AI)
在典型的客户服务聊天场景中,客户联系支持中心寻求帮助或提出投诉,人工代理试图解决问题。在大多数情况下,在谈话结束时,要求代理写一个简短的摘要,强调问题和建议的解决方案,通常是为了其他代理的利益,可能必须处理相同的客户或问题。本文的目标是推进这一任务的自动化。我们介绍了第一个大规模,高质量,客户关怀对话摘要数据集,接近6500人注释的摘要。这些数据基于真实世界的客户支持对话,包括提取和抽象摘要。我们还介绍了一个新的无监督,提取摘要方法特定的对话。
2021-11-23 cs.CL
Discovering Customer-Service Dialog System with Semi-Supervised Learning and Coarse-to-Fine Intent Detection
Tianjin University(天津大学);China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司)
任务导向对话(Task-oriented dialogue,TOD)旨在通过多轮对话帮助用户实现特定的目标。最近,基于大型预训练模型已经获得了良好的结果。然而,标签数据的稀缺性阻碍了TOD系统的大规模有效开发。在这项工作中,我们构建了一个基于教师/学生范式的弱监督数据集,该范式利用了大量未标记的对话。此外,我们建立了一个模块化的对话系统和集成的粗到细粒度的用户意图检测分类。实验结果表明,该方法能够以较高的成功率达到对话目标,并产生更连贯的响应。
2022-12-23 cs.CL
The JDDC Corpus: A Large-Scale Multi-Turn Chinese Dialogue Dataset for E-commerce Customer Service
JD AI(京东人工智能)
人类的对话是复杂的,构建一个类似人类的对话代理是一项极具挑战性的任务。随着深度学习技术的快速发展,数据驱动模型越来越普遍,需要大量的真实会话数据。本文构建了一个大规模的真实场景中文电子商业会话语料库JDDC,拥有超过100万个多话轮对话,2000万个话语,1.5亿个单词。该数据集反映了人与人之间对话的几个特征,例如,目标驱动,长期依赖于上下文。它还涵盖了各种对话类型,包括任务导向,闲聊和问答。还提供了额外的意图信息和三个注释良好的挑战集。然后,我们评估了几个基于检索和生成模型,以提供JDDC语料库的基本基准性能。我们希望JDDC能够成为一个有效的实验平台,为对话任务的基础研究提供有益的帮助
2020-03-24 cs.AI cs.CL cs.IR
Benchmarking and Learning Real-World Customer Service Dialogue
ByteDance, Beijing, China(字节跳动,北京,中国)
针对工业智能客服与真实对话需求脱节的问题,提出OlaBench基准和OlaMind模型,通过蒸馏专家推理模式与分阶段强化学习,在OlaBench上超越GPT-5.2和Gemini 3 Pro,在线A/B测试中问题解决率提升23.67%,人工转接率降低6.6%。
2026-05-25 cs.CL
Natural Language Dialogue Service for Appointment Scheduling Agents
预约调度是许多个人和组织每天面临的问题。合作代理系统已经开发出部分自动化这项任务。为了尽可能扩大参与者的圈子,我们提倡使用通过电子邮件传输的自然语言。我们描述COSMA,一个完全实现的德语服务器,现有的预约调度代理系统。COSMA可以并行处理多个对话,并解释人类和机器代理之间对话行为的差异。通过基于语料库的语法开发和使用消息提取技术,实现了对子语言的NL覆盖。
1997-02-11 cmp-lg cs.CL
Actionable Conversational Quality Indicators for Improving Task-Oriented Dialog Systems
LivePerson Inc.(LivePerson公司)
本文提出可操作会话质量指标(ACQIs),用于识别和推荐任务型对话系统的改进点,并在商业及公开数据集上验证,预测模型达79%加权F1,可减少81%的改进行动范围。
2021-09-22 cs.AI cs.CL
AdaCoach: A Virtual Coach for Training Customer Service Agents
Ant Group(蚂蚁集团)
随着网上商务的发展,客服人员作为企业与客户之间的接口,逐渐发挥着至关重要的作用。大多数公司花费大量的时间和精力在招聘和培训客户服务代理。为此,我们提出了AdaCoach:一个培训客户服务代理的虚拟教练,以提高新雇用的服务代理在他们开始工作之前的能力。AdaCoach旨在模拟寻求帮助的真实客户,并主动与客户服务代理进行对话。此外,AdaCoach使用自动化的对话评估模型来对客户代理在培训过程中的表现进行评分,这可以在新雇用的客户服务代理遇到问题时提供必要的帮助。我们应用最新的NLP技术来确保部署系统的高效运行时性能。据我们所知,这是第一个通过人机交互培训客服人员的系统。到目前为止,该系统已经支持了超过50万次模拟培训,培养了超过1000名合格的客户服务人员。
2022-04-27 cs.AI cs.CL
Streamlining Biomedical Research with Specialized LLMs
PatSnap Co., LTD.(智慧芽公司)
本文提出集成领域特定大语言模型与先进信息检索技术的新颖系统,提升响应精度与对话生成质量,提供实时高保真交互平台,改善生物医学和制药领域研究效率与决策速度。
2025-04-15 cs.CL
Sketch: A Toolkit for Streamlining LLM Operations
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);AstralForge AI Lab(AstralForge AI实验室)
Sketch工具包通过任务描述模式、交互式结构化输出服务、格式控制数据集和基于LLaMA3-8B-Instruct的格式遵循模型,简化大语言模型在多种NLP任务中的输出控制与即插即用应用。
2024-09-05 cs.AI cs.CL
Dialogue State Induction Using Neural Latent Variable Models
School of Engineering, Westlake University(西湖大学工学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院前沿技术研究所);Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
对话状态模块是面向任务的对话系统中的有用组件。传统的方法通过人工标记训练语料库来发现对话状态,神经模型在此基础上进行训练。然而,标记过程可能是昂贵的,缓慢的,容易出错的,更重要的是,不能覆盖客户服务的现实世界对话中的广泛领域。我们提出了对话状态归纳的任务,建立了两个神经隐变量模型,从未标记的客户服务对话记录中自动挖掘对话状态。结果表明,该模型能有效地发现有意义的槽。此外,配备有诱导对话状态,与不使用对话状态模块相比,现有技术的对话系统给出更好的性能。
2020-08-13 cs.CL
Which Factors Predict the Chat Experience of a Natural Language Generation Dialogue Service?
National Taiwan Normal University(国立台湾师范大学)
本文提出并验证了一个预测自然语言生成对话系统聊天体验的概念模型,发现用户好感度及对话连贯性、情感和相似性是正向预测因素,并可用于自适应系统优化提示。
2023-05-28 cs.CL cs.HC
Discovering Conversational Dependencies between Messages in Dialogs
University of Waterloo(滑铁卢大学);The Ohio State University(俄亥俄州立大学)
我们调查的任务,推断一对一的在线聊天,这已成为最流行的形式之一的客户服务的消息之间的会话依赖关系。我们提出了一种新的概率分类器,利用会话,词汇和语义信息。该方法是经验评估的一组客户服务聊天记录从中国电子商务网站。它优于启发式基线。
2016-12-08 cs.CL
AllWOZ: Towards Multilingual Task-Oriented Dialog Systems for All
Columbia University(哥伦比亚大学)
亚马逊Alexa和苹果Siri等最先进的自然语言技术的一个常见问题是,由于语言障碍,它们的服务无法扩展到大多数发展中国家的公民。这些人群由于缺乏可用的语言资源来构建NLP产品而受到影响。本文介绍了AllWOZ,一个多语言多领域面向任务的客户服务对话数据集,涵盖八种语言:英语,普通话,韩语,越南语,印地语,法语,葡萄牙语和泰语。此外,我们通过应用mT5和元学习为我们的多语言数据集创建了一个基准。
2021-12-15 cs.CL
Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues
Hong Kong Polytechnic University(香港理工大学);AI Group, WeBank Co., Ltd(WeBank人工智能部门)
本文提出LLM-in-the-loop意图聚类框架,通过整合LLM能力提升客户服务对话意图聚类的准确性和效率。
2025-09-03 cs.CL cs.LG
Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents
Salesforce AI Research(Salesforce AI研究院)
提出从历史对话中提取并评估服务AI智能体工作流的框架,采用检索与QA-CoT提示生成,在ABCD数据集上平均宏精度提升12.16%,评估与人类判断高度一致。
2025-02-24 cs.CL
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校)
在现实世界的应用中,对抽象对话摘要的需求正在增长。例如,客户服务中心或医院希望总结客户服务互动和医患互动。然而,由于缺乏合适的数据集,很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法,有两个显着的缺点:信息实体,如餐厅名称是难以保存,和内容从不同的对话域有时不匹配。为了解决这两个缺点,我们提出了脚手架指针网络(SPNet),利用现有的注释扬声器角色,语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点,我们还提出了一个新的评估指标,认为关键的信息实体的文本。在MultiWOZ上,我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin(都灵大学);Nuance Communications Inc.(Nuance通讯公司)
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力,并在许多任务中取得了最先进的结果。在本文中,我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法,它增强了基于变换的生成模型与一种新的检索机制,它利用记忆的信息,通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估:由Google发布的Taskmaster-1,拥有高质量,面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
Can Small Language Models Handle Context-Summarized Multi-Turn Customer-Service QA? A Synthetic Data-Driven Comparative Evaluation
School of Computing, Informatics Institute of Technology(计算学院,信息学院技术研究所);School of Mathematics and Computer Science, Swansea University(数学与计算机科学学院,萨默塞特大学);R&D, Zame AI(Zame AI研发部)
本文通过合成数据评估小语言模型在多轮客户服务问答中的表现,发现部分模型接近大语言模型性能,但整体仍存在对话连续性和上下文对齐的挑战。
2026-08-04 cs.AI cs.CL
MindFlow+: A Self-Evolving Agent for E-Commerce Customer Service
Xiaoduo AI Lab, Shanghai, China(小多AI实验室,上海,中国);University of Dayton, Dayton, Ohio, United States(Dayton大学,俄亥俄州,美国)
本文提出自进化电商客服智能体 MindFlow+,融合 LLM、模仿学习与离线 RL,并通过工具增强示范和奖励条件化数据建模提升多轮对话与工具使用能力。
2025-07-25 cs.CL
A practical approach to dialogue response generation in closed domains
Amazon Inc.(亚马逊公司)
我们描述了一个原型对话响应生成模型的客户服务领域在亚马逊。该模型以弱监督方式进行训练,使用双编码器网络(一种类似于暹罗的神经网络架构)来测量客户问题和代理答案之间的相似性。答案模板是从过去的代理答案派生的嵌入中提取的,没有逐圈注释。通过从最终模板集中选择最佳模板来生成对客户查询的响应。我们表明,在一个封闭的域,如客户服务,所选的模板覆盖$>$ 70\%的过去的客户查询。此外,模型选择的模板的相关性明显高于标准tf-idf基线选择的模板。
2017-03-28 cs.CL cs.NE
Benchmarking Natural Language Understanding Services for building Conversational Agents
Heriot-Watt University(赫瑞-瓦特大学);The University of New South Wales(新南威尔士大学);Emotech North LTD(北英莫科技有限公司)
我们最近看到了几个公开可用的自然语言理解(NLU)工具包的出现,它们将用户的话语映射到结构化但更抽象的对话行为(DA)或意图规范,同时使这个过程对外行开发人员来说是可访问的。在本文中,我们提出了一些最流行的NLU服务的第一个广泛覆盖的评估和比较,在一个大型的,多域(21个域)的25 K用户话语数据集上,我们已经收集并注释了意图和实体类型规范,并将作为本次提交的一部分发布。结果表明,在Intent分类方面,Watson的表现明显优于其他平台,即Dialogflow、LUIS和Rasa;尽管这些平台的表现也很好。有趣的是,在实体类型识别方面,Watson由于其精度较低而表现得更差。同样,Dialogflow、LUIS和Rasa在这项任务上表现良好。
2019-03-26 cs.CL cs.LG
Mem-PAL: Towards Memory-based Personalized Dialogue Assistants for Long-term User-Agent Interaction
Mem-PAL提出H$^2$Memory框架,通过合成数据和实验验证,提升长期用户-代理交互的个性化能力。
2025-11-26 cs.CL
EmoTwiCS: A Corpus for Modelling Emotion Trajectories in Dutch Customer Service Dialogues on Twitter
Ghent University(根特大学);Imec Belgium(比利时微电子研究中心)
本文构建并标注了含 9,489 段荷兰语 Twitter 客服对话的 EmoTwiCS 语料库,用于建模客户情绪轨迹,并通过一致性评估与多层分析验证其研究价值。
2023-10-10 cs.CL
HierTOD: A Task-Oriented Dialogue System Driven by Hierarchical Goals
The Ohio State University(俄亥俄州立大学);Adobe Inc.(Adobe公司)
HierTOD是一个由层级目标驱动的企业级任务型对话系统,通过复合目标检索和统一槽填充与分步指导范式,支持复合工作流,提升任务完成效率与用户协助效果。
2025-09-07 cs.AI cs.CL
Improving Customer Service with Automatic Topic Detection in User Emails
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本研究提出了一种基于BERTopic的自动化邮件主题检测系统,用于提升客户服务效率,实现了每封邮件0.041秒的快速准确分类,F1分数达0.96。
2025-06-06 cs.AI cs.CL cs.LG
Evaluating Empathetic Chatbots in Customer Service Settings
KMK Consulting, Inc.(KMK咨询公司);ServiceNow, Inc.(ServiceNow公司);Unify Square, Inc.(Unify Square公司)
客户服务是一种需要在真人代理响应中产生同理心的设置。最近的进展已经证明了如何训练开放域聊天机器人,以在回应真人话语时表现出同理心。我们发现,一个响应客户查询的混合技能聊天机器人模型更有可能类似于实际的人类代理响应,如果它被训练来识别情感并表现出适当的同理心,而不是没有这种训练的模型。在我们的分析中,我们利用了Twitter客户服务数据集,其中包含<->来自20个知名品牌的客户服务上下文中的数百万个客户代理对话示例。
2021-01-05 cs.CL
Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue Systems
Alibaba Group(阿里巴巴集团)
在本文中,我们提出了双工对话,多回合,多模态口语对话系统,使基于电话的代理人与客户像一个人。我们使用电信中全双工的概念来演示什么是类人的交互体验,以及如何通过三个子任务实现平滑的话轮转换:用户状态检测,反向信道选择和闯入检测。此外,我们提出了半监督学习与多模态数据增强,利用未标记的数据,以提高模型的泛化。三个子任务的实验结果表明,该方法取得了一致的改善与基线相比。我们将Duplex Conversation部署到阿里巴巴智能客户服务中,并分享生产中的经验教训。在线A/B实验表明,该系统可以显着减少响应延迟的50%。
2022-06-14 cs.CL
NatCS: Eliciting Natural Customer Support Dialogues
AWS AI Labs(AWS人工智能实验室)
针对现有任务型对话数据集无法代表真实客户支持对话的问题,该研究推出多领域口语客户服务对话数据集NatCS,其合成对话更贴近真实人际对话,可提升对话行为分类等任务的训练效果,已公开发布以助力自然对话系统研究。
2023-05-04 cs.CL
Lingke: A Fine-grained Multi-turn Chatbot for Customer Service
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
传统的聊天机器人通常需要大量的人类对话数据,特别是当使用有监督的机器学习方法时。虽然他们可以很容易地处理单轮问答,多轮的表现往往是不令人满意的。在本文中,我们提出了Lingke,一个信息检索增强聊天机器人,它能够回答问题的基础上给定的产品介绍文件,并处理多轮对话。我们将介绍一种细粒度的流水线处理,以基于非结构化文档提取响应,并为多轮对话提供细心的顺序上下文响应匹配。
2018-08-10 cs.CL
Multi-dimensional Evaluation of Empathetic Dialog Responses
University of Utah(犹他大学);Google Research(谷歌研究院)
提出多维共情评估框架,结合说话者表达意图与倾听者感知共情,并基于Flan-T5指令微调分类器实现低成本自动评估,优于GPT-4等提示方法。
2024-10-11 cs.CL
Beyond "How may I help you?": Assisting Customer Service Agents with Proactive Responses
University of California, San Diego(加州大学圣地亚哥分校);Airbnb, Inc.(爱彼迎公司)
我们研究的问题,提供建议的反应,客户服务代理在实时聊天对话系统。智能回复系统已经广泛应用于现实世界的应用程序(例如Gmail,LinkedIn消息),其中大多数都可以成功地推荐反应式响应。然而,我们注意到,现行方法的一个主要局限性是,它们通常难以建议采取主动调查行动(例如,“你是否在我们这里有其他账户?“),因为缺乏长期的背景信息,而这些信息确实是客户服务代理收集信息和解决客户问题的关键步骤。因此,在这项工作中,我们提出了一种端到端的方法,特别关注在Airbnb的客户服务实时聊天系统中向客户代理提出主动调查问题。我们所提出的方法的有效性可以通过定性和定量的结果进行验证。
2018-11-26 cs.CL cs.IR