ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education
本文提出ChEDDAR数据集，收集了212名EFL学生在写作课程中与ChatGPT对话修改作文的大规模真实交互数据，并建立了意图检测和满意度估计的基线结果。
2024-03-20 cs.CL
Improving Interaction Quality Estimation with BiLSTMs and the Impact on Dialogue Policy Learning
Daimler AG（戴姆勒股份公司）；Sindelfingen, Germany（斯图加特辛德尔芬根（德国））
在统计口语对话系统中学习合适且表现良好的对话行为多年来一直是研究的焦点。虽然大多数基于强化学习的工作都采用了客观的衡量标准，如任务成功率来建模奖励信号，但我们使用基于用户满意度估计的奖励。我们提出了一种新的估计，并表明它优于所有以前的估计，同时学习时间依赖隐式。此外，我们将这种新的用户满意度估计模型应用于模拟实验中，其中满意度估计模型在一个域上进行训练，并应用于许多其他域，这些域涵盖了类似的任务。我们表明，应用该模型的结果在更高的估计满意度，类似的任务成功率和更高的鲁棒性噪声。
2020-01-21 cs.AI cs.CL stat.ML
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System
National University of Singapore（新加坡国立大学）；University College London（伦敦大学学院）；Nanyang Technology University（南洋理工大学）
针对大语言模型直接用于任务型对话表现不佳的问题，提出UGRO方法，将LLM作为无标注用户模拟器评估对话响应，结合较小的微调TOD模型生成高满意度回复，在两个TOD基准上超越了先前SOTA结果。
2023-10-19 cs.CL
Enhancing Consistency in Multimodal Dialogue System Using LLM with Dialogue Scenario
The University of Electro-Communications（电气通信大学）
本文介绍了一个基于大语言模型和对话场景控制的多模态对话系统，通过灵活稳定的对话流程及动作语音控制，在2023年对话机器人竞赛初赛中取得印象第五、计划第六的成绩。
2023-12-20 cs.CL
Persona-Guided LLM Agents for Task-Oriented Dialogue
University of Kentucky（肯塔基大学）
该研究构建无需训练的框架，通过三种情境评估多模型在SGD数据集上的表现，发现适应用户人格存在权衡，Try情境的线索式适应可更可靠实现感知人格的任务型对话。
2026-11-04 cs.CL
Stylistic Retrieval-based Dialogue System with Unparallel Training Data
Meituan Group（美团）；Tencent AI Lab（腾讯人工智能实验室）；Gaoling School of Artificial Intelliegent, Renmin University of China（中国人民大学高瓴人工智能学院）；College of William & Mary（威廉与玛丽学院）；Universite De Montreal（蒙特利尔大学）
对话系统在对话过程中表达一致语言风格的能力对其可用性和用户满意度有直接的积极影响。虽然先前的研究已经证明，风格转移是可行的大量的并行数据，它往往是不可能的，收集不同的风格这样的数据。在本文中，而不是手动构建具有一定风格的对话数据，我们提出了一个灵活的框架，适应通用检索为基础的对话系统模仿语言风格的指定人物没有任何并行数据。我们的方法是基于自动生成的风格化的数据，通过学习行话的使用，然后重写通用的会话，以风格化的一个结合行话。在实验中，我们实现了五种不同语言风格的对话系统，结果表明，我们的框架显着优于基线的反应的相关性和风格程度的平均得分，和内容多样性。在一个商业聊天机器人上进行的A/B测试表明，用户对我们的系统更加满意。本研究证明了通过简单的数据增强来构建风格化对话系统的可行性。
2021-09-12 cs.CL
User Satisfaction Estimation with Sequential Dialogue Act Modeling in Goal-oriented Conversational Systems
The Chinese University of Hong Kong（香港中文大学）
在面向目标的会话系统中，用户满意度评估是一项重要而又具有挑战性的任务。用户对系统的满意程度很大程度上取决于用户需求的满足程度，而用户需求的满足程度可以通过用户的对话行为来体现。然而，现有的研究往往忽略了对话行为的顺序转换或严重依赖于注释的对话行为标签时，利用对话行为，以促进使用。在本文中，我们提出了一个新的框架，即USDA，将连续动态的对话行为预测用户满意度，通过共同学习用户满意度估计和对话行为识别任务。具体来说，首先采用层次化的Transformer对整个对话上下文进行编码，并采用两种任务自适应的预训练策略作为第二阶段的域内预训练，以增强对话建模能力。在对话行为标签的可用性方面，我们进一步开发了USDA的两个变体，以监督或无监督的方式捕获对话行为信息。最后，美国农业部利用对话中内容和行为特征的顺序转换来预测用户满意度。在4个不同应用的目标导向对话数据集上的实验结果表明，该方法在USE上的性能明显优于现有方法，验证了对话行为序列在USE中的重要作用.
2022-02-07 cs.CL
RECIPE4U: Student-ChatGPT Interaction Dataset in EFL Writing Education
KAIST（韩国科学技术院）
该研究提出RECIPE4U数据集，记录212名大学生与ChatGPT的交互，用于分析教育场景中的意图检测和满意度估计，以促进生成式AI在教育中的应用。
2024-03-13 cs.CL
A Methodology for Identifying Evaluation Items for Practical Dialogue Systems Based on Business-Dialogue System Alignment Models
C4A Research Institute, Inc.（C4A研究机构）；Musashi University（Musashi大学）；SANKEN, Osaka University（SANKEN，大阪大学）
本文提出一种基于业务-对话系统对齐模型的方法，用于识别实用对话系统中的评估项，旨在发现新的研究方向。
2026-01-10 cs.CL cs.HC cs.SE
Adjusting Image Attributes of Localized Regions with Low-level Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
自然语言图像编辑（NLIE）旨在使用自然语言指令来编辑图像。由于新手对图像编辑技术缺乏经验，他们的指令通常是模糊的，并且包含高级抽象，这些抽象往往对应于要完成的复杂编辑步骤。由于缺乏经验，我们的目标是通过教新手使用低级命令术语编辑图像来平滑学习曲线。为此，我们开发了一个面向任务的对话系统，以调查低层次的指令NLIE。我们的系统将语言建立在编辑操作的基础上，并为用户提供可供选择的选项。虽然不得不用低级术语表达，但用户评估显示，25%的用户认为我们的系统易于使用，这与我们的动机产生了共鸣。分析表明，用户普遍适应使用建议的低级语言接口。在这项研究中，我们确定，对象分割的关键因素，用户满意度。我们的工作表明，低层次的，直接的语言动作映射方法，可以应用到其他问题领域以外的图像编辑，如音频编辑或工业设计的优势。
2020-02-11 cs.CL
From Chatter to Matter: Addressing Critical Steps of Emotion Recognition Learning in Task-oriented Dialogue
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）
针对闲聊情感识别模型直接用于任务型对话性能不佳的问题，本文从数据增强、特征引入、损失设计三方面提出改造框架，在EmoWOZ数据集上显著提升多模型性能，且具备优秀的零样本泛化能力。
2023-08-24 cs.CL
LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue
Seoul National University（首尔大学）；Coxwave（考克斯韦夫）
针对对话系统中用户满意度估计面临的标注成本高和可解释性不足问题，提出PRAISE框架，通过Strategy Planner、Feature Retriever和Score Analyzer三模块协同，实现高效且可解释的用户满意度预测，在三个基准上达到SOTA且推理无需LLMs。
2025-03-06 cs.CL
One Model, Multiple Goals: Adaptive Multi-Objective Learning for E-commerce Dialogue Systems
ByteDance（字节跳动）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Notre Dame（圣母大学）
提出自适应多目标强化学习框架MORE，通过将推理功能作为约束指导策略优化，并引入自适应多奖励机制平衡语言目标，在电商对话系统中同时提升推理准确性和语言自然性，在线实验转化率提升30.09%。
2026-06-08 cs.CL
Improving Open-Domain Dialogue Evaluation with a Causal Inference Model
Duke University（杜克大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
有效的评估方法仍然是开放域会话对话系统研究的一个重大挑战。明确的满意度评级可以从用户那里得到，但是用户在被询问时通常不会提供评级，并且他们给出的评级可能是高度主观的。专家的事后评分是一种选择，但这些都是昂贵的和复杂的收集。在这里，我们探索创建自动化的方法来预测专家和用户的开放域对话的评级。我们比较了四种不同的方法。首先，我们使用端到端的Transformer来训练一个基线模型，以直接从原始对话文本预测评级。其他三种方法是两阶段方法的变体，其中我们首先在回合级别提取可解释的特征，这些特征在其他方面捕获用户对话行为，这些行为表示矛盾、重复、不感兴趣、赞美或批评。我们将这些功能投射到对话级别，并训练对话级别的MLP回归模型，对话级别的LSTM和一种称为反事实LSTM（CF-LSTM）的新型因果推理模型来预测评级。所提出的CF-LSTM是一个基于回合水平特征的序列模型，它使用多个回归变量来预测收视率，这些回归变量取决于从回合水平特征中得出的假设。作为一种因果推理模型，CF-LSTM旨在学习特定事件的潜在原因，例如低评级。我们还将用户评级与所有四种模型进行分类实验。在Alexa Prize SocialBot的对话数据的评估实验中，我们表明CF-LSTM在预测对话评级和分类方面取得了最佳性能。
2023-01-31 cs.AI cs.CL
Learning to Generate Equitable Text in Dialogue from Biased Training Data
University of Pittsburgh（匹兹堡大学）
本文运用计算学习理论形式化定义对话文本生成中的公平性，证明改进公平性可归结为在增强数据上改进人类相似性，并在GuessWhat?!视觉对话游戏上验证了理论对算法相对性能的准确预测。
2023-07-10 cs.AI cs.CL
A benchmark for joint dialogue satisfaction, emotion recognition, and emotion state transition prediction
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（人工智能研究所（TeleAI））；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语种认知计算联合国际实验室）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息处理重点实验室）
本文提出一个中文对话数据集，用于联合预测对话满意度、情绪识别和情绪状态转移。
2026-02-10 cs.AI cs.CL
Investigating Effect of Dialogue History in Multilingual Task Oriented Dialogue Systems
Stanford University（斯坦福大学）
虽然英语虚拟助手已经取得了令人兴奋的性能与大量的培训资源，非英语国家的需求没有得到很好的满足。截至2021年12月，Alexa是全球最受欢迎的智能音箱之一，能够支持9种不同的语言[1]，而世界上有数千种语言，根据2019年发布的统计数据，其中91种语言有超过1000万人使用[2]。然而，用英语以外的其他语言培训虚拟助理通常更困难，特别是对于那些资源较少的语言。缺乏高质量的训练数据制约了模型的性能，导致用户满意度不高。因此，我们为面向多语言任务的对话系统设计了一个高效的训练解决方案，使用与BiToD相同的数据集生成管道和端到端对话系统架构[5]，它采用了一些关键的设计选择，用于最小化的自然语言设计，其中使用正式的对话状态代替自然语言输入。这减少了由较弱的自然语言模型带来的误差空间，并确保模型能够正确地提取执行对话状态跟踪（DST）所需的基本时隙值。我们的目标是减少每个回合编码的自然语言的数量，我们研究的关键参数是要作为历史输入模型的回合数（H）。我们首先探讨的转折点，增加H开始产生有限的回报的整体表现。然后，我们研究是否可以将具有小H的模型出错的示例分类为模型进行Few-Shot微调的方式。最后，将探讨这种方法的局限性，以及是否存在这种方法无法解决的特定类型的示例。
2021-12-23 cs.AI cs.CL
Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations
Reichman University（赖希曼大学）；School of Computer Science（计算机科学学院）；School of Communications（传播学院）
本研究提出偏好树优化（PTO）框架，结合带前瞻的偏好树与直接偏好优化（DPO），在动机访谈领域通过虚拟患者等模拟对话生成偏好数据，训练的对话智能体在关键指标上优于基线。
2026-09-03 cs.AI cs.CL
Exploring ReAct Prompting for Task-Oriented Dialogue: Insights and Shortcomings
University of Lorraine（洛林大学）；LORIA（洛林计算机科学与应用实验室）；Charles University（查理大学）；Orange Innovation（法国电信创新实验室）
本文将 ReAct 提示用于任务型对话并在模拟与真实用户中评估，发现其模拟成功率落后于 SOTA，但人类主观满意度更高。
2025-03-17 cs.AI cs.CL cs.HC
Is the User Enjoying the Conversation? A Case Study on the Impact on the Reward Function
Orange-Labs（Orange实验室）
策略学习任务导向型对话系统的使用者满意度的影响一直是研究的兴趣。目前大多数用于估计用户满意度的模型要么（i）处理上下文外的短文本，如产品评论，要么（ii）依赖于转向特征，而不是分布式语义表示。在这项工作中，我们采用深度神经网络，使用分布式语义表示学习来估计会话中的用户满意度。我们评估了这些网络中建模上下文长度的影响。此外，我们表明，所提出的分层网络优于国家的最先进的质量估计。此外，我们表明，应用这些网络来推断部分可观察马尔可夫决策过程（POMDP）中的奖励函数，可以大大提高任务成功率。
2021-01-13 cs.AI cs.CL cs.HC
Sympathy Begins with a Smile, Intelligence Begins with a Word: Use of Multimodal Features in Spoken Human-Robot Interaction
Heriot-Watt University（赫瑞-瓦特大学）
从人类面部表情或语音韵律中识别社会信号是人机交互研究中的一个热门研究课题。在口语对话社区中也有一长串的研究，调查与对话特征相关的用户满意度。然而，很少有研究涉及多模态的社会信号和语言功能的组合，在口语面对面的人机交互过程中检测到的用户感知的机器人。在本文中，我们展示了人类用户的不同情感的面部表情，结合人类语音的韵律特征和人机对话的特征，与用户的机器人的印象后，对话。我们发现，在用户的识别面部表情的幸福感强烈相关的机器人的可爱性，而对话相关的功能（如人类的回合数或每机器人话语的句子数）与感知机器人智能。此外，我们表明，面部表情，情感特征和韵律是更好的预测人类评级相关的感知机器人的可爱性和拟人化，而语言和非语言功能更经常预测感知机器人的智能和可解释性。因此，这些特征将来可以用作基于原位强化学习的自适应人机对话系统的在线奖励信号。
2017-06-08 cs.CL cs.HC cs.RO
A Speaker Turn-Aware Multi-Task Adversarial Network for Joint User Satisfaction Estimation and Sentiment Analysis
Alibaba Group（阿里巴巴集团）；Northeastern University（东北大学）；Wuhan University（武汉大学）；Worcester Polytechnic Institute（伍斯特理工学院）
提出说话人轮次感知多任务对抗网络（STMAN），通过多任务对抗策略提取任务特定特征并结合说话人轮次交互提取互补通用特征，联合优化对话级用户满意度估计和话语级情感分析，在真实数据集上优于现有方法。
2024-10-12 cs.CL
Lifelong and Continual Learning Dialogue Systems
Intel Labs（英特尔实验室）；University of Illinois at Chicago (UIC)（伊利诺伊大学芝加哥分校）；Indian Institute of Technology (IIT) - Roorkee（印度理工学院鲁尔基分校）
本书提出终身学习对话系统范式，使聊天机器人能在与用户和环境的自主交互中持续学习语言、知识、样本与对话技能，并综述相关技术进展与未来挑战。
2024-06-17 cs.AI cs.CL cs.HC
Domain-Independent turn-level Dialogue Quality Evaluation via User Satisfaction Estimation
Facebook（脸书）；Amazon（亚马逊）；Amazon Inc（亚马逊公司）
评估对话质量的自动化指标对于优化数据驱动的对话管理至关重要。在对话期间依赖显式用户反馈的常见方法是侵入性的和稀疏的。目前的模型来估计用户满意度使用有限的功能集，并依赖于低评分者之间的可靠性注释方案，限制了跨多个域的对话的推广。为了解决这些差距，我们创建了一个新的响应质量注释方案，在此基础上，我们开发了回合级用户满意度度量。我们引入了五个新的独立于领域的特征集，并尝试了六个机器学习模型来估计新的满意度度量。使用响应质量注释方案，在随机抽样的单轮和多轮对话从26个域，我们取得了很高的注释者之间的协议（斯皮尔曼的ρ 0.94）。响应质量标签与明确的回合级别用户评分高度相关（0.76）。梯度提升回归在预测的和注释的用户满意度标签之间实现了~0.79的最佳相关性。多层感知器和梯度提升回归模型比其他模型更好地推广到不可见的领域（线性相关性0.67）。最后，我们的消融研究验证了我们的新功能显着提高了模型性能。
2019-08-19 cs.AI cs.CL cs.LG
Nominal Metaphor Generation with Multitask Learning
University of Surrey（萨里大学）；University of Sheffield（谢菲尔德大学）
隐喻生成是一项具有挑战性的任务，它会影响许多下游任务，例如提高用户对对话系统和故事生成的满意度。本文提出了一个具有自我训练和隐喻识别机制的多任务隐喻生成框架，以解决汉语名词性隐喻的生成问题。自我训练解决了隐喻数据集的数据稀缺问题。也就是说，而不是仅仅依赖于标记的隐喻数据集，通常是小的大小，自我训练有助于识别潜在的隐喻从一个大规模的未标记的语料库隐喻生成。隐喻加权机制使我们的模型能够专注于输入的隐喻相关部分（例如，在模型学习过程中的隐喻和比较者的比较），从而提高生成的隐喻的隐喻性。我们的模型是在一个由6.3k个包含不同隐喻表达的句子组成的注释语料库上训练的。实验结果表明，即使在训练数据不足的情况下，与基准模型相比，该模型也能生成可读性和创造性更好的隐喻。
2022-08-17 cs.CL
Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）
本文提出由融洽关系驱动的虚拟智能体对话策略，通过提示LLM并比较预定义序列与自由形式两种闲聊生成方式，发现自由形式在主观体验评分中表现最佳。
2024-06-14 cs.CL cs.HC
When Users Are Happy but Agents Are Wrong: Multi-Dimensional Evaluation of Tool-Augmented Dialogue
AWS AI Labs（AWS人工智能实验室）；University of Pittsburgh（匹兹堡大学）
针对工具增强对话系统中用户满意但智能体错误的问题，提出TRACE基准，通过系统合成多样错误案例，评估现有框架发现性能远未理想。
2026-07-07 cs.CL
A Transformer-Based User Satisfaction Prediction for Proactive Interaction Mechanism in DuerOS
Baidu Inc.（百度公司）；Tsinghua University（清华大学）；Macquarie University（麦考瑞大学）
近来，口语对话系统已经被广泛地部署在各种应用中，服务于大量的终端用户。一个常见的问题是，由嘈杂的话语、语义误解或缺乏知识导致的错误使得真实系统难以正确响应，可能导致不令人满意的用户体验。为了避免这种情况下，我们考虑一个积极的互动机制，系统预测用户满意度的候选人的反应之前，给用户。如果根据预测用户不太可能满意，则系统将询问用户合适的问题以确定用户的真实意图，而不是直接提供响应。通过与用户的这种交互，系统可以向用户给出更好的响应。以前预测用户满意度的模型不适用于DuerOS，DuerOS是一个大规模的商业对话系统。它们基于手工制作的特征，因此很难学习数百万次对话背后的复杂模式和多轮对话中的时间依赖性。此外，它们是在具有足够标签的基准数据集上训练和评估的，这在商业对话系统中获得是昂贵的。为了应对这些挑战，我们提出了一个管道来预测用户满意度，以帮助DuerOS决定是否在每个回合中要求澄清。具体来说，我们建议首先生成大量的弱标签，然后训练一个基于transformer的模型来预测用户对这些弱标签的满意度。从经验上讲，我们在DuerOS上部署和评估了我们的模型，并观察到用户满意度预测准确性相对提高了19%，用户体验相对提高了2.3%。
2022-12-05 cs.AI cs.CL cs.LG
Large-Scale User Behavior Analysis in Multimodal AI-Assisted Manual Task Execution
NOVA University of Lisbon（新里斯本大学）；NOVA LINCS（新里斯本大学计算机与系统工程研究所）
本研究基于数千名野外用户的大规模数据分析，揭示对话式任务助手在现实使用中的交互流程、用户意图、对话特征及满意度相关行为因素，并提出设计指南。
2026-09-09 cs.AI cs.CL cs.HC
Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Computer Science Department, Boise State University（博伊西州立大学计算机科学系）
本研究提出AffectLoop系统，在Misty II机器人上实现多模态情感动态感知的说话人-听话人共情交互，经试点研究验证可提升共情响应与用户满意度。
2026-08-18 cs.CL cs.HC cs.RO
Designing and Evaluating Dialogue LLMs for Co-Creative Improvised Theatre
Improbotics；University of Kent（肯特大学）
本研究在爱丁堡艺穗节现场部署对话LLM开展为期一月的即兴戏剧协同创作实验，通过人在环路方法结合观众与表演者反馈，分析了多方即时对话LLM的技术局限、界面作用及公众对AI参与艺术的复杂态度。
2024-05-11 cs.CL
StructFlowBench: A Structured Flow Benchmark for Multi-turn Instruction Following
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；School of Information and Library Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校信息与图书馆科学学院）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（知识驱动的人机智能工程研究中心，教育部，中国）；International Center of Future Science, Jilin University（未来科学国际中心，吉林大学）
针对现有基准忽略多轮对话结构依赖的问题，提出多轮指令遵循基准 StructFlowBench，定义六种轮间关系构建结构化流框架，对13个主流LLM评估，揭示了模型在多轮结构理解上的缺陷。
2025-05-30 cs.CL
Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA
本文针对科学问答中LLMs的谄媚偏差问题，提出统一评估框架和Pressure-Tune后训练方法，通过对抗性对话与思维链推理增强模型抗谄媚能力，实验证明其有效且不损害准确性。
2025-08-19 cs.CL
Higher Satisfaction, Lower Cost: A Technical Report on How LLMs Revolutionize Meituan's Intelligent Interaction Systems
Meituan（美团）
美团通过WOWService技术报告，利用LLMs和多智能体架构提升智能交互系统，实现用户满意度提升和成本降低。
2026-01-14 cs.AI cs.CL
Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对口语对话缺乏问答数据导致共情响应不足的问题，提出LPE两阶段训练方法，结合思维链提示，首次实现基于语音的共情对话生成。
2025-01-19 cs.CL cs.SD eess.AS
Dialogue to Discovery: Attribute-Aware Preference Elicitation for Conversational Product Search Assistants
Adobe Research（Adobe研究院）；Microsoft Research（微软研究院）；UC Berkeley（伯克利大学）
提出属性导向的偏好引导框架D2D，动态利用产品属性结构高效引导对话，在模拟对话中目标发现准确率提升22.2-29.9%，放弃率降低6.6-16.1%，平均对话缩短27.5%。
2026-06-24 cs.CL cs.HC cs.IR
MemUse: Moving Memory Evaluation from Direct QA to Natural Integration in Long-Term Human-AI Conversation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；SAP（思爱普）
本研究针对对话式LLM记忆系统评估问题，提出MemUse方法，发现直接问答准确率与用户满意度无关，而自然整合能力与之相关，同时发布了相关语料库、MemUse及配套资源。
2026-08-26 cs.CL cs.HC
Expectation Confirmation Preference Optimization for Multi-Turn Conversational Recommendation Agent
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Huawei Noah’s Ark Lab, China（华为诺亚方舟实验室）
针对现有对话推荐智能体回复短视、多轮偏好优化成本高且效果差的问题，提出基于期望确认理论的ECPO范式与用户模拟器AILO，实现轮次级偏好优化，提升了交互效率与效果。
2025-06-17 cs.CL
Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation
University of Science and Technology of China（中国科学技术大学）；MetaStone Technology（MetaStone科技公司）
本研究针对现有RPA评估基准的局限，提出基于用户模拟器的PALATE基准，通过个性化评分标准和多轮自由对话评估，生成针对特定用户-RPA对的可解释评估。
2026-08-03 cs.AI cs.CL
Leveraging Interesting Facts to Enhance User Engagement with Conversational Interfaces
Amazon.com, Inc.（亚马逊公司）
针对对话式任务助手交互吸引力不足的问题，基于人类兴趣心理学理论，提出通过融入情境趣味事实提升用户参与度的方法，训练出F1值82%的分类器并构建烹饪领域数据集，设计验证对话策略，实测显著提升用户满意度与对话时长。
2024-04-09 cs.CL
Causal Inference for Chatting Handoff
Sun Yat-sen University（中山大学）
为了通过预测聊天机器人故障并实现人与智能体的协作来确保聊天机器人的质量，近年来，人机聊天机器人（MHCH）引起了工业界和学术界的广泛关注。然而，大多数现有的方法主要集中在对话上下文或辅助基于多任务学习的全局满意度预测，忽略了因果变量之间的基础关系，如用户状态和劳动力成本。这些变量与切换决策密切相关，导致预测偏差和成本增加。因此，我们提出了基于这两个变量建立MHCH因果图的因果增强模块（CEM），这是一个简单而有效的模块，可以很容易地插入到现有的MHCH方法。对于用户的影响，根据多任务之间的因果关系，利用用户状态来修正预测偏差。对于人工成本，我们训练一个辅助成本模拟器，通过反事实学习计算无偏人工成本，使模型成为成本意识。在四个真实世界的基准上进行的广泛实验表明，CEM在普遍提高现有MHCH方法的性能，而无需任何精心制作的模型的有效性。
2022-10-06 cs.AI cs.CL cs.LG
