Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing（语言与语音处理中心）
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集，通过结合语音、摘要和非语言线索，提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
DiaRelay: Relaying Dialogue Context with a Constant-Size Memory for Emotion Recognition in Conversation
本文提出基于LoRA的轻量适配器DiaRelay，通过新增两个内存组件解决现有ERC方法的局限，在MELD、IEMOCAP数据集上取得良好效果，验证了其有效性与通用性。
2026-08-25 cs.AI cs.CL
EmoLLM: Appraisal-Grounded Cognitive-Emotional Co-Reasoning in Large Language Models
Department of Computer Science, Emory University（埃默里大学计算机科学系）
EmoLLM通过引入评估推理图结构，实现认知与情感的协同推理，提升对话中情感状态和响应质量，同时保持事实可靠性。
2026-03-17 cs.AI cs.CL
IntentionESC: An Intention-Centered Framework for Enhancing Emotional Support in Dialogue Systems
School of Information, Renmin University of China（中国人民大学信息学院）
本文提出IntentionESC框架与ICECoT机制，通过情感状态分析、意图推断和策略选择增强LLM的情感支持对话能力，并以自动标注数据和综合实验验证其效果。
2025-06-06 cs.AI cs.CL
Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue
Emory University（埃默里大学）
提出基于LLM的多模态对话维度情感评估框架，通过LoRA微调LLaMA模型在IEMOCAP上实现Valence CCC 0.7822的新最先进水平，并发现音频线索对小型模型增益显著。
2026-10-01 cs.AI cs.CL cs.LG
Affective Flow Language Model for Emotional Support Conversation
College of computer science, Chongqing University（重庆大学计算机学院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文提出AFlow模型，通过建模多轮对话中的连续情感流动，提供细粒度监督以提升情感支持对话中的策略一致性和共情响应质量。
2026-09-28 cs.AI cs.CL
Evaluating Behavioral Alignment in Conflict Dialogue: A Multi-Dimensional Comparison of LLM Agents and Humans
University of Southern California（南加州大学）；USC for Institute of Creative Technologies（南加州大学创意技术研究所）
本研究通过模拟含谈判的冲突对话，从语言风格、情感表达和策略行为三个维度比较人格提示LLM与人类的行为对齐，发现GPT-4.1和Claude-3.7-Sonnet各有所长但仍存在显著差距，为社交复杂交互中的LLM对齐建立了基准。
2025-09-19 cs.AI cs.CL cs.HC
RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
The University of Hong Kong（香港大学）；Kami AI
针对现有口语角色扮演基准短时程且以角色为中心的问题，提出RoleBreak基准，包含310个角色和6,688轮对话，评估九种配置，发现系统语义鲁棒性优于声音情感且长时程鲁棒性脆弱，扩大LLM可改善语义但非声音情感。
2026-09-16 cs.AI cs.CL
AV-EmoDialog: Chat with Audio-Visual Users Leveraging Emotional Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出AV-EmoDialog对话系统，通过端到端地提取语音内容与情感语调、分析细粒度面部表情并整合这些情感线索，生成具有情感和语境感知的响应，在生成恰当响应上优于现有方法。
2024-12-23 cs.AI cs.CV cs.HC
Balancing Knowledge Delivery and Emotional Comfort in Healthcare Conversational Systems
National Taiwan University（国立台湾大学）
本研究针对医疗对话中知识传递与情感支持的平衡问题，通过改写真实医疗对话数据集生成带情绪的医患交互数据，用多种微调方法优化大模型，在保留知识回答准确性的同时显著提升了其情感回复能力。
2025-06-16 cs.AI cs.CL
Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction
MIT（麻省理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA Research（英伟达研究）
本文系统研究了基于LLM的语音情感识别，提出融合多学科知识的情感特定提示与Revise-Reason-Recognize提示流水线以应对ASR错误，并验证了多种LLM训练方案的有效性，旨在完善LLM在情感识别及相关领域的应用。
2025-04-30 cs.AI cs.CL cs.MM
MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue
NatureSelect；Tsinghua University（清华大学）；South China Normal University（华南师范大学）；Xiamen University（厦门大学）
MAPO通过混合优势策略优化，利用密集过程反馈和多级归一化，提升长时多轮对话的稳定性和性能，优于传统方法。
2026-10-22 cs.AI cs.CL
Building Emotional Support Chatbots in the Era of LLMs
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
针对情感支持对话数据有限、缺乏训练范式的问题，研究结合人类经验与大语言模型能力构建ExTES数据集，并微调LLaMA得到专用模型，验证了情感支持能力，推动该领域发展。
2023-08-17 cs.AI cs.CL
Emotion-Aware Speech Generation with Character-Specific Voices for Comics
School of Electronic Engineering（电子工程学院）；Computer Science Queen Mary University of London（计算机科学女王玛丽大学）
本文提出一种端到端漫画语音生成流程，结合图像处理、大型语言模型和文本到语音技术，实现角色特定且情感感知的自动配音，推动沉浸式漫画阅读体验。
2025-09-18 cs.AI cs.MM cs.SD
HEART: A Unified Benchmark for Assessing Humans and LLMs in Emotional Support Dialogue
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
HEART通过多轮情感支持对话评估人类与大语言模型的能力差异，揭示两者在共情、一致性等维度上的表现及趋同趋势。
2026-02-25 cs.AI cs.CL
Why Do Vision Language Models Struggle To Recognize Human Emotions?
The University of Edinburgh, UK（爱丁堡大学）
本文探讨视觉语言模型在识别人类情绪上的不足，指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞，提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。
2026-07-22 cs.AI cs.CV
DeepPsy-Agent: A Stage-Aware and Deep-Thinking Emotional Support Agent System
Research Center for Social Psychological Service（社会心理服务研究中心）；Tsinghua University（清华大学）
本研究提出融合心理学三阶段帮助理论与深度学习的DeepPsy-Agent情绪支持系统，含阶段感知对话模型与阶段转换检测模型，基于3万条真实热线构建数据集，实验显示其多项指标优于通用LLM，消融实验验证了核心模块的有效性，推动智能心理健康服务发展。
2025-03-20 cs.AI
Don't Get Too Excited -- Eliciting Emotions in LLMs
IT University of Copenhagen（哥本哈根 IT 大学）；CERN（欧洲核子研究中心）
本文研究LLM在长对话中的情感控制挑战，结合情感分析与多轮对话模拟评估模型情感表达，发现其在维持一致情感和极端情绪状态方面存在显著差异与局限。
2025-03-04 cs.AI
Generating Emotionally Aligned Responses in Dialogues using Affect Control Theory
Vector Institute for AI（Vector人工智能研究所）
最先进的神经对话系统擅长于语言的句法和语义建模，但在对话期间通常很难与人类互动者建立情感一致。在这项工作中，我们把情感控制理论（ACT），一个社会数学模型的情感，人与人之间的互动，神经对话生成设置。ACT预测人类在社交场合对情绪刺激的反应。由于这一特性，ACT及其衍生的概率模型已经成功地部署在人机交互的几个应用中，包括移情辅导系统，辅助医疗设备和两人社交困境游戏。我们研究如何ACT可以被用来开发影响意识的神经会话代理，产生情绪一致的反应提示，并考虑到互动的情感身份。
2020-04-16 cs.AI cs.CL cs.HC
Conversational Analysis of Daily Dialog Data using Polite Emotional Dialogue Acts
Foviatech GmbH（Foviatech有限公司）；University of Hamburg（汉堡大学）
许多社会语言学线索被用于会话分析，如情感、情绪和对话行为。礼貌是一个基本的线索，它在语言学上具有一些特性，如在会话分析中有用的社交礼仪。本文介绍了礼貌的情感对话行为协会的研究结果，在那里我们可以关联的社会语言线索之间的关系。我们证实了我们的假设，即话语的情绪类愤怒和厌恶更有可能是不礼貌的。同时，快乐和悲伤更有可能是礼貌的。一个不太令人期待的现象出现在对话行为Inform和Commissioner中，它们比Question和Directive包含更多的礼貌话语。最后，我们总结了这些研究结果的未来工作，以扩大使用礼貌的社会行为的学习。
2022-05-11 cs.AI cs.CL cs.HC
Polite Emotional Dialogue Acts for Conversational Analysis in Daily Dialog Data
University of Hamburg（汉堡大学）；Foviatech GmbH（Foviatech 有限公司）
会话分析中使用了许多社会语言线索，如情感、情绪和对话行为。礼貌是一种基本的社会线索，它在语言学上具有对会话分析有用的属性。这篇简短的文章介绍了礼貌的情感对话行为的一些简短的发现，在那里我们可以将这些社会语言学线索之间的关系联系起来。我们发现，情绪类别为愤怒和厌恶的话语更可能是不礼貌的，而快乐和悲伤的话语更可能是礼貌的。在对话行为中也存在类似的现象，Inform和Commissioner比Question和Directive含有更多的礼貌话语。最后，我们将对这些研究结果的未来工作进行总结。
2021-12-28 cs.CL cs.HC
Towards Emotion-Aware User Simulator for Task-Oriented Dialogue
任务完成对话代理的性能通常会影响用户体验：当对话系统产生不合理的响应时，用户可能会感到不满。此外，提前终止经常发生在令人失望的谈话中。然而，现有的现成的用户模拟器通常假设一个理想的和合作的用户，这是从一个真实的用户有些不同，并不可避免地导致一个次优的对话策略。本文提出了一种面向任务对话的情感感知用户模拟框架，该框架基于OCC情感模型，通过更新用户情感和驱动用户动作，生成更接近真实用户的模拟行为。我们提出了一个线性实现（源代码将很快发布。它易于理解和扩展，并在两个特定领域数据集上进行评估。实验结果表明，我们提出的框架的情感模拟结果符合常识，并具有良好的通用性，为不同的领域。同时，该框架为我们理解基于强化学习的对话策略模型的改进过程提供了另一个视角。
2021-10-05 cs.HC
Think Twice: A Human-like Two-stage Conversational Agent for Emotional Response Generation
Tianjin University（天津大学）；Quesoar Co. Ltd.（Quesoar有限公司）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
针对情感对话中情感与语义相互制约及标注数据稀缺问题，提出两阶段对话智能体：先由无语料标注的模型生成语义原型回复，再用可控情感精炼器进行修改，在情感生成和语义保持上均优于对比模型。
2024-10-01 cs.CL cs.HC
CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI
South China University of Technology（华南理工大学）；UBTECH Robotics Corp（优必选科技股份有限公司）；Tsinghua University（清华大学）
人类的语言表达是基于情景的主观联想而不是客观真实条件，这意味着说话人的个性和情感经过认知加工后对会话有着重要的影响。然而，大多数现有的会话人工智能数据集忽略了人类的个性和情感，或者只考虑其中的一部分。虽然大规模的预训练语言模型已经得到广泛的应用，但是对话系统很难理解说话人的个性和情感。为了在会话生成过程中同时考虑个性和情感因素，本文提出了一个大规模的中文个性化情感会话数据集--CPED，该数据集包含了与移情和个人特征相关的多源知识。这些知识包括性别，大五人格特质，13种情感，19种对话行为和10种场景。CPED包含来自40个电视节目的392个扬声器的超过12 K对话。我们根据视频平台的版权声明、隐私问题、服务条款发布包含音频特征和视频特征的文本数据集。我们提供了CPED构建过程的详细描述，并介绍了会话AI的三个任务，包括个性识别，会话中的情感识别以及个性化和情感会话生成。最后，我们为这些任务提供了基线系统，并考虑了说话者的个性和情感在会话中的作用。我们的动机是提出一个被NLP社区广泛采用的数据集，作为对话式AI研究的新开放基准。完整的数据集可在https://github.com/scutcyr/CPED上获得。
2022-05-29 cs.AI cs.CL cs.HC
An Affective Robot Companion for Assisting the Elderly in a Cognitive Game Scenario
University of Hamburg（汉堡大学）
能够识别人类用户的情感被认为是人机交互（HRI）场景中非常理想的特性。然而，大多数当代的方法很少尝试以主动的方式应用已识别的情感特征来调节机器人决策和对话，以使用户受益。在这份立场文件中，我们提出了一种方法，将识别的情绪纳入一个基于强化学习（RL）的对话管理模块，以适应其对话响应，试图使认知训练任务，如2048益智游戏，更愉快的用户。
2018-07-12 cs.AI cs.HC cs.RO
Dialogue Systems for Emotional Support via Value Reinforcement
Graduate School of Data Science（数据科学研究生院）；Department of Psychology（心理学系）
提出一种价值驱动的情感支持对话系统训练方法，利用Reddit在线对话在多轮中识别并强化求助者的积极价值观，实验证明其优于基线并获治疗师认可。
2025-05-31 cs.AI cs.CL cs.CY
Towards Emotion-Aware Agents For Negotiation Dialogues
University of Southern California（南加州大学）；CUNY Lehman College（纽约市立大学雷曼学院）；Rollins College（罗林斯学院）
谈判是一种复杂的社会互动，包含了人类决策过程中的情感遭遇。可以与人类谈判的虚拟代理在教育学和对话式AI中很有用。为了促进这种代理的发展，我们探讨了在谈判中的两个重要的主观目标的预测结果满意度和合作伙伴的看法。具体来说，我们分析了在何种程度上从谈判中提取的情感属性的预测帮助，以上和超越个人差异变量。我们专注于最近的数据集在聊天为基础的谈判，接地在一个现实的露营场景。我们研究了三个程度的情感维度-表情符号，词汇和上下文，利用情感词汇和最先进的深度学习架构。我们的见解将有助于设计自适应谈判代理，通过现实的通信接口进行交互。
2021-07-28 cs.AI cs.CL cs.HC
Beyond Feeling Better: Capability-Sustaining Emotional Dialogue as a Longitudinal Research Paradigm
该研究提出能力维持型情感对话（CSED）作为纵向研究范式，分析现有情感对话研究的不足，明确其核心目标、相关比例数据及可检验的研究议程。
2026-07-31 cs.CL cs.HC cs.SI
I Know Your Feelings Before You Do: Predicting Future Affective Reactions in Human-Computer Dialogue
University of Edinburgh（爱丁堡大学）；Kyoto University（京都大学）；Monash University（莫纳什大学）；Osaka University（大阪大学）；RIKEN（理化学研究所）；ATR（ATR机构）
针对语音对话系统被动响应的问题，提出一种未来预测架构，通过分析情绪与对话行为的时间及因果关系，预测用户未来情绪和笑声，实现预期性交互。
2024-12-18 cs.HC cs.RO cs.SD
Learning from Implicit User Feedback, Emotions and Demographic Information in Task-Oriented and Document-Grounded Dialogues
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Department of Computer Science（计算机科学系）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室）
本文提出FEDI数据集，首个标注隐式用户反馈、情绪和人口统计信息的英文任务导向与文档基础对话数据集，实验证明这些信息显著提升任务完成度和事实一致性。
2024-11-09 cs.CL cs.HC
STUDIES: Corpus of Japanese Empathetic Dialogue Speech Towards Friendly Voice Agent
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出的研究，一个新的语音语料库开发的语音代理，可以说在一个友好的方式。人类自然地控制他们的言语韵律来相互同情。通过将这种“移情对话”行为整合到口语对话系统中，我们可以开发出一种能够更自然地响应用户的语音代理。我们设计的研究语料库，包括一个发言者谁说话的同情对话者的情绪明确。我们描述了我们的方法来构建一个移情对话语音语料库和报告的研究语料库的分析结果。我们进行了一个文本到语音的实验，初步探讨如何我们可以开发更自然的语音代理，可以调整其说话风格对应于对话者的情绪。结果表明，使用对话者的情感标签和会话上下文嵌入可以产生与使用智能体的情感标签合成的语音相同程度的自然度。我们的研究语料库的项目页面是http://sython.org/Corpus/STUDIES。
2022-06-16 cs.AI cs.CL cs.HC
PERCY: Personal Emotional Robotic Conversational System
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Universidad Central de Chile（智利中央大学）
针对传统对话机器人缺乏个性化与情感感知、难以维持长期交互的问题，提出基于ROS多模态框架的PERCY系统，融合微调GPT-4与多模态情感分析实现个性化开放域对话，经评估在对话质量与个性化表现上均具优势。
2025-03-04 cs.HC cs.RO
Role-Playing LLM-Based Multi-Agent Support Framework for Detecting and Addressing Family Communication Bias
Almondays Co., Ltd（Almondays有限公司）；Kansai University（关西大学）；Yokohama City University（横滨市立大学）
本研究提出基于角色扮演的LLM多智能体框架，用于检测家庭沟通中的理想父母偏见并生成改善反馈。
2026-01-11 cs.AI cs.HC
Intelligent Depression Prevention via LLM-Based Dialogue Analysis: Overcoming the Limitations of Scale-Dependent Diagnosis through Precise Emotional Pattern Recognition
提出基于大语言模型对话分析的抑郁症预防系统，通过精准情绪模式识别实现持续监测、自适应风险分层和个性化干预，较传统量表显著提升精确度并降低误报率。
2025-04-23 cs.HC q-bio.NC
An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation
Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal（电子工程与计算机科学系，比哈尔印度科学教育与研究中心）
本文提出EmoSApp，一个离线智能手机应用，利用定制知识数据集训练的语言模型，提供心理健康支持，并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。
2025-12-10 cs.AI cs.CL cs.CY
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学）
提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
Creating, Using and Assessing a Generative-AI-Based Human-Chatbot-Dialogue Dataset with User-Interaction Learning Capabilities
本文提出利用ChatGPT 3.5生成带用户语言水平和情绪特征的人机对话数据集，并通过复杂度评估与交互模式存储，为提升客户服务对话管理和用户交互学习能力奠定基础。
2025-01-01 cs.HC
The ICASSP 2026 HumDial Challenge: Benchmarking Human-like Spoken Dialogue Systems in the LLM Era
ICASSP 2026
ICASSP 2026发起HumDial挑战，通过大规模数据集评估语音对话系统在情感智能和全双工交互方面的类人能力。
2026-02-04 cs.CL cs.HC cs.SD
EiCAP: Beyond Fluency, Probing and Improving Emotional Intelligence in LLMs via Psychologically Grounded Multi-Turn Dialogue
Qatar Computing Research Institute (QCRI), Hamad Bin Khalifa University（卡塔尔计算研究所（QCRI），哈马德·本·卡伊夫大学）；University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
提出基于心理学六层情感智能分类法的EiCAP框架，包含评估基准EiCAP-Bench和微调语料EiCAP-SFT，发现通用对话微调不提升情感智能，而基于情感智能的LoRA微调显著提升模型在所有24个子类别上的表现。
2026-06-15 cs.CL cs.HC
