Dialogue Chain-of-Thought Distillation for Commonsense-aware Conversational Agents
Yonsei University（延世大学）；University of Minnesota（明尼苏达大学）
本文提出知识蒸馏框架，利用LLMs作为不可靠教师并通过一致性过滤器选择性蒸馏一致依据，构建对话思维链推理器DOCTOR，为对话智能体提供高质量推理依据以显著提升回复质量。
2023-10-22 cs.AI cs.CL
"Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline
Barnard College（巴纳德学院）；Columbia University（哥伦比亚大学）
本研究利用5-Levels数据集和解释行为框架，评估GPT4在对话解释任务中的表现，比较人类解释者、GPT4标准回应及带解释动作的GPT4回应三种策略，以探究LLMs增强专家解释能力的潜力。
2024-06-26 cs.CL
Examining Identity Drift in Conversations of LLM Agents
Chung-Ang University（中央大学）
本文通过个人主题多轮对话实验，定性与定量考察九个 LLM 的身份一致性，发现模型越大漂移越明显，模型差异影响弱于参数规模，赋予角色也未必能维持身份。
2025-02-17 cs.CL cs.CY
OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model
Mahidol University（玛希隆大学）；iApp Technology Co., Ltd.（iApp科技有限公司）；Artificial Intelligence Entrepreneur Association of Thailand (AIEAT)（泰国人工智能企业家协会）；Big Data Institute (Public Organization)（大数据研究所（公立机构））；Kasetsart University（农业大学）
OpenThaiGPT 1.5 是基于 Qwen v2.5 的泰语聊天模型，经 200 万条指令微调，支持多轮对话、RAG 和工具调用，在泰语基准测试中性能领先，并讨论了部署需求。
2025-02-25 cs.CL
Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding
UCSF（加利福尼亚大学旧金山分校）；UC Berkeley（加利福尼亚大学伯克利分校）；MSK Cancer Center（纪念斯隆-凯特琳癌症中心）；CMU（卡内基梅隆大学）；University of Virginia（弗吉尼亚大学）
针对视觉语言模型在医学领域多轮对话中的幻觉问题，提出一种基于临床推理符号化表示的对齐算法，利用 GPT-4 生成指令微调数据并构建自动奖励函数，无需人工参与即可训练出在多轮医学对话中表现优异的 Dr-LLaVA 模型。
2024-10-10 cs.AI cs.CL cs.CV
nicolay-r at SemEval-2024 Task 3: Using Flan-T5 for Reasoning Emotion Cause in Conversations with Chain-of-Thought on Emotion States
Newcastle University（纽卡斯尔大学）
本文提出基于 Flan-T5 的 THOR-state 与带推理修正的 THOR-cause-rr 方法，通过情绪状态思维链完成对话情绪原因推理，并在 SemEval-2024 任务3中获得前列成绩。
2024-04-04 cs.CL
GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations
UC Santa Barbara（加州大学圣芭芭拉分校）；Microsoft（微软）
本文提出GroupMemBench，用于评估多方对话中LLM代理的记忆能力，揭示现有记忆系统在群体动态、信念跟踪和语言适应方面的不足。
2026-05-16 cs.CL
Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead
Alexa AI, Amazon（亚马逊Alexa AI）
会话、多轮、文本到SQL（CoSQL）任务将对话中的自然语言语句映射到SQL查询。最新技术水平（SOTA）系统结合约束解码使用大型的、预训练的和微调的语言模型，例如T5系列。通过在训练过程中使用离散提示的连贯任务上进行多任务处理（MT），我们改进了专门的文本到SQL T5系列模型。基于Oracle对n个最佳假设的分析，我们采用了一个查询计划模型和一个模式链接算法作为重排序器。结合MT和重新排序，我们使用T5 - 3B的结果显示，与CoSQL上的SOTA基线相比，精确匹配的绝对准确性提高了1.0%，执行匹配提高了3.4%。虽然这些收益始终体现在回合水平，上下文相关的回合是相当困难的。我们进行研究，梳理除了错误归因于域和合成泛化，后者仍然是一个挑战，多轮对话，特别是在生成SQL与看不见的解析树。
2023-02-21 cs.CL
Attractor States Emerge in Multi-Turn LLM Conversations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
研究多轮LLM对话中是否出现吸引子行为，通过自对弈和混合对弈辩论发现模型特定的吸引子不对称地影响对话伙伴的风格和立场。
2026-06-29 cs.CL cs.LG
GenQA: Generating Millions of Instructions from a Handful of Prompts
University of Maryland（马里兰大学）
本文提出 GenQA，用单个提示和极少人工监督自动生成大规模多样化指令数据集，并证明其微调 Llama-3 8B 的效果可达到或超过 WizardLM 与 Ultrachat。
2024-06-14 cs.CL
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory
mem0.ai
提出可扩展记忆架构Mem0及图记忆增强变体，通过动态提取和检索对话信息，在LOCOMO基准上超越多种基线，显著提升准确率并大幅降低延迟与token成本。
2025-04-28 cs.AI cs.CL
Multimodal Cognitive Reframing Therapy via Multi-hop Psychotherapeutic Reasoning
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
针对现有LLMs认知重构疗法忽视非语言证据的问题，该研究扩展至多模态，构建M2CoSC数据集并提出多跳心理治疗推理方法，提升VLMs治疗表现及建议的思考性与共情性。
2025-02-08 cs.AI cs.CL
Perturbation Augmentation for Fairer NLP
Facebook AI Research（脸书人工智能研究院）；Hugging Face（抱抱脸）
在NLP研究中，不必要的、往往是有害的社会偏见变得越来越突出，影响了模型和数据集。在这项工作中，我们要问的是，对人口统计学扰动数据的训练是否会导致更公平的语言模型。我们收集了大量的人类注释文本扰动数据集，并训练了一个神经扰动模型，我们显示它优于启发式替代方案。我们发现，（i）在人口统计学扰动语料库上预训练的语言模型（LM）通常更公平，（ii）在扰动GLUE数据集上微调的LM在下游任务上表现出更少的人口统计学偏见，（iii）公平性的改善不会以牺牲下游任务的性能为代价。最后，我们讨论了如何最好地评估（不）公平的大语言模型的突出问题。我们希望这种对神经人口扰动的探索将有助于推动更公平的NLP。
2022-10-12 cs.AI cs.CL
Fidelity Before Structure: Verbatim Chunks Beat Lossy Artifact Extraction in Long-Conversation LLM Memory
Hawaii Pacific University（夏威夷太平洋大学）
通过控制消融实验，发现逐字对话块在长对话记忆检索中比LLM提取的结构化人工制品（事实、决策等）准确率高15.9-22.0点，原因是提取过程丢失了逐字细节，而结构化记忆应作为逐字文本的补充而非替代。
2026-07-23 cs.AI cs.CL cs.IR
Evaluating and Enhancing Large Language Models for Conversational Reasoning on Knowledge Graphs
College of Software（软件学院）；Jilin University（吉林大学）
本研究评估了GPT-4在知识图谱对话推理中的局限性，并提出基于近端策略优化的智能体LLM-ARK，通过全文本环境提示吸收状态信息，将多跳推理转化为顺序决策任务，在OpenDialKG数据集上显著超越现有模型。
2024-11-15 cs.AI cs.CL
ChatCoT: Tool-Augmented Chain-of-Thought Reasoning on Chat-based Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
针对大语言模型在复杂推理任务上的不足，提出面向聊天式LLM的工具增强思维链框架ChatCoT，将推理建模为多轮对话，通过迭代工具增强步骤逐步推理，在MATH和HotpotQA数据集上较最优基线提升7.9%。
2023-11-06 cs.CL
LLaRA: Supercharging Robot Learning Data for Vision-Language Policy
Stony Brook University（石溪大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出LLaRA框架，通过自动化生成对话式指令微调数据并引入六个自监督辅助任务，将预训练VLM高效转化为VLA模型，在有限数据下实现了最先进的机器人控制性能并保持泛化能力。
2025-01-30 cs.AI cs.CL cs.CV
Toward Informal Language Processing: Knowledge of Slang in Large Language Models
University of Toronto（多伦多大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Columbia University（哥伦比亚大学）
本研究针对大语言模型缺乏俚语处理能力全面评估的问题，基于电影字幕构建英语俚语处理基准数据集，验证其在俚语检测、来源识别等任务的评估与微调效用，为非正式语言处理提供公开资源与平台。
2024-04-13 cs.CL
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics（马克斯·普朗克信息学研究所）；Amazon Alexa（亚马逊Alexa）
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中，用户的输入通常是不完整的，其中实体或谓词被遗漏，以及不合语法的短语。这对问答（QA）系统提出了巨大的挑战，因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案，我们开发了CONVEX：一种无监督的方法，可以通过使用迄今为止看到的实体和谓词来维护会话上下文，并自动推断后续问题的缺失或模糊部分，从而在知识图谱（KG）上回答不完整的问题。我们的方法的核心是一个图探索算法，明智地扩大了边界，找到候选答案的当前问题。为了评估CONVEX，我们发布了ConvQuestions，这是一个众包基准，包含来自五个不同领域的11，200个不同对话。我们证明了CONVEX：（i）为任何独立的QA系统添加会话支持，（ii）优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
APDMem: Agent-Controlled Progressive Disclosure for Query-Adaptive Long-Term Memory
Machine Learning Center of Excellence, JPMorgan Chase & Co.（摩根大通卓越机器学习中心）
APDMem提出一种智能体控制的渐进式披露记忆架构，通过分层检索和自适应成本-保真度权衡，在长对话记忆中高效恢复证据，仅访问8%对话即达强性能。
2026-10-05 cs.AI cs.CL
Building a Taiwanese Mandarin Spoken Language Model: A First Attempt
本文首次尝试构建面向台湾 Mandarin 的端到端口语大语言模型，采用仅解码器 Transformer 架构并支持全双工实时多轮语音交互，同时提出合成对话数据训练方案与对话流畅性评估平台。
2024-12-27 cs.CL cs.SD eess.AS
Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering
Meta
提出一种仅需不到10对标注数据的少样本数据合成框架，通过合成数百万多跳问答微调小模型，使其在参数量仅约三分之一时即可媲美GPT-3.5的性能。
2024-02-12 cs.CL
SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
Tsinghua University（清华大学）；ByteDance（字节跳动）
提出SALMONN-duo，一种受双过程理论启发的自适应双系统全双工语音代理，通过快速系统1与慢速系统2的协调委派，在实时交互中提升知识密集型与多跳推理准确性，并以成本感知强化学习优化性能与后端使用权衡。
2026-09-29 cs.CL eess.AS
STaR-GATE: Teaching Language Models to Ask Clarifying Questions
Stanford University（斯坦福大学）
本文提出 STaR-GATE 方法，通过奖励模型生成有用问题实现自我改进，使语言模型学会提出澄清性问题，从而在 72% 的任务上生成更优的个性化响应。
2024-08-07 cs.AI cs.CL
The Cross-lingual Conversation Summarization Challenge
Westlake University（西湖大学）；Sichuan Lan-bridge Information Technology Co., Ltd.（四川蓝桥信息技术有限公司）；Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们提出了跨语言会话摘要的共享任务，\emph{ConvSumX Challenge}，为研究人员研究集成会话摘要和机器翻译的解决方案开辟了新的途径。由于在线会议的出现，这项任务可能特别有用。我们构建了一个新的基准，涵盖2个真实世界的场景和3个语言方向，包括一个低资源语言。我们希望\emph{ConvSumX}能够激励研究超越英语，打破非英语使用者从会话摘要的最新进展中受益的障碍。
2022-05-03 cs.CL
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook（脸书）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设，这对于人类来说是一项微不足道的任务，因为他们的常识。在本文中，我们提出了一个用于会话代理的零射击（zero-shot）常识推理系统，试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设，这些用户命令满足一个通用模板，即if-（state），then-（action），because-（goal）。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库（KB）作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制，提取多跳推理链的神经知识库，使用符号逻辑规则，显着减少搜索空间。与迄今为止收集的任何知识库类似，我们的常识知识库容易丢失知识。因此，我们提出了对话式引出人类用户与我们的新的动态问题生成策略，生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型，与SOTA相比，该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
Large Language Models for Scientific Information Extraction: An Empirical Study for Virology
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）
研究利用 LLM 将病毒学等科学文献中的贡献生成结构化语义摘要，并以指令式信息抽取替代传统流水线，证明小1000倍参数的微调 FLAN-T5 可与 GPT-davinci 竞争。
2024-01-18 cs.AI cs.CL cs.DL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh（爱丁堡大学）；Amazon Alexa（亚马逊Alexa）
在本文中，我们感兴趣的是开发语义解析器，理解嵌入在与用户的对话中的自然语言问题，并将其置于具有非常大的词汇量（涵盖数千个概念名称和关系，以及数百万个实体）的通用知识图谱（KG）中的定义上的正式查询。为此，我们开发了一个数据集，其中用户问题用Sparql解析进行注释，系统答案对应于其执行结果。我们提出了两种不同的语义解析方法，并强调了任务的挑战：处理大词汇，建模会话上下文，预测查询与多个实体，并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Hallucination Augmented Recitations for Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学语言与信息处理中心）；Munich Center of Machine Learning（慕尼黑机器学习中心）；Google Research（谷歌研究院）
提出幻觉增强复述（HAR）方法，利用LLM幻觉生成反事实数据集以增强开放书问答的归因能力，实验显示F1最高提升8.0%，且在小模型和小数据集上仍优于人类标注数据。
2023-11-13 cs.AI cs.CL
Rosetta Stone at KSAA-RD Shared Task: A Hop From Language Modeling To Word--Definition Alignment
Microsoft（微软）；EPFL（瑞士洛桑联邦理工学院）
本文提出阿拉伯语反向词典共享任务的获胜方案，通过集成微调 Arabic BERT 模型预测词嵌入，并将英语定义翻译为阿拉伯语复用模型，在两个子任务中均取得最高分。
2024-01-21 cs.AI cs.CL
CMT-RAG: Complementary Memory Traces for Multi-turn Multi-hop RAG
该研究针对现有RAG系统难以恢复多轮对话中先前推理与证据的问题，提出CMT-RAG框架，引入MuMu-QA基准，实验显示其在答案准确性上优于五类RAG基线。
2026-08-03 cs.CL cs.IR
RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出RefuteBench基准，评估LLMs在问答、翻译和邮件写作任务中对用户反驳指令的遵循能力，发现模型易依赖内部知识且随对话变长会遗忘反馈，并提出召回并重复提示方法有效增强模型响应性。
2024-07-24 cs.AI cs.CL
Architext: Language-Driven Generative Architecture Design
Aurecon（奥雅纳工程顾问公司）；Institute of Digital Games（数字游戏研究所）；University of Malta（马耳他大学）
本研究提出新型语义生成辅助工具Architext，支持仅通过自然语言提示词调用大语言模型生成建筑设计，经多规模模型定量验证生成准确率优异，并开源相关模型与合成数据集。
2023-05-03 cs.CL cs.LG
EviMem: Evidence-Gap-Driven Iterative Retrieval for Long-Term Conversational Memory
The Australian National University（澳大利亚国立大学）；UNSW Sydney（新南威尔士大学悉尼分校）
EviMem通过闭环框架和分层记忆结构解决多会话证据检索问题，提升时间性和多跳问题的判断准确率，且效率提升显著。
2026-09-10 cs.CL cs.CV
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University（西北大学）
本文提出Conv-CoA框架，通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数，解决开放域对话问答中的幻觉、推理弱和检索性能差问题，在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
HeterMPC: A Heterogeneous Graph Neural Network for Response Generation in Multi-Party Conversations
Microsoft（微软）
近年来，各种针对两方会话的响应生成模型已经取得了令人瞩目的进步，但对于更实用、更复杂的多方会话（MPC）响应生成模型的研究较少。与对话上下文是一系列话语的双方对话相比，构建MPC的响应生成模型更具挑战性，因为存在复杂的上下文结构并且生成的响应严重依赖于两个对话者（即，说话人和受话人）和历史话语。为了解决这些挑战，我们提出了HeterMPC，异构图形为基础的神经网络的响应生成MPC模型的语义的话语和对话者同时与两种类型的节点在一个图中。此外，我们还设计了六种类型的Meta关系与节点边类型相关的参数来表征图中的异构交互。通过多跳更新，HeterMPC可以充分利用会话的结构知识来生成响应。在Ubuntu Internet Relay Chat（IRC）信道基准测试上的实验结果表明，HeterMPC优于MPC中响应生成的各种基线模型。
2022-03-16 cs.CL
WaxalNet: Benchmarking and Adapting Speech Recognition for Spontaneous Speech in 19 African Languages
CMU Africa（CMU非洲中心）；LyngualLabs；MBZUAI
本研究评估了紧凑型领域专用ASR模型在WAXAL语料库的19种非洲语言会话语音上是否优于大规模多语言基础模型，通过微调边缘模型实现了宏平均WER从64.9%降至38.0%，模型大小缩小3-40倍，证实领域专业化主导规模效应。
2026-10-23 cs.CL cs.CY cs.HC
Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion
Shanghai University of Electric Power（上海电力大学）；Tongji University（同济大学）；University of Munich（慕尼黑大学）；Alibaba Local Life Service Co., Ltd（阿里巴巴本地生活服务有限公司）
开放域多回合对话通常面临如何丰富和扩展对话内容的挑战。近年来，许多基于外部知识的方法被提出来生成丰富的语义和信息会话。两种类型的知识已经研究了知识感知的开放域对话生成：结构化的三元组从知识图谱和非结构化的文本从文档。为了充分利用文档中丰富的非结构化潜在知识和结构化知识图谱的信息扩展能力，本文提出了一种新的对话生成模型--基于开放域聊天机的动态多形式知识融合模型（DMKCM）。DMKCM应用索引文本（虚拟知识库）将相关文档定位为第一跳，然后使用常识知识图谱扩展对话的内容及其第一跳，三倍于第二跳。为了将这两种形式的知识有效地融合到对话中，我们设计了一个动态的虚拟知识选择器和一个控制器来丰富和扩展知识空间。此外，DMKCM采用了一种新的动态知识记忆模块，有效地利用历史推理知识，以产生更好的反应。实验结果表明，我们的方法在对话连贯性和信息量方面是有效的。
2022-04-24 cs.CL
Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG
Texas A&M University（德克萨斯A&M大学）
研究发现多轮对话导致RAG系统性能显著下降，最高相对降幅达21%，不可靠性增加47%，并识别出两种失败模式：翻译扭曲检索查询或LLM未能综合跨轮证据。
2026-09-30 cs.AI cs.CL
Empathetic Response Generation through Graph-based Multi-hop Reasoning on Emotional Causality
The Hong Kong Polytechnic University（香港理工大学）；Department of Computing（计算机系）
移情反应生成的目的是理解用户的情绪，然后适当地做出反应。大多数现有的作品仅仅关注情感是什么，而忽略了情感是如何被唤起的，从而削弱了模型理解用户的情感体验以产生移情反应的能力。为了解决这个问题，我们考虑情感因果关系，即用户表达了什么样的感受（即，情绪）以及用户为什么有这样的感觉（即，cause）.然后，我们提出了一种新颖的基于图的多跳推理模型来对同理心对话的情感因果关系进行建模。最后，我们证明了我们的模型的有效性EMPATHETICDIALOGUES相比，几个竞争对手的模型。
2021-10-09 cs.CL
Reinforcement Learning for Conversational Question Answering over Knowledge Graph
本文提出用强化学习解决法律知识库对话式问答中输入问题含噪声、表达不明确导致难以定位答案的问题，并在多个真实数据集上验证了有效性。
2024-01-16 cs.AI cs.CL
Better Question-Answering Models on a Budget
Backyard Labs（后院实验室）
本文提出 Eluwa LoRA 模型系列，利用 Stanford Alpaca 微调不同规模 OPT，并以 GPT-4 等基准评测证明小模型可低成本达到 3 倍大模型性能。
2023-04-24 cs.CL
Entity-Memory Graph Retrieval Improves Evidence Coverage in Long-Conversation Question Answering
Tsinghua University（清华大学）
该研究提出实体记忆图检索方法，在10个LoCoMo对话的1986个问题上，使top-k=25的证据召回率提升约4.74个百分点，实现检索覆盖增益。
2026-08-31 cs.CL
The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents
Facebook AI Research（Facebook人工智能研究院）
我们介绍dodecaDialogue：一组12个任务，衡量一个会话代理是否可以与个性和同理心进行愉快的沟通，提出问题，通过利用知识资源回答问题，讨论主题和情况，以及感知和谈论图像。通过对如此广泛的大规模数据集进行多任务处理，我们希望能够朝着生产一个能够在开放域环境中感知、推理和与人类交谈的单一统一代理的方向发展并衡量其进展。我们表明，这种多任务处理比BERT预先训练的基线有所改善，这主要是由于在类似领域中具有非常大的对话数据集的多任务处理，并且多任务处理通常在微调和任务转移设置中使用多个指标为基于文本和图像的任务提供增益。我们在许多任务上获得了最先进的结果，为这一挑战提供了强大的基线。
2020-04-28 cs.AI cs.CL
Empath: Tracing Multi-Level Emotion Dynamics in Crisis Counseling Dialogues
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）
本文提出EMPATH框架，通过语句级标签、转移概率和全局原型三个粒度分析危机咨询对话中的情绪动态，揭示持续负面情感、向希望转移及异质恢复轨迹，强调情绪动态分析的价值。
2026-09-25 cs.AI cs.CL
DMRM: A Dual-channel Multi-hop Reasoning Model for Visual Dialog
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent Inc.（腾讯公司）；University of Chinese Academy of Sciences（中国科学院大学）
视觉对话是一项视觉语言任务，需要人工智能智能体与基于图像的人类进行对话。它仍然是一个具有挑战性的任务，因为它需要代理完全理解一个给定的问题，然后才能做出适当的反应，不仅从文本对话历史，而且从视觉接地信息。而以前的模型通常利用单跳推理或单通道推理来处理这种复杂的多模态推理任务，这在直观上是不够的。在本文中，我们因此提出了一个新的和更强大的双通道多跳推理模型的可视化对话，命名为DMRM。DMRM同步捕获对话历史和图像中的信息，通过利用双通道推理来丰富问题的语义表示。具体地，DMRM保持双通道以通过每个通道中的多跳推理过程来获得问题和历史感知图像特征以及问题和图像感知对话历史特征。此外，我们还设计了一个有效的多模态注意，以进一步增强解码器，以产生更准确的响应。在VisDial v0.9和v1.0数据集上的实验结果表明，该模型是有效的，并优于比较模型的显着保证金。
2019-12-18 cs.CL
N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs
comcast India Engineering Center (CIEC)（comcast印度工程中心）
N2N-GQA通过构建动态证据图提升基于图的表格-文本问答性能，实现零样本多跳问答的高准确率。
2026-01-10 cs.CL
GLM-RAG: Graph Language Models for Graph-Based Retrieval-Augmented Generation
Institute of Computational Linguistics, Heidelberg University（海德堡大学计算语言学研究所）；Aleph Alpha Research（Aleph Alpha 研究院）
本研究提出GLM-RAG的GLM基检索器，对比三类检索器性能，发现微调GLM检索器跨域泛化更优且在多跳基准达SOTA，GNN与向量搜索各有优势。
2026-10-09 cs.AI cs.CL cs.IR
SPRING: Situated Conversation Agent Pretrained with Multimodal Questions from Incremental Layout Graph
Beijing University of Posts and Telecommunications（北京邮电大学）
现有的多模态会话代理已经表现出令人印象深刻的能力，在简单的情况下，定位绝对位置或检索属性，但他们不能表现得很好，当涉及复杂的相对位置和信息对齐，这构成了响应质量的瓶颈。在本文中，我们提出了一个情景会话代理Petrained与多模态问题从增量布局图（SPRING）的推理能力，多跳空间关系，并将它们与视觉属性在拥挤的情景。具体来说，我们设计了两种类型的多模态问答（MQA）任务来预训练代理。在预训练期间使用的所有QA对都是从新颖的增量布局图（ILG）生成的。ILG自动注释的QA对难度标签用于促进基于MQA的课程学习。实验结果验证了SPRING的有效性，表明它在SIMMC 1.0和SIMMC 2.0数据集上的性能明显优于最先进的方法。
2023-01-05 cs.AI cs.CL cs.CV
Self-Directed Synthetic Dialogues and Revisions Technical Report
Allen Institute for AI（艾伦人工智能研究所）；EleutherAI；Cornell University（康奈尔大学）；University of Washington（华盛顿大学）；Brown University（布朗大学）
本文提出自导式合成对话数据集SDSD，利用DBRX、Llama 2 70B和Mistral Large生成多轮对话，并引入Constitutional AI原则通过修订创建合成偏好数据，以推动开源多轮微调方法发展。
2024-07-25 cs.CL cs.LG
SEAL: Self-Evolving Agentic Learning for Conversational Question Answering over Knowledge Graphs
Institute of Big Data and Artificial Intelligence, China Telecom Research Institute（大数据与人工智能研究院，中国电信研究院）；Wangxuan Institute of Computer Technology, Peking University（王宣计算机技术研究所，北京大学）；School of Artificial Intelligence, China University of Geosciences (Beijing)（人工智能学院，中国地质大学（北京））；Center for Cognition and Neuroergonomics, State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University（认知与神经工效学中心，认知神经科学与学习国家重点实验室，北京师范大学）；Institute of Artificial Intelligence and Future Networks, Beijing Normal University（人工智能与未来网络研究院，北京师范大学）
提出SEAL两阶段语义解析框架，通过自我演进智能体学习解决知识图谱对话问答中的指代消解、上下文依赖和复杂逻辑推理问题，在SPICE基准上达到最先进性能。
2026-05-26 cs.AI cs.CL
A Multibias-mitigated and Sentiment Knowledge Enriched Transformer for Debiasing in Multimodal Conversational Emotion Recognition
Beijing Institute of Technology（北京理工大学）；Zhengzhou University of Light Industry（郑州轻工业大学）；Nanjing University（南京大学）
会话中的多模态情感识别（MultimodalEmotiveRecognitioninConversations，mERC）是自然语言处理（NaturalLanguageProcessing，NLP）领域的一个研究热点，其目的是预测人类在多模态交流中的情感状态，自然语言和面部表情。人类语言和对话中充满了不可否认的隐含偏见和先入之见，这就引出了一个问题：当前数据驱动的mERC方法是否会产生有偏见的错误。例如，这样的方法可以对女性的话语提供比男性更高的情感分数。此外，现有的去偏见模型主要集中在性别或种族，其中多偏见缓解仍然是mERC中未探索的任务。在这项工作中，我们采取了第一步，以解决这些问题，提出了一系列的方法来减轻五种典型的偏见在文本话语（即，性别、年龄、种族、宗教和LGBTQ+）和视觉表示（即，性别和年龄），然后是多偏差缓解和情感知识丰富的双模态Transformer（MMKET）。综合实验结果表明，该模型的有效性，并证明去偏操作有很大的影响mERC的分类性能。我们希望我们的研究将有助于在mERC和相关的情绪研究的偏见缓解的发展。
2022-07-17 cs.CL cs.LG
Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
传统的推荐系统产生静态的而不是交互式的推荐，不受用户的具体请求、澄清或当前情绪的影响，并且如果用户的口味未知，可能会出现冷启动问题。这些问题可以通过将推荐视为交互式对话任务来缓解，其中专家推荐器可以依次询问某人的偏好，对他们的请求做出反应，并推荐更合适的项目。在这项工作中，我们收集了一个目标驱动的推荐对话数据集（GoRecDial），其中包括9，125个对话游戏和81，260个对话回合，这些对话是由两个相互推荐电影的人类工作者组成的。该任务被专门设计为两个玩家之间的合作游戏，朝着一个可量化的共同目标努力。我们利用数据集开发一个端到端的对话系统，可以同时交谈和推荐。模型首先被训练来模仿人类玩家的行为，而不考虑任务目标本身（监督训练）。然后，我们在两个配对的预训练模型（机器人游戏）之间的模拟机器人对话上微调我们的模型，以实现对话目标。我们的实验表明，与机器人游戏进行微调的模型学习了改进的对话策略，当与人类配对时更经常达到对话目标，并且与没有机器人游戏训练的模型相比，被人类评为更一致。数据集和代码通过ParlAI框架公开提供。
2019-09-09 cs.AI cs.CL
