Query Understanding in LLM-based Conversational Information Seeking
University of Copenhagen（哥本哈根大学）；University of Amsterdam（阿姆斯特丹大学）；Singapore Management University（新加坡管理大学）
本教程系统探讨基于大语言模型的对话式信息寻求中查询理解技术，涵盖评估指标、交互系统构建、主动查询管理及查询重构等应用，并指出关键挑战与未来方向。
2025-04-08 cs.CL
Reinforced Dynamic Reasoning for Conversational Question Generation
Zhejiang University（浙江大学）；The Ohio State University（俄亥俄州立大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文研究了一种新的会话问题生成（CQG）任务，该任务是基于段落和会话历史（即，前几轮问答对）。CQG是开发智能代理的关键任务，可以驱动问答式对话或测试用户对给定段落的理解。为此，我们提出了一种新的方法，名为增强动态推理（ReDR）网络，它是基于一般的编码器-解码器框架，但采用了一种动态的推理过程，以更好地理解已经问了什么，接下来要问什么的段落。为了鼓励产生有意义的问题，我们利用流行的问答（QA）模型来提供反馈，并使用强化学习机制来微调问题生成器。最近发布的CoQA数据集上的实证结果表明，我们的方法与各种基线和模型变量相比是有效的。此外，为了显示我们的方法的适用性，我们还将其应用于创建多轮问答会话的SQuAD中的段落。
2019-07-29 cs.AI cs.CL
Analyzing and Characterizing User Intent in Information-seeking Conversations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；RMIT University（皇家墨尔本理工大学）；Rutgers University（罗格斯大学）；Alibaba Group（阿里巴巴集团）
理解和描述人们在信息搜索对话中的交互方式对于开发对话式搜索系统至关重要。在本文中，我们介绍了一个新的数据集，为此目的而设计，并使用它来分析信息寻求对话的用户意图分布，共现，和流模式。MSDialog数据集是一个带标签的对话数据集，其中包含Microsoft产品在线论坛中信息搜索者和提供者之间的问答（QA）交互。该数据集包含超过2，000个多轮QA对话，其中10，000个话语在话语级别上注释了用户意图。注释是通过众包完成的。使用MSDialog，我们发现在信息搜索过程中用户意图中存在一些高度重复的模式。它们可以用于设计会话搜索系统。我们将免费提供我们的数据集，以鼓励探索寻求信息的对话模型。
2018-04-23 cs.CL cs.IR
Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations
Stanford University（斯坦福大学）
本文研究了信息不对称会话中信息性问句的生成问题。不像以前的工作问题生成，这在很大程度上假设知识的答案可能是什么，我们感兴趣的情况下，提问者是不是从答案的背景下得出，但必须务实的原因如何获取新的信息，鉴于共享的对话历史。我们确定了两个核心挑战：（1）正式定义潜在问题的信息量，（2）探索潜在问题的巨大空间，以找到好的候选人。为了生成务实的问题，我们使用强化学习来优化我们提出的信息量指标，并结合旨在促进更具体问题的奖励函数。我们证明，由此产生的务实的提问者大大提高了信息量和特异性的问题产生的基准模型，我们的指标以及人类的评估。
2020-10-20 cs.CL
User Intent Prediction in Information-seeking Conversations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Rutgers University（罗格斯大学）；RMIT University（皇家墨尔本理工大学）；Alibaba Group（阿里巴巴集团）
谈话助理正逐渐被大众所采用。然而，他们没有能力处理复杂的信息寻求任务，涉及多轮信息交换。由于会话搜索中有限的通信带宽，会话助理准确地检测和预测信息寻求会话中的用户意图是重要的。在本文中，我们调查两个方面的用户意图预测信息寻求设置。首先，我们根据给定话语的内容、结构和情感特征提取特征，并使用经典的机器学习方法来执行用户意图预测。然后，我们进行深入的特征重要性分析，以确定该预测任务中的关键特征。我们发现结构特征对预测性能的贡献最大。鉴于这一发现，我们构建神经分类器，将上下文信息和实现更好的性能，而无需特征工程。研究结果可为信息搜索会话中用户意图预测的重要因素和有效方法提供参考。
2019-01-11 cs.CL cs.IR
Information Seeking in the Spirit of Learning: a Dataset for Conversational Curiosity
University of Maryland（马里兰大学）；Facebook（脸书）
开放式的人类学习和信息寻求越来越多地由数字助理介导。然而，这样的系统经常忽略用户的预先存在的知识。假设参与度和用户响应（如“喜欢”消息或询问后续问题）之间存在相关性，我们设计了一个向导式对话任务，该任务测试了当用户向其提供与他们所知道的事实相关的事实时参与度增加的假设。通过这项实验的众包，我们收集并发布了14K对话（181K话语），用户和助手在其中讨论地理主题，如地缘政治实体和位置。该数据集使用预先存在的用户知识，消息级别的对话行为，维基百科的基础以及用户对消息的反应进行注释。使用用户的先验知识的响应增加参与。我们将这些知识融入到一个多任务模型中，该模型再现了人类的辅助政策，并通过13个平均倒数排名点改进了BERT内容模型。
2020-11-10 cs.CL
IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Alibaba Group（阿里巴巴集团）；Ant Financial Services Group（蚂蚁金融服务集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Rutgers University（罗格斯大学）
个人助理系统，如Apple Siri，Google Assistant，Amazon Alexa和Microsoft Cortana，正在变得越来越广泛地使用。了解用户意图，如澄清问题，潜在的答案和用户反馈的信息寻求对话是至关重要的检索良好的反应。在本文中，我们分析了信息寻求会话中的用户意图模式，并提出了一个意图感知的神经反应排名模型“IART”，这是指“意图感知排名与Transformers”。IART建立在用户意图建模和语言表示学习与Transformer架构的集成之上，该架构完全依赖于自我注意力机制而不是递归网络。它结合了意图感知的话语注意力，以更好地理解会话历史为目的，在会话上下文中导出话语的重要性加权方案。我们进行了广泛的实验，三个信息寻求对话数据集，包括标准的基准和商业数据。我们提出的模型优于所有的基线方法就各种指标。我们还进行案例研究和分析，了解用户意图及其对信息寻求对话中的响应排名的影响，以提供结果的解释。
2020-02-03 cs.CL cs.IR
Response Ranking with Deep Matching Networks and External Knowledge in Information-seeking Conversation Systems
Center for Intelligent Information Retrieval, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校智能信息检索中心）；Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dept. of Computer Science, Rutgers University（罗格斯大学计算机科学系）
具有基于文本或基于语音的会话界面的智能个人助理系统在世界各地变得越来越流行。基于检索的会话模型具有返回流畅和信息丰富的响应的优点。现有的研究多集中在开放领域的“闲聊”会话或面向任务/事务的会话上。需要对寻求信息的对话进行更多的研究。在当前的会话模型中，也缺乏对超出对话话语的外部知识的建模。在本文中，我们提出了一个基于深度神经匹配网络的学习框架，该框架利用外部知识在信息搜索会话系统中进行响应排名。我们通过伪相关反馈和QA对应知识蒸馏将外部知识纳入深度神经模型。在三个信息搜索会话数据集上进行的大量实验表明，我们的方法优于各种基线方法，包括几种深度文本匹配模型和最先进的多轮会话响应选择方法。我们还对不同的响应类型，模型变化和排名示例进行分析。我们的模型和研究结果为如何利用外部知识与深度神经模型进行响应选择提供了新的见解，并对下一代信息寻求对话系统的设计产生了影响。
2018-05-09 cs.CL cs.IR
Query-bag Matching with Mutual Coverage for Information-seeking Conversations in E-commerce
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
信息查询会话系统旨在通过会话满足用户的信息需求。在电子商业中，用户查询与预先收集的问题之间的文本匹配是信息搜索会话的重要组成部分。在实际情况中，一种问题总是对应着一个相同的答案。当然，这些问题可以形成一个袋子。直接学习用户查询和包之间的匹配可以提高会话性能，表示为查询-包匹配。受此启发，本文提出了一种查询-包匹配模型，该模型主要利用查询与包之间的相互覆盖度，度量包对查询内容的提及程度，反之亦然。此外，学习到的词级包表征有助于在较好的等级中找到包的要点，提高了查询-包匹配性能。在两个数据集上的实验表明了该模型的有效性。
2019-11-07 cs.CL cs.IR
Conversational Information Seeking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；RMIT University（皇家墨尔本理工大学）；University of Glasgow（格拉斯哥大学）；Google Research（谷歌研究院）
会话式信息搜索（CIS）涉及一个或多个用户与信息系统之间的一系列交互。CIS中的交互主要基于自然语言对话，同时它们可以包括其他类型的交互，例如点击、触摸和身体姿势。这本专著提供了一个全面的概述CIS的定义，应用程序，相互作用，接口，设计，实施和评估。这本专著认为CIS的应用包括对话式搜索，对话式问答和对话式推荐。我们的目的是提供一个与CIS相关的过去研究的概述，介绍CIS当前的最新技术，强调社区仍然面临的挑战。并提出未来的发展方向。
2023-01-25 cs.CL cs.HC cs.IR
Investigating Conversational Search Behavior For Domain Exploration
Technical University of Munich（慕尼黑工业大学）；University of Twente（特温特大学）
对话式搜索作为一种新的信息检索模式，标志着从传统的搜索系统向具有智能搜索代理的交互式对话的转变。这种变化特别影响探索性的信息搜索环境，其中会话搜索系统可以引导发现不熟悉的领域。在这些场景中，用户发现由于不充分的背景知识，通常难以表达他们的信息目标。对话界面可以通过引出信息需求和缩小搜索空间来提供帮助。然而，由于信息寻求行为的复杂性，用于检索信息的会话界面的设计仍然是一个巨大的挑战。虽然以前的工作已经采用用户研究经验地面的系统设计，大多数现有的研究仅限于定义明确的搜索任务或已知的领域，因此，探索性的性质。因此，我们进行了一项实验室研究，以调查开放式搜索行为导航通过未知的信息景观。该研究由26名参与者组成，他们的搜索仅限于文本聊天界面。基于收集到的对话记录，我们应用统计分析和过程挖掘技术，揭示了五个不同领域的一般信息寻求模式。我们不仅确定了核心对话行为和它们之间的相互关系，使用户能够发现领域知识，但也得到会话搜索系统的设计建议。
2023-02-27 cs.CL
Macaw: An Extensible Conversational Information Seeking Platform
Microsoft AI & Research（微软人工智能与研究部）
会话式信息搜索是信息检索领域的一个重要研究方向。这样的研究将需要数据和工具，以允许会话系统的实施和研究。本文介绍了Macaw，一个开放源码的框架与CIS研究的模块化架构。Macaw支持多回合、多模式和混合主动交互，并支持文档检索、问答、推荐和结构化数据探索等任务的研究。它有一个模块化设计，以鼓励新的CIS算法的研究，这可以在批处理模式进行评估。它还可以与用户界面集成，这允许用户在交互方式下进行研究和数据汇集，后端可以是完全算法的或向导式的设置。Macaw在MIT许可证下发布。
2019-12-18 cs.CL cs.HC cs.IR
QRFA: A Data-Driven Model of Information-Seeking Dialogues
Vienna University of Economics and Business（维也纳经济大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；University of Amsterdam（阿姆斯特丹大学）
了解交互过程的结构有助于我们改进信息寻求对话系统。分析交互过程归结为发现用户和代理之间交换的交替话语序列中的模式。流程挖掘技术已成功地应用于分析结构化事件日志，发现底层流程模型或评估所观察到的行为是否符合已知流程。在本文中，我们应用过程挖掘技术，发现模式的会话记录，并提取一个新的模型的信息寻求对话，QRFA，查询，请求，反馈，回答。我们的研究结果是基于对来自不同领域的多个会话数据集的经验评估，这是以前从未尝试过的。我们表明，QRFA模型更好地反映了在真正的信息寻求对话中观察到的会话流比以前提出的模型。此外，QRFA使我们能够识别故障的对话系统成绩单的偏离预期的会话流所描述的模型，通过一致性分析。
2018-12-27 cs.CL cs.IR
ELICITED: EHR-grounded Longitudinal Interactive Conversations for Information-seeking Triage Evaluation and Decision-making
Ellipsis Health（埃利皮西斯健康公司）；University of Michigan（密歇根大学）
该研究针对现有ED分诊基准未捕捉交互式证据引出过程的问题，提出基于MIMIC-IV-ED的EHR2Dial-Triage智能对话框架与基准，支持对信息引出等任务的受控评估，为对话式分诊研究提供结构化环境。
2026-08-11 cs.CL
Leveraging pre-trained language models for conversational information seeking from text
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
自然语言处理的最新进展，特别是在构建非常大的预训练语言表示模型方面的进展，为构建会话信息搜索（CIS）系统开辟了新的视角。在本文中，我们研究了使用的上下文学习和预先训练的语言表示模型，以解决问题的信息抽取过程描述文件，在一个增量的问题和回答为导向的方式。特别是，我们研究了原生GPT-3（生成式预训练Transformer 3）模型的使用，以及两个上下文学习自定义，以少样本学习的方式注入概念定义和有限数量的样本。结果突出了该方法的潜力和上下文学习定制的有用性，这可以大大有助于解决基于深度学习的NLP技术BPM领域的“训练数据挑战”。它还强调了控制流关系所带来的挑战，需要设计进一步的培训。
2022-03-31 cs.AI cs.CL
How You Ask Shapes What You Get: A Theory-Seeded Measurement of Articulation in Advice-Seeking LLM Conversations
KAIST（韩国科学技术院）
该研究探究建议寻求型LLM对话中提问的表达清晰度是否为可与话题分离的潜在维度，从16447条提示词中提取出可复现的表达清晰度因子，发现其与模型回应存在关联，提出基准测试应按表达清晰度分层。
2026-09-01 cs.CL
Towards Better Health Conversations: The Benefits of Context-seeking
Google Research（谷歌研究）
针对大语言模型解答健康问题的风险，本研究通过混合方法证实主动情境探寻的价值，开发Wayfinding AI并验证其在健康对话中更具帮助性与贴合度，为健康类对话AI设计提供参考。
2025-09-14 cs.CL cs.CY cs.HC
Introducing MANtIS: a novel Multi-Domain Information Seeking Dialogues Dataset
TU Delft（代尔夫特理工大学）
对话式搜索是一种信息检索方法，用户通过与代理进行对话来满足自己的信息需求。以前的概念性工作描述了一个好的代理应该表现出的属性和行为。与他们不同的是，我们提出了一个新的概念模型定义的会话目标，这使我们能够对目前的研究实践中的对话搜索的原因。在文献的基础上，我们得出现有的任务和测试集合从IR，自然语言处理（NLP）和对话系统（DS）领域适合这个模型。我们描述了一组理想的会话搜索数据集应该具有的特征。最后，我们介绍了MANTIS（代码和数据集可在https：//guzpenha.github.io/MANTIS/获得），这是一个大规模的数据集，包含多域和接地信息寻求对话，满足我们所有的数据集需求。我们为会话响应排名和用户意图预测任务提供基线结果。
2019-12-10 cs.CL cs.IR cs.LG
TopiOCQA: Open-domain Conversational Question Answering with Topic Switching
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Montréal（微软蒙特利尔）；ServiceNow Research（ServiceNow研究院）；Facebook CIFAR AI Chair（Facebook-CIFAR人工智能讲席）
在会话式问答场景中，提问者试图通过一系列相互依赖的问题和答案来提取关于主题的信息。随着谈话的进行，他们可能会切换到相关的话题，这是在信息搜索会话中常见的现象。然而，当前用于会话式问答的数据集在两个方面受到限制：1）它们不包含主题转换;以及2）它们假设给出了会话的参考文本，即，该设置不是开放域。我们介绍TopiOCQA（发音为Tapioca），这是一个开放域的会话数据集，在维基百科上具有主题开关。TopiOCQA包含3，920个对话，其中包含信息寻求问题和自由形式的答案。平均而言，我们数据集中的对话跨越13个问答回合，涉及4个主题（文档）。TopiOCQA提出了一个具有挑战性的测试床的模型，在同一会话的多个回合，需要有效的检索，结合使用会话历史构建有效的响应。我们评估了几个基线，通过结合最先进的文档检索方法与神经阅读器模型。我们最好的模型达到了55.8的F1，比人类的表现低了14.2分，这表明我们的数据集很难。我们的数据集和代码可在https://mcgill-nlp.github.io/topiocqa上获得
2022-02-20 cs.CL
HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data
California Institute of Technology（加州理工学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
当前对话系统中的紧迫挑战是成功地与用户就具有跨不同模态分布的信息的主题进行对话。多轮对话系统中以前的工作主要集中在文本或表格信息上。在更现实的场景中，对两者有共同的理解是至关重要的，因为知识通常分布在非结构化和结构化形式上。我们提出了一个新的对话数据集，HybridDialogue，它由基于维基百科文本和表格的众包自然对话组成。对话是通过将复杂的多跳问题分解成简单、现实的多回合对话互动来创建的。我们提出了检索，系统状态跟踪，对话响应生成任务，我们的数据集，并进行基线实验。我们的研究结果表明，仍然有足够的改进机会，证明了建立更强大的对话系统的重要性，可以在基于表格和文本的信息寻求对话的复杂环境中进行推理。
2022-04-28 cs.CL
Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations
University of Stavanger（斯塔万格大学）
本文面向信息检索对话中的幻觉问题，提出句子级分类并逐层聚合的可回答性检测方法，基于TREC CAsT构建多层标签数据集，性能超过现有LLM。
2024-01-21 cs.CL cs.IR
Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Shandong University（山东大学）
针对信息检索对话中候选回复检索与重排序问题，提出QB-PRF框架，通过无监督对比学习选择同义查询并以多维注意力融合查询袋，从而增强查询表示并提升匹配性能。
2024-03-22 cs.CL cs.IR
Feedback-Aware Monte Carlo Tree Search for Efficient Information Seeking in Goal-Oriented Conversations
University of Washington（华盛顿大学）
提出一种结合LLM和MCTS的反馈感知框架，通过分层反馈机制利用历史交互模式指导提问策略，在医疗和故障排除任务中显著提升成功率并大幅减少LLM调用次数。
2025-05-30 cs.AI cs.CL cs.HC
Asking Clarifying Questions in Open-Domain Information-Seeking Conversations
Università della Svizzera italiana (USI)（瑞士意大利语区大学（USI））；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用户往往无法在一个查询中表达其复杂的信息需求。因此，他们可能需要扫描多个结果页面或重新制定他们的查询，这可能是一个令人沮丧的经历。或者，系统可以通过主动询问用户的问题来澄清他们的信息需求，从而提高用户满意度。在会话系统中，提出澄清性问题尤其重要，因为它们只能返回有限数量的结果（通常只有一个）。在本文中，我们制定了开放域信息寻求会话系统中的问题澄清的任务。为此，我们提出了一种离线评估方法，并通过众包收集了一个名为Qulac的数据集。我们的数据集建立在TREC Web Track 2009-2012数据的基础上，由198个TREC主题的10 K多个问答对组成，涉及762个方面。我们在Oracle模型上的实验表明，只问一个好问题，就P@1而言，检索性能提高了170%以上，这清楚地表明了任务的潜在影响。我们进一步提出了一个检索框架，包括三个组成部分：问题检索，问题选择，和文档检索。特别是，我们的问题选择模型考虑到原始查询和以前的问答互动，同时选择下一个问题。我们的模型显著优于竞争基准。为了促进这一领域的研究，我们公开了Qulac。
2019-07-15 cs.AI cs.CL cs.IR
Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
研究通过两项实验发现，相比传统搜索，LLM驱动的对话式搜索会增加用户的选择性暴露，强化用户观点的偏见LLM会进一步加剧该偏见，为系统开发与政策制定提供启示。
2024-02-10 cs.AI cs.CL cs.HC
Redefining Proactivity for Information Seeking Dialogue
Nanyang Technological University（南洋理工大学）；Google Cloud AI（谷歌云人工智能）；Amazon AGI（亚马逊通用人工智能）
本研究重新定义了信息寻求对话的主动性，通过引入新信息增强响应的“主动性”，构建了包含2,000轮对话的数据集和自动评估指标，并提出两种CoT提示方法，在零样本设置下性能提升达90%。
2024-11-18 cs.AI cs.CL
A Survey on Conversational Search and Applications in Biomedicine
Kennesaw State University（肯尼索州立大学）
本文的目的是提供一个激进的纲要对话搜索（ConvSearch），一种方法，以提高信息检索方法，用户参与对话的信息搜索任务。在这次调查中，我们主要关注ConvSearch系统的人机交互特性，突出了动作模块的操作，可能是检索系统，搜索引擎和推荐系统。我们标记了知识库、自然语言处理和对话管理系统中的各种ConvSearch研究问题以及动作模块。我们进一步将框架分类为ConvSearch，应用程序针对生物医学和医疗保健领域，以利用临床社会技术。最后，我们通过讨论ConvSearch的挑战和问题来结束，特别是在生物医学领域。我们的主要目标是提供来自不同领域的ConvSearch组件的集成和统一的愿景，这有利于医疗保健系统中的信息搜索过程。
2022-11-28 cs.CL cs.IR
TREC CAsT 2019: The Conversational Assistance Track Overview
University of Glasgow（格拉斯哥大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
会话辅助轨道（CAST）是TREC 2019的一个新轨道，旨在促进会话信息搜索（CIS）研究，并为会话搜索系统创建大规模可重用的测试集合。文档语料库是来自TREC复杂答案检索（CAR）和微软机器阅读理解（MARCO）数据集的38，426，252个段落。80个信息寻求对话（30个训练，50个测试）平均有9到10个问题。为30个培训主题和20个测试主题提供相关性评估。今年，21个小组使用不同的对话查询理解和排名方法总共提交了65次运行。方法包括传统的基于检索的方法，基于特征的学习排名，神经模型和知识增强的方法。贯穿运行的一个共同主题是使用基于BERT的神经重排序方法。领先的方法还采用了文档扩展、会话查询扩展和用于会话查询重写的生成语言模型（GPT-2）。结果表明，自动系统和那些使用手动解决的话语之间的差距，与最好的自动系统相比，手动重写有35%的相对改善。
2020-03-30 cs.CL cs.IR cs.LG
InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context
Advanced Knowledge Center for Immersive Technologies – AKCIT（沉浸式技术高级知识中心（AKCIT））；OATML, University of Oxford（牛津大学OATML）
本文提出了InfoQuest多轮聊天基准，用于评估对话代理在处理具有隐藏上下文的开放式请求时的信息寻求能力，发现现有模型在有效收集关键信息和主动澄清方面仍存在显著局限。
2025-04-25 cs.CL cs.LG
OPERA: Harmonizing Task-Oriented Dialogs and Information Seeking Experience
Iowa State University（爱荷华州立大学）；Microsoft Research（微软研究院）
现有的会话式人工智能研究大多将面向任务的对话（task-oriented dialogue，TOD）和问答（question answering，QA）作为独立的任务来处理。为了实现构建一个能够完成用户任务并支持信息搜索的会话代理的目标，重要的是要构建一个能够处理TOD和QA并访问各种外部知识的系统。在这项工作中，我们提出了一个新的任务，开放式图书TOD（OB-TOD），它结合了TOD与QA任务，并扩展了外部知识源，包括显式知识源（例如，Web）和隐含的知识源（例如，预训练的语言模型）。我们创建了一个新的数据集OB-MultiWOZ，在那里我们用类似QA的信息来丰富TOD会话，以寻求基于外部知识的经验。我们提出了一个统一的模型OPERA（开卷端到端面向任务的对话），它可以适当地访问显式和隐式的外部知识，以解决所定义的任务。实验结果表明，OPERA的卓越性能相比，闭卷基线，并说明了这两种知识类型的价值。
2022-06-24 cs.AI cs.CL cs.IR
ChatShop: Interactive Information Seeking with Language Agents
Duke University（杜克大学）
本文重新设计网络购物任务，引入任务模糊性和动态购物者角色，以评估语言智能体在多轮交互中进行战略信息寻求的能力，并验证LLM模拟购物者可替代真人。
2024-06-16 cs.CL
Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting
University of Waterloo（滑铁卢大学）；Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）
会话搜索在会话信息搜索中起着至关重要的作用。由于自然语言对话中固有的共指和遗漏问题，传统的自组织信息检索（IR）系统在信息搜索对话中的查询是模糊的，因此解决这些模糊性是至关重要的。在本文中，我们解决对话通道检索（ConvPR），对话搜索的一个重要组成部分，通过解决查询歧义与查询重组集成到一个多阶段的ad-hoc IR系统。具体来说，我们提出了两种会话查询重构（CQR）方法：（1）术语重要性估计和（2）神经查询重写。对于前者，我们扩展会话查询使用的重要条款提取的会话上下文与基于频率的信号。对于后者，我们用一个预先训练的序列到序列模型将会话查询重新表达为自然的、独立的、人类可理解的查询。定量和定性地详细分析了两种CQR方法，解释了它们的优点，缺点和不同的行为。此外，为了利用这两种CQR方法的优势，我们建议将它们的输出与倒数等级融合相结合，产生最先进的检索效果，与TREC CAST 2019的最佳提交相比，NDCG@3提高了30%。
2021-03-11 cs.AI cs.CL cs.IR
MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
MIRAGE是一个用于农业专家引导对话中多模态信息检索与推理的基准，通过真实用户-专家交互数据，提供高保真的多模态推理评估平台。
2026-01-06 cs.AI cs.CL cs.CV
$\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of Information-Seeking Dialogue via Behavioural Fine-Tuning
University of Cambridge（剑桥大学）；PolyAI；PolyAI Limited（PolyAI有限公司）
本文提出 BeInfo 行为微调方法，以减少信息检索对话中的幻觉；实验证明其可提升模型在已知和零样本未知领域的知识忠实度，并使 3B Flan-T5 在有限真实生产对话上调优后超过 GPT4。
2024-03-04 cs.CL
"What's Up, Doc?": Analyzing How Users Seek Health Information in Large-Scale Conversational AI Datasets
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）；University of Washington（华盛顿大学）；Google（谷歌）
本文通过构建包含11K真实对话的HealthChat-11K数据集，并结合临床医生驱动的分类体系，系统分析了用户在大规模对话式AI中寻求健康信息的行为模式与风险，揭示了上下文缺失、情感行为及诱导性提问等问题，为改进LLMs的医疗支持能力提供依据。
2025-09-20 cs.AI cs.CL cs.CY
Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks
Georgia Institute of Technology（佐治亚理工学院）；Oracle AI；University of Pennsylvania（宾夕法尼亚大学）
本文提出DialTree框架，通过树搜索和强化学习发现多轮攻击策略，提升对抗攻击的成功率
2026-03-09 cs.AI cs.CL cs.LG
PAQA: Toward ProActive Open-Retrieval Question Answering
Sorbonne Université（索邦大学）；University of Montréal（蒙特利尔大学）；Université de Lille（里尔大学）
本文提出PAQA数据集，在AmbiNQ基础上加入澄清问题，研究检索对歧义检测和澄清问题生成的影响，以提升对话搜索系统的主动性。
2024-02-26 cs.CL cs.IR
FaithDial: A Faithful Benchmark for Information-Seeking Dialogue
University of Edinburgh（爱丁堡大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；IBM Research（IBM研究院）；WeChat AI, Tencent（腾讯微信人工智能实验室）
信息搜索对话的目标是用基于知识源的自然语言话语来响应搜索者查询。然而，对话系统经常产生不支持的话语，这种现象被称为幻觉。为了减轻这种行为，我们采用了以数据为中心的解决方案，并通过编辑维基百科向导（WoW）基准中的幻觉响应来创建FaithDial，这是一个新的无幻觉对话基准。我们观察到FaithDial比魔兽世界更忠实，同时也保持了引人入胜的对话。我们表明，FaithDial可以作为以下方面的训练信号：i）一个幻觉评论家，它可以区分话语是否忠实，与现有的对话连贯性数据集相比，在BEGIN基准测试中的性能提高了12.8 F1分数; ii）高质量的对话生成。我们对一系列最先进的模型进行基准测试，并提出了一个辅助对比目标，该目标基于几个自动化指标实现了最高水平的忠实性和抽象性。此外，我们发现，FaithDial的好处推广到其他数据集上的zero-shot传输，如CMU-Dog和TopicalChat。最后，人类评估显示，在FaithDial上训练的模型生成的响应被认为更具可解释性，合作性和吸引力。
2022-10-23 cs.CL
Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation
University of Virginia（弗吉尼亚大学）
本文提出一种结合准确率与忠实度指标的新颖奖励函数，利用强化学习和少量偏好标注，在知识 grounding 对话生成中抑制幻觉并忽略无关信息，实验证明其性能可与强监督基线竞争。
2023-11-02 cs.CL
NewsDialogues: Towards Proactive News Grounded Conversation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
本文提出主动式新闻 grounding 对话任务，构建含1K对话的 NewsDialogues 中文数据集，并设计 Predict-Generate-Rank 方法，通过知识预测、回复生成与排序缓解曝光偏差，实验验证其有效性。
2023-08-12 cs.CL
ISEEQ: Information Seeking Question Generation using Dynamic Meta-Information Retrieval and Knowledge Graphs
AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Samsung Research America（三星美国研究院）
会话信息寻求（CIS）是会话人工智能中一个相对较新的研究领域，它试图从最终用户那里寻求信息，以理解和满足用户的需求。如果实现，这样的系统在现实世界中具有深远的好处;例如，CIS系统可以帮助临床医生在医疗保健中对患者进行预筛选或分类。在CIS中的一个关键的开放的子问题，仍然在文献中未得到解决的是生成信息寻求问题（ISQ）的基础上，从最终用户的一个简短的初始查询。为了解决这个问题，我们提出了信息搜索问题生成器（ISEEQ），一种新的方法，从一个简短的用户查询生成ISQ，给出了一个大的文本语料库相关的用户查询。首先，ISEEQ使用知识图谱来丰富用户查询。其次，ISEEQ使用知识丰富的查询检索相关的上下文段落，要求连贯的ISQ坚持一个概念流。第三，ISEEQ引入了一种新的基于深度生成对抗强化学习的方法来生成ISQ。我们表明，ISEEQ可以产生高质量的ISQ，以促进CIS代理的发展。ISEEQ在四个数据集的五个ISQ评估指标上的表现明显优于可比基线，这些数据集具有来自不同领域的用户查询。此外，我们认为，ISEEQ是跨域生成ISQ可转移的，因为它在不同的域对上训练和测试时显示出可接受的性能。定性人工评价证实ISEEQ生成的ISQ在质量上与人工生成的问题相当，并且优于最佳可比基线。
2021-12-13 cs.AI cs.CL cs.IR
CA-BED: Conversation-Aware Bayesian Experimental Design
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）
提出对话感知的贝叶斯实验设计（CA-BED），一种推理时概率对话规划框架，通过结合贝叶斯实验设计与LLM似然估计，在多个对话轮次中优化问题选择，在结构化实体推断基准上平均成功率提升21.8%，仅增加1.8轮对话。
2026-05-31 cs.AI cs.CL
Bridging the Gap Between Information Seeking and Product Search Systems: Q&A Recommendation for E-commerce
Amazon.com, Inc.（亚马逊公司）
本文提出在电子商务商品搜索中集成问答推荐，利用LLM弥合信息检索与商品搜索的鸿沟，讨论问答对生成与推荐优化，并指出挑战与未来方向。
2024-07-16 cs.CL cs.IR
MojiTalk: Generating Emotional Responses at Scale
Beijing, 100084 China（（注：该地址不属于机构，已按要求排除））；Santa Barbara, CA 93106 USA（（注：该地址不属于机构，已按要求排除））
生成情感语言是构建移情自然语言处理代理的关键一步。然而，这一研究领域的一个主要挑战是缺乏大规模标记的训练数据，以前的研究仅限于少量人类注释的情感标签。此外，显式地控制生成的文本的情感和情绪也是困难的。在本文中，我们采取了一种更激进的方法：我们利用了利用自然标有表情符号的Twitter数据的想法。更具体地说，我们收集了大量的Twitter对话语料库，其中包括表情符号的响应，并假设表情符号传达了句子的潜在情感。然后，我们引入了一种增强的条件变分编码器方法来训练这些对话的深层生成模型，这允许我们使用表情符号来控制生成文本的情感。实验结果表明，我们在我们的定量和定性分析，所提出的模型可以成功地产生高质量的抽象的会话响应，根据指定的情绪。
2018-05-12 cs.AI cs.CL
Adapting Document-Grounded Dialog Systems to Spoken Conversations using Data Augmentation and a Noisy Channel Model
Human Language Technology and Pattern Recognition Group, RWTH Aachen University（亚琛工业大学人类语言技术与模式识别组）；AppTek GmbH（AppTek有限责任公司）
本文总结了我们提交的任务2的第10届对话系统技术挑战赛（DSTC 10）的第二个轨道“基于知识的面向任务的对话建模口语对话”。与前一年的迭代类似，该任务由三个子任务组成：检测一个回合是否是知识寻求，选择相关的知识文档，最后生成一个接地的响应。今年，重点在于使系统适应嘈杂的ASR成绩单。我们探索不同的方法，使模型更强大的这种类型的输入，并适应口语对话的风格所产生的反应。对于后者，我们得到了最好的结果与嘈杂的信道模型，另外减少了短和通用的响应的数量。我们最好的系统在自动评估中获得了第一名，在人工评估中获得了第三名。
2021-12-16 cs.AI cs.CL cs.LG
MemUse: Moving Memory Evaluation from Direct QA to Natural Integration in Long-Term Human-AI Conversation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；SAP（思爱普）
本研究针对对话式LLM记忆系统评估问题，提出MemUse方法，发现直接问答准确率与用户满意度无关，而自然整合能力与之相关，同时发布了相关语料库、MemUse及配套资源。
2026-08-26 cs.CL cs.HC
Distilling Knowledge for Fast Retrieval-based Chat-bots
University of Tehran（德黑兰大学）
响应检索是神经排序的一个子集，其中模型从给定会话历史的一组候选者中选择合适的响应。基于检索的聊天机器人通常用于信息搜索会话系统，例如客户支持代理。为了在会话历史和候选响应之间进行成对比较，有两种方法是常见的：交叉编码器对这对进行完全自注意，双编码器对这对进行单独编码。前者给出了更好的预测质量，但对于实际使用来说太慢了。在本文中，我们提出了一个新的交叉编码器的架构和知识转移从这个模型到一个双编码器模型使用蒸馏。这有效地提高了双编码器的性能，在推理时间内没有成本。我们对三个响应检索数据集进行了详细的分析。
2020-04-23 cs.CL cs.IR
Harnessing Evolution of Multi-Turn Conversations for Effective Answer Retrieval
University of Amsterdam（阿姆斯特丹大学）；Università della Svizzera italiana (USI)（意大利语区瑞士大学）
随着过去几年语音识别和语音生成技术的改进，许多公司已经寻求开发通过自然语言接口在移动电话或灵巧家庭设备上运行的会话理解系统。对话助理，如Google Assistant和Microsoft Cortana，可以帮助用户完成各种类型的任务。这就需要准确理解用户的信息需求，因为对话会演变成多个回合。由于自然语言的复杂性和用户信息需求的演变，在会话历史中找到相关上下文是具有挑战性的。在这项工作中，我们提出了一个广泛的分析语言，相关性，依赖性的用户话语在多轮信息寻求对话。为此，我们在TREC Cast2019轨道发布的对话中注释了相关话语。注释标签确定对话中的哪些先前话语可以用于改进当前话语。此外，我们提出了一个基于BERT微调的神经话语相关性模型，优于竞争基线。我们研究和比较多个检索模型的性能，利用不同的策略，将用户的上下文。分类和检索任务的实验结果表明，我们提出的方法可以有效地识别和纳入会话上下文。我们表明，使用预测的相关话语处理当前话语导致nDCG@20方面的38%的相对改善。最后，为了促进这一领域的研究，我们发布了注释的数据集。
2020-01-31 cs.CL cs.HC cs.IR
Wizard of Search Engine: Access to Information Through Conversations with Search Engines
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德德尔海兹集团）
会话式信息寻求在人们与信息的联系中发挥着越来越重要的作用。由于缺乏合适的资源，以往对CIS的研究仅限于理论/概念框架的研究，基于实验室的用户研究，或CIS的特定方面（例如，提出澄清问题）。本文从三个方面对CIS的研究进行了尝试。(1)我们制定了一个管道CIS有六个子任务：意图检测（ID），关键词提取（KE），动作预测（AP），查询选择（QS），通道选择（PS）和响应生成（RG）。(2)我们发布了一个基准数据集，称为向导的搜索引擎（WISE），它允许全面和深入的研究各方面的CIS。(3)我们设计了一个能够对六个子任务进行联合和单独训练和评估的神经架构，并设计了一个预训练/微调学习方案，该方案可以通过充分利用现有数据来降低WISE的规模要求。我们报告了一些有用的特征的基础上统计的WISE的CIS。我们还表明，我们表现最好的模型变量能够实现有效的CIS，如几个指标所示。我们发布了数据集，代码以及评估脚本，以通过衡量这一重要研究方向的进一步改进来促进未来的研究。
2021-05-18 cs.CL cs.IR
Human-AI Collaboration Enables More Empathic Conversations in Text-based Peer-to-Peer Mental Health Support
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人工智能（AI）的进步使系统能够增强并与人类合作，以执行简单的机械任务，如安排会议和语法检查文本。然而，这种人机协作对更复杂、更具创造性的任务提出了挑战，例如进行移情对话，因为人工智能系统难以理解复杂的人类情感，而且这些任务具有开放性。在这里，我们专注于点对点的心理健康支持，在这种环境中，同理心对成功至关重要，并研究人工智能如何与人类合作，以促进文本，在线支持对话中的同伴同理心。我们开发了Hailey，这是一个人工智能在环代理，它提供及时的反馈，以帮助提供支持的参与者（同伴支持者）对寻求帮助的人（寻求支持者）做出更有同情心的反应。我们在TalkLife（一个大型在线点对点支持平台）上与真实世界的同行支持者进行了一项非临床随机对照试验，对Hailey进行了评估（N=300）。我们表明，我们的人类-人工智能协作方法导致整体同行之间的对话同理心增加了19.60%。此外，我们发现一个更大的38.88%的增加共情的子样本的同伴支持者谁自我认同为遇到困难提供支持。我们系统地分析了人类与人工智能的协作模式，发现同伴支持者能够直接和间接地使用人工智能的反馈，而不会过度依赖人工智能，同时报告反馈后自我效能的提高。我们的研究结果证明了反馈驱动的人工智能循环写作系统的潜力，它可以让人类在开放式的、社交的、创造性的任务中发挥作用，比如移情对话。
2022-03-28 cs.CL cs.HC cs.SI
Spontaneous Persuasion: An Audit of Model Persuasiveness in Everyday Conversations
University of Washington（华盛顿大学）
本文研究了日常对话中模型说服力的自发性，通过审计五种LLM发现其在多轮对话中频繁使用信息类说服策略，而在心理健康话题中更倾向情感类策略，与人类回应的社交影响策略形成对比。
2026-04-27 cs.AI cs.CL cs.HC
Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations
Yale University（耶鲁大学）；Stanford University（斯坦福大学）
针对用户在未知未知领域中难以探索信息的问题，本文提出 Co-STORM 框架，让用户观察并引导多个语言模型智能体对话以偶然发现新知识，并通过动态思维导图和综合报告辅助学习，在自动评估和人类评估中均优于搜索引擎与 RAG 聊天机器人。
2024-10-17 cs.AI cs.CL cs.IR
Offscript: Automated Auditing of Instruction Adherence in LLMs
University of Washington Information School Seattle Washington USA；University of Washington\ G. Allen School of Computer Science \& Engineering Seattle Washington USA；University of Washington Information School；University of Washington\ G. Allen School of Computer Science \& Engineering
Offscript通过自动化审计检测LLM指令遵循问题，揭示86.4%的对话中存在潜在违规行为，其中22.2%经人工确认为实质性违规。
2025-12-11 cs.AI cs.CL cs.HC
