What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种知识驱动的两阶段模型,用于在对话式调查中生成后续问题,并构建了带知识标注的数据集及无参考评估指标,实验证明其优于GPT基线。
2023-10-13 cs.CL cs.HC
Evaluating Mixed-initiative Conversational Search Systems via User Simulation
Università della Svizzera italiana(瑞士意大利语区大学);University of Amsterdam(阿姆斯特丹大学)
通过提出澄清性问题来澄清用户潜在的信息需求是现代会话搜索系统的一个重要特征。然而,通过回答提示的澄清问题来评估这样的系统需要大量的人力,这可能是耗时且昂贵的。在本文中,我们提出了一个会话用户模拟器,称为USi,这样的会话搜索系统的自动评估。给定信息需求的描述,USi能够在整个搜索会话中自动回答关于该主题的澄清问题。通过一组实验,包括自动自然语言生成指标和众包研究,我们表明,USi生成的响应都符合基本的信息需求,并与人类生成的答案相媲美。此外,我们向多轮交互迈出了第一步,会话搜索系统向(模拟)用户提出多个问题,目的是澄清用户需求。为此,我们扩展了目前可用的数据集,用于研究澄清问题,即,Qulac和ClariQ,通过执行基于众包的多轮数据采集。我们表明,我们的生成,基于GPT2的模型,能够提供准确和自然的答案,看不见的澄清问题,在单回合设置和讨论我们的模型在多回合设置的能力。我们提供了代码,数据和预训练模型,用于进一步研究该主题。
2022-04-20 cs.CL cs.IR
When Users Don't Ask: Benchmarking Context-Driven Memory Retrieval in Conversational Agents
National Taiwan University(台湾大学)
该研究针对对话智能体的记忆检索,构建了LOCOMO-CONV基准,发现对话式查询会暴露问答基准未察觉的检索差距,且检索能力与响应质量不完全相关,为记忆系统优化提供了方向。
2026-09-23 cs.AI cs.CL
Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search
University of Copenhagen(哥本哈根大学);University of Amsterdam(阿姆斯特丹大学);The Chinese University of Hong Kong(香港中文大学)
本文提出在混合主动会话搜索中提出多模态澄清问题的新任务,构建了Melon数据集并提出Marto模型,通过添加图像使检索性能提升达90%。
2024-02-12 cs.CL cs.CV
Deciding Whether to Ask Clarifying Questions in Large-Scale Spoken Language Understanding
Amazon Alexa AI(亚马逊Alexa人工智能部门)
一个大规模的会话代理可能会遭受理解用户话语与各种歧义,如ASR歧义,意图歧义,和假设歧义。当检测到歧义时,代理应该在提交操作之前进行澄清对话以解决歧义。然而,针对所有歧义事件提出澄清性问题可能导致提出太多问题,从而实质上妨碍了用户体验。为了仅在用户满意度需要时触发澄清问题,我们提出了一个神经自我注意模型,该模型利用具有模糊性和上下文信号的假设。我们进行了广泛的实验,五个常见的歧义类型,使用真实的数据,从一个大规模的商业会话代理,并证明了显着的改善一组基线方法。
2021-09-25 cs.CL
Long Short-Term Planning for Conversational Recommendation Systems
Nanjing University(南京大学)
本文针对对话推荐系统中对话与推荐模块交互不足的问题,提出长期短期反馈架构,通过长期推荐目标驱动短期对话规划,并在两者输出匹配时执行推荐。
2023-10-23 cs.CL
Modeling What-to-ask and How-to-ask for Answer-unaware Conversational Question Generation
Institute for Infocomm Research (I2R), A*STAR(新加坡科技研究局资讯通信研究院(I2R));Nanyang Technological University, Singapore(新加坡南洋理工大学);Salesforce AI(赛富时人工智能研究院);ByteDance(字节跳动);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对答案未知型对话式问题生成中“问什么”与“怎么问”的挑战,提出两阶段框架SG-CQG,结合语义图选推理依据、显式控制问题类型,并提出多样性评估指标Conv-Distinct,实现当前最优性能。
2023-05-04 cs.AI cs.CL
Ask to Learn: A Study on Curiosity-driven Question Generation
reciTAL(reciTAL公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
我们提出了一个新的文本生成任务,即好奇心驱动的问题生成。我们从观察问题生成任务传统上被认为是双重问题的问答,因此解决的问题,生成一个问题的文本,包含其答案。这些问题可以用来评估机器阅读理解。然而,在现实生活中,特别是在对话环境中,人们倾向于提出问题,目的是丰富他们的知识和/或澄清先前收集的信息的各个方面。我们将这些好奇的问题称为好奇心驱动的问题:这些问题的产生是为了获得输入文本中不存在的新信息(答案)。在这项工作中,我们使用会话式问答(QA)数据集对这个新任务进行实验;此外,由于大多数QA数据集不是以内置的会话方式,我们描述了一种方法来从非会话式QA数据中获得用于这个新任务的数据。我们研究了几种自动化指标来衡量好奇问题的不同属性,并在好奇驱动的问题生成任务上实验了不同的方法,包括模型预训练和强化学习。最后,我们报告所产生的输出的定性评价。
2019-11-08 cs.AI cs.CL
An Adaptive Conversational Bot Framework
Microsoft(微软);École Polytechnique(巴黎综合理工学院)
我们如何才能使用户能够以用户友好的方式为数据库查询指定大量的条件?本文描述了一个会话机器人的一般框架,从用户的句子中提取有意义的信息,提出后续的问题,以完成缺失的信息,并根据用户的行为调整其问题和信息提取参数,以便以后的对话。此外,我们提供了现有的工具进行比较,并给出了新的技术来实现这样的框架。最后,我们使用一个机器人来查询数据库中的电影,其代码可供Microsoft员工使用。
2018-08-27 cs.AI cs.CL cs.IR
Dialogue Graph Modeling for Conversational Machine Reading
Shanghai Jiao Tong University(上海交通大学)
会话式机器阅读(CMR)旨在以复杂的方式回答问题。机器需要根据给定的规则文档、用户场景和对话历史,通过与用户的交互来回答问题,并在必要时提出问题以澄清。本文提出了一种对话图建模框架,以提高机器对CMR任务的理解和推理能力。总共有三种类型的图形。具体而言,话语图用于显式学习和提取规则文本之间的话语关系以及场景的额外知识;解耦图用于理解规则文本中的局部和上下文连接。最后是一个全局图,用于将信息融合在一起,并回复用户,我们的最终决定是“是/否/无关”,或者提出后续问题来澄清。
2021-05-29 cs.AI cs.CL
Who's Asking? Simulating Role-Based Questions for Conversational AI Evaluation
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出 CoRUS 框架,基于 OUD 康复社区数据构建角色分类并模拟角色化问题,揭示 LLM 会因用户角色不同而改变回应的支持性与知识含量。
2025-10-19 cs.AI cs.CL cs.CY
CROWN: Conversational Passage Ranking by Reasoning over Word Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
围绕一个主题的信息需求不能在一个回合中得到满足;用户通常会提出涉及同一主题的后续问题,系统必须能够理解请求的会话上下文以检索正确的答案。在本文中,我们向TREC对话协助跟踪2019提交了我们的意见书,其中探讨了这样的对话设置。我们提出了一个简单的无监督的方法,通过制定一个查询的相似性和连贯性相结合的通道分数的会话通道排名。具体来说,段落中包含的单词在语义上与问题中使用的单词相似,并且这些单词出现在附近。我们建立了一个词邻近网络(WPN)从一个大的语料库,其中的单词是节点,如果他们共同出现在同一个通道在统计上显着的方式,在一个上下文窗口的两个节点之间有一个边缘。我们的方法,名为CROWN,提高了nDCG分数在CAST训练数据上提供的Indri基线。根据CAsT的评估数据,我们的最佳运行提交在AP@5和nDCG@1000方面达到了高于平均水平的性能。
2020-02-11 cs.CL cs.IR
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics(马克斯·普朗克信息学研究所);Amazon Alexa(亚马逊Alexa)
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中,用户的输入通常是不完整的,其中实体或谓词被遗漏,以及不合语法的短语。这对问答(QA)系统提出了巨大的挑战,因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案,我们开发了CONVEX:一种无监督的方法,可以通过使用迄今为止看到的实体和谓词来维护会话上下文,并自动推断后续问题的缺失或模糊部分,从而在知识图谱(KG)上回答不完整的问题。我们的方法的核心是一个图探索算法,明智地扩大了边界,找到候选答案的当前问题。为了评估CONVEX,我们发布了ConvQuestions,这是一个众包基准,包含来自五个不同领域的11,200个不同对话。我们证明了CONVEX:(i)为任何独立的QA系统添加会话支持,(ii)优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
What Should I Ask? Using Conversationally Informative Rewards for Goal-Oriented Visual Dialog
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of São Paulo(圣保罗大学);Stanford University(斯坦福大学)
参与以目标为导向的对话的能力使人类能够获得知识,减少不确定性,并更有效地执行任务。然而,人工智能体在进行目标驱动的对话方面仍然远远落后于人类。在这项工作中,我们专注于目标导向的视觉对话的任务,旨在自动生成一系列的问题,一个单一的目标的图像。这项任务是具有挑战性的,因为这些问题不仅必须与实现目标的策略相一致,而且还要考虑图像中的上下文信息。我们提出了一个端到端的面向目标的视觉对话系统,结合强化学习与正则化信息增益。与以前提出的任务的方法不同,我们的工作是由理性言语行为框架,它模拟了人类探索的过程,以达到一个目标。我们在GuessWhat?!上测试我们模型的两个版本。数据集,在生成问题以在图像中找到未公开对象的任务中获得优于当前最先进模型的显著结果。
2019-07-28 cs.AI cs.CL cs.CV
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本段上的问答是信息检索领域的一个重要问题。最近,会话设置引起了人们的注意,其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置,类似于人类彼此交谈,但它引入了两个关键的研究挑战:理解用户在后续问题中留下的隐含上下文,以及处理特设问题公式。在这项工作中,我们展示了CROWN(通过词网络推理的会话段落排名):一个无监督但有效的系统,用于会话QA与通道响应,支持多种模式的上下文传播多个回合。为此,CROWN首先从大型语料库中构建一个词邻近网络(WPN)来存储统计上显著的术语共现。在回答时,段落通过其与问题的相似性和查询术语的一致性的组合进行排名:这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面,既直观的最终用户,并为专家的洞察力,重新配置到个人设置。在TREC CAsT数据上评估了CROWN,其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Open-Retrieval Conversational Machine Reading
Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院)
在对话式机器阅读中,系统需要解释自然语言规则,回答高级问题,如“我可以获得VA医疗福利吗?“,并提出后续澄清问题,这些问题的答案是回答原始问题所必需的。然而,现有的作品假设规则文本提供给每个用户的问题,这忽略了在实际情况下的必要的检索步骤。在这项工作中,我们提出并调查了一个开放的检索设置的会话机器阅读。在开放式检索环境中,相关规则文本是未知的,使得系统需要从规则文本集合中检索与问题相关的证据,并以会话的方式根据检索到的多个规则文本回答用户的高级问题。我们提出了MUDERN,一个多通道话语感知蕴涵推理网络,通过话语分割提取规则文本中的条件,进行多通道蕴涵推理,直接回答用户的问题,或问澄清后续问题,以查询更多的信息。在我们创建的OR-ShARC数据集上,MUDERN实现了最先进的性能,大大优于现有的单通道对话机器阅读模型以及新的多通道对话机器阅读基线。此外,我们还进行深入分析,为这种新环境和我们的模型提供新的见解。
2021-11-25 cs.AI cs.CL cs.LG
Zero-shot Clarifying Question Generation for Conversational Search
University of Utah(犹他大学);Microsoft(微软);Tsinghua University(清华大学)
搜索和会话助理的长期挑战是在模糊查询中的查询意图检测。在会话搜索中提出澄清性问题已被广泛研究,并被认为是解决查询歧义的有效方法。现有的工作已经探索了各种方法来澄清问题的排名和生成。然而,由于缺乏真实的会话搜索数据,他们不得不使用人工数据集进行训练,这限制了他们对真实世界搜索场景的推广能力。因此,业界不愿意在现实中实现它们,进一步暂停了真实对话搜索交互数据的可用性。上述困境一般可以表述为澄清问题生成和会话搜索的冷启动问题。此外,即使我们确实有大规模的会话日志,在开放域搜索场景中收集可以全面覆盖所有可能的查询和主题的训练数据也是不现实的。因此,在不全面的数据集上训练澄清问题检索/生成模型时的拟合偏差风险是另一个重要挑战。在这项工作中,我们创新性地探索在一个zero-shot设置生成澄清问题,以克服冷启动问题,我们提出了一个约束澄清问题生成系统,使用问题模板和查询方面,以指导有效和精确的问题生成。实验结果表明,我们的方法优于现有的国家的最先进的zero-shot基线的大幅度。对我们的模型输出的人类注释也表明,我们的方法生成了25.2%的自然问题,18.1%的有用问题,6.1%的不自然问题和4%的无用问题。
2023-02-10 cs.CL cs.IR
Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training
Layer 6 AI
该研究针对表格数据的对话式任务歧义消除,提出感知泄漏的框架,构建AmbiTab基准套件,用强化学习训练提问策略,提升了歧义消除指标与任务成功度,还可诊断神谕泄漏。
2026-10-09 cs.AI cs.CL cs.LG
Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软)
响应于模糊或分面查询而提出澄清性问题已经被认为是用于各种信息检索系统,特别是具有有限带宽接口的会话式搜索系统的有用技术。分析和生成澄清问题最近已经被研究,但准确利用用户的反应澄清问题已经相对较少探索。在本文中,我们使用一种新的注意力机制来丰富Transformer网络学习到的表示,该机制来自外部信息源,对会话中的每个术语进行加权。我们在一个包括澄清问题的对话搜索场景中评估这个引导式Transformer模型。在我们的实验中,我们使用了两个独立的外部来源,包括检索到的顶级文档和一组不同的可能的查询澄清问题。我们实现了建议的表示学习模型的两个下游任务,在会话搜索:文档检索和下一个澄清问题的选择。我们的实验使用公共数据集进行搜索澄清,并与竞争基线相比表现出显着的改进。
2020-06-13 cs.CL cs.IR cs.LG
Reinforced Dynamic Reasoning for Conversational Question Generation
Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
本文研究了一种新的会话问题生成(CQG)任务,该任务是基于段落和会话历史(即,前几轮问答对)。CQG是开发智能代理的关键任务,可以驱动问答式对话或测试用户对给定段落的理解。为此,我们提出了一种新的方法,名为增强动态推理(ReDR)网络,它是基于一般的编码器-解码器框架,但采用了一种动态的推理过程,以更好地理解已经问了什么,接下来要问什么的段落。为了鼓励产生有意义的问题,我们利用流行的问答(QA)模型来提供反馈,并使用强化学习机制来微调问题生成器。最近发布的CoQA数据集上的实证结果表明,我们的方法与各种基线和模型变量相比是有效的。此外,为了显示我们的方法的适用性,我们还将其应用于创建多轮问答会话的SQuAD中的段落。
2019-07-29 cs.AI cs.CL
Saving Dense Retriever from Shortcut Dependency in Conversational Search
NAVER AI Lab(NAVER人工智能实验室);KAIST AI(韩国科学技术院人工智能研究院);Korea University(高丽大学)
对话搜索(CS)需要对对话输入进行全面理解才能检索相关段落。在本文中,我们证明了在CS中存在一个检索捷径,这导致模型只依赖于部分历史检索段落,而忽略了最新的问题。通过深入的分析,我们首先表明,天真的训练密集检索大量利用的捷径,因此表现不佳,当被要求回答历史无关的问题。为了构建更强大的模型来对抗捷径依赖,我们探索了各种硬否定挖掘策略。实验结果表明,基于模型的硬否定训练有效地减轻了对捷径的依赖,显着提高了最近CS基准测试的密集检索器。特别是,我们的寻回犬在QReCC上的Recall@10中的表现优于之前的最先进模型11.0。
2022-10-19 cs.CL
Few-Shot and Training-Free Review Generation via Conversational Prompting
针对少样本和免训练场景下的个性化评论生成,提出对话式提示方法,通过将用户评论重构为多轮对话,显著提升生成评论与目标用户风格的一致性。
2025-09-25 cs.CL cs.IR
Enhancing Discoverability in Enterprise Conversational Systems with Proactive Question Suggestions
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(奥多比公司)
针对企业对话系统中新用户提问困难的问题,提出一种结合群体意图分析与会话问题生成的主动式问题建议框架,并在AEP AI助手真实数据上验证其提升有用性与可发现性。
2024-12-14 cs.CL
Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近对会话搜索的研究强调了混合主动性在会话中的重要性。为了实现混合主动性,系统应该能够向用户提出澄清问题。然而,在对文档进行排名时,还没有分析基本排名模型(支持对话式搜索)解决这些澄清问题和答案的能力。为此,我们分析了一个词汇排名模型的会话搜索数据集的性能与澄清的问题。我们调查,定量和定性,澄清问题和用户的答案的不同方面如何影响排名的质量。我们认为,需要有一些细粒度的治疗整个会话轮的澄清,明确的反馈的基础上,这是目前在这种混合的主动设置。根据我们的研究结果,我们引入了一个简单的基于知识的词汇基线,显着优于现有的天真基线。我们的工作旨在提高我们对这一特定任务中存在的挑战的理解,并为设计更合适的会话排名模型提供信息。
2020-08-11 cs.AI cs.CL cs.HC
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam(阿姆斯特丹大学);Utrecht University(乌得勒支大学)
在许多现实世界的场景中,缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外,人类经常通过问几个问题来寻求答案,以获得更全面的信息。随着对话变得越来越广泛,机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中,我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识,通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明,我们的检索阅读系统可以利用检索到的背景知识,以产生显着更好的答案。结果还表明,我们的上下文摘要显着帮助检索者和读者介绍更简洁,更少的噪音上下文信息。
2022-12-17 cs.CL
Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation
Amazon(亚马逊)
该研究针对多轮LLM推荐中有效挖掘用户偏好的挑战,提出以推荐熵降为奖励的方法微调LLM,结合SFT与DPO在INSPIRED、ReDial数据集上提升了推荐质量与对话效率。
2026-08-21 cs.AI cs.CL cs.IR
What Types of Questions Require Conversation to Answer? A Case Study of AskReddit Questions
The Pennsylvania State University(宾夕法尼亚州立大学)
本文通过分析AskReddit的500个开放式问题,发现需要对话解答的问题多具社会性与个人性,为未来对话系统设计满足用户需求提供了见解。
2023-04-03 cs.CL cs.HC
Marcel: A Lightweight and Open-Source Conversational Agent for University Student Support
Marburg University(马尔堡大学)
本文介绍Marcel,一个轻量级开源对话代理,通过检索增强生成和FAQ检索器为大学生提供招生咨询,减轻员工负担,并在资源受限环境中易于部署。
2025-10-24 cs.CL
Explicit Alignment and Many-to-many Entailment Based Reasoning for Conversational Machine Reading
Beijing University of Posts and Telecommunications(北京邮电大学)
针对对话式机器阅读中文档与用户信息对齐被忽略的问题,提出一种通过显式对齐与轻量级多对多蕴含推理进行决策并生成后续问题的流水线框架,在ShARC数据集上取得最优结果。
2023-10-20 cs.CL
RAC: Retrieval-Augmented Clarification for Faithful Conversational Search
Sorbonne Université, CNRS, ISIR, F-75005 Paris, France(索邦大学、国家科学研究中心、ISIR、法国巴黎);Ecole nationale Supérieure d’Informatique (ESI), Algeria(信息技术国家高等学院(ESI)、阿尔及利亚);AgroParisTech, UMR MIA-PS, Palaiseau, France(农业巴黎技术学院、UMR MIA-PS、法国帕莱索)
RAC通过检索增强的方法生成基于语料库的澄清问题,提高对话搜索的准确性与可靠性。
2026-01-16 cs.CL cs.IR
ConvAI3: Generating Clarifying Questions for Open-Domain Dialogue Systems (ClariQ)
University of Amsterdam(阿姆斯特丹大学);Microsoft Research AI(微软研究院人工智能);Google Research(谷歌研究院);University of Glasgow(格拉斯哥大学);MIPT(莫斯科物理技术学院)
本文档详细描述了澄清对话系统(ClariQ)问题的挑战。该挑战是2020年面向搜索的对话式AI(SCAI)EMNLP研讨会上对话式AI挑战系列(ConvAI3)的一部分。会话系统的主要目的是响应于用户请求返回适当的答案。但是,某些用户请求可能是模糊的。在IR设置中,主要通过搜索结果页面的多样化来处理这种情况。然而,在带宽有限的对话设置中更具挑战性。因此,在这个挑战中,我们提供了一个通用的评估框架来评估混合主动对话。参与者被要求在信息寻求对话中对澄清问题进行排名。挑战分为两个阶段,在第一阶段,我们在离线设置和单轮对话中评估提交的内容。第一阶段的顶级参与者有机会让人类注释者测试他们的模型。
2020-09-23 cs.CL cs.IR
What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
最近,我们看到越来越多的方法在可解释的人工智能领域。令我们惊讶的是,它们的开发是由模型开发人员驱动的,而不是对人类最终用户需求的研究。对需求的分析,如果做的话,采取A/B测试的形式,而不是对开放性问题的研究。为了回答“人类操作员想问ML模型什么?“我们提出了一个会话系统,解释预测模型的决定。在这个实验中,我们开发了一个名为dr_ant的聊天机器人来谈论经过训练的机器学习模型,以预测泰坦尼克号的生存几率。人们可以与dr_ant讨论模型的不同方面,以理解其预测背后的基本原理。在收集了1000多个对话的语料库后,我们分析了用户最常见的问题类型。据我们所知,这是第一项使用对话系统从预测模型的交互式和迭代对话探索中收集人类操作员需求的研究。
2020-07-31 cs.CL cs.CY cs.HC
Explicit Memory Tracker with Coarse-to-Fine Reasoning for Conversational Machine Reading
The Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce 研究院)
对话式机器阅读的目标是回答给定知识库文本的用户问题,这可能需要提出澄清问题。现有的方法是有限的,在他们的决策,由于斗争中提取问题相关的规则和推理。在本文中,我们提出了一个新的对话式机器阅读框架,其中包括一个新的显式记忆跟踪器(EMT),以跟踪规则文本中列出的条件是否已经满足作出决定。此外,我们的框架产生澄清问题,采用了由粗到细的推理策略,利用语义级蕴涵分数加权令牌级分布。在ShARC基准(盲,保持)测试集上,EMT实现了74.6%的微平均决策准确率和49.5 BLEU4的最新结果。我们还表明,EMT是更可解释的可视化的蕴涵为导向的推理过程中的会话流。代码和模型在https://github.com/Yifan-Gao/explicit_memory_tracker上发布。
2020-06-23 cs.CL
Auto-tagging of Short Conversational Sentences using Transformer Methods
根据语义特征对语音短句进行高精度的分类是自然语言处理的一个研究课题。在这项研究中,使用了一个由46个不同类别的样本创建的数据集。例子包括从公司的客户代表和公司的网站访问者之间的聊天对话中提取的句子。其主要目的是以最准确的方式自动标记访问者的问题和请求,用于聊天应用程序中的46个预定类别,以生成对网站访问者提出的问题的有意义的答案。为此,不同的BERT模型和一个GPT-2模型,在土耳其预先训练,是首选。对相关模型的分类性能进行了详细的分析和报告。
2021-06-04 cs.CL cs.LG
The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents
Facebook AI Research(Facebook人工智能研究院)
我们介绍dodecaDialogue:一组12个任务,衡量一个会话代理是否可以与个性和同理心进行愉快的沟通,提出问题,通过利用知识资源回答问题,讨论主题和情况,以及感知和谈论图像。通过对如此广泛的大规模数据集进行多任务处理,我们希望能够朝着生产一个能够在开放域环境中感知、推理和与人类交谈的单一统一代理的方向发展并衡量其进展。我们表明,这种多任务处理比BERT预先训练的基线有所改善,这主要是由于在类似领域中具有非常大的对话数据集的多任务处理,并且多任务处理通常在微调和任务转移设置中使用多个指标为基于文本和图像的任务提供增益。我们在许多任务上获得了最先进的结果,为这一挑战提供了强大的基线。
2020-04-28 cs.AI cs.CL
Ask No More: Deciding when to guess in referential visual dialogue
University of Amsterdam(阿姆斯特丹大学);University of Trento(特伦托大学)
我们的目标是探索如何在对话经理带来的能力,可以包括在端到端的视觉接地会话代理。我们通过增加一个面向任务的视觉对话模型来实现这一总体目标的初步步骤,该模型具有决策组件,该组件决定是否询问后续问题以确定图像中的目标所指对象,或者停止对话以进行猜测。我们的分析表明,增加决策组件会产生重复性更低的对话,包括更少的不必要的问题,从而可能导致更有效和更不自然的互动。
2018-06-12 cs.CL cs.CV cs.MM
Generating Usage-related Questions for Preference Elicitation in Conversational Recommender Systems
University of Stavanger(斯塔万格大学);Google UK(英国谷歌)
本文提出通过询问物品用途的隐式问题来获取对话式推荐系统中的用户偏好,并构建了众包标注数据集及四个问题生成模型,验证了该方法在有限数据下的有效性。
2025-04-08 cs.AI cs.CL cs.IR
E3: Entailment-driven Extracting and Editing for Conversational Machine Reading
University of Washington(华盛顿大学)
当用户不知道做出决定的确切规则(例如,他们是否需要特定的收入水平或退伍军人身份)时,对话式机器阅读系统可以帮助用户回答高级问题(例如,确定他们是否有资格获得特定的政府福利)。关键的挑战是,这些规则只以程序文本的形式提供(例如政府网站上的指南),系统必须阅读这些文本才能弄清楚向用户询问什么。我们提出了一个新的会话机器阅读模型,共同提取一组决策规则的过程中的文本,而推理所涉及的会话历史,仍然需要编辑,以创建问题的用户。在最近推出的ShARC对话机器阅读数据集上,我们的蕴涵驱动的提取和编辑网络(E3)实现了新的最先进的技术,优于现有系统以及新的基于BERT的基线。此外,通过明确强调哪些信息仍然需要收集,E3提供了一个更易于解释的替代方案。我们在https://github.com/vzhong/e3上发布了模型和实验的源代码。
2020-02-13 cs.AI cs.CL cs.LG
Let's Talk! Striking Up Conversations via Conversational Visual Question Generation
Academia Sinica(中央研究院);The Pennsylvania State University(宾夕法尼亚州立大学);Institute for Information Industry(资讯工业策进会)
一个吸引人和挑衅性的问题可以打开一个伟大的谈话。在这项工作中,我们探索了一个新的场景:会话代理查看一组用户的照片(例如,从社交媒体平台),并询问一个有吸引力的问题,发起与用户的对话。现有的视觉-问题模型大多生成乏味而明显的问题,这可能不是理想的会话启动器。本文介绍了一个两阶段的框架,首先生成一个视觉故事的照片集,然后使用的故事,以产生一个有趣的问题。人工评估表明,我们的框架比其他视觉到问题基线生成更多的引发响应的问题来开始对话。
2022-05-19 cs.AI cs.CL cs.CV
Think Like a Doctor: Conversational Diagnosis through the Exploration of Diagnostic Knowledge Graphs
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
本文提出一种通过探索诊断知识图谱进行对话诊断的系统,通过两步推理生成和验证诊断假设,提高诊断准确性和效率,并通过医生评估验证其临床实用性。
2026-09-02 cs.AI cs.CL
Conversational Tree Search: A New Hybrid Dialog Task
University of Stuttgart(斯图加特大学)
本文提出对话树搜索(CTS)任务,结合FAQ检索与任务导向对话,通过领域专家定义对话树并转换为高效对话策略,仅提问必要问题引导用户达成目标,新深度强化学习架构在跳过冗余问题的同时提升目标完成率。
2023-03-17 cs.AI cs.CL cs.LG
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University(韩国大学);KAIST AI(韩国科学技术院人工智能研究中心);Seoul National University(首尔国立大学);AIGEN Sciences(AIGEN科学)
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题,提出RetPO框架,通过构建含41万+重写反馈的RF collection数据集微调小模型,实现与检索器偏好对齐,性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Few-shot Policy (de)composition in Conversational Question Answering
提出LDPC神经符号框架,利用大型语言模型在少样本下通过逻辑分解检测策略合规,在ShARC基准上无需微调即达竞争性能,并增强可解释性。
2025-01-20 cs.AI cs.CL
Knowledge Grounded Conversational Symptom Detection with Graph Memory Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能)
在这项工作中,我们提出了一种新的目标导向的对话任务,自动症状检测。我们构建了一个系统,可以通过对话与患者互动,自动检测和收集临床症状,这可以节省医生询问患者的时间。给定由患者提供的一组显式症状以发起用于诊断的对话,系统被训练为通过询问问题来收集隐式症状,以便收集更多信息以进行准确的诊断。在获得患者对每个问题的回答后,系统还将决定当前信息是否足以让人类医生做出诊断。为了实现这一目标,我们提出了两个神经模型和一个多步推理任务的训练管道。我们还构建了一个知识图谱作为额外的输入,以进一步提高模型性能。实验表明,我们的模型显著优于基线4%,平均发现67%的隐性症状,问题数量有限。
2021-01-24 cs.AI cs.CL
Optimal Question Selection from a Large Question Bank for Clinical Field Recovery in Conversational Psychiatric Intake
Johns Hopkins University(约翰霍普金斯大学)
本文提出一个基于临床问题库的问题选择框架,通过对比随机提问、临床基线和LLM引导策略,发现结构化问题和适应性策略能显著提升临床对话信息恢复效果。
2026-04-27 cs.AI cs.CL
PCoQA: Persian Conversational Question Answering Dataset
Sharif University of Technology(谢里夫理工大学);Lorestan University(洛雷斯坦大学);Tehran University(德黑兰大学)
本文构建首个波斯语对话式问答数据集 PCoQA,包含 9,026 个上下文相关问题,并评估基线与预训练基准模型。
2023-12-07 cs.AI cs.CL
CoQAR: Question Rewriting on CoQA
Orange Innovation(Orange创新研究院)
人类在对话中提出的问题通常包含上下文依赖性,即,明确或隐含地引用先前的对话轮。这些依赖关系采取共引用的形式(例如,通过代词使用)或省略号,并且可能使自动化系统难以理解。促进理解和后续处理问题的一种方法是将其重写为脱离上下文的形式,即,一种可以在没有会话背景的情况下理解的形式。我们提出CoQAR,一个语料库包含$4.5$ K会话数据集CoQA,共$53$ K后续问答对。每个原始问题都被手动注释了至少2次,最多3次断章取义的重写。CoQAR可用于三种任务的监督学习:问题释义、问题重写和会话问答。为了评估CoQAR重写的质量,我们进行了几个实验,包括训练和评估这三个任务的模型。我们的研究结果支持的想法,问题重写可以作为一个预处理步骤的问答模型,从而提高其性能。
2022-07-07 cs.CL
SpeakRL: Synergizing Reasoning, Speaking, and Acting in Language Models with Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa(亚马逊Alexa)
SpeakRL通过强化学习提升语言模型的对话能力,通过奖励主动互动提高任务完成效率。
2025-12-15 cs.AI cs.CL
Let Me Know What to Ask: Interrogative-Word-Aware Question Generation
KAIST(韩国科学技术院)
问题生成(Question Generation,QG)是一项自然语言处理(Natural Language Processing,NLP)任务,有助于问答(Question Questioning,QA)和会话助理的发展。现有的模型专注于基于文本生成问题,并且可能是对所生成的问题的答案。他们需要确定要生成的疑问词的类型,同时必须注意问题的语法和词汇。在这项工作中,我们提出了疑问词感知问题生成(IWAQG),一个流水线系统由两个模块组成:一个疑问词分类器和QG模型。第一模块预测提供给第二模块以创建问题的疑问词。由于增加了决定用于生成的问题的疑问词的召回,所提出的模型在SQuAD中的QG任务上实现了新的最先进的结果,在BLEU-1中从46.58提高到47.69,在BLEU-4中从17.55提高到18.53,在METEOR中从21.24提高到22.33,在ROUGE-L中从44.53提高到46.94。
2019-10-30 cs.CL
MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems
IBM Research(IBM研究院)
本文提出人工构建的多轮RAG基准MTRAG,覆盖四领域842个任务,并结合合成数据与LLM-as-a-Judge评估,揭示先进系统在复杂多轮场景中的不足。
2025-01-07 cs.AI cs.CL
Do Large Language Models Understand Conversational Implicature -- A case study with a chinese sitcom
School of Foreign Languages, Shanghai Jiao Tong University(上海交通大学外国语学院)
本文构建了首个中文多轮对话会话含义数据集SwordsmanImp,并评估八个LLMs,发现仅GPT-4在含义理解上接近人类水平,多数模型解释合理性不足,且表现不随格莱斯准则类型显著变化。
2024-07-31 cs.CL
Why LLMs Give In: Conversational Factors and Reasoning Behind Medical Sycophancy
Virginia Tech(弗吉尼亚理工大学);Shanghai Tongren Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属同仁医院);Emory University(埃默里大学)
研究发现医学谄媚是对话属性而非模型属性,通过5个开放权重模型和500个MedQuAD问题的120万次试验,揭示了对话因素对医学谄媚的影响及思维链轨迹的解释。
2026-09-01 cs.AI cs.CL
chatClimate: Grounding Conversational AI in Climate Science
University of Zurich(苏黎世大学);Eawag(瑞士水科学与技术研究所);ETH Zurich(苏黎世联邦理工学院);FAU Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);University of Oxford(牛津大学);Council on Economic Policies(经济政策委员会);Swiss Finance Institute (SFI)(瑞士金融学院)
针对大语言模型存在幻觉、信息过时的问题,研究融合IPCC AR6的信息增强GPT-4,推出对话式AI原型chatClimate,经IPCC作者评估,混合模式的chatClimate答案准确性更高,可推广至特定领域聊天机器人。
2023-04-28 cs.CL
Interpretation of Natural Language Rules in Conversational Machine Reading
Bloomsbury AI(布卢姆斯伯里人工智能公司);University of California, Irvine(加州大学欧文分校);University College London(伦敦大学学院)
机器阅读的大部分工作集中在问答问题上,答案直接表达在要阅读的文本中。然而,许多现实世界的问答问题需要阅读文本,不是因为它包含字面答案,而是因为它包含一个配方,以得出答案连同读者的背景知识。一个例子是解释条例的任务,以回答“我能.?或者“我必须......吗?例如“我在加拿大工作。我必须继续支付英国国民保险吗?“在阅读了英国政府网站上关于这个话题的文章后。这项任务既需要解释规则,也需要应用背景知识。实际上,由于大多数问题都没有被详细说明,人工助理将不得不经常提出澄清问题,例如“你在国外工作多久了?“当答案不能直接从问题和文本中得出时。在本文中,我们正式这个任务,并制定了一个众包策略,收集32K任务实例的基础上,现实世界的规则和群众产生的问题和场景。我们分析了这项任务的挑战,并通过评估基于规则和机器学习基线的性能来评估其难度。当不需要背景知识时,我们观察到有希望的结果,并且当需要背景知识时,观察到有很大的改进空间。
2018-08-28 cs.CL cs.LG stat.ML