Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology(韩国科学技术院)
会话式问答(ConvQA)模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景,一些现有的工作使用预测的答案,而不是不可用的地面真相答案,作为推理的会话历史。然而,由于这些模型通常预测错误的答案,使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题,我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案,而不进行任何架构更改。此外,为了使置信度和不确定性值更可靠,我们建议进一步校准它们,从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型,基于答案选择的现实对话问答,结果表明我们的模型显著优于相关基线。代码可在:https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Difference-aware Knowledge Selection for Knowledge-grounded Conversation Generation
Tsinghua University(清华大学);Tencent(腾讯);Microsoft(微软)
在多轮知识导向对话中,不同轮选择的知识之间的差异往往为知识选择提供了潜在的线索,而这一点在以往的研究中被忽略了。在本文中,我们提出了一个差异意识的知识选择方法。它首先计算在当前轮提供的候选知识句子和在先前轮中选择的候选知识句子之间的差异。然后,将差异信息与上下文信息融合或分离,以便于最终的知识选择。自动,人工观察和交互式评估表明,我们的方法能够更准确地选择知识,并生成更多信息的响应,显着优于最先进的基线。这些代码可在https://github.com/chujiezheng/DiffKS上获得。
2020-09-20 cs.AI cs.CL
Thinking Globally, Acting Locally: Distantly Supervised Global-to-Local Knowledge Selection for Background Based Conversation
University of Amsterdam(阿姆斯特丹大学);Shandong University(山东大学)
已经引入了基于背景的对话(BBCs)来帮助对话系统避免生成过于通用的响应。在英国广播公司,谈话是建立在知识来源的基础上的。BBC中的一个关键挑战是知识选择(KS):给定会话上下文,尝试找到适当的背景知识(包含相关事实或评论等的文本片段)。基于此生成下一个响应。以前的工作解决KS采用注意和/或指针机制。这些机制采用当地视角,即,它们每次仅基于当前解码状态来选择令牌。我们主张采用全球视角,即,从背景知识中预先选择可以帮助确定下一个响应的主题的一些文本片段。我们通过引入全球到本地的知识选择(GLKS)机制,以提高知识在BBC。给定一个会话上下文和背景知识,我们首先学习一个主题转换向量来编码最有可能在下一个响应中使用的文本片段,然后用于指导每个解码时间戳的本地KS。为了有效地学习主题转移向量,我们提出了一个远程监督学习模式。实验结果表明,GLKS模型显着优于国家的最先进的方法,在自动和人工评价。更重要的是,GLKS实现了这一点,而不需要任何额外的注释,这证明了它的高度可伸缩性。
2019-11-21 cs.AI cs.CL
Parameter Selection for Analyzing Conversations with Autism Spectrum Disorder
Davis Institute for AI, Colby College(科尔比学院戴维斯人工智能研究所);Department of Psychology, Colby College(科尔比学院心理学系)
本文通过分析诊断对话中的声学/韵律和语言特征,寻找刻画ASD儿童对话行为的最小参数集,并考察心理学家行为差异,以支持ASD诊断与干预。
2024-01-18 cs.AI cs.SD eess.AS
Neural model robustness for skill routing in large-scale conversational AI systems: A design choice exploration
Amazon Alexa AI(亚马逊Alexa人工智能部门)
当前工业中最先进的大规模对话AI或智能数字助理系统包括一组组件,例如自动语音识别(ASR)和自然语言理解(NLU)。对于利用共享NLU本体的这些系统中的一些(例如,集中式意图/槽模式),则存在单独的技能路由组件以将请求正确地路由到适当的技能,该技能是实际上对用户请求执行的第一方或第三方应用。需要技能路由组件,因为存在可以订阅相同意图和/或订阅特定上下文条件下的意图(例如,有屏幕)。确保技能路由组件中的模型鲁棒性或弹性是一个重要的问题,因为技能可以在技能路由模型已经被部署到生产之后动态地改变它们在本体中的订阅。我们展示了不同的建模设计选择如何在最先进的商业会话AI系统的技能路由的背景下影响模型的鲁棒性,特别是围绕数据增强,模型架构和优化方法的选择。我们表明,应用数据增强可以是一个非常有效和实用的方法,大大提高模型的鲁棒性。
2021-03-04 cs.AI cs.CL cs.LG
Weakly-Supervised Neural Response Selection from an Ensemble of Task-Specialised Dialogue Agents
Alt Inc.(奥尔特公司);University of Liverpool(利物浦大学)
包含不同类型的代理与人类对话的对话引擎很受欢迎。然而,对话是动态的,在这个意义上,所选择的响应将改变会话的飞行,影响会话中的后续话语,这使得响应选择一个具有挑战性的问题。我们建模的问题,选择最佳的反应,从一组由一组异构的对话代理所产生的反应,考虑到会话的历史,并提出了一个\emph{Neural Response Selection}方法。所提出的方法被训练来预测一个连贯的一组反应在一个单一的对话,考虑自己的预测通过课程训练机制。我们的实验结果表明,该方法可以准确地选择最合适的反应,从而显着提高用户体验的对话系统。
2020-05-06 cs.AI cs.CL cs.LG
Conversations with Documents. An Exploration of Document-Centered Assistance
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
会话助理的角色在帮助人们提高生产力方面变得越来越普遍。以文档为中心的帮助,例如帮助个人快速查看文档,尽管有可能极大地提高用户的生产力,但进展不大。这种以文件为中心的援助是本文的重点。我们的贡献是三方面的:(1)我们首先提出了一个调查,以了解以文档为中心的援助的空间和人们期望在这种情况下的能力。(2)我们调查的类型的查询,用户将提出,而寻求帮助的文件,并显示,以文件为中心的问题,形成这些查询的大多数。(3)我们提出了一组初始的机器学习模型,表明(a)我们可以准确地检测以文档为中心的问题,(b)我们可以建立合理准确的模型来回答这些问题。这些积极的结果是令人鼓舞的,并表明,甚至更大的结果可能会实现这个有趣的和新颖的问题空间的继续研究。我们的研究结果对智能系统的设计有影响,通过与文档的自然交互来支持任务完成。
2020-01-27 cs.AI cs.CL cs.HC
On the Potential of Artificial Intelligence Chatbots for Data Exploration of Federated Bioinformatics Knowledge Graphs
SIB Swiss Institute of Bioinformatics(SIB瑞士生物信息学研究所)
该研究探讨 ChatGPT 等 AI 聊天机器人如何辅助联邦生物信息学知识图谱的数据访问,并通过生物信息学示例展示对话式 AI 在数据集描述及跨数据集联邦查询生成、解释中的应用潜力。
2023-04-20 cs.AI
C5: Towards Better Conversation Comprehension and Contextual Continuity for ChatGPT
College of Software, Zhejiang University of Technology(浙江工业大学软件学院)
针对多轮对话中人类遗忘与模型上下文遗忘问题,本文提出交互式对话可视化系统C5,通过全局、主题和上下文关联问答三类视图帮助用户理解对话结构与上下文连续性,并经案例与用户研究验证其有效性。
2023-08-10 cs.AI
CIPHER: A Decoupled Exploration-Selection Framework for Test-Time Scaling of Data Science Agents
Amazon Web Services(亚马逊网络服务公司)
研究针对数据科学任务自动化挑战,提出CIPHER智能体,通过生成和选择多初始状态实现测试时扩展,解耦生成与选择过程。经实验验证其性能超越现有技术,刻画DES框架设计空间并给出设计建议。
2026-10-27 cs.AI
Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs
Baidu Inc.(百度公司)
研究了两类知识,即来自知识图谱的三元组和来自文档的文本,用于知识感知的开域会话生成,其中图谱路径可以为知识选择决策缩小顶点候选,文本可以为响应生成提供丰富的信息.知识图谱与文本的融合可能会产生相互增强的优势,但这方面的研究较少。为了解决这一挑战,我们提出了一个知识意识聊天机三个组件,一个增强的知识图谱与三元组和文本,知识选择器,知识意识的响应生成器。对于图上的知识选择,我们将其表述为多跳图推理问题,以有效地捕获会话流,与以前的工作相比,这是更可解释和灵活的。为了充分利用将我们的图与其他图区分开来的长文本信息,我们使用机器阅读理解技术改进了最先进的推理算法。我们证明了我们的系统在两个数据集上与最先进的模型相比的有效性。
2019-09-03 cs.AI cs.CL
Social Practices for Social Driven Conversations in Serious Games
ICAR - National Research Council of Italy(意大利国家研究委员会ICAR研究所);ITD - National Research Council of Italy(意大利国家研究委员会ITD研究所);Utrecht University(乌得勒支大学)
本文介绍了社会实践模式作为一个理论框架,以管理会话的具体目标,培训医生的沟通技巧。为了实现这一目标,管理Communicate!以\cite{jeuring}严肃游戏为基础。因为选择一个特定的社会实践遵循的情况是不平凡的,我们使用的概率模型选择的社会实践作为一个步骤,实现一个代理架构符合社会实践模型。
2022-06-10 cs.AI cs.HC
UniGeM: Unifying Data Mixing and Selection via Geometric Exploration and Mining
Politecnico di Torino(托斯大学);Ant Group(蚂蚁集团);Renmin University of China(中国人民大学);Institute of Microelectronics of the CAS(中国科学院微电子研究所)
UniGeM通过几何探索与挖掘统一数据混合与选择,提升大语言模型的数据效率和推理性能
2026-02-03 cs.AI cs.LG
Can I Be of Further Assistance? Using Unstructured Knowledge Access to Improve Task-oriented Conversational Modeling
Amazon Alexa AI(亚马逊Alexa人工智能部门)
大多数面向任务的对话系统的工作局限于域API的有限覆盖。但是,用户经常会有超出这些API范围的请求。这项工作的重点是通过整合外部的非结构化知识源来响应这些超出API覆盖范围的用户转向。我们的方法工作在一个流水线的方式与知识寻求转向检测,知识选择,响应生成的顺序。我们介绍了新的数据增强方法的前两个步骤,并证明了使用从对话上下文中提取的信息,提高了知识的选择和端到端的性能。通过实验,我们在DSTC 9 Track 1基准数据集上实现了自动和人工评估指标的最新性能,验证了我们贡献的有效性。
2021-06-16 cs.AI cs.CL cs.LG
Selection Bias Explorations and Debias Methods for Natural Language Sentence Matching Datasets
Tencent(腾讯);IBM Research(IBM研究院);Harbin Institute of Technology(哈尔滨工业大学)
自然语言句子匹配(NLSM)得到了学术界和工业界的广泛关注,丰富的公共数据集为这一过程做出了巨大贡献。然而,有偏差的数据集也会损害训练模型的泛化性能,并给出不可信的评估结果。对于许多NLSM数据集,提供者选择一些句子对到数据集中,并且这种采样过程很容易带来非预期的模式,即,选择偏差一个例子是QuoraQP数据集,其中一些与内容无关的朴素特征具有不合理的预测性。这些特征是选择偏置的反映,称为泄漏特征。在本文中,我们研究了六个NLSM数据集的选择偏差问题,发现其中四个是显着的偏见。我们进一步提出了一个培训和评估框架,以减轻偏见。QuoraQP上的实验结果表明,该框架可以提高训练模型的泛化能力,并为现实世界的采用提供更可信的评估结果。
2019-06-10 cs.AI cs.CL
Improving Response Selection in Multi-Turn Dialogue Systems by Incorporating Domain Knowledge
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Ruhr University Bochum(波鸿鲁尔大学)
构建能够与人类交流的系统是人工智能的核心问题。这项工作提出了一种新的神经网络架构的响应选择在一个端到端的多轮会话对话设置。该架构适用于上下文级别的注意力,并结合了额外的外部知识提供的领域特定的词的描述。它使用双向门控递归单元(GRU)对上下文和响应进行编码,并学习在给定潜在响应表示的情况下关注上下文单词,反之亦然。此外,它还使用另一个GRU对领域关键字描述进行编码,从而合并外部领域特定信息。这允许在响应中更好地表示特定于域的关键字,从而提高整体性能。实验结果表明,我们的模型优于所有其他国家的最先进的方法,在多轮对话的响应选择。
2018-11-05 cs.AI cs.CL cs.LG
MCTSr-Zero: Self-Reflective Psychological Counseling Dialogues Generation via Principles and Adaptive Exploration
针对现有MCTS方法在心理咨询等开放式对话中易生成错位响应的问题,提出MCTSr-Zero框架,通过领域对齐、再生和元提示自适应机制优化探索,生成的对话数据微调的PsyLLM在PsyEval等基准上达最优性能。
2025-11-18 cs.AI cs.CL cs.CY
CorefDiffs: Co-referential and Differential Knowledge Flow in Document Grounded Conversations
National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
基于知识的对话系统需要在选择用于生成响应的知识之间进行平滑过渡,以确保对话自然流动。对于基于文档的对话系统,文档间和文档内的知识关系可以用于对这样的会话流进行建模。我们开发了一种新的多文档共指图(Coref-MDG),以有效地捕获基于常识和相似性的文档间关系以及接地文档内知识段的文档内共指结构。我们提出了CorefDiffs,一个共同引用和差分流管理方法,线性化的静态Coref-MDG会话序列逻辑。CorefDiffs通过考虑上下文图结构和知识差异序列来执行知识选择。CorefDiffs在三个公共基准上的表现明显优于最先进的9.5%,7.4%和8.2%。这表明,对话流的共指和知识差异的有效建模对于基于文档的会话中的转换至关重要
2022-10-05 cs.AI cs.CL
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest(波尔多西南法国国立信息学与自动化研究院);ENSTA ParisTech(巴黎高等先进技术学院);Bordeaux University(波尔多大学)
我们考虑的情况下,代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互,智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法,将这种情况视为多武装土匪问题,其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂,并建立该方法是既能够区分不同质量的策略,即使当差异是微不足道的,并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
SENIOR: Efficient Query Selection and Preference-Guided Exploration in Preference-based Reinforcement Learning
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出SENIOR方法,通过高效查询选择和偏好引导探索提升人类反馈效率和策略学习速度,解决基于偏好的强化学习在反馈和样本效率方面的不足。
2026-05-21 cs.AI cs.RO
Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access
Amazon Alexa AI(亚马逊Alexa人工智能部门)
面向任务的对话系统的大多数先前工作被限制到域API的有限覆盖,而用户经常具有未被API覆盖的域相关请求。在本文中,我们建议扩大覆盖面的面向任务的对话系统,将外部非结构化的知识来源。我们定义了三个子任务:知识寻求转向检测、知识选择和基于知识的响应生成,这些可以单独或联合建模。我们介绍了一个增强版本的MultiWOZ 2.1,其中包括新的API覆盖范围以外的转弯和基于外部知识来源的响应。我们使用传统和神经方法为每个子任务提供基线。我们的实验结果表明,需要在这个方向上进行进一步的研究,使更多的信息会话系统。
2020-06-05 cs.AI cs.CL
Asking Clarifying Questions in Open-Domain Information-Seeking Conversations
Università della Svizzera italiana (USI)(瑞士意大利语区大学(USI));University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
用户往往无法在一个查询中表达其复杂的信息需求。因此,他们可能需要扫描多个结果页面或重新制定他们的查询,这可能是一个令人沮丧的经历。或者,系统可以通过主动询问用户的问题来澄清他们的信息需求,从而提高用户满意度。在会话系统中,提出澄清性问题尤其重要,因为它们只能返回有限数量的结果(通常只有一个)。在本文中,我们制定了开放域信息寻求会话系统中的问题澄清的任务。为此,我们提出了一种离线评估方法,并通过众包收集了一个名为Qulac的数据集。我们的数据集建立在TREC Web Track 2009-2012数据的基础上,由198个TREC主题的10 K多个问答对组成,涉及762个方面。我们在Oracle模型上的实验表明,只问一个好问题,就P@1而言,检索性能提高了170%以上,这清楚地表明了任务的潜在影响。我们进一步提出了一个检索框架,包括三个组成部分:问题检索,问题选择,和文档检索。特别是,我们的问题选择模型考虑到原始查询和以前的问答互动,同时选择下一个问题。我们的模型显著优于竞争基准。为了促进这一领域的研究,我们公开了Qulac。
2019-07-15 cs.AI cs.CL cs.IR
Towards Persona-Based Empathetic Conversational Models
Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Alibaba Group(阿里巴巴集团)
移情会话模型已被证明可以在许多领域提高用户满意度和任务结果。在心理学中,人物角色被证明与人格高度相关,而人格又反过来影响同理心。此外,我们的实证分析还表明,人物角色在移情会话中起着重要的作用。为此,我们提出了一个新的任务,对基于人物角色的移情会话,并提出了第一个实证研究的影响人物角色的移情反应。具体来说,我们首先提出了一个新的大规模多域数据集的基于人物角色的移情对话。然后,我们提出了CoBERT,一个有效的基于BERT的响应选择模型,它在我们的数据集上获得了最先进的性能。最后,我们进行了广泛的实验,以探讨影响的人物角色的移情反应。值得注意的是,我们的研究结果表明,当CoBERT接受移情对话训练时,人物角色比非移情对话更能提高移情反应,从而在人类对话中建立了人物角色与移情之间的经验联系。
2020-11-19 cs.AI cs.CL cs.HC
Factors That Support Grounded Responses in LLM Conversations: A Rapid Review
(June 2025)((2025年6月))
本文通过快速回顾识别了支持LLM对话中基础响应的因素,重点分析了推理时间、训练后及强化学习方法,旨在提升LLM响应的准确性和可靠性。
2025-11-24 cs.AI cs.CL
Filling Conversation Ellipsis for Better Social Dialog Understanding
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校)
省略现象普遍存在于社会会话中。省略增加了一系列下游语言理解任务的难度,例如对话行为预测和语义角色标注。我们建议通过自动完成句子来解决省略,以提高语言理解。然而,自动省略补全可能导致输出不能准确地反映用户意图。为了解决这个问题,我们提出了一种方法,该方法同时考虑了具有省略的原始话语和对话行为和语义角色标注任务中自动完成的话语。具体来说,我们首先完成用户话语解决省略使用端到端指针网络模型。然后,我们训练一个预测模型,使用包含省略的话语和我们自动完成的话语。最后,我们结合这两个话语的预测结果,使用一个选择模型,是由专家知识指导。在社交会话中,我们的方法在F1得分上分别提高了1.3%和2.5%的对话行为预测和语义角色标注。我们还提出了一个开放域的人机对话数据集手动完成用户的话语和注释后,手动完成的语义角色标注。
2019-11-25 cs.AI cs.CL
Identifying Structures in Social Conversations in NSCLC Patients through the Semi-Automatic extraction of Topical Taxonomies
St. John’s University(圣约翰大学)
探讨社会对话,以解决病人的需求是一个重要的分析任务,许多学术出版物都有助于填补这一领域的知识空白。主要的困难仍然是无法将这些贡献转化为制药行业可以利用的实用过程,以便从社交媒体数据中产生洞察力,由于其庞大的数量和噪音,社交媒体数据可以被认为是当今最具挑战性的信息来源之一。这项研究是基于Scott Spangler和Jeffrey Kreulen的工作,并将其应用于通过提取能够捕获健康相关网站社交对话中的潜在知识的主题分类来识别社交媒体中的结构。自动识别和生成一个分类从社会对话的机制开发和压力测试使用的公共数据从媒体网站集中在癌症患者及其家属的需求。此外,一种新的方法,用于生成类别的标签和确定的最佳数量的类别,扩展了斯科特和杰弗里的研究在一个有意义的方式。我们假设读者熟悉分类法,它们是什么以及如何使用它们。
2016-02-12 cs.AI cs.CL cs.IR
GPT in Data Science: A Practical Exploration of Model Selection
University of Waterloo(滑铁卢大学)
本研究探讨了利用LLMs进行数据科学时的模型选择问题,通过变异性模型和玩具数据集评估了GPT-4在模型选择建议中的因素、假设及有效性,旨在提升AI决策的透明度与可理解性。
2023-11-20 cs.AI cs.CL cs.DB