Python Code Generation by Asking Clarification Questions
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Bosch Center for Artificial Intelligence(博世人工智能中心);Instituto Superior Técnico(高等技术学院);LUMLIS (Lisbon ELLIS Unit)(LUMLIS(里斯本ELLIS单元));Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司)
本文提出通过提出澄清问题来解决自然语言描述不够具体导致的代码生成失败问题,并构建了包含合成澄清问答对的 CodeClarQA 数据集,实验证明澄清能显著提升预训练语言模型的代码生成精度。
2023-05-26 cs.CL
When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search
Hunyuan, Tencent(腾讯混元);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出DiscoBench基准,评估大语言模型搜索代理在深度搜索中主动识别歧义、提出有效澄清问题并恢复正确推理路径的能力,实验表明歧义检测与有效澄清是不同能力,且盲目搜索不如直接猜测。
2026-07-02 cs.CL
Asking Clarification Questions to Handle Ambiguity in Open-Domain QA
Seoul National University(首尔大学);Chung-Ang University(中央大学);NAVER AI Lab(NAVER AI实验室);NAVER Cloud(NAVER云);University of Richmond(里士满大学);KAIST AI(韩国科学技术院人工智能研究所);Samsung Electronics Mobile eXperience(三星电子移动体验部门)
针对开放域问答中的歧义问题,提出通过提问澄清问题来识别用户意图,构建了CAMBIGNQ数据集并设计了任务流程与评估指标,取得了61.3和40.5的F1分数作为基线。
2023-10-25 cs.CL
When and What to Ask: AskBench and Rubric-Guided RLVR for LLM Clarification
University of Illinois Chicago(伊利诺伊大学香槟分校)
本文研究如何评估和改进LLM在缺乏关键信息或包含误导信息时的澄清能力,提出AskBench交互基准和基于规则的强化学习与验证器(RLVR)方法,提升准确性和交互效率。
2026-04-20 cs.CL cs.LG
STYLE: Improving Domain Transferability of Asking Clarification Questions in Large Language Model Powered Conversational Agents
College of Computer Science, Sichuan University(四川大学计算机学院);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
针对大型语言模型驱动的对话智能体在未见领域提出澄清问题时可迁移性差的问题,提出名为Style的新方法,通过避免一刀切策略实现有效领域迁移,在四个未见领域平均提升约10%搜索性能。
2024-06-01 cs.CL
Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本研究探讨对话系统中模型不确定性与人类澄清行为的关系,提出基于模型不确定性估计生成澄清问题的方法,显著提升任务成功率,强调系统自我评估不确定性的重要性。
2024-02-09 cs.AI cs.CL
Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院)
本研究评估了LLM代理在未指定任务中的澄清能力,提出了一种不确定性意识的多代理框架,提高了任务解决率,并展示了多代理系统在复杂任务中主动寻求信息的行为。
2026-09-09 cs.CL
Open-domain clarification question generation without question examples
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
自然语言处理的首要目标是使机器能够与人类进行无缝通信。然而,自然语言可能是模糊的或不清楚的。在不确定的情况下,人类会参与一个被称为修复的互动过程:提出问题并寻求澄清,直到他们的不确定性得到解决。我们提出了一个框架,建立一个视觉接地的提问模型,能够产生极性(是-否)澄清问题,以解决对话中的误解。我们的模型使用一个预期的信息增益目标,从现成的图像字幕,而不需要任何监督问答数据来获得翔实的问题。我们展示了我们的模型的能力,提出问题,提高沟通的成功,在一个目标导向的20个问题的游戏与合成和人类的回答。
2021-10-19 cs.CL
CLAM: Selective Clarification for Ambiguous Questions with Generative Language Models
University of Oxford(牛津大学)
用户经常向对话系统提出需要澄清的模糊问题。我们发现,目前的语言模型很少要求用户澄清模棱两可的问题,而是提供不正确的答案。为了解决这个问题,我们引入CLAM:一个框架,让语言模型有选择地要求澄清模糊的用户问题。特别是,我们表明,我们可以提示语言模型检测是否一个给定的问题是模糊的,生成一个适当的澄清问题,问用户,并在收到澄清后给出最终答案。我们还表明,我们可以模拟用户提供语言模型的特权信息。这使我们能够自动评估多轮澄清对话。最后,相对于SotA,CLAM显著提高了语言模型在二义性和无二义性混合问题上的准确性.
2023-02-20 cs.AI cs.CL cs.LG
CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval
UC Berkeley(加州大学伯克利分校)
针对信息检索中模糊查询需澄清的问题,提出CLARINET系统,通过增强LLM条件化检索分布并端到端微调生成澄清问题,在真实书籍检索数据集上显著提升检索成功率。
2024-04-28 cs.AI cs.CL cs.IR
Open-Retrieval Conversational Machine Reading
Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院)
在对话式机器阅读中,系统需要解释自然语言规则,回答高级问题,如“我可以获得VA医疗福利吗?“,并提出后续澄清问题,这些问题的答案是回答原始问题所必需的。然而,现有的作品假设规则文本提供给每个用户的问题,这忽略了在实际情况下的必要的检索步骤。在这项工作中,我们提出并调查了一个开放的检索设置的会话机器阅读。在开放式检索环境中,相关规则文本是未知的,使得系统需要从规则文本集合中检索与问题相关的证据,并以会话的方式根据检索到的多个规则文本回答用户的高级问题。我们提出了MUDERN,一个多通道话语感知蕴涵推理网络,通过话语分割提取规则文本中的条件,进行多通道蕴涵推理,直接回答用户的问题,或问澄清后续问题,以查询更多的信息。在我们创建的OR-ShARC数据集上,MUDERN实现了最先进的性能,大大优于现有的单通道对话机器阅读模型以及新的多通道对话机器阅读基线。此外,我们还进行深入分析,为这种新环境和我们的模型提供新的见解。
2021-11-25 cs.AI cs.CL cs.LG
ProductAgent: Benchmarking Conversational Product Search Agent with Asking Clarification Questions
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Peng Cheng Laboratory(鹏城实验室)
本文提出ProductAgent对话式产品搜索智能体及PROCLARE评测基准,通过策略性澄清提问与动态检索,在电商模糊查询场景中随对话轮次增加逐步提升检索性能。
2024-07-01 cs.AI cs.CL cs.IR
Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出任务无关框架,通过意图熵估计决定何时向用户提问澄清,在问答、机器翻译和自然语言推理中显著提升性能。
2023-11-16 cs.CL
Taking Action Towards Graceful Interaction: The Effects of Performing Actions on Modelling Policies for Instruction Clarification Requests
University of Potsdam(波茨坦大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本研究探究动作执行作为辅助任务对指令澄清请求策略建模的影响,发现其贡献有限,Transformer模型难掌握发起时机但可较好确定询问内容,并讨论了数据驱动范式学习元沟通行为的缺陷。
2024-01-30 cs.CL
Clarification Is Not Enough: Post-Clarification Answering Remains the Bottleneck in Multi-Turn QA
Cornell University(康奈尔大学);Adobe Research(Adobe研究)
本文通过分解多轮问答为澄清策略和澄清后回答两个组件,利用PACIFIC基准实验发现监督微调能快速提升澄清策略,但最终答案准确率仍显著偏低,表明理解并正确解释用户回应是关键瓶颈。
2026-05-24 cs.CL
One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies
MBZUAI(穆罕默德·本·扎耶德人工智能大学);BKAI Research Center, Hanoi University of Science and Technology(河内科技大学BKAI研究中心);INSAIT, Sofia University "St. Kliment Ohridski"(索非亚大学“圣克莱门特·奥赫里德斯基”INSAIT)
研究对话式大语言模型助手在模糊用户请求下的澄清决策问题,核心方法是引入RegretBench基准测试,贡献为揭示模型澄清的有效性和效率,表明有效澄清需在正确时间问对问题并适时停止。
2026-07-27 cs.AI cs.CL
Towards Asking Clarification Questions for Information Seeking on Task-Oriented Dialogues
University College London(伦敦大学学院)
本文提出多注意力Seq2Seq网络MAS2S,通过提问澄清用户信息需求与画像,并构建约10万条对话的数据集,实验证明其在澄清问题生成和答案预测上优于基线。
2023-05-23 cs.CL cs.IR
Referential ambiguity and clarification requests: comparing human and LLM behaviour
Queen Mary University of London(伦敦大学Queen Mary)
本研究构建新语料库比较人类与LLM在任务导向对话中面对歧义时的澄清提问行为,发现两者相关性低且表现相反,且推理能力能提升LLM提问的频率与相关性。
2025-07-14 cs.AI cs.CL
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
CoA通过强化学习解决上下文不充分的视觉问答问题,通过生成聚焦问题澄清歧义,提升问答准确性。
2026-10-21 cs.CL
Ask-before-Plan: Proactive Language Agents for Real-World Planning
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
本文提出主动智能体规划任务与 Ask-before-Plan 基准,并设计含澄清、执行、规划三智能体及轨迹调优、记忆回想机制的 CEP 框架,验证其有效性。
2024-10-02 cs.AI cs.CL
Rational Clarification by Assistive Agents via Value-of-Information Reasoning
National University of Singapore(新加坡国立大学);University of Oxford(牛津大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
提出REVOIR方法,通过信息价值推理决定是否澄清模糊请求,在两项任务中提升成功率并减少提问次数,优于现有方法。
2026-09-30 cs.AI cs.CL cs.HC
Interactive Question Clarification in Dialogue via Reinforcement Learning
Ant Financial Services Group(蚂蚁金融服务集团)
在现实世界的对话系统中,处理模棱两可的问题一直是一个长期存在的问题。虽然通过提问来澄清是人类交互的常见形式,但很难定义适当的问题来从用户那里引出更具体的意图。在这项工作中,我们提出了一个强化模型,以澄清模糊的问题,建议改进的原始查询。我们首先制定一个集合划分问题,选择一组标签,使我们能够区分潜在的明确意图。我们将选择的标签作为意图短语列出给用户以供进一步确认。然后,所选择的标签连同原始用户查询一起用作细化的查询,可以更容易地识别合适的响应。该模型使用具有深度策略网络的强化学习进行训练。我们根据真实世界的用户点击来评估我们的模型,并在几个不同的实验中展示了显着的改进。
2020-12-17 cs.CL
Remember, Verify, or Ask? Evaluating Memory Decisions at Reuse Time
Southern Methodist University(南卫理公会大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本研究通过MCB数据集评估LLM智能体的记忆承诺,发现模型验证事实变化更可靠,策略提示可降低错误持久率,少样本提示能提升部分任务准确率,但澄清召回率仍较低。
2026-10-14 cs.CL
CROWN: Conversational Passage Ranking by Reasoning over Word Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
围绕一个主题的信息需求不能在一个回合中得到满足;用户通常会提出涉及同一主题的后续问题,系统必须能够理解请求的会话上下文以检索正确的答案。在本文中,我们向TREC对话协助跟踪2019提交了我们的意见书,其中探讨了这样的对话设置。我们提出了一个简单的无监督的方法,通过制定一个查询的相似性和连贯性相结合的通道分数的会话通道排名。具体来说,段落中包含的单词在语义上与问题中使用的单词相似,并且这些单词出现在附近。我们建立了一个词邻近网络(WPN)从一个大的语料库,其中的单词是节点,如果他们共同出现在同一个通道在统计上显着的方式,在一个上下文窗口的两个节点之间有一个边缘。我们的方法,名为CROWN,提高了nDCG分数在CAST训练数据上提供的Indri基线。根据CAsT的评估数据,我们的最佳运行提交在AP@5和nDCG@1000方面达到了高于平均水平的性能。
2020-02-11 cs.CL cs.IR
When and What to Ask Through World States and Text Instructions: IGLU NLP Challenge Solution
University College London(伦敦大学学院)
针对协作建造中的歧义问题,提出分类与排序方法,分别决定何时提问及选择澄清问题,在NeurIPS 2022 NLP任务中取得F1 0.757和MRR约0.38的成绩。
2023-05-09 cs.AI cs.CL cs.LG
Is the Elephant Flying? Resolving Ambiguities in Text-to-Image Generative Models
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Amazon Alexa AI-NU(亚马逊Alexa人工智能-NU)
自然语言通常包含歧义,可能导致误解和误解。虽然人类可以通过提出澄清问题和/或依赖上下文线索和常识知识来有效地处理歧义,但解决歧义对机器来说是非常困难的。在这项工作中,我们研究了文本到图像生成模型中出现的歧义。我们策划了一个基准数据集,涵盖了这些系统中发生的不同类型的歧义。然后,我们提出了一个框架,以减轻歧义的提示系统征求澄清用户。通过自动和人工评估,我们展示了我们的框架在存在模糊性的情况下生成与人类意图一致的更忠实图像的有效性。
2022-11-17 cs.CL cs.CV cs.LG
Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search
University of Copenhagen(哥本哈根大学);University of Amsterdam(阿姆斯特丹大学);The Chinese University of Hong Kong(香港中文大学)
本文提出在混合主动会话搜索中提出多模态澄清问题的新任务,构建了Melon数据集并提出Marto模型,通过添加图像使检索性能提升达90%。
2024-02-12 cs.CL cs.CV
Teaching Vision-Language Models to Ask: Resolving Ambiguity in Visual Questions
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
针对VQA中用户提问歧义问题,现有方法多依赖重述问题而忽视交互反馈。本文提出ClearVQA基准,评估VLMs通过交互澄清歧义的能力,涵盖三类常见歧义及多种VQA场景。
2025-09-16 cs.CL cs.CV
Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL
Cornell University(康奈尔大学);Amazon Web Services(亚马逊云服务)
针对智能体文本到SQL中因过早终止澄清导致的静默假设问题,提出PlanPool外部化题库机制,强制处理已识别问题,在三个基准上提升歧义覆盖率并减少静默失败,同时保持执行准确性。
2026-10-05 cs.CL
ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations
Bar-Ilan University(巴伊兰大学);University of Utah(犹他大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
ClarifyDelphi通过强化学习与可废止性奖励,自动提出能最大化道德判断分歧的澄清问题,以获取社会道德情境中的关键上下文,并在人类评估中优于基线方法。
2023-05-30 cs.CL
Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions
Cornell University(康奈尔大学)
研究大型语言模型在识别用户查询歧义与主动提出澄清问题之间的行为差距,发现模型虽能识别歧义但默认直接回答,检索上下文会进一步减少澄清行为。
2026-05-24 cs.CL
RAC: Retrieval-Augmented Clarification for Faithful Conversational Search
Sorbonne Université, CNRS, ISIR, F-75005 Paris, France(索邦大学、国家科学研究中心、ISIR、法国巴黎);Ecole nationale Supérieure d’Informatique (ESI), Algeria(信息技术国家高等学院(ESI)、阿尔及利亚);AgroParisTech, UMR MIA-PS, Palaiseau, France(农业巴黎技术学院、UMR MIA-PS、法国帕莱索)
RAC通过检索增强的方法生成基于语料库的澄清问题,提高对话搜索的准确性与可靠性。
2026-01-16 cs.CL cs.IR
Diverse and Specific Clarification Question Generation with Keywords
Shanghai Jiao Tong University(上海交通大学)
电子商务网站上的产品描述往往缺少重要方面。澄清问题生成(CQGen)可以是一种很有前途的方法,以帮助缓解问题。与传统的QGen假设上下文中存在答案并相应地生成问题不同,CQGen模仿用户询问未陈述信息的行为。所生成的CQ可以用作健全性检查或校对,以帮助电子商务商家在广告他们的产品之前识别潜在的缺失信息,并因此改善消费者体验。由于可能的用户背景和用例的多样性,信息需求可以是相当多样化的,但也具体到一个详细的主题,而以前的工作假设每个上下文生成一个CQ,结果往往是通用的。因此,我们提出了多样化CQGen的任务,并解决了特异性的挑战。我们提出了一个新的模型命名为KPCNet,它产生的关键字预测和条件,处理任务的CQ。对2个数据集(家庭和厨房,办公室)的自动和人工评估表明,KPCNet可以生成更具体的问题,并促进比几个竞争基线更好的群体层次的多样性。
2021-04-21 cs.AI cs.CL
SpeakRL: Synergizing Reasoning, Speaking, and Acting in Language Models with Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa(亚马逊Alexa)
SpeakRL通过强化学习提升语言模型的对话能力,通过奖励主动互动提高任务完成效率。
2025-12-15 cs.AI cs.CL
Retrieving and ranking short medical questions with two stages neural matching model
University of Nottingham(诺丁汉大学);University of Melbourne(墨尔本大学);Ping An Health Cloud(平安健康云);Ping An(平安)
互联网医院是一个新兴的业务,这要归功于移动网络技术的最新进展和医疗保健服务的高需求。在线医疗服务变得越来越受欢迎和活跃。根据美国2018年的数据,80%的互联网用户在网上提出了与健康相关的问题。大量数据以前所未有的速度和规模生成。这些医学领域中具有代表性的问题和答案为医学数据采掘提供了宝贵的原始数据源。从信息检索和机器学习方法的角度来看,对这些大量数据的自动机器解释提供了帮助医生回答常见的医疗相关问题的机会。在这项工作中,我们提出了一个新的两阶段的框架查询级的医学问题的语义匹配。
2020-11-16 cs.CL
Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions
New York University(纽约大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对 LLM 面对模糊请求时倾向预设单一解释的问题,本文通过模拟未来对话轮次的预期结果生成偏好标签,训练模型适时提出澄清问题,F1 提升 5%,判断准确率提升 3%。
2025-03-18 cs.CL
IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Alibaba Group(阿里巴巴集团);Ant Financial Services Group(蚂蚁金融服务集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Rutgers University(罗格斯大学)
个人助理系统,如Apple Siri,Google Assistant,Amazon Alexa和Microsoft Cortana,正在变得越来越广泛地使用。了解用户意图,如澄清问题,潜在的答案和用户反馈的信息寻求对话是至关重要的检索良好的反应。在本文中,我们分析了信息寻求会话中的用户意图模式,并提出了一个意图感知的神经反应排名模型“IART”,这是指“意图感知排名与Transformers”。IART建立在用户意图建模和语言表示学习与Transformer架构的集成之上,该架构完全依赖于自我注意力机制而不是递归网络。它结合了意图感知的话语注意力,以更好地理解会话历史为目的,在会话上下文中导出话语的重要性加权方案。我们进行了广泛的实验,三个信息寻求对话数据集,包括标准的基准和商业数据。我们提出的模型优于所有的基线方法就各种指标。我们还进行案例研究和分析,了解用户意图及其对信息寻求对话中的响应排名的影响,以提供结果的解释。
2020-02-03 cs.CL cs.IR
Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近对会话搜索的研究强调了混合主动性在会话中的重要性。为了实现混合主动性,系统应该能够向用户提出澄清问题。然而,在对文档进行排名时,还没有分析基本排名模型(支持对话式搜索)解决这些澄清问题和答案的能力。为此,我们分析了一个词汇排名模型的会话搜索数据集的性能与澄清的问题。我们调查,定量和定性,澄清问题和用户的答案的不同方面如何影响排名的质量。我们认为,需要有一些细粒度的治疗整个会话轮的澄清,明确的反馈的基础上,这是目前在这种混合的主动设置。根据我们的研究结果,我们引入了一个简单的基于知识的词汇基线,显着优于现有的天真基线。我们的工作旨在提高我们对这一特定任务中存在的挑战的理解,并为设计更合适的会话排名模型提供信息。
2020-08-11 cs.AI cs.CL cs.HC
Structured Uncertainty guided Clarification for LLM Agents
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
本文提出结构不确定性框架,通过量化潜在问题的澄清价值,提升LLM代理在模糊任务中的推理效率和训练效率,展示了其在SAGE-Agent和ClarifyBench中的有效性。
2026-04-10 cs.AI cs.CL
Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry
National University of Science and Technology Politehnica Bucharest(布加勒斯特理工大学国立科技大学);Psychiatric Hospital Doctor Gheorghe Preda(格奥尔基·普雷达医生精神病医院);Oslo Metropolitan University(奥斯陆都市大学);Kristiania University of Applied Sciences(克里斯蒂亚尼亚应用科学大学);SimulaMet(SimulaMet公司);Lucian Blaga University of Sibiu(锡比乌卢西安·布拉加大学)
研究针对大语言模型在精神病学决策支持中处理证据不完整问题,引入顺序评估基准Safe-Psych,通过模拟真实临床记录及精神科医生行动标签,评估多个模型,发现模型存在过早诊断等问题,揭示其局限性,为改善模型安全性研究提供支持。
2026-07-16 cs.AI cs.CL
Decision-Theoretic Question Generation for Situated Reference Resolution: An Empirical Study and Computational Model
DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);U.S. Naval Research Laboratory(美国海军研究实验室);Tufts University(塔夫茨大学)
在情境环境中与人类交互的对话代理需要管理跨多种模态的指称歧义,并在需要时寻求帮助。然而,不清楚这些代理人应该问什么样的问题,也不清楚这些问题的答案如何用于解决歧义。为了解决这个问题,我们分析了一项互动研究中的对话数据,在这项研究中,参与者控制一个虚拟机器人,负责组织一套工具,同时与一个现场的远程实验者进行对话。我们发现了一些新的结果,包括用于解决歧义的问题类型的分布和对话水平的因素对参考解决过程的影响。基于这些实证研究结果,我们:(1)使用决策网络开发了用于澄清请求的计算模型,该决策网络具有跨模态操作的基于熵的效用分配方法,(2)评估了该模型,表明其在具有变化的模糊性的环境中优于时隙填充基线,以及(3)解释结果以提供对代理人可以提出问题以促进情境参考解决的方式的洞察。
2021-10-12 cs.CL
INSCIT: Information-Seeking Conversations with Mixed-Initiative Interactions
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
提出InSCIt数据集,包含805段人-人混合主动信息寻求对话,支持证据识别与响应生成任务,基准系统显著逊于人类。
2023-06-22 cs.CL
A strong baseline for question relevancy ranking
University of Copenhagen(哥本哈根大学)
SemEval-16和SemEval-17社区中最好的系统是问答共享任务(相当于问题相关性排名的任务),涉及复杂的管道和手动功能工程。尽管如此,其中许多仍然未能击败IR基线,即,谷歌搜索引擎提供的排名。我们提出了一个强大的基线问题相关性排名训练一个简单的多任务前馈网络上的一袋14个距离措施的输入问题对。这个基线模型,这是快速的训练,只使用语言无关的功能,优于最好的共享任务系统检索相关的先前提出的问题的任务。
2018-08-27 cs.CL cs.IR cs.LG
Looking for Confirmations: An Effective and Human-Like Visual Dialogue Strategy
University of Trento(特伦托大学)
在视觉对话任务中生成目标导向问题是一个具有挑战性的长期问题。最先进的系统被证明可以生成一些问题,尽管这些问题在语法上是正确的,但往往缺乏有效的策略,而且对人类来说听起来不自然。受信息搜索和跨情境单词学习的认知文献的启发,我们设计了Confirm-it,这是一个基于束搜索重新排名算法的模型,该算法通过询问确认模型对所指对象的推测的问题来指导有效的目标导向策略。我们猜猜什么?!游戏作为案例研究。我们表明,Confirm-it生成的对话比束搜索解码更自然和有效,无需重新排序。
2021-09-11 cs.CL
Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
社区问答(英语:Community Question Questioning)是计算语言学的一个领域,它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中,我们发现了一个问题,即对每个问题的多个答案进行排名,通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集,发布到Stack Overflow网站上。然后,我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测,并以排名形式呈现答案,并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的,要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较,发现我们的模型无法提高最佳基线结果。我们推测,与基线模型相比,这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是,虽然深度学习方法可能有助于回答排名问题,但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
QuestBench: Can LLMs ask the right question to acquire information in reasoning tasks?
Massachusetts Institute of Technology(麻省理工学院);Google DeepMind(谷歌DeepMind)
针对现实查询规定不足的问题,提出QuestBench基准,通过缺失变量赋值的CSP特例评估LLM提出最小必要问题的能力,发现现有模型在逻辑和规划任务上准确率仅40-50%,表明需专门优化信息获取能力。
2025-10-24 cs.AI cs.CL cs.LG
COTCAgent: Preventive Consultation via Probabilistic Chain-of-Thought Completion
School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院);Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(中国电子科学与技术大学深圳高级研究所);School of Computer Science, The University of Sydney(悉尼大学计算机科学学院)
本文提出COTCAgent框架,通过概率性思维链完成实现纵向电子健康记录的预防性咨询,解决了现有大语言模型在纵向EHR推理中的统计学推理不足和时间序列依赖性捕捉困难问题。
2026-09-29 cs.AI cs.CL
WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation
University of Innsbruck(因斯布鲁克大学)
本文提出WikiHint数据集和HintRank评估方法,通过生成和排名提示来增强人类推理,实验表明数据集提升提示有效性,结合答案信息改善质量,编码器模型排名更优。
2025-04-20 cs.CL cs.IR