Answering Ambiguous Questions via Iterative Prompting
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学)
本文提出AmbigPrompt框架,通过迭代集成提示模型与回答模型来生成多样且相关的答案,并结合任务特定后预训练,在歧义开放域问答中实现领先性能、更低内存占用和推理延迟。
2023-07-08 cs.CL
Learning to Answer Ambiguous Questions with Knowledge Graph
Peking University(北京大学)
在基于知识库的类事实问答任务中,许多问题有不止一种合理的解释。以前的SimpleQuestions作品假设每个问题只有一种解释作为基础事实,因此它们缺乏正确回答模糊问题的能力。在本文中,我们提出了一种新的方法来利用数据集,考虑到存在歧义的问题。在此基础上,提出了一种简单有效的局部知识子图与注意力机制相结合的模型。我们的实验结果表明,我们的方法在这项任务中取得了出色的性能。
2019-12-25 cs.AI cs.CL
Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Tsinghua University(清华大学)
本文通过半开放式问题发现模糊答案,感知LLM知识边界,提出开源辅助模型方法,实验表明GPT-4在SoeQ上表现差且不自知,LLaMA-2-13B有效。
2024-05-23 cs.AI cs.CL
Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
针对RAG在歧义问答中单次检索质量低、迭代检索效率差的问题,提出DIVA框架,通过多样化检索、质量验证与自适应策略,在提升准确性和鲁棒性的同时增强效率。
2025-02-07 cs.CL
AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions
Graduate School of Artificial Intelligence, POSTECH(人工智能研究生院,POSTECH);Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH)
AQuA通过细粒度数据集和策略微调,提升VLMs在模糊视觉问答中的策略性响应生成能力。
2026-03-08 cs.AI cs.CL cs.CV
Detecting Temporal Ambiguity in Questions
University of Innsbruck(因斯布鲁克大学)
针对开放域问答中常见的时间模糊问题检测任务,本文构建含8162个问题的TEMPAMBIQA手动标注数据集,提出基于消歧问题搜索策略的新方法,并测试零样本、少样本非搜索基线。
2024-09-25 cs.CL
Reasoning about Intent for Ambiguous Requests
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出生成结构化响应以枚举歧义请求的不同解释,通过强化学习训练模型提升覆盖有效解释的召回率和抑制虚假解释的精确率,实验表明方法在覆盖有效答案方面优于基线方法。
2026-08-11 cs.AI cs.CL
Adaptive Question Answering: Enhancing Language Model Proficiency for Addressing Knowledge Conflicts with Source Citations
University of Colorado Boulder(科罗拉多大学博尔德分校);Oracle(甲骨文公司)
本研究提出模糊场景下带来源引用的问答新任务,构建含5个新数据集、2个新评估指标及多类强基线的综合框架,填补了知识冲突处理与引用生成结合的研究空白,助力可信可解释问答系统研发。
2024-10-29 cs.CL
Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering
本文以开放域问答为案例,研究大语言模型对文本歧义的理解能力,并提出简单、无需训练的显式消歧方法以有效提升模型在歧义问答任务上的表现。
2024-11-19 cs.AI cs.CL
FinInteract: Benchmarking Clarification and Intent Integration in Ambiguous Financial Question Answering
McGill University(麦吉尔大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Toronto(多伦多大学)
针对金融问答中问题模糊性被忽视的问题,提出FinInteract双语基准,通过五类模糊分类和双解读配对,揭示单一标准答案幻觉,并证明澄清与意图整合对智能体性能的关键影响。
2026-09-22 cs.AI
ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections
Kyoto University(京都大学);University of Innsbruck(因斯布鲁克大学)
在过去的几年中,开放域问答(ODQA)由于深度学习技术的发展和大规模问答数据集的可用性而迅速发展。然而,当前的数据集本质上是为同步文档集合(例如,Wikipedia).时间新闻集合,如跨越几十年的长期新闻档案,很少用于训练模型,尽管它们对我们的社会很有价值。为了促进ODQA领域对这些历史集合的研究,我们提出了ArchivalQA,一个由532,444个问答对组成的大型问答数据集,该数据集专为时间新闻QA而设计。我们将数据集分为四个子部分的基础上的问题的难度水平和时间表达式,我们认为这是有用的训练和测试ODQA系统的特点是不同的优势和能力。我们介绍的新的QA小册子构建框架也可以应用于生成质量良好的非模糊问题,在其他类型的时间文档集合。
2022-02-22 cs.AI cs.CL
DEEPAMBIGQA: Ambiguous Multi-hop Questions for Benchmarking LLM Answer Completeness
UCSB(UCSB大学);Apple(苹果公司)
本文提出 DeepAmbigQAGen 流水线及 DeepAmbigQA 数据集,通过构建包含名称歧义和多跳推理的复杂问答任务,揭示了当前最先进 LLM 在答案完整性上的显著缺陷。
2025-11-03 cs.AI cs.CL
DQA: Diagnostic Question Answering for IT Support
Amazon(亚马逊)
DQA通过维护持续诊断状态和聚合根本原因,提升企业IT支持中的系统性故障排查效率,其在150个匿名场景中取得78.7%的成功率,优于多轮RAG基线的41.3%。
2026-04-08 cs.AI cs.CL
Diagnosing Medical Datasets with Training Dynamics
Newnham College(纽纳姆学院);University of Cambridge(剑桥大学)
本研究评估Data Maps框架在医学问答数据集上的可行性,发现该框架不适用于解决医学数据集的独特挑战。
2024-11-03 cs.AI cs.CL cs.LG
Clarification Is Not Enough: Post-Clarification Answering Remains the Bottleneck in Multi-Turn QA
Cornell University(康奈尔大学);Adobe Research(Adobe研究)
本文通过分解多轮问答为澄清策略和澄清后回答两个组件,利用PACIFIC基准实验发现监督微调能快速提升澄清策略,但最终答案准确率仍显著偏低,表明理解并正确解释用户回应是关键瓶颈。
2026-05-24 cs.CL
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
Factuality or Fiction? Benchmarking Modern LLMs on Ambiguous QA with Citations
本文在带引用的模糊问答任务上对GPT-4o-mini和Claude-3.5进行基准测试,发现模型在多有效答案和引用生成(准确率为0)上表现不佳,但冲突感知提示能显著改善这些问题。
2024-12-23 cs.CL
QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs
Korea University(高丽大学);Hanbat National University(韩巴大学)
提出QPaug方法,通过LLMs将问题分解为多步子问题并生成辅助段落,增强查询与检索质量,显著提升了开放域问答中RAG的性能。
2024-09-27 cs.AI cs.CL
PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning
Indian Institute of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校)
本文提出PassiveQA框架,通过监督微调解决信息不全时的问题回答,提升宏F1和退避召回率,减少幻觉。
2026-04-06 cs.AI cs.CL
An Entity Linking Agent for Question Answering
The Chinese University of Hong Kong(香港中文大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究院);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出了一种基于大语言模型的实体链接代理,用于解决问答任务中短且模糊用户问题的实体链接问题,通过两个实验验证了其有效性。
2026-05-20 cs.CL
Mind the Ambiguity: Aleatoric Uncertainty Quantification in LLMs for Safe Medical Question Answering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出AU-Probe框架,通过检测输入模糊性提升医疗问答的安全性与准确性。
2026-01-24 cs.AI cs.CL
Deep Contextualized Biomedical Abbreviation Expansion
University of Pittsburgh(匹兹堡大学)
歧义缩略语的自动识别和扩展对于生物医学自然语言处理应用是必不可少的,例如信息检索和问答系统。在本文中,我们提出了深度情境化生物医学。缩写扩展(DECBAE)模型。DECBAE自动收集大量的和相对干净的注释上下文950模糊的缩写从PubMed摘要使用一个简单的启发式。然后利用BioELMo提取词的上下文特征,并将这些特征馈送到特定于缩写的双向LSTM,其中模糊缩写的隐藏状态用于分配确切的定义。我们的DECBAE模型的性能远远优于其他基线,在数据集上实现了0.961的平均准确度和0.917的宏F1。它还超越了人类扩展样本缩写的性能,并在不平衡,低资源和临床环境中保持稳健。
2019-06-08 cs.CL q-bio.QM
SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
Nanyang Technological University(南洋理工大学);NYU Shanghai(上海纽约大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Center for Data Science, New York University(纽约大学数据科学中心)
本文提出 SynTQA 协同式表格问答方法,通过答案选择集成 Text-to-SQL 与端到端问答模型,实验表明可显著提升表格问答性能。
2024-09-29 cs.CL
It's High Time: A Survey of Temporal Question Answering
University of Innsbruck(因斯布鲁克大学);Delft University of Technology(代尔夫特理工大学)
该综述全面梳理时间问答(TQA)领域,聚焦神经架构特别是Transformer和LLM在时间建模、RAG及推理上的进展,并讨论相关基准与评估策略。
2025-08-04 cs.CL cs.IR
TreeRare: Syntax Tree-Guided Retrieval and Reasoning for Knowledge-Intensive Question Answering
University of Rochester(罗切斯特大学)
TreeRare通过语法树引导的检索与推理方法,提升知识密集型问答任务的性能。
2025-12-04 cs.CL
Simple and Effective Knowledge-Driven Query Expansion for QA-Based Product Attribute Extraction
Rakuten Institute of Technology(乐天技术研究所);Rakuten Group Inc.(乐天集团);Institute of Industrial Science(工业科学研究所);the University of Tokyo(东京大学)
电子商务网站属性值提取的一个关键问题是如何处理大量不同产品的属性。虽然这个挑战部分地解决了问答(QA)的方法,找到一个给定的查询(属性)的产品数据中的值,它不工作,有效地为罕见的和模糊的查询。因此,我们提出了简单的知识驱动的查询扩展的基础上可能的答案(值)的查询(属性)的基于QA的AVE。我们从训练数据中检索查询(属性)的值以扩展查询。我们用知识丢弃和知识令牌混合两种技巧来训练模型,模拟测试中价值知识的不完全性。在AliExpress数据集的清理版本上的实验结果表明,我们的方法提高了AVE的性能(+6.08宏F1),特别是对于罕见和模糊的属性(分别为+7.82和+6.86宏F1)。
2022-06-28 cs.AI cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada(加拿大国家银行)
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中,用户经常将他们的信息需求表述为简短且模糊的查询,一些流行的搜索界面然后提示用户确认她的意图(例如,“你的意思是...... ?“),或在必要时重新措辞。当涉及到对话系统时,流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下,向用户给出以下响应之一:1)直接回答,如果意图不清楚,则可能是不相关的,2)通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此,我们提出了一个多阶段的澄清机制,提示澄清和查询选择的上下文中的问答对话系统。我们表明,我们提出的机制提高了整体用户体验,并优于竞争基线与两个数据集,即公共范围内的范围外的数据集和商业数据集的基础上,真正的用户日志。
2021-10-28 cs.CL
EsBBQ and CaBBQ: The Spanish and Catalan Bias Benchmarks for Question Answering
Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS));HiTZ Center – IXA, University of the Basque Country(HiTZ中心–IXA,巴斯克大学)
本文针对非英语及美国以外社会背景的资源匮乏问题,提出了西班牙语和加泰罗尼亚语问答偏见基准(EsBBQ和CaBBQ),基于BBQ评估10类社会偏见,实验表明模型在模糊场景下易选错且高准确率常伴随对社会偏见的更大依赖。
2025-07-15 cs.CL
Using Holographically Compressed Embeddings in Question Answering
Middle Tennessee State University(中田纳西州立大学)
词向量表示是深度学习自然语言处理模型的核心。这些向量的许多形式,称为嵌入,存在,包括word2vec和GloVe。嵌入在大型语料库上进行训练,并在上下文中学习单词的用法,捕获单词之间的语义关系。然而,来自这样的训练的语义处于不同单词(称为单词类型)的级别,并且当例如单词类型可以是名词或动词时可能是模糊的。在问答中,词性和命名实体类型很重要,但在神经模型中编码这些属性会扩大输入的大小。这项研究采用全息压缩预训练的嵌入,代表一个令牌,它的词性,和命名实体类型,在相同的维度,只代表令牌。在修改的问答循环深度学习网络中的实现表明,语义关系得到了保留,并产生了强大的性能。
2020-07-14 cs.CL cs.LG
Diversity is Not Ambiguity: Toward Accurate and Efficient Ambiguity Detection for Open-Domain QA
该研究针对开放域问答中现有歧义检测方法的缺陷,提出ARCHIVE框架,构建QuireQA基准,在提升歧义检测准确率的同时大幅加快运行速度。
2026-08-05 cs.AI
A$^2$Search: Ambiguity-Aware Question Answering with Reinforcement Learning
City University of Hong Kong(香港城市大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
提出A$^2$Search,一种无需标注的端到端框架,利用轨迹采样和强化学习自动识别并处理开放域问答中的多答案歧义,在八个基准上取得最先进性能。
2025-10-09 cs.AI cs.CL
A Context-aware Attention Network for Interactive Question Answering
UNC Charlotte(北卡罗来纳大学夏洛特分校);NEC Laboratories America(NEC美国实验室);University of Arizona(亚利桑那大学)
在编码器-解码器框架中的基于神经网络的序列到序列模型已经成功地应用于解决问答(QA)问题,从陈述和问题预测答案。然而,几乎所有以前的模型都没有考虑详细的上下文信息和未知状态,在这些状态下,系统没有足够的信息来回答给定的问题。在交互式问答(IQA)中,这些信息不完整或模糊的场景非常常见。为了解决这一挑战,我们开发了一种新的模型,采用上下文相关的词级注意力更准确的陈述表示和问题引导的话语级注意力更好的上下文建模。我们还生成了独特的IQA数据集来测试我们的模型,这些数据集将公开提供。采用这些注意力机制,我们的模型准确地理解什么时候可以输出答案,或者什么时候需要根据不同的上下文生成补充问题以进行额外的输入。当可用时,用户的反馈被编码并直接应用于更新任务级注意力以推断答案。QA和IQA数据集上的大量实验定量地证明了我们的模型的有效性,与最先进的传统QA模型相比有显着的改进。
2017-09-03 cs.CL cs.LG
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics(马克斯·普朗克信息学研究所);Amazon Alexa(亚马逊Alexa)
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中,用户的输入通常是不完整的,其中实体或谓词被遗漏,以及不合语法的短语。这对问答(QA)系统提出了巨大的挑战,因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案,我们开发了CONVEX:一种无监督的方法,可以通过使用迄今为止看到的实体和谓词来维护会话上下文,并自动推断后续问题的缺失或模糊部分,从而在知识图谱(KG)上回答不完整的问题。我们的方法的核心是一个图探索算法,明智地扩大了边界,找到候选答案的当前问题。为了评估CONVEX,我们发布了ConvQuestions,这是一个众包基准,包含来自五个不同领域的11,200个不同对话。我们证明了CONVEX:(i)为任何独立的QA系统添加会话支持,(ii)优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
Question Answering on Scholarly Knowledge Graphs
L3S Research Center(L3S研究中心);Leibniz University of Hannover(汉诺威莱布尼茨大学);TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
对包括文本和其他人工制品的学术知识提出问题是任何研究生存周期的重要组成部分。由于以下主要原因,查询学术知识和检索合适的答案目前几乎是不可能的:出版物中的机器不可操作,模糊和非结构化内容。我们提出JarvisQA,一个基于BERT的系统来回答问题的学术知识图谱的表格视图。这样的表格可以在学术文献中以各种形状找到(例如,调查、比较或结果)。我们的系统可以检索直接回答各种不同的问题上提出的表格数据的文章。此外,我们提出了一个初步的数据集的相关表和相应的一组自然语言的问题。这个数据集被用作我们系统的基准,可以被其他人重用。此外,JarvisQA在两个数据集上与其他基线进行了评估,与相关方法相比,性能提高了两到三倍。
2020-06-02 cs.CL cs.DL cs.IR
PAQA: Toward ProActive Open-Retrieval Question Answering
Sorbonne Université(索邦大学);University of Montréal(蒙特利尔大学);Université de Lille(里尔大学)
本文提出PAQA数据集,在AmbiNQ基础上加入澄清问题,研究检索对歧义检测和澄清问题生成的影响,以提升对话搜索系统的主动性。
2024-02-26 cs.CL cs.IR
Gendered Pronoun Resolution using BERT and an extractive question answering formulation
歧义代词的解决是自然语言理解中的一个长期挑战。最近的研究表明,最先进的共指消解系统中存在性别偏见。例如,Google AI语言团队最近发布了一个性别平衡的数据集,并表明这些共指解析器的性能在数据集上受到很大限制。在本文中,我们提出了一个提取的问答(QA)制定的代词解决任务,克服了这一限制,并显示出更低的性别偏见(0.99)在他们的数据集。该系统使用来自预训练的BERT模型的微调表示,并且在不使用任何手工设计的特征的情况下,性能显著优于现有基线(F1得分绝对提高22.2%)。即使在不知道代词的候选先行词的情况下,这个问答框架也同样有效。基于QA和BERT的多项选择和序列分类模型的集成进一步提高了F1(在基线上绝对提高了23.3%)。该集成模型已提交给第一届ACL自然语言处理性别偏见研讨会的共同任务。它在最终的官方排行榜上排名第九。源代码可在https://github.com/rakeshchada/corefqa上获得
2019-06-09 cs.CL cs.LG
The Illusion of Certainty: Uncertainty Quantification for LLMs Fails under Ambiguity
School of Computation, Information;Technology \& Munich Data Science Institute - Technical University of Munich
本研究揭示了在歧义环境下LLM的不确定性量化方法存在缺陷,提出了MAQA*和AmbigQA*数据集以评估模型在歧义数据上的表现。
2026-01-29 cs.CL cs.LG
Improved and Efficient Conversational Slot Labeling through Question Answering
PolyAI Limited(PolyAI有限公司)
基于transformer的预训练语言模型(PLM)在大多数自然语言理解(NLU)任务中提供了无与伦比的性能,包括一系列问答(QA)任务。我们假设QA方法的改进也可以直接用于对话NLU;但是,对话任务必须是\textit{reformatted}到QA任务。特别是,我们专注于建模和研究\textit{slot labeling}(SL),NLU对话的一个重要组成部分,通过QA光学,旨在提高其性能和效率,并使其更有效和更有弹性地处理有限的任务数据。为此,我们做了一系列的贡献:1)我们演示了QA调整的PLM如何应用于SL任务,达到新的最先进的性能,在这种低数据制度中特别明显的大增益。2)我们建议利用上下文信息,需要解决模糊的值,简单地通过自然语言。3)通过使用轻量级而有效的适配器模块,提高了面向QA的微调的效率和紧凑性。4)权衡了QA数据集的一些质量,我们用更大的自动生成的QA数据集进行QA调优,达到了更高的性能。最后,我们的分析表明,我们的新的基于QA的插槽标签模型,支持的PLM,达到高数据制度的性能上限,要求在未来的工作更具挑战性和更细致入微的基准。
2022-04-05 cs.CL
IQA-EVAL: Automatic Evaluation of Human-Model Interactive Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
提出自动评估框架 IQA-EVAL,利用基于 LLM 的评估智能体(LEA)模拟人类行为并自动评估交互,在 IQA 任务上实现与人类评估的高度相关,显著降低评估成本。
2024-11-16 cs.CL
Improving Question Answering with External Knowledge
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cornell University(康奈尔大学);Tencent AI Lab(腾讯人工智能实验室)
我们专注于科学等学科领域的多项选择问答(QA)任务,我们需要广泛的背景知识和来自给定学科领域参考语料库的事实。在这项工作中,我们探索简单而有效的方法,利用两个来源的外部知识的主题领域的QA。第一种方法利用从开放域资源提取的相关文本片段来丰富原始主题领域参考语料库(即,维基百科),涵盖了问题和答案选项中潜在的模糊概念。与其他QA研究一样,第二种方法通过添加额外的域内主题领域实例来简单地增加训练数据的量。三个具有挑战性的多项选择科学QA任务的实验(即,ARC-Easy、ARC-Challenge和OpenBookQA)证明了我们方法的有效性:与以前的最先进技术相比,我们分别获得了高达8.1%、13.0%和12.8%的准确度绝对增益。虽然我们观察到一致的收益时,我们从维基百科引入的知识,我们发现,采用额外的QA训练实例是不是统一的帮助:性能下降时,增加的实例表现出更高的难度比原来的训练数据。作为利用非结构化外部知识进行主题领域QA的第一批研究之一,我们希望我们的方法,观察和讨论暴露的局限性可能会揭示该领域的进一步发展。
2019-10-01 cs.CL
Grover's Algorithm for Question Answering
Institute for Theoretical Physics, Utrecht University(乌得勒支大学理论物理研究所);Center for Complex Systems Studies, Utrecht University(乌得勒支大学复杂系统研究中心);Utrecht Institute of Linguistics OTS, Utrecht University(乌得勒支大学语言学OTS研究所)
Grover的算法是一种众所周知的量子搜索算法,它允许人们在数据库中找到正确的项,并具有二次加速。在本文中,我们适应格罗弗的算法的问题,找到一个正确的答案,以英语的自然语言问题,从而有助于不断增长的领域的量子自然语言处理。使用可以被解释为张量收缩的语法,每个单词被表示为作为量子线路的输入的量子态。我们在这里引入一种量子测量来收缩单词的表示,从而产生更大文本片段的表示。使用这个框架,问题的表示被发现,包含所有可能的答案在平等的量子叠加,并允许建立一个神谕,可以检测到一个正确的答案,是不可知的具体问题。此外,我们表明,我们的建设可以处理某些类型的歧义短语保持在量子叠加的各种不同的意义。
2022-01-27 cs.CL quant-ph
Lexical Disambiguation in Natural Language Questions (NLQs)
Islamic Science University of Malaysia(马来西亚伊斯兰科学大学);Zarqa University(扎尔卡大学)
问题处理是问答应用中的一个基本环节,其质量直接影响问答应用的性能。如何从自然语言问句中提取语义是问句处理的主要难题。人类的语言是模棱两可的。歧义可能出现在两个层面上:词汇和句法。本文提出了一种新的方法来解决词汇歧义问题,通过整合上下文知识和概念知识的领域,到浅层自然语言处理(SNLP)技术。概念知识使用本体建模,而上下文知识从WordNet获得,并基于问题中的邻近词确定。该方法将被应用到一个大学的QA系统。
2017-09-26 cs.AI cs.CL
HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs
Fujitsu Research India(富士通印度研究院);Indian Institute of Science(印度科学学院)
HOLMES提出用上下文感知且经蒸馏压缩的超关系知识图谱作为LLM输入,以降低多跳问答中的信息处理开销,相比SoTA最多减少67%的token,并在HotpotQA和MuSiQue上取得一致提升。
2024-06-10 cs.CL
Asking Clarification Questions to Handle Ambiguity in Open-Domain QA
Seoul National University(首尔大学);Chung-Ang University(中央大学);NAVER AI Lab(NAVER AI实验室);NAVER Cloud(NAVER云);University of Richmond(里士满大学);KAIST AI(韩国科学技术院人工智能研究所);Samsung Electronics Mobile eXperience(三星电子移动体验部门)
针对开放域问答中的歧义问题,提出通过提问澄清问题来识别用户意图,构建了CAMBIGNQ数据集并设计了任务流程与评估指标,取得了61.3和40.5的F1分数作为基线。
2023-10-25 cs.CL
Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph
IBM Research AI(IBM研究院人工智能);I.I.T. Madras(马德拉斯印度理工学院);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
在与聊天机器人交谈时,人类通常会提出许多问题,其中很大一部分可以通过参考大规模知识图谱(KG)来回答。虽然问答(QA)和对话系统已经被独立研究,但有必要仔细研究它们,以评估涉及这两项任务的机器人所面临的现实场景。为此,我们引入了复杂的顺序QA的任务,它结合了两个任务:(i)通过复杂的推理回答事实问题,通过一个现实大小的KG的数百万个实体,和(ii)学习交谈,通过一系列连贯的QA对。通过一个劳动密集型的半自动过程,包括内部和众包的工作人员,我们创建了一个包含大约20万个对话框的数据集,总共有160万个回合。此外,与包含可以从单个元组回答的简单问题的现有大规模QA数据集不同,我们对话框中的问题需要KG的更大子图。具体来说,我们的数据集有一些问题需要逻辑推理、定量推理和比较推理以及它们的组合。这就要求模型,它可以:(一)解析复杂的自然语言的问题,(二)使用会话上下文来解决话语中的共指和省略,(三)要求澄清模糊的查询,最后(四)检索相关的子图的KG回答这样的问题。然而,我们结合最先进的对话和QA模型的实验表明,它们显然没有实现上述目标,并且不足以处理如此复杂的现实世界设置。我们相信,这一新的数据集加上本文所报道的现有模型的局限性,应该鼓励进一步研究复杂的顺序QA。
2018-10-04 cs.CL
Research on Vision-Language Question Answering Models for Industrial Robots
Shandong Management University(山东管理大学);Maria Curie-Sklodowska University(玛丽·居里-斯洛多夫斯卡大学)
本文提出一种层次交叉模态融合模型,解决工业机器人中语义模糊、复杂环境布局和领域术语的问题,通过多级特征融合提升问答可靠性。
2026-05-02 cs.AI cs.CV
If Only My CGM Could Speak: A Privacy-Preserving Agent for Question Answering over Continuous Glucose Data
Dartmouth College(达特茅斯学院);Emory University(埃默里大学)
本文提出CGM-Agent框架,通过本地计算实现隐私保护的连续葡萄糖数据问答,评估显示顶级模型在合成和现实查询中准确率分别为94%和88%。
2026-04-18 cs.AI cs.CR
RECODE: Reasoning Through Code Generation for Visual Question Answering
RECODE通过代码生成实现视觉问答的可验证推理,优于传统方法。
2026-03-10 cs.AI cs.CV cs.LG
Tree of Clarifications: Answering Ambiguous Questions with Retrieval-Augmented Large Language Models
Korea University(高丽大学);NAVER Cloud(NAVER云);NAVER AI Lab(NAVER人工智能实验室);KAIST AI(韩国科学技术院人工智能学院);University of Richmond(里士满大学)
针对开放域问答中的模糊问题,提出Tree of Clarifications (ToC)框架,通过少样本提示和外部知识递归构建消歧树并生成长篇答案,在ASQA基准上超越现有基线及部分全监督方法。
2023-10-23 cs.CL
Interpretable LLM-based Table Question Answering
Auburn University(阿伯拉姆大学);J.P. Morgan(摩根大通);NVIDIA(英伟达)
提出Plan-of-SQLs方法,将问题分解为原子步骤并转化为可执行SQL,实现表格问答的可解释性,在保证准确率的同时显著提升效率与透明度。
2025-06-28 cs.CL cs.LG
MedPT: A Massive Medical Question Answering Dataset for Brazilian-Portuguese Speakers
本文提出MedPT数据集,包含384,095个真实患者-医生问答对,覆盖3200多种健康问题,通过多阶段筛选流程和LLM标注,实现了高语义丰富度,用于医疗专业分类任务,达到94%的F1分数。
2026-03-16 cs.CL
ManyModalQA: Modality Disambiguation and QA over Diverse Inputs
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一个新的多模态问答的挑战,ManyModalQA,其中代理必须回答一个问题,考虑三个不同的方式:文本,图像和表格。我们通过抓取维基百科来收集数据,然后利用众包来收集问答对。我们的问题是模棱两可的,因为包含答案的模态不容易仅仅根据问题来确定。为了证明这种模糊性,我们构建了一个模态选择器(或消歧器)网络,与现有的数据集相比,这个模型在我们的挑战集上的准确性要低得多,这表明我们的问题更加模糊。通过分析这个模型,我们研究了问题中哪些词是情态指示词。接下来,我们构建一个简单的基线ManyModalQA模型,该模型基于模态选择器的预测,触发相应的预训练的最先进的单峰QA模型。我们专注于为社区提供一个新的多模态评估集,只提供一个微调集,期望现有的数据集和方法将被转移到大部分训练中,以鼓励低资源泛化,而无需为每个新任务提供大型的单一训练集。我们的基线模型和人类表现之间存在显著差距;因此,我们希望这一挑战能够鼓励端到端模态消歧和多模态QA模型以及迁移学习的研究。代码和数据可在https://github.com/hannandarryl/ManyModalQA上获得
2020-01-22 cs.AI cs.CL cs.CV
LELA: an LLM-based Entity Linking Approach with Zero-Shot Domain Adaptation
Télécom Paris Institut Polytechnique de Paris(巴黎电信理工学院)
LELA是一种基于大语言模型的实体链接方法,通过零样本领域适应实现高效准确的实体链接,优于传统微调方法。
2026-08-07 cs.CL
A Gaze-grounded Visual Question Answering Dataset for Clarifying Ambiguous Japanese Questions
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);Tokyo University of Science(东京理科大学)
针对日语省略主宾语导致的VQA歧义问题,提出基于注视的GazeVQA数据集及利用注视目标估计结果提升任务准确率的方法,实验验证了其有效性并指出待改进问题。
2024-03-26 cs.CL cs.CV