UKP-SQuARE: An Interactive Tool for Teaching Question Answering
Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Department of Computer Science(计算机科学系);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Technical University of Darmstadt(达姆施塔特工业大学)
本文提出 QA 教育平台 UKP-SQuARE,通过交互式运行、比较与分析多种模型,支持以学习者为中心的 NLP 教学,并在研究生课程中获得积极反馈。
2023-06-02 cs.CL
KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);The University of Osaka(大阪大学)
本文提出首个面向医学、金融和法律领域的多轮长文本问答基准KnowMT-Bench,通过动态评测揭示多轮上下文导致的事实性下降与信息效率降低,并验证RAG可有效缓解该退化。
2026-10-27 cs.CL
Interactive Language Learning by Question Answering
Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔综合理工学院);Université de Montréal(蒙特利尔大学);Mila(米拉研究院)
人类通过观察和与世界互动来获取知识。然而,大多数现有的机器阅读理解(MRC)的任务错过了互动,信息寻求理解的组成部分。这些任务为模型提供包含所有必要信息的静态文档,这些信息通常集中在一个简短的子字符串中。因此,模型可以通过简单的基于单词和短语的模式匹配来实现强大的性能。我们解决这个问题,制定一个新的基于文本的问答任务:问答与交互式文本(QAit)。在QAit中,代理必须与部分可观察的基于文本的环境进行交互,以收集回答问题所需的信息。QAit提出了关于环境中物体的存在、位置和属性的问题。这些数据是使用基于文本的游戏生成器构建的,该生成器定义了与环境交互的基本动态。我们提出并评估了一组基线模型的QAit任务,包括深度强化学习代理。实验表明,这项任务对机器阅读系统来说是一个重大挑战,而人类相对容易地解决了它。
2019-08-28 cs.CL cs.LG
MHQA: A Diverse, Knowledge Intensive Mental Health Question Answering Challenge for Language Models
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究针对心理健康问答缺乏标准基准的问题,构建了覆盖四大领域、多类题型的MHQA数据集,含专家验证金标数据与伪标注数据,并测试了不同大语言模型的性能。
2025-02-21 cs.CL
Interactive Question Answering Systems: Literature Review
Polytechnic University of Bari(巴里理工大学)
本综述系统梳理交互式问答系统,提出统一框架与分类法,分析其方法、评估及数据集,并展望未来趋势,附GitHub资源汇总。
2024-04-19 cs.AI cs.CL cs.HC
IQA: Interactive Query Construction in Semantic Question Answering Systems
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);L3S Research Center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
语义问答(SQA)系统根据语义查询自动解释以自然语言表达的用户问题。这个过程涉及不确定性,使得结果查询并不总是准确地匹配用户意图,特别是对于更复杂和不太常见的问题。在本文中,我们的目标是使用户能够通过交互引导SQA系统实现预期的语义查询。我们介绍了IQA -一种SQA管道的交互方案。该方案促进了问答过程中用户反馈的无缝集成,并依赖于选项增益-一种新颖的度量,能够实现高效和直观的用户交互。我们的评估表明,使用所提出的计划,即使是少量的用户交互可以导致显着改善SQA系统的性能。
2020-06-25 cs.CL cs.IR
A Context-aware Attention Network for Interactive Question Answering
UNC Charlotte(北卡罗来纳大学夏洛特分校);NEC Laboratories America(NEC美国实验室);University of Arizona(亚利桑那大学)
在编码器-解码器框架中的基于神经网络的序列到序列模型已经成功地应用于解决问答(QA)问题,从陈述和问题预测答案。然而,几乎所有以前的模型都没有考虑详细的上下文信息和未知状态,在这些状态下,系统没有足够的信息来回答给定的问题。在交互式问答(IQA)中,这些信息不完整或模糊的场景非常常见。为了解决这一挑战,我们开发了一种新的模型,采用上下文相关的词级注意力更准确的陈述表示和问题引导的话语级注意力更好的上下文建模。我们还生成了独特的IQA数据集来测试我们的模型,这些数据集将公开提供。采用这些注意力机制,我们的模型准确地理解什么时候可以输出答案,或者什么时候需要根据不同的上下文生成补充问题以进行额外的输入。当可用时,用户的反馈被编码并直接应用于更新任务级注意力以推断答案。QA和IQA数据集上的大量实验定量地证明了我们的模型的有效性,与最先进的传统QA模型相比有显着的改进。
2017-09-03 cs.CL cs.LG
PaniniQA: Enhancing Patient Education Through Interactive Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Emory University(埃默里大学);Northeastern University(东北大学);UMass Chan Medical School(马萨诸塞大学陈医学院);University of Minnesota(明尼苏达大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
本文提出以患者为中心的交互式问答系统 PaniniQA,通过识别出院指导中的关键临床内容、生成个性化问题并验证答案,帮助患者理解和掌握医疗指导。
2023-08-21 cs.AI cs.CL
MRAG: A Modular Retrieval Framework for Time-Sensitive Question Answering
Nanyang Technological University(南洋理工大学);Alibaba-NTU JRI(阿里巴巴-南洋理工大学联合研究院);NYU Shanghai(上海纽约大学);Zhejiang University(浙江大学);Center for Data Science, New York University(纽约大学数据科学中心)
针对大语言模型问答系统在时间敏感问题上的推理短板,该研究提出无需训练的模块化检索框架MRAG,构建TempRAGEval基准,实验证明其检索性能和答案准确率均优于基线方法。
2025-05-21 cs.CL
A Comprehensive Evaluation of GPT-4V on Knowledge-Intensive Visual Question Answering
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文从常识知识、细粒度世界知识和具有决策依据的综合知识三个视角全面评估了GPT-4V等MLMs在知识密集型VQA任务上的能力,发现其在处理世界知识时存在严重幻觉,并验证了视觉知识增强训练与提示技术的改进潜力。
2024-08-24 cs.CL
MCR-Net: A Multi-Step Co-Interactive Relation Network for Unanswerable Questions on Machine Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
问答系统通常使用关键字搜索来检索与问题相关的潜在段落,然后使用机器阅读理解方法从段落中提取答案。然而,在现实世界中,许多问题往往是无法回答的。在这种情况下,模型如何确定文章不支持答案并避免回答是重要且具有挑战性的。现有的系统大多设计了一个简单的分类器来隐式地确定可回答性,而没有显式地建模问题和段落之间的相互作用和关系,导致确定不可回答问题的性能较差。为了解决这个问题,我们提出了一个多步骤的协同交互关系网络(MCR-Net),明确地建模的相互作用,并通过引入一个协同交互关系模块定位从粗到细的关键线索。协同交互关系模块包含交互和融合块的堆栈,以显式方式连续集成和融合历史引导和当前查询引导的线索。在SQuAD 2.0和DuReader数据集上的实验表明,我们的模型取得了显着的改善,优于文献中的BERT风格的基线。可视化分析也验证了问题与篇章互动的重要性。
2021-05-24 cs.CL
LLMs Meet Long Video: Advancing Long Video Question Answering with An Interactive Visual Adapter in LLMs
Harbin Institute of Technology(哈尔滨工业大学)
针对长视频理解中计算成本高、视觉清晰度降低和无关 token 干扰的问题,提出在 LLM 内部集成交互式视觉适配器(IVA),通过时间帧选择器和空间特征交互器捕获细粒度视觉信号,显著提升了长视频问答任务的性能。
2024-08-25 cs.CL cs.CV
Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering
University of Science and Technology of China(中国科学技术大学);National Research Council Canada(加拿大国家研究委员会);iFLYTEK Research(科大讯飞研究院);York University(约克大学)
在过去的几年里,人们对探索基于神经网络的机器理解(MC)和问答(QA)模型产生了浓厚的兴趣。在本文中,我们接近的问题密切建模问题的神经网络框架。我们首先引入句法信息来帮助编码问题。然后,我们将不同类型的问题和它们之间共享的信息视为一个适应任务,并为它们提出了适应模型。在斯坦福大学的问答数据集(SQuAD),我们表明,这些方法可以帮助获得更好的结果超过竞争基线。
2017-03-25 cs.CL
Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks
The Alan Turing Institute(艾伦·图灵研究所);King’s College London(伦敦国王学院);University of Southampton(南安普顿大学)
针对现有QA系统及RAG在复杂推理上的不足,提出通过LLM自动生成基于上下文的问答对来微调模型的方法,实验证明该方法可提升模型逻辑与事实准确性,Mistral-7b-v0.3表现优于Llama-3-8b。
2025-05-20 cs.AI cs.CL
WebCPM: Interactive Web Search for Chinese Long-form Question Answering
Tsinghua University(清华大学);ModelBest Inc.(模数最佳公司);Tencent Inc.(腾讯公司);Renmin University of China(中国人民大学)
本文提出首个中文长文本问答数据集WebCPM,基于交互式网络搜索收集5500个问答对,并微调模型模仿人类搜索行为生成答案,在数据集和DuReader上分别有32.5%和47.5%的答案不亚于人工撰写。
2023-05-23 cs.AI cs.CL cs.IR
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol(布里斯托大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
对于许多NLP应用程序,例如问答和摘要,目标是从大量候选项中选择最佳解决方案,以满足特定用户的需求。为了解决缺乏用户特定的训练数据,我们提出了一个交互式的文本排名方法,积极选择对候选人,用户从中选择最好的。与以前的策略不同,这些策略试图在整个候选空间中学习排名,我们的方法采用贝叶斯优化,将用户的标签工作集中在高质量的候选人上,并以贝叶斯方式整合先验知识,以更好地应对小数据场景。我们将我们的方法应用于社区问答(cQA)和提取摘要,发现它显着优于现有的交互式方法。我们还表明,通过我们的方法学习的排名函数是强化学习的有效奖励函数,它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
A Memory Efficient Baseline for Open Domain Question Answering
Facebook AI Research(脸书人工智能研究院);ENS, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院)
近年来,基于密集表示的检索系统在开放域问答和相关任务中取得了重要的进展。虽然非常有效,但这种方法也是内存密集型的,因为整个知识源的密集向量需要保存在内存中。在本文中,我们研究如何密集的检索器-读者系统的内存占用可以减少。我们考虑了三种策略来减少索引大小:降维、矢量量化和通道滤波。我们评估我们的方法上的两个问答基准:TriviaQA和NaturalQuestions,表明它是可能的,以获得有竞争力的系统使用不到6 GB的内存。
2020-12-30 cs.CL
Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework
该研究针对多模态问答的模态偏差、知识不确定性与推理深度不足问题,提出多模态生成模糊系统(MMGFS),通过多模态协同沉思机制与模糊规则多跳推理实现性能提升,在多数据集上优于现有方法。
2026-08-18 cs.AI cs.CL
QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering
QA-Dragon通过引入领域路由器和搜索路由器,实现多模态、多轮和多跳推理,提升复杂视觉问答任务的推理性能,实验显示其在单源、多源和多轮任务中均优于基线模型。
2026-03-15 cs.AI cs.CL cs.CV
QADiver: Interactive Framework for Diagnosing QA Models
Yonsei University(延世大学);Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院)
问答(QA)从文本中提取自然语言中给定问题的答案,已经得到了积极的研究,现有的模型已经显示出在使用SQuAD数据集进行训练和评估时优于人类性能的承诺。然而,这样的性能在实际设置中可能无法复制,为此我们需要诊断原因,由于模型的复杂性,这是不平凡的。因此,我们提出了一个基于Web的用户界面,提供每个模型如何有助于QA性能,通过集成可视化和分析工具的模型解释。我们希望这个框架可以帮助QA模型研究人员完善和改进他们的模型。
2018-12-01 cs.CL
KGI: An Integrated Framework for Knowledge Intensive Language Tasks
IBM Research AI(IBM研究院人工智能部门)
在本文中,我们提出了一个系统来展示最新的国家的最先进的检索增强生成模型的知识密集型语言任务,如插槽填充,开放域问答,对话和事实检查的培训能力。此外,给定一个用户查询,我们展示了如何将这些不同模型的输出相结合,以交叉检查彼此的输出。特别是,我们展示了如何在对话的准确性可以提高使用的问答模型。我们还发布了演示中使用的所有模型,作为本文的贡献。演示该系统的简短视频可在https://ibm.box.com/v/emnlp2022-demo上获得。
2022-09-22 cs.AI cs.CL cs.LG
Trick Me If You Can: Human-in-the-loop Generation of Adversarial Examples for Question Answering
University of Maryland(马里兰大学);Studio Ousia(Ousia工作室)
对抗评估压力测试模型对自然语言的理解。虽然过去的方法暴露了肤浅的模式,但由此产生的对抗性例子在复杂性和多样性方面是有限的。我们提出了人在回路对抗生成,其中人类作者被引导打破模型。我们通过交互式用户界面帮助作者解释模型预测。我们将此生成框架应用于一个名为Quizbowl的问答任务,其中琐事爱好者制作对抗性问题。由此产生的问题通过实时人机匹配进行验证:尽管这些问题对人类来说很普通,但它们系统地难倒了神经和信息检索模型。对抗性问题涵盖了从多跳推理到实体类型干扰的各种现象,暴露了鲁棒问答中的开放性挑战。
2019-07-16 cs.CL
VisKoP: Visual Knowledge oriented Programming for Interactive Knowledge Base Question Answering
Tsinghua University(清华大学);Beijing Caizhi Technology Co., Ltd.(北京才志科技有限公司)
VisKoP 是一个将人类纳入循环的交互式知识库问答系统,通过将自然语言问题转换为 KoPL 程序并映射为可编辑图形元素,配合高效执行引擎,使用户能通过图形操作和中间结果调试来修正错误查询,从而在百万实体级知识库上高效获得正确答案。
2023-07-06 cs.CL cs.HC
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Multi-task Retrieval for Knowledge-Intensive Tasks
Facebook AI(脸书人工智能研究院)
从大型语料库中检索相关上下文是开放领域问答和事实核查等任务的关键步骤。虽然神经检索优于传统方法,如tf-idf和BM 25,但当应用于域外数据时,其性能会大大降低。由于神经检索模型是否具有通用性并在各种问题上表现稳健,我们提出了一种多任务训练模型。我们的方法不仅优于以前的方法在Few-Shot设置,而且竞争对手专门的神经检索器,即使在域训练数据是丰富的。在我们的检索器的帮助下,我们改进了下游任务的现有模型,并在多个基准上密切匹配或改进了最先进的模型。
2021-01-01 cs.CL
S3Mem: Structured Spatiotemporal Scene-Event Memory for Long-Horizon Interactive Question Answering
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);The University of Sydney(悉尼大学);Beihang University(北航)
提出S3MEM框架,通过结构化场景-事件记忆和锚点敏感检索,在长时域交互式问答中实现比通用记忆接口更优的准确率-效率平衡。
2026-06-08 cs.AI cs.CL
Visual-RAG: Benchmarking Text-to-Image Retrieval Augmented Generation for Visual Knowledge Intensive Queries
Visual-RAG基准通过要求文本到图像检索并整合视觉证据来评估多模态大语言模型在视觉知识密集型问答中的表现,发现现有模型仍难以高效利用视觉知识。
2025-08-15 cs.CL cs.CV
Semi-interactive Attention Network for Answer Understanding in Reverse-QA
Tianjin University(天津大学);NLPR, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Shanghai for Science(上海理工大学)
问答系统是自然语言处理的重要任务之一,受到学术界和工业界的广泛关注。现有的QA研究假设问题由人类提出,答案由机器生成。然而,在许多实际应用中,机器也需要确定人类的需求或感知人类的状态。在这种情况下,机器可能会主动提出问题,人类提供答案。随后,机器应该尝试理解这些答案的真正含义。这种新的QA方法在本文中被称为反向QA(rQA)。在这项工作中,通过将答案分类到预定义的答案标签类别(例如,真、假、不确定)。为了探索问题和答案之间的关系,我们使用交互式注意网络(IAN)模型,并提出了一种改进的结构称为半交互式注意网络(Semi-IAN)。编制了两个中国rQA数据集。我们评估了几个传统的文本分类模型进行比较,实验结果表明,我们提出的模型的性能良好。
2019-01-12 cs.CL
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University(斯坦福大学)
在本文中,我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构,利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构,我们的系统试图提取上下文单词表示在单词和字符的水平,更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止,我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models
CerCo, CNRS(CerCo与法国国家科学研究中心);University of California San Diego(加州大学圣地亚哥分校)
本文提出以交际成功作为奖励信号训练交互式语言模型,在纯语言问答设定中验证该奖励可间接反映语法性,并通过强化学习实验发现认知合理约束能改变说话者行为,但尚未提升语言评估表现。
2025-05-09 cs.CL
Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks
University of Washington(华盛顿大学);Microsoft Semantic Machines(微软语义机器公司);Allen Institute for AI(艾伦人工智能研究所)
检索增强生成模型在许多知识密集型NLP任务(如开放式问答和事实验证)中表现出最先进的性能。这些模型经过训练,在给定检索到的段落的情况下生成最终输出,这些段落可能与原始查询无关,从而导致学习虚假线索或答案记忆。这项工作介绍了一种方法,将证据的段落-是否包含正确的证据,以支持输出-到训练的生成器。我们引入了一个多任务学习框架来联合生成最终输出并预测每个段落的证据,利用一种新的任务不可知的方法来获得银证据标签进行监督。我们在三个知识密集型任务的五个数据集上进行的实验表明,我们新的证据引导生成器在相同大小的模型上的性能明显优于其直接对应的生成器,并提高了FaVIQ-Ambig的最新技术水平。我们将这些改进归功于辅助多任务学习和银证据挖掘技术。
2022-05-14 cs.CL
Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering
Microsoft Research(微软研究院);Microsoft Semantic Machines(微软语义机器公司)
提出TASER架构,通过交替共享和特化块实现参数共享,在五个问答数据集上以约60%参数超越BM25及双编码器,提升准确率与域外鲁棒性。
2023-05-22 cs.CL
iTBLS: A Dataset of Interactive Conversations Over Tabular Information
Georgia Tech(佐治亚理工学院);Google Inc.(谷歌公司)
本文提出iTBLS交互式表格对话数据集及将表格操作重构为问答的新框架,在多个任务上显著超越基线,并在文本到表格任务中实现最高16%的性能提升。
2025-08-19 cs.AI cs.CL cs.LG
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada(加拿大国家银行)
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中,用户经常将他们的信息需求表述为简短且模糊的查询,一些流行的搜索界面然后提示用户确认她的意图(例如,“你的意思是...... ?“),或在必要时重新措辞。当涉及到对话系统时,流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下,向用户给出以下响应之一:1)直接回答,如果意图不清楚,则可能是不相关的,2)通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此,我们提出了一个多阶段的澄清机制,提示澄清和查询选择的上下文中的问答对话系统。我们表明,我们提出的机制提高了整体用户体验,并优于竞争基线与两个数据集,即公共范围内的范围外的数据集和商业数据集的基础上,真正的用户日志。
2021-10-28 cs.CL
TableQAKit: A Comprehensive and Practical Toolkit for Table-based Question Answering
University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology Beijing(北京科技大学);Tsinghua University(清华大学)
本文介绍了TableQAKit,首个专为基于表格问答(TableQA)设计的全面实用工具包,集成了丰富的数据集、流行方法及大型语言模型,并在部分数据集上取得新SOTA,同时提供了基于LLM的TableQA基准。
2023-10-23 cs.CL
Web-Based Question Answering: A Decision-Making Perspective
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们描述了一个调查的概率模型和成本效益分析,以指导资源密集型的基于Web的问答系统使用的程序。首先,我们提供了一个综述问答系统的研究。然后,我们详细介绍了AskMSR,一个基于Web的问答系统的原型。我们讨论了贝叶斯分析的系统生成的答案的质量,并显示我们如何可以赋予系统的能力,作出决定的数量的查询发出的搜索引擎,查询的成本和预期值的查询结果,在精炼的最终答案。最后,我们回顾了一组实验的结果。
2012-10-19 cs.CL cs.IR
Chain-of-Skills: A Configurable Model for Open-domain Question Answering
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出模块化检索器Chain-of-Skills,将关键检索技能建模为可复用模块,通过稀疏Transformer参数化缓解任务干扰,并利用多任务预训练与微调,在NQ、HotpotQA和OTT-QA上取得领先检索性能。
2023-05-26 cs.CL
BERT-CoQAC: BERT-based Conversational Question Answering in Context
Macquarie University(麦考瑞大学);The University of Adelaide(阿德莱德大学)
问答对话系统作为一种通过与机器人对话来查询任何特定信息的有前途的方式,近年来获得了越来越多的研究兴趣。交互式问答系统的设计一直是自然语言处理领域的一项具有挑战性的任务,并被用作评估机器自然语言理解能力的基准。然而,这样的系统往往挣扎时,问题回答是由用户在多个回合,以寻求更多的信息的基础上,他们已经学会了,因此,引起了另一个复杂的形式称为会话问答(CQA)。CQA系统经常被批评在回答问题时不理解或利用对话的先前上下文。为了弥补这一研究空白,本文探讨了如何将会话历史整合到神经机器理解系统中。一方面,我们引入了一个框架的基础上,一个可编程的预先训练的语言模型称为BERT的历史变成系统。另一方面,我们提出了一个历史选择机制,选择相关的,并有助于回答当前问题的回合。实验结果表明,我们的框架是在性能与国家的最先进的模型在QuAC领导人板。我们还进行了一些实验,以显示使用整个上下文信息的副作用,这带来了不必要的信息和噪声信号,导致模型的性能下降。
2021-04-23 cs.CL
Consensus or Conflict? Fine-Grained Evaluation of Conflicting Answers in Question-Answering
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究);OriginAI
本文提出利用事实验证数据集构建冲突感知多答案问答基准NATCONFQA,要求模型识别所有有效答案并检测冲突答案对,评估揭示现有LLM在处理答案冲突时表现脆弱且策略存在缺陷。
2025-08-17 cs.CL
MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering
Harbin Institute of Technology(哈尔滨工业大学)
针对现有TATQA数据集仅限英语的局限,提出首个多语言TATQA数据集MULTITAT,涵盖10种语言,并开发基线模型Ours,实验显示非英语性能平均下降19.4%,Ours平均领先其他基线3.3。
2025-02-24 cs.CL
Building a Question Answering System for the Manufacturing Domain
ZheJiang University of Technology(浙江工业大学)
特种设备产品的设计或仿真分析必须遵循国家标准,因此在设计过程中可能需要反复查阅标准内容。而传统的基于关键词检索的问答系统很难对技术问题给出准确的答案。因此,我们采用自然语言处理技术,设计了一个压力容器设计决策过程的问答系统。针对科技类问答系统训练数据不足的问题,提出了一种从多个维度对陈述句生成问题的方法,使得陈述句可以生成多个问答对。此外,我们设计了一个基于双向长短期记忆(BiLSTM)网络的交互式注意力模型,以提高两个问句相似性比较的性能。最后,在公共和技术领域数据集上测试了问答系统的性能。
2021-11-19 cs.AI cs.CL
ScienceWorld: Is your Agent Smarter than a 5th Grader?
University of Arizona(亚利桑那大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
我们目前的ScienceWorld,一个基准测试代理的科学推理能力在一个新的交互式文本环境中的一个标准的小学科学课程的水平。尽管在问答和科学文本处理中看到了基于transformer的进步,但我们发现,当前的模型无法在新的背景下推理或解释所学的科学概念。例如,模型可以很容易地回答已知材料的导电性是什么,但当被问及如何在接地环境中进行实验以找到未知材料的导电性时,模型就很难回答了。这就引出了一个问题,即当前的模型是否只是通过查看大量类似的示例来检索答案,或者它们是否已经学会了以可重用的方式对概念进行推理。我们假设,代理需要接地在交互式环境中实现这样的推理能力。我们的实验提供了支持这一假设的经验证据--表明一个150万参数的交互式训练10万步的智能体,优于一个110亿参数的静态训练模型,用于科学问答和数百万专家演示的推理。
2022-11-14 cs.AI cs.CL
Retrieval-augmented Generation to Improve Math Question-Answering: Trade-offs Between Groundedness and Human Preference
Digital Harbor Foundation(数字港湾基金会);University of Utah(犹他大学);University of Florida(佛罗里达大学);University of Oxford(牛津大学);Rising Academies
本文提出使用检索增强生成(RAG)结合开源数学教科书来改进中学数学问答,通过多条件调查发现人类偏好RAG回答,但需权衡回答的接地性与学生偏好。
2023-11-11 cs.CL cs.HC
Mobile App Tasks with Iterative Feedback (MoTIF): Addressing Task Feasibility in Interactive Visual Environments
Boston University(波士顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
近年来,视觉语言研究已转向研究需要更复杂推理的任务,如交互式问答,视觉常识推理和问答可解释性预测。然而,用于这些问题的数据集未能捕捉到真实输入和多模态环境的复杂性,例如模糊的自然语言请求和多样化的数字域。我们介绍了具有迭代反馈的移动应用任务(MoTIF),这是一个具有自然语言命令的数据集,适用于迄今为止最多的交互式环境。MoTIF是第一个包含交互式环境的自然语言请求是不能满足的,我们获得了这个子集上的后续问题,使研究任务的不确定性解决方案。我们进行了初步的可行性分类实验,F1得分仅为37.3,验证了需要更丰富的视觉语言表示和改进的架构来推理任务的可行性。
2021-04-17 cs.CL cs.CV
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London(伦敦大学学院);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Edinburgh(爱丁堡大学)
对外部知识的访问对于许多自然语言处理任务(例如问答和对话)是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型,或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势,我们提出了高效内存增强的Transformer(EMAT)-它将外部知识编码到键值内存中,并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务,使EMAT编码信息的键值表示,并学习一个隐式的策略,将多个内存插槽到Transformer。在各种知识密集型任务(如问答和对话数据集)上的实验表明,使用我们的方法简单地增强参数模型(T5-base)会产生更准确的结果(例如,25.8- NQ上的44.3EM),同时保持高吞吐量(例如,1000查询/秒的NQ)。与检索增强模型相比,EMAT在WoW和ELI 5上运行速度更快,结果更准确。我们的代码和数据集可以在https://github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
FedV-KGQA in Practice: Design Lessons and an Interactive Prototype
Rensselaer Polytechnic Institute(伦斯勒理工学院)
FedV-KGQA 在垂直划分的知识图谱上实现多跳问答,通过联邦融合恢复集中式准确率,并总结出锚定与丰富化优先、编码器选择依目标准确率而定等设计经验,同时提供可交互的原型系统。
2026-09-15 cs.AI cs.CL cs.IR
KILT: a Benchmark for Knowledge Intensive Language Tasks
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院);LORIA(洛林计算机科学及其应用实验室);University of Cambridge(剑桥大学);HuggingFace(HuggingFace公司);University of Amsterdam(阿姆斯特丹大学)
诸如开放域问答、事实检查、槽填充和实体链接之类的测试问题需要访问大量的外部知识源。虽然一些模型在个别任务上表现良好,但开发通用模型是困难的,因为除了专用的基础设施之外,每个任务可能需要对自定义知识源进行计算昂贵的索引。为了促进对大型文本资源中特定信息的模型的研究,我们提出了一个知识密集型语言任务(KILT)的基准。KILT中的所有任务都基于维基百科的同一快照,通过重用组件减少了工程周转,并加速了对任务无关内存架构的研究。我们测试特定任务和一般基线,评估下游性能以及模型提供出处的能力。我们发现,一个共享的密集矢量索引加上seq2seq模型是一个强大的基线,优于更多的量身定制的方法,事实检查,开放域问答和对话,并产生竞争力的结果,实体链接和插槽填充,通过生成消歧文本。KILT数据和代码可在https://github.com/facebookresearch/KILT上获得。
2021-05-27 cs.AI cs.CL cs.IR
Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs
Technical University of Munich(慕尼黑工业大学);National Institute of Advanced Industrial Science and Technology(日本国立产业技术综合研究所)
本文评估了未显式预训练的大型语言模型在基于知识的会话式问答中的语义解析性能,发现少样本提示和微调能显著提升其生成图查询的能力,尤其对零样本表现较差的小模型效果更佳。
2024-01-03 cs.CL cs.IR
BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering
Harbin Institute of Technology(哈尔滨工业大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
BeamAggR 通过将复杂问题解析为树结构并采用自底向上的束聚合推理,在多跳问答中有效整合多源知识,在四个开放域数据集上比 SOTA 方法提升 8.5%。
2024-06-28 cs.AI cs.CL
Interactive Machine Comprehension with Information Seeking Agents
Microsoft Research(微软研究院);Nanyang Technological University(南洋理工大学);Polytechnique Montréal(蒙特利尔理工学院);Mila(米拉)
现有的机器阅读理解(MRC)模型不能有效地扩展到现实世界的应用,如网络级信息检索和问答(QA)。我们认为,这源于MRC数据集的性质:其中大多数是静态环境,其中支持文档和所有必要的信息都得到了充分的观察。在本文中,我们提出了一种简单的方法,重新构建现有的MRC数据集作为交互式的,部分可观察的环境。具体来说,我们“遮挡”了文档的大部分文本,并添加了上下文敏感的命令,以揭示模型中隐藏文本的“一瞥”。我们重新SQuAD和NewsQA作为一个初步的案例研究,然后展示如何互动语料库可以用来训练模型,寻求相关信息,通过顺序决策。我们相信,这种设置可以有助于将模型扩展到Web级QA场景。
2020-04-16 cs.CL cs.LG stat.ML
EDUQA: Educational Domain Question Answering System using Conceptual Network Mapping
Million Sparks Foundation(百万星火基金会)
大多数现有的问答模型可以在很大程度上被编译成两类:i)开放域问答模型,其回答通用问题并使用大规模知识库以及目标网络语料库检索;以及ii)封闭域问答模型,其解决集中的提问区域并使用复杂的深度学习模型。上述两种模式都是通过文本理解的方法来得出答案的。由于它们无法捕捉文本内容的教学意义,这些模型不适合教育领域的教学。在本文中,我们提出了一个飞行概念网络模型,结合教育语义。该模型通过在概念网络上应用智能索引算法来保持概念实体之间的相关性,从而提高答案的生成。该模型可用于构建交互式对话代理以帮助课堂学习。
2019-11-12 cs.AI cs.CL cs.LG
Unsupervised Multi-hop Question Answering by Question Generation
National University of Singapore(新加坡国立大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
为多跳问答(QA)获取训练数据是耗时且资源密集的。我们探索了训练一个性能良好的多跳QA模型的可能性,而不需要参考任何人类标记的多跳问答对,即,无监督多跳QA我们提出了MQA-QG,一个无监督的框架,可以从同构和异构的数据源生成类似人类的多跳训练数据。MQA-QG首先从每个数据源中选择/生成相关信息,然后将多个信息集成以形成多跳问题,从而生成问题。仅使用生成的训练数据,我们可以训练一个称职的多跳QA,它分别达到HybridQA和HotpotQA数据集的监督学习性能的61%和83%。我们还表明,预训练的QA系统与生成的数据将大大减少人类注释的训练数据的需求。我们的代码可在https://github.com/teacherpeterpan/Unsupervised-Multi-hop-QA上公开获取。
2021-04-12 cs.AI cs.CL
Simple Baselines for Interactive Video Retrieval with Questions and Answers
Princeton University(普林斯顿大学);University of Cambridge(剑桥大学)
针对现有交互式视频检索方法复杂、性能提升有限的问题,研究提出几种简单有效的问答式交互基线,用VideoQA模型模拟用户交互,无需真实对话数据即可开展研究,在多个数据集上显著提升了文本视频检索性能。
2023-08-21 cs.AI cs.CL cs.CV
Inference Scaled GraphRAG: Improving Multi Hop Question Answering on Knowledge Graphs
North Carolina State University(北卡罗来纳州立大学);Oak Ridge National Laboratory(奥本海默国家实验室)
提出Inference-Scaled GraphRAG框架,通过结合深度思维链图遍历的顺序缩放与多数投票的并行缩放进行推理时计算缩放,显著提升了LLM在GRBench基准上的多跳问答性能。
2025-06-24 cs.AI cs.CL