Dynamic Few-Shot Learning for Knowledge Graph Question Answering
University of Bologna(博洛尼亚大学)
针对大型语言模型在KGQA查询生成及域外泛化上的不足,本文提出融合上下文学习与语义相似性的DFSL方法,并在多基准、多架构配置下验证其先进性能。
2024-07-01 cs.AI cs.CL
Quantifying Uncertainty in Natural Language Explanations of Large Language Models for Question Answering
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学)
本文针对大型语言模型生成的自然语言解释缺乏不确定性保证的问题,提出事后且模型无关的不确定性估计框架及鲁棒估计方法,并在问答任务上验证其有效性。
2025-09-18 cs.CL cs.LG
Bridge the Gap between Language models and Tabular Understanding
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Microsoft(微软);Duke University(杜克大学);Yale University(耶鲁大学);Peking University(北京大学)
在自然语言领域的预训练取得成功后,表预训练-微调范式被提出并迅速应用。尽管表格预训练语言模型(TPLM)的研究结果很有希望,但在预训练和微调阶段之间存在输入差距。例如,用表格和文本输入联合预训练的TPLM对于也具有表格-文本联合输入的任务(如表格问答)可能是有效的,但对于仅具有表格或文本作为输入的任务(如表格检索)可能失败。为此,我们提出UTP,一种动态支持三种类型的多模态输入的方法:表文本,表和文本。具体来说,UTP是用两种策略进行预训练的:(1)我们首先对每种输入使用通用掩码语言建模目标,强制模型适应各种输入。(2)然后,我们提出了跨模态对比正则化(CMCR),它利用对比学习,鼓励表文本跨模态表示之间的一致性,通过无监督的实例在预训练的训练信号。通过这些方法,得到的模型不仅弥合了预训练和微调之间的输入差距,而且还在表格和文本的对齐方面取得了进展。广泛的结果表明,UTP在单模态输入任务(例如,表检索)和跨模态输入任务(例如,表问答)。
2023-02-16 cs.CL
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China(中国科学技术大学)
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval,用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering
Southeast University(东南大学);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University) Ministry of Education(新一代人工智能技术及其交叉应用国家重点实验室);China Mobile Research Institute(中国移动研究院);Monash University(墨尔本大学);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学)
CoTKR通过链式推理增强知识重写方法,提升复杂知识图谱问答性能。
2025-11-20 cs.CL
Neural Task Programming: Learning to Generalize Across Hierarchical Tasks
Stanford Vision & Learning Lab(斯坦福视觉与学习实验室);CS, Caltech(加州理工学院计算机科学系)
在这项工作中,我们提出了一种新的机器人学习框架,称为神经任务编程(NTP),它的桥梁的想法,少样本学习从示范和神经程序归纳。NTP将任务规范(例如,任务的视频演示)并递归地将其分解为更精细的子任务规范。这些规范被馈送到分层神经程序,其中底层程序是与环境交互的可调用子例程。我们验证我们的方法在三个机器人操作任务。NTP在表现出层次结构和组成结构的顺序任务中实现了很强的泛化。实验结果表明,NTP能够很好地泛化到长度不断增加、拓扑结构可变和目标不断变化的不可见任务。
2018-03-14 cs.AI cs.LG cs.RO
ViSTA: A Simple Bridge Extends Visual Alignment to Clinical Time-Series Understanding in Multimodal LLMs
University of Edinburgh(爱丁堡大学);Health Data Research UK(英国健康数据研究中心);University of Toronto(多伦多大学);Western University(西安大略大学)
ViSTA通过紧凑适配器将数值测量融入视觉-语言模型,实现临床时间序列预测与时间问答,在MIMIC-IV上以极少参数达到高准确率。
2026-09-28 cs.AI cs.CL
Sports Intelligence: Assessing the Sports Understanding Capabilities of Language Models through Question Answering from Text to Video
George Mason University(乔治梅森大学);University of California, Irvine(加州大学欧文分校)
针对现有NLP体育理解基准的不足,研究全面评估了主流大语言模型与视频语言模型在多类体育任务上的表现,提出新基准并开展错误分析,为该领域后续研究指明方向。
2024-06-21 cs.CL
KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering
University of Science and Technology of China(中国科学技术大学)
提出KBQA-R1框架,通过强化学习(GRPO)将知识库问答建模为多轮决策过程,并引入参考拒绝采样(RRS)解决冷启动问题,在多个基准上取得最优性能。
2026-06-23 cs.CL
PerMedCQA: Benchmarking Large Language Models on Medical Consumer Question Answering in Persian Language
School of Computer Science Institute for Research in Fundamental Sciences(计算机科学学院基础科学研究研究所);School of Electrical and Computer Engineering University of Tehran(电气与计算机工程学院塔里班大学);Department of Computer Science Faculty of Mathematical Sciences Alzahra University(计算机科学系数学科学学院阿扎赫拉大学)
本文提出PerMedCQA,首个波斯语医学消费者问答基准,含68,138个问答对,并利用MedJudge框架评估多种LLM,揭示多语言医学问答挑战,推动更准确的医学辅助系统开发。
2025-05-23 cs.AI cs.CL
Latent Bridges for Multi-Table Question Answering
EURECOM;University of Antwerp(安特卫普大学)
提出GRAB管道,通过图编码器和潜在桥梁将关系数据转化为紧凑表示,冻结LLM以保持推理能力,在多表问答中显著提升性能。
2026-10-23 cs.AI cs.CL cs.DB
Simple yet Effective Bridge Reasoning for Open-Domain Multi-Hop Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
开放域环境下多跳问答(QA)的一个关键挑战是从大型语料库中准确地检索支持段落。关于开放域QA的现有工作通常依赖于现成的信息检索(IR)技术来检索\textbf{answer passages},即,包含地面实况答案的段落。然而,基于IR的方法对于多跳问题是不够的,因为第二跳或进一步跳的主题没有被问题明确地覆盖。为了解决这个问题,我们引入了一个新的子问题的开放域多跳问答,其目的是识别桥梁(\emph{i.e.},锚链接到答案通道)从上下文的一组开始段落的阅读理解模型。该模型\textbf{bridge reasoner}使用弱监督信号进行训练,并为\textbf{passage reader}生成候选答案通道以提取答案。在完整的wiki HotpotQA基准测试中,我们将基线方法显著改进了14点F1。在不使用任何内存效率低下的上下文嵌入,我们的结果也是具有竞争力的国家的最先进的应用BERT在多个模块。
2019-11-01 cs.CL
DeepSpecs: Expert-Level Questions Answering in 5G
University of California, Los Angeles(加州大学洛杉矶分校)
提出DeepSpecs,一个通过SpecDB、ChangeDB和TDocDB三个元数据库增强结构与时间推理的RAG系统,解决5G规范问答中交叉引用解析与版本演进追踪问题,显著提升答案质量。
2025-11-03 cs.AI cs.CL cs.NI
MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度马德拉斯理工学院);L3Cube Labs(L3Cube实验室)
本研究推出首个马拉地语完整问答数据集MahaSQuAD,并提出将SQuAD翻译为低资源语言的通用方法,有效弥合了问答系统中的语言鸿沟。
2024-04-20 cs.CL cs.LG
Attempto - From Specifications in Controlled Natural Language towards Executable Specifications
从非正式需求中推导出正式规范是困难的,因为必须考虑到应用领域和软件开发的不同概念世界。为了弥合概念上的差距,我们提出了控制自然语言作为一个文本的逻辑正式规格说明。规范语言Attempto Controlled English(ACE)是自然语言的一个子集,可以被计算机准确有效地处理,但表达能力足以允许自然使用。Attempto系统将ACE中的规范转换为话语表示结构和Prolog。所得到的知识库可以在ACE中进行查询以进行验证,并且可以执行该知识库以进行仿真、原型设计和规范验证。
1996-03-12 cmp-lg cs.CL
Bridging the Gap between 2D and 3D Visual Question Answering: A Fusion Approach for 3D VQA
Peking University(北京大学)
本文提出BridgeQA,通过问题条件化2D视图选择与双分支Twin-Transformer结构融合2D和3D信息,以解决3D VQA数据稀缺和视觉多样性不足问题,并在多个数据集上取得最先进性能。
2024-02-24 cs.AI cs.CL cs.CV
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
CoA通过强化学习解决上下文不充分的视觉问答问题,通过生成聚焦问题澄清歧义,提升问答准确性。
2026-10-21 cs.CL
ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering
该研究针对多模态大语言模型视觉问答中存在的物体幻觉问题,提出区域感知模型ReVA,通过双桥接结构融合整图与区域特征,在POPE数据集上将平均F1提升至82.85%,有效改善了视觉接地效果。
2026-09-01 cs.CL cs.CV
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech(弗吉尼亚理工大学);Northeastern University(东北大学);University of Southern California(南加州大学);Miami University(迈阿密大学);Northern Arizona University(北亚利桑那大学)
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景,旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
Towards More Equitable Question Answering Systems: How Much More Data Do You Need?
George Mason University(乔治梅森大学)
英语问答(QA)已被广泛探索,但多语言数据集相对较新,有几种方法试图通过翻译和跨语言迁移使用数据增强来弥合高资源语言和低资源语言之间的差距。在这个项目中,我们后退一步,研究哪些方法可以让我们最大限度地利用现有资源,以产生多种语言的QA系统。具体来说,我们进行了广泛的分析,以衡量Few-Shot方法的自动翻译和上下文问题答案对的排列增强的功效。此外,我们为未来的数据集开发工作提出了建议,这些工作可以更好地利用固定的注释预算,目标是增加QA数据集和系统的语言覆盖率。复制我们实验的代码和数据可以在这里获得:https://github.com/NavidRajabi/EMQA。
2021-05-28 cs.CL
FQuAD2.0: French Question Answering and knowing that you know nothing
Illuin Technology(伊鲁因科技)
问答,包括阅读理解,是NLP研究领域之一,在过去的几年里,由于语言建模的同步进步,已经取得了重大的科学突破。然而,这些突破大多集中在英语上。2020年,作为第一个弥合法语差距的强有力举措,Illuin Technology推出了FQuAD 1. 1,这是一个法语母语阅读理解数据集,由从维基百科文章中提取的60,000多个问题和答案样本组成。尽管如此,在此数据集上训练的问答模型有一个主要缺点:它们无法预测给定问题何时在感兴趣的段落中没有答案,因此在各种工业用例中做出不可靠的预测。在目前的工作中,我们介绍了FQuAD 2.0,它扩展了FQuAD与17,000+无法回答的问题,注释相反,为了类似于可回答的。这个新的数据集总共包含近80,000个问题,使得训练法国问答模型能够区分无法回答的问题和可回答的问题。我们用这个数据集对几个模型进行了基准测试:我们最好的模型,一个微调过的CamemBERT-large,在这个分类任务上的F1得分为82.3%,在阅读理解任务上的F1得分为83%。
2021-09-27 cs.AI cs.CL cs.LG
Can ChatGPT Replace Traditional KBQA Models? An In-depth Analysis of the Question Answering Performance of the GPT LLM Family
Southeast University(东南大学)
本文通过CheckList黑盒测试框架,在约19万个测试用例上系统评估GPT LLM家族在八个复杂知识问答数据集上的表现,并与FLAN-T5对比,分析其能否取代传统KBQA模型。
2023-09-20 cs.CL
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America(美国电气通信技术研究所(NEC实验室美国));Princeton, NJ 08540(普林斯顿,新泽西州08540)
我们提出了一个回答开放域多跳问题的框架,其中部分信息被读取并用于生成后续问题,最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释,并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例,我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用,该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题,选择相关的答案跨度对下游的支持事实,同时避免分散注意力的前提,提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
Contextually Aware E-Commerce Product Question Answering using RAG
Flipkart US R\&D Center Bellevue Washington USA;Flipkart US R\&D Center
提出一种基于RAG的上下文感知电子商务产品问答框架,整合对话历史、用户画像和产品属性,处理多类型查询并识别信息缺口,引入新评估指标。
2025-08-04 cs.CL
QA4IE: A Question Answering based Framework for Information Extraction
Shanghai Jiao Tong University(上海交通大学);Yitu Tech(依图科技);ShanghaiTech University(上海科技大学)
信息抽取是指从非结构化文本中自动抽取结构化关系元组。常见的IE解决方案,包括关系抽取(RE)和开放IE系统,很难处理跨句子元组,并且受到有限的关系类型以及非正式关系规范(例如,基于自由文本的关系元组)。为了克服这些缺点,我们提出了一个新的IE框架QA4IE,它利用灵活的问答(QA)方法,以产生高质量的跨句子的关系三元组。基于该框架,我们开发了一个大型的IE基准与高质量的人的评价。该基准测试包含293K文档,2M黄金关系三元组和636种关系类型。我们比较了我们的系统与一些IE基线在我们的基准测试,结果表明,我们的系统取得了很大的改善。
2019-01-28 cs.AI cs.CL cs.IR
EHRNavigator: A Multi-Agent System for Patient-Level Clinical Question Answering over Heterogeneous Electronic Health Records
EHRNavigator通过多智能体系统在异构电子健康记录上实现患者级临床问答,展示出高准确率和高效响应,有效连接基准评估与临床应用。
2026-01-15 cs.CL
LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering
LUMS(拉合尔管理科学大学)
本文提出首个源自巴基斯坦宪法的低资源乌尔都语-英语法律问答数据集LEGAL-UQA,通过评估和微调多语言模型验证了其有效性,为巴基斯坦本地法律信息获取奠定基础。
2024-10-16 cs.AI cs.CL cs.LG
Specifying Logic Programs in Controlled Natural Language
编写计算机程序的规范并不容易,因为必须考虑应用领域和软件开发的不同概念世界。为了弥合这一概念上的差距,我们提出了控制自然语言作为一种声明性和应用程序特定的规范语言。受控自然语言(英语:Controlled natural language)是自然语言的一个子集,可以被计算机准确有效地处理,但表达能力足以让非专业人士自然使用。受控自然语言中的规范被自动翻译成Prolog子句,从而成为形式化的和可执行的。翻译使用了一个明确的小句语法(DCG)增强功能结构。语篇表征理论(DRT)的帮助下,解决的规范,如回指的语篇间参考。生成的Prolog子句被添加到知识库中。我们已经实现了一个原型规范系统,成功地处理一个简单的自动柜员机的规格。
1995-07-21 cmp-lg cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
Embodied Question Answering in Photorealistic Environments with Point Cloud Perception
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
为了帮助弥合互联网视觉风格的问题和具体感知的视觉目标之间的差距,我们实例化了一个大规模的导航任务-在照片逼真的环境(Matterport 3D)中搜索问答[1]。我们深入研究了利用3D点云、RGB图像或其组合的导航策略。我们对这些模型的分析揭示了几个关键发现。我们发现,两个看似幼稚的导航基线,仅向前和随机,是强大的导航器,由于[1]提出的评估设置的特定选择,具有挑战性。我们发现了一种新的损失加权方案,我们称之为拐点加权是很重要的训练时,经常性的导航模型与行为克隆,并能够执行基线与这种技术。我们发现,点云提供了比RGB图像更丰富的信号来学习避障,这激发了3D深度学习模型在具身导航中的使用(和持续研究)。
2019-04-06 cs.AI cs.CL cs.CV
Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering
本文提出一种内在可解释的图基视觉问答方法,在GQA数据集上实现竞争性能,通过问答过程中生成解释性子图并提供自动评估指标,弥合可解释性与性能之间的差距。
2024-03-27 cs.CL
Generative Long-form Question Answering: Relevance, Faithfulness and Succinctness
The Hong Kong University of Science and Technology(香港科技大学)
本论文主要研究了长式问答的相关性、忠实性和简洁性。LFQA旨在为给定的问题生成一个深入的,段落长度的答案,以帮助弥合真实场景和现有的只能提取短跨度答案的开放域QA模型之间的差距。LFQA非常具有挑战性,而且开发不足。很少有工作已经做了建立一个有效的LFQA系统。生成与查询相关并忠实于事实的高质量长格式答案更具挑战性,因为检索到的文档中将包含大量冗余,互补或矛盾的信息。此外,没有先前的工作进行了调查,以产生简洁的答案。我们是最早研究LFQA任务的公司之一。我们开创了从1)查询相关性、2)答案忠实性和3)答案简洁性方面提高答案质量的研究方向。
2022-11-15 cs.AI cs.CL
SentGraph: Hierarchical Sentence Graph for Multi-hop Retrieval-Augmented Question Answering
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
提出SentGraph,一种句子级图RAG框架,通过构建层次化句子图并建模细粒度逻辑关系,解决多跳问答中证据链不完整的问题。
2026-05-23 cs.AI cs.CL
Cross-modal Retrieval for Knowledge-based Visual Question Answering
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(列表研究所);LISN(跨学科数字科学实验室)
本文针对基于知识的视觉问答中命名实体识别困难的问题,提出结合单模态与跨模态检索的方法,并在三个数据集上以更低成本达到与十亿参数模型相当的性能。
2024-01-11 cs.CL cs.IR
Question Answering over Knowledge Graphs via Structural Query Patterns
Fudan University(复旦大学);Wuhan University of Science and Technology(武汉科技大学)
知识图谱上的自然语言问答是一项重要且有趣的任务,因为它使普通用户能够以简单且直观的方式获得准确的答案。然而,弥合非结构化问题和结构化知识图谱之间的差距仍然是一个挑战。为了解决这个问题,一个自然的原则是构建一个结构化查询来表示输入问题。在知识图谱上搜索结构化查询可以产生问题的答案。与现有的基于语义解析或模板的方法不同,本文提出了一种有效的基于结构化查询模式的方法。给定一个输入问题,我们首先生成与知识图谱的底层结构兼容的查询草图。然后在结构化查询模式的指导下,对查询图中的节点和边进行标记,从而完成查询图。最后,可以通过在知识图谱上执行所构造的查询图谱来检索答案。三个问答基准测试的评估表明,我们提出的方法优于国家的最先进的方法显着。
2019-10-24 cs.AI cs.CL
Integrating Neural and Symbolic Components in a Model of Pragmatic Question-Answering
University of Tübingen(图宾根大学);Stanford University(斯坦福大学)
本文提出一个神经-符号框架,将LLM模块整合进概率认知模型以替代人工指定,并通过语用问答案例表明混合模型可达到或超过传统模型性能,同时揭示了LLM在真值条件语义评估上的局限。
2025-06-02 cs.CL
QAEncoder: Towards Aligned Representation Learning in Question Answering Systems
Peking University(北京大学);Institute for Advanced Algorithms Research(高级算法研究所);Zhongguancun Academy(中关村学院)
QAEncoder提出一种无需训练的方法,通过在嵌入空间估计潜在查询期望并附加文档指纹,弥合问答系统中查询与文档的差距,实现零额外成本的对齐表示学习。
2025-07-02 cs.CL
Time-MQA: Time Series Multi-Task Question Answering with Context Enhancement
University of Oxford(牛津大学);PyPOTS Research(PyPOTS研究);University of Texas at Austin(德克萨斯大学奥斯汀分校);Griffith University(格里菲斯大学);Squirrel Ai Learning(Squirrel Ai学习)
提出Time-MQA统一框架及TSQA数据集,支持跨多种时间序列任务的自然语言查询,通过持续预训练大语言模型增强时间序列推理能力,实现更直观的时间数据交互。
2025-06-28 cs.AI cs.CL cs.LG
MediFact at MEDIQA-M3G 2024: Medical Question Answering in Dermatology with Multimodal Learning
National University of Computer and Emerging Sciences (NUCES-FAST)(国家计算机与新兴科学大学(NUCES-FAST))
本文提出一种弱监督多模态学习方法,结合VGG16-CNN-SVM与ViT-CLIP模型,解决皮肤病学多语言开放式医学问答问题,为临床决策支持系统提供支撑。
2024-04-27 cs.AI cs.CL cs.CV
MAGIC-VQA: Multimodal And Grounded Inference with Commonsense Knowledge for Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
针对大视觉语言模型缺乏整合常识知识、真实场景VQA鲁棒性不足的问题,提出三阶段MAGIC-VQA框架,融合显隐式常识知识与GNN结构化推理,无需大量预训练或复杂提示调优,在基准数据集上达SOTA,提升VQA常识推理能力。
2025-06-11 cs.CL
ComQA: A Community-sourced Dataset for Complex Factoid Question Answering with Paraphrase Clusters
Amazon Alexa(亚马逊Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Bloomberg L.P.(彭博有限合伙企业)
为了弥合模拟问答(QA)中最先进的能力与用户提问之间的差距,我们需要捕获用户感兴趣的各种问题现象的真实用户问题的大型数据集,以及这些问题的不同表达方式。我们介绍ComQA,一个真实用户问题的大型数据集,表现出不同的挑战性方面,如组合性,时间推理和比较。ComQA问题来自WikiAnswers社区QA平台,其中通常包含现有搜索引擎技术无法令人满意地回答的问题。通过大量的众包工作,我们清理了问题数据集,将问题分组到释义集群中,并用它们的答案注释集群。ComQA包含11,214个问题,分为4,834个释义集群。我们详细介绍了构建ComQA的过程,包括在有效利用众包的同时确保其高质量所采取的措施。我们还对数据集进行了广泛的分析,并对ComQA上最先进的系统所取得的结果进行了分析,表明我们的数据集可以成为未来QA研究的驱动力。
2019-04-10 cs.CL
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida(佛罗里达大学)
提出RAMQA统一框架,结合学习排序与生成式排列增强技术,用于多模态检索增强问答,在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
ReCoQA: A Benchmark for Tool-Augmented and Multi-Step Reasoning in Real Estate Question and Answering
Hong Kong Baptist University(香港 Baptist大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港 Baptist大学);Beijing Normal University(北京师范大学)
本文提出ReCoQA基准,包含29270个房地产实例,通过机器可验证的监督提升多步骤推理能力,并提出HIRE-Agent框架作为强基线,验证了层级协作在复杂现实任务中的必要性。
2026-04-20 cs.CL
QA-TOOLBOX: Conversational Question-Answering for process task guidance in manufacturing
提出QA-TOOLBOX,利用LLM增强制造过程任务指导的对话式问答,构建20万余个基于规范、旁白和视频的问答对,并通过LLM-as-a-judge、众包与专家评估开源模型基线。
2024-12-03 cs.AI cs.CL
Structured Knowledge Grounding for Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);Kent School(肯特学校)
本文提出仅依靠语言模型结合动态跳数知识检索与深度融合机制完成知识型问答,并在 CommensenseQA 上达到最先进性能。
2023-06-05 cs.CL
ProQA: Structural Prompt-based Pre-training for Unified Question Answering
Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Langboat Technology(澜舟科技);Microsoft Research Asia(微软亚洲研究院);Chinese University of Hong Kong(香港中文大学)
问答(QA)是自然语言处理中的一个长期挑战。现有的问答工作大多集中在特定的问题类型,知识领域,或推理技能。QA研究的专业性阻碍了系统对任务之间的共性建模和更广泛应用的泛化。为了解决这个问题,我们提出了ProQA,一个统一的QA范式,通过一个单一的模型来解决各种任务。ProQA以统一的结构化提示为桥梁,通过基于结构化提示的预训练提高以QA为中心的能力。通过一个结构化设计的基于知识的输入模式,ProQA同时模型的知识概括的所有QA任务,同时保持知识定制的每一个特定的QA任务。此外,ProQA是预先训练的结构化的格式化的大规模合成语料库,这赋予了通常所需的QA能力的模型。在11个QA基准测试上的实验结果表明,ProQA在全数据微调、少样本学习和zero-shot测试场景下都能持续提高性能。此外,ProQA利用结构提示的优势,在持续学习和迁移学习方面表现出较强的能力。
2022-12-09 cs.CL
SEMQA: Semi-Extractive Multi-Source Question Answering
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出半抽取式多源问答任务SEMQA,要求模型混合逐字引用片段与自由文本连接成分生成可归因答案,并构建首个数据集QuoteSum及评估指标,实验表明该任务对现有大语言模型仍具挑战性。
2024-06-30 cs.AI cs.CL cs.LG
Translation as a Computationally Efficient Bridge: Feasibility of English BERT for Low-Resource Languages
Leiden University Medical Center(莱顿大学医学中心);LIACS, Leiden University(莱顿大学LIACS)
研究基于翻译的微调在低资源语言NLP中的可行性,通过六个任务、五种语言数据集比较其与母语BERT性能,发现该方法对特定任务和语言有效,为扩展NLP到低资源语言提供可扩展、高效途径,推进语言包容性和可持续性。
2026-07-15 cs.CL
Natural SQL: Making SQL Easier to Infer from Natural Language Specifications
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Guangxi University of Finance and Economics(广西财经大学);University of Leicester(莱斯特大学)
解决自然语言描述和相应的SQL查询之间的不匹配是文本到SQL转换的关键挑战。为了弥补这一差距,我们提出了一种称为Natural SQL(NatSQL)的SQL中间表示(IR)。具体地说,NatSQL保留了SQL的核心功能,同时简化了查询:(1)省去了操作符和关键字,如GROUP BY,HAVING,FROM,JOIN ON,这些操作符和关键字通常很难在文本描述中找到对应项;(2)消除了对嵌套子查询和集合操作符的需求;(3)通过减少所需的模式项数量使模式链接更容易。在Spider上,一个具有挑战性的文本到SQL基准测试,包含复杂和嵌套的SQL查询,我们证明了NatSQL优于其他IR,并显着提高了几个以前的SOTA模型的性能。此外,对于不支持可执行SQL生成的现有模型,NatSQL可以轻松地使它们生成可执行SQL查询,并实现新的最先进的执行精度。
2021-09-11 cs.CL
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering
针对生成式问答中的幻觉问题,提出证据增强三元组生成框架 EATQA,通过翻转源对和目标标签学习问题、证据与答案的逻辑关系,并在推理阶段蒸馏证据知识,有效提升了证据生成与查询回答能力,缓解了幻觉。
2024-08-27 cs.AI cs.CL
PDFTriage: Question Answering over Long, Structured Documents
Stanford University(斯坦福大学);Adobe Research(Adobe研究院)
针对现有检索增强大语言模型处理长结构化文档时,纯文本表示与用户结构认知不匹配导致问答失效的问题,提出PDFTriage方法支持按结构或内容检索上下文,验证有效性并发布含900+问题的基准数据集。
2023-11-08 cs.AI cs.CL cs.LG
Bringing Pedagogy into Focus: Evaluating Virtual Teaching Assistants' Question-Answering in Asynchronous Learning Environments
Columbia University(哥伦比亚大学)
针对异步学习环境中虚拟助教评估缺乏教育理论依据的问题,本文提出基于学习科学的评估框架,并通过专家标注构建分类器,验证其有效性并分析泛化挑战,为理论驱动的虚拟助教评估奠定基础。
2025-09-22 cs.CL
Open Domain Question Answering with A Unified Knowledge Interface
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
检索者-读者框架因其使用显式知识的能力而在开放域问答(ODQA)中很受欢迎。虽然先前的工作已经试图通过将结构化的知识超越文本来增加知识覆盖面,但是通过统一的接口访问异构的知识源仍然是一个悬而未决的问题。虽然数据到文本生成有可能作为数据和文本的通用接口,但其下游任务的可行性在很大程度上仍然未知。在这项工作中,我们弥合了这一差距,并使用数据到文本的方法作为一种手段编码结构化知识ODQA。具体来说,我们提出了一个verbalizer-retriever-reader框架ODQA的数据和文本,其中来自维基百科的文字化表格和来自维基数据的图形被用作增强的知识源。我们表明,我们的统一数据和文本QA,UDT-QA,可以有效地受益于扩展的知识索引,从而大大超过纯文本基线。值得注意的是,我们的方法在自然问题上设置了最先进的单一模型。此外,我们的分析表明,言语化的知识是首选的答案推理适应和热插拔设置。
2022-03-19 cs.AI cs.CL