Intra-Prompt Parallel Decoding for Common-Context Question Answering
Amazon.com, Inc.(亚马逊公司);McGill University(麦吉尔大学);Mila(米拉研究所);Int. Lab. Learning Systems(国际学习系统实验室)
提出提示内并行解码(IPPD),在单提示内并行回答多个共享上下文问题,通过共享注意力和虚拟位置ID实现,无需微调,吞吐量提升达7倍且不损质量。
2026-09-09 cs.CL
Exploring Hybrid Question Answering via Program-based Prompting
Harbin Institute of Technology(哈尔滨工业大学);Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心)
本文提出HProPro,一种基于程序的提示框架,通过代码生成与执行范式及函数声明与实现,在无需专门检索器或模态转换的情况下实现混合问答,在HybridQA和MultiModalQA基准上超越所有基线系统并取得最佳少样本性能。
2024-02-16 cs.CL
UTSA-NLP at ArchEHR-QA 2025: Improving EHR Question Answering via Self-Consistency Prompting
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种基于大语言模型的两步 EHR 问答方法,通过少样本提示、自洽性与阈值化改进相关句子选择,并发现 8B 模型优于 70B 模型,验证了准确句子选择对生成高质量临床回复的关键作用。
2025-06-05 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland(奥克兰大学)
多跳问答(QA)需要对多个文档进行推理,以回答复杂的问题并提供可解释的支持证据。然而,提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题,即使他们的父问题被正确回答。在本文中,我们提出了一种基于知识的保护学习(PCL)框架,用于多跳QA,它从多跳QA任务中获取新知识,同时保存在单跳QA任务中学习到的旧知识,从而减轻遗忘。具体来说,我们首先训练现有的单跳QA任务的模型,然后冻结这个模型,并通过分配额外的子网络的多跳QA任务扩展它。此外,为了调节预训练的语言模型以刺激特定多跳问题所需的推理,我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明,PCL对于多跳QA具有竞争力,并且在相应的单跳子问题上保持了良好的性能,证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
KAIST(韩国科学技术院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Amazon(亚马逊)
本文提出 KAPING 框架,通过从知识图谱检索语义相关事实并构造提示增强 LLM 输入,在无需训练的零样本设定下显著提升知识图谱问答性能。
2023-06-07 cs.CL
Do LLMs Work on Charts? Designing Few-Shot Prompts for Chart Question Answering and Summarization
National University of Singapore(新加坡国立大学);York University(约克大学);Nanyang Technological University(南洋理工大学);Salesforce Research(Salesforce研究院)
针对现有图表任务微调方案成本高、泛化性差的问题,提出多模态少样本提示框架PromptChart,配套任务提示指南与视觉信息注入策略,在三项图表任务基准上实现SOTA。
2023-12-17 cs.CL
Prompting Explicit and Implicit Knowledge for Multi-hop Question Answering Based on Human Reading Process
University of Essex(埃塞克斯大学);Lingnan University(岭南大学);Northwest University(西北大学)
针对预训练语言模型在多跳问答中推理能力与人类存在差距的问题,提出提示显式与隐式知识(PEI)框架,通过提示连接段落显式知识与模型隐式知识以模拟人类阅读过程,在HotpotQA上取得可比性能。
2024-10-16 cs.CL
TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
无监督常识问答要求在不依赖于已标记任务数据的情况下挖掘有效的常识知识。以往的方法通常从传统的知识库中提取或使用预训练的语言模型(PrLM)来生成固定类型的知识,泛化能力较差。在本文中,我们的目标是解决上述限制,利用存储在PrLM中的隐式知识,并提出了一个两阶段的无监督的常识问答框架(TSGP)。具体来说,我们首先使用知识生成提示生成所需的知识,无限类型的问题和可能的候选答案独立于指定的选择。然后,我们进一步利用答案生成提示生成可能的候选答案独立于指定的选择。在CommonsenseQA、OpenBookQA和SocialIQA三个不同的常识推理任务上的实验结果和分析表明,TSGP显著提高了无监督环境下语言模型的推理能力。我们的代码可在https://github.com/Yueqing-Sun/TSGP上获得。
2022-11-24 cs.AI cs.CL
EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering
University of Connecticut(康涅狄格大学);University of Notre Dame(圣母大学)
EvolveRouter通过闭环共进化提升智能体质量和协作结构,实现动态适应的高效多智能体推理。
2026-04-06 cs.CL
Prompt Guided Copy Mechanism for Conversational Question Answering
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出一种可插拔的提示引导复制机制,通过三种提示和注意力引导对抽取式答案进行验证与编辑,从而提升对话式问答中答案的流畅性和恰当性,并在CoQA上取得良好效果。
2023-08-07 cs.AI cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University(普渡大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对预训练语言模型难以组合事实进行多跳问答的问题,本文利用知识图谱随机游走并训练软提示,将多跳问题映射到答案路径,在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition
Amazon AI(亚马逊人工智能);Facebook AI(脸书人工智能);National Taiwan University(台湾大学)
最近,预训练语言模型的基于提示的学习已经成功地在Few-Shot命名实体识别(NER)中通过利用提示作为任务指导来提高标签效率。然而,以前的基于小波变换的Few-Shot NER方法存在计算复杂性高、zero-shot能力差、需要人工提示工程或缺乏提示鲁棒性等局限性。在这项工作中,我们提出了一个新的基于学习的NER方法与问答(QA),称为QaNER解决这些缺点。我们的方法包括:1)一个改进的策略,将NER问题转化为QA公式; 2)NER提示QA模型的生成; 3)在几个注释NER示例上使用QA模型进行基于正则化的调优; 4)通过提示QA模型实现zero-shot NER。与以前的方法相比,QaNER的推理速度更快,对即时质量不敏感,对超参数具有鲁棒性,并且表现出更好的低资源性能和zero-shot能力。
2022-03-04 cs.AI cs.CL cs.LG
Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
Santa Clara University(圣克拉拉大学);Walmart Global Tech(沃尔玛全球科技);Docomo Innovations(docomo创新公司)
针对开放域问答中LLM段落重排序依赖硬提示、全量微调成本高的问题,提出参数高效的段落特定提示调优方法PSPT,融入段落特定知识提升排序能力,实验验证其有效性。
2024-06-21 cs.CL cs.IR
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University(中央大学)
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题,提出无训练框架IterCOMP,经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.(Sansan公司)
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题,本文探究多字段联合提取的优势,通过多模型与数据集实验验证其准确率提升效果,还分析了性能与字段数的关系并量化字段关联,为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
TTQA-RS- A break-down prompting approach for Multi-hop Table-Text Question Answering with Reasoning and Summarization
University of Florida(佛罗里达大学)
本文提出TTQA-RS模型,通过分解提示、检索增强生成和表格-文本摘要,结合推理与子问题答案,在多跳表格-文本问答任务上以开源LLM取得最优性能。
2024-09-30 cs.CL cs.IR
KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
摘要抽取式问答是机器阅读理解中的重要任务之一,通过微调预训练语言模型的广度选择头部可以解决抽取式问答问题。然而,大多数现有的MRC方法在少样本学习场景中可能表现不佳。为了解决这个问题,我们提出了一个新的框架命名为知识增强的对比调优(KECP)。而不是添加指针头PLM,我们引入了一个开创性的范式EQA转换成一个非自回归的掩蔽语言建模(MLM)生成问题的任务。同时,丰富的语义从外部知识库(KB)和通道上下文的支持,以增强表示的查询。此外,为了提高PLM的性能,我们采用MLM和对比学习目标对模型进行联合训练。在多个基准测试上的实验表明,我们的方法在Few-Shot设置中始终优于最先进的方法。
2022-05-06 cs.AI cs.CL
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering
Amazon Search(亚马逊搜索)
MinPrompt通过图算法选择最少信息句子并生成问答对进行微调,在少样本开放域问答中实现高效且准确率相当或更优的结果。
2024-05-28 cs.CL
IIE-NLP-NUT at SemEval-2020 Task 4: Guiding PLM with Prompt Template Reconstruction Strategy for ComVE
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文介绍了我们的系统SemEval Task4的前两个子任务:常识验证和解释。为了明确判断意图和注入对比信息进行选择,我们提出了提示模板的输入重构策略。具体地说,我们将子任务形式化为多项选择问答格式,并利用提示模板构造输入,然后将问答的最终预测结果视为子任务的结果。实验结果表明,我们的方法取得了显着的性能相比,基线系统。我们的方法在前两个子任务的两个官方测试集上都获得了第三名,准确率分别为96.4和94.3。
2020-07-02 cs.CL
Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation
University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Univ of Technology Sydney(悉尼科技大学);Amazon Search(亚马逊搜索)
本文提出 Gotta 框架,通过以提示格式统一 QA 与完形填空任务进行数据增强和联合学习,提升少样本问答的深层语义推理能力,并在基准上验证其优于强基线。
2023-06-07 cs.AI cs.CL
ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering
Airbus AI Research(空客人工智能研究)
本文介绍 ATLANTIS 团队在 SemEval-2025 任务 3 中检测问答系统幻觉文本片段的方法,通过少样本提示、词元分类及微调模型,在西班牙语中获最高排名,凸显上下文整合与微调的重要性。
2025-08-07 cs.CL
Prompting Large Language Models with Partial Knowledge for Answering Questions with Unseen Entities
School of Computer and Information Technology, Shanxi University(山西大学计算机与信息学院);Beijing University of Technology(北京理工大学);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Singapore University of Technology and Design(新加坡科技与设计大学);ILCC, School of Informatics, University of Edinburgh(爱丁堡大学信息学院ILCC)
本文提出利用LLM内部已嵌入的部分相关知识来唤醒模型,以应对不完整知识库中未见实体的问答挑战,并在两个KGQA数据集上验证了其优于传统嵌入相似度方法。
2025-08-02 cs.CL
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering
Microsoft Research(微软研究院);Singapore Management University(新加坡管理大学);University of Pennsylvania(宾夕法尼亚大学)
本研究评估LLMs在金融表格问答中的数学推理能力,提出一种针对半结构化文档的新型提示技术,匹配或超越基线性能。
2025-10-09 cs.CL
Internet-augmented language models through few-shot prompting for open-domain question answering
DeepMind(深度思维)
在这项工作中,我们的目标是利用大规模语言模型(LSLM)的独特的Few-Shot能力,以克服他们的一些挑战,接地到事实和最新的信息。受半参数语言模型(LM)的启发,基于外部检索到的证据,我们使用Few-Shot提示学习条件LM从网络返回的信息使用谷歌搜索,一个广泛的和不断更新的知识来源。我们的方法不涉及微调或学习额外的参数,从而使其适用于任何LM,因此提供了一个强大的基线。事实上,我们发现,在网络上的LM条件超过性能类似的,甚至更大的,在开放域的问答模型大小的闭卷模型。最后,我们发现,通过使用多个检索到的证据来生成多个答案,然后通过使用相同LM生成的分数的重新排序阶段来增加模型的推理时间计算,可以获得更好的性能,并降低较小的Few-Shot LM的性能。总而言之,我们的研究结果表明,减缓对最大模型的竞争可能是有益的,而是将注意力转移到寻找更有效的方法来使用模型上,包括但不限于更好的提示或增加推理时间计算。
2022-05-23 cs.CL cs.LG
Expert-Guided Prompting and Retrieval-Augmented Generation for Emergency Medical Service Question Answering
针对紧急医疗服务问答中现有大语言模型未利用领域结构化知识的问题,构建EMSQA数据集,提出Expert-CoT提示策略与ExpertRAG流水线,显著提升模型答题准确率,32B增强模型可通过全部EMS资质模拟考试。
2025-11-18 cs.AI cs.CL
Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉大学信息系统与计算机科学系)
本文提出FilBBQ,通过四阶段流程构建超过10000个提示,评估模型在菲律宾语境下的性别和同性恋偏见,采用多种子鲁棒评估提升可靠性。
2026-04-20 cs.CL
Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
本文提出一种基于可学习提示的个性化联邦学习方法,用于医学视觉问答,通过Dempster-Shafer证据理论量化不确定性,并设计基于最大似然估计的客户端间通信机制,以提升模型在隐私保护下的可靠性与协作效率。
2024-10-23 cs.CL cs.CV cs.LG
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada(加拿大国家银行)
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中,用户经常将他们的信息需求表述为简短且模糊的查询,一些流行的搜索界面然后提示用户确认她的意图(例如,“你的意思是...... ?“),或在必要时重新措辞。当涉及到对话系统时,流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下,向用户给出以下响应之一:1)直接回答,如果意图不清楚,则可能是不相关的,2)通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此,我们提出了一个多阶段的澄清机制,提示澄清和查询选择的上下文中的问答对话系统。我们表明,我们提出的机制提高了整体用户体验,并优于竞争基线与两个数据集,即公共范围内的范围外的数据集和商业数据集的基础上,真正的用户日志。
2021-10-28 cs.CL
BlendSQL: A Scalable Dialect for Unifying Hybrid Question Answering in Relational Algebra
Fidelity Investments(富达投资)
本文提出BlendSQL,一种基于SQLite超集的统一方言,通过将多跳混合问答的完整推理路线图编码为单个可解释查询,在减少35% token用量的同时提升端到端系统在大规模数据上的性能。
2024-06-10 cs.CL
Neural at ArchEHR-QA 2025: Agentic Prompt Optimization for Evidence-Grounded Clinical Question Answering
University of Chicago(芝加哥大学)
本文提出 Neural 系统,通过将临床问答解耦为证据识别与带引用答案合成,并利用 DSPy 的 MIPROv2 自动优化提示和自一致性投票,在 ArchEHR-QA 2025 中以 51.5 分获得第二名,显著超越零样本和少样本提示。
2025-11-06 cs.CL cs.LG
Evaluating Long-Term Memory for Long-Context Question Answering
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文评估了增强记忆方法在长上下文问答任务中的效果,发现通过RAG和事件记忆可显著减少令牌使用并保持准确性。
2025-12-06 cs.CL
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
University of Maryland(马里兰大学)
DiscoTrace通过分析问答策略揭示社区回答偏好差异,发现LLM在回答时缺乏修辞多样性且倾向于广泛覆盖问题解释。
2026-09-02 cs.CL
Knowledge Graph Prompting for Multi-Document Question Answering
Vanderbilt University(范德堡大学);Adobe Research(Adobe研究院)
提出知识图谱提示方法,通过构建文档间知识图谱并设计LLM遍历代理,为多文档问答提供结构化上下文,提升检索质量与效率。
2023-12-25 cs.AI cs.CL cs.IR
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University(浙江大学)
针对零样本文档图像问答,提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning,使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
ArgHiTZ at ArchEHR-QA 2025: A Two-Step Divide and Conquer Approach to Patient Question Answering for Top Factuality
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(HiTZ中心-伊萨,巴斯克大学UPV/EHU)
针对 ArchEHR-QA 2025 患者问答任务,研究提出三种无外部知识的方法,其中基于重排序器的两步法表现最优,获事实性指标第一、总榜第8的成绩。
2025-06-15 cs.CL
Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems
University of Pittsburgh(匹兹堡大学);School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Clinical and Translational Science Institute, University of Pittsburgh(匹兹堡大学临床与转化科学研究所);University of Pittsburgh Medical Center(匹兹堡大学医学中心)
本研究系统评估了医学RAG问答系统在多个基准上的种族、性别等人口统计偏差,并比较了多种缓解策略,发现多数投票聚合能显著提升准确性和公平性。
2025-03-27 cs.CL
Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出嵌入级框架EmbQA,通过无监督对比学习细化查询表示并引入探索性嵌入与熵选择机制,在提升开放域问答准确性的同时显著降低计算开销。
2025-09-20 cs.AI cs.CL cs.CY
Chain of Condition: Construct, Verify and Solve Conditions for Conditional Question Answering
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);The Open University of China(国家开放大学)
本文提出条件链提示方法,通过显式构建条件逻辑关系、验证条件满足情况并求解逻辑表达式,在条件问答任务上超越现有提示基线和监督模型,达到新的最优水平。
2024-10-04 cs.CL
A Question Answering Framework for Decontextualizing User-facing Snippets from Scientific Documents
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Yale University(耶鲁大学)
本文针对科学文档片段脱离原文后难以理解的问题,提出一种由问题生成、问题回答和重写三阶段组成的去语境化框架,并开发了优于端到端提示的 QaDecontext 策略。
2023-12-01 cs.CL
On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
大多数在会话问答(CQA)中对会话历史建模的工作都报告了一个通用CQA基准测试的单一主要结果。虽然现有的模型在CQA排行榜上显示出令人印象深刻的结果,但仍不清楚它们是否对设置(有时是更现实的设置),训练数据大小(例如从大到小)和域的变化具有鲁棒性。在这项工作中,我们设计并进行了第一次大规模的鲁棒性研究的历史建模方法CQA。我们发现,高基准分数并不一定转化为强大的鲁棒性,各种方法可以在不同的设置下表现得非常不同。配备从我们的研究的见解,我们设计了一种新的基于统计的历史建模方法,并证明其强大的鲁棒性在各种设置。我们的方法受到现有方法的启发,这些方法突出了文章中的历史答案。然而,我们不是通过修改段落标记嵌入来突出显示,而是直接在段落文本中添加文本提示。我们的方法简单,易于插入到几乎任何模型中,并且非常有效,因此我们建议将其作为未来模型开发人员的起点。我们还希望我们的研究和见解将提高人们对以稳健性为中心的评估的重要性的认识,除了获得高排行榜分数之外,还将带来更好的CQA系统。
2022-12-28 cs.AI cs.CL cs.LG
PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);North Carolina State University(北卡罗来纳州立大学);Texas A&M University(德克萨斯农工大学);University of Georgia(佐治亚大学)
本文提出PokeMQA框架,通过解耦问题分解与冲突检查任务,引入独立可训练的范围检测器来调节LLMs行为,显著提升了多跳问答中知识编辑的性能与推理可靠性。
2024-02-15 cs.CL
Ontology-Guided, Hybrid Prompt Learning for Generalization in Knowledge Graph Question Answering
University of Hamburg(汉堡大学);Leuphana University Lüneburg(吕讷堡勒法纳大学);Institute for Information Systems(信息系统研究所)
本文提出 OntoSCPrompt,通过两阶段架构与本体引导的混合提示学习,使基于大语言模型的知识图谱问答系统无需重新训练即可泛化到未见知识图谱,并在多个数据集上达到 SOTA 水平。
2025-02-06 cs.AI cs.CL
Prompt Sensitivity and Answer Consistency of Small Open-Source Language Models for Clinical Question Answering in Low-Resource Healthcare
Independent Researcher(独立研究者)
研究评估了五种开源模型在三个医疗问答数据集上的表现,发现一致性与准确性独立,Llama 3.2在准确性与可靠性上表现最佳,但领域预训练不足以保证结构化医疗问答的正确性。
2026-03-16 cs.AI cs.CL
Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance?
Google Research(谷歌研究);University of Oxford(牛津大学)
本文提出了一种自适应提示策略,通过分割检索信息并逐步提示LLM回答问题,以提高问答性能并减少无关信息的影响。
2025-12-29 cs.AI cs.CL cs.LG
Bounded Path Context: A Controlled Study of Visible Path History in LLM-Based Knowledge Graph Question Answering
School of Mathematical Sciences(数学科学学院);Xiamen University(厦门大学);School of Informatics(信息学院)
本文提出有界路径上下文(BPC)方法,通过将完整路径存储在符号记忆中,仅暴露最近K跳路径给关系选择提示,在WebQSP和CWQ数据集上使用Qwen3.5-9B-AWQ模型达到或超过全历史提示的性能,同时减少输入token。
2026-05-26 cs.CL
Measuring the Groundedness of Legal Question-Answering Systems
Thomson Reuters Labs(汤姆森路透实验室)
本研究提出一项针对法律问答系统AI生成回答依据性的全面基准,涵盖相似度指标、自然语言推理模型及大模型提示策略,并构建专用语料库验证,最佳方法macro-F1达0.8,兼顾延迟以提升实际应用可信度。
2024-10-11 cs.CL
Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering
Sapienza University of Rome(罗马萨皮恩扎大学);Babelscape
本文系统分析MCQA中答案提取方法与人类判断的一致性及提示约束影响,发现传统评分低估LLM、LLM提取器存在系统偏差,并揭示格式约束与自由推理之间的权衡。
2025-06-08 cs.CL
Agri-Query: A Case Study on RAG vs. Long-Context LLMs for Cross-Lingual Technical Question Answering
Technical University of Munich, Germany Professorship of Agrimechatronics(慕尼黑技术大学教授职位,农业机电学教授)
本文通过Agri-Query案例研究,比较RAG与长上下文LLM在跨语言技术问答中的性能,发现混合RAG在准确性上优于直接提示方法。
2026-03-06 cs.CL
Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs
Technical University of Munich(慕尼黑工业大学);National Institute of Advanced Industrial Science and Technology(日本国立产业技术综合研究所)
本文评估了未显式预训练的大型语言模型在基于知识的会话式问答中的语义解析性能,发现少样本提示和微调能显著提升其生成图查询的能力,尤其对零样本表现较差的小模型效果更佳。
2024-01-03 cs.CL cs.IR
DynRank: Improving Passage Retrieval with Dynamic Zero-Shot Prompting Based on Question Classification
University of Innsbruck(因斯布鲁克大学)
针对开放域问答系统段落检索中传统静态提示方法适应性有限的问题,提出DynRank框架,通过动态零样本问题分类生成语境相关提示,集成到现有检索框架并在多个基准数据集验证,提升检索效果。
2024-11-30 cs.CL
Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
提出CORE,一种无需辅助语言模型的两阶段句子级提示压缩方法,通过NER和语义匹配构建答案集与线索集,结合正交残差检索和空间邻近度过滤,在边缘设备上显著提升准确率、降低内存和能耗。
2026-06-23 cs.AI cs.CL
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering
Meta
提出一种仅需不到10对标注数据的少样本数据合成框架,通过合成数百万多跳问答微调小模型,使其在参数量仅约三分之一时即可媲美GPT-3.5的性能。
2024-02-12 cs.CL
PARSE: An Open-Domain Reasoning Question Answering Benchmark for Persian
University of Innsbruck(因斯布鲁克大学)
PARSE是一个面向开放领域的波斯语推理问答基准,通过多阶段过滤和人工评估确保质量,展示了波斯语提示和结构化提示对性能的提升,为低资源环境下开发和评估推理能力的LLM提供了基础。
2026-02-01 cs.CL cs.IR