Transformer-based Language Models for Factoid Question Answering at BioASQ9b
Macquarie University（麦考瑞大学）
在这项工作中，我们描述了我们的实验和参与系统在BioASQ任务9B阶段的生物医学问答的挑战。我们专注于寻找理想的答案，并研究了基于transformer的语言模型的多任务微调和逐步解冻技术。对于模拟问题，我们基于ALBERT的系统在测试批次1中排名第一，在测试批次2中排名第四。我们的DistilBERT系统在测试批次4和5中的性能优于ALBERT变体，尽管其参数比ALBERT少81%。然而，我们观察到，与标准微调相比，逐渐解冻对模型的准确性没有显着影响。
2021-09-15 cs.CL
Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents
Microsoft（微软）；National Taiwan Univ.（台湾大学）；Johns Hopkins Univ.（约翰斯·霍普金斯大学）
本文构建并发布约 10 万条来自搜索引擎日志的非事实型、可分解、多视角 Researchy Questions，证明其对用户和 GPT-4 均具挑战，并显示子问题分解式慢思考回答优于直接回答。
2024-02-27 cs.AI cs.CL
Full-Time Supervision based Bidirectional RNN for Factoid Question Answering
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（软件新技术与产业化协同创新中心）；Nanjing University（南京大学）
近年来，双向递归神经网络（BRNN）已被广泛应用于问答（QA）任务，具有良好的性能。然而，大多数现有的BRNN模型提取的问题和答案的信息，直接使用池操作，以产生表示损失或相似度计算。因此，这些现有的模型没有在每个时间步上进行监督（损失或相似性计算），这将丢失一些有用的信息。本文提出了一种新的基于全时监督的BRNN模型（FTS-BRNN），它可以在每个时间步进行监督。在事实问答任务上的实验表明，我们的FTS-BRNN可以优于其他基线，以达到最先进的准确性。
2016-06-21 cs.CL
ASQA: Factoid Questions Meet Long-Form Answers
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Duke University（杜克大学）
大量的数据集和可靠的评估指标的可用性导致了仿真问答（QA）的巨大进步。然而，这种进步并不容易转移到长式QA的任务中，因为长式QA的目标是回答需要深入解释的问题。这些障碍包括：（i）缺乏高质量的数据，（ii）缺乏对答案质量的明确定义。在这项工作中，我们通过以下方式解决这些问题：（i）发布一个新的数据集和一个我们称之为ASQA（Ambiguity问题的答案摘要）的任务;以及（ii）提出一个可靠的度量标准来衡量ASQA的性能。我们的任务集中在模糊的事实性问题上，也就是说，根据不同的解释，有不同的正确答案。对模棱两可问题的回答应该综合来自多个来源的事实信息，形成一个解决歧义的长篇摘要。与现有的长形式QA任务（如ELI 5）相比，ASQA承认一个明确的正确性概念：面对一个好的摘要的用户应该能够回答对原始模糊问题的不同解释。我们使用正确性的概念来定义ASQA性能的自动度量。我们的分析表明，这个指标和人类的判断之间的协议，并揭示了人类的表现和强大的基线之间的相当大的差距。
2023-01-22 cs.CL
ANTIQUE: A Non-Factoid Question Answering Benchmark
考虑到移动和语音搜索的广泛使用，非事实问题的答案段落检索在现代信息检索系统中起着至关重要的作用。尽管这项任务很重要，但社区仍然感到缺乏大规模的非事实问答集，这些问答集具有真实的问题和全面的相关性判断。在本文中，我们开发并发布了一系列来自不同类别的2，626个开放域非事实问题。该数据集名为ANTIQUE，包含34，011个手动相关性注释。这些问题是由社区问答服务中的真实用户提出的，即，哇哦！答案每个问题的所有答案的相关性判断是通过众包收集的。为了便于进一步的研究，我们还包括一个简单的分析的数据以及基线结果的经典和最近开发的神经IR模型。
2019-08-19 cs.CL cs.IR
Make a Choice! Knowledge Base Question Answering with In-Context Learning
Soochow University（苏州大学）；Huawei Cloud（华为云）
本文提出McL-KBQA框架，通过基于ICL的多选题形式将LLM的少样本能力融入KBQA方法，在低资源场景下提升泛化能力与问答有效性。
2023-05-23 cs.CL
Answer Interaction in Non-factoid Question Answering Systems
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；RMIT University（皇家墨尔本理工大学）；Rutgers University（罗格斯大学）
信息检索系统正从文献检索发展到答案检索。Web搜索日志提供了大量关于人们如何与排名的文档列表交互的数据，但对与答案文本的交互知之甚少。在本文中，我们使用Amazon Mechanical Turk来研究非事实问答设置中的三种答案呈现和交互方法。我们发现，人们对好的和坏的答案的感知和反应非常不同，并且可以相对快速地识别好的答案。我们的研究结果为进一步研究有效的回答交互和反馈方法提供了基础。
2019-01-15 cs.CL cs.IR
ComQA: A Community-sourced Dataset for Complex Factoid Question Answering with Paraphrase Clusters
Amazon Alexa（亚马逊Alexa）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bloomberg L.P.（彭博有限合伙企业）
为了弥合模拟问答（QA）中最先进的能力与用户提问之间的差距，我们需要捕获用户感兴趣的各种问题现象的真实用户问题的大型数据集，以及这些问题的不同表达方式。我们介绍ComQA，一个真实用户问题的大型数据集，表现出不同的挑战性方面，如组合性，时间推理和比较。ComQA问题来自WikiAnswers社区QA平台，其中通常包含现有搜索引擎技术无法令人满意地回答的问题。通过大量的众包工作，我们清理了问题数据集，将问题分组到释义集群中，并用它们的答案注释集群。ComQA包含11，214个问题，分为4，834个释义集群。我们详细介绍了构建ComQA的过程，包括在有效利用众包的同时确保其高质量所采取的措施。我们还对数据集进行了广泛的分析，并对ComQA上最先进的系统所取得的结果进行了分析，表明我们的数据集可以成为未来QA研究的驱动力。
2019-04-10 cs.CL
A Study of BERT for Non-Factoid Question-Answering under Passage Length Constraints
IBM Research AI（IBM研究AI）；Haifa University（海法大学）
我们研究了BERT在非事实性问答中的应用，重点研究了不同段落长度下的段落重新排序任务。为此，我们探讨了微调的BERT在不同的学习排名设置，包括逐点和成对的方法，从而在国家的最先进的实质性改进。然后，我们分析了不同的通道长度的有效性BERT，并建议如何应付大通道。
2019-08-19 cs.CL cs.IR
Generating Factoid Questions With Recurrent Neural Networks: The 30M Factoid Question-Answer Corpus
University of Montreal（蒙特利尔大学）
在过去的十年中，大规模的监督学习语料库使机器学习研究人员取得了实质性的进展。然而，到目前为止，还没有大规模的问答语料库。在本文中，我们提出了30 M Factoid的问答语料库，一个巨大的问答对语料库，通过应用一种新的神经网络架构的知识库Freebase将事实转化为自然语言的问题。所产生的问题答案对由人工评估者和使用自动评估度量（包括完善的机器翻译和句子相似性度量）来评估。在所有评价标准中，问题生成模型的表现优于竞争性的基于模板的基线。此外，当呈现给人类评估者时，生成的问题在质量上与真正的人类生成的问题相当。
2016-05-29 cs.AI cs.CL cs.LG
Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions
Georgia Institute of Technology（佐治亚理工学院）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本研究针对生物医学问答需求，提出基于预训练大语言模型的两级检索问答系统，通过提示工程与后处理优化，在BioASQ 2024相关任务中取得了对应评测指标的性能结果。
2024-07-09 cs.CL
Natural Answer Generation: From Factoid Answer to Full-length Answer using Grammar Correction
Indian Institute of Technology Bombay, Mumbai（印度理工学院孟买分校）；Indian Institute of Technology Patna（印度理工学院巴特那分校）；LG Soft India（LG软件印度公司）
现在的问答系统通常使用基于模板的语言生成。虽然对于特定领域的任务来说已经足够了，但是这些系统对于独立于领域的系统来说限制太多，并且是预定义的。本文提出了一个系统，输出一个完整的长度的答案给出一个问题和提取的事实答案（短跨度，如命名实体）作为输入。我们的系统使用选区和依赖解析树的问题。基于transformer的语法纠错模型GECToR（2020）被用作后处理步骤，以提高流畅性。我们将我们的系统与（i）改进的指针生成器（SOTA）和（ii）微调的DialoGPT进行比较。我们还测试了我们的方法对存在（是-否）的问题，更好的结果。我们的模型比最先进的（SOTA）方法生成准确和流畅的答案。评估是在NewsQA和SqUAD数据集上进行的，ROUGE-1评分分别增加0.4和0.9个百分点。与SOTA相比，推理时间减少了85%.用于我们评估的改进数据集将作为研究贡献的一部分发布。
2021-12-07 cs.AI cs.CL
Harnessing Collective Intelligence of LLMs for Robust Biomedical QA: A Multi-Model Approach
Department of Informatics；Kapodistrian University of Athens, Greece；Institute for Fundamental Biomedical Science, Biomedical Sciences Research Center "Alexander Fleming", Greece；Department of Informatics \& Telematics, School of Digital Technology, Harokopio University, Greece；Archimedes, Athena Research Center, Greece
本研究提出一种多模型集成方法，利用多数投票和答案并集机制，在BioASQ 2025挑战赛的生物医学问答任务中取得多项第一，验证了LLM组合的有效性。
2025-08-02 cs.CL
Complex Factoid Question Answering with a Free-Text Knowledge Graph
University of Maryland（马里兰大学）；Microsoft AI & Research（微软AI与研究院）；Google Research Zürich（苏黎世谷歌研究院）
我们介绍DELFT，一个事实的问答系统，结合了细微差别和深度的知识图谱问答方法与自由文本的覆盖面更广。DELFT从Wikipedia构建了一个自由文本知识图谱，其中实体作为节点，实体共同出现的句子作为边。对于每个问题，DELFT使用文本句子作为边来找到将问题实体节点连接到候选者的子图，从而创建密集且高覆盖率的语义图。一种新颖的图神经网络在自由文本图上进行推理，通过沿边的信息组合节点上的证据，以选择最终答案。在三个问答数据集上的实验表明，DELFT比基于机器阅读的模型、基于伯特的答案排序和记忆网络更好地回答实体丰富的问题。DELFT的优势来自于其自由文本知识图谱的高覆盖率--是dbpedia关系的两倍多--以及新颖的图神经网络，它基于丰富但有噪声的自由文本证据进行推理。
2021-03-23 cs.CL cs.IR
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business（雅典经济与商业大学）；Institute for Language and Speech Processing, Research Center ‘Athena’（“雅典娜”研究中心语言与语音处理研究所）；Institute of Informatics and Telecommunications, NCSR ‘Demokritos’（国家科学研究中心“德谟克利特”信息与电信研究所）
我们研究了七种数据增强（da）方法在模拟问答中的效果，主要集中在生物医学领域，在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验，我们用从人工生物医学机器阅读理解数据集获得的训练实例，或通过反向翻译，信息检索，基于word 2 vec嵌入的单词替换，或掩蔽语言建模，问题生成，或用额外的上下文扩展给定的段落。我们表明，DA可以导致非常显着的性能增益，即使使用大型预训练的Transformers，有助于更广泛的讨论，如果/当DA受益于大型预训练模型。最简单的da方法之一，基于word 2 vec的单词替换，性能最好，值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
When Do LLMs Admit Their Mistakes? Understanding The Role Of Model Belief In Retraction
University of Southern California（南加州大学）
研究揭示LLMs在生成时基于内部信念而非参数知识进行撤回，监督微调可提升其撤回性能。
2026-08-10 cs.CL
LSTM-based Deep Learning Models for Non-factoid Answer Selection
IBM Watson Core Technologies（IBM沃森核心技术部）
在本文中，我们将一个通用的深度学习（DL）框架应用于答案选择任务，该框架不依赖于手动定义的特征或语言工具。其基本框架是基于双向长短期记忆（biLSTM）模型构建问题和答案的嵌入，并通过余弦相似度度量它们的接近程度。我们在两个方向上进一步扩展了这个基本模型。一个方向是通过将卷积神经网络与基本框架相结合来定义问题和答案的更复合的表示。另一个方向是利用简单但有效的注意力机制，以便根据问题上下文生成答案表示。提供了几种不同的模型。模型通过两个数据集进行了检验，包括TREC QA和InsuranceQA。实验结果表明，所提出的模型大大优于几个强基线。
2016-03-28 cs.CL cs.LG
Conclusion-Supplement Answer Generation for Non-Factoid Questions
NTT Resonant Inc.（NTT Resonant公司）
本文解决了非事实问题的结论补充答案生成的目标，这是自然语言处理（NLP）和人工智能（AI）领域的一个关键问题，因为用户在接受结论之前经常需要补充信息。然而，当前的编码器-解码器框架很难生成这样的答案，因为当它试图学习同一个非事实问题的几个不同的长答案时，它可能会变得混乱。我们的解决方案，称为集成网络，超越了单个短句，并融合了逻辑连接的结论陈述和补充陈述。它从结论解码器的输出序列中提取上下文，并使用它来基于注意力机制创建补充解码器状态。它还评估问题编码器的输出序列与结论和补充解码器的单独输出以及它们的组合的接近度。因此，它生成与问题匹配的答案，并具有与结论序列所表达的上下文一致的听起来自然的补充序列。对包括“爱情建议”和“艺术与人文”类别在内的数据集进行的评估表明，我们的模型输出的结果比测试的基线模型准确得多。
2019-11-25 cs.AI cs.CL cs.LG
Long-context Non-factoid Question Answering in Indic Languages
Indraprastha Institute of Information Technology, Delhi（德里英迪拉普拉斯提信息技术学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本研究针对印度低资源语言长上下文非事实型问答的挑战，探索多种上下文缩短技术及其组合，实验证明该技术可有效提升问答性能、降低计算开销，同时也指出了现有系统的相关局限性。
2025-06-13 cs.CL
A Syntactic Approach to Domain-Specific Automatic Question Generation
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
事实性问题是需要简短的基于事实的答案的问题。从给定文本自动生成（AQG）拟事实问题可以有助于教育活动、交互式问答系统、搜索引擎和其他应用。我们的研究目标是生成基于特定领域的factoid源问题答案三元组。我们提出了一个由四个部分组成的管道，它获得特定领域文档的训练语料库作为输入，以及来自同一领域的一组陈述句，并生成一组事实问题作为输出，这些问题涉及源句子，但与它们略有不同，从而可以向问答系统或个人询问比简单的单词匹配需要更深理解和知识的问题。相反，现有的特定领域的AQG系统，利用基于模板的方法来生成问题，我们建议将每个源句子转化为一组问题，通过应用一系列的域独立的规则（基于语法的方法）。我们的管道在网络安全领域进行了评估，分别对管道的每个组件和端到端系统进行了一系列实验。所提出的方法比现有的最先进的AQG系统产生更高百分比的可接受的问题。
2017-12-28 cs.CL
VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Brno University of Technology（布尔诺理工大学）
本文提出泰卢固语口语问答基准VākQA，含2,001个问答对，验证评估方法并基准测试模型，发现翻译丢失文化特异性、语音混淆及级联错误等问题。
2026-09-18 cs.CL eess.AS
Can AI Generate Love Advice?: Toward Neural Answer Generation for Non-Factoid Questions
NTT Resonant Inc.（NTT Resonant公司）
从QA网站中提取非事实问题答案的深度学习方法被视为至关重要，因为它们可以帮助用户通过与AI系统的对话做出下一步决定。然而，现有的方法存在以下两个问题：（1）由于词语的使用依赖于语境，无法理解问句中的歧义。因此，他们的答案选择的准确性不够好。(2)目前的方法只能从问答网站的答案中进行选择，不能生成新的答案。因此，它们不能回答与QA站点中存储的问题有些不同的问题。我们的解决方案，神经答案构建模型，解决了这些问题，因为它：（1）将问题背后的语义偏见转化为词嵌入，同时也计算它们而不管语义。因此，它可以提取适合问题中使用的单词的上下文的答案，以及遵循跨语义的单词的常见用法。这提高了答案选择的准确性。(2)使用biLSTM来计算问题的嵌入以及通常用于形成答案的句子的嵌入。然后，它同时学习这些句子的最佳组合以及问题与这些句子之间的接近程度。因此，我们的模型可以构建一个与问题背后的情况相对应的答案;它填补了答案选择和生成之间的空白，并且是第一个超越当前简单答案选择模型的模型。使用存储在日本QA网站Oshiete goo中的爱情建议数据集进行的评估表明，我们的模型在答案创建方面的准确性比强基线高出20%。我们的模型是实用的，并已被应用到爱情咨询服务在Oshiete goo。
2019-12-06 cs.CL cs.LG
SQATIN: Supervised Instruction Tuning Meets Question Answering for Improved Dialogue NLU
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；PolyAI Limited（PolyAI有限公司）
本文提出SQATIN框架，将指令微调与问答形式化相结合用于对话NLU，在域内训练和跨域迁移上均超越现有模型，尤其显著提升跨域迁移性能。
2024-04-08 cs.CL
Multilingual Non-Factoid Question Answering with Answer Paragraph Selection
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院德里校区）；International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴校区）
本文提出覆盖38种语言、含578K余问答对的非事实型多语言数据集MuNfQuAD，并通过微调APS模型验证其答案段落选择与跨语言泛化能力。
2025-02-19 cs.AI cs.CL cs.IR
Cross-Lingual Open-Domain Question Answering with Answer Sentence Generation
Inria（法国国家信息与自动化研究所）；Amazon Alexa AI（亚马逊Alexa AI）
开放域生成式问答通过将文档级检索与答案生成相结合，在英语中取得了令人印象深刻的性能。这些方法，我们称之为GenQA，可以生成完整的句子，有效地回答事实和非事实问题。在本文中，我们将GenQA扩展到多语言和跨语言设置。为此，我们首先介绍GenTyDiQA，这是TyDiQA数据集的扩展，具有阿拉伯语，孟加拉语，英语，日语和俄语的格式良好和完整的答案。基于GenTyDiQA，我们设计了一个跨语言生成模型，该模型通过利用多种语言（包括与问题不同的语言）编写的段落来生成整句答案。我们的跨语言生成系统优于所有5种语言的答案句子选择基线和五种语言中三种语言的单语生成管道。
2022-12-19 cs.CL
Findings of the Third Automatic Minuting (AutoMin) Challenge
NAVER Labs Europe（NAVER欧洲实验室）；Charles University（查尔斯大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文介绍了第三届AutoMin共享任务，涵盖结构化会议纪要生成和基于会议记录的问答任务，并通过基线系统全面评估了2025年大语言模型的表现。
2025-09-17 cs.CL
LittiChoQA: Literary Texts in Indic Languages Chosen for Question Answering
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）；Accenture（埃森哲）
LittiChoQA是一个针对印度语言文学文本的大型问答数据集，通过完整上下文微调在性能上表现最佳，同时上下文缩短显著提升了处理效率。
2026-01-06 cs.CL
ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
针对现有检索增强LLM问答系统存在失败案例且无法端到端训练的问题，提出结合ReAct风格智能体与类ReST迭代训练方法，仅两次迭代即可得到参数量少两个数量级、性能相当的小模型。
2023-12-15 cs.CL
Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks
University of Regensburg（雷根斯堡大学）
本研究评估GPT-3.5-Turbo与GPT-4在BioASQ 2023生物医学任务的零样本表现，发现其生成任务性能优异、检索任务有提升但不及专用系统，并公开了实验代码。
2023-07-24 cs.CL
CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases
Carnegie Mellon University（卡内基梅隆大学）；Baidu Research（百度研究院）
我们如何才能让计算机自动回答像“谁创造了哈利波特这个角色”这样的问题？精心构建的知识库提供了丰富的事实来源。然而，由于一个问题的多种表达方式，回答以自然语言提出的仿真问题仍然是一个挑战。特别是，我们专注于最常见的问题-那些可以用知识库中的一个事实来回答的问题。我们提出了CFO，一种基于条件聚焦神经网络的方法，用知识库来回答模拟问题。我们的方法首先放大一个问题，以找到更多可能的候选主题提到，并推断出一个统一的条件概率框架的最终答案。在深度递归神经网络和神经嵌入的支持下，我们提出的CFO在108 k个问题的数据集上实现了75.7%的准确率-这是迄今为止最大的公开数据集。它比目前最先进的技术表现出11.8%的绝对优势。
2016-07-04 cs.CL
In-Context Learning for Knowledge Base Question Answering for Unmanned Systems based on Large Language Models
Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）
针对无人系统知识库问答中自然语言转查询代码的难题，提出含六个模块的ChatGPT驱动CQL生成框架，在CCKS2023相关竞赛中获第二名，F1达0.92676。
2023-11-06 cs.AI cs.CL
Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering
Baidu Research - Institute of Deep Learning（百度研究院 - 深度学习研究所）
近年来，基于神经网络的问答（QA），即神经QA，取得了可喜的成果，但缺乏大规模的真实问答数据集仍然是开发和评估神经QA系统的一个挑战。为了缓解这个问题，我们提出了一个大规模的人类注释的真实世界的QA数据集WebQA超过42 k的问题和556 k的证据。由于现有的神经QA方法将QA解决为序列生成或分类/排名问题，因此它们面临着昂贵的softmax计算，看不见的答案处理或单独的候选答案生成组件的挑战。在这项工作中，我们将神经QA转换为序列标记问题，并提出了一个端到端的序列标记模型，克服了上述所有挑战。在WebQA上的实验结果表明，我们的模型在基于单词的输入下的F1得分为74.69%，显著优于基线，并且在更具有挑战性的基于字符的输入下，性能仅下降3.72 F1点。
2016-09-01 cs.AI cs.CL cs.NE
SRQA: Synthetic Reader for Factoid Question Answering
Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong（香港城市大学）
问答系统可以用深度神经网络回答来自各个领域和形式的问题，但在面对多个证据时仍然缺乏有效的途径。我们引入了一个新的模型称为SRQA，这意味着合成阅读器的模拟问答。该模型从模型结构、优化目标和训练方法三个方面对多文档场景下的问答系统进行了改进，分别对应多层注意（MA）、交叉证据（CE）和对抗训练（AT）。首先，我们提出了一个多层注意力网络，以获得更好的代表性的证据。多层注意力机制在每一层内进行问题与段落之间的交互，使得每一层证据的表征都考虑到问题的需求。其次，我们设计了一个交叉证据策略，在更多的证据中选择答案跨度。改进了优化目标，将所有答案在多个证据中的位置作为训练目标，使模型能够在多个证据之间进行推理。第三，在我们的模型中，除了词嵌入之外，还对高级变量进行了对抗性训练。还提出了一种新的归一化方法对抗扰动，使我们可以共同添加扰动到几个目标变量。作为一种有效的正则化方法，对抗训练增强了模型处理噪声数据的能力。结合这三种策略，我们提高了模型的上下文表示和定位能力，可以从多个证据中综合提取答案跨度。我们在WebQA数据集上进行了SRQA，实验表明，我们的模型优于最先进的模型（我们的模型的最佳模糊分数高达78.56%，提高了约2%）。
2020-09-02 cs.CL cs.LG
Typed-RAG: Type-Aware Decomposition of Non-Factoid Questions for Retrieval-Augmented Generation
本文提出Typed-RAG框架，通过将非事实型问题分类为预定义类型并分解为单方面子查询，提升检索相关性与答案质量，并构建Wiki-NFQA基准数据集验证其优于现有方法。
2025-07-22 cs.CL cs.IR
Neural Question Answering at BioASQ 5B
Hasso Plattner Institute（哈索·普拉特纳研究所）；DFKI（德国人工智能研究中心）
本文介绍了我们提交的2017年BioASQ挑战。我们参加了任务B，B阶段，涉及生物医学问答（QA）。我们专注于factoid和列表问题，使用提取QA模型，也就是说，我们限制我们的系统输出所提供的文本片段的子串。在我们系统的核心，我们使用FastQA，一个最先进的神经QA系统。我们用生物医学词嵌入扩展了它，并改变了它的答案层，使它除了能够回答事实问题外，还能够回答列表问题。我们在大规模开放域QA数据集SQuAD上对模型进行了预训练，然后在BioASQ训练集上对参数进行了微调。通过我们的方法，我们在事实问题上取得了最先进的结果，在列表问题上取得了有竞争力的结果。
2017-06-26 cs.AI cs.CL cs.NE
ListReader: Extracting List-form Answers for Opinion Questions
Harbin Institute of Technology（哈尔滨工业大学）
问答是一种高级的自然语言处理能力。大多数提取式机器阅读理解模型都集中在事实性问题上（例如，who，when，where），并将输出答案限制为原始段落中的短而连续的跨度。然而，在现实世界的场景中，许多问题是非事实的（例如，如何、为什么）及其答案以包含多个不连续跨度的列表格式组织。当然，现有的提取模型在设计上无法回答这些问题。针对这一问题，提出了一种基于神经抽取的列表式问答模型ListReader。除了学习问题和内容之间的对齐之外，我们还引入了一个异构的图神经网络来显式地捕获候选片段之间的关联。此外，我们的模型采用了一个共同提取设置，可以提取跨度或跨度级别的答案，允许更好的适用性。两个大规模的不同语言的数据集构建，以支持这项研究。实验结果表明，我们的模型大大优于各种强基线。进一步的讨论提供了对我们的模型如何工作以及性能增益来自何处的直观理解。
2021-10-22 cs.CL
Transferability of Natural Language Inference to Biomedical Question Answering
Korea University（高丽大学）；Hyundai Motor Company（现代汽车公司）
生物医学问答（QA）是一项具有挑战性的任务，由于数据的稀缺性和领域的专业知识的要求。预先训练的语言模型已经被用于解决这些问题。最近，句子对之间的学习关系已被证明可以提高一般QA的性能。在本文中，我们专注于应用生物BERT的自然语言推理（NLI）的知识转移到生物医学QA。我们观察到，在NLI数据集上训练的BioBERT在Yes/No（+5.59%），Factoid（+0.53%），List类型（+13.58%）问题上获得了更好的性能，与之前的挑战（BioASQ 7 B阶段B）相比。我们提出了一种顺序迁移学习方法，该方法在第8届BioASQ挑战赛（B阶段）中表现出色。在顺序迁移学习中，任务的微调顺序很重要。我们测量的提取QA设置时，事实和列表类型的问题的格式转换为斯坦福问答数据集（SQuAD）的格式的不可回答率。
2021-02-17 cs.CL
RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM
ITMO University（圣彼得堡国立信息技术机械与光学大学）；Novosibirsk State University（新西伯利亚国立大学）；Far Eastern Federal University（远东联邦大学）
研究针对现有GraphRAG系统问题，提出RAGU引擎，通过分离提取与合并多步处理知识图。核心方法包括两阶段提取等。贡献在于训练的Meno-Lite-0.1模型表现出色，在多方面超越其他模型，且RAGU安装简单、运行要求低并开源。
2026-07-14 cs.AI cs.CL
Neural Domain Adaptation for Biomedical Question Answering
Hasso Plattner Institute（哈索·普拉特纳研究所）；DFKI（德国人工智能研究中心）
事实问答（QA）最近受益于深度学习（DL）系统的发展。神经网络模型在存在大型数据集的领域中优于传统方法，例如SQuAD（ca. 100，000个问题）的维基百科文章。然而，这些系统还没有被应用到QA在更具体的领域，如生物医学，因为数据集通常太小，从零开始训练DL系统。例如，用于生物医学QA的BioASQ数据集包括不到900个factoid（单个答案）和列表（多个答案）QA实例。在这项工作中，我们通过采用各种迁移学习技术，将在大型开放域数据集（SQuAD，源）上训练的神经QA系统适应于生物医学数据集（BioASQ，目标）。我们的网络架构是基于一个国家的最先进的QA系统，扩展与生物医学词嵌入和一个新的机制来回答列表问题。与现有的生物医学QA系统相比，我们的系统不依赖于特定领域的本体，解析器或实体标记，这是昂贵的创建。尽管如此，我们的系统在事实问题上取得了最先进的结果，在列表问题上取得了有竞争力的结果。
2017-06-15 cs.AI cs.CL cs.NE
On Large Language Models' Hallucination with Regard to Known Facts
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文从推理动力学角度分析LLM已知事实却幻觉的问题，通过同知识不同答案问题对比与残差流到词汇空间的映射提取层深度概率曲线特征，并构建分类器以88%准确率检测幻觉。
2024-10-28 cs.CL cs.LG
Large Language Models Meet Knowledge Graphs for Question Answering: Synthesis and Opportunities
Aalborg University（奥尔堡大学）；Southeast University（东南大学）；Bowling Green State University（布雷恩特绿色州立大学）；Tongji University（同济大学）
本文系统综述了大型语言模型与知识图谱结合用于问答的方法，提出结构化分类法，分析各类方法的优势、局限与知识图谱需求，并总结进展、评估指标、基准数据集及未来挑战与机遇。
2025-09-22 cs.AI cs.CL cs.IR
Multi-hop Inference for Question-driven Summarization
The Chinese University of Hong Kong（香港中文大学）
摘要驱动的摘要最近被研究作为一种有效的方法来总结源文档，以产生简洁，但非事实问题的信息量的答案。在这项工作中，我们提出了一种新的问题驱动的抽象摘要方法，多跳选择性生成器（MSG），将多跳推理到问题驱动的摘要，同时，为生成的摘要提供理由。具体来说，我们通过一个类似人类的多跳推理模块，捕捉重要的句子，以证明总结的答案，联合模型的相关性的问题和不同的句子之间的相互关系。设计了一个具有多视角覆盖机制的门控选择性指针生成器网络，用于整合来自不同视角的各种信息。实验结果表明，该方法始终优于国家的最先进的方法在两个非factoid QA数据集，即WikiHow和PubMedQA。
2020-10-08 cs.CL
UNCC Biomedical Semantic Question Answering Systems. BioASQ: Task-7B, Phase-B
UNC Charlotte（北卡罗来纳大学夏洛特分校）
在本文中，我们详细介绍了我们提交的2019年，第7年，BioASQ比赛。我们提出了我们的方法，任务-7b，B阶段，精确定位任务。这些问答（QA）任务包括模拟事实、是/否、列表类型问答。我们的系统是基于上下文的词嵌入模型。我们使用了双向编码器表示从Transformers（BERT）为基础的系统，微调生物医学问答任务，使用生物BERT。在第三批测试中，我们的系统取得了最高的MRR分数的仿真问答任务。此外，对于列表类型的问答任务，我们的系统在第四批测试中获得了最高的召回分数。随着我们的详细方法，我们提出了我们提交的结果，并强调了我们当前方法的缺点以及在未来实验中改进它们的方法。
2020-02-05 cs.CL cs.IR
Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出一个自动构建知识图谱的梵语问答框架，在摩诃婆罗多、罗摩衍那及阿育吠陀文本上实现实例，能正确回答约50%的事实性问题，并分析了系统不足与改进方向。
2023-10-11 cs.CL
Statistical Knowledge Assessment for Large Language Models
Peking University（北京大学）；Shanghai AI Lab（上海人工智能实验室）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出统计方法KaRR，通过比较LLM在多样化提示下生成答案实体文本的比例与随机概率，评估大语言模型的事实知识，并在大规模实体关系数据上验证其与人类评估的相关性及知识缩放规律。
2023-10-28 cs.CL cs.LG
Neural Relation Prediction for Simple Question Answering over Knowledge Graph
Amirkabir University of Technology（阿米尔卡比尔理工大学）
知识图谱被广泛地用作提供事实问题的答案的典型资源。在知识图谱上的简单问答中，关系抽取旨在从一组预定义的关系类型中预测事实问题的关系。大多数最近的方法利用神经网络来匹配问题与所有预定义的关系。在本文中，我们提出了一种基于实例的方法来捕捉潜在的关系的问题，并为此目的，我们检测匹配的释义的一个新的问题，共享相同的关系，并选择其对应的关系作为我们的预测。我们的模型的想法根源于这样一个事实，即关系可以用各种形式的问题来表达，而这些形式共享词汇或语义相似的术语和概念。在SimpleQuestions数据集上的实验表明，该模型比现有的关系抽取模型具有更高的准确率。
2020-07-05 cs.CL cs.LG
LaMsS: When Large Language Models Meet Self-Skepticism
Geely AI Lab（Geely人工智能实验室）；Beihang University（北京航空航天大学）
提出LaMsS方法，通过引入怀疑标记并结合预训练与微调，使LLM在解码时输出怀疑水平，仅在低怀疑度下回答，有效缓解幻觉并在多任务和域外设置中表现优异。
2025-04-26 cs.CL cs.LG
A Benchmark Dataset with Larger Context for Non-Factoid Question Answering over Islamic Text
School of Electrical Engineering and Computer Science (SEECS)（电气工程与计算机科学学院（SEECS））；National University of Sciences and Technology (NUST)（国家科技大学（NUST））；College of Computer and Information Sciences (CCIS)（计算机与信息科学学院（CCIS））；Prince Sultan University（苏丹王子大学）
针对伊斯兰宗教文本问答系统稀缺问题，研究构建了含7.3万余带上下文问答对的《古兰经》经注与圣训领域最大数据集，建立评估基准，并发现自动评估指标与人工评估存在显著差异，需更适配宗教文本特性的评估技术。
2024-09-15 cs.CL cs.LG
Self-Training Meets Consistency: Improving LLMs' Reasoning with Consistency-Driven Rationale Evaluation
Sungkyunkwan University（成均馆大学）；Tohoku University（东北大学）
本文提出CREST自训练框架，通过后续问题一致性评估理由质量，结合过滤与偏好学习，提升大语言模型推理的稳健性与正确性。
2025-02-06 cs.AI cs.CL cs.LG
Direct Reasoning Optimization: Token-Level Reasoning Reflectivity Meets Rubric Gates for Unverifiable Tasks
Microsoft（微软公司）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种约束强化学习框架，通过令牌级推理反射奖励和评分门控优化不可验证任务的推理质量与学习效率。
2026-05-07 cs.AI cs.CL cs.LG
Mitigating Noisy Inputs for Question Answering
University of Maryland（马里兰大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言处理系统通常位于不可靠输入的下游：机器翻译、光学字符识别或语音识别。例如，虚拟助手只能在理解你的演讲后回答你的问题。我们调查和减轻噪声的影响，从自动语音识别系统上的两个事实的问答（QA）任务。经验表明，将置信度集成到模型中并强制解码未知单词可以提高下游神经QA系统的准确性。我们在超过50万个嘈杂句子的合成语料库上创建和训练模型，并在Quizbowl和Jeopardy的两个人类语料库上进行评估！竞争。
2019-08-08 cs.CL
KBQA: Learning Question Answering over QA Corpora and Knowledge Bases
Facebook（脸书）；HKUST（香港科技大学）；Yonsei University（延世大学）；Fudan University（复旦大学）
问答（QA）已经成为人类访问数十亿级知识库的流行方式。与Web搜索不同，知识库上的QA给出了准确和简洁的结果，前提是自然语言问题可以被理解并精确地映射到知识库上的结构化查询。然而，挑战在于，一个人可以用多种不同的方式提出一个问题。以前的方法有自然的限制，由于其表示：基于规则的方法只理解一小部分的“罐头”的问题，而基于关键字或基于同义词的方法不能完全理解的问题。在本文中，我们设计了一种新的问题表示：模板，超过十亿规模的知识库和百万规模的问答语料库。例如，对于有关城市人口的问题，我们学习了诸如$city?, How many people are there in $ city的人口是多少？我们学习了2782个意图的2700万个模板。基于这些模板，我们的问答系统KBQA有效地支持二进制事实问题，以及由一系列二进制事实问题组成的复杂问题。此外，我们扩展了RDF知识库中的谓词，使知识库的覆盖率提高了57倍。我们的QA系统在QALD基准的有效性和效率方面击败了所有其他最先进的作品。
2019-03-06 cs.CL
CQASUMM: Building References for Community Question Answering Summarization Corpora
Myntra Designs（Myntra设计公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）
Quora、Stackoverflow等社区问答论坛是丰富的知识资源，经常迎合被主要搜索引擎忽视的主题信息。提交给这些论坛的答案往往是精心制作的，包含垃圾邮件，被诽谤和商业促销所破坏。读者很难通过大量这样的答案来衡量社区的意见。因此，总结成为CQA论坛的优先任务。虽然已经做出了一些努力来总结类事实CQA，但在总结非类事实CQA方面的工作很少。我们认为这是由于缺乏一个相当大的，注释的数据集CQA总结。我们通过过滤440万Yahoo！回答L 6数据集。我们抽样的线程，其中最好的答案可以加倍作为一个参考摘要，并建立从他们百字摘要。我们将其他答案作为候选文档进行总结。我们提供了一个脚本来生成数据集，并介绍了社区问答摘要的新任务。多文档摘要已被广泛研究的新闻文章数据集，特别是在DUC和TAC挑战使用新闻语料库。然而，CQA中的文档具有更高的方差、矛盾的观点和更少的重叠量。我们比较流行的多文档摘要技术，并评估其性能在我们的CQA语料库。我们研究了最先进的技术，并了解了现有的多文档摘要器（MDS）失败的情况。我们发现，大多数MDS工作流程是建立在完全事实的新闻语料库，而我们的语料库有一个公平的份额的意见为基础的实例。因此，我们引入了OpinioSumm，一种新的MDS，其在ROUGE-1评分方面优于最佳基线4.6%。
2018-11-12 cs.CL
MixQG: Neural Question Generation with Mixed Answer Types
Salesforce AI Research（赛富时人工智能研究院）
提出好的问题是人类和机器智能的基本能力。然而，现有的神经问题生成方法主要集中在简短的factoid类型的答案。在本文中，我们提出了一个神经问题生成器MixQG来弥合这一差距。我们结合了9个问答数据集与不同的答案类型，包括是/否，多项选择，提取和抽象的答案，训练一个单一的生成模型。我们的实证结果表明，我们的模型优于现有的工作，在可见和不可见的领域，并可以生成不同的认知水平的问题时，不同的答案类型的条件。我们的代码已经发布，并与Huggingface库很好地集成，以促进各种下游应用程序。
2022-05-31 cs.CL
