GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering
University of Science and Technology of China（中国科学技术大学）；NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；ShanghaiTech University（上海科技大学）；Ant Group（蚂蚁集团）
提出GAPD框架，通过中间锚点匹配将金动作序列与在线策略对齐，为基于强化学习的知识库问答提供密集的令牌级指导，在多个基准上取得最优结果。
2026-06-03 cs.CL
Medicines Question Answering System, MeQA
Agencia Española de Medicamentos y Productos Sanitarios (AEMPS)（西班牙药品和健康产品局）
在本文中，我们提出了第一个系统，在西班牙能够回答有关药物供人类使用的问题，称为MeQA（药品问答），由西班牙药品和健康产品局（AEMPS，其西班牙语的首字母缩写）创建的一个项目。提供医疗帮助的在线服务大幅增加，主要是由于COVID-19导致的当前疫情。例如，Doctoralia、Savia或SaludOnNet等网站提供Doctor Answers类型的咨询，患者或用户可以向医生和专家发送问题，并在24小时内收到答案。收到的许多问题都与人用药品有关，大多数问题都可以通过传单得到解答。因此，像MeQA这样能够自动回答这类问题的系统可以减轻这些网站的负担，对这些患者来说也很有用。
2021-11-04 cs.CL
Evaluating Semantic Parsing against a Simple Web-based Question Answering Model
Tel-Aviv University（特拉维夫大学）
语义解析擅长分析复杂的自然语言，其中涉及对多个证据的组合和计算。然而，用于语义解析的数据集包含许多可以从单个Web文档中回答的事实问题。在本文中，我们提出了评估语义解析为基础的问答模型进行比较，他们的问答基线查询网页，并提取答案只从网页片段，没有访问目标知识库。我们在COMPLEXQUESTIONS上研究了这种方法，COMPLEXQUESTIONS是一个旨在关注组合语言的数据集，发现我们的模型获得了合理的性能（35 F1与最先进的41 F1相比）。我们在分析中发现，我们的模型在涉及连词的复杂问题上表现良好，但在涉及关系组合和最高级的问题上表现不佳。
2017-07-14 cs.CL
Unsupervised Question Answering for Fact-Checking
IIIT Delhi（德里印德拉普拉斯塔信息技术学院）
最近的深度学习（DL）模型已经成功地在各种自然语言任务（如问答、自然语言推理（NLI）和文本蕴涵）上实现了人类水平的准确性。这些任务不仅需要上下文知识，而且还需要推理能力来有效地解决。在本文中，我们提出了一个无监督的问答为基础的方法类似的任务，事实核查。我们通过屏蔽声明中提供的命名实体将FEVER数据集转换为Cloze任务。为了预测答案令牌，我们利用来自Transformers（BERT）的预训练的双向编码器表示。分类器基于正确回答的问题和阈值计算标签。目前，分类器能够将权利要求分类为“索赔”和“索赔_审查”。这种方法在开发集上实现了80.2%的标签准确率，在转换数据集的测试集上实现了80.25%的标签准确率。
2019-10-16 cs.CL
Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Networks
David R. Cheriton School of Computer Science（大卫·R·谢里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
我们研究了知识图谱上的问答问题，重点是可以通过查找单个事实来回答的简单问题。采用一个简单的问题分解为实体检测，实体链接，关系预测和证据组合，我们探索简单而强大的基线。在流行的SimpleQuestions数据集上，我们发现基本的LSTM和GRU加上一些算法产生的准确性接近最先进的水平，并且不使用神经网络的技术也表现得相当好。这些结果表明，从文献中提出的复杂深度学习技术中获得的收益是相当适度的，并且一些以前的模型表现出不必要的复杂性。
2018-06-05 cs.CL
Self-Correction Distillation for Structured Data Question Answering
针对小规模大语言模型生成结构化查询易出错的问题，本文提出自校正蒸馏方法SCD，通过错误提示机制与两阶段蒸馏策略提升小模型结构化问答能力，实验验证其性能优异。
2025-11-17 cs.AI cs.CL
Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph
IBM Research AI（IBM研究院人工智能）；I.I.T. Madras（马德拉斯印度理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
在与聊天机器人交谈时，人类通常会提出许多问题，其中很大一部分可以通过参考大规模知识图谱（KG）来回答。虽然问答（QA）和对话系统已经被独立研究，但有必要仔细研究它们，以评估涉及这两项任务的机器人所面临的现实场景。为此，我们引入了复杂的顺序QA的任务，它结合了两个任务：（i）通过复杂的推理回答事实问题，通过一个现实大小的KG的数百万个实体，和（ii）学习交谈，通过一系列连贯的QA对。通过一个劳动密集型的半自动过程，包括内部和众包的工作人员，我们创建了一个包含大约20万个对话框的数据集，总共有160万个回合。此外，与包含可以从单个元组回答的简单问题的现有大规模QA数据集不同，我们对话框中的问题需要KG的更大子图。具体来说，我们的数据集有一些问题需要逻辑推理、定量推理和比较推理以及它们的组合。这就要求模型，它可以：（一）解析复杂的自然语言的问题，（二）使用会话上下文来解决话语中的共指和省略，（三）要求澄清模糊的查询，最后（四）检索相关的子图的KG回答这样的问题。然而，我们结合最先进的对话和QA模型的实验表明，它们显然没有实现上述目标，并且不足以处理如此复杂的现实世界设置。我们相信，这一新的数据集加上本文所报道的现有模型的局限性，应该鼓励进一步研究复杂的顺序QA。
2018-10-04 cs.CL
Introspective Distillation for Robust Question Answering
Nanyang Technological University（南洋理工大学）
众所周知，问答（QA）模型利用数据偏差，例如，视觉问答中的语言优先和阅读理解中的位置偏向。最近的去偏方法实现了良好的分布外（OOD）的推广与相当大的牺牲的分布（ID）的性能。因此，它们只适用于测试分布事先已知的领域。在本文中，我们提出了一种新的去偏置方法称为内省蒸馏（IntroD），使最好的两个世界的QA。我们的关键技术贡献是通过反思训练样本是否适合事实ID世界或反事实OOD世界，混合OOD和ID的归纳偏差。视觉QA数据集VQA v2，VQA-CP，和阅读理解数据集SQuAD的实验表明，我们提出的IntroD保持竞争OOD性能相比，其他去偏置方法，而牺牲很少，甚至实现更好的ID性能相比，非去偏置的。
2021-11-01 cs.AI cs.CL cs.CV
Knowledge Distillation for Improved Accuracy in Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）是一项具有挑战性的任务，它要求机器完全理解复杂的口语文档。自动语音识别（ASR）在问答系统的开发中起着重要的作用。然而，最近的工作表明，ASR系统生成高度嘈杂的成绩单，这严重限制了机器理解SQA任务的能力。为了解决这个问题，我们提出了一个新的蒸馏框架。具体来说，我们设计了一个培训策略，执行知识蒸馏（KD）从口头文件和书面的同行。我们的工作使一个步骤，从语言模型中提取知识作为监督信号，通过减少自动和手动transmittance之间的不一致，导致更好的学生的准确性。实验表明，我们的方法优于几个国家的最先进的语言模型上的口语SQuAD数据集。
2021-04-01 cs.AI cs.CL cs.IR
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
How Accurate Are LLMs at Multi-Question Answering on Conversational Transcripts?
Dialpad Inc.（Dialpad公司）
本研究评估LLMs基于同一对话上下文回答多问题的能力，发现微调的80亿参数公开模型在准确性上可超越GPT-4o，具有成本效益部署潜力。
2025-09-26 cs.CL
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America（美国电气通信技术研究所（NEC实验室美国））；Princeton, NJ 08540（普林斯顿，新泽西州08540）
我们提出了一个回答开放域多跳问题的框架，其中部分信息被读取并用于生成后续问题，最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释，并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例，我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用，该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题，选择相关的答案跨度对下游的支持事实，同时避免分散注意力的前提，提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
Technical report on Conversational Question Answering
ZhuiYi Technology（追一科技）
会话问答是一项具有挑战性的任务，因为它需要了解会话历史。在这个项目中，我们提出了一个新的系统RoBERTa + AT +KD，它涉及理性标记多任务，对抗训练，知识蒸馏和语言后处理策略。在没有数据增强的情况下，我们的单一模型在CoQA测试集上达到90.4（F1），比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
CoDi: Conversational Distillation for Grounded Question Answering
Reality Labs at Meta（元宇宙实验室（Meta旗下））；FAIR at Meta（Meta人工智能研究院）
提出对话蒸馏框架CoDi，为约10亿参数的小语言模型合成大规模对话数据，在接地问答任务上达到与人工数据相当的性能，并超越更大规模指令微调模型。
2024-08-20 cs.AI cs.CL
CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases
Carnegie Mellon University（卡内基梅隆大学）；Baidu Research（百度研究院）
我们如何才能让计算机自动回答像“谁创造了哈利波特这个角色”这样的问题？精心构建的知识库提供了丰富的事实来源。然而，由于一个问题的多种表达方式，回答以自然语言提出的仿真问题仍然是一个挑战。特别是，我们专注于最常见的问题-那些可以用知识库中的一个事实来回答的问题。我们提出了CFO，一种基于条件聚焦神经网络的方法，用知识库来回答模拟问题。我们的方法首先放大一个问题，以找到更多可能的候选主题提到，并推断出一个统一的条件概率框架的最终答案。在深度递归神经网络和神经嵌入的支持下，我们提出的CFO在108 k个问题的数据集上实现了75.7%的准确率-这是迄今为止最大的公开数据集。它比目前最先进的技术表现出11.8%的绝对优势。
2016-07-04 cs.CL
Improving Question Answering Performance Using Knowledge Distillation and Active Learning
Sharif University of Technology（谢里夫理工大学）；University of Guilan（吉兰大学）；University of Augsburg（奥格斯堡大学）
当代的问答（QA）系统，包括基于变换器的架构，遭受增加的计算和模型复杂性，这使得它们对于具有有限资源的现实世界应用是低效的。此外，训练甚至微调这些模型需要大量的标记数据，这些数据通常无法用于手头的任务。在本文中，我们对上述挑战进行了全面分析，并提出了适当的对策。我们提出了一种新的知识蒸馏（KD）的方法，以减少参数和模型的复杂性的预训练的BERT系统，并利用多个主动学习（AL）的策略，极大地减少注释工作。特别是，我们证明了我们的模型达到了6层TinyBERT和DistilBERT的性能，同时只使用了它们总参数的2%。最后，通过将我们的AL方法集成到BERT框架中，我们表明，当我们只使用20%的训练数据时，可以在SQuAD数据集上实现最先进的结果。
2021-09-26 cs.CL cs.IR cs.LG
COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
University of Maryland, College Park（马里兰大学学院公园分校）
COFFEQA是一种用于大语言模型问答的反事实引导少样本蒸馏策略，通过引入CFD指标验证事实-反事实对，在多个问答基准上优于仅事实的蒸馏基线。
2026-10-12 cs.AI cs.CL cs.LG
Boosting Question Answering by Deep Entity Recognition
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文介绍了一个开放域的波兰语类事实问答系统RAFAEL。该系统不仅仅是找到一个回答句子;它还提取一个与所需实体相对应的字符串。在这里，重点放在不同的方法来实体识别，检索信息匹配问题的约束条件是必不可少的。除了传统的方法，包括命名实体识别（NER）的解决方案，一种新的技术，称为深度实体识别（DeepER）的介绍和实现。它允许基于先前组装的实体库，全面搜索与给定WordNet同义词集（例如印象派）匹配的所有形式的实体引用。它是通过分析百科全书条目的第一句话以及消除歧义和重定向页面创建的。DeepER还提供自动评估，这使得许多实验成为可能，包括在波兰维基百科上回答的电视问答节目中的一千多个问题。对单独问题集进行手动评估的最终结果表明，DeepER方法的优势在于它能够回答需要超出传统命名实体类别的答案的问题。
2016-05-27 cs.CL
Answering Any-hop Open-domain Questions with Iterative Document Reranking
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）；Siemens Corporate Technology（西门子企业技术部）
现有的开放域问答（QA）方法通常是针对需要单跳或多跳推理的问题而设计的，这些推理对要回答的问题的复杂性做出了很强的假设。此外，多步骤文档检索通常会导致更多相关但不支持的文档，这会抑制下游噪声敏感的阅读器模块进行答案提取。为了解决这些挑战，我们提出了一个统一的QA框架来回答任何跳开放域的问题，迭代检索，重新排序和过滤文件，并自适应地确定何时停止检索过程。为了提高检索精度，我们提出了一个基于图的重排序模型，执行多文档交互作为我们的迭代重排序框架的核心。我们的方法在单跳和多跳开放域QA数据集（包括Natural Questions Open，SQuAD Open和HotpotQA）上始终实现与最先进的性能相当或更好的性能。
2021-05-24 cs.CL
No Need to Pay Attention: Simple Recurrent Neural Networks Work! (for Answering "Simple" Questions)
Comcast Labs（康卡斯特实验室）
一阶拟事实问答假设问题可以由知识库（KB）中的单个事实回答。虽然这似乎不是一项具有挑战性的任务，但最近许多应用复杂语言推理或深度神经网络的尝试在基准集上实现了65%-76%的准确率。我们的方法制定的任务为两个机器学习问题：检测问题中的实体，并在知识库中的关系类型之一分类的问题。我们训练一个递归神经网络来解决每个问题。在SimpleQuestions数据集上，我们的方法比以前发表的结果有了实质性的改进--甚至是基于更复杂架构的神经网络。我们的方法的简单性也有实际的优势，如效率和模块化，这是有价值的，特别是在行业设置。事实上，我们提出了一个初步的分析，我们的模型对来自康卡斯特的X1娱乐平台，每天有数百万用户的真实查询的性能。
2017-07-28 cs.CL
Knowledge Graph-Guided Multi-Agent Distillation for Reliable Industrial Question Answering with Datasets
Zhongnan University of Economics and Law（中南财经政法大学）
提出KG-MASD，利用知识图谱引导多智能体蒸馏，将协作推理与可验证性注入轻量模型，提升工业问答准确率2.4%-20.1%。
2025-10-03 cs.AI cs.CL cs.DB
Efficient and Robust Question Answering from Minimal Context over Documents
Seoul National University（首尔国立大学）；Salesforce Research（Salesforce研究院）
用于基于文档的问答（QA）的神经模型已经取得了显着的性能改进。虽然有效，但这些模型不能扩展到大型语料库，因为它们对文档和问题之间的交互进行了复杂的建模。此外，最近的研究表明，这种模型对对抗性输入很敏感。在本文中，我们研究了回答问题所需的最小上下文，并发现现有数据集中的大多数问题都可以用一小部分句子来回答。受此观察的启发，我们提出了一个简单的句子选择器来选择最小的句子集来输入QA模型。我们的整个系统实现了训练（最多15倍）和推理时间（最多13倍）的显著减少，准确性与SQuAD，NewsQA，TriviaQA和SQuAD-Open的最新技术相当或更好。此外，我们的实验结果和分析表明，我们的方法是更强大的对抗性输入。
2018-05-21 cs.CL
Language Model Knowledge Distillation for Efficient Question Answering in Spanish
University of Cambridge（剑桥大学）
本文提出SpanishTinyRoBERTa，通过知识蒸馏压缩西班牙语问答模型，在保持性能的同时显著提升推理速度，适用于资源受限环境。
2024-03-16 cs.CL cs.LG stat.ML
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Quebec Automobile Insurance Question-Answering With Retrieval-Augmented Generation
Université Laval（拉瓦尔大学）
本文构建了魁北克汽车保险专业知识参考语料库及82个专家问答集，评估了GPT4-o结合RAG架构在保险问答中的表现，发现该专业知识语料库能提升自动与人工评估效果，但指出其仍存在5%至13%的虚假陈述风险，尚不足以在关键领域大规模应用。
2024-10-12 cs.CL
APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
University of Science and Technology of China（中国科学技术大学）；ByteDance Inc.（字节跳动公司）；Chinese Academy of Sciences（中国科学院）
APEx是分层经验利用框架，通过三阶段交替GRPO训练优化Executor、Distiller、Planner模块，经7个基准测试性能超GPT-5.4和最强记忆增强基线，实现自适应深度研究问答。
2026-09-03 cs.AI cs.CL
Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering
Nanjing University（南京大学）；Huawei Technologies（华为技术有限公司）
关系检测是包括知识库问答在内的许多自然语言处理应用中的核心步骤。以前的研究表明，单一事实问题可以得到高准确率的回答。然而，一个关键的问题是，目前的方法只得到高精度的问题，其关系已经看到的训练数据。但对于看不见的关系，性能会迅速下降。这个问题的主要原因是，看不见的关系的表示丢失。在本文中，我们提出了一个简单的映射方法，命名为表示适配器，学习表示映射的基础上，以前学习的关系嵌入的可见和不可见的关系。我们采用对抗目标和重建目标来提高映射性能。我们重新组织流行的SimpleQuestion数据集，以揭示和评估检测不可见关系的问题。实验表明，我们的方法可以大大提高性能的不可见的关系，而那些看到的部分的性能保持可比的国家的最先进的。我们的代码和数据可在https://github.com/wudapeng268/KBQA-Adapter。
2019-07-17 cs.CL
Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation
City University of Hong Kong（香港城市大学）；University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
RADIO通过推理提取和基于推理的对齐方法，弥合检索增强生成中重排器与生成器之间的相关性差距。
2025-12-08 cs.CL
Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports
Labcorp（拉布科公司）
该研究针对放射学报告问答中错误答案与过度弃权（不执行）合并评估的问题，提出分离两者的评估方法，应用于13个大语言模型后发现F1相似的模型错误答案率差异大，调整决策规则可降低错误答案率且不影响F1，建议分开报告两个指标。
2026-10-14 cs.AI cs.CL cs.LG
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval
Baidu Inc.（百度公司）
基于预训练语言模型（PLM）的神经检索器，如双编码器，在开放域问答（QA）任务上取得了令人满意的性能。它们的有效性可以通过结合跨架构的知识蒸馏而进一步达到新的技术水平。然而，现有的研究大多只是直接应用常规蒸馏方法。他们没有考虑到教师和学生具有不同结构的特殊情况。在本文中，我们提出了一种新的蒸馏方法，显着推进双编码器的跨架构蒸馏。我们的方法1）引入了一种可以有效地提取后期相互作用（即，ColBERT）到vanilla双编码器，以及2）采用级联蒸馏过程，以进一步提高交叉编码器教师的性能。进行了大量的实验，以验证我们提出的解决方案优于强大的基线，并建立一个新的国家的最先进的开放域QA基准。
2022-05-18 cs.CL
QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph
University of Dayton（代顿大学）；RWTH Aachen（亚琛工业大学）；Zerotha Research（泽罗萨研究中心）；Cerence GmbH（塞伦斯有限责任公司）
在大知识图谱时代，问答（QA）系统在性能和可行性方面达到了一个里程碑。然而，它们的适用性，特别是在特定领域，如生物医学领域，没有得到广泛的接受，由于其“黑箱”的性质，这阻碍了透明度，公平性和问责制的QA系统。因此，用户无法理解特定问题是如何以及为什么得到回答的，而其他一些问题则失败了。为了应对这一挑战，在本文中，我们开发了一种自动的方法，在基于流水线的QA系统的各个阶段生成解释。我们的方法是一种有监督的自动方法，它考虑三个类（即，成功、无答案和错误答案），用于注释所涉及的QA组件的输出。根据我们的预测，选择模板解释并将其集成到相应组件的输出中。为了衡量这种方法的有效性，我们进行了一项用户调查，以了解非专家用户如何看待我们生成的解释。我们的研究结果表明，从人机交互社区的人的因素的四个维度显着增加。
2020-10-16 cs.CL
(QA)$^2$: Question Answering with Questionable Assumptions
Boston University（波士顿大学）；Google（谷歌）；New York University（纽约大学）；AWS AI Labs（AWS人工智能实验室）
提出(QA)$^2$数据集，用于评估问答系统处理自然查询中虚假或不可验证假设的能力，发现现有模型在此任务上表现不足。
2023-08-29 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland（奥克兰大学）
多跳问答（QA）需要对多个文档进行推理，以回答复杂的问题并提供可解释的支持证据。然而，提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题，即使他们的父问题被正确回答。在本文中，我们提出了一种基于知识的保护学习（PCL）框架，用于多跳QA，它从多跳QA任务中获取新知识，同时保存在单跳QA任务中学习到的旧知识，从而减轻遗忘。具体来说，我们首先训练现有的单跳QA任务的模型，然后冻结这个模型，并通过分配额外的子网络的多跳QA任务扩展它。此外，为了调节预训练的语言模型以刺激特定多跳问题所需的推理，我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明，PCL对于多跳QA具有竞争力，并且在相应的单跳子问题上保持了良好的性能，证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
CBench: Towards Better Evaluation of Question Answering Over Knowledge Graphs
Carleton University（卡尔顿大学）
最近，只能由专家查询的知识图谱的数量有所增加。然而，使用结构化查询来描述问题对于非专家用户来说并不简单，非专家用户需要具有关于所查询的知识图谱的词汇表和结构以及用于描述用户的信息需求的结构化查询语言的语法的足够知识。为了克服上述挑战而引入的最流行的方法是使用自然语言来查询这些知识图谱。虽然几个问答基准可以用来评估问答系统在一些流行的知识图谱，选择一个基准来准确地评估一个问答系统的质量是一个具有挑战性的任务。在本文中，我们介绍了CBench，一个可扩展的，更翔实的基准套件分析基准和评估问答系统。CBench可用于分析现有基准测试中问题和查询的若干细粒度语言、句法和结构属性。我们表明，现有的基准变化显着，这些属性认为选择一个小的子集，他们不可靠的评估QA系统。在进一步的研究提高基准的质量和全面性之前，CBench可以用于使用一组流行的基准来促进这种评估，这些基准可以与其他用户提供的基准一起增强。CBench不仅基于流行的单一数字指标评估问答系统，还对已回答和未回答问题的语言、句法和结构属性进行了详细分析，以更好地帮助问答系统的开发人员更好地了解他们的系统在哪些方面表现出色，在哪些方面表现不佳。
2021-04-05 cs.CL
Identifying Unclear Questions in Community Question Answering Websites
University of Twente（特文特大学）；University of Stavanger（斯塔万格大学）
每天都有数千个复杂的自然语言问题提交给社区问答网站，使其成为当今最重要的信息源之一。然而，提交的问题往往不清楚，如果没有专家社区成员的进一步澄清问题，就无法回答。这项研究是第一次调查将问题分类为明确或不明确的复杂任务，即，如果需要进一步澄清我们构建了一个新的数据集，并提出了一个分类方法，是基于类似的问题的概念。这种方法相比，国家的最先进的文本分类基线。我们的主要发现是，类似的问题的方法是一个可行的替代方案，可以用来作为一个垫脚石对发展的支持用户界面的问题制定。
2019-01-18 cs.CL cs.IR
Improving Span-based Question Answering Systems with Coarsely Labeled Data
University of Washington（华盛顿大学）；Google AI Language（谷歌人工智能语言部门）
我们研究的方法，以提高细粒度的简短回答问答模型，通过整合粗粒度的数据注释段落级的相关性，并表明粗注释的数据可以带来显着的性能收益。实验表明，共享表示的标准多任务学习方法并不是利用粗粒度注释的最有效方法。相反，我们可以显式地对潜在的细粒度简短答案变量进行建模，并直接优化边际对数似然，或者使用新提出的\emph{posterior distillation}学习目标。由于这些潜在变量方法可以显式访问精细任务和粗略任务之间的关系，因此它们可以从粗略监督中获得显着更大的改进。
2018-11-05 cs.CL
AQA: Adaptive Question Answering in a Society of LLMs via Contextual Multi-Armed Bandit
Radboud University（拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本文将自适应问答建模为上下文多臂老虎机问题，通过训练线性UCB模型学习问题特征与多LLM通信图配置的最优映射，实现了根据问题类型动态选择最优问答策略，兼顾复杂策略的高性能与简单策略的低开销。
2024-09-23 cs.CL
A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of CSE, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程系）
学术研究论文的读者通常以回答具体问题为目标进行阅读。可以回答这些问题的问答系统可以使内容的消费更加高效。然而，构建这样的工具需要反映任务难度的数据，这些数据来自对论文多个部分中提出的主张的复杂推理。相比之下，现有的信息搜索问答数据集通常包含关于通用类事实类型信息的问题。因此，我们提出了QASPER，一个包含1,585篇自然语言处理论文中5,049个问题的数据集。每个问题都是由NLP从业者撰写的，他们只阅读相应论文的标题和摘要，问题寻求全文中的信息。然后，这些问题由一组单独的NLP从业者回答，他们也为答案提供支持证据。我们发现，在其他QA任务上表现良好的现有模型在回答这些问题时表现不佳，在回答整篇论文时表现至少落后人类27个F1点，这激发了对基于文档的信息寻求QA的进一步研究，我们的数据集旨在促进这一点。
2021-05-07 cs.CL
Careful Selection of Knowledge to solve Open Book Question Answering
Arizona State University（亚利桑那州立大学）
开卷问答是一种基于自然语言的问答（NLQA），其中期望关于给定的开卷事实集合和关于主题的常识来回答问题。最近，一个挑战，涉及这样的QA，OpenBookQA，已被提出。与大多数其他专注于语言理解的NLQA任务不同，OpenBookQA需要更深入的推理，包括语言理解以及常识推理。在本文中，我们解决QA方面的OpenBookQA数据集，并结合最先进的语言模型与溯因信息检索（IR），信息增益为基础的重新排名，通道选择和加权评分，以达到72.0%的准确率，11.6%的改进，比目前的最先进的。
2019-07-24 cs.AI cs.CL cs.IR
Sequence tagging for biomedical extractive question answering
Korea University（高丽大学）；AstraZeneca UK（阿斯利康英国分公司）；AstraZeneca SE（阿斯利康瑞典分公司）；AIGEN Sciences Inc.（AIGEN科学公司）
目前的研究提取问答（EQA）建模的单跨度提取设置，其中一个单一的答案跨度是一个标签来预测一个给定的问题-通道对。这种设置对于一般领域的EQA来说是很自然的，因为一般领域中的大多数问题都可以用一个跨度来回答。继一般领域EQA模型之后，当前的生物医学EQA（BioEQA）模型利用带有后处理步骤的单跨度提取设置。在这篇文章中，我们调查了一般和生物医学领域的问题分布，发现生物医学问题更可能需要列表型答案（多个答案）而不是事实型答案（单个答案）。这就需要模型能够为一个问题产生多个答案。基于这一初步研究，我们提出了一个序列标记方法的BioEQA，这是一个多跨度的提取设置。我们的方法直接处理问题的数量可变的短语作为他们的答案，并可以学习决定一个问题的答案数量从训练数据。我们在BioASQ 7 b和8b列表型问题上的实验结果优于现有的最佳模型，而无需后处理步骤。源代码和资源可在https://github.com/dmis-lab/SeqTagQA免费下载
2022-07-07 cs.CL
Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions?
National University of Singapore（新加坡国立大学）
多跳问答（QA）需要一个模型来检索和整合来自长文本的不同部分的信息来回答问题。人类通过分而治之的方法来回答这种复杂的问题。在本文中，我们研究了多跳问题的最佳表现模型是否像人类一样理解底层子问题。我们采用神经分解模型来生成多跳复杂问题的子问题，然后提取相应的子答案。我们发现，多个国家的最先进的多跳QA模型未能正确回答大部分的子问题，虽然他们相应的多跳问题是正确的答案。这表明，这些模型设法回答多跳问题使用一些部分的线索，而不是真正理解的推理路径。我们还提出了一个新的模型，显着提高了回答子问题的性能。我们的工作朝着建立一个更可解释的多跳QA系统迈出了一步。
2021-01-27 cs.AI cs.CL
Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features
Perm National Research Polytechnic University（彼尔姆国家研究理工大学）；Anhalt University of Applied Sciences（安哈尔特应用科学大学）；DATEV eG
具有自然语言用户界面的软件越来越重要。然而，所包括的问答（QA）功能的质量在正确回答的问题的数量方面仍然不够。在我们的工作中，我们解决了如何通过评估自然语言输入（即，用户的问题）和输出（即，系统的答案）。我们的主要贡献是一种方法，能够识别错误的答案所提供的QA系统。因此，从候选答案列表中过滤不正确的答案可以大大提高QA质量。特别是，我们的方法已经显示出其潜力，同时在许多情况下删除了大多数不正确的答案，这大大提高了QA质量相比，系统的非过滤输出。
2021-12-10 cs.CL cs.IR
Incremental Knowledge Based Question Answering
The Hong Kong Polytechnic University（香港理工大学）；Shandong University（山东大学）
在过去的几年里，基于知识的问答（KBQA），其目的是回答自然语言的问题，在知识库中的事实，已经得到了很好的发展。现有的方法往往假设一个静态的知识库。然而，知识在现实世界中随着时间的推移而发展。如果我们直接对一个不断演化的知识库应用微调策略，它将遭受严重的灾难性遗忘问题。在本文中，我们提出了一个新的增量KBQA学习框架，可以逐步扩大人类的学习能力。具体地说，它包括一个边缘蒸馏损失和合作的范例选择方法，克服灾难性遗忘的问题，利用知识蒸馏。我们重新组织了SimpleQuestion数据集，以评估KBQA的增量学习解决方案。综合实验表明，它的有效性和效率时，不断发展的知识库。
2021-01-18 cs.CL
Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出一个自动构建知识图谱的梵语问答框架，在摩诃婆罗多、罗摩衍那及阿育吠陀文本上实现实例，能正确回答约50%的事实性问题，并分析了系统不足与改进方向。
2023-10-11 cs.CL
Learning to answer questions
INESC-ID Lisboa（里斯本INESC-ID）；Instituto Superior Tecnico（高等技术学院）
我们提出了一个开放域的学习，回答问题的基础上成功的过去的互动系统。我们遵循一种基于模式的方法来提取问题，其中将问题与其答案关联的（词汇-句法）模式被自动学习并用于回答未来的问题。结果表明，我们的方法有助于系统的最佳性能时，它是共轭与典型的嵌入式提取策略。此外，它允许系统使用已回答的问题进行学习，并纠正错误或未解决的过去问题。
2013-09-04 cs.CL
FM2DS: Few-Shot Multimodal Multihop Data Synthesis with Knowledge Distillation for Question Answering
Department of Computer Science（计算机科学系）；The University of British Columbia（不列颠哥伦比亚大学）；ServiceNow Research（ServiceNow研究）
本文提出FM2DS，首个用于多模态多跳问答（MMQA）高质量数据集合成的5阶段框架，并引入长文档基准M2QA-Bench；实验表明基于其合成数据训练的模型在EM得分上平均超人类收集数据1.9。
2025-09-13 cs.AI cs.CL cs.CV
Semantic Structure based Query Graph Prediction for Question Answering over Knowledge Graph
Georgia State University（佐治亚州立大学）
从自然语言问题构建查询图是基于知识图谱的复杂问答（Complex KGQA）的重要步骤。通常，如果问题的查询图被正确地构建，则可以正确地回答问题，并且然后通过针对KG发出查询图来检索正确的答案。因此，本文主要研究基于自然语言问句的查询图生成。现有的查询图生成方法忽略了问题的语义结构，导致大量嘈杂的查询图候选项，从而损害了预测准确性。在本文中，我们定义了六个语义结构的常见问题在KGQA和开发一个新的结构BERT预测的语义结构的问题。通过这样做，我们可以首先过滤掉嘈杂的候选查询图，然后使用基于BERT的排名模型对剩余的候选进行排名。在两个流行的基准测试MetaQA和WebtensSP（WSP）上进行的大量实验表明，与最先进的方法相比，我们的方法是有效的。
2022-09-21 cs.AI cs.CL
GATES: Self-Distillation under Privileged Context with Consensus Gating
University of Maryland, College Park（马里兰大学 College Park 分校）
GATES通过在特权上下文中利用共识门进行自我蒸馏，提升无文档学生在问题回答任务中的性能。
2026-02-24 cs.CL cs.LG
Decoupled Transformer for Scalable Inference in Open-domain Question Answering
大型Transformer模型，如BERT，在开放域问答（QA）的机器阅读理解（MRC）中实现了最先进的结果。然而，Transformers具有很高的推理计算成本，这使得它们很难应用于语音助理等应用的在线QA系统。为了减少计算成本和延迟，我们提出了将Transformer MRC模型解耦为输入分量和交叉分量。解耦允许部分表示计算离线执行并缓存以供在线使用。为了保持解耦的Transformer的准确性，我们从标准的Transformer模型设计了一个知识蒸馏目标。此外，我们引入了学习表示压缩层，这有助于将缓存的存储需求减少四倍。在SQUAD 2.0数据集上的实验中，与标准Transformer相比，解耦的Transformer将开域MRC的计算成本和延迟降低了30-40%，F1分数仅差1.2分。
2021-08-05 cs.CL
Towards Collaborative Question Answering: A Preliminary Study
AWS Shanghai AI Lab（AWS上海人工智能实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Jiao Tong University（上海交通大学）
现实世界中的知识和专业知识可以分开拥有。为了解决一个复杂的问题，往往需要专家之间的合作。在本文中，我们提出了CollabQA，一种新的QA任务，其中协调主持人的几个专家代理一起工作，回答问题，不能单独回答任何单一的代理。我们制作了一个可以分发给专家的大型知识图谱的合成数据集。我们定义的过程，形成一个复杂的问题，从地面真理推理路径，神经网络代理模型，可以学习解决任务，和评估指标，以检查性能。我们表明，这个问题可以是具有挑战性的，而不引入事先的合作结构，除非专家是完美的和统一的。基于这一经验，我们详细阐述了在现实世界中的协作任务所需的扩展。
2022-01-24 cs.AI cs.CL
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Synthetic Dataset Creation and Fine-Tuning of Transformer Models for Question Answering in Serbian
School of Electrical Engineering（电气工程学院）；University in Belgrade（贝尔格莱德大学）
本研究采用改进的翻译-对齐-检索方法构建了含8.7万余样本、含两种文字版本的塞尔维亚语最大合成问答数据集SQuAD-sr，微调BERTić模型在XQuAD塞尔维亚语版上取得优于零样本基线的效果，验证了该数据集的可用性。
2024-04-12 cs.CL
Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering with Multi-Granularity Answers
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本文提出多粒度答案评估框架GRANOLA QA及数据集GRANOLA-EQ，并设计DRAG解码算法使答案粒度与模型不确定性对齐，实验表明该方法相比标准解码平均准确率提升近20个百分点，揭示现有评估低估了语言模型的知识。
2024-08-01 cs.CL
DiPair: Fast and Accurate Distillation for Trillion-Scale Text Matching and Pair Modeling
Google Research（谷歌研究院）
预先训练的模型，如BERT（Devlin等人，2018）已经主导了NLP / IR应用，如单句分类，文本对分类和问答。然而，部署这些模型在实际系统中是非常不平凡的，由于其过高的计算成本。对此的一种常见的补救方法是知识蒸馏（Hinton等人，2015），导致更快的推理。然而，正如我们在这里所展示的，现有的作品并没有针对处理文本对（或元组）进行优化。因此，它们要么不可扩展，要么表现出低于标准的性能。在这项工作中，我们提出了DiPair-一种新的框架，用于在文本对任务上提取快速准确的模型。再加上端到端的训练策略，DiPair既具有高度可扩展性，又提供了改进的质量-速度权衡。对学术和现实世界的电子商务基准进行的实证研究表明，所提出的方法的效率与加速超过350倍和最小的质量下降相对于交叉注意教师BERT模型。
2020-10-07 cs.CL
