Calibrating Factual Knowledge in Pretrained Language Models
Peking University（北京大学）；Shanghai AI Lab（上海人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
已有文献证明预训练语言模型（PLMs）可以存储事实知识。然而，我们发现存储在PLM中的事实并不总是正确的。它促使我们探索一个基本问题：我们如何在不从头开始重新培训的情况下校准PLM中的事实知识？在这项工作中，我们提出了一个简单而轻量级的方法CaliNet来实现这一目标。具体来说，我们首先检测PLM是否可以通过正确和虚假事实之间的对比得分来学习正确的事实。如果没有，我们使用一个轻量级的方法来添加和调整新的参数，以特定的事实文本。在知识探测任务上的实验表明了该方法的有效性和效率。此外，通过闭卷问答，我们发现，校准后的PLM微调后具有知识泛化能力。除了校准性能，我们进一步研究和可视化的知识校准机制。
2022-10-18 cs.CL
BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
Khandelwal等人。（2020）使用k最近邻（kNN）组件来提高语言模型性能。我们表明，这种想法是有益的开放域的问答（QA）。为了提高对训练过程中遇到的事实的回忆，我们结合了BERT（Devlin et al.，2019）与传统的信息检索步骤（IR）和在嵌入式文本集合的大范围上的kNN搜索。我们的贡献如下：i）BERT-kNN在完形填空式问答中的性能大大优于BERT，无需任何进一步的训练。ii）我们表明，BERT经常识别正确的响应类别（例如，美国城市），但只有kNN恢复事实上正确的答案（例如，"Miami"）。iii）与BERT相比，BERT-kNN在罕见事实方面表现出色。iv）BERT-kNN可以很容易地处理BERT的训练集没有覆盖的事实，例如，最近的事件。
2020-10-12 cs.CL
Parameter-Efficient Neural Question Answering Models via Graph-Enriched Document Representations
Georgia Tech（佐治亚理工学院）；Keio University（庆应义塾大学）；University of Toronto（多伦多大学）
随着现代NLP系统计算量的增长，获得更有效的模型变得越来越重要。我们表明，通过采用图卷积文档表示，我们可以达到一个问答系统，执行的是martto，并在某些情况下超过SOTA解决方案，而使用不到5\%的资源方面的可训练参数。就目前而言，将GCN应用于NLP的一个主要问题是文档表示。在本文中，我们表明，GCN丰富的文档表示大大提高了HotPotQA中看到的结果，即使使用一个平凡的拓扑结构。我们的模型（gQA）与当前的SOTA相比表现出色，并且几乎不需要预处理。在Shao等人2020中，作者认为图网络对于多跳QA的良好性能不是必需的。在本文中，我们通过展示一个基于预训练的语言模型的GCN执行到SoTA模型的简单实现，表明大语言模型对于良好的性能是不必要的。
2021-06-01 cs.CL
Knowledge-Augmented Language Models for Cause-Effect Relation Classification
The George Washington University（乔治华盛顿大学）；Meta AI
先前的研究已经表明了知识增强方法在预训练语言模型中的有效性。但是，这些方法在域和下游任务中的行为不同。在这项工作中，我们研究了增强预训练的语言模型与常识知识的因果关系分类和常识因果推理任务。在自动语言化ATOMIC 2020，一个广泛覆盖的常识推理知识图，和GLUCOSE，一个隐含的常识因果知识的数据集，我们不断预训练BERT和RoBERTa与语言化的数据。然后，我们评估产生的模型上的因果对分类和回答常识因果推理问题。我们的研究结果表明，用常识知识增强的持续预训练的语言模型在两个常识因果推理基准（COPA和BCOPA-CE）以及时间和因果推理（TCR）数据集上的表现优于我们的基线，而无需对模型架构进行额外改进或使用质量增强的数据进行微调。
2022-06-02 cs.CL
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Certifying Knowledge Comprehension in LLMs
Siebel School of Computing and Data Science University of Illinois, Urbana-Champaign（计算机与数据科学学院 伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对大语言模型知识理解的规范与认证框架，利用知识图谱生成概率证书，为模型回答可靠性提供形式化保证，并揭示SOTA模型在精准医学和通用问答中的脆弱性。
2025-04-21 cs.AI cs.CL cs.LG
ViSTA: A Simple Bridge Extends Visual Alignment to Clinical Time-Series Understanding in Multimodal LLMs
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究中心）；University of Toronto（多伦多大学）；Western University（西安大略大学）
ViSTA通过紧凑适配器将数值测量融入视觉-语言模型，实现临床时间序列预测与时间问答，在MIMIC-IV上以极少参数达到高准确率。
2026-09-28 cs.AI cs.CL
Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions
Georgia Institute of Technology（佐治亚理工学院）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本研究针对生物医学问答需求，提出基于预训练大语言模型的两级检索问答系统，通过提示工程与后处理优化，在BioASQ 2024相关任务中取得了对应评测指标的性能结果。
2024-07-09 cs.CL
Set the Clock: Temporal Alignment of Pretrained Language Models
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
本文研究预训练语言模型的时间混乱问题，提出时间对齐方法，通过构建2000-2023年时间敏感问答数据集并采用提示与微调策略，使模型使用目标年份知识，实验显示对齐后性能最高提升62%，历史时间对齐可达2.8倍。
2024-06-09 cs.CL
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；SJTU Paris Elite Institute of Technology（上海交通大学巴黎卓越工程师学院）
MLP Memory通过参数化学习检索模式，提升大语言模型的知识访问效率与准确性，实现更高效的推理和更少的幻觉。
2026-02-27 cs.CL
PanGu-$α$: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation
大规模预训练语言模型（PLMs）已成为自然语言处理（NLP）的新范式。具有数千亿参数的PLM（如GPT-3）在自然语言理解和\textit{few-shot in-context}学习生成方面表现出了强大的性能。在这项工作中，我们提出了我们的实践训练大规模自回归语言模型命名盘古- $α$，高达2000亿参数。PanGu- $α$是在MindSpore下开发的，并在2048个Ascend 910 AI处理器集群上训练。基于MindSpore Auto-parallel实现了训练并行策略，该策略包括数据并行、操作级模型并行、流水线模型并行、优化器模型并行和再物化5个并行维度，可有效地将训练任务扩展到2048个处理器。为了提高PanGu- $α$的泛化能力，我们从广泛的领域收集了1.1TB的高质量中文数据来预训练模型。我们实证测试$α$在各种场景下的生成能力，包括文本摘要，问答，对话生成等。此外，我们调查了模型规模对Few-Shot性能的影响，在广泛的中文NLP任务。实验结果表明PanGu- $α$在执行各种任务时在Few-Shot或zero-shot设置下的优越能力。
2021-04-26 cs.CL
Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval
University of Washington（华盛顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google AI（谷歌人工智能部门）
最近的预训练语言模型“解决”了许多阅读理解基准，其中问题是通过访问证据文档来编写的。然而，包含信息寻求查询的数据集，其中在独立编写查询之后提供证据文件，仍然具有挑战性。我们分析了为什么回答信息查询更具挑战性，以及他们普遍无法回答的地方，自然问题和TyDi QA。我们的对照实验表明两个净空-段落选择和回答能力预测，即配对的证据文档是否包含查询的答案。当提供一个黄金段落并知道何时放弃回答时，现有模型很容易胜过人类注释者。然而，预测可回答性本身仍然具有挑战性。我们手动注释了六种语言中的800个无法回答的例子，说明是什么让它们难以回答。有了这些新数据，我们进行了每个类别的可回答性预测，揭示了当前数据集收集和任务制定中的问题。总之，我们的研究指出了未来研究信息寻求问答的途径，无论是数据集的创建和模型的开发。
2021-06-04 cs.CL
COSA: Concatenated Sample Pretrained Vision-Language Foundation Model
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Bytedance Inc（字节跳动公司）
针对现有视觉语言基础模型忽略时序语义的问题，提出COSA模型，通过拼接图像-文本对构造伪语料实现联合建模，在多类下游任务取得SOTA结果。
2023-06-15 cs.AI cs.CL cs.CV
Zero-Shot Question Answering over Financial Documents using Large Language Models
EY Global Delivery Services India LLP（安永全球交付服务印度有限责任合伙公司）
本文提出一种基于大型语言模型的零样本提示方法，通过引导LLM将复杂推理编码为可执行程序，解决了金融文档多跳数值推理问答问题，显著提升了准确率。
2023-11-19 cs.AI cs.CL cs.LG
A Large-Scale Benchmark for Evaluating Large Language Models on Medical Question Answering in Romanian
University of Bucharest（布加勒斯特大学）；Colţea Clinical Hospital（科尔切亚临床医院）；Hospice Hope Bucharest（希望临终关怀布加勒斯特医院）
本文提出首个罗马尼亚语医疗问答基准测试MedQARo，评估了多种LLM在医疗问答任务中的表现，发现微调模型在泛化能力上优于零样本模型。
2026-02-12 cs.AI cs.CL cs.LG
Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
为了从大型语料库中抽取答案，开放域问答（QA）系统通常依赖于信息检索（IR）技术来缩小搜索空间。标准的倒排索引方法如TF-IDF由于其效率而被普遍使用。然而，他们的检索性能是有限的，因为他们只是使用浅和稀疏的词汇特征。为了打破检索瓶颈，最近的研究表明，更强的检索性能可以通过预训练一个有效的段落编码器，索引段落到密集的向量。一旦经过训练，语料库可以被预编码成低维向量并存储在索引结构中，其中检索可以有效地实现为最大内积搜索。尽管结果很有希望，但预训练这样一个密集的索引是昂贵的，并且通常需要非常大的批量。在这项工作中，我们提出了一种简单且资源有效的方法来预训练段落编码器。首先，我们利用现有的预训练序列到序列模型来构建一个强大的问题生成器，以创建高质量的预训练数据，而不是使用启发式创建的伪问题-段落对进行预训练。其次，我们提出了一个渐进的预训练算法，以确保有效的负样本在每一批的存在。在三个数据集上，我们的方法优于现有的稠密检索方法，该方法使用7倍以上的计算资源进行预训练。
2021-02-19 cs.CL
End-to-End Open-Domain Question Answering with BERTserini
University of Waterloo（滑铁卢大学）
我们展示了一个端到端的问答系统，集成了BERT与开源的Anserini信息检索工具包。与当今大多数问答和阅读理解模型相比，这些模型在少量输入文本上运行，我们的系统将IR的最佳实践与基于BERT的阅读器集成在一起，以端到端的方式从维基百科文章的大型语料库中识别答案。我们报告了在标准基准测试集合上的先前结果的大幅改进，表明使用SQuAD微调预训练的BERT足以在识别答案跨度方面实现高准确度。
2019-09-18 cs.CL cs.IR
Attention-guided Generative Models for Extractive Question Answering
AWS AI Labs（亚马逊云科技人工智能实验室）
我们提出了一种新的方法应用Transformer模型提取问答（QA）任务。近年来，预训练的生成序列到序列（seq2seq）模型在问答中取得了巨大的成功。这些模型的成功得益于内部注意力机制，例如交叉注意力。我们提出了一个简单的策略，通过利用解码器的交叉注意模式，从生成模型中获得一个提取的答案跨度。将交叉注意力视为架构优先级，我们应用联合训练来进一步提高QA性能。实证结果表明，在NaturalQuestions和TriviaQA等开放域问答数据集上，我们的方法在生成和提取推理方面都接近最先进的性能，同时使用更少的参数。此外，这种策略允许我们执行无幻觉的推理，同时显著提高模型对相关段落进行重新排序的能力。
2021-10-12 cs.CL cs.IR
DeepSpecs: Expert-Level Questions Answering in 5G
University of California, Los Angeles（加州大学洛杉矶分校）
提出DeepSpecs，一个通过SpecDB、ChangeDB和TDocDB三个元数据库增强结构与时间推理的RAG系统，解决5G规范问答中交叉引用解析与版本演进追踪问题，显著提升答案质量。
2025-11-03 cs.AI cs.CL cs.NI
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能部门）
预训练的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标记的数据可能并不总是可用的。为了解决这个问题，我们对源域数据进行了有监督的预训练，以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能，以微调预训练模型，而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Context Generation Improves Open Domain Question Answering
NVIDIA（英伟达）
本文提出两阶段闭卷问答框架，通过生成并边缘化相关上下文来充分挖掘预训练语言模型的参数化知识，在三个基准上显著超越闭卷方法并媲美开卷方法。
2023-04-27 cs.AI cs.CL
Extractive Question Answering on Queries in Hindi and Tamil
与英语等语言相比，印地语和泰米尔语等印度语言在自然语言处理（NLP）领域的代表性不足。由于这种代表性不足，印度语言在NLP任务（如搜索算法）上的表现不如英语。这种差异对社会经济地位较低的人影响尤其大，因为他们消费的互联网内容大多以当地语言提供。该项目的目标是构建一个NLP模型，该模型在印地语和泰米尔语的公共数据集上执行提取问答（QA）任务时比现有模型表现更好。摘要QA是一项NLP任务，其中问题的答案是从相应的文本中提取的。为了构建最佳解决方案，我们使用了三种不同的模型。第一个模型是NLP模型RoBERTa的未修改的跨语言版本，称为XLM-RoBERTa，它在100种语言上进行了预训练。第二个模型基于预训练的RoBERTa模型，为问答提供了额外的分类头，但我们使用了自定义的印度语标记器，然后优化了超参数并对印度语数据集进行了微调。第三个模型基于XLM-RoBERTa，但在Indic数据集上进行了额外的微调和训练。我们假设第三个模型将表现最好，因为XLM-RoBERTa模型已经在各种语言上进行了预训练，并且在印度数据集上进行了额外的微调。这一假设被证明是错误的，因为配对的RoBERTa模型表现最好，因为所使用的训练数据最具体的任务，而不是XLM-RoBERTa模型，其中有很多数据不是印地语或泰米尔语。
2022-09-27 cs.CL
Pretraining Vision-Language Model for Difference Visual Question Answering in Longitudinal Chest X-rays
Seoul National University（首尔大学）；Radisen Co. Ltd.（Radisen公司）
针对纵向胸部X光差异视觉问答任务，提出分步预训练的新型视觉语言模型PLURAL，在相关任务上均优于现有最优方法。
2024-12-13 cs.CL cs.CV
Improving the Cross-Lingual Generalisation in Visual Question Answering
Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
虽然多语言视觉语言预训练模型实现了几个好处，但当多语言预训练的视觉语言模型应用于非英语数据时，各种任务和语言的最新基准显示出较差的跨语言泛化能力，（监督）英语表现和（zero-shot）跨语言迁移之间存在很大差距。在这项工作中，我们探讨了这些模型的性能不佳的zero-shot跨语言的视觉问答（VQA）任务，模型微调英语视觉问题的数据，并评估7种类型不同的语言。我们通过三种策略来改善跨语言迁移：（1）我们引入了一个语言先验目标，用基于相似性的损失来增加交叉熵损失，以在训练过程中指导模型，（2）我们学习了一个特定于任务的子网络，该子网络改善了跨语言的泛化，并在不修改模型的情况下减少了方差，（3）我们使用合成代码混合来增强训练样本，以促进源语言和目标语言之间的嵌入对齐。我们使用预训练的多语言多模态Transformers UC2和M3P在xGQA上进行的实验证明了所提出的微调策略对7种语言的一致有效性，优于现有的稀疏模型传输方法。复制我们研究结果的代码和数据是公开的。
2022-11-30 cs.CL
Actions and Objects Pathways for Domain Adaptation in Video Question Answering
Center for ICT and Automotive Convergence, Kyungpook National University（庆北国立大学信息通信技术与汽车融合中心）；Graduate School of Artificial Intelligence, Kyungpook National University（庆北国立大学人工智能研究生院）
针对视频问答的域外泛化问题，提出无需显式训练未见域的AOPath方法，分解预训练特征为动作与对象特征并通过独立路径处理，在TVQA数据集上较传统分类器域外性能提升5%、域内提升4%，且优于需训练百万参数的现有方法。
2024-11-29 cs.CL cs.CV
General-Purpose Question-Answering with Macaw
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管预训练的语言模型取得了成功，但仍然很少有免费的高质量，通用的QA系统。作为回应，我们提出了Macaw，一个多功能的，生成的问答（QA）系统，我们正在向社会提供。Macaw基于UnifiedQA构建，而UnifiedQA本身又基于T5构建，在各种主题上表现出强大的性能（zero-shot），包括在包含300个挑战性问题的测试题集上超过GPT-3 10%（绝对值），尽管其数量级较小（110亿与1750亿参数）。此外，Macaw允许使用其输入和输出的不同排列（“角度”），例如Macaw可以采取问题并产生答案;或者采取答案并产生问题;或者采取答案和问题，并产生多项选择选项。我们描述了系统，并说明了各种问题类型，它产生了令人惊讶的好答案，以及培训设置之外。我们还确定了问题类，它似乎仍然挣扎，提供洞察预训练的语言模型的局限性。Macaw是免费提供的，我们希望它对社区有用。Macaw可在https://github.com/allenai/macaw上获得
2021-09-06 cs.AI cs.CL
GreaseLM: Graph REASoning Enhanced Language Models for Question Answering
Stanford University（斯坦福大学）
对文本叙述的复杂问题进行推理需要对所陈述的上下文和作为其基础的世界知识进行推理，然而，作为大多数现代问答系统的基础的预训练语言模型（LM）不能鲁棒地表示概念之间的潜在关系，而这是推理所必需的。虽然知识图谱（KG）经常被用来增强LM与世界知识的结构化表示，它仍然是一个悬而未决的问题，如何有效地融合和推理的KG表示和语言的背景下，提供了情景约束和细微差别。在这项工作中，我们提出了GreaseLM，一个新的模型，融合编码表示从预先训练的LM和图神经网络在多个层次的模态交互操作。来自两种模态的信息传播到另一种模态，允许语言上下文表示以结构化的世界知识为基础，并允许语言的细微差别（例如，否定，模糊）的上下文中通知知识的图形表示。我们在常识推理的三个基准上的结果（即，CommonsenseQA、OpenbookQA）和医学问答（即，MedQA-USMLE）领域证明，GreaseLM可以更可靠地回答需要在情境约束和结构化知识上进行推理的问题，甚至优于8倍大的模型。
2022-01-21 cs.CL cs.LG
Why Do Masked Neural Language Models Still Need Common Sense Knowledge?
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
目前，语境化的单词表示是通过复杂的神经网络模型来学习的，例如掩蔽神经语言模型（MNLM）。新的表示方法显著提高了通过阅读段落进行自动问答的性能。然而，由于参数众多且相互混杂，很难确定在MNLM中培训的详细知识。本文提供了经验，但有见地的分析预训练MNLM方面的常识知识。首先，我们提出了一个测试，测量什么类型的常识知识做预训练MNLM理解。从测试中，我们观察到，MNLM部分理解各种类型的常识知识，但不准确理解关系的语义。此外，基于问答任务问题的难度，我们观察到预训练的基于MLM的模型仍然容易受到需要常识知识的问题的影响。我们还通过实验证明，我们可以通过结合外部常识库中的知识来提升现有的基于MNLM的模型。
2019-11-08 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
预训练语言模型（PTLM）的领域自适应通常通过对目标领域文本的无监督预训练来实现。虽然这种方法是成功的，但在硬件、运行时间和CO_2排放方面是昂贵的。在这里，我们提出了一个更便宜的替代方案：我们训练Word 2 Vec的目标域的文本，并将得到的词向量与一个通用域PTLM的词片向量。我们评估了八个生物医学命名实体识别（NER）任务，并与最近提出的BioBERT模型进行比较。我们覆盖了超过60%的BioBERT-BERT F1 delta，占BioBERT CO_2排放量的5%，占其云计算成本的2%。我们还展示了如何快速调整现有的通用领域问答（QA）模型，以适应新冠肺炎大流行这一新兴领域。
2020-06-27 cs.CL
Cooperative Self-training of Machine Reading Comprehension
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon AI（亚马逊人工智能）；MIT MTL（麻省理工学院媒体实验室）
预训练语言模型通过提供高质量的上下文化词嵌入，显著提高了下游语言理解任务的性能，包括提取问答。然而，训练问答模型仍然需要大量特定领域的注释数据。在这项工作中，我们提出了一个合作的自我训练框架，RGX，自动生成更多的非平凡的问答对，以提高模型的性能。RGX是建立在一个掩蔽的答案提取任务与交互式学习环境包含一个答案实体识别器，一个问题发生器，和一个答案提取器。给定一个带有掩码实体的段落，生成器围绕该实体生成一个问题，提取器被训练为用生成的问题和原始文本提取掩码实体。该框架允许在没有注释的任何文本语料库上训练问题生成和回答模型。实验结果表明，RGX在标准问答测试中的性能优于SOTA预训练语言模型和迁移学习方法，并在给定的模型大小和迁移学习设置下获得了新的SOTA性能。
2022-06-27 cs.AI cs.CL
Source-Free Domain Adaptation for Question Answering with Masked Self-training
Western University（西安大略大学）；University of California Riverside（加州大学河滨分校）
针对问答任务无监督域自适应需访问源域数据的限制，提出集成掩码模块的无源自训练方法，通过冻结部分掩码权重保留源域知识、调整其余权重缓解域偏移，在四个基准上性能超越可访问源数据的模型。
2024-03-17 cs.CL
Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一种新的开放域问答（ODQA）框架，回答单/多跳的问题，跨异构的知识源。我们的方法的关键新颖之处在于将中间模块引入到当前的检索器-读取器管道中。与以前的方法不同，这些方法仅仅依赖于检索器来孤立地收集所有证据，我们的中介对检索到的集合执行一系列推理。具体来说，我们的方法链接检索到的证据与其相关的全球范围内的图形，并将它们组织成一个候选列表的证据链。基于预训练的语言模型，我们的系统在两个ODQA数据集OTT-QA和NQ上实现了与维基百科的表格和段落相比具有竞争力的性能。特别是，我们的模型在OTT-QA上的表现大大优于先前的最先进技术，精确匹配分数为47.3（45%相对增益）。
2022-10-22 cs.CL
QA4IE: A Question Answering based Framework for Information Extraction
Shanghai Jiao Tong University（上海交通大学）；Yitu Tech（依图科技）；ShanghaiTech University（上海科技大学）
信息抽取是指从非结构化文本中自动抽取结构化关系元组。常见的IE解决方案，包括关系抽取（RE）和开放IE系统，很难处理跨句子元组，并且受到有限的关系类型以及非正式关系规范（例如，基于自由文本的关系元组）。为了克服这些缺点，我们提出了一个新的IE框架QA4IE，它利用灵活的问答（QA）方法，以产生高质量的跨句子的关系三元组。基于该框架，我们开发了一个大型的IE基准与高质量的人的评价。该基准测试包含293K文档，2M黄金关系三元组和636种关系类型。我们比较了我们的系统与一些IE基线在我们的基准测试，结果表明，我们的系统取得了很大的改善。
2019-01-28 cs.AI cs.CL cs.IR
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）
CoA通过强化学习解决上下文不充分的视觉问答问题，通过生成聚焦问题澄清歧义，提升问答准确性。
2026-10-21 cs.CL
UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce AI（Salesforce人工智能研究院）
UniChart通过构建大型图表语料库并设计图表特定的低级和高级预训练任务，实现了图表理解与推理的最先进性能。
2023-10-10 cs.CL
Question answering using deep learning in low resource Indian language Marathi
Pillai College of Engineering（皮莱工程学院）
本文针对低资源马拉地语问答，比较并微调MuRIL、MahaBERT和IndicBERT等模型，发现MuRIL在阅读理解数据集上表现最佳，EM为0.64、F1为0.74。
2023-09-27 cs.CL
QAConv: Question Answering on Informative Conversations
Salesforce AI Research（Salesforce人工智能研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了QAConv，一个新的问答（QA）数据集，使用会话作为知识源。我们专注于信息对话，包括商业电子邮件，小组讨论和工作渠道。与开放领域和面向任务的对话不同，这些对话通常很长、复杂、异步，并且涉及强大的领域知识。总的来说，我们从10，259个选定的对话中收集了34，608个QA对，其中包括人类书写和机器生成的问题。我们使用问题生成器和对话摘要作为辅助工具来收集和推荐问题。该数据集有两个测试场景：块模式和完整模式，这取决于是否提供或检索接地部分会话。实验结果表明，最先进的预训练QA系统具有有限的zero-shot性能，并且倾向于将我们的问题预测为无法回答。我们的数据集提供了一个新的训练和评估测试平台，以促进对话研究的QA。
2022-04-14 cs.AI cs.CL cs.IR
Compositional Task-Oriented Parsing as Abstractive Question Answering
Cornell University（康奈尔大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向任务的解析（TOP）旨在将自然语言转换为特定任务（如设置警报）的机器可读表示。TOP的一种流行方法是应用seq2seq模型来生成线性解析树。最近的一项工作认为，预先训练的seq2seq模型更善于生成本身就是自然语言的输出，因此它们用规范的自然语言释义取代线性化的解析树，然后可以轻松地翻译成解析树，从而产生所谓的自然化解析器。在这项工作中，我们继续探索自然语义解析提出了一个一般的减少TOP抽象的问答，克服了一些规范释义的局限性。实验结果表明，我们的基于QA的技术优于国家的最先进的方法，在全数据设置，同时实现显着的改善，在Few-Shot设置。
2022-05-04 cs.CL
Few-Shot Question Answering by Pretraining Span Selection
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
在几个问答基准测试中，通过对10万个带注释的问题和答案进行微调，预训练模型已经达到了人类平等。我们探索了更现实的Few-Shot设置，其中只有几百个训练样本可用，并观察到标准模型表现不佳，突出了当前预训练目标和问答之间的差异。我们提出了一个新的预训练计划量身定制的问答：循环跨度选择。给定一个具有多组重复跨度的段落，我们在每组中屏蔽除一个之外的所有重复跨度，并要求模型为每个屏蔽的跨度选择段落中的正确跨度。掩蔽的范围被一个特殊的标记替换，该标记被视为问题表示，稍后在微调期间使用该标记来选择答案范围。所得到的模型在多个基准上获得了令人惊讶的良好结果（例如，72.7 F1在SQuAD上只有128个训练样本），同时在高资源环境中保持竞争力。
2021-06-02 cs.CL
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI（亚马逊云科技人工智能）；Google（谷歌）
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络，该网络经过端到端训练，可以生成答案和问题。简而言之，我们向编码器提供一个段落，并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分，这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明，在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam（胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh city, Vietnam（越南国立大学胡志明市分校）
本文针对越南语社区COVID-19问答研究不足的问题，提出GPT-2实现方案，并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America（美国电气通信技术研究所（NEC实验室美国））；Princeton, NJ 08540（普林斯顿，新泽西州08540）
我们提出了一个回答开放域多跳问题的框架，其中部分信息被读取并用于生成后续问题，最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释，并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例，我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用，该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题，选择相关的答案跨度对下游的支持事实，同时避免分散注意力的前提，提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
UzBERT: pretraining a BERT model for Uzbek
Copper City Labs（铜城实验室）
基于Transformer架构的预训练语言模型在各种自然语言处理任务中取得了最先进的结果，例如词性标注、命名实体识别和问答。然而，没有公开的乌兹别克语单语模式。在本文中，我们介绍了Uz BERT，一个基于BERT架构的预训练乌兹别克语言模型。我们的模型大大优于多语言BERT掩蔽语言模型的准确性。我们在MIT开源许可证下公开提供该模型。
2021-08-22 cs.CL
EntQA: Entity Linking as Question Answering
Rutgers University（罗格斯大学）
实体链接的传统方法是首先在给定文档中找到提及，然后在知识库中推断它们的底层实体。这种方法的一个众所周知的局限性是，它需要在不知道它们的实体的情况下找到提及，这是不自然和困难的。我们提出了一个新的模型，不受此限制称为EntQA，它代表实体链接作为问答。EntQA首先使用快速检索模块提出候选实体，然后使用强大的阅读器模块仔细检查文档以找到每个候选实体的提及。我们的方法结合了实体链接与开放领域问答的进展，并利用预训练模型进行密集实体检索和阅读理解。与以前的作品不同，我们不依赖于候选人词典或大规模的弱监督。EntQA在GERBIL基准测试平台上取得了优异的成绩。
2022-03-07 cs.CL cs.LG
A Self Consistency Based Reranking for Narrative Question Answering
提出自一致性重排序框架，通过生成多个候选答案并基于语义一致性选择最终答案，提升叙事问答的鲁棒性和准确性。
2026-06-16 cs.AI cs.CL
Supervised Transfer Learning for Product Information Question Answering
Purdue University（普渡大学）；Adobe Research（奥多比研究院）；University of Georgia（佐治亚大学）
流行的电子商务网站，如亚马逊提供社区问答系统，供用户提出与产品相关的问题，有经验的客户可以自愿提供答案。在本文中，我们表明，大量的现有社区问答数据可以是有益的，当建立一个系统，回答有关产品的事实和规格的问题。我们的实验结果表明，一个回答问题的模型的性能在家得宝网站上列出的产品可以通过一个简单的迁移学习技术从现有的大规模亚马逊社区问答数据集大幅提高。迁移学习可以在实验设置中提高大约10%的准确率，在实验设置中，我们限制了用于训练的目标任务的数据大小。作为这项工作的一个应用，我们将这项工作中训练的性能最好的模型集成到一个基于移动的购物助手中，并展示了它的实用性。
2019-01-08 cs.CL cs.LG
XOR QA: Cross-lingual Open-Retrieval Question Answering
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
多语言问答任务通常假设答案与问题的语言相同。然而，在实践中，许多语言面临着信息稀缺和信息不对称两种情况，信息稀缺是指语言中几乎没有参考文章，信息不对称是指问题引用了来自其他文化的概念。这项工作扩展了开放检索问答的跨语言设置，使问题从一种语言回答通过回答内容从另一种语言。我们构建了一个大规模的数据集，该数据集基于缺乏相同语言答案的TyDi QA问题。我们的任务制定，称为跨语言开放检索问答（XOR QA），包括来自7种不同的非英语语言的40k信息搜索问题。基于这个数据集，我们介绍了三个新的任务，涉及跨语言的文档检索使用多语言和英语资源。我们使用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明，异或问答是一个具有挑战性的任务，将促进新技术的发展，多语言问答。我们的数据和代码可在https://nlp.cs.washington.edu/xorqa上获得。
2021-04-13 cs.CL
Synthetic Question Value Estimation for Domain Adaptation of Question Answering
The Ohio State University（俄亥俄州立大学）；George Mason University（乔治梅森大学）
在目标域上用问题生成器合成问答对已成为问答模型领域自适应的一种流行方法。由于合成问题在实践中经常是嘈杂的，现有的工作将来自预训练的QA（或QG）模型的分数作为选择高质量问题的标准。然而，这些分数并不直接服务于提高目标域的QA性能的最终目标。在本文中，我们介绍了一种新的想法，训练一个问题值估计器（QVE），直接估计合成问题的有用性，以提高目标域QA性能。通过进行综合实验，我们表明，QVE选择的综合问题，可以帮助实现更好的目标域QA性能，与现有技术相比。我们还表明，通过使用这样的问题和目标域上大约15%的人类注释，我们可以实现与完全监督基线相当的性能。
2022-03-16 cs.CL
Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering
Yale University（耶鲁大学）；AWS AI Labs（AWS AI实验室）
随着在线可用信息量的增加以及对快速访问这些内容的需求的增长，对问答（QA）的需求也在增加。QA的一种常见方法是在特定于任务的标记数据集上微调预训练的语言模型。然而，这种模式依赖于稀缺的、昂贵的、大规模的人类标记数据。我们提出了一种无监督的方法来训练QA模型生成的伪训练数据。我们表明，通过在相关的检索句子而不是原始上下文句子上应用简单的模板来生成QA训练问题，可以通过允许模型学习更复杂的上下文-问题关系来提高下游QA性能。在这些数据上训练QA模型，SQuAD数据集上的F1得分比以前的无监督模型相对提高了约14%，当答案是命名实体时，提高了20%，在SQuAD上实现了最先进的无监督QA性能。
2020-04-24 cs.CL
Coarse-grain Fine-grain Coattention Network for Multi-evidence Question Answering
University of Washington（华盛顿大学）；Salesforce Research（赛富时研究院）
端到端神经模型在问答方面已经取得了重大进展，但最近的研究表明，这些模型隐含地假设答案和证据在单个文档中紧密相连。在这项工作中，我们提出了粗粒度细粒度协同注意力网络（CFC），一个新的问答模型，结合信息的证据，在多个文件。CFC由一个粗粒度模块和一个细粒度模块组成，粗粒度模块解释与查询相关的文档，然后找到相关的答案，细粒度模块通过比较每个候选答案在所有文档中的出现情况来对每个候选答案进行评分。我们设计这些模块使用层次的coattention和self-attention，学习强调输入的不同部分。在Qangaroo WikiHop多证据问答任务中，CFC在盲测集上获得了70.6%的最新结果，尽管没有使用预训练的上下文编码器，但其准确率仍比之前的最佳结果高出3%。
2019-05-13 cs.AI cs.CL
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Studio Ousia（Ousia工作室）；RIKEN（日本理化学研究所）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了多语言信息访问（MIA）2022共享任务研讨会的结果，评估了16种类型多样的语言的跨语言开放式检索问答（QA）系统。在这项任务中，我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言，和新注释的开放检索QA数据在2个代表性不足的语言：泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1，比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索，并取得了显着的改善，泰米尔语（20.8 F1），而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Multimodal Commonsense Knowledge Distillation for Visual Question Answering
University of Melbourne（墨尔本大学）；University of Western Australia（西澳大学）
提出基于图的多模态常识知识蒸馏框架，通过GCN统一常识、视觉与问题，无需微调即可提升VQA常识问答性能。
2024-11-05 cs.AI cs.CL
Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
理解叙事需要对与文本中描述的情况的原因、影响和状态相关的内隐世界知识进行推理。在这一挑战的核心是如何访问上下文相关的知识的需求和原因在it.In本文中，我们提出了初步的研究走向zero-shot常识问答，制定了动态生成的常识知识图谱的推理任务。在以往的研究中，知识整合依赖于现有的知识从静态知识图谱检索，我们的研究需要常识的知识整合，上下文相关的知识往往不存在于现有的知识库。因此，我们提出了一种新的方法，生成上下文相关的符号知识结构的需求，使用生成神经常识知识模型。两个数据集上的实证结果表明，我们的神经符号的方法动态构建知识图谱推理的有效性。我们的方法比预训练的语言模型和普通知识模型实现了显著的性能提升，同时为其预测提供了可解释的推理路径。
2020-10-30 cs.CL
