Mitigating the Impact of Speech Recognition Errors on Spoken Question Answering by Adversarial Domain Adaptation
College of Electrical Engineering；Computer Science\ Taiwan University, Taiwan
口语问答（SQA）是具有挑战性的，由于复杂的推理上的口头文件。最近的研究也表明了自动语音识别（ASR）错误对SQA的灾难性影响。因此，这项工作提出了通过调整ASR假设与其相应的参考瞬态之间的失配来减轻ASR误差。对抗模型被应用于这个领域自适应任务，这迫使模型学习QA模型可以有效利用的领域不变特征，以改善SQA结果。实验结果表明，该模型的有效性，结果优于以前的最佳模型的2% EM得分。
2019-04-16 cs.CL
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI（亚马逊云科技人工智能）；Google（谷歌）
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络，该网络经过端到端训练，可以生成答案和问题。简而言之，我们向编码器提供一个段落，并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分，这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明，在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
Synthetic Question Value Estimation for Domain Adaptation of Question Answering
The Ohio State University（俄亥俄州立大学）；George Mason University（乔治梅森大学）
在目标域上用问题生成器合成问答对已成为问答模型领域自适应的一种流行方法。由于合成问题在实践中经常是嘈杂的，现有的工作将来自预训练的QA（或QG）模型的分数作为选择高质量问题的标准。然而，这些分数并不直接服务于提高目标域的QA性能的最终目标。在本文中，我们介绍了一种新的想法，训练一个问题值估计器（QVE），直接估计合成问题的有用性，以提高目标域QA性能。通过进行综合实验，我们表明，QVE选择的综合问题，可以帮助实现更好的目标域QA性能，与现有技术相比。我们还表明，通过使用这样的问题和目标域上大约15%的人类注释，我们可以实现与完全监督基线相当的性能。
2022-03-16 cs.CL
Robust Question Answering against Distribution Shifts with Test-Time Adaptation: An Empirical Study
National University of Singapore（新加坡国立大学）；Soochow University（苏州大学）
当测试数据与训练数据相比具有分布偏移时，部署的问答（QA）模型可能容易失败。鲁棒性调整（RT）方法已被广泛研究，以提高模型部署前对分布偏移的鲁棒性。但是，我们可以在部署后改进模型吗？为了回答这个问题，我们评估测试时自适应（TTA），以改善部署后的模型。我们首先介绍COLDQA，这是一个统一的评估基准，用于针对文本损坏以及语言和域的更改进行强大的QA。然后，我们评估以前的TTA方法COLDQA和RT方法进行比较。我们还提出了一种新的TTA方法称为在线模仿学习（OIL）。通过大量的实验，我们发现TTA与RT方法相当，并且在RT之后应用TTA可以显着提高COLDQA的性能。我们提出的OIL改进了TTA，使其对超参数和测试分布随时间的变化更具鲁棒性。
2023-02-09 cs.CL
Domain Adaptation for Question Answering via Question Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；School of Information Sciences（信息科学学院）
问答（QA）在回答来自定制域的问题方面已经取得了令人印象深刻的进展。然而，领域自适应仍然是QA系统最难以实现的挑战之一，特别是当QA系统在源域中训练但部署在不同的目标域中时。在这项工作中，我们调查的潜在好处的问题分类QA领域自适应。我们提出了一个新的框架：问题分类问答（QC4QA）。具体地说，问题分类器被用来为源数据和目标数据分配问题类。然后，我们通过伪标签以自我监督的方式进行联合训练。为了优化，通过最大平均差异（MMD）距离减少源和目标域之间的域间差异。此外，我们最大限度地减少类内差异QA样本的同一问题类细粒度的适应性能。据我们所知，这是QA领域自适应中的第一项工作，以利用自监督自适应的问题分类。我们证明了拟议的QC4QA的有效性，并在多个数据集上对最先进的基线进行了一致的改进。
2022-10-02 cs.AI cs.CL
Cooperative Self-training of Machine Reading Comprehension
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon AI（亚马逊人工智能）；MIT MTL（麻省理工学院媒体实验室）
预训练语言模型通过提供高质量的上下文化词嵌入，显著提高了下游语言理解任务的性能，包括提取问答。然而，训练问答模型仍然需要大量特定领域的注释数据。在这项工作中，我们提出了一个合作的自我训练框架，RGX，自动生成更多的非平凡的问答对，以提高模型的性能。RGX是建立在一个掩蔽的答案提取任务与交互式学习环境包含一个答案实体识别器，一个问题发生器，和一个答案提取器。给定一个带有掩码实体的段落，生成器围绕该实体生成一个问题，提取器被训练为用生成的问题和原始文本提取掩码实体。该框架允许在没有注释的任何文本语料库上训练问题生成和回答模型。实验结果表明，RGX在标准问答测试中的性能优于SOTA预训练语言模型和迁移学习方法，并在给定的模型大小和迁移学习设置下获得了新的SOTA性能。
2022-06-27 cs.AI cs.CL
To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering
University of California Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
开放领域问答（ODQA）的最新进展已经在标准维基百科风格的基准测试中证明了令人印象深刻的准确性。然而，目前尚不清楚这些模型的鲁棒性如何，以及它们在应用于完全不同领域的实际应用时的性能如何。虽然已经有一些工作调查ODQA模型在测试域外（OOD）泛化时的表现如何，但这些研究仅在数据分布的保守变化下进行，并且通常集中在单个组件（即，而不是端到端系统。作为回应，我们提出了一个更现实和更具挑战性的域转移评估设置，并通过广泛的实验，研究端到端的模型性能。我们发现，不仅模型不能推广，但高检索分数往往仍然产生差的答案预测准确性。然后，我们对不同类型的转变进行分类，并提出了一些技术，当出现新的数据集时，这些技术可以预测干预方法是否可能成功。最后，利用这项分析的见解，我们提出并评估了几种干预方法，这些方法可以将端到端的答案F1得分提高24分。
2022-12-20 cs.CL
CliniQG4QA: Generating Diverse Questions for Domain Adaptation of Clinical Question Answering
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）；George Mason University（乔治梅森大学）
临床问答（QA）的目的是基于临床文本自动回答来自医疗专业人员的问题。研究表明，在一个语料库上训练的神经QA模型可能无法很好地推广到来自不同机构或不同患者群体的新临床文本，其中大规模QA对不容易用于模型再训练。为了应对这一挑战，我们提出了一个简单而有效的框架CliniQG4QA，它利用问题生成（QG）来合成新的临床背景下的QA对，并在不需要手动注释的情况下增强QA模型。为了生成对于训练QA模型至关重要的各种类型的问题，我们进一步引入了一个基于seq2seq的问题短语预测（QPP）模块，该模块可以与大多数现有的QG模型一起使用，以使生成多样化。我们的综合实验结果表明，我们的框架生成的QA语料库可以提高QA模型在新的上下文（高达8%的绝对增益方面的精确匹配），和QPP模块在实现增益中起着至关重要的作用。
2021-12-11 cs.CL
Cross-Thought for Sentence Encoder Pre-training
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究）；Singapore Management University（新加坡管理大学）
在本文中，我们提出了交叉思维，一种新的方法来预训练序列编码器，这是在构建可重用的序列嵌入的大规模NLP任务，如问答。我们不使用完整句子的原始信号，而是在大量短序列上训练基于transformer的序列编码器，这使得模型能够自动选择最有用的信息来预测掩码词。在问答和文本蕴涵任务上的实验表明，我们的预训练编码器可以优于用连续句子信号训练的最先进的编码器以及传统的掩蔽语言建模基线。我们提出的方法还实现了新的艺术状态HotpotQA（全维基设置），通过提高中间信息检索性能。
2020-10-07 cs.CL
SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs
University of Science（科学大学）；Case Western Reserve University（凯斯西储大学）；National Cancer Institute（美国国家癌症研究所）
在本文中，我们提出了SPBERT，一个基于transformer的语言模型预训练的大量SPARQL查询日志。通过结合掩蔽语言建模目标和单词结构目标，SPBERT可以学习自然语言和SPARQL查询语言的通用表示。我们研究如何SPBERT和编码器-解码器架构可以适应基于知识的QA语料库。我们进行了详尽的实验上的两个额外的任务，包括SPARQL查询建设和回答动词化生成。实验结果表明，SPBERT可以获得令人满意的结果，在其中几个任务上获得了最先进的BLEU分数。
2021-06-30 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology（韩国科学技术院）
许多上下文化的单词表示现在通过复杂的神经网络模型来学习，例如掩蔽神经语言模型（MNLM），其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解（RC）任务中表现出超人的表现，这些任务在给定问题的上下文中提取适当的答案。然而，识别详细的知识培训MNLM是具有挑战性的，由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先，我们使用一个诊断测试，评估是否常识知识是正确的MNLM培训。我们观察到，很大一部分的常识性知识没有适当的培训，在MNLM和MNLM不经常准确地理解关系的语义。此外，我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后，我们发现了一些知识没有得到训练的根本原因。我们进一步建议，利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能部门）
预训练的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标记的数据可能并不总是可用的。为了解决这个问题，我们对源域数据进行了有监督的预训练，以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能，以微调预训练模型，而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Contrastive Domain Adaptation for Question Answering using Limited Text Corpora
Technical University of Munich（慕尼黑工业大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Zurich（苏黎世联邦理工学院）
问题生成最近在定制问答（QA）系统的新领域中显示出令人印象深刻的结果。这些方法避免了对来自新领域的手动注释的训练数据的需要，而是生成用于训练的合成问题-答案对。然而，现有的问题生成方法依赖于大量的综合生成的数据集和昂贵的计算资源，这使得这些技术在文本语料库大小有限时无法广泛使用。这是有问题的，因为许多利基领域依赖于小文本语料库，这自然限制了可以生成的合成数据的量。在本文中，我们提出了一个新的框架领域自适应称为对比领域自适应QA（CAQA）。具体来说，CAQA结合了问题生成和领域不变学习的技术，以回答有限文本语料库设置中的域外问题。在这里，我们训练QA系统的源数据和生成的数据从目标域与对比适应损失，被纳入训练目标。通过结合问题生成和领域不变学习的技术，我们的模型与最先进的基线相比取得了相当大的改进。
2021-08-31 cs.AI cs.CL
CAIRNS: Balancing Readability and Scientific Accuracy in Climate Adaptation Question Answering
University of New South Wales（新南威尔士大学）
CAIRNS通过结构化提示和混合评估器，在无需微调或强化学习的情况下，实现了可读、可验证且领域相关的气候适应问答。
2025-12-01 cs.CL cs.CY
Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
密集通道检索器（DPR）的一个关键特征是在双向编码器设计中使用单独的问题和通道编码器。以前的DPR的推广工作主要集中在测试两个编码器串联在分布外（OOD）问答（QA）任务，这也被称为领域自适应。然而，DPR的单个问题/段落编码器如何影响泛化仍然是未知的。具体来说，在本文中，我们想知道如果与来自另一个域的OOD通道/问题编码器配对，分发（IND）问题/通道编码器将如何泛化。我们将此挑战称为\textit{encoder adaptation}。为了回答这个问题，我们检查DPR的问题和通道编码器的不同组合，从五个基准QA数据集上的域内和域外的问题。我们发现通道编码器对泛化下限的影响更大，而问题编码器似乎在总体上影响上界。例如，应用OOD段落编码器通常会损害检索准确性，而OOD问题编码器有时甚至会提高准确性。
2021-10-04 cs.CL cs.IR
Leveraging the Domain Adaptation of Retrieval Augmented Generation Models for Question Answering and Reducing Hallucination
本文通过领域自适应研究多种RAG架构在酒店客服问答中的表现，构建HotelConvQA数据集并证明领域自适应能提升问答性能且显著减少幻觉。
2024-10-23 cs.CL cs.HC
StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models
Glyphic AI；DeepMind（深度思维）；University of Oxford（牛津大学）；Cohere
通过问答（QA）评估的模型的知识和语言理解通常在知识的静态快照上进行研究，如维基百科。然而，我们的世界是动态的，随着时间的推移而演变，我们的模型知识变得过时。为了研究半参数QA模型及其底层参数语言模型（LM）如何适应不断发展的知识，我们构建了一个新的大规模数据集StreamingQA，其中包含在给定日期提出的人类书面和生成的问题，这些问题将从14年的时间戳新闻文章中得到回答。我们每季度评估我们的模型，因为他们阅读了在预训练中没有看到的新文章。我们表明，参数模型可以更新，而无需完全重新训练，同时避免灾难性遗忘。对于半参数模型，将新文章添加到搜索空间允许快速适应，然而，具有过时的底层LM的模型表现不佳。对于有关较高频率命名图元的问题，参数更新特别有用。在我们的动态世界中，StreamingQA数据集可以对QA模型进行更真实的评估，我们的实验突出了未来研究的几个有希望的方向。
2022-05-23 cs.CL cs.LG
Actions and Objects Pathways for Domain Adaptation in Video Question Answering
Center for ICT and Automotive Convergence, Kyungpook National University（庆北国立大学信息通信技术与汽车融合中心）；Graduate School of Artificial Intelligence, Kyungpook National University（庆北国立大学人工智能研究生院）
针对视频问答的域外泛化问题，提出无需显式训练未见域的AOPath方法，分解预训练特征为动作与对象特征并通过独立路径处理，在TVQA数据集上较传统分类器域外性能提升5%、域内提升4%，且优于需训练百万参数的现有方法。
2024-11-29 cs.CL cs.CV
From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Carnegie Mellon University（卡内基梅隆大学）
提出PMR方法，利用维基百科超链接构建MRC风格训练数据，将预训练掩码语言模型改造为机器阅读理解模型，有效解决抽取与分类任务，提升低资源场景性能与可解释性。
2023-10-16 cs.CL
Unified Question Answering in Slovene
University of Ljubljana（卢布尔雅那大学）
问答是语言理解中最具挑战性的任务之一。大多数方法都是为英语开发的，而资源较少的语言则很少研究。我们采用了一种成功的英语问答方法，称为UnifiedQA，用于资源较少的斯洛文尼亚语。我们的适应使用编码器-解码器Transformer SloT 5和mT5模型来处理四种问答格式：是/否、多项选择、抽象和提取。我们使用现有的斯洛文尼亚适应四个数据集，并机器翻译MCTest数据集。我们表明，一般模型可以回答不同格式的问题，至少以及专门的模型。使用英语的跨语言迁移进一步改善了结果。虽然我们为斯洛文尼亚语产生了最先进的结果，但性能仍然落后于英语。
2022-11-16 cs.AI cs.CL
Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers
Department of Artificial Intelligence, Hanyang University（人工智能学院，翰阳大学）；Department of Data Science, Hanyang University（数据科学学院，翰阳大学）
CoopRAG通过协作检索与生成机制，提升问答任务中检索与生成的准确性。
2025-12-17 cs.AI cs.CL
Neural Domain Adaptation for Biomedical Question Answering
Hasso Plattner Institute（哈索·普拉特纳研究所）；DFKI（德国人工智能研究中心）
事实问答（QA）最近受益于深度学习（DL）系统的发展。神经网络模型在存在大型数据集的领域中优于传统方法，例如SQuAD（ca. 100，000个问题）的维基百科文章。然而，这些系统还没有被应用到QA在更具体的领域，如生物医学，因为数据集通常太小，从零开始训练DL系统。例如，用于生物医学QA的BioASQ数据集包括不到900个factoid（单个答案）和列表（多个答案）QA实例。在这项工作中，我们通过采用各种迁移学习技术，将在大型开放域数据集（SQuAD，源）上训练的神经QA系统适应于生物医学数据集（BioASQ，目标）。我们的网络架构是基于一个国家的最先进的QA系统，扩展与生物医学词嵌入和一个新的机制来回答列表问题。与现有的生物医学QA系统相比，我们的系统不依赖于特定领域的本体，解析器或实体标记，这是昂贵的创建。尽管如此，我们的系统在事实问题上取得了最先进的结果，在列表问题上取得了有竞争力的结果。
2017-06-15 cs.AI cs.CL cs.NE
Finding Answers from the Word of God: Domain Adaptation for Neural Networks in Biblical Question Answering
The University of Auckland（奥克兰大学）
近年来，问答（QA）从深度学习技术中受益匪浅。然而，由于训练神经网络需要大量的数据，特定领域的QA仍然是一个挑战。本文研究了圣经领域的回答句选择任务，并从圣经中选取相关的经文回答问题。为此，我们基于圣经琐事问题创建了一个新的数据集BibleQA，并为我们的任务提出了三个神经网络模型。我们在大规模QA数据集SQuAD上预训练我们的模型，并研究转移权重对模型准确性的影响。此外，我们还测量了模型的准确性与不同的答案上下文长度和不同的圣经翻译。我们肯定迁移学习在模型精度上有明显的提高。我们用较短的上下文长度获得了相对较好的结果，而较长的上下文长度降低了模型的准确性。我们还发现，在数据集中使用更现代的圣经翻译对任务有积极的影响。
2018-10-26 cs.AI cs.CL cs.IR
Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task
Baidu Inc.（百度公司）；Peking University（北京大学）
目前，基于问答的机器阅读理解（MRC）系统的评价指标通常集中在候选答案和参考答案之间的词汇重叠，如ROUGE和BLEU。然而，当这些指标用于特定问题类型时，可能会出现偏差，特别是询问是非意见和实体列表的问题。在本文中，我们对指标进行了调整，以更好地将n-gram重叠与人类对这两种问题类型答案的判断相关联。统计分析证明了我们的方法的有效性。本文的研究成果对实际MRC系统的开发具有积极的指导意义。
2018-06-10 cs.CL
Zero-Shot Video Question Answering via Frozen Bidirectional Language Models
Inria Paris（巴黎法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；CIIRC CTU Prague（布拉格捷克理工大学捷克信息学、机器人与控制研究所）
视频问答（VideoQA）是一个复杂的任务，需要不同的多模态数据进行训练。然而，视频的问题和答案的手动注释是乏味的并且限制了可扩展性。为了解决这个问题，最近的方法考虑zero-shot设置，没有手动注释的视觉问答。特别是，一种很有前途的方法使在Web规模的纯文本数据上预训练的冻结自回归语言模型适应多模态输入。相比之下，我们在这里建立在冻结双向语言模型（BiLM），并表明这种方法提供了一个更强大，更便宜的替代zero-shot VideoQA。特别是，（i）我们结合视觉输入与冻结的BiLM使用轻可训练模块，（ii）我们训练这样的模块使用Web刮多模态数据，最后（iii）我们执行zero-shot VideoQA推理通过掩蔽语言建模，其中掩蔽的文本是一个给定的问题的答案。我们提出的方法，FrozenBiLM，在zero-shot VideoQA中的表现优于现有技术，在各种数据集上都有显著的优势，包括LSMDC-FiB，iVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FrameQA，How2 QA和TVQA。它还展示了在Few-Shot和全监督设置中的竞争力。我们的代码和模型可在https://github.com/antoyang/FrozenBiLM上公开获取。
2022-10-10 cs.CL cs.CV cs.LG
RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd. Co.（华为技术有限公司）
为了更好地支持诸如web搜索和开放域问答的信息检索任务，越来越多的努力被用于开发面向检索的语言模型，例如，Retromae和许多其他人。大多数现有的工作集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而，最近的研究表明，除了[CLS]之外的普通标记可能会提供额外的信息，这有助于产生更好的表征效果。因此，有必要扩展当前的方法，其中所有上下文嵌入都可以联合预训练用于检索任务。在这项工作中，我们提出了一种新的预训练方法，称为双工掩蔽自动编码器，又名。Dupmae。它旨在提高语义表示的质量，其中可以利用预训练模型的所有上下文嵌入。它利用了两个互补的自动编码任务：一个是在[CLS]嵌入的基础上重建输入句子;另一个是基于普通标记的嵌入来预测输入句子的词袋特征。这两个任务共同进行训练一个统一的编码器，其中整个上下文嵌入聚合在一个紧凑的方式，以产生最终的语义表示。DupMAE很简单，但在经验上很有竞争力：它大大提高了预训练模型的表示能力和可移植性，在流行的基准测试中可以实现卓越的检索性能，如MS MARCO和BEIR。
2023-05-04 cs.CL
Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们解决问题的跨语言适应问题的问题，在社区问答的相似性重新排序，目的是端口的一种输入语言的系统训练到另一种输入语言给定的标记训练数据的第一种语言和第二种语言的未标记的数据。特别是，我们建议使用神经网络的对抗性训练来学习对主要学习任务具有区分性的高级特征，同时在输入语言中保持不变。评估结果表明，我们的跨语言对抗神经网络（CLANN）模型在强大的非对抗系统上有相当大的改进。
2017-06-21 cs.CL
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business（雅典经济与商业大学）；Institute for Language and Speech Processing, Research Center ‘Athena’（“雅典娜”研究中心语言与语音处理研究所）；Institute of Informatics and Telecommunications, NCSR ‘Demokritos’（国家科学研究中心“德谟克利特”信息与电信研究所）
我们研究了七种数据增强（da）方法在模拟问答中的效果，主要集中在生物医学领域，在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验，我们用从人工生物医学机器阅读理解数据集获得的训练实例，或通过反向翻译，信息检索，基于word 2 vec嵌入的单词替换，或掩蔽语言建模，问题生成，或用额外的上下文扩展给定的段落。我们表明，DA可以导致非常显着的性能增益，即使使用大型预训练的Transformers，有助于更广泛的讨论，如果/当DA受益于大型预训练模型。最简单的da方法之一，基于word 2 vec的单词替换，性能最好，值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
ParaQA: A Question Answering Dataset with Paraphrase Responses for Single-Turn Conversation
University of Bonn（波恩大学）；Zerotha Research（Zerotha研究机构）；Cerence GmbH（Cerence GmbH公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本文提出了ParaQA，一个问答（QA）数据集与多个释义的反应，单轮会话的知识图谱（KG）。该数据集是使用半自动化框架创建的，该框架使用反向翻译等技术生成答案的各种释义。现有的用于在KG上的会话式问答（单轮/多轮）的数据集集中于问题释义并且仅提供最多一个答案口头化。然而，ParaQA包含5000个问答对，每个问题最少有两个，最多有八个独特的释义回答。我们用基线模型补充了数据集，并通过常用的指标（如BLEU和METEOR）说明了具有多个释义答案的优势。ParaQA数据集在一个持久的URI上公开提供，以便在研究社区中更广泛地使用和适应。
2021-03-13 cs.CL
Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering
The University of Auckland（奥克兰大学）；National University of Singapore（新加坡国立大学）；University of Southern Queensland（南昆士兰大学）
针对现有RAG模型仅适配维基百科知识库、难以应用于专业领域的问题，提出可联合训练检索器与生成器、引入辅助训练信号的RAG-end2end模型，在三个领域数据集上取得显著性能提升并已开源。
2022-10-06 cs.AI cs.CL cs.IR
Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
预训练语言模型（PTLM）的领域自适应通常通过对目标领域文本的无监督预训练来实现。虽然这种方法是成功的，但在硬件、运行时间和CO_2排放方面是昂贵的。在这里，我们提出了一个更便宜的替代方案：我们训练Word 2 Vec的目标域的文本，并将得到的词向量与一个通用域PTLM的词片向量。我们评估了八个生物医学命名实体识别（NER）任务，并与最近提出的BioBERT模型进行比较。我们覆盖了超过60%的BioBERT-BERT F1 delta，占BioBERT CO_2排放量的5%，占其云计算成本的2%。我们还展示了如何快速调整现有的通用领域问答（QA）模型，以适应新冠肺炎大流行这一新兴领域。
2020-06-27 cs.CL
SMAUG: Sparse Masked Autoencoder for Efficient Video-Language Pre-training
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
视频语言预训练对于学习强大的多模态表示至关重要。然而，它通常需要大量的计算。在本文中，我们开发了SMAUG，一个有效的视频-语言模型的预训练框架。SMAUG中的基础组件是掩码自编码器。与以往只屏蔽文本输入的方法不同，本文的屏蔽策略同时考虑了视觉和文本模态，提供了更好的跨模态对齐，节省了更多的预训练成本。最重要的是，我们引入了一个时空令牌稀疏化模块，它利用上下文信息进一步选择“重要”的空间区域和时间帧进行预训练。耦合所有这些设计，使我们的方法，以享受文本到视频检索和视频问答任务的竞争力的表现，和少得多的预训练成本的1.9倍或更多。例如，我们的SMAUG仅需要大约50个NVIDIA A6000 GPU小时的预训练，就可以在六个流行的基准测试中获得这两个视频语言任务的竞争力。
2022-11-30 cs.AI cs.CL cs.CV
Zero-shot Generalization in Dialog State Tracking through Generative Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）；UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云服务人工智能部门）
对话状态跟踪（DST）是现代对话系统的一个组成部分，旨在跟踪面向任务的对话中的用户偏好和约束（槽）。在服务不断变化的现实环境中，DST系统必须推广到新的域和不可见的插槽类型。现有的DST方法不能很好地推广到新的插槽名称，并且许多方法需要插槽类型和值的已知本体进行推理。我们介绍了一种新的本体自由框架，支持自然语言查询看不见的约束和插槽在多领域面向任务的对话。我们的方法是基于生成式问答使用条件语言模型预先训练的实质性英语句子。我们的模型在zero-shot领域自适应设置中将联合目标精度提高了9%（绝对值），超过了MultiWOZ 2.1数据集上的先前最先进水平。
2021-01-20 cs.CL
Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications
BMW Group（宝马集团）
本文通过汽车行业封闭数据集评估RAG和微调在问答系统中的效果，发现RAG在质量和成本效率上优于微调，尤其适用于开源模型。
2026-05-10 cs.AI cs.CL
KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
摘要抽取式问答是机器阅读理解中的重要任务之一，通过微调预训练语言模型的广度选择头部可以解决抽取式问答问题。然而，大多数现有的MRC方法在少样本学习场景中可能表现不佳。为了解决这个问题，我们提出了一个新的框架命名为知识增强的对比调优（KECP）。而不是添加指针头PLM，我们引入了一个开创性的范式EQA转换成一个非自回归的掩蔽语言建模（MLM）生成问题的任务。同时，丰富的语义从外部知识库（KB）和通道上下文的支持，以增强表示的查询。此外，为了提高PLM的性能，我们采用MLM和对比学习目标对模型进行联合训练。在多个基准测试上的实验表明，我们的方法在Few-Shot设置中始终优于最先进的方法。
2022-05-06 cs.AI cs.CL
Abductive Reasoning as Self-Supervision for Common Sense Question Answering
Oklahoma State University（俄克拉荷马州立大学）；University of South Florida（南佛罗里达大学）
问答近年来取得了重大进展，特别是引入了越来越大的基于transformer的模型，这些模型是在大量数据上进行预训练的。虽然在许多基准测试中取得了令人印象深刻的结果，但它们的性能似乎与目标域中可用的训练数据量成正比。在这项工作中，我们探讨了目前的问答模型推广到其他领域以及有限的训练数据的能力。我们发现，大量的训练数据是必要的，无论是预训练，以及微调到一个任务，模型在指定的任务上表现良好。我们介绍了一种新的溯因推理方法的基础上Grenander的模式理论框架，提供自我监督的领域自适应线索或“伪标签”，它可以用来代替昂贵的人类注释。所提出的自监督训练方案允许有效的领域自适应，而不损失性能相比，完全监督基线。两个公开的基准上的广泛实验表明，所提出的方法的有效性。我们表明，使用自标记数据训练的神经网络模型可以保留高达$75\%$的性能，在大量的人类注释的训练数据上训练的模型。
2019-09-13 cs.AI cs.CL
EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）；Brion, ASML US LP；Florida State University（佛罗里达州立大学）
提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。
2026-06-05 cs.AI cs.CL
Nonparametric Masked Language Modeling
Meta AI；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文提出首个非参数掩码语言模型NPM，用参考语料库上的非参数分布替代softmax，通过对比学习和批内近似检索训练，在16个零样本任务上优于更大参数化模型，尤其擅长处理罕见模式和罕见词。
2023-05-25 cs.AI cs.CL cs.LG
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd. Co.（华为技术有限公司）
为了更好地支持检索应用，如网络搜索和问答，越来越多的努力，开发面向检索的语言模型。现有的大多数工作都集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而，最近的研究表明，除了[CLS]之外的普通标记可能会提供额外的信息，这有助于产生更好的表征效果。因此，有必要扩展当前的方法，其中所有上下文嵌入都可以联合预训练用于检索任务。基于这种动机，我们提出了一种新的预训练方法：双工掩码自动编码器，a.k.a. DupMAE，其目标是提高[CLS]和普通令牌的上下文嵌入的语义表示能力。它引入了两个解码任务：一个是基于[CLS]嵌入重建原始输入句子，另一个是基于整个普通标记的嵌入最小化输入句子的词袋损失（BoW）。将两种译码损失相加，训练出统一的编码模型。在降维和聚合之后，来自[CLS]和普通令牌的嵌入被连接为输入的一个统一的语义表示。DupMAE很简单，但在经验上很有竞争力：解码成本很小，它大大有助于模型的表示能力和可转移性，在MS MARCO和BEIR基准上实现了显着的改进。
2022-11-16 cs.CL cs.IR
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
Studio Ousia；RIKEN AIP（理化学研究所先进智能项目中心）；University of Washington（华盛顿大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Informatics（国立情报学研究所）
实体表示在涉及实体的自然语言任务中很有用。在本文中，我们提出了新的预训练的上下文表示的单词和实体的基础上双向Transformer。该模型将给定文本中的单词和实体视为独立的标记，并输出它们的上下文表示。我们的模型是使用一个新的预训练任务的基础上的掩蔽语言模型的BERT。该任务涉及预测随机掩蔽的单词和实体在一个大型的实体标注语料库检索维基百科。我们还提出了一个实体感知的自我注意力机制，它是Transformer的自我注意力机制的扩展，并在计算注意力分数时考虑标记的类型（单词或实体）。所提出的模型实现了令人印象深刻的经验表现在广泛的实体相关的任务。特别是，它在五个著名的数据集上获得了最先进的结果：Open Entity（实体类型），TACRED（关系分类），CoNLL-2003（命名实体识别），ReCoRD（完形填空式问答）和SQuAD 1.1（提取问答）。我们的源代码和预训练表示可在https://github.com/studio-ousia/luke上获得。
2020-10-02 cs.CL cs.LG
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST（韩国科学技术院）；AITRICS（艾崔克斯）
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本，这样我们就可以有效地适应特定的目标任务（例如问答）的语言模型。具体而言，我们提出了一种新的基于强化学习的框架，该框架学习掩蔽策略，使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习，并提出了一个基于transformer的策略网络，可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型，通过自动学习最佳自适应掩码，在几个问答和文本分类数据集上验证了我们的神经掩码生成器（NMG），在这些数据集上，它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
JuriBERT: A Masked-Language Model Adaptation for French Legal Text
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）；HEC Paris（巴黎高等商学院）
语言模型已经被证明在适应特定领域时非常有用。尽管如此，很少有研究已经做了适应特定领域的BERT模型在法语。在本文中，我们专注于创建一个适应法语法律文本的语言模型，旨在帮助法律专业人士。我们的结论是，一些特定的任务并没有受益于通用的语言模型预先训练的大量数据。我们探讨了在特定领域的子语言中使用较小的架构及其对法语法律文本的好处。我们证明了特定于领域的预训练模型可以比法律领域中的等效广义模型表现得更好。最后，我们发布了JuriBERT，这是一套适用于法国法律领域的新BERT模型。
2022-02-12 cs.CL
XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models
Meta AI
本文提出XLM-V，通过为各语言分配词汇容量并减少低重叠语言间的标记共享，构建百万级词汇的多语言模型，在多项任务上超越XLM-R，尤其显著提升低资源语言性能。
2023-10-13 cs.CL cs.LG
Exploring The Landscape of Distributional Robustness for Question Answering Models
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们进行了一个大型的实证评估，调查景观的分布鲁棒性问答。我们的调查涵盖了350多个模型和16个问答数据集，包括一组不同的架构、模型大小和适应方法（例如，微调、适配器调整、上下文学习等）。我们发现，在许多情况下，模型的变化并不影响鲁棒性和分布性能单独决定的分布性能。此外，我们的研究结果表明，i）zero-shot和上下文学习方法比完全微调模型对分布偏移更鲁棒; ii）Few-Shot提示微调模型比Few-Shot微调跨度预测模型表现出更好的鲁棒性; iii）参数有效和鲁棒性增强训练方法没有提供显着的鲁棒性改进。此外，我们公开发布所有评估，以鼓励研究人员进一步分析问答模型的鲁棒性趋势。
2022-10-22 cs.CL cs.LG
CREPE: Open-Domain Question Answering with False Presuppositions
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
信息搜索用户经常提出带有错误预设的问题，特别是在询问不熟悉的话题时。相比之下，大多数现有的问答（QA）数据集假设所有问题都有明确定义的答案。我们介绍CREPE，QA数据集包含一个自然分布的预设失败的在线信息搜索论坛。我们发现，25%的问题包含错误的预设，并提供这些预设和他们的更正注释。通过广泛的基线实验，我们表明，现有的开放域QA模型的适应可以找到适当的前提，但在预测前提是否是事实上正确的斗争。这在很大程度上是由于难以从大型文本语料库中检索相关证据段落。CREPE提供了一个基准研究问答在野外，我们的分析提供了更好的建模和进一步研究任务的未来工作的途径。
2022-11-30 cs.AI cs.CL
A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information
KU Leuven（鲁汶大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
受人类排练与预期机制启发，提出一种记忆模型，通过自监督掩码建模处理共指信息，在流式数据问答任务中显著优于现有记忆网络方法。
2023-05-12 cs.AI cs.CL cs.LG
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning
MOSAIC通过联合优化掩码语言建模和对比目标，提升领域适应文本嵌入模型的性能，实现NDCG@10的显著提升。
2026-01-29 cs.AI cs.CL
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning
University of Technology Sydney（悉尼科技大学）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）；Microsoft Research（微软研究院）
在这项工作中，我们的目标是装备预先训练的语言模型与结构化的知识。我们提出了两个自监督任务学习的原始文本的指导下，从知识图谱。建立在实体级掩蔽语言模型，我们的第一个贡献是一个实体掩蔽计划，利用相关知识的文本。这是通过使用一个链接的知识图谱来选择信息实体，然后屏蔽它们的提及来实现的。此外，我们使用知识图谱来获得干扰项的掩蔽实体，并提出了一种新的干扰抑制的排序目标，该目标是优化与掩蔽语言模型。与现有的范例相比，我们的方法隐式地使用知识图谱，仅在预训练期间，通过从原始文本学习来向语言模型注入结构化知识。它比在微调和推理过程中执行实体链接和集成的基于检索的方法更有效，并且比直接从级联图三元组学习的方法更有效。实验表明，我们提出的模型实现了提高性能的五个基准数据集，包括问答和知识库完成任务。
2020-04-29 cs.CL cs.LG
Adapting general-purpose speech recognition engine output for domain-specific natural language question answering
TCS Innovation Labs - Delhi（塔塔咨询服务创新实验室 - 德里）；TCS Innovation Labs - Mumbai（塔塔咨询服务创新实验室 - 孟买）
面向企业系统的基于语音的自然语言问答界面正受到广泛关注。通用语音引擎可以与NLP系统集成以提供这样的接口。通常，通用语音引擎是在大型“通用”语料库上训练的。然而，当这样的引擎用于特定领域时，它们可能不能很好地识别特定领域的单词，并且可能产生错误的输出。此外，说话者说出句子的口音和环境条件可能导致语音引擎不准确地识别某些单词。随后的自然语言问答不会产生必要的结果，因为问题没有准确地表示说话者的意图。因此，在执行进一步的自然语言处理之前，语音引擎的输出可能需要适合于某个领域。我们提出了两种适应机制，一种是基于进化发展的，另一种是基于机器学习的，并展示了我们如何修复语音输出，使随后的自然语言问答更好。
2017-10-12 cs.AI cs.CL
Semi-Supervised QA with Generative Domain-Adaptive Nets
Carnegie Mellon University（卡内基梅隆大学）
研究了半监督问答问题-利用未标记文本来提高问答模型的性能。我们提出了一个新的训练框架，生成域自适应网络。在这个框架中，我们训练一个生成模型来生成基于未标记文本的问题，并结合模型生成的问题和人工生成的问题来训练问答模型。我们开发了新的领域自适应算法，基于强化学习，以减轻模型生成的数据分布和人类生成的数据分布之间的差异。实验表明，我们提出的框架获得了显着的改善，从未标记的文本。
2017-04-22 cs.CL cs.LG
End-to-End Training of Neural Retrievers for Open-Domain Question Answering
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；NVIDIA（英伟达）
最近的工作训练开放域问答（OpenQA）的神经检索器采用监督和无监督的方法。然而，目前还不清楚如何将无监督和监督方法最有效地用于神经检索器。在这项工作中，我们系统地研究了猎犬的预训练。我们首先提出了一种无监督的预训练方法，使用反向完形填空任务和掩蔽的显着跨度，然后使用问题上下文对进行监督微调。这种方法在Natural Questions和TriviaQA数据集上的前20名检索准确度中，比之前的最佳结果绝对提高了2+点。我们还探索了两种方法，用于OpenQA模型中的阅读器和检索器组件的端到端监督训练。在第一种方法中，读者单独考虑每个检索到的文档，而在第二种方法中，读者一起考虑所有检索到的文档。我们的实验证明了这些方法的有效性，因为我们获得了新的最先进的结果。在Natural Questions数据集上，我们获得了84的前20名检索准确率，比最近的DPR模型提高了5个点。此外，我们在答案提取方面取得了很好的效果，比最近的模型如REALM和RAG高出3个点。我们进一步将端到端训练扩展到大型模型，并在较小的模型上显示出一致的性能增益。
2021-06-02 cs.AI cs.CL
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute（罗切斯特理工学院）；Cornell University（康奈尔大学）；Samsung Research America（三星美国研究院）
针对电信问答中证据分散且资源稀缺的问题，提出ARMOR方法，通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器，在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
University of Science and Technology of China（中国科学技术大学）；ByteDance Inc.（字节跳动公司）；Chinese Academy of Sciences（中国科学院）
APEx是分层经验利用框架，通过三阶段交替GRPO训练优化Executor、Distiller、Planner模块，经7个基准测试性能超GPT-5.4和最强记忆增强基线，实现自适应深度研究问答。
2026-09-03 cs.AI cs.CL
