Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies
University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学)
针对隐私政策 QA 标注数据严重不平衡问题,提出集成检索器结合多预训练语言模型与降噪过滤的数据增强框架,在 PrivacyQA 上将 F1 提升 10% 至 50%,达到新最优。
2023-04-22 cs.CL
RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);NYU Shanghai(纽约大学上海分校);Center for Data Science, New York University(纽约大学数据科学中心)
RPDR通过数据增强框架提升长尾问答性能,利用回程预测选择易学实例并动态路由查询以优化检索效果。
2026-02-19 cs.CL
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要,但后期融合的性能低于利用早期融合的模型(例如,基于BERT的分类器,在问题-答案对之间具有交叉关注)。我们提出了一种监督数据采掘方法,使用一个准确的早期融合模型,以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型,问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道,以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$(P@N)和平均倒数秩(MRR)的精度上训练的检索模型。
2020-09-29 cs.CL
Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering
University of Waterloo(滑铁卢大学)
最近,使用现成的IR技术和BERT阅读器的段落检索的简单组合被发现对于直接在维基百科上的问答是非常有效的,在标准基准数据集上产生了比先前的最新技术水平大的改进。在本文中,我们提出了一个数据增强技术,利用积极的和消极的例子,利用远程监督。我们应用分阶段的方法在多个数据集上微调BERT,从距离测试数据“最远”的数据开始,以“最接近”的数据结束。实验结果表明,在英语QA数据集上的有效性比以前的方法有很大的提高,我们在最近的两个中文QA数据集上建立了新的基线。
2019-04-14 cs.CL cs.IR
ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
Sapienza University of Rome(罗马大学)
针对现有LLM常识问答可解释性不足、知识整合方法需额外训练或人工设计的问题,提出零样本框架ZEBRA,结合检索、案例推理与内省生成知识答题,在8个基准上平均准确率最高提升4.5个百分点。
2024-10-07 cs.CL
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering
Amazon Search(亚马逊搜索)
MinPrompt通过图算法选择最少信息句子并生成问答对进行微调,在少样本开放域问答中实现高效且准确率相当或更优的结果。
2024-05-28 cs.CL
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business(雅典经济与商业大学);Institute for Language and Speech Processing, Research Center ‘Athena’(“雅典娜”研究中心语言与语音处理研究所);Institute of Informatics and Telecommunications, NCSR ‘Demokritos’(国家科学研究中心“德谟克利特”信息与电信研究所)
我们研究了七种数据增强(da)方法在模拟问答中的效果,主要集中在生物医学领域,在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验,我们用从人工生物医学机器阅读理解数据集获得的训练实例,或通过反向翻译,信息检索,基于word 2 vec嵌入的单词替换,或掩蔽语言建模,问题生成,或用额外的上下文扩展给定的段落。我们表明,DA可以导致非常显着的性能增益,即使使用大型预训练的Transformers,有助于更广泛的讨论,如果/当DA受益于大型预训练模型。最简单的da方法之一,基于word 2 vec的单词替换,性能最好,值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
Unsupervised Question Answering via Answer Diversifying
Beijing Institute of Technology(北京理工大学)
无监督问答由于其对标记数据的独立性而成为一个有吸引力的任务。以往的工作通常利用启发式规则以及预先训练的模型来构建数据和训练QA模型。然而,这些工作大多将命名实体(NE)作为唯一的答案类型,这忽略了现实世界中答案的高度多样性。为了解决这个问题,我们提出了一种新的无监督的方法,通过多样化的答案,命名为DiverseQA。具体来说,该方法由三个模块组成:数据构建,数据增强和去噪滤波。首先,数据构建模块将提取的命名实体扩展为较长的句子成分作为新的答案跨度,以构建具有不同答案的QA数据集。其次,数据增强模块通过嵌入级的对抗训练采用答案类型依赖的数据增强过程。第三,设计了去噪滤波器模块,以消除构造数据中的噪声。大量的实验表明,该方法优于以前的无监督模型在五个基准数据集,包括SQuADv1.1,NewsQA,TriviaQA,BioASQ和DuoRC。此外,该方法在少样本学习环境下表现出较强的性能。
2022-08-23 cs.CL
Prompting-based Synthetic Data Generation for Few-Shot Question Answering
University of Stuttgart(斯图加特大学);IBM Research Zurich(IBM苏黎世研究院)
针对少样本问答数据标注成本高、领域适配性差的问题,提出利用Prompting框架基于大语言模型生成合成数据,验证其任务无关知识可超越预训练/微调范式,在多数据集少样本问答上性能优于现有最优方法。
2024-05-15 cs.CL
Programming Language Agnostic Mining of Code and Language Pairs with Sequence Labeling Based Question Answering
University of California, Berkeley(加州大学伯克利分校);Tencent Cloud(腾讯云);Tsinghua University(清华大学)
挖掘对齐的自然语言和程序设计语言对是理解自然语言-程序设计语言对的一个关键任务。现有的方法应用专门的手工制作的功能或单独训练的模型,为每个PL。然而,它们通常遭受跨多个PL的低可转移性,特别是对于具有较少注释数据的利基PL。幸运的是,Stack Overflow回答帖子本质上是一系列文本和代码块,其全局文本上下文可以提供PL不可知的补充信息。在本文中,我们提出了一个基于序列标记的问答(SLQA)方法,以PL不可知的方式挖掘NL-PL对。特别是,我们建议应用BIO标记方案而不是传统的二进制方案来挖掘通常由多个帖子块组成的代码解决方案。在现有的单PL单块基准测试和人工标记的跨PL多块基准测试上的实验证明了SLQA的有效性和可移植性。我们进一步提出了一个并行的NL-PL语料库命名为Lang 2Code自动挖掘SLQA,其中包含约1.4M对6 PL。在统计分析和下游评估下,我们证明Lang 2Code是进一步NL-PL研究的大规模高质量数据资源。
2022-03-21 cs.CL cs.PL
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
XAIQA: Explainer-Based Data Augmentation for Extractive Question Answering
Optum(Optum公司)
本文提出 XAIQA,利用分类模型解释器从电子健康记录数据生成医疗合成问答对,实验表明其语义匹配和临床缩写识别显著优于 sentence transformer 方法,并能提升 GPT-4 的抽取式问答性能。
2023-12-06 cs.CL
Predicting the Benefit of Retrieval Augmentation in Open-Domain Question Answering
Technion(技术学院);Technology Innovation Institute (TII)(技术创新研究所)
本文研究了RAG在问答中的性能预测,提出了一种新的监督预测器,通过建模问题、检索段落和生成答案之间的语义关系,提升了预测效果。
2026-08-20 cs.CL cs.IR
Frustratingly Easy Natural Question Answering
IBM Research AI(IBM研究院AI)
现有的关于问答(QA)的文献主要集中在算法新颖性、数据增强或越来越大的预训练语言模型(如XLNet和RoBERTa)上。此外,QA排行榜上的许多系统没有相关的研究文档,以便成功复制他们的实验。在本文中,我们概述了这些算法组件,例如Attention-over-Attention,再加上数据增强和集成策略,这些策略已被证明可以在SQuAD等基准数据集上产生最先进的结果,甚至实现超人的性能。与这些先前的结果相反,当我们对最近提出的Natural Questions基准数据集进行评估时,我们发现一种非常简单的BERT迁移学习方法的性能优于以前的最先进的系统,该系统比我们多训练了400万个样本,比我们多1.9个F1点。增加组合策略进一步提高了2.3个F1点。
2019-09-11 cs.CL
Technical report on Conversational Question Answering
ZhuiYi Technology(追一科技)
会话问答是一项具有挑战性的任务,因为它需要了解会话历史。在这个项目中,我们提出了一个新的系统RoBERTa + AT +KD,它涉及理性标记多任务,对抗训练,知识蒸馏和语言后处理策略。在没有数据增强的情况下,我们的单一模型在CoQA测试集上达到90.4(F1),比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本研究探讨利用LLM生成数据增强问答数据集,以提升模型在自然分布偏移下的鲁棒性,通过两步生成上下文和问答对,实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs
Korea University(高丽大学);Hanbat National University(韩巴大学)
提出QPaug方法,通过LLMs将问题分解为多步子问题并生成辅助段落,增强查询与检索质量,显著提升了开放域问答中RAG的性能。
2024-09-27 cs.AI cs.CL
Beyond Chunk-Local Extraction: Cross-Chunk Graph Augmentation for GraphRAG
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
提出CrossAug方法,利用GNN引导的跨块图增强,在查询前离线补充GraphRAG索引中缺失的跨块关系,提升多跳和长文档问答性能。
2026-05-27 cs.CL
Using Weak Supervision and Data Augmentation in Question Answering
Peraton Labs(佩拉顿实验室)
针对疫情初期COVID-19标注问答数据稀缺问题,本文利用BM25弱监督、信息检索构建QA对、语言特征增强和课程学习领域适应来训练深度问答模型。
2023-09-28 cs.CL cs.LG
Evaluating Theory of Mind in Question Answering
DeepMind(深度思维);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
我们提出了一个新的数据集评估问答模型的能力,原因的信念。我们的任务受到心理理论实验的启发,这些实验考察儿童是否能够推理他人的信念,特别是当这些信念与现实不同时。我们评估了一些最近的神经模型与记忆增强。我们发现,所有的失败在我们的任务,这需要保持跟踪不一致的状态的世界;此外,模型的准确性显着下降时,随机句子被引入到测试任务。
2018-08-28 cs.CL
Never Lost in the Middle: Mastering Long-Context Question Answering with Position-Agnostic Decompositional Training
International Digital Economy Academy(国际数字经济学院)
针对大语言模型长上下文问答的“迷失在中间”问题,提出注意力强化多文档问答任务的位置无关分解训练方法,显著提升多基准测试性能,发布Ziya-Reader模型助力相关研究。
2024-08-13 cs.AI cs.CL
ODSQA: Open-domain Spoken Question Answering Dataset
National Taiwan University(台湾大学)
机器阅读理解已经得到了广泛的研究,但口语内容的机器理解仍然是一个较少研究的问题。在本文中,我们发布了开放域口语问答数据集(ODSQA),其中包含3000多个问题。据我们所知,这是最大的真实SQA数据集。在这个数据集上,我们发现ASR错误对SQA有灾难性的影响。为了减轻ASR错误的影响,涉及子字单元,这在所有模型上带来了一致的改进。我们进一步发现,基于文本的QA训练样本上的数据增强可以提高SQA。
2018-08-07 cs.CL
Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation
University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Univ of Technology Sydney(悉尼科技大学);Amazon Search(亚马逊搜索)
本文提出 Gotta 框架,通过以提示格式统一 QA 与完形填空任务进行数据增强和联合学习,提升少样本问答的深层语义推理能力,并在基准上验证其优于强基线。
2023-06-07 cs.AI cs.CL
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆)
在本文中,我们提出了OSCAR(基于本体的语义组合增强正则化),一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响,通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域(医疗保健)知识的问答任务的微调性能,与没有OSCAR的预训练BERT相比,准确率提高了33:3%,18:6%和4%,并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China(中国人民大学);Tencent AI Lab(腾讯人工智能实验室)
基于嵌入的方法在知识库问答(KBQA)中很受欢迎,但目前很少有模型具有数值推理能力,因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架,特别是考虑到数值推理。我们在NSM(一种最先进的基于嵌入的KBQA模型)之上提出NumericalTransformer,以创建NT-NSM。为了实现更好的训练,我们提出了两个预训练任务,在两个生成的训练数据集上使用显式的面向数值的损失函数,以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明,在我们的训练算法的帮助下,NT-NSM具有数值推理技能,并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Knowledge-Graph Based Augmentation versus Retrieval Augmented Generation for Cultural-Related Question Answering
Universidad de Chile(智利大学);École Polytechnique(巴黎综合理工学院);Inria(法国国家信息与自动化研究所);Inria Chile(智利国家信息与自动化研究所);CENIA(智利国家人工智能中心)
本研究对比了基于知识图谱的增强与检索增强生成在文化相关问答中的表现,提出G-Retriever方法,在LatamQA数据集上将基础LLM错误率降低72%-78%,并实现零样本多语言迁移。
2026-09-21 cs.AI cs.CL
Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space
College of Computer Science, Sichuan University(四川大学计算机学院);Microsoft Research Asia(微软亚洲研究院);Mila(米拉);Microsoft(微软)
在本文中,我们提出了一种新的数据增强方法,称为可控重写基于问题数据增强(CRQDA),机器阅读理解(MRC),问题生成,问答自然语言推理任务。我们把问题数据增强任务作为一个受约束的问题重写问题,以生成上下文相关的,高质量的,和多样化的问题数据样本。CRQDA利用Transformer自动编码器将原始离散问题映射到连续嵌入空间。然后,它使用预先训练的MRC模型通过基于梯度的优化迭代地修改问题表示。最后,修改后的问题表示被映射回离散空间,作为额外的问题数据。在SQuAD 2.0、SQuAD 1.1问题生成和QNLI任务上的综合实验证明了CRQDA的有效性
2020-10-04 cs.CL
Exploration of Augmentation Strategies in Multi-modal Retrieval-Augmented Generation for the Biomedical Domain: A Case Study Evaluating Question Answering in Glycobiology
University of Maribor, Faculty of Health Sciences(莫拉维亚大学健康科学学院);University of Ljubljana, Medical Factory(卢布尔雅那大学医疗工厂);Genos Ltd(基因公司);Center for Smart Health, School of Nursing The Hong Kong Polytechnic University(智能健康中心护理学院香港理工大学);University of Zagreb, Faculty of Pharmacy(扎格雷布大学药学院);Usher Institute University of Edinburgh(埃德蒙顿大学usher研究所)
本文研究了多模态检索增强生成在生物医学领域中的增强策略,通过实验发现多模态转换和视觉检索在不同模型中均能提升问答准确率。
2025-12-18 cs.CL
PGDA-KGQA: A Prompt-Guided Generative Framework with Multiple Data Augmentation Strategies for Knowledge Graph Question Answering
School of Software Engineering(软件工程学院);South China University of Technology(华南理工大学)
针对知识图谱问答中多跳标注样本稀缺、传统增强易语义失真的问题,提出融合三种数据增强策略的提示引导生成式框架PGDA-KGQA,在两个标准数据集上多项指标优于现有最优方法。
2025-06-11 cs.CL cs.IR
Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Xi’an Jiaotong University(西安交通大学)
数字问答是回答需要数字能力的问题的任务。以前的作品介绍了一般的对抗攻击的数字问答,而不是系统地探讨特定的主题的数字能力。在本文中,我们提出了一系列的数值问答系统和数据集进行数值能力诊断。一系列的数值能力突出,并设计相应的数据集扰动。实证结果表明,现有的系统受到这些扰动的严重挑战。例如,在一个示例中,Graph 2 Tree在ASDiv-a上的“Extra”扰动下经历了53.83%的绝对准确度下降,BART在DROP的数值子集上经历了13.80%的准确度下降。作为一种抵消方法,我们还研究了应用扰动作为数据增强来缓解系统缺乏鲁棒数值能力的有效性。通过实验分析和实证研究,证明了具有鲁棒数值能力的数值问答在很大程度上仍然是一个悬而未决的问题。我们讨论了数值问答的未来发展方向,并总结了未来数据集收集和系统设计的指导方针。
2022-11-14 cs.CL
Towards More Equitable Question Answering Systems: How Much More Data Do You Need?
George Mason University(乔治梅森大学)
英语问答(QA)已被广泛探索,但多语言数据集相对较新,有几种方法试图通过翻译和跨语言迁移使用数据增强来弥合高资源语言和低资源语言之间的差距。在这个项目中,我们后退一步,研究哪些方法可以让我们最大限度地利用现有资源,以产生多种语言的QA系统。具体来说,我们进行了广泛的分析,以衡量Few-Shot方法的自动翻译和上下文问题答案对的排列增强的功效。此外,我们为未来的数据集开发工作提出了建议,这些工作可以更好地利用固定的注释预算,目标是增加QA数据集和系统的语言覆盖率。复制我们实验的代码和数据可以在这里获得:https://github.com/NavidRajabi/EMQA。
2021-05-28 cs.CL
Multimodal Dialogue State Tracking By QA Approach with Data Augmentation
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J Watson Research Center(IBM托马斯·J·沃森研究中心)
最近,一个更具挑战性的状态跟踪任务,音频视频场景感知对话(AVSD),正在引起越来越多的研究人员的关注。与纯文本的对话状态跟踪不同,AVSD中的对话包含一系列关于视频的问答对,并且给定问题的最终答案需要对视频进行额外的理解。本文从开放领域问答的角度对AVSD问题进行了解释,并提出了一个多模态开放领域问答系统来解决该问题。所提出的QA系统使用具有多模态融合和注意力的公共编码器-解码器框架。教师强迫被应用于训练自然语言生成器。我们还提出了一种新的数据增强方法,特别是在QA假设。我们的实验表明,我们的模型和技术带来了显着的改进DSTC 7-AVSD数据集上的基线模型,并展示了我们的数据增强技术的潜力。
2020-07-20 cs.CL
Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
阅读理解的问答(QA)模型已被证明利用非故意的数据集偏见,如问题上下文词汇重叠。这阻碍了QA模型推广到代表性不足的样本,例如词汇重叠度低的问题。问题生成(QG)是一种用于增强QA数据集的方法,如果QG可以正确地消除QA数据集的偏差,则可以解决这种性能下降。然而,我们发现最近的神经QG模型偏向于生成词汇重叠度高的问题,这会放大数据集的偏差。此外,我们的分析表明,这些QG模型的数据增强经常损害词汇重叠低的问题的性能,而提高词汇重叠高的问题。为了解决这个问题,我们使用了同义词重复为基础的方法来增加低词汇重叠的问题。我们证明了所提出的数据增强方法是简单而有效的,以减轻退化问题,只有70k合成的例子。我们的数据可在https://github.com/KazutoshiShinoda/Synonym-Replacement上公开获取。
2021-09-23 cs.AI cs.CL
Disfl-QA: A Benchmark Dataset for Understanding Disfluencies in Question Answering
Google(谷歌);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院)
不流利是NLP中研究不足的主题,尽管它在人类对话中无处不在。这主要是由于缺乏包含不流利内容的数据集。在本文中,我们提出了一个新的挑战问答数据集,Disfl-QA,SQuAD的衍生物,人类在以前流利的问题中引入上下文不流利。Disfl-QA包含各种具有挑战性的不流利,需要比以前的数据集更全面地理解文本。实验表明,现有的国家的最先进的问答模型的性能显着下降时,测试在zero-shot setting.We显示数据增强方法部分恢复的性能损失,也证明了使用黄金数据进行微调的有效性。我们认为,我们需要大规模的不流利数据集,以便NLP模型对它们具有鲁棒性。该数据集可在www.example.com上公开获得。
2021-06-08 cs.CL
Asymptotic Risk Calibration for Selective Question Answering
Zhangjiang University(张江大学);Ibaraki University(茨城大学)
针对LLMs问答的不确定性控制缺陷,提出A-CRC-QA事后校准框架,在两类问答数据集上实现了接受答案可靠性与保留率的良好权衡。
2026-08-13 cs.CL
SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
Nanyang Technological University(南洋理工大学);NYU Shanghai(上海纽约大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Center for Data Science, New York University(纽约大学数据科学中心)
本文提出 SynTQA 协同式表格问答方法,通过答案选择集成 Text-to-SQL 与端到端问答模型,实验表明可显著提升表格问答性能。
2024-09-29 cs.CL
Knowledge Extraction on Semi-Structured Content: Does It Remain Relevant for Question Answering in the Era of LLMs?
Meta Reality Labs(Meta现实实验室);FAIR, Meta(FAIR,Meta)
本文扩展带知识抽取标注的QA基准并评估多类LLM,证明Web规模三元组抽取仍具挑战,且三元组增强与多任务学习可提升不同规模模型的问答效果。
2025-09-29 cs.CL
Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微)
连续关系抽取(CRE)旨在从类增量数据流中不断学习新的关系。CRE模型通常存在灾难性遗忘问题,即,当模型学习新关系时,旧关系的性能严重降低。大多数以前的工作属性灾难性遗忘腐败的学习表示新的关系来,与隐含的假设,CRE模型已经充分学习了旧的关系。本文通过实证研究指出,这一假设可能不成立,灾难性遗忘的一个重要原因是学习后的表征对后续学习过程中相似关系的出现没有很好的鲁棒性。为了解决这个问题,我们鼓励模型通过一个简单而有效的对抗类增强机制(ACA)来学习更精确和鲁棒的表示,该机制易于实现并且与模型无关。实验结果表明,蚁群算法可以持续提高最先进的CRE模型在两个流行的基准测试的性能。
2022-10-10 cs.CL
FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering
University of Cambridge(剑桥大学);University of Washington(华盛顿大学)
广泛使用的基于事实的视觉问答(FVQA)数据集包含视觉上接地的问题,这些问题需要使用常识知识图谱进行信息检索来回答。已经观察到,原始数据集是高度不平衡的,并且集中在其相关联的知识图谱的一小部分上。我们引入了FVQA 2.0,其中包含测试问题的对抗变体,以解决这种不平衡。我们表明,与原始FVQA训练集训练的系统可能容易受到对抗性样本,我们展示了一个增强方案,以减少这种脆弱性,没有人的注释。
2023-03-19 cs.CL cs.CV
Task-Agnostic Detector for Insertion-Based Backdoor Attacks
Stony Brook University(石溪大学);SRI International(SRI国际);Morgan Stanley(摩根士丹利)
针对现有文本后门检测方法任务特异性强、难以应对问答和命名实体识别等任务的问题,提出任务无关的检测方法TABDet,利用最终层logits结合高效池化技术实现统一表示,并联合学习多样任务特定模型,检测效能优于传统方法。
2024-03-25 cs.CL cs.CR
QA-TOOLBOX: Conversational Question-Answering for process task guidance in manufacturing
提出QA-TOOLBOX,利用LLM增强制造过程任务指导的对话式问答,构建20万余个基于规范、旁白和视频的问答对,并通过LLM-as-a-judge、众包与专家评估开源模型基线。
2024-12-03 cs.AI cs.CL
Character-Level Question Answering with Attention
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们表明,字符级的编码器-解码器框架可以成功地应用于问答与结构化的知识库。我们使用我们的模型进行单关系问答,并在SimpleQuestions数据集上证明了我们方法的有效性(Bordes等人,2015年),其中我们将最先进的准确率从63.9%提高到70.9%,而不使用合奏。重要的是,我们的字符级模型的参数比等效的单词级模型少16倍,与以前依赖于数据增强的工作相比,可以用更少的数据学习,并且对测试中的新实体具有鲁棒性。
2016-06-05 cs.AI cs.CL cs.LG
HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Southeast University(东南大学);Hello World(Shanghai) Technology Co., Ltd.(Hello World(上海)科技有限公司)
针对检索增强生成在多文档问答中面对大量相似文档时检索准确性有限的问题,提出HiQA框架,它集成级联元数据与多路径检索机制,还发布MasQA基准,在多文档环境中展现了最优性能。
2026-08-26 cs.AI cs.CL cs.LG
Knowing More About Questions Can Help: Improving Calibration in Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究了问答中的校准问题,估计模型是否正确预测每个问题的答案。与主要依赖于模型的置信度得分的先前工作不同,我们的校准器结合了关于输入示例的信息(例如,问题和证据背景)。再加上通过反向翻译的数据增强,我们的简单方法在阅读理解基准的校准精度上实现了5-10%的增益。此外,我们提出了第一个校准研究中的开放检索设置,比较基于检索的跨度预测模型和答案生成模型的校准精度。在这里,我们的方法再次显示了依赖于模型置信度的校准器的一致增益。我们简单高效的校准器可以轻松适应许多任务和模型架构,在所有设置中显示出强大的增益。
2021-06-02 cs.AI cs.CL
Language Agnostic Code-Mixing Data Augmentation by Predicting Linguistic Patterns
Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们专注于内部语义代码混合,并提出了几种不同的合成代码混合(SCM)数据增强方法,在不同数量的标记黄金数据的下游情感分析任务上优于基线。最重要的是,我们提出的方法表明,战略性地替换部分句子在矩阵语言与一个常数掩码显着提高分类精度,激励进一步的语言学见解的现象代码混合。我们在各种低资源和跨语言环境中测试了我们的数据增强方法,在极其稀缺的英语-马拉雅拉姆语数据集上达到了7.73%的相对改善。我们得出结论,语码转换模式在语码混合句中也是重要的模型学习。最后,我们提出了一个语言无关的SCM算法,是廉价的,但非常有助于低资源的语言。
2022-11-14 cs.CL
XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation
Microsoft Research(微软研究院)
虽然深度和大型的预训练模型是各种自然语言处理任务的最新技术,但它们的巨大规模对资源受限环境中的实际使用提出了重大挑战。最近的工作在知识蒸馏提出任务不可知的以及特定于任务的方法来压缩这些模型,与特定于任务的往往会产生更高的压缩率。在这项工作中,我们开发了一个新的任务不可知的蒸馏框架XtremeDistilTransformers,利用特定于任务的方法来学习一个小型的通用模型,可以应用于任意任务和语言的优势。为此,我们研究了几个源任务的可移植性,增强资源和模型架构的蒸馏。我们评估了我们的模型在多个任务上的性能,包括通用语言理解评估(GLUE)基准,SQuAD问答数据集和包含41种语言的大规模多语言NER数据集。我们发布了三个与任务无关的检查点,分别为13MM,22MM和33MM参数,在多个任务中获得SOTA性能。
2021-06-12 cs.AI cs.CL cs.LG
Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research, Montréal(微软蒙特利尔研究院);Google AI, Mountain View(谷歌山景城人工智能部门)
本文介绍了一种新的开放域问答框架,其中检索者和读者迭代地相互交互。该框架对机器阅读模型的架构是不可知的,只需要访问阅读器的标记级隐藏表示。检索器使用快速最近邻搜索来扩展到包含数百万段落的语料库。门控递归单元在每一步以读者的状态为条件更新查询,并且检索器使用重构后的查询来对段落进行重新排序。我们进行分析,并表明,迭代交互有助于检索信息段落从语料库。最后,我们表明,我们的多步推理框架带来了一致的改善时,应用到两个广泛使用的阅读器架构DrQA和Bioburden在各种大型开放域数据集-TriviaQA未过滤,QuasarT,SearchQA,SQuAD开放。
2019-05-14 cs.CL cs.LG
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Uncertainty-aware Language Modeling for Selective Question Answering
Themis AI Inc(泰米斯人工智能公司)
提出一种自动、与模型和数据无关的LLM转换方法,使模型能在每次预测时估计不确定性,并在选择性问答任务中通过弃权(不执行)机制显著提升准确率。
2023-11-26 cs.CL cs.LG
Training Question Answering Models From Synthetic Data
Nvidia(英伟达);Rice University(莱斯大学)
问答生成是一种数据增强方法,其目的是在给定有限的人类标记数据量的情况下改进问答(QA)模型。然而,合成和人工生成的问答对之间仍然存在相当大的差距。这项工作旨在通过利用大语言模型来缩小这一差距,并探讨了几个因素,如模型大小,预训练模型的质量,合成数据的规模和算法选择。在SQuAD 1.1问答任务中,我们使用单独的合成问题和答案比单独使用SQuAD 1.1训练集问题时实现了更高的准确性。删除访问真实的维基百科数据,我们合成的问题和答案从一个合成语料库生成的83亿参数GPT-2模型。在没有人工监督的情况下,我们只能访问其他模型,因此我们能够在完全由模型生成的数据上训练最先进的问答网络,这些数据在SQuAD 1.1开发集上达到88.4的精确匹配(EM)和93.9的F1得分。我们进一步将我们的方法应用于SQuAD 2.0,并显示与使用合成数据的先前工作相比,EM得分的绝对增益为2.8。
2020-02-22 cs.AI cs.CL
ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search
Beihang University(北京航空航天大学);Sino-French Engineer School, Beihang University(北京航空航天大学中法工程师学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文提出大规模社区编程问答数据集ProCQA,并设计模态无关对比预训练方法改进文本与代码表示对齐,在多项代码检索基准上显著超越以往模型。
2024-03-25 cs.CL cs.IR cs.SE
Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);reciTAL(reciTAL公司)
再加上大规模数据集的可用性,深度学习架构使问答任务取得了快速进展。然而,这些数据集中的大多数都是英语,并且在非英语数据上进行评估时,最先进的多语言模型的性能显着降低。由于高数据汇集成本,获得希望支持的每种语言的注释数据是不现实的。我们提出了一种方法来提高跨语言问答性能,而不需要额外的注释数据,利用问题生成模型,以跨语言的方式产生合成样本。我们表明,所提出的方法允许显着优于仅在英语数据上训练的基线。我们报告了四个多语言数据集的最新技术水平:MLQA,XQuAD,SQuAD-it和PIAF(fr)。
2021-10-14 cs.CL
Insight-RAG: Enhancing LLMs with Insight-Driven Augmentation
Megagon Labs(美加贡实验室)
本文提出Insight-RAG框架,通过LLM分析查询提取信息需求并利用专用LLM挖掘洞察,有效解决了传统RAG忽视深层信息、跨源洞察及非问答任务的问题,显著提升了性能与适用性。
2025-03-31 cs.CL cs.LG
Augmenting Question Answering with A Hybrid RAG Approach
Plastic Lab(塑料实验室);Google(谷歌);Florida International University(佛罗里达国际大学);Rensselaer Polytechnic Institute(伦塞拉尔理工学院)
本文提出SSRAG方法,通过混合查询增强、代理路由和结构化检索技术,提升问答任务的响应质量。
2026-01-25 cs.AI cs.CL