MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
Google Research(谷歌研究院)
虽然语言模型在其参数中隐式地存储了大量的世界知识,但即使是非常大的模型也常常无法对关于稀有实体和事件的信息进行编码,同时产生巨大的计算成本。最近,检索增强模型,如REALM,RAG和RETRO,已纳入世界知识到语言生成,通过利用外部非参数索引,并已展示了令人印象深刻的性能与约束的模型大小。然而,这些方法仅限于检索文本知识,忽略了其他形式(如图像)中无处不在的知识量-其中大部分包含任何文本都不包含的信息。为了解决这个问题,我们提出了第一个多模态检索增强的Transformer(MuRAG),它访问一个外部的非参数多模态存储器,以增加语言生成。MuRAG是使用联合对比和生成损失使用大规模图像-文本和纯文本语料库的混合进行预训练的。我们在两个不同的数据集上进行实验,这些数据集需要对图像和文本进行检索和推理来回答给定的查询:WebQA和MultimodalQA。我们的研究结果表明,MuRAG达到了最先进的准确性,在两个数据集上以及在干扰项和全维基设置下,其绝对性能优于现有模型10-20\%。
2022-10-20 cs.AI cs.CL cs.CV
How to Build Robust FAQ Chatbot with Controllable Question Generator?
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团)
许多无法回答的对抗性问题用一些看似合理的答案欺骗了问答系统。构建一个强大的常见问题(FAQ)聊天机器人需要大量不同的对抗性示例。最近的问题生成方法在从非结构化文本中生成许多高质量和多样化的对抗性问答对方面是无效的。我们提出了多样性可控的语义有效的对抗攻击者(DCSA),一个高质量的,多样的,可控的方法来生成标准和对抗样本的语义图。流畅和语义生成的QA对欺骗我们的段落检索模型成功。在此之后,我们进行了研究的鲁棒性和推广的QA模型与生成的QA对之间的不同领域。我们发现,生成的数据集提高了QA模型对新目标域的泛化能力和QA模型检测不可回答的对抗性问题的鲁棒性。
2021-11-18 cs.AI cs.CL
GenSco: Can Question Decomposition based Passage Alignment improve Question Answering?
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Adobe Research, India(印度奥多比研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对大语言模型RAG问答中的幻觉问题,提出基于问题分解的段落选择框架GenSco,用双LLM结构实现高效段落对齐,在三个多跳问答数据集上取得显著性能提升。
2024-07-14 cs.CL cs.IR
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
Cooperative Self-training of Machine Reading Comprehension
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能);MIT MTL(麻省理工学院媒体实验室)
预训练语言模型通过提供高质量的上下文化词嵌入,显著提高了下游语言理解任务的性能,包括提取问答。然而,训练问答模型仍然需要大量特定领域的注释数据。在这项工作中,我们提出了一个合作的自我训练框架,RGX,自动生成更多的非平凡的问答对,以提高模型的性能。RGX是建立在一个掩蔽的答案提取任务与交互式学习环境包含一个答案实体识别器,一个问题发生器,和一个答案提取器。给定一个带有掩码实体的段落,生成器围绕该实体生成一个问题,提取器被训练为用生成的问题和原始文本提取掩码实体。该框架允许在没有注释的任何文本语料库上训练问题生成和回答模型。实验结果表明,RGX在标准问答测试中的性能优于SOTA预训练语言模型和迁移学习方法,并在给定的模型大小和迁移学习设置下获得了新的SOTA性能。
2022-06-27 cs.AI cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST(韩国科学技术院);AITRICS(艾崔克斯)
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本,这样我们就可以有效地适应特定的目标任务(例如问答)的语言模型。具体而言,我们提出了一种新的基于强化学习的框架,该框架学习掩蔽策略,使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习,并提出了一个基于transformer的策略网络,可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型,通过自动学习最佳自适应掩码,在几个问答和文本分类数据集上验证了我们的神经掩码生成器(NMG),在这些数据集上,它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
FinTextQA: A Dataset for Long-form Financial Question Answering
HSBC Lab(汇丰实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Harvard University(哈佛大学)
本文提出FinTextQA,一个包含1,262对高质量QA对的金融长文本问答数据集,并开发基于RAG的LFQA系统,通过多维度评估发现Baichuan2-7B性能接近GPT-3.5-turbo,且上下文达特定阈值后模型抗噪性提升。
2024-05-16 cs.AI cs.CL
CAR: Query-Guided Confidence-Aware Reranking for Retrieval-Augmented Generation
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Information Engineering, Dalian Ocean University(大连海洋大学信息工程学院);School of Information Engineering, Liaodong University(辽东学院信息工程学院);Information Technology Center, Qinghai University(青海大学信息技术中心);College of Health-Preservation and Wellness, Dalian Medical University(大连医科大学养生与健康学院);Tencent(腾讯)
针对RAG现有重排序仅关注相关性的问题,提出无需训练的CAR框架,通过查询引导的答案稳定性校正排名,在多数据集实验中实现稳健性能提升,可用于黑盒LLM。
2026-08-13 cs.AI cs.CL
Meaningful Answer Generation of E-Commerce Question-Answering
Peking University(北京大学);Shandong University(山东大学);Renmin University of China(中国人民大学)
在电子商业门户网站中,为产品相关问题生成答案已成为一项至关重要的任务。在本文中,我们专注于产品感知答案生成的任务,它学习从大规模未标记的电子商业评论和产品属性中生成准确和完整的答案。然而,安全回答问题对文本生成任务提出了重大挑战,电子商业问答任务也不例外。为了生成更有意义的答案,在本文中,我们提出了一种新的生成神经模型,称为有意义的产品答案生成器(MPAG),它通过考虑产品评论,产品属性和原型答案来解决安全答案问题。产品评论和产品属性用于提供有意义的内容,而原型答案可以产生更多样化的答案模式。为此,我们提出了一种新的答案生成器与审查推理模块和原型答案阅读器。我们的核心思想是从大规模的评论集合中获得正确的问题感知信息,并学习如何从现有的原型答案中写出连贯而有意义的答案。更具体地说,我们提出了一个读写记忆组成的选择性写作单位进行推理之间的这些评论。然后,我们采用了一个原型阅读器组成的全面匹配,从原型答案提取答案骨架。最后,我们提出了一个答案编辑器,以生成最终的答案,以问题和上述部分作为输入。在从电子商业平台收集的真实数据集上进行的大量实验结果表明,我们的模型在自动度量和人工评估方面都达到了最先进的性能。人类评估也表明,我们的模型可以始终如一地生成具体和适当的答案。
2020-11-14 cs.AI cs.CL cs.IR
Sequence-to-Sequence Learning for Indonesian Automatic Question Generator
问题自动生成是指在给定各种文本数据的情况下,自动生成问题的任务。自动问题生成器的研究已经有十多年的历史,主要集中在事实性问题上。在所有这些研究中,最先进的是使用序列到序列的方法。然而,针对印尼的AQG系统还没有得到深入的研究。在这项工作中,我们构建了一个印尼自动问题生成器,适应架构从以前的一些作品。总之,我们使用了序列到序列的方法,使用了BiGRU、BiLSTM和Transformer,以及额外的语言特征、复制机制和覆盖机制。由于没有公共的大型和流行的印度尼西亚数据集用于问题生成,我们翻译了SQuAD v2.0 factoid问答数据集,并使用额外的印度尼西亚TyDiQA开发集进行测试。SQuAD的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为38,35,20,96,10,68,5,78和43,4; TyDiQA的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为39.9,20.78,10.26,6.31,44.13。当预期的答案是命名实体并且在语法上与解释它们的上下文接近时,系统表现良好。此外,从印尼本地人的角度来看,我们的最佳模型在其最佳案例中生成的最佳问题是可以接受的,并且相当有用。
2020-09-29 cs.CL
Biomedical Entity Linking as Multiple Choice Question Answering
Jarvis Research Center, Tencent YouTu Lab(贾维斯研究中心,腾讯优图实验室)
针对生物医学实体链接中细粒度与长尾实体的挑战,提出将该任务转化为多项选择题问答的BioELQA模型,通过显式比较候选实体、拼接相似标注实例提升泛化,在多数据集上超越现有最优基线。
2024-05-17 cs.AI cs.CL cs.LG
MixQG: Neural Question Generation with Mixed Answer Types
Salesforce AI Research(赛富时人工智能研究院)
提出好的问题是人类和机器智能的基本能力。然而,现有的神经问题生成方法主要集中在简短的factoid类型的答案。在本文中,我们提出了一个神经问题生成器MixQG来弥合这一差距。我们结合了9个问答数据集与不同的答案类型,包括是/否,多项选择,提取和抽象的答案,训练一个单一的生成模型。我们的实证结果表明,我们的模型优于现有的工作,在可见和不可见的领域,并可以生成不同的认知水平的问题时,不同的答案类型的条件。我们的代码已经发布,并与Huggingface库很好地集成,以促进各种下游应用程序。
2022-05-31 cs.CL
Translating Natural Language to SQL using Pointer-Generator Networks and How Decoding Order Matters
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学)
将自然语言转换为SQL查询用于基于表的问答是一个具有挑战性的问题,并且已经受到研究界的极大关注。在这项工作中,我们扩展了一个指针生成器,并探讨了顺序事项的语义解析的SQL问题。尽管我们的模型是一个通用的指针生成器的简单扩展,它优于早期的作品WikiSQL,并保持竞争力,同时引入,更复杂的模型。此外,我们提供了一个更深入的调查潜在的订单事项的问题,可能会出现由于有多个正确的解码路径,并调查使用的增强以及在这种情况下的动态oracle。
2018-11-13 cs.AI cs.CL
Rethinking the Reranker: Boundary-Aware Evidence Selection for Robust Retrieval-Augmented Generation
University of Illinois Urbana-Champaign;Hong Kong University of Science;Washington University in St. Louis;Texas A\&M University
BAR-RAG通过边界感知证据选择提升检索增强生成在噪声下的鲁棒性与性能
2026-02-03 cs.AI cs.CL
Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?
针对基于扩散语言模型的视觉检索增强生成,研究发现无条件扩大检索证据会因语义冲突降低准确率,提出无需训练的基于熵的候选过滤框架,可平均提升答案准确率2.62个百分点。
2026-08-10 cs.CL cs.CV
Automated Story Generation as Question-Answering
基于神经语言模型的自动故事生成方法受到两个重要限制。首先,基于语言模型的故事生成器通常不朝着给定的目标或结局工作。第二,随着故事越来越长,它们往往失去连贯性。我们提出了一种新的方法来自动生成的故事,把问题作为一个生成的问答。我们提出的故事生成系统从封装故事的最终事件的句子开始。然后,系统迭代地(1)分析描述最近事件的文本,(2)生成关于“为什么”角色正在做他们在事件中正在做的事情的问题,并且然后(3)尝试生成回答该问题的另一个先前事件。
2021-12-07 cs.CL
Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge Base and Database
Salesforce Research(Salesforce研究院);Yale University(耶鲁大学)
将自然语言问题解析成可执行的逻辑形式是对诸如知识库(KB)或数据库(DB)之类的结构化数据执行问答的有用且可解释的方式。然而,现有的语义解析方法不能适应这两种模式,因为它们遭受的逻辑形式候选人的指数增长,很难推广到看不见的数据。在这项工作中,我们提出了Uni-Parser,一个统一的语义解析器的问答(QA)的知识库和数据库。我们引入原语(KB中的关系和实体,DB中的表名、列名和单元值)作为框架中的基本元素。基元的数量随着KB和DB中检索到的关系的数量而线性增长,这使我们无法处理指数逻辑形式的候选者。我们利用生成器来预测最终的逻辑形式,通过改变和组合具有不同操作(例如选择,在哪里,计数)的顶级原语。通过对比基元排序器对搜索空间进行充分的修剪,生成器能够捕获基元的组合,从而增强了其泛化能力。我们在多个KB和DB QA基准测试中更有效地获得了有竞争力的结果,特别是在组合和zero-shot设置中。
2022-11-09 cs.AI cs.CL cs.PL
Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG
Northwestern University(西北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对RAG中检索证据不足却仍生成答案的问题,提出RINSE方法,在生成前结合三个信号判断证据充分性,在六个数据集上超越现有方法,实现高效本地检测。
2026-09-30 cs.CL cs.IR cs.LG
S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对文本-表格混合多跳问答,提出三阶段框架S3HQA,含检索器、选择器和生成式推理器,解决噪声标注与异构信息利用问题,在完整数据集上超越所有基线并位居HybridQA榜首。
2024-06-25 cs.CL
Incorporating External Knowledge into Machine Reading for Generative Question Answering
Alibaba Group(阿里巴巴集团)
QA模型需要常识和背景知识来回答许多重要的问题。与现有的知识感知QA的工作不同,我们专注于一个更具挑战性的任务,利用外部知识来生成自然语言的答案,为一个给定的问题与上下文。在本文中,我们提出了一个新的神经模型,知识丰富的答案生成器(KEAG),它能够通过利用和汇总来自所有四个信息源的证据组成一个自然的答案:问题,段落,词汇和知识。在答案生成过程中,KEAG自适应地确定何时利用符号知识以及知识中的哪些事实是有用的。这允许模型利用给定文本中没有明确说明但与生成答案相关的外部知识。对答案生成的公共基准的实证研究表明,KEAG提高了答案质量的模型没有知识和现有的知识感知模型,证实了其有效性,利用知识。
2019-09-06 cs.CL
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America(美国电气通信技术研究所(NEC实验室美国));Princeton, NJ 08540(普林斯顿,新泽西州08540)
我们提出了一个回答开放域多跳问题的框架,其中部分信息被读取并用于生成后续问题,最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释,并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例,我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用,该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题,选择相关的答案跨度对下游的支持事实,同时避免分散注意力的前提,提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI(亚马逊云科技人工智能);Google(谷歌)
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络,该网络经过端到端训练,可以生成答案和问题。简而言之,我们向编码器提供一个段落,并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分,这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明,在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
SIRAG: Towards Stable and Interpretable RAG with A Process-Supervised Multi-Agent Framework
Heyuan Tobacco Monopoly Administration(河源市烟草专卖局);South China University of Technology(华南理工大学)
本文提出SIRAG框架,通过决策者与知识选择器两个轻量级智能体及过程级奖励监督和PPO训练,在无需修改检索器和生成器的前提下提升RAG的准确性、稳定性和可解释性。
2025-09-17 cs.CL
S2M: Converting Single-Turn to Multi-Turn Datasets for Conversational Question Answering
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对单轮数据在对话问答中利用不足的问题,提出S2M方法,通过生成器、重组器和重写器将单轮数据转为多轮数据,有效提升CQA性能,并在QuAC排行榜上位列第一。
2023-12-27 cs.AI cs.CL
Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering
The Chinese University of Hong Kong(香港中文大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院);South China University of Technology(华南理工大学)
社区问答(CQA)近年来在学术界和工业界都得到了广泛的应用。然而,众包答案的冗余和冗长问题限制了答案选择的性能,并导致社区用户的阅读困难和误解。为了解决这些问题,我们解决了CQA的答案选择和答案摘要生成的任务与一种新的联合学习模型。具体来说,我们设计了一个问题驱动的指针生成器网络,它利用问答对之间的相关信息,以帮助参加的基本信息时,生成答案摘要。同时,我们利用答案摘要,以减轻噪音在原始冗长的答案时,排名的问题-答案对的相关度。此外,我们构建了一个新的大规模CQA语料库,WikiHowQA,其中包含答案选择以及答案摘要参考摘要。实验结果表明,联合学习方法能够有效解决CQA中的答案冗余问题,在答案选择和文本摘要任务上均取得了较好的效果。实验结果表明,该模型具有较强的迁移能力,适用于资源贫乏、缺乏参考答案摘要的CQA任务。
2019-11-22 cs.CL
RuleRAG: Rule-Guided Retrieval-Augmented Generation with Language Models for Question Answering
National University of Defense Technology(国防科技大学);International Digital Economy Academy(国际数字经济学院);University of Oxford(牛津大学)
针对RAG问答缺乏检索与推理引导的问题,提出RuleRAG,通过规则统一指导检索和生成,并构建RuleQA基准,实验显示检索与准确率大幅提升且具有泛化性。
2025-02-16 cs.AI cs.CL cs.IR
Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG
Missouri University of Science and Technology(密苏里科技大学);University of Calcutta(加尔各答大学)
本研究在多基准及TREC RAG 2025设置中,考察证据感知检索的下游效用,发现其价值不统一,需针对特定用途评估RAG评估方法。
2026-08-28 cs.CL cs.IR
ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator
Beihang University(北京航空航天大学);Baidu Inc.(百度公司)
针对RAG系统易受互联网噪声和伪造内容干扰的问题,提出对抗性调优多智能体系统ATM,通过攻击者智能体与生成器的多轮对抗迭代提升生成器的文档辨别能力,实验证明其效果优于现有最优基线。
2024-10-08 cs.CL
Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出ReAuSE,将知识检索器集成进多模态大语言模型作为内置搜索引擎,实现生成式检索与答案生成,并通过强化校准提升性能,在OKVQA和A-OKVQA上取得2.9%-9.6%的提升。
2025-02-23 cs.CL cs.CV cs.IR
LIQUID: A Framework for List Question Answering Dataset Generation
Korea University(高丽大学);AIGEN Sciences
问答(QA)模型通常依赖于大规模的训练数据集,这就需要开发一个数据生成框架来降低人工注释的成本。虽然最近的几项研究旨在生成具有单跨度答案的合成问题,但没有研究对创建具有多个非连续跨度作为答案的列表问题进行过研究。为了解决这个问题,我们提出了LIQUID,一个自动化的框架,用于从未标记的语料库中生成列表QA数据集。我们首先将来自维基百科或PubMed的段落转换为摘要,并从摘要文本中提取命名实体作为候选答案。这使我们能够选择在上下文中语义相关的答案,因此,适合于构建列表问题。然后,我们使用现成的问题生成器与提取的实体和原始段落创建问题。最后,进行迭代过滤和答案扩展,以确保答案的准确性和完整性。使用我们的合成数据,我们通过精确匹配MultiSpanQA上的5.0,Quoref上的1.9和三个BioASQ基准的平均2.8的F1得分,显着提高了以前最好的列表QA模型的性能。
2023-02-06 cs.CL
Natural Answer Generation: From Factoid Answer to Full-length Answer using Grammar Correction
Indian Institute of Technology Bombay, Mumbai(印度理工学院孟买分校);Indian Institute of Technology Patna(印度理工学院巴特那分校);LG Soft India(LG软件印度公司)
现在的问答系统通常使用基于模板的语言生成。虽然对于特定领域的任务来说已经足够了,但是这些系统对于独立于领域的系统来说限制太多,并且是预定义的。本文提出了一个系统,输出一个完整的长度的答案给出一个问题和提取的事实答案(短跨度,如命名实体)作为输入。我们的系统使用选区和依赖解析树的问题。基于transformer的语法纠错模型GECToR(2020)被用作后处理步骤,以提高流畅性。我们将我们的系统与(i)改进的指针生成器(SOTA)和(ii)微调的DialoGPT进行比较。我们还测试了我们的方法对存在(是-否)的问题,更好的结果。我们的模型比最先进的(SOTA)方法生成准确和流畅的答案。评估是在NewsQA和SqUAD数据集上进行的,ROUGE-1评分分别增加0.4和0.9个百分点。与SOTA相比,推理时间减少了85%.用于我们评估的改进数据集将作为研究贡献的一部分发布。
2021-12-07 cs.AI cs.CL
Elaboration-Generating Commonsense Question Answering at Scale
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
本文提出交替微调阐述生成器与答案预测器的框架,使不足 GPT-3 参数量0.5%的小模型在四个常识问答基准上优于同规模方法并接近 GPT-3。
2023-07-14 cs.CL
Learning Answer Generation using Supervision from Automatic Question Answering Evaluators
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);Kensho Technologies, Inc.(肯肖科技公司)
本文提出一种新的GenQA训练范式,利用自动问答评估模型GAVA通过数据增强和损失加权进行知识迁移,在多个数据集上显著提升了回答准确率。
2023-05-24 cs.CL cs.LG
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
On the impact of retrieved content representations in RAG Pipelines
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织)
通过控制变量实验,研究检索文档的不同表示(选择、摘要、改写等)对RAG生成准确性的影响,发现答案保留是主要决定因素。
2026-05-29 cs.AI cs.CL cs.IR
The Fellowship of the Query: Learning Retrieval Actions
University of Passau(帕绍大学)
本研究通过轨迹微调提升小型语言模型作为检索问答中的动作控制器,实验表明该方法显著提高动作预测和端到端答案生成性能。
2026-09-25 cs.AI cs.CL cs.IR
Product-Aware Answer Generation in E-Commerce Question-Answering
ICST, Peking University(北京大学信息科学技术学院)
在电子商业门户网站中,为产品相关问题生成答案已成为一项至关重要的任务。在本文中,我们提出了产品感知的答案生成任务,它倾向于从大规模的未标记的电子商业评论和产品属性中生成准确和完整的答案。与现有的问答问题不同,电子商业中的答案生成面临三个主要挑战:(1)评论是非正式的和有噪声的;(2)评论和关键值产品属性的联合建模具有挑战性;(3)传统方法容易生成无意义的答案。为了解决上述挑战,我们提出了一个基于对抗学习的模型,称为PAAG,它由三个组件组成:一个问题感知的评论表示模块,一个编码属性的键值记忆网络,以及一个作为序列生成器的递归神经网络。具体来说,我们使用卷积神经网络来区分我们生成的答案是否与事实相匹配。为了提取评论的显著性部分,提出了一种基于注意力的评论阅读器来捕获给定问题的最相关的词。在一个大规模的真实电子商业数据集上进行了大量的实验,验证了模型中每个模块的有效性。此外,我们的实验表明,我们的模型在自动度量和人工评估方面都达到了最先进的性能。
2019-01-24 cs.AI cs.CL
Opinion-aware Answer Generation for Review-driven Question Answering in E-Commerce
The Chinese University of Hong Kong(香港中文大学)
在电子商业中,与产品相关的问答是一项重要而又具有挑战性的任务。这导致了对自动评论驱动的QA的巨大需求,其目的是根据不同的产品评论对用户发布的问题提供即时响应。然而,产品评论中关于个人观点的丰富信息,对于回答这些特定产品问题至关重要,在当前基于世代的评论驱动的QA研究中没有得到充分利用。在利用来自评论的意见信息来促进意见感知答案生成时,存在两个主要挑战:(i)联合建模问题和评论之间的意见化和相关信息,以捕获用于答案生成的重要信息,(ii)聚合不同的意见信息,以揭示对给定问题的共同意见。在本文中,我们解决意见感知的答案生成,共同学习答案生成和意见挖掘任务与一个统一的模型。提出了两种意见融合策略,即静态融合和动态融合,将意见挖掘过程中获得的重要意见信息提取和聚合到答案生成过程中。然后采用多视图指针生成器网络来生成针对给定产品相关问题的意见感知答案。实验结果表明,我们的方法在现实世界的电子商业QA数据集上取得了优异的性能,并有效地产生固执己见和信息丰富的答案。
2020-08-28 cs.CL cs.IR
Training Generative Question-Answering on Synthetic Data Obtained from an Instruct-tuned Model
Stockmark(Stockmark公司);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本文提出利用指令微调模型零样本或少样本生成合成问答数据,训练生成式问答系统,性能媲美人工数据集且无需人力成本。
2023-10-13 cs.CL
TSQA: Tabular Scenario Based Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
基于场景的问答(SQA)已经引起了越来越多的研究兴趣。与研究得很好的机器阅读理解(MRC)相比,SQA是一个更具挑战性的任务:一个场景可能不仅包含要阅读的文本段落,还包含结构化数据,如表格,即,基于表格情景的问答(TSQA)。TSQA的人工智能应用,例如回答高中考试中的多项选择题,需要在多个单元格中合成数据,并将表格与文本和领域知识相结合来推断答案。为了支持这项任务的研究,我们构建了GeoTSQA。该数据集包含1k个真实问题,这些问题由地理领域中的表格场景进行情境化。为了解决这个问题,我们扩展了最先进的MRC方法与TTGen,一个新的表到文本生成器。它从各种合成的表格数据中生成句子,并为下游的MRC方法提供最有用的句子。它的句子排序模型融合了场景、问题和领域知识中的信息。我们的方法优于GeoTSQA上的各种强基线方法。
2021-01-14 cs.AI cs.CL
A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering
Department of Computer Science, Chungbuk National University(Chungbuk National University 计算机科学系);Department of Big Data, Chungbuk National University(Chungbuk National University 大数据系);General Department of Information and Communication Technology, Ministry of Post and Telecommunications(邮电部信息和通信技术总局);Department of Management Information Systems, Chungbuk National University(Chungbuk National University 管理信息系统系);BigDatalabs Co., Ltd(BigDatalabs 公司)
本文针对低资源非拉丁语种柬埔寨语言,比较了多种语言模型在检索增强问答任务中的性能,发现检索器选择是影响效果的关键因素,生成器在不同指标上表现各异。
2026-05-21 cs.CL
The RAT: A Unified Bayesian Model for RAG Evaluation
Centre for Artificial Intelligence(人工智能中心);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
针对RAG系统评估的不足,提出RAT统一贝叶斯框架,联合建模多维度指标,通过27种配置验证其能揭示系统差异,还分析了注释分配并扩展模型以结合人工与自动评估。
2026-08-26 cs.AI cs.CL
Synthetic Question Value Estimation for Domain Adaptation of Question Answering
The Ohio State University(俄亥俄州立大学);George Mason University(乔治梅森大学)
在目标域上用问题生成器合成问答对已成为问答模型领域自适应的一种流行方法。由于合成问题在实践中经常是嘈杂的,现有的工作将来自预训练的QA(或QG)模型的分数作为选择高质量问题的标准。然而,这些分数并不直接服务于提高目标域的QA性能的最终目标。在本文中,我们介绍了一种新的想法,训练一个问题值估计器(QVE),直接估计合成问题的有用性,以提高目标域QA性能。通过进行综合实验,我们表明,QVE选择的综合问题,可以帮助实现更好的目标域QA性能,与现有技术相比。我们还表明,通过使用这样的问题和目标域上大约15%的人类注释,我们可以实现与完全监督基线相当的性能。
2022-03-16 cs.CL
Interactive Language Learning by Question Answering
Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔综合理工学院);Université de Montréal(蒙特利尔大学);Mila(米拉研究院)
人类通过观察和与世界互动来获取知识。然而,大多数现有的机器阅读理解(MRC)的任务错过了互动,信息寻求理解的组成部分。这些任务为模型提供包含所有必要信息的静态文档,这些信息通常集中在一个简短的子字符串中。因此,模型可以通过简单的基于单词和短语的模式匹配来实现强大的性能。我们解决这个问题,制定一个新的基于文本的问答任务:问答与交互式文本(QAit)。在QAit中,代理必须与部分可观察的基于文本的环境进行交互,以收集回答问题所需的信息。QAit提出了关于环境中物体的存在、位置和属性的问题。这些数据是使用基于文本的游戏生成器构建的,该生成器定义了与环境交互的基本动态。我们提出并评估了一组基线模型的QAit任务,包括深度强化学习代理。实验表明,这项任务对机器阅读系统来说是一个重大挑战,而人类相对容易地解决了它。
2019-08-28 cs.CL cs.LG
Answer Generation through Unified Memories over Multiple Passages
NTT Resonant Inc.(NTT Resonant公司)
机器阅读理解方法通过引用问题的多个段落来生成答案,在AI和NLP社区中受到了广泛关注。然而,当前的方法在答案生成过程中不调查多个段落之间的关系,即使段落之间相关的主题可能是答案候选。我们的方法,称为神经答案生成通过统一的记忆在多个通道(GUM-MP),解决这个问题如下。首先,它确定段落中的哪些标记与问题相匹配。特别是,它调查了积极段落中的标记之间的匹配,这些标记被分配给问题,而消极段落中的标记与问题无关。接下来,它确定段落中的哪些标记与分配给同一问题的其他段落相匹配,同时调查它们匹配的主题。最后,将上述两种匹配结果的令牌序列编码到通道编码器中的统一存储器中,并使用具有多指针生成器机制的编码器-解码器学习答案序列。因此,GUM-MP可以通过指向跨段落出现的重要标记来生成答案。评估表明,GUM-MP产生更准确的结果比目前的模型。
2020-04-22 cs.AI cs.CL cs.LG
Explaining Question Answering Models through Text Generation
Tel-Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
大型预训练的语言模型(LM)已经被证明在需要常识和世界知识的任务上进行微调时表现得出奇的好。然而,在端到端架构中,很难解释LM中的知识是什么,使其能够做出正确的预测。在这项工作中,我们提出了一个多选择问答模型,其中基于LM的生成器生成一个文本假设,稍后由分类器来回答问题。该假设提供了一个窗口,可以通过人类检查微调LM使用的信息。这种设置中的一个关键挑战是如何约束模型以生成对人类有意义的假设。我们通过(a)使用简单的相似性分类器进行联合训练来解决这个问题,该分类器鼓励有意义的假设,以及(b)通过添加损失函数来鼓励自然文本而不重复。我们在几个任务中显示,我们的模型达到了与端到端架构相当的性能,同时产生了解释LM用于回答问题的知识的假设。
2020-04-12 cs.AI cs.CL cs.LG
Paraphrase Generation with Deep Reinforcement Learning
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Toutiao AI Lab(今日头条人工智能实验室)
从给定句子自动生成释义是自然语言处理(NLP)中一项重要而又具有挑战性的任务,并且在诸如问答、搜索和对话等许多应用中起着关键作用。在本文中,我们提出了一种深度强化学习方法来生成释义。具体来说,我们提出了一个新的框架的任务,它包括一个\textit{generator}和一个\textit{evaluator},这两个都是从数据中学习。生成器,作为一个序列到序列的学习模型,可以产生一个句子的释义。评价器构造为一个深度匹配模型,可以判断两个句子是否是彼此的释义。生成器首先通过深度学习进行训练,然后通过强化学习进行进一步微调,其中奖励由评估器给出。对于评估器的学习,我们分别提出了基于监督学习和逆强化学习的两种方法,这取决于可用的训练数据的类型。实证研究表明,学习后的评价者可以指导生成者生成更准确的释义。实验结果表明,所提出的模型(生成器)优于国家的最先进的方法在自动评估和人类评估的释义生成。
2018-08-23 cs.CL
ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering
本研究提出ConRub-Med,通过三模型共识准则与三状态评分优化GRPO策略,在9个医学问答基准中6个排第一,HealthBench-Hard得分优于InfiMed-ORBIT。
2026-08-12 cs.CL
On the Generation of Medical Question-Answer Pairs
University of California at Berkeley(加州大学伯克利分校);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
问答技术近年来取得了可喜的进展。然而,由于对外部知识的需求和高质量训练数据的数量不足,在诸如医疗领域的真实世界场景中回答问题仍然具有挑战性。针对这些挑战,本文研究了医学问答对的生成问题。有了洞察力,每个医疗问题可以被认为是一个样本的潜在分布的问题给出答案,我们提出了一个自动化的医疗QA对生成框架,包括一个无监督的关键短语检测器,探索非结构化材料的有效性,和一个发电机,涉及一个多通道解码器,以整合结构知识的多样性。在中国医师资格考试的真实数据集上进行了一系列实验。自动评估和人工标注都证明了该方法的有效性。进一步的研究表明,通过将生成的QA对用于训练,可以实现考试QA系统的准确性方面的显着改善。
2019-12-06 cs.AI cs.CL
SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation
GreenDynamics Pty. Ltd(格林动力私人有限公司);City University of Hong Kong(香港城市大学);University of Chicago(芝加哥大学);University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
本研究提出基于大语言模型的科学问答自动生成框架SciQAG,构建了含18万余条问答对的多领域数据集与SciQAG-24D基准,验证了微调后模型的性能提升,并开源相关资源。
2024-07-10 cs.AI cs.CL
Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering
The University of Auckland(奥克兰大学);National University of Singapore(新加坡国立大学);University of Southern Queensland(南昆士兰大学)
针对现有RAG模型仅适配维基百科知识库、难以应用于专业领域的问题,提出可联合训练检索器与生成器、引入辅助训练信号的RAG-end2end模型,在三个领域数据集上取得显著性能提升并已开源。
2022-10-06 cs.AI cs.CL cs.IR
A Systematic Analysis of Chunking Strategies for Reliable Question Answering
Artefact Research Center(Artifact研究中心)
本文通过系统分析,探讨了不同分块策略对RAG系统可靠性的影响,发现句子分块在成本效率上最优,且上下文长度对性能有显著影响。
2026-01-20 cs.CL cs.IR
QAConv: Question Answering on Informative Conversations
Salesforce AI Research(Salesforce人工智能研究院);The Hong Kong University of Science and Technology(香港科技大学)
本文介绍了QAConv,一个新的问答(QA)数据集,使用会话作为知识源。我们专注于信息对话,包括商业电子邮件,小组讨论和工作渠道。与开放领域和面向任务的对话不同,这些对话通常很长、复杂、异步,并且涉及强大的领域知识。总的来说,我们从10,259个选定的对话中收集了34,608个QA对,其中包括人类书写和机器生成的问题。我们使用问题生成器和对话摘要作为辅助工具来收集和推荐问题。该数据集有两个测试场景:块模式和完整模式,这取决于是否提供或检索接地部分会话。实验结果表明,最先进的预训练QA系统具有有限的zero-shot性能,并且倾向于将我们的问题预测为无法回答。我们的数据集提供了一个新的训练和评估测试平台,以促进对话研究的QA。
2022-04-14 cs.AI cs.CL cs.IR
Verbal-R3: Verbal Reranker as the Missing Bridge between Retrieval and Reasoning
Department of Electrical and Computer Engineering, Seoul National University(首尔国立大学电子与计算机工程系);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔国立大学人工智能跨学科项目);AIIS, ASRI, INMC, and ISRC, Seoul National University(首尔国立大学人工智能研究所、人工智能研究室、智能网络研究中心和智能系统研究中心);DGIST(延世大学)
本文提出Verbal-R3框架,通过语义注释增强LLM的推理能力,实现检索与推理的高效整合,提升问答任务性能。
2026-05-02 cs.AI cs.CL cs.IR