MINTQA: A Multi-Hop Question Answering Benchmark for Evaluating LLMs on New and Tail Knowledge
School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院);Southeast University, Nanjing, Jiangsu, China(东南大学);University of Manchester, UK(曼彻斯特大学)
本文提出 MINTQA 多跳问答基准,从四个维度评估大语言模型在新知识和长尾知识上的多跳推理能力,并通过22个模型的系统评估揭示了现有方法在处理复杂知识查询方面的显著不足。
2025-08-22 cs.CL
RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);NYU Shanghai(纽约大学上海分校);Center for Data Science, New York University(纽约大学数据科学中心)
RPDR通过数据增强框架提升长尾问答性能,利用回程预测选择易学实例并动态路由查询以优化检索效果。
2026-02-19 cs.CL
Automatic Spanish Translation of the SQuAD Dataset for Multilingual Question Answering
TALP Research Center(TALP研究中心)
最近,多语言问答成为一个重要的研究课题,它正在收到越来越多的兴趣在NLP社区。然而,大规模数据集的不可用性使得训练多语言QA系统具有与英语系统相当的性能具有挑战性。在这项工作中,我们开发的翻译对齐(TAR)方法自动翻译斯坦福问答数据集(SQuAD)v1.1到西班牙语。然后,我们使用该数据集通过微调多语言BERT模型来训练西班牙语QA系统。最后,我们使用最近提出的跨语言提取QA的MLQA和XQuAD基准测试评估了我们的QA模型。实验结果表明,我们的模型优于以前的多语言BERT基线,在西班牙语MLQA语料库上实现了68.1个F1点的最新值,在西班牙语XQuAD语料库上实现了77.6个F1和61.8个精确匹配点。据我们所知,合成生成的SQuAD-es v1.1语料库几乎100%包含在原始英文版本中,是西班牙语的第一个大规模QA培训资源。
2019-12-12 cs.CL
RuBQ: A Russian Dataset for Question Answering over Wikidata
ITMO University(ITMO大学);JetBrains Research(JetBrains研究院);Ural Federal University(乌拉尔联邦大学)
介绍了第一个俄语知识库问答(KBQA)数据集RuBQ。高质量的数据集包括1,500个不同复杂度的俄语问题,它们的英语机器翻译,对维基数据的SPARQL查询,参考答案,以及包含俄语标签实体的三元组的维基数据样本。数据集的创建始于在线测验中的大量问答对。这些数据经过自动过滤、群体辅助实体链接、自动生成SPARQL查询以及随后的内部验证。
2020-05-21 cs.CL
IQA-EVAL: Automatic Evaluation of Human-Model Interactive Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
提出自动评估框架 IQA-EVAL,利用基于 LLM 的评估智能体(LEA)模拟人类行为并自动评估交互,在 IQA 任务上实现与人类评估的高度相关,显著降低评估成本。
2024-11-16 cs.CL
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
测量摘要的内容质量的基于参考的评估度量的期望属性是它应该估计该摘要与参考具有多少共同信息。传统的基于文本重叠的度量(如ROUGE)无法实现这一点,因为它们仅限于在词汇上或通过嵌入来匹配标记。在这项工作中,我们提出了一个指标来评估内容质量的摘要使用问答(QA)。基于QA的方法直接测量摘要与参考文献的信息重叠,这使得它们与文本重叠度量有着根本的不同。我们证明了实验的好处,QA为基础的指标,通过分析我们提出的指标,QAEval。QAEval在使用基准数据集的大多数评价中表现优于当前最先进的指标,而由于最先进模型的限制,在其他方面具有竞争力。通过仔细分析QAEval的每个组成部分,我们确定其性能瓶颈,并估计其潜在的上限性能超过所有其他自动指标,接近黄金标准金字塔方法。
2021-07-26 cs.CL
Question Answering as an Automatic Evaluation Metric for News Article Summarization
IBM Research(IBM研究院);Microsoft(微软);Ben Gurion University(本·古里安大学)
最近在自动摘要和标题生成领域的工作集中在最大化各种新闻数据集的ROUGE分数。我们提出了一个替代的,外在的,评价指标,这项任务,总结评估的性能。APES利用阅读理解领域的最新进展来量化摘要回答一组手动创建的关于源文章中中心实体的问题的能力。我们首先通过将其与已知的手动评估指标进行比较来分析此指标的强度。然后,我们提出了一个端到端的神经抽象模型,最大限度地提高APES,同时增加ROUGE分数的竞争结果。
2019-06-02 cs.CL cs.IR
Question-Driven Summarization of Answers to Consumer Health Questions
Lister Hill National Center for Biomedical Communications, U.S. National Library of Medicine, National Institutes of Health(美国国立卫生研究院美国国家医学图书馆利斯特希尔生物医学通信中心)
自然语言的自动摘要是计算机科学中广泛研究的领域,其广泛适用于任何例行需要理解大量信息的人。例如,在医疗领域,自动摘要的深度学习方法的最新发展有可能使患者和消费者更容易获得健康信息。然而,为了评估自动生成的健康信息摘要的质量,需要黄金标准的人工生成的摘要。使用美国国家医学图书馆的消费者健康问答系统提供的答案,我们提出了MEDIQA答案摘要数据集,第一个总结收集包含问题驱动的消费者健康问题的答案摘要。该数据集可用于评估使用提取或抽象方法的算法生成的单个或多个文档摘要。为了对数据集进行基准测试,我们包括基线和最先进的深度学习摘要模型的结果,证明该数据集可用于有效评估问题驱动的机器生成摘要,并促进医学问答中的进一步机器学习研究。
2020-05-20 cs.CL
Learning Answer Generation using Supervision from Automatic Question Answering Evaluators
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);Kensho Technologies, Inc.(肯肖科技公司)
本文提出一种新的GenQA训练范式,利用自动问答评估模型GAVA通过数据增强和损失加权进行知识迁移,在多个数据集上显著提升了回答准确率。
2023-05-24 cs.CL cs.LG
AVA: an Automatic eValuation Approach to Question Answering Systems
Amazon Alexa(亚马逊 Alexa)
本文介绍了一种自动评价问答的方法AVA,它给出了一组与金标准答案相关联的问题,可以评估系统的准确性。AVA使用基于transformer的语言模型对问题、答案和参考文本进行编码。这允许有效地测量参考和自动答案之间的相似性,偏向于问题语义。为了设计、训练和测试AVA,我们在公共和工业基准上构建了多个大型训练、开发和测试集。我们的创新解决方案在预测人类对单一答案的判断时,F1得分高达74.7%。此外,AVA可用于评估整体系统准确度,RMSE范围为0.02至0.09,具体取决于多个参考的可用性。
2020-05-02 cs.AI cs.CL cs.IR
Activity report analysis with automatic single or multispan answer extraction
Qualcomm QTI Technologies Inc(高通QTI技术公司)
在物联网时代,我们被大量的AI设备所包围,这些设备可以将图像、视频、音频和传感器信号转录成文本描述。当在用于监视、生活记录和异常检测应用的活动报告中捕获这种瞬态时,用户通常会请求摘要或询问关于他们感兴趣的报告的某些部分的有针对性的问题。根据所问问题的上下文和类型,问答(QA)系统将需要自动确定答案是否涵盖单跨度或多跨度文本成分。目前可用的QA数据集主要集中在单跨度响应(如SQuAD[4])或包含低比例的多跨度答案的示例(如DROP[3])。为了研究在所描述的用例中单跨度/多跨度答案的自动选择,我们创建了一个新的灵巧家庭环境数据集,该数据集由根据问题和查询的上下文与单跨度或多跨度答案配对的问题组成。此外,我们提出了一个基于RoBERTa[6]的多跨度提取问答(MSEQA)模型,为给定的问题返回适当的答案跨度。我们的实验表明,该模型在我们的数据集上的性能优于最先进的QA模型,同时在已发布的单个/多跨度任务数据集上提供相当的性能。
2022-09-09 cs.CL cs.LG
Improving Vietnamese Legal Question--Answering System based on Automatic Data Enrichment
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
针对越南语法律问答标注稀缺、预训练模型有限的问题,本文构建文章级检索式系统,并提出利用弱标注自动增强数据以提升语言模型性能,实验验证了该方法有效。
2023-06-08 cs.CL
SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能);Kensho Technologies, Inc.(Kensho科技公司)
本文提出句子级问答评估指标SQuArE,通过结合多个正确与错误参考答案克服单一参考答案的局限,在抽取式和生成式问答系统上取得与人工标注最高的相关性。
2023-09-21 cs.CL cs.LG
Guiding Extractive Summarization with Question-Answering Rewards
University of Central Florida(中佛罗里达大学)
在阅读时突出显示是人们跟踪文档的显著内容的自然行为。希望教一个提取式摘要器做同样的事情。然而,一个主要的障碍,监督摘要的发展是缺乏地面真相。提取单元的手动注释成本高昂,而通过自动对齐人类摘要和源文档来获取标签可能会产生较差的结果。在本文中,我们描述了一个新颖的框架来指导具有问答奖励的监督式提取摘要系统。我们认为,高质量的摘要应作为一个文件的替代品,以回答重要的问题,这样的问答对可以方便地从人类摘要。该系统学习促进信息丰富,流畅,并在问答时表现出竞争力的摘要。我们的结果与自动指标和人类评估员评估的强汇总基线报告的结果相比毫不逊色。
2019-04-04 cs.CL
Automatic Summarization System coupled with a Question-Answering System (QAAS)
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);École Polytechnique de Montréal(蒙特利尔综合理工学院)
为了选择文档中最相关的句子,它使用了一种结合了几个度量的最佳决策算法。该指标通过统计和信息算法处理、加权和提取相关性句子。该技术可以改进问答系统,其功能是用自然语言对问题提供准确的答案。在本文中,我们提出了通过耦合的皮质摘要与问答系统(QAAS)所获得的结果。两种配置进行了评价。在第一种方法中,选择低压缩级别,并且摘要系统仅用作噪声滤波器。在第二种配置中,该系统实际上用作摘要器,具有非常高的压缩级别。我们在法语语料库上的实验结果表明,自动文摘系统与问答系统的结合是很有前途的。然后,该系统已调整为根据具体问题生成定制摘要。在一个法语多文档语料库上进行了测试,个性化QAAS系统获得了最佳的性能。
2009-05-18 cs.CL cs.IR
A Syntactic Approach to Domain-Specific Automatic Question Generation
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
事实性问题是需要简短的基于事实的答案的问题。从给定文本自动生成(AQG)拟事实问题可以有助于教育活动、交互式问答系统、搜索引擎和其他应用。我们的研究目标是生成基于特定领域的factoid源问题答案三元组。我们提出了一个由四个部分组成的管道,它获得特定领域文档的训练语料库作为输入,以及来自同一领域的一组陈述句,并生成一组事实问题作为输出,这些问题涉及源句子,但与它们略有不同,从而可以向问答系统或个人询问比简单的单词匹配需要更深理解和知识的问题。相反,现有的特定领域的AQG系统,利用基于模板的方法来生成问题,我们建议将每个源句子转化为一组问题,通过应用一系列的域独立的规则(基于语法的方法)。我们的管道在网络安全领域进行了评估,分别对管道的每个组件和端到端系统进行了一系列实验。所提出的方法比现有的最先进的AQG系统产生更高百分比的可接受的问题。
2017-12-28 cs.CL
Bridging Background Knowledge Gaps in Translation with Automatic Explicitation
University of Maryland(马里兰大学)
本文针对直译因背景知识缺失而难以理解的问题,提出基于 WikiExpl 数据集的自动显化生成技术,并在多语言问答中验证其能提升回答准确性。
2023-12-03 cs.CL
A Comparative and Experimental Study on Automatic Question Answering Systems and its Robustness against Word Jumbling
本研究探讨了自然语言处理自动问答系统在聊天机器人等场景中的应用价值,并实验分析了人类输入错误(如单词乱序)对模型性能的不利影响。
2023-11-27 cs.CL cs.LG
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容,使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发,我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量,表示为$Q^2$,比较答案跨度使用自然语言推理(NLI),而不是基于令牌的匹配,在以前的工作。为了促进正确的评估,我们为维基百科的向导数据集策划了一个新的对话系统输出数据集,并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估,其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
Cornell University(康奈尔大学);New York University(纽约大学);The George Washington University(乔治华盛顿大学);Amazon Web Services AI(亚马逊网络服务人工智能)
神经抽象摘要模型容易产生与源文档不一致的内容,即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决的问题,评估的忠实性生成的摘要,其源文件。我们首先收集了两个数据集上众多模型输出的忠实度的人类注释。我们发现,目前的模型表现出抽象性和忠实性之间的权衡:与源文档的字重叠较少的输出更有可能是不忠实的。接下来,我们提出了一个自动的问答(QA)为基础的忠实度,FEQA,它利用了最近的进展,阅读理解。给定从摘要生成的问题-答案对,QA模型从文档中提取答案;不匹配的答案表示摘要中的不忠实信息。在基于词重叠、嵌入相似性和学习语言理解模型的度量中,我们基于QA的度量与人类忠实度分数具有显著更高的相关性,特别是在高度抽象的摘要上。
2020-05-07 cs.CL
A Critical Evaluation of Evaluations for Long-form Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文首次系统研究长文本问答评估,通过七领域专家标注分析发现现有自动指标无法预测人类偏好,提出应转向多维度评估并公开全部标注与代码。
2023-05-29 cs.CL
Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion
University of Colorado Boulder(科罗拉多大学博尔德分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究采用讨论中的问题框架,开发首个QUD解析器,利用众包数据集自动推导文档中问题的依存结构,验证其可行性并展示在文档简化中的价值。
2023-05-12 cs.CL
Learning to answer questions
INESC-ID Lisboa(里斯本INESC-ID);Instituto Superior Tecnico(高等技术学院)
我们提出了一个开放域的学习,回答问题的基础上成功的过去的互动系统。我们遵循一种基于模式的方法来提取问题,其中将问题与其答案关联的(词汇-句法)模式被自动学习并用于回答未来的问题。结果表明,我们的方法有助于系统的最佳性能时,它是共轭与典型的嵌入式提取策略。此外,它允许系统使用已回答的问题进行学习,并纠正错误或未解决的过去问题。
2013-09-04 cs.CL
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种方法,将问答(QA)信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语(NP)。这个基于QA的信号被纳入一个两阶段的摘要模型,首先使用分类模型标记输入文档中的突出NP,然后有条件地生成摘要。我们的实验表明,使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外,我们表明,所生成的摘要的内容可以控制的基础上,在输入文档中标记的NP。最后,我们提出了一种增强训练数据的方法,使黄金摘要与训练期间使用的标记输入跨度更加一致,并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind(谷歌DeepMind)
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线,通过成对比较和Bradley-Terry模型排名的相对评估方法,验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
FACTIFY-5WQA: 5W Aspect-based Fact Verification through Question Answering
University of South Carolina(南卡罗来纳大学);IUT(伊斯兰科技大学);IIT Gandhinagar(甘地纳格尔印度理工学院);BIT Mesra(贝拉理工学院梅斯拉校区);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能研究院)
本文提出基于5W问答的可解释事实核查框架,构建包含391,041条事实的FACTIFY-5WQA数据集,并给出自动定位答案的基线问答系统与鲁棒事实核查系统。
2023-05-28 cs.CL
Unsupervised Evaluation for Question Answering with Transformers
University of Copenhagen(哥本哈根大学);Max-Planck-Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Aalborg University(奥尔堡大学)
在推理时自动评估QA模型的答案是具有挑战性的。虽然许多模型提供了置信度分数,并且简单的算法可以在很大程度上表明答案的正确性,但这些措施严重依赖于数据集,不太可能推广。在这项工作中,我们开始调查的问题,答案和上下文的隐藏表示在基于transformer的QA架构。我们观察到一个一致的模式的答案表示,我们可以用来自动评估是否预测的答案跨度是正确的。我们的方法不需要任何标记数据,并且在2个数据集和7个域上优于强启发式基线。我们能够预测模型的答案是否正确,SQuAD的准确率为91.37%,SubjQA的准确率为80.7%。我们希望这种方法将有广泛的应用,例如,在QA数据集的半自动开发中,
2020-10-07 cs.AI cs.CL
Quebec Automobile Insurance Question-Answering With Retrieval-Augmented Generation
Université Laval(拉瓦尔大学)
本文构建了魁北克汽车保险专业知识参考语料库及82个专家问答集,评估了GPT4-o结合RAG架构在保险问答中的表现,发现该专业知识语料库能提升自动与人工评估效果,但指出其仍存在5%至13%的虚假陈述风险,尚不足以在关键领域大规模应用。
2024-10-12 cs.CL
An Open-Domain QA System for e-Governance
Research Institute for AI “Mihai Drăgănescu”(“米哈伊·德勒格内斯库”人工智能研究所)
本文介绍了一个罗马尼亚语的开放域问答系统,回答COVID-19相关问题。QA系统管道包括自动问题处理、自动查询生成、网络搜索前10个最相关的文档,以及使用针对提取性QA的微调BERT模型进行答案提取,该模型在我们手动创建的COVID-19数据集上进行训练。本文将介绍质量保证系统及其与罗马尼亚语言技术门户网站CNOATE的集成,COVID-19数据集以及质量保证性能的不同评估。
2022-06-16 cs.CL
RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering
University of Alabama Huntsville(阿拉巴马大学亨茨维尔分校);University of North Alabama(北阿拉巴马大学);Stanford University(斯坦福大学);Meta AI;Amazon GenAI(亚马逊生成人工智能)
提出 RECOM 数据集,发现自动评估指标在开放式问答中无法同时兼顾有效性和区分性,余弦相似度有效性高但区分性差,BERTScore 区分性受长度影响且有效性弱。
2026-06-18 cs.CL
QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph
University of Dayton(代顿大学);RWTH Aachen(亚琛工业大学);Zerotha Research(泽罗萨研究中心);Cerence GmbH(塞伦斯有限责任公司)
在大知识图谱时代,问答(QA)系统在性能和可行性方面达到了一个里程碑。然而,它们的适用性,特别是在特定领域,如生物医学领域,没有得到广泛的接受,由于其“黑箱”的性质,这阻碍了透明度,公平性和问责制的QA系统。因此,用户无法理解特定问题是如何以及为什么得到回答的,而其他一些问题则失败了。为了应对这一挑战,在本文中,我们开发了一种自动的方法,在基于流水线的QA系统的各个阶段生成解释。我们的方法是一种有监督的自动方法,它考虑三个类(即,成功、无答案和错误答案),用于注释所涉及的QA组件的输出。根据我们的预测,选择模板解释并将其集成到相应组件的输出中。为了衡量这种方法的有效性,我们进行了一项用户调查,以了解非专家用户如何看待我们生成的解释。我们的研究结果表明,从人机交互社区的人的因素的四个维度显着增加。
2020-10-16 cs.CL
Translating Questions into Answers using DBPedia n-triples
Insight Centre for Data Analytics(Insight数据分析中心);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
在本文中,我们提出了一个问答系统,使用神经网络来解释从DBpedia库中学习到的问题。我们使用从DBpedia Infobox Properties中提取的n个三元组训练序列到序列神经网络模型。由于这些属性不代表自然语言,我们进一步使用电影字幕的问答对话。虽然自动评估显示与黄金标准集相比,生成的答案重叠较低,但手动检查显示实验结果有希望进一步开展工作。
2018-03-07 cs.CL
A Qualitative Evaluation of Language Models on Automatic Question-Answering for COVID-19
Mayo Clinic(梅奥诊所)
COVID-19导致持续的大流行,截至二零二零年六月十二日,已造成超过740万例病例及超过418,000人死亡。COVID-19的高度动态和快速变化的情况使得难以获得有关该疾病的准确,按需信息。在线社区、论坛和社交媒体提供了搜索相关问题和答案或发布问题并向其他成员寻求答案的潜在场所。然而,由于这些网站的性质,总是有数量有限的相关问题和响应,以搜索,并张贴的问题很少立即回答。随着自然语言处理领域的进步,特别是在语言模型领域,设计能够自动回答消费者问题的聊天机器人已经成为可能。然而,这样的模型很少在医疗保健领域中应用和评估,以满足准确和最新的医疗保健数据的信息需求。在本文中,我们提出应用语言模型来自动回答与COVID-19相关的问题,并对生成的回答进行定性评估。我们利用GPT-2语言模型,并应用迁移学习在COVID-19开放研究数据集(CORD-19)语料库上对其进行重新训练。为了提高生成的响应的质量,我们应用了4种不同的方法,即tf-idf,BERT,BioBERT和USE来过滤和保留响应中的相关句子。在性能评估步骤中,我们请两位医学专家对回答进行评分。我们发现,平均而言,BERT和BioBERT在基于相关性的句子过滤任务中的表现优于tf-idf和USE。此外,基于聊天机器人,我们创建了一个用户友好的交互式Web应用程序,可以在线托管。
2020-06-23 cs.AI cs.CL cs.IR
Weak Supervision Enhanced Generative Network for Question Generation
Zhejiang University(浙江大学)
根据给定段落内的答案自动生成问题对于许多应用是有用的,例如问答系统、对话系统等。当前基于神经的方法主要采取两个步骤,即基于候选答案通过人工规则或有监督的神经网络提取几个重要句子,然后使用编码器-解码器框架来生成关于这些句子的问题。这些方法忽略了答案和整个篇章语境之间的语义关系,而这种关系有时是回答问题所必需的。为了解决这个问题,我们提出了弱监督增强生成网络(WeGen),它以弱监督的方式自动发现给定答案跨度的段落的相关特征,以提高生成问题的质量。更具体地说,我们设计了一个工具,关系向导,捕捉整个通道和相关的答案之间的关系,然后多交互机制部署到我们的问题生成系统的知识动态传输。实验表明,我们的方法在自动评价和人类评价的有效性。
2019-07-01 cs.AI cs.CL
AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions
Denison University(丹尼森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出AGent流程,通过将问题与缺乏必要信息的上下文重新匹配自动生成不可回答问题,有效降低人工标注成本,并在多个EQA基准上取得与SQuAD 2.0微调模型相当的性能。
2023-09-10 cs.AI cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH(iteratec有限公司);LMU Munich(慕尼黑大学)
机器学习(ML)模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中,我们解决了基于ML的问答(QA)模型的知识库(KB)和文本文档的组合的可解释性。我们采用LIME和输入扰动(IP)等事后解释方法,并将其与模型的自解释注意力机制进行比较。为此,我们提出了一个自动评估范例的解释方法的背景下,QA。我们还与人类注释者进行了一项研究,以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明,IP提供了更好的解释比石灰或注意,根据自动和人类的评价。我们在两个实验中获得了相同的方法排名,这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);ISIR Sorbonne Université(索邦大学智能系统与机器人研究所);Univ Angers(昂热大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
强化学习(RL)在长时间和稀疏奖励任务中是非常困难的,需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号,使其更好地指导学习过程。在语言条件强化学习的背景下,语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中,我们利用这个想法,并提出了一个自动奖励塑造方法,代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成(QG)和问答(QA)系统:它们由问题组成,引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候,它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹,这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明,该方法不需要工程师干预设计辅助目标,通过有效地指导探索,提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University(密歇根州立大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
本文提出了一个问答(QA)基准空间推理的自然语言文本,其中包含更现实的空间现象没有被以前的工作,是具有挑战性的国家的最先进的语言模型(LM)。我们提出了一种远程监控的方法,以改善这项任务。具体来说,我们设计的语法和推理规则,自动生成的视觉场景和相应的QA对的空间描述。实验表明,在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力,这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型,空间推理的文本。
2021-04-12 cs.AI cs.CL
Relation-Guided Pre-Training for Open-Domain Question Answering
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
解决复杂的开放域问题需要理解涉及实体之间的潜在关系。然而,我们发现现有的QA数据集在某些类型的关系中非常不平衡,这损害了长尾关系问题的泛化性能。为了解决这个问题,在本文中,我们提出了一个指导性的预训练(RGPT-QA)框架。我们首先生成一个关系QA数据集,涵盖了维基数据三元组和维基百科超链接的广泛关系。然后,我们预训练一个QA模型来推断问题中的潜在关系,然后进行提取QA以获得目标答案实体。我们证明,通过使用建议的RGPT-QA技术进行预训练,流行的开放域QA模型Dense Passage Retriever(DPR)在Natural Questions,TriviaQA和WebQuestions上的精确匹配准确率分别提高了2.2%,2.4%和6.3%。特别是,我们表明,RGPT-QA显着改善长尾关系的问题
2021-09-21 cs.CL cs.LG
Long-Tailed Question Answering in an Open World
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
针对开放长尾分布下的统一问答任务,提出OLTQA模型,通过组件池动态组合、检索-重排上下文示例及两阶段知识蒸馏训练,在43个数据集上超越现有最优方法。
2023-05-11 cs.AI cs.CL cs.LG
Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks
The Alan Turing Institute(艾伦·图灵研究所);King’s College London(伦敦国王学院);University of Southampton(南安普顿大学)
针对现有QA系统及RAG在复杂推理上的不足,提出通过LLM自动生成基于上下文的问答对来微调模型的方法,实验证明该方法可提升模型逻辑与事实准确性,Mistral-7b-v0.3表现优于Llama-3-8b。
2025-05-20 cs.AI cs.CL
KGCaRe: Explainable Complex Conditional Question Answering using Automatic Knowledge Graph Construction and Context Retrieval with LLMs
University of Galway(戈尔韦大学);Fidelity Investments(富达投资)
该研究针对LLM与RAG处理复杂条件问答时在特定领域表现不佳的问题,提出KGCaRe混合方法,结合KG构建、迭代图遍历与神经检索,在多类LLM及数据集上优于现有基线。
2026-08-11 cs.AI cs.CL
Exploring Hint Generation Approaches in Open-Domain Question Answering
University of Innsbruck(因斯布鲁克大学)
针对自动问答系统的上下文构建问题,提出采用自动提示生成技术的HINTQA方法,通过LLMs生成问题潜在答案的提示而非直接生成上下文,在三个数据集上的性能优于检索式和生成式方法。
2024-09-24 cs.CL cs.IR
Automatic Evaluation of Healthcare LLMs Beyond Question-Answering
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC));Universitat Politècnica de Catalunya (UPC)–BarcelonaTech(加泰罗尼亚理工大学(UPC)-巴塞罗那技术学院)
针对医疗领域,本文构建多轴 LLM 评估套件分析开放式与封闭式 QA 基准的关联,发布 CareQA,并提出 Relaxed Perplexity 指标以改进开放式回答评估。
2025-02-10 cs.AI cs.CL
Generating Answer Candidates for Quizzes and Answer-Aware Question Generators
Sofia University(索非亚大学);University of Cambridge(剑桥大学);Releva AI
在教育方面,开放式测验问题已成为评估学生知识的重要工具。然而,手动准备这样的问题是一项繁琐的任务,因此自动问题生成已被提出作为一种可能的替代方案。到目前为止,绝大多数研究都集中在生成问题文本上,依赖于具有现成答案的问答数据集,而如何首先提出答案候选人的问题在很大程度上被忽视了。在这里,我们的目标是弥合这一差距。特别是,我们提出了一个模型,可以生成一个指定数量的答案候选人为一个给定的文本通道,然后可以使用教师手动写问题,或可以作为输入传递到自动答案感知问题生成器。我们的实验表明,我们提出的答案候选生成模型优于几个基线。
2021-08-29 cs.AI cs.CL cs.CY
A Survey on Legal Question Answering Systems
Software Competence Center Hagenberg(哈根贝格软件能力中心)
针对法律领域立法信息爆炸、文件非结构化导致从业者信息过载、执业成本高易错的问题,本文对现有法律问答系统解决方案开展定量与定性调研,这类系统可自动处理法律资源快速答疑,有效减轻从业者负担。
2021-10-12 cs.AI cs.CL cs.IR
Designing and Evaluating Chain-of-Hints for Scientific Question Answering
Columbia University(哥伦比亚大学);Barnard College(巴纳德学院)
本文设计并评估了基于提示链的科学问答系统,通过比较静态与动态提示策略,揭示了用户偏好及自动评估指标的局限性。
2026-02-20 cs.CL cs.HC
HintMiner: Automatic Question Hints Mining From Q&A Web Posts with Language Model via Self-Supervised Learning
HintMiner利用自监督学习的语言模型从问答帖子中自动挖掘提示,通过Transformer和复制机制生成提示,在6万条Stack Overflow问题上取得BLEU 36.17%和ROUGE-2 36.29%的效果。
2026-09-16 cs.AI cs.CL cs.LG
Conversational QA Dataset Generation with Answer Revision
Graduate School of Artificial Intelligence(人工智能研究生院);POSTECH(浦项科技大学);Computer Science and Engineering(计算机科学与工程系)
会话问答生成是一个基于输入段落自动生成大规模会话问答数据集的任务。在本文中,我们介绍了一种新的框架,提取值得提问的短语从一个通道,然后生成相应的问题,考虑以前的对话。特别是,我们的框架在生成问题后修改了提取的答案,以便答案与配对问题完全匹配。实验结果表明,我们的简单的答案修正方法导致显着提高合成数据的质量。此外,我们证明了我们的框架可以有效地利用会话问答的领域自适应。
2022-09-23 cs.AI cs.CL
It is AI's Turn to Ask Humans a Question: Question-Answer Pair Generation for Children's Story Books
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院);University of Washington(华盛顿大学);University of Notre Dame(圣母大学);WeChat AI, Tencent(腾讯微信人工智能);University of California Irvine(加州大学欧文分校)
现有的问答(QA)技术主要被创建来回答人类提出的问题。但在教育应用中,教师往往需要决定他们应该问什么问题,以帮助学生提高他们的叙事理解能力。我们设计了一个自动问答生成(QAG)系统,这种教育场景:给定一个故事书在幼儿园到八年级的水平作为输入,我们的系统可以自动生成QA对,能够测试各种尺寸的学生的理解能力。我们提出的QAG模型架构使用一个新的专家注释的FairytaleQA数据集进行了演示,该数据集有278本儿童友好的故事书,其中有10,580对QA。自动和人工评估表明,我们的模型优于最先进的QAG基线系统。在我们的QAG系统之上,我们还开始构建一个交互式讲故事应用程序,用于未来在这个教育场景中的实际部署。
2022-03-26 cs.AI cs.CL
Question Answering with LLMs and Learning from Answer Sets
University of Calabria(卡拉布里亚大学);The University of Chicago(芝加哥大学);Imperial College London(帝国理工学院)
本文提出混合系统LLM2LAS,利用LLM提取语义结构、ILASP自动归纳逻辑规则并结合ASP进行形式化推理,以解决基于故事的常识问答任务。
2025-09-20 cs.AI cs.CL cs.LO
Neural Generation of Diverse Questions using Answer Focus, Contextual and Linguistic Features
University of California Santa Cruz(加州大学圣克鲁兹分校)
问题生成是从文本输入自动创建问题的任务。在这项工作中,我们提出了一个新的注意编码器-解码器的递归神经网络模型的自动生成问题。我们的模型结合了语言特征和一个额外的句子嵌入来捕获句子和单词级别的含义。语言学特征被设计为捕获与命名实体识别、单词大小写和实体共指消解相关的信息。此外,我们的模型使用复制机制和特殊的答案信号,可以针对给定句子生成许多不同的问题。我们的模型在基准问题生成数据集上实现了19.98 Bleu_4的最新结果,大大优于所有先前发表的结果。人工评估还表明,这些添加的功能提高了生成的问题的质量。
2018-10-05 cs.AI cs.CL cs.LG
Self-Wiring Question Answering Systems
University of Leipzig(莱比锡大学)
问答(QA)在过去几年中一直是复苏的主题。所述复苏已经导致公司和研究机构开发了大量的问答(QA)系统。虽然QA系统的一些组件在实现中得到重用,但大多数系统并没有充分利用组件重用的潜力。因此,QA系统的开发目前仍然是一个繁琐和耗时的过程。我们解决的挑战,加速创建新的或定制的QA系统,提出了一个概念,自布线的方法组成QA系统。我们的方法将允许重用现有的,基于Web的QA系统或模块,同时开发新的QA平台。为此,它将依赖于使用Web本体语言描述的QA模块。基于这些描述,我们的方法将能够使用数据驱动的方法自动组成QA系统。
2016-11-08 cs.AI cs.CL cs.IR