What Questions Should Robots Be Able to Answer? A Dataset of User Questions for Explainable Robotics
King's College London, CDT in Safe and Trusted AI(国王学院伦敦大学,安全与可信人工智能中心);King's College London(国王学院伦敦大学)
本文通过收集100名参与者的1893个问题,构建了一个面向家用机器人的用户问题数据集,涵盖12个类别和70个子类别,旨在帮助机器人学家确定机器人需要回答的关键问题类型。
2026-05-22 cs.CL cs.HC cs.RO
If MaxEnt RL is the Answer, What is the Question?
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
在实验中,人们观察到,人类和动物经常做出的决策并没有最大化他们的预期效用,而是随机选择结果,概率与预期效用成正比。这种策略被称为概率匹配,相当于最大熵强化学习(MaxEnt RL)。然而,MaxEnt RL并没有优化预期效用。在本文中,我们正式证明了MaxEnt RL确实最优地解决了奖励函数可变的某些控制问题。特别是,我们证明了(1)MaxEnt RL可以用来解决某类POMDPs,(2)MaxEnt RL等价于对手选择奖励函数的两人游戏。这些结果表明MaxEnt RL,鲁棒控制和POMDPs之间有更深层次的联系,并为我们可能期望MaxEnt RL产生有效解决方案的问题类型提供了见解。具体来说,我们的研究结果表明,任务目标中具有不确定性的域可能特别适合MaxEnt RL方法。
2019-10-04 cs.AI cs.LG stat.ML
What do you MEME? Generating Explanations for Visual Semantic Role Labelling in Memes
Indraprastha Institute of Information Technology Delhi(德里印度国立信息技术学院);Indian Institute of Technology Delhi(印度理工学院德里分校);Wipro AI Labs(威普罗人工智能实验室)
模因是社交媒体上有效沟通的有力手段。他们毫不费力地将病毒式视觉效果和引人注目的信息融合在一起,通过适当的营销可以产生深远的影响。以往对模因的研究主要集中在描述模因的情感频谱,并检测模因的信息是否暗示任何有意的伤害,如仇恨,冒犯,种族主义等。在这里,我们介绍了一个新的任务- EXCLAIM,产生解释的视觉语义角色标注模因。为此,我们策划了ExHVV,这是一个新颖的数据集,它为三种类型的实体-英雄,恶棍和受害者-提供了自然语言的内涵角色解释,包含3 K模因中存在的4,680个实体。我们还使用几个强大的单峰和多峰基线对ExHVV进行基准测试。此外,我们将LUMEN,一种新型的多模态,多任务的学习框架,致力于解决EXCLAIM最佳联合学习预测正确的语义角色,并相应地生成合适的自然语言的解释。LUMEN在18个标准自然语言生成评估指标中明显优于最佳基线。我们的系统评估和分析表明,特征多模态线索所需的判断语义角色也有助于产生合适的解释。
2022-12-20 cs.CL cs.CY
How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
该研究提出了GuidingQ数据集,包含1万个文内问题,通过分析其特征并探索语言模型生成方法,发现生成的高质量问题能有效提升读者的记忆与理解,效果接近人工编写。
2024-07-29 cs.AI cs.CL
Generating Self-Contained and Summary-Centric Question Answer Pairs via Differentiable Reward Imitation Learning
Amazon Alexa(亚马逊 Alexa)
出于会话新闻推荐系统中建议问题生成的动机,我们提出了一个用于生成问答对(QA对)的模型,其中包含以摘要为中心的问题和长度受限的文章摘要答案。我们首先收集一个新的新闻文章数据集,标题是问题,并将它们与不同长度的摘要配对。该数据集用于学习QA对生成模型,该模型生成摘要作为与其相应问题一起平衡简洁性和充分性的答案。然后,我们加强了QA对生成过程中的可微奖励函数,以减轻曝光偏差,一个常见的问题,在自然语言生成。自动度量和人工评估都表明,这些QA对成功地捕捉到了文章的中心要点,并实现了较高的答案准确率。
2021-09-10 cs.AI cs.CL cs.LG
AnswerQuest: A System for Generating Question-Answer Items from Multi-Paragraph Documents
SDL Research(SDL研究机构)
促进阅读理解的一个策略是以问答的形式呈现信息。我们演示了一个系统,它集成了问答(QA)和问题生成(QG)的任务,以产生Q & A项目,传达多段文档的内容。我们报告了一些实验,QA和QG,这两个任务的改进,并评估它们如何相互作用,以产生一个文本的问答项目列表。可在qna.sdl.com上访问该演示。
2021-03-05 cs.CL
What's in a Name? Answer Equivalence For Open-Domain Question Answering
University of Maryland(马里兰大学)
QA评估中的一个缺陷是注释通常只提供一个黄金答案。因此,语义上与答案相同但表面上不同的模型预测被认为是不正确的。这项工作探索了从知识库中挖掘别名实体,并将其用作额外的黄金答案(即,相等的答案)。我们将答案纳入两种设置:使用额外答案进行评估和使用等效答案进行模型训练。我们分析了三个QA基准:Natural Questions,TriviaQA和SQuAD。答案扩展增加了所有数据集上的精确匹配分数,同时将其纳入有助于在真实世界数据集上进行模型训练。我们通过人工事后评估确保附加答案有效。
2021-09-11 cs.CL
Answer-based Adversarial Training for Generating Clarification Questions
Microsoft Research(微软研究院);University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种生成澄清问题的方法,其目标是引出新的信息,使给定的文本上下文更完整。我们建议,建模假设的答案(澄清问题)作为潜在变量可以引导我们的方法生成更有用的澄清问题。我们开发了一个生成对抗网络(GAN),其中生成器是一个序列到序列模型,而GAN是一个效用函数,它对用澄清问题的答案更新上下文的值进行建模。我们使用自动指标和人类对有用性、特异性和相关性的判断对两个数据集进行评估,表明我们的方法优于基于检索的模型和排除效用模型和对抗训练的消融。
2019-04-04 cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland(马里兰大学);Google Research(谷歌研究院)
除了让机器回答问题的传统任务外,问答中的一个主要研究问题是创建有趣的、具有挑战性的问题,这些问题可以帮助系统学习如何回答问题,并揭示哪些系统最擅长回答问题。我们认为,创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛:您编写问题,让代理(人类或机器)回答问题,并宣布获胜者。然而,研究界忽视了数十年来从琐事社区创造充满活力,公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后,我们概述了关键的经验教训-消除歧义,区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
Towards a Unified Model for Generating Answers and Explanations in Visual Question Answering
City, University of London(伦敦大学城市学院)
视觉问答(VQA)领域最近出现了一个研究热潮,重点是为预测的答案提供解释。然而,目前的系统主要依赖于单独的模型来预测答案和生成解释,导致结果不太可靠且经常不一致。为了解决这个问题,我们提出了一种多任务学习方法,用于回答和解释生成的统一模型(UMAE)。我们的方法涉及添加人工提示令牌的训练数据和微调的多模态编码器-解码器模型上的各种VQA相关的任务。在我们的实验中,UMAE模型在A-OKVQA上的回答准确率超过了现有技术水平的10~ 15%,在OK-VQA上显示出竞争性结果,在A-OKVQA和VCR上获得了新的最先进的解释分数,并在VQA-X上表现出了有希望的域外性能。
2023-02-13 cs.CL
Generating Answer Candidates for Quizzes and Answer-Aware Question Generators
Sofia University(索非亚大学);University of Cambridge(剑桥大学);Releva AI
在教育方面,开放式测验问题已成为评估学生知识的重要工具。然而,手动准备这样的问题是一项繁琐的任务,因此自动问题生成已被提出作为一种可能的替代方案。到目前为止,绝大多数研究都集中在生成问题文本上,依赖于具有现成答案的问答数据集,而如何首先提出答案候选人的问题在很大程度上被忽视了。在这里,我们的目标是弥合这一差距。特别是,我们提出了一个模型,可以生成一个指定数量的答案候选人为一个给定的文本通道,然后可以使用教师手动写问题,或可以作为输入传递到自动答案感知问题生成器。我们的实验表明,我们提出的答案候选生成模型优于几个基线。
2021-08-29 cs.AI cs.CL cs.CY
Automatically generating question-answer pairs for assessing basic reading comprehension in Swedish
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出了一个质量的自动生成的阅读理解问题,从瑞典语文本的评价,使用Quinductor方法。该方法是一种轻量级的、数据驱动的、非神经网络的问题自动生成方法。评估表明,Quinductor是一种可行的QG方法,可以为基于神经网络的QG方法提供强有力的基线。
2022-11-28 cs.CL
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能,利用这种连接,共同生成的标题,有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练,通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明,我们的方法通过同时生成与问题相关的标题,获得了最先进的VQA性能(例如,使用单个模型在测试标准集上达到68.4%)。
2020-01-03 cs.CL cs.CV
Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对长篇问答中仅凭问题难以定位相关上下文及需聚合多源知识的问题,提出迭代式规划-检索-生成模型,在开放域和技术域数据集上超越现有最优方法。
2023-11-15 cs.CL cs.LG
A Pipeline for Generating, Annotating and Employing Synthetic Data for Real World Question Answering
Filament AI;University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦玛丽女王大学)
问答(QA)是一个不断发展的研究领域,通常用于促进从文档中提取信息。最先进的QA模型通常是在维基百科等领域通用语料库上预先训练的,因此往往在没有微调的情况下在域外文档上挣扎。我们证明了合成特定领域的数据集可以很容易地使用域通用模型生成,同时仍然提供了显着的改善QA性能。我们为这项任务提供了两个新工具:一个用于验证合成QA数据并在其上训练下游模型的灵活管道,以及一个在线界面,以方便对生成的数据进行人工注释。使用这个接口,crowdworker标记了1117个合成QA对,然后我们使用它们来微调下游模型,并将特定领域的QA性能提高了8.75 F1。
2022-11-30 cs.CL cs.LG
What's Missing: A Knowledge Gap Guided Approach for Multi-hop Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳文本问答需要组合来自多个句子的信息。我们关注的是一个自然的环境,与典型的阅读理解不同,每个问题只提供部分信息。模型必须检索并使用额外的知识来正确回答问题。为了应对这一挑战,我们开发了一种新的方法,明确识别所提供的知识和答案选择的关键跨度之间的知识差距。该模型GapQA通过确定跨度和答案选择之间的关系,基于检索到的针对此差距的知识来学习填补此差距。我们建议联合训练一个模型,同时填补这一知识缺口,并将其与提供的部分知识组合在一起。在OpenBookQA数据集上,给定部分知识,明确识别缺失的内容远远优于以前的方法。
2019-09-19 cs.CL
Asking Questions Like Educational Experts: Automatically Generating Question-Answer Pairs on Real-World Examination Data
Peking University(北京大学)
生成高质量的问答对是一项艰巨但有意义的任务。虽然已有的工作在答案感知问题的生成方面取得了很大的成果,但在教育领域的实际应用中还存在一定的困难。本文首次提出了基于真实考试数据的问答对生成问题,并提出了一个新的统一的RACE框架。为了捕获输入段落的重要信息,我们首先自动生成(而不是提取)关键短语,因此该任务被简化为关键短语-问题-答案三元组联合生成。相应地,我们提出了一个多智能体通信模型来迭代地生成和优化问题和关键短语,然后应用生成的问题和关键短语来指导答案的生成。为了建立一个坚实的基准,我们在强大的生成式预训练模型上构建我们的模型。实验结果表明,该模型在问答对生成任务上取得了突破性进展。此外,我们对我们的模型进行了全面的分析,为这项具有挑战性的任务提出了新的方向。
2021-09-17 cs.CL
When in Doubt, Ask: Generating Answerable and Unanswerable Questions, Unsupervised
Stanford University(斯坦福大学)
问答(QA)是实现人机之间可靠通信的关键。用于QA的现代语言模型在几个基本任务中已经超过了人类的表现;然而,这些模型需要大量的人工生成的训练数据,这是昂贵和耗时的创建。本文研究用合成数据扩充人工数据集作为克服这一问题的一种方法。一个基于深度Transformers的最先进的模型被用来检查使用合成的可回答和不可回答的问题来补充一个众所周知的人造数据集的影响。结果表明,在混合数据集上训练的语言模型(以F1和EM分数衡量)的性能有了明显的改善。具体来说,无法回答的问题-答案证明在提升模型方面更有效:将可回答、不可回答和组合问题-答案添加到原始数据集的F1得分分别为1.3%、5.0%和6.7%。[Link到Github仓库:https://github.com/lnikolenko/EQA]
2020-10-19 cs.CL cs.FL cs.LG
Generating Factoid Questions With Recurrent Neural Networks: The 30M Factoid Question-Answer Corpus
University of Montreal(蒙特利尔大学)
在过去的十年中,大规模的监督学习语料库使机器学习研究人员取得了实质性的进展。然而,到目前为止,还没有大规模的问答语料库。在本文中,我们提出了30 M Factoid的问答语料库,一个巨大的问答对语料库,通过应用一种新的神经网络架构的知识库Freebase将事实转化为自然语言的问题。所产生的问题答案对由人工评估者和使用自动评估度量(包括完善的机器翻译和句子相似性度量)来评估。在所有评价标准中,问题生成模型的表现优于竞争性的基于模板的基线。此外,当呈现给人类评估者时,生成的问题在质量上与真正的人类生成的问题相当。
2016-05-29 cs.AI cs.CL cs.LG
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America(美国电气通信技术研究所(NEC实验室美国));Princeton, NJ 08540(普林斯顿,新泽西州08540)
我们提出了一个回答开放域多跳问题的框架,其中部分信息被读取并用于生成后续问题,最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释,并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例,我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用,该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题,选择相关的答案跨度对下游的支持事实,同时避免分散注意力的前提,提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets
Carnegie Mellon University(卡内基梅隆大学)
视频QA数据集中的问答偏差会误导多模态模型过拟合QA工件,并危及模型的泛化能力。了解这些QA偏见有多强以及它们来自哪里,可以帮助社区更准确地衡量进展,并为研究人员提供深入的见解来调试他们的模型。在本文中,我们分析了流行的视频问答数据集的QA偏差,发现预训练的语言模型可以正确回答37-48%的问题,而无需使用任何多模态上下文信息,远远超过了5-choose-1多项选择题的20%随机猜测基线。我们的消融研究表明,偏见可能来自注释者和问题类型。具体来说,在训练过程中看到的注释者被模型和推理更好地预测,抽象问题比事实,直接的问题产生更多的偏见。我们还根据经验表明,使用注释器非重叠训练测试分割可以减少视频QA数据集的QA偏差。
2020-07-07 cs.CL cs.CV cs.LG
ParaQG: A System for Generating Questions and Answers from Paragraphs
IITB-Monash Research Academy(IITB-莫纳什研究学院);IIT Bombay(印度理工学院孟买分校);Monash University(莫纳什大学);Mepco Schlenk Engineering College(梅普科·施伦克工程学院)
从段落中生成语法和语义上有效的相关问题对许多应用程序都很有用。手动生成是一项劳动密集型任务,因为它需要阅读,分析和理解长段落的文本。最近提出了一些基于序列到序列技术的问题生成模型。他们中的大多数只从句子中生成问题,没有一个是公开的,作为一个易于使用的服务。在本文中,我们展示了ParaQG,一个基于Web的系统,从句子和段落生成的问题。ParaQG集成了许多新的功能,使问题生成过程用户友好。它为用户提供了一个交互式界面,以选择问题生成的答案。它还采用了不同的方面的意见,分组类似的问题,以及过滤技术,以消除无法回答的问题
2019-09-04 cs.CL
Generating Questions for Knowledge Bases via Incorporating Diversified Contexts and Answer-Aware Loss
University of Chinese Academy of Sciences(中国科学院大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
我们处理的问题生成的任务知识库。传统的方法忽略了两个关键的研究问题:1)给定的谓词需要表达; 2)生成的问题的答案需要是确定的。在本文中,我们努力通过整合多元化的背景和答案意识的损失,对上述两个问题。具体来说,我们提出了一个神经编码器-解码器模型与多级复制机制,以产生这样的问题。此外,答案感知损失的引入,使生成的问题对应于更明确的答案。实验表明,我们的模型达到了最先进的性能。同时,这种生成的问题可以表达给定的谓词,并对应于一个确定的答案。
2019-10-29 cs.AI cs.CL
Generating multiple-choice questions for medical question answering with distractors and cue-masking
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
医学多项选择问答(MCQA)特别难。问题可能描述患者症状并要求正确的诊断,这需要领域知识和复杂的推理。标准语言建模预训练本身不足以达到最佳效果。\citet{jin2020disease}表明,当使用医学百科段落作为输入时,将掩蔽语言建模集中在疾病名称预测上,导致MCQA准确性的显著提高。在这项工作中,我们证明了(1)对生成的MCQA数据集进行微调优于基于掩蔽语言建模的目标,(2)正确掩蔽答案的提示对于良好的性能至关重要。我们发布了新的预训练数据集,并在4个MCQA数据集上获得了最先进的结果,特别是MedQA-USMLE上的基础大小模型为+5.7\%。
2023-03-13 cs.CL
QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph
University of Dayton(代顿大学);RWTH Aachen(亚琛工业大学);Zerotha Research(泽罗萨研究中心);Cerence GmbH(塞伦斯有限责任公司)
在大知识图谱时代,问答(QA)系统在性能和可行性方面达到了一个里程碑。然而,它们的适用性,特别是在特定领域,如生物医学领域,没有得到广泛的接受,由于其“黑箱”的性质,这阻碍了透明度,公平性和问责制的QA系统。因此,用户无法理解特定问题是如何以及为什么得到回答的,而其他一些问题则失败了。为了应对这一挑战,在本文中,我们开发了一种自动的方法,在基于流水线的QA系统的各个阶段生成解释。我们的方法是一种有监督的自动方法,它考虑三个类(即,成功、无答案和错误答案),用于注释所涉及的QA组件的输出。根据我们的预测,选择模板解释并将其集成到相应组件的输出中。为了衡量这种方法的有效性,我们进行了一项用户调查,以了解非专家用户如何看待我们生成的解释。我们的研究结果表明,从人机交互社区的人的因素的四个维度显着增加。
2020-10-16 cs.CL
What do Models Learn from Question Answering Datasets?
Amazon Alexa(亚马逊 Alexa)
虽然模型在SQuAD等流行的问答(QA)数据集上已经达到了超人的性能,但它们在问答本身的任务上还没有超过人类。在本文中,我们通过在五个数据集上评估基于BERT的模型来研究模型是否正在从QA数据集学习阅读理解。我们评估模型对域外示例的可推广性,对缺失或不正确数据的响应以及处理问题变化的能力。我们发现,没有一个单一的数据集是强大的,我们所有的实验,并确定在数据集和评估方法的缺点。根据我们的分析,我们提出了建议,以建立未来的QA数据集,更好地评估问答通过阅读理解的任务。我们还在https://github.com/amazon-research/qa-dataset-converter上发布了将QA数据集转换为共享格式的代码,以便更轻松地进行实验。
2020-10-13 cs.CL
Automating Reading Comprehension by Generating Question and Answer Pairs
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什研究学院);Monash University(莫纳什大学)
基于神经网络的方法代表了从文本生成问题的最新技术水平。现有的工作集中于从文本中生成问题,而不涉及答案生成。此外,我们的分析表明,处理罕见的单词和生成最合适的问题,给出一个候选答案仍然是现有方法面临的挑战。我们提出了一个新的两阶段的过程中产生的问题,答案对的文本。对于第一阶段,我们提出了替代方案,用于使用指针网络对句子中的关键答案的跨度进行编码。在我们的第二阶段,我们采用序列到序列模型的问题生成,增强了丰富的语言特征。最后,全局注意和答案编码用于生成与答案最相关的问题。我们的动机和语言分析在我们的框架中的每个组件的作用,并考虑这些组成。这一分析得到了广泛的实验评价的支持。使用标准的评价指标以及人类的评价,我们的实验结果验证了显着改善的质量,我们的框架产生的问题在国家的最先进的。这里提出的技术代表了更自动化的阅读理解评估的又一步。我们还提出了一个活的系统\footnote{Demo of the system is available at \url{https://www.cse.iitb.ac.in/~vishwajeet/autoqg.html}.}来证明我们的方法的有效性。
2018-03-07 cs.AI cs.CL
Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions
University of Birmingham(伯明翰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center i.G.(CISPA亥姆霍兹中心)
深入的场景描述和问答任务大大增加了当今场景理解的定义范围。虽然这些任务原则上是开放式的,但目前的提法主要侧重于描述所考虑的场景的当前状态。相比之下,在本文中,我们专注于未来的状态的场景,也有条件的行动。我们将此作为一个问答任务,其中必须给出关于未来场景状态的答案,给出对当前场景的观察,以及包括假设动作的问题。我们的解决方案是一个混合模型,它集成了一个物理引擎到一个问答架构,以预期未来的场景状态所造成的对象-对象交互的行动。我们展示了这个具有挑战性的新问题的初步结果,并与基线进行了比较,在基线上,我们的表现优于完全数据驱动的端到端学习方法。
2018-11-21 cs.CL cs.CV cs.LG
Elaboration-Generating Commonsense Question Answering at Scale
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
本文提出交替微调阐述生成器与答案预测器的框架,使不足 GPT-3 参数量0.5%的小模型在四个常识问答基准上优于同规模方法并接近 GPT-3。
2023-07-14 cs.CL
Meta Sequence Learning for Generating Adequate Question-Answer Pairs
创建多项选择题来评估给定文章的阅读理解,涉及到根据文档的要点生成问答对(QAP)。我们提出了一个学习计划,以产生足够的QAP通过元序列表示的句子。Meta序列是包括语义和句法标签的向量序列。特别是,我们设计了一个计划称为MetaQA学习Meta序列从训练数据,形成一个陈述句(MD)和相应的疑问句(MIs)的Meta序列对。在给定的陈述句上,经过训练的MetaQA模型将其转换为Meta序列,找到匹配的MD,并使用相应的MI和输入句子来生成QAP。我们使用语义角色标注,词性标记和命名实体识别来实现英语语言的MetaQA,并表明在一个小数据集上进行训练,MetaQA有效地生成了大量语法和语义正确的QAP,准确率超过97%。
2021-09-30 cs.CL
Know What You Don't Know: Unanswerable Questions for SQuAD
Stanford University(斯坦福大学)
提取式阅读理解系统通常可以在上下文文档中找到问题的正确答案,但它们也倾向于对上下文中没有说明正确答案的问题进行不可靠的猜测。现有的数据集要么只关注可回答的问题,要么使用自动生成的难以识别的问题。为了解决这些弱点,我们提出了SQuAD 2.0,斯坦福问答数据集(SQuAD)的最新版本。SQuAD 2.0结合了现有的SQuAD数据和超过50,000个无法回答的问题,这些问题是由众包工作者以对抗方式编写的,看起来与可回答的问题相似。为了在SQuAD 2.0上做得更好,系统不仅必须在可能的情况下回答问题,而且还必须确定段落何时不支持答案并放弃回答。SQuAD 2.0对于现有模型来说是一项具有挑战性的自然语言理解任务:在SQuAD 1.1上获得86% F1的强大神经系统在SQuAD 2.0上仅获得66% F1。
2018-06-11 cs.CL
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research(三星研究院);SRI International(斯坦福国际研究院)
在本文中,我们提出了一种新的方法,可解释的问答(XQA)的任务,即,生成针对所述视觉问答(VQA)问题的自然语言(NL)解释。我们使用两个信息源生成NL解释,该解释包括支持对图像提出的问题的答案的证据:(a)图像中实体的注释(例如,对象标签、区域描述、关系短语),以及(b)由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体,仔细选择使用语言模型,可以给出合理的文字解释,而不需要任何额外的收集数据(解释说明等)。我们在Visual Genome(VG)数据集上运行我们的算法,并进行内部用户研究,以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示,展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Tag-Set-Sequence Learning for Generating Question-Answer Pairs
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
基于转换器的QG模型可以生成高质量的问答对(QAP),但也可能为某些文本生成愚蠢的问题。我们提出了一种新的方法,称为标签集序列学习来解决这个问题,标签集序列是一个序列的标签集捕捉的句法和语义信息的基础句子,和标签集由一个或多个语言特征标签,包括,例如,语义角色标签,词性,命名实体识别,和情感指示标签。我们构建了一个名为TSS-学习者的系统,从给定的陈述句和相应的疑问句中学习标签集序列,并得出后者的答案。我们训练一个TSS学习者模型的英语使用一个小的训练数据集,并表明它确实可以生成足够的QAP为某些文本,基于transformer的模型做得不好。对TSS-Learner在SAT练习阅读测试中产生的QAP的人类评价是令人鼓舞的。
2022-10-20 cs.CL
Generating Question-Answer Hierarchies
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
知识获取的过程可以被看作是学生和教师之间的问答游戏,在这个游戏中,学生通常先问广泛的、开放式的问题,然后再深入到细节(Hintikka,1981; Hakkarainen和Sintonen,2002)。这种教学的角度激发了一种新的方式来表示文档。在本文中,我们提出了SQUASH(具体控制的问答层次结构),一种新颖的和具有挑战性的文本生成任务,将输入文档转换成层次结构的问答对。用户可以点击高级问题(例如,”为什么弗罗多离开了团契?“)来揭示相关但更具体的问题(例如,“弗罗多和谁一起离开的?").使用一个松散的问题分类法的基础上Lehnert(1978年),我们分类问题在现有的阅读理解数据集为“一般”或“具体”。然后,我们使用这些标签作为输入到一个以条件神经语言模型为中心的流水线系统。我们广泛评估质量的QA层次结构,通过众包实验和报告强有力的实证结果。
2019-07-21 cs.CL
gTBLS: Generating Tables from Text by Conditional Question Answering
Georgia Institute of Technology(佐治亚理工学院)
本文提出两阶段方法 gTBLS,通过推断表格结构并利用条件问答微调因果语言模型生成表格,支持零样本配置,在多个数据集上显著优于先前方法。
2024-03-21 cs.CL cs.IR cs.LG
C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness
Beike Inc.(贝壳公司)
针对思维链过长导致解码成本高的问题,提出C3oT框架,通过压缩器、条件训练和条件推理,在保持有效性的同时将CoT长度压缩50%以上。
2024-12-16 cs.CL cs.LG
Knowing What's Missing: Assessing Information Sufficiency in Question Answering
Adobe Research(Adobe研究院)
本文提出了一种结构化框架,通过识别和验证缺失信息来提高问答系统中信息充分性的评估准确性。
2026-03-21 cs.CL
Generating Rationales in Visual Question Answering
UC San Diego(加州大学圣地亚哥分校)
尽管近年来在视觉推理(VQA)方面取得了一些进展,但要确定成功在多大程度上归因于良好的推理和理解能力仍然是一个挑战。本质上,我们的任务是为VQA模型预测的答案生成理论依据。我们使用来自视觉常识推理(VCR)任务的数据,因为它包含了地面真理推理以及视觉问题和答案。我们首先研究了领先的VCR模型之一ViLBERT中的常识性理解,通过使用最先进的语言模型GPT-2从预训练的权重生成基本原理。接下来,我们试图以端到端的方式联合训练ViLBERT和GPT-2,同时完成预测VQA中的答案和生成理由的双重任务。我们认为这种培训通过定量和定性的评价指标在VQA模型中注入了常识理解
2020-04-04 cs.AI cs.CL cs.CV
DIFFQG: Generating Questions to Summarize Factual Changes
Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Duke University(杜克大学)
识别同一篇文章的两个版本之间的差异对于更新知识库和理解文章如何演变非常有用。成对文本在不同的情况下自然出现:记者撰写类似的新闻报道,权威网站的维护者必须保持信息的更新。我们建议将成对文档之间的事实变化表示为问答对,其中同一问题的答案在两个版本之间不同。我们发现,问答对可以灵活,简洁地捕捉更新的内容。通过提供成对的文档,注释者可以识别由一个段落回答但回答不同或无法由另一个段落回答的问题。我们发布了包含759个问答对和1153个没有事实变化的配对段落的例子的QG。这些问题旨在既明确又寻求信息,涉及复杂的编辑,超出了当前问题生成和事实变化检测系统的能力。我们的数据集将文档的两个版本之间的变化总结为问题和答案,以一种新的方式研究自动更新摘要。
2023-03-01 cs.CL
Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension
Stony Brook University(石溪大学);RIKEN(理化学研究所);Tohoku University(东北大学)
我们如何为多跳阅读理解(RC)生成简洁的解释?目前的支持句识别策略可以看作是对输入文本的一种抽取式的以问题为中心的摘要。然而,这些抽象的解释不一定是简洁的,即不足以回答一个问题。相反,我们提倡一种抽象的方法,我们建议生成一个以问题为中心的,抽象的输入段落摘要,然后将其馈送到RC系统。给定有限数量的人类注释的抽象解释,我们以半监督的方式训练抽象解释器,其中我们从监督模型开始,然后训练它进一步通过试错最大化简洁性促进的奖励函数。我们的实验表明,建议的抽象解释器可以产生更紧凑的解释比一个提取的解释器有限的监督(只有2k个实例),同时保持足够的。
2021-09-14 cs.CL
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
Generating Explanations in Medical Question-Answering by Expectation Maximization Inference over Evidence
KU Leuven(鲁汶大学);Inria Centre(法国国家信息与自动化研究所中心)
针对医学问答系统仅提供答案不足的问题,提出结合医学教科书知识、基于期望最大化推理聚焦证据的解释生成方法,在两个数据集上的Rouge-1和Bleu-4得分均显著优于现有最优模型。
2023-10-02 cs.AI cs.CL
CliniQG4QA: Generating Diverse Questions for Domain Adaptation of Clinical Question Answering
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学);George Mason University(乔治梅森大学)
临床问答(QA)的目的是基于临床文本自动回答来自医疗专业人员的问题。研究表明,在一个语料库上训练的神经QA模型可能无法很好地推广到来自不同机构或不同患者群体的新临床文本,其中大规模QA对不容易用于模型再训练。为了应对这一挑战,我们提出了一个简单而有效的框架CliniQG4QA,它利用问题生成(QG)来合成新的临床背景下的QA对,并在不需要手动注释的情况下增强QA模型。为了生成对于训练QA模型至关重要的各种类型的问题,我们进一步引入了一个基于seq2seq的问题短语预测(QPP)模块,该模块可以与大多数现有的QG模型一起使用,以使生成多样化。我们的综合实验结果表明,我们的框架生成的QA语料库可以提高QA模型在新的上下文(高达8%的绝对增益方面的精确匹配),和QPP模块在实现增益中起着至关重要的作用。
2021-12-11 cs.CL
Generating Highly Relevant Questions
Soochow University(苏州大学)
基于神经seq 2seq的问题生成(QG)容易生成与给定段落和目标答案相关性差的通用和单一问题。在本文中,我们提出了两种方法来解决这个问题。(1)通过部分复制机制,在生成问题时优先考虑与输入段落中的词在形态上接近的词;(2)通过基于QA的重排序器,从候选问题的n-最佳列表中选择QA和QG模型都偏好的问题。实验和分析表明,提出的两种方法大大提高了生成的问题与文章和答案的相关性。
2019-10-08 cs.CL
Putting People in LLMs' Shoes: Generating Better Answers via Question Rewriter
Osaka University(大阪大学)
提出问题重写器,通过单轮实例级提示优化增强人类问题对黑盒LLMs的可理解性,利用直接偏好优化训练,无需人工标注,在多个黑盒LLMs和LFQA数据集上提升答案质量。
2025-02-25 cs.AI cs.CL
An Adaptive Framework for Generating Systematic Explanatory Answer in Online Q&A Platforms
Alibaba Group(阿里巴巴集团)
本文提出SynthRAG框架,通过自适应大纲和系统性信息生成提升复杂问答质量,在知乎部署中平均获5.73个赞同并超过79.8%的人类回答者。
2024-10-23 cs.AI cs.CL
What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
HPI / University of Potsdam(HPI/波茨坦大学);Utrecht University(乌特勒支大学);Google DeepMind(谷歌DeepMind)
本文提出简单方法评估LLM隐式规划,通过押韵生成和问答案例展示其可扩展性,发现隐式规划在1B参数模型中普遍存在,为AI安全提供新视角。
2026-05-11 cs.AI cs.CL cs.LG
If beam search is the answer, what was the question?
ETH Zürich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学)
令人惊讶的是,神经语言生成器的精确最大后验(MAP)解码经常导致低质量的结果。相反,大多数关于语言生成任务的最先进的结果是使用束搜索获得的,尽管其搜索出错率非常高。这意味着MAP目标本身并不能表达我们在文本中所期望的属性,这就值得提出一个问题:如果束搜索是答案,那么问题是什么?我们将束搜索框定为不同解码目标的精确解,以便深入了解为什么仅在模型下的高概率可能不指示充分性。我们发现,束搜索强制均匀的信息密度在文本中,认知科学的动机属性。我们提出了一组解码目标,明确执行此属性,并发现这些目标的精确解码时遇到的问题,解码校准不良的语言生成模型。此外,我们分析了使用各种解码策略产生的文本,并看到,在我们的神经机器翻译实验中,该属性的遵守程度与BLEU密切相关。
2021-01-17 cs.CL
No Single Best Model for Diversity: Learning a Router for Sample Diversity
New York University(纽约大学);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究了如何通过路由器选择最佳模型以生成多样化的响应,发现无单一模型在广泛提示下表现最佳,且在不同数据集上具有泛化能力。
2026-08-12 cs.CL
MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering
University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
本文提出多表问答任务及 MultiTabQA 模型,通过构建大规模 SQL-表格答案预训练数据集并引入表格专用评估指标,在多个数据集上超越现有单表问答模型,实现跨表推理与表格答案生成。
2023-05-24 cs.AI cs.CL
Jointly Generating and Attributing Answers using Logits of Document-Identifier Tokens
Dir. Technologies Innovation, SNCF(技术创新部,法国国家铁路公司)
提出 LoDIT 方法,在 RAG 中利用文档标识符 token 的 logits 联合生成与归因答案,在 Trust-Align 基准上显著优于现有模型,兼具低延迟与鲁棒性。
2025-08-12 cs.CL cs.IR
Deep Discourse Analysis for Generating Personalized Feedback in Intelligent Tutor Systems
University of Edinburgh(爱丁堡大学);Korbit Technologies(Korbit 科技公司);University of Cambridge(剑桥大学);McGill University(麦吉尔大学);Mila(Mila 人工智能研究所)
我们探索在智能教学系统(ITS)中创建自动化,个性化的反馈。我们的目标是找出学生答案中正确和不正确的概念,以实现更好的学生学习收益。虽然存在提供个性化反馈的自动方法,但它们并没有明确地告知学生答案中的哪些概念是正确的或不正确的。我们的方法涉及使用神经话语分割和分类技术分解学生的答案。这种分解产生了一个关系图,涵盖了所有的话语单位的参考解决方案和学生的答案。我们使用这种推断的关系图结构和神经分类器将学生的答案与参考解决方案相匹配,并生成个性化的反馈。虽然这个过程是完全自动化和数据驱动的,但生成的个性化反馈是高度上下文相关的,领域感知的,并有效地针对每个学生的误解和知识差距。我们测试我们的方法在一个基于对话的ITS,并证明我们的方法在高质量的反馈和显着提高学生的学习收益的结果。
2021-03-13 cs.CL
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
在视觉问答(VQA)中,机器必须回答给定的相关图像的问题。最近,可访问性研究人员探索了VQA是否可以部署在现实世界中,视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而,大多数现有的VQA基准测试数据集都集中在机器“理解”上,目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集(VQA-v2)和可访问性数据集(VizWiz)之间的差异来回答这个问题。根据我们的研究结果,我们讨论了VQA的可访问性的机遇和挑战,并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
What Can Secondary Predictions Tell Us? An Exploration on Question-Answering with SQuAD-v2.0
自然语言处理的性能,特别是问答任务的性能,通常是通过比较模型最有信心的(主要)预测和黄金答案(地面真相)来衡量的。我们正在证明,即使对于失败的例子,量化模型预测正确答案的接近程度也是有用的。我们将一个例子的黄金排名(GR)定义为与地面事实完全匹配的最有信心的预测的排名,并展示了为什么这样的匹配总是存在。对于我们分析的16个Transformer模型,次级预测空间中大多数完全匹配的黄金答案都非常接近顶级。我们将次要预测称为那些在置信概率降序中排名在0以上的预测。我们演示了如何GR可以用来分类的问题,并可视化他们的难度谱,从持久的接近成功的持续极端失败。我们在整个测试集上推导出一个新的聚合统计量,称为黄金秩插值中位数(GRIM),它量化了失败预测与模型所做的最佳选择的接近程度。为了开发一些直觉并探索这些指标的适用性,我们使用了斯坦福问答数据集(SQuAD-2)和Hugging Face中心的一些流行的Transformer模型。我们首先证明GRIM与F1和精确匹配(EM)分数不直接相关。然后,我们计算和可视化这些分数为各种Transformer架构,探索其适用性的错误分析聚类失败的预测,并比较它们如何与其他训练诊断,如EM和F1分数。最后,我们提出了各种研究目标,如扩大这些指标的数据汇集及其在对抗训练中的可能用途。
2022-10-24 cs.AI cs.CL cs.LG