Knowing What's Missing: Assessing Information Sufficiency in Question Answering
Adobe Research(Adobe研究院)
本文提出了一种结构化框架,通过识别和验证缺失信息来提高问答系统中信息充分性的评估准确性。
2026-03-21 cs.CL
Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage
Georgia Institute of Technology(佐治亚理工学院);Salesforce AI Research(Salesforce人工智能研究院)
本文提出基于子问题覆盖度的RAG评估框架,将子问题分为核心、背景和后续三类,发现商用答案引擎遗漏约50%核心子问题,并证明利用核心子问题可将RAG系统胜率提升至74%。
2024-10-20 cs.CL
What Makes Reading Comprehension Questions Easier?
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Tohoku University(东北大学);National Institute of Informatics(国立信息学研究所)
为机器阅读理解(MRC)创建数据集的一个挑战是收集需要对语言进行复杂理解的问题,而不仅仅是使用表面线索来回答。在这项工作中,我们调查了是什么让最近12个MRC数据集的问题更容易,有三种问题风格(答案提取,描述和多项选择)。我们建议采用简单的算法将每个数据集分为简单和困难的子集,并检查每个子集的两个基线模型的性能。然后,我们手动注释从每个子集的有效性和必要的推理技能,调查哪些技能解释简单和困难的问题之间的差异采样的问题。从这项研究中,我们观察到(i)与整个数据集相比,硬子集的基线表现显着下降,(ii)与简单问题相比,硬问题需要知识推理和多句推理,(iii)多项选择题往往需要比答案提取和描述问题更广泛的推理技能。这些结果表明,人们可能高估了MRC的最新进展。
2018-08-28 cs.AI cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University(坎努尔大学)
在问答(QA)系统中处理问题的第一步是对问题进行详细分析,以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题:一个Stanford POS Tagger和阿拉伯语解析器,一个命名实体识别器,分词器,停止词删除,问题扩展,问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器,使用来自此分析的特征来检测问题的重要元素,包括:1)问题中涉及答案的部分(焦点); 2)问题中的不同术语,用于确定所要求的实体类型(词汇答案类型); 3)问题扩展; 4)将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素,并使用平均倒数秩(MRR)准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland(马里兰大学);Google Research(谷歌研究院)
除了让机器回答问题的传统任务外,问答中的一个主要研究问题是创建有趣的、具有挑战性的问题,这些问题可以帮助系统学习如何回答问题,并揭示哪些系统最擅长回答问题。我们认为,创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛:您编写问题,让代理(人类或机器)回答问题,并宣布获胜者。然而,研究界忽视了数十年来从琐事社区创造充满活力,公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后,我们概述了关键的经验教训-消除歧义,区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Wollongong(伍伦贡大学)
提出DocTrace,一种多智能体RAG框架,通过查询触发的知识组织、文档结构感知和经验引导推理,解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题,在三个数据集上取得最佳性能。
2026-08-07 cs.CL
What Can We Learn From Almost a Decade of Food Tweets
University of Latvia(拉脱维亚大学);The University of Tokyo(东京大学)
我们提出了拉脱维亚Twitter食客语料库-一组推文在狭窄的域相关的食物,饮料,饮食和饮料。该语料库收集了超过8年的时间,包括200多万条推文,其中包含额外的有用数据。我们还分离了两个子语料库的问题和答案的推文和情感注释的推文。我们分析了语料库的内容,并通过使用语料库中的数据训练特定领域的问答和情感分析模型来展示子语料库的用例。
2020-09-01 cs.CL
What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study
Institute for Better Health(健康改善研究所);University of Toronto(多伦多大学);National Research Council Canada(加拿大国家研究委员会)
两个语言单位的语义相关程度一直被认为是理解意义的基础。此外,自动确定相关性具有许多应用,例如问答和摘要。然而,由于缺乏相关性数据集,以前的NLP工作主要集中在语义相似性上,这是相关性的一个子集。在本文中,我们介绍了一个语义文本相关性数据集STR-2022,该数据集使用比较注释框架手动注释了5,500个英语句子对,从而得到细粒度的分数。我们表明,人类的直觉,句子对的相关性是高度可靠的,重复注释的相关性为0.84。我们使用数据集来探索是什么使句子语义相关的问题。我们还展示了STR-2022用于评估句子表示的自动方法和各种下游NLP任务的实用性。我们的数据集、数据声明和注释问卷可以在以下网站找到:https://doi.org/10.5281/zenodo.7599667
2023-03-20 cs.CL
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA,通过训练和评估T5及GPT-3等基线模型,证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
What Disease does this Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams
Computer Science and Artificial Intelligence, MIT(麻省理工学院计算机科学与人工智能系);Tongji Medical College, HUST(华中科技大学同济医学院)
开放域问答(OpenQA)任务近年来受到了自然语言处理(NLP)界越来越多的关注。在这项工作中,我们提出了第一个自由形式的多项选择OpenQA数据集,用于解决医疗问题,MedQA,从专业的医学委员会考试收集。它包含三种语言:英语、简体中文和繁体中文,分别包含三种语言的12,723、34,251和14,123个问题。我们实现了基于规则的和流行的神经方法,依次结合文档检索器和机器理解模型。通过实验,我们发现即使是目前最好的方法,在英文、繁体中文和简体中文问题上的测试准确率也只能分别达到36.7%、42.0%和70.1%。我们希望MedQA能给现有的OpenQA系统带来巨大的挑战,并希望它能作为一个平台,在未来从NLP社区推广更强大的OpenQA模型。
2020-09-28 cs.AI cs.CL
What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets
Carnegie Mellon University(卡内基梅隆大学)
视频QA数据集中的问答偏差会误导多模态模型过拟合QA工件,并危及模型的泛化能力。了解这些QA偏见有多强以及它们来自哪里,可以帮助社区更准确地衡量进展,并为研究人员提供深入的见解来调试他们的模型。在本文中,我们分析了流行的视频问答数据集的QA偏差,发现预训练的语言模型可以正确回答37-48%的问题,而无需使用任何多模态上下文信息,远远超过了5-choose-1多项选择题的20%随机猜测基线。我们的消融研究表明,偏见可能来自注释者和问题类型。具体来说,在训练过程中看到的注释者被模型和推理更好地预测,抽象问题比事实,直接的问题产生更多的偏见。我们还根据经验表明,使用注释器非重叠训练测试分割可以减少视频QA数据集的QA偏差。
2020-07-07 cs.CL cs.CV cs.LG
Can AI Assistants Know What They Don't Know?
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对大语言模型驱动的AI助手易产生事实性错误的问题,研究构建专属Idk数据集对助手对齐,验证其可学会对未知问题弃权(不执行)作答,且作答准确率显著提升,为减少模型幻觉、提升真实性提供可行路径。
2024-01-28 cs.AI cs.CL
Asking for What Was Never Requested: Horizontal and Vertical Proactivity in Agents
IBM;Weizmann Institute of Science(魏茨曼科学研究所)
本文研究智能体主动性的内容维度,提出水平与垂直主动性,并设计Q&D方法训练提问者,在无需奖励模型下提升多跳问答中的信息获取,优于15倍大模型。
2026-09-30 cs.AI cs.CL
Question and Answer Test-Train Overlap in Open-Domain Question Answering Datasets
Facebook AI Research(Facebook 人工智能研究院);University College London(伦敦大学学院)
理想情况下,开放域问答模型应该表现出许多能力,从简单地记忆训练时看到的问题,到用训练期间看到的答案回答新的问题公式,再到用新的答案概括出完全新的问题。然而,单个聚合测试集分数并不能显示模型真正拥有的能力的全貌。在这项工作中,我们进行了详细的研究,测试集的三个流行的开放域基准数据集就这些能力。我们发现60 - 70%的测试时间答案也存在于训练集中的某个地方。我们还发现,30%的测试集问题在相应的训练集中有一个近乎重复的释义。利用这些发现,我们评估了各种流行的开放领域模型,以更深入地了解它们实际上可以推广到什么程度,以及是什么推动了它们的整体性能。我们发现,所有模型在无法从训练集中记忆的问题上的表现都要差得多,重复和非重复数据之间的平均绝对性能差异为63%。最后,我们证明了简单的最近邻模型优于BART闭卷QA模型,进一步强调了训练集记忆在这些基准测试中的作用
2020-08-06 cs.AI cs.CL
Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions
University of Birmingham(伯明翰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center i.G.(CISPA亥姆霍兹中心)
深入的场景描述和问答任务大大增加了当今场景理解的定义范围。虽然这些任务原则上是开放式的,但目前的提法主要侧重于描述所考虑的场景的当前状态。相比之下,在本文中,我们专注于未来的状态的场景,也有条件的行动。我们将此作为一个问答任务,其中必须给出关于未来场景状态的答案,给出对当前场景的观察,以及包括假设动作的问题。我们的解决方案是一个混合模型,它集成了一个物理引擎到一个问答架构,以预期未来的场景状态所造成的对象-对象交互的行动。我们展示了这个具有挑战性的新问题的初步结果,并与基线进行了比较,在基线上,我们的表现优于完全数据驱动的端到端学习方法。
2018-11-21 cs.CL cs.CV cs.LG
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
PAQ: 65 Million Probably-Asked Questions and What You Can Do With Them
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
开放领域的问答模型直接利用问答(QA)对,如闭卷问答(CBQA)模型和问答对检索器,显示出承诺的速度和内存相比,传统的模型,检索和阅读文本语料库。QA对检索器还提供了可解释的答案,高度的控制,并且在测试时用新知识进行更新是微不足道的。然而,这些模型缺乏检索和阅读系统的准确性,因为相对于像维基百科这样的文本语料库,可用的QA对覆盖的知识少得多。为了促进改进的QA对模型,我们引入了可能问的问题(PAQ),这是一个非常大的65M自动生成的QA对资源。我们引入了一个新的QA对检索器,RePAQ,以补充PAQ。我们发现PAQ抢占和缓存测试问题,使RePAQ能够匹配最近的检索和读取模型的准确性,同时速度明显更快。使用PAQ,我们训练CBQA模型,其性能超过可比基线5%,但落后于RePAQ超过15%,表明显式检索的有效性。RePAQ可以配置大小(低于500MB)或速度(每秒超过1K个问题),同时保持高准确性。最后,我们展示了RePAQ在选择性QA方面的优势,当它可能不正确时,我们会放弃回答。这使得RePAQ能够“后退”到更昂贵的最先进的模型,从而形成一个比单独的最先进的模型更精确、速度快2倍的组合系统。
2021-02-13 cs.AI cs.CL cs.LG
Reinforced Dynamic Reasoning for Conversational Question Generation
Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
本文研究了一种新的会话问题生成(CQG)任务,该任务是基于段落和会话历史(即,前几轮问答对)。CQG是开发智能代理的关键任务,可以驱动问答式对话或测试用户对给定段落的理解。为此,我们提出了一种新的方法,名为增强动态推理(ReDR)网络,它是基于一般的编码器-解码器框架,但采用了一种动态的推理过程,以更好地理解已经问了什么,接下来要问什么的段落。为了鼓励产生有意义的问题,我们利用流行的问答(QA)模型来提供反馈,并使用强化学习机制来微调问题生成器。最近发布的CoQA数据集上的实证结果表明,我们的方法与各种基线和模型变量相比是有效的。此外,为了显示我们的方法的适用性,我们还将其应用于创建多轮问答会话的SQuAD中的段落。
2019-07-29 cs.AI cs.CL
What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
HPI / University of Potsdam(HPI/波茨坦大学);Utrecht University(乌特勒支大学);Google DeepMind(谷歌DeepMind)
本文提出简单方法评估LLM隐式规划,通过押韵生成和问答案例展示其可扩展性,发现隐式规划在1B参数模型中普遍存在,为AI安全提供新视角。
2026-05-11 cs.AI cs.CL cs.LG
What Can Secondary Predictions Tell Us? An Exploration on Question-Answering with SQuAD-v2.0
自然语言处理的性能,特别是问答任务的性能,通常是通过比较模型最有信心的(主要)预测和黄金答案(地面真相)来衡量的。我们正在证明,即使对于失败的例子,量化模型预测正确答案的接近程度也是有用的。我们将一个例子的黄金排名(GR)定义为与地面事实完全匹配的最有信心的预测的排名,并展示了为什么这样的匹配总是存在。对于我们分析的16个Transformer模型,次级预测空间中大多数完全匹配的黄金答案都非常接近顶级。我们将次要预测称为那些在置信概率降序中排名在0以上的预测。我们演示了如何GR可以用来分类的问题,并可视化他们的难度谱,从持久的接近成功的持续极端失败。我们在整个测试集上推导出一个新的聚合统计量,称为黄金秩插值中位数(GRIM),它量化了失败预测与模型所做的最佳选择的接近程度。为了开发一些直觉并探索这些指标的适用性,我们使用了斯坦福问答数据集(SQuAD-2)和Hugging Face中心的一些流行的Transformer模型。我们首先证明GRIM与F1和精确匹配(EM)分数不直接相关。然后,我们计算和可视化这些分数为各种Transformer架构,探索其适用性的错误分析聚类失败的预测,并比较它们如何与其他训练诊断,如EM和F1分数。最后,我们提出了各种研究目标,如扩大这些指标的数据汇集及其在对抗训练中的可能用途。
2022-10-24 cs.AI cs.CL cs.LG
Ask what's missing and what's useful: Improving Clarification Question Generation using Global Knowledge
UC San Diego(加州大学圣迭戈分校);Microsoft Research(微软研究院)
能够生成澄清问题,即,在给定的上下文中识别有用的缺失信息的问题对于减少歧义是重要的。人类利用以前在类似背景下的经验来形成一个全局视图,并将其与给定的背景进行比较,以确定在背景中缺少什么以及什么是有用的。受此启发,我们提出了一个澄清问题生成模型,我们首先通过采取全局和局部视图之间的差异来确定缺少什么,然后训练模型来确定什么是有用的,并生成一个关于它的问题。我们的模型优于几个基准,由自动度量和人类判断。
2021-04-14 cs.CL
I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection
Multimedia Communications Lab, Technical University of Darmstadt(达姆施塔特工业大学多媒体通信实验室)
大多数学习者在被动阅读课本时不能发展深层的文本理解。对学习者所读的内容提出问题是一种行之有效的培养学生阅读能力的方法。然而,许多教科书缺乏自我评估问题,因为编写它们既耗时又昂贵。自动问题生成器可以通过生成合理的教学问题来缓解这种短缺。然而,自动生成问题带来了语言和教学上的挑战。我们应该问什么?那么,我们如何自动表达这个问题呢?我们解决这些挑战与自动问题生成器接地学习理论。本文介绍了一种新的教学意义的内容选择机制,发现有问题的句子和答案中的任意教科书内容。我们与教育专家进行了一项实证评估研究,在六个不同的领域注释150个生成的问题。结果表明,生成的问题的语言质量高。此外,评估结果意味着,大多数生成的问题询问与给定的文本相关的中心信息,并可能促进在特定的学习场景中的文本理解。
2021-10-08 cs.CL
What Patients Really Ask: Exploring the Effect of False Assumptions in Patient Information Seeking
Duke University(杜克大学);Stanford University(斯坦福大学)
研究探讨了患者实际提问中错误假设的影响,通过分析谷歌People Also Ask数据集,发现现有LLM在识别日常问题中的错误假设方面表现不佳。
2026-03-18 cs.CL
What's the best place for an AI conference, Vancouver or ______: Why completing comparative questions is difficult
Google Research(谷歌研究院)
虽然像BERT这样的大型神经语言模型(LM)可以被微调,在许多NLP任务上产生最先进的结果,但通常不清楚这些模型实际上学习了什么。在这里,我们研究使用这样的LM来填充人类编写的比较问题中的实体,比如“哪个国家更老,印度还是_?”也就是说,我们研究神经LM提出(而不是回答)合理问题的能力。我们发现,这种填空任务的准确性与人类对问题是否合理的判断密切相关,并且这些模型可以经过训练,在完成三个不同子域的比较问题时达到接近人类水平的性能。然而,分析表明,他们所学到的东西未能对任何关于哪些实体在语义上是可比或相似的广泛概念进行建模-相反,训练的模型是非常特定于领域的,并且性能与训练集中观察到的特定实体之间的共现高度相关。这对于在一般文本语料库上预训练的模型以及在大型比较问题语料库上训练的模型都是如此。因此,我们的研究加强了最近的结果,即很难根据特定基准问题的表现来声称深度模型的世界知识或语言能力。我们公开了我们的评估数据集,以促进未来在人类交互标准下对此类模型中复杂理解和推理的研究。
2021-04-05 cs.CL
You Can Tell Who's Asking: What the Web's Questions Are Made Of, and Where They Come From
University of Pennsylvania(宾夕法尼亚大学);Bodhium Labs(Bodhium 实验室)
通过分析134亿次网络问题出现,发现来源可识别、频率不反映需求,且真实问题占比十二年间下降79%,网络问题已从人类提问转向为机器制造。
2026-09-22 cs.CL
What Are People Asking About COVID-19? A Question Classification Dataset
ProtagoLabs(普罗塔戈实验室);International Monetary Fund(国际货币基金组织);Dartmouth College(达特茅斯学院)
提出COVID-Q数据集,包含1,690个COVID-19问题,标注为15类和207簇,发现常见问题多未被权威FAQ解答,BERT基线分类准确率58.1%,聚类49.5%,可用于系统开发或模型评估。
2023-09-08 cs.CL
If beam search is the answer, what was the question?
ETH Zürich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学)
令人惊讶的是,神经语言生成器的精确最大后验(MAP)解码经常导致低质量的结果。相反,大多数关于语言生成任务的最先进的结果是使用束搜索获得的,尽管其搜索出错率非常高。这意味着MAP目标本身并不能表达我们在文本中所期望的属性,这就值得提出一个问题:如果束搜索是答案,那么问题是什么?我们将束搜索框定为不同解码目标的精确解,以便深入了解为什么仅在模型下的高概率可能不指示充分性。我们发现,束搜索强制均匀的信息密度在文本中,认知科学的动机属性。我们提出了一组解码目标,明确执行此属性,并发现这些目标的精确解码时遇到的问题,解码校准不良的语言生成模型。此外,我们分析了使用各种解码策略产生的文本,并看到,在我们的神经机器翻译实验中,该属性的遵守程度与BLEU密切相关。
2021-01-17 cs.CL
What Does the Indian Parliament Discuss? An Exploratory Analysis of the Question Hour in the Lok Sabha
Indian Association for the Cultivation of Science(印度科学促进会)
本文利用现代文本分析工具对 TCPD-IPD 数据集进行探索性分析,通过语料库统计和动态主题模型研究主题时间演变,揭示了印度议会下院质询时间对话对政治与社会经济紧张局势的反映。
2023-04-01 cs.CL
Give Me Convenience and Give Her Death: Who Should Decide What Uses of NLP are Appropriate, and on What Basis?
The University of Melbourne(墨尔本大学)
随着NLP能力的不断增强,加上人们对研究伦理层面的认识,人们提出了一些问题,即特定的数据集和任务是否应该被视为NLP研究的禁区。我们针对EMNLP 2019中关于自动法律判决的论文研究了这个问题,该论文引起了一些争论,询问是否应该允许发表该论文,谁应该被指控做出这样的决定,以及基于什么。我们特别关注数据声明在伦理评估研究中的作用,但也讨论了双重用途的话题,并研究了其他科学学科中类似辩论的结果。
2020-05-27 cs.CL
Modeling Complex Event Scenarios via Simple Entity-focused Questions
Stony Brook University(石溪大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);United States Naval Academy(美国海军学院)
事件场景通常是复杂的,并且涉及通过不同实体参与者连接的多个事件序列。探索如此复杂的场景需要能够通过不同的序列进行分支,这是标准事件语言建模难以实现的。为了解决这个问题,我们提出了一个问题引导的生成框架,模型的事件在复杂的情况下,回答有关参与者的问题。在生成过程的任何一步,框架都使用先前生成的事件作为上下文,但生成下一个事件作为三个问题之一的答案:参与者还做了什么,参与者还发生了什么,或者还发生了什么。参与者和问题本身可以被采样或作为来自用户的输入提供,从而允许可控的探索。我们的实证评估表明,这个问题引导的生成提供了更好的覆盖面的参与者,不同的事件在一个域,类似的困惑建模事件序列,和更有效的控制交互式模式生成。
2023-02-14 cs.CL
Relevant CommonSense Subgraphs for "What if..." Procedural Reasoning
Michigan State University(密歇根州立大学)
我们研究的挑战,学习因果推理过程中的文本回答“如果.“在需要外部常识知识时提问。我们提出了一种新的多跳图推理模型,以1)有效地从一个大型的知识图谱中提取一个常识子图与最相关的信息; 2)通过推理从常识子图获得的表示和问题和上下文之间的上下文交互来预测因果答案。我们在WIQA基准上评估了我们的模型,并与最近的模型相比实现了最先进的性能。
2022-06-07 cs.CL
CONSISTENT: Open-Ended Question Generation From News Articles
Columbia University(哥伦比亚大学);The New York Times R&D(纽约时报研发部)
最近关于问题生成的工作主要集中在事实类问题上,例如关于基本事实的谁、什么、哪里、什么时候。产生开放式的为什么,如何,什么等问题,需要长形式的答案已被证明更困难。为了便于生成开放式的问题,我们提出了一致的,一个新的端到端的系统,用于生成开放式的问题,回答和忠实于输入文本。使用新闻文章作为一个值得信赖的实验基础,我们证明了我们的模型的实力超过几个基线使用自动和人为=基于评估。我们提供了一个专家生成的开放式问题的评估数据集。我们讨论了新闻媒体组织的潜在下游应用。
2022-10-20 cs.CL
Relational Gating for "What If" Reasoning
Michigan State University(密歇根州立大学)
本文讨论了学习的挑战,做程序推理的文本回答“如果......“问题。我们提出了一种新的关系门控网络,学习过滤的关键实体和关系,并学习上下文和交叉表示的过程和问题找到答案。我们的关系门控网络包含一个实体门控模块,关系门控模块和上下文交互模块。这些模块有助于解决“如果...“推理问题。我们表明,成对关系建模有助于捕捉高阶关系,并找到推理的原因和影响的程序描述。我们提出的方法在WIQA数据集上实现了最先进的结果。
2021-05-27 cs.CL
Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
针对text-to-SQL无法处理歧义和不可回答问题,研究总结了6类特征并提出反事实示例生成方法与弱监督DTE模型,实现错误检测、定位与解释,在真实和生成示例上均取得最佳效果。
2023-05-19 cs.CL
What's The Latest? A Question-driven News Chatbot
UC Berkeley(加州大学伯克利分校)
这项工作描述了一个自动新闻聊天机器人,它从一组不同的新闻文章中提取内容,并与用户创建关于新闻的对话。该系统的关键组成部分包括自动组织的新闻文章到专题聊天室,自动生成的问题到对话中的集成,以及一种新的方法来选择哪些问题,以避免重复的建议。我们描述了算法框架,并提出了一个可用性研究的结果,表明使用该系统的新闻读者成功地从事多轮对话的具体新闻故事。
2021-05-12 cs.CL cs.HC
What Makes Reading Comprehension Questions Difficult?
National Institute of Informatics(国立信息学研究所);New York University(纽约大学)
对于一个在研究中有用的自然语言理解基准,它必须包含足够多样和困难的示例,以区分当前和不久的将来的最先进的系统。然而,我们还不知道如何最好地选择文本源来收集各种具有挑战性的例子。在这项研究中,我们众包多项选择阅读理解问题的段落从七个不同的质量来源,分析哪些属性的段落有助于收集的例子的难度和问题类型。令我们惊讶的是,我们发现文章来源,长度和可读性的措施并没有显着影响问题的难度。通过我们对七种推理类型的人工注释,我们观察到段落来源和推理类型之间的几个趋势,例如,在为技术文章而写的问题中,逻辑推理往往是需要的。这些结果表明,当创建一个新的基准数据集时,选择一组不同的段落可以帮助确保不同的问题类型,但段落难度不需要优先考虑。
2022-03-12 cs.AI cs.CL
What makes us curious? analysis of a corpus of open-domain questions
University of Bristol(布里斯托大学);We the Curious
每天,人们都会通过智能设备或在线论坛提出简短的问题,以寻求各种问题的答案。随着收集的问题数量的增加,很难为每个问题提供答案,这是对自动问答越来越感兴趣的原因之一。有些问题与已经回答的现有问题类似,而另一些问题可以通过外部知识来源(如维基百科)来回答。一个重要的问题是,通过分析大量问题可以揭示什么。2017年,布里斯托尔的“我们好奇”科学中心启动了一个项目,以捕捉布里斯托尔人的好奇心:该项目收集了10,000多个关于各种主题的问题。由于在收集过程中没有给出任何规则,这些问题是真正的开放领域,涉及各种主题。科学中心的一个重要目标是了解参观者在科学之外的关切,特别是在社会和文化问题上。我们通过开发一个人工智能工具来解决这个问题,该工具可用于执行各种处理任务:检测问题之间的等价性;检测主题和类型;以及回答问题。当我们专注于创建一个“通才”工具时,我们用来自不同数据集的标记数据对其进行了训练。我们将生成的模型称为QBERT。本文介绍了我们从WTC开放域问题语料库的自动分析中提取的信息。
2021-10-28 cs.AI cs.CL cs.LG
What Factors Affect LLMs and RLLMs in Financial Question Answering?
School of Computer Science and Engineering, Macau University of Science and Technology, China(澳门科技大学计算机科学与工程学院);SKLPlanets, Macau University of Science and Technology, China(澳门科技大学月球与行星科学国家重点实验室);School of Economics, Anhui University, China(安徽大学经济学院);School of Energy and Power Engineering, Huazhong University of Science and Technology, China(华中科技大学能源与动力工程学院)
研究探讨了提示方法、代理框架和多语言对齐方法对LLMs和RLLMs在金融问答任务中的影响,发现提示方法和代理框架能提升LLMs性能,而RLLMs自身具备Long CoT能力,传统方法对其提升有限。
2026-04-12 cs.CL
Can questions summarize a corpus? Using question generation for characterizing COVID-19 research
School of Electrical and Computing Engineering, UNICAMP(坎皮纳斯州立大学电气与计算机工程学院);NeuralMind Inteligência Artificial(NeuralMind 人工智能(公司));David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·谢里顿计算机科学学院)
一些文本数据的潜在问题是什么?在这项工作中,我们研究使用问题生成模型来探索一系列文件。我们的方法被称为corpus 2 question,包括在语料库上应用预先训练的问题生成模型,并按频率和时间聚合生成的问题。这种技术是主题建模和词云等方法的替代方法,用于汇总大量文本数据。结果显示,将corpus 2 question应用于与COVID-19相关的科学文章语料库,可以生成与该主题相关的问题。最常见的问题是“什么是新冠肺炎”和“新冠肺炎的治疗方法是什么”。最常见的1000个问题包括“群体免疫的阈值是多少”和“ace 2在病毒进入中的作用是什么”。我们表明,所提出的方法产生了类似的问题,从CovidQA问答数据集的27个专家提出的问题中的13个。复制我们实验的代码和生成的问题可以在以下网站获得:https://github.com/unicamp-dl/corpus2question
2020-09-19 cs.CL cs.IR cs.LG
What Types of Questions Require Conversation to Answer? A Case Study of AskReddit Questions
The Pennsylvania State University(宾夕法尼亚州立大学)
本文通过分析AskReddit的500个开放式问题,发现需要对话解答的问题多具社会性与个人性,为未来对话系统设计满足用户需求提供了见解。
2023-04-03 cs.CL cs.HC
It Is Not About What You Say, It Is About How You Say It: A Surprisingly Simple Approach for Improving Reading Comprehension
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
该研究聚焦阅读理解任务,探究输入顺序与输入强调对大模型性能的影响,发现上下文前置、强调上下文可提升准确率,且仅拼接几个token的简单方法就能让小模型超越大模型。
2024-10-29 cs.CL
"What makes a question inquisitive?" A Study on Type-Controlled Inquisitive Question Generation
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Educational Testing Service(教育考试服务中心)
我们提出了一个类型控制的框架,好奇的问题生成。我们用问题类型注释一个查询问题数据集,训练问题类型分类器,并为类型控制的问题生成微调模型。实验结果表明,我们可以生成各种问题,坚持特定类型,同时从源文本中提取。我们还研究了从生成的集合中选择单个问题的策略,考虑到信息与~好奇问题分类器和从专家注释的小集合训练的成对排序器。使用成对排序器的问题选择在自动和手动评估中产生强有力的结果。我们的人工评估评估了生成的问题的多个方面,发现排名者选择了具有最佳语法(4.59),语义(4.37)和好奇心(3.92)的问题,评分范围为1-5,甚至可以与人类书面问题的表现相媲美。
2022-05-19 cs.AI cs.CL cs.LG
What Am I Missing? Question-Answering as Hidden State Probing
Department of Electrical and Computer Engineering & Ingenuity Labs, Queen’s University(电子与计算机工程系及Ingenuity实验室,女王大学);Conflict Analytics Lab, Queen’s University(冲突分析实验室,女王大学);Cornell Law School(康奈尔法学院);Vector Institute for AI(人工智能向量研究所)
提出将问答作为推理时干预手段,通过学生-教师框架探测隐藏状态,发现提问前的隐藏状态可预测最终正确性,并设计门控策略优化提问时机。
2026-05-29 cs.CL
What does Attention in Neural Machine Translation Pay Attention to?
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
神经机器翻译中的注意力提供了在每个翻译步骤对源句子的相关部分进行编码的可能性。因此,注意力也被认为是一个对齐模型。然而,还没有专门研究注意力的工作,并提供注意力模型所学到的东西的分析。因此,问题仍然是,如何注意力是相似或不同的传统对齐。在本文中,我们提供了详细的分析注意力,并比较它与传统的对齐。我们回答的问题是,注意力是否只能模拟翻译等价物或它捕获更多的信息。我们表明,注意力是不同的对齐在某些情况下,捕捉有用的信息以外的对齐。
2017-10-09 cs.CL
"What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL
Peking University(北京大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
在数据库的自然语言接口系统中,文本到SQL技术允许用户通过使用自然语言问题来查询数据库。虽然最近在这方面取得了重大进展,但大多数解析器在部署到实际系统中时可能会有所不足。一个主要原因是很难完全理解用户的自然语言问题。在本文中,我们包括人类在循环中,并提出了一种新的分析器独立的交互式方法(PIIA),与用户使用多选择问题,可以很容易地与任意分析器进行交互。实验进行了两个跨域的数据集,WikiSQL和更复杂的蜘蛛,五个国家的最先进的解析器。这表明,PIIA是能够提高文本到SQL的性能与有限的互动轮流使用模拟和人类的评价。
2020-11-09 cs.CL
What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种知识驱动的两阶段模型,用于在对话式调查中生成后续问题,并构建了带知识标注的数据集及无参考评估指标,实验证明其优于GPT基线。
2023-10-13 cs.CL cs.HC
Language, Language Models, and What We're Talking About
University of Groningen(格罗宁根大学)
该研究以意大利语语言模型为例,探讨语言模型的本质、测试数据的意义等问题,提出需区分技术产品型与研究工具型语言模型,明确其应产出的语言类型。
2026-09-04 cs.CL
What Questions Should Robots Be Able to Answer? A Dataset of User Questions for Explainable Robotics
King's College London, CDT in Safe and Trusted AI(国王学院伦敦大学,安全与可信人工智能中心);King's College London(国王学院伦敦大学)
本文通过收集100名参与者的1893个问题,构建了一个面向家用机器人的用户问题数据集,涵盖12个类别和70个子类别,旨在帮助机器人学家确定机器人需要回答的关键问题类型。
2026-05-22 cs.CL cs.HC cs.RO
What's to know? Uncertainty as a Guide to Asking Goal-oriented Questions
Australian Institute of Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
视觉对话问题的核心挑战之一是提出能够提供最有用信息的问题,以实现所需的目标。鼓励智能体提出正确的问题是困难的,因为我们不知道智能体需要什么信息来完成任务,我们也没有一个明确的模型来描述它已经知道的东西。我们提出了一个解决这个问题的贝叶斯模型的基础上的不确定性的隐式模型保持的视觉对话代理,并在用于选择适当的输出的功能。通过选择问题,最大限度地减少预测后悔相对于这个隐式模型的代理积极减少歧义。不确定性的贝叶斯模型还使得能够使用原则性方法来确定何时已经获得足够的信息,并且应该选择行动。我们评估我们的方法在两个面向目标的对话数据集,一个是基于视觉的协作任务,另一个是基于协商的任务。我们的不确定性感知信息搜索模型在这两个具有挑战性的问题优于其同行。
2018-12-16 cs.AI cs.CL cs.LG
What can we know about that which we cannot even imagine?
Santa Fe Institute(圣塔菲研究所)
本文通过探讨智能、语言和数学的局限性,部分回答了关于我们无法构想之物的认知边界问题。
2024-03-18 cs.CL physics.hist-ph
How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
该研究提出了GuidingQ数据集,包含1万个文内问题,通过分析其特征并探索语言模型生成方法,发现生成的高质量问题能有效提升读者的记忆与理解,效果接近人工编写。
2024-07-29 cs.AI cs.CL
What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出数据驱动方法,利用大语言模型生成并验证自然语言假设,解释问题难度差异,实验证明假设可预测且因果有效。
2026-10-02 cs.AI cs.CL
WIQA: A dataset for "What if..." reasoning over procedural text
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍了WIQA,第一个大规模的数据集“如果…“对程序性案文的质疑。WIQA包含三个部分:每个描述一个过程的段落的集合,例如,海滩侵蚀;每个段落的一组众包影响图,描述一个变化如何影响另一个;以及一个大型(40 k)的“如果......?“多项选择题来自图表。例如,给定一个关于海滩侵蚀的段落,暴风雨天气会导致更多或更少的侵蚀(或没有影响)?任务是根据相关段落回答问题。WIQA包含三类问题:对段落中提到的步骤的扰动;需要常识知识的外部(段落外)扰动;以及不相关(无影响)扰动。我们发现,最先进的模型达到了73.8%的准确率,远低于人类的96.3%。我们分析了挑战,特别是跟踪影响链,并将数据集作为一个开放的挑战提交给社区。
2019-09-10 cs.AI cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta(阿尔伯塔大学);EyeRead(EyeRead公司)
阅读是日常生活中不可或缺的一部分,但学习阅读对许多年轻学习者来说是一场斗争。在课堂上,教师可以使用理解问题来提高参与度,测试阅读技能,并提高记忆力。从历史上看,这些问题是由熟练的教师编写的,但最近语言模型已被用于生成理解问题。然而,许多现有的问题生成(QG)系统侧重于从文本中生成文字问题,并没有办法控制生成的问题的类型。在本文中,我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型(HTA-WTA),它利用了以前的数据集,并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集,其中包含与基于故事的阅读理解技能(SBRCS)注释的问题,允许更完整的读者评估。在几个实验中,我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明,HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG