Who's the Best Detective? LLMs vs. MLs in Detecting Incoherent Fourth Grade Math Answers
本文比较 GPT-3、BLOOM、YOU 与传统 ML 分类器在检测四年级数学不连贯答案上的表现，发现 LLM 在不同少样本设置下均逊于 ML，尤其受递归问答和学生拼写错误困扰。
2023-04-21 cs.AI cs.CL cs.LG
BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model
本研究提出BEST-KAG框架，通过多模态知识图谱建模与大语言模型，解决建筑工程标准问答的现有局限，在相关评估指标上优于主流大语言模型。
2026-08-13 cs.AI cs.CL
A Question-Entailment Approach to Question Answering
Lister Hill Center, U.S. National Library of Medicine（美国国家医学图书馆李斯特·希尔中心）；U.S. National Institutes of Health（美国国立卫生研究院）
大规模信息检索面临的挑战之一是开发细粒度和特定领域的方法来回答自然语言问题。尽管有大量的资源和数据集可用于答案检索，但由于问题理解和答案提取任务的困难，问答（QA）仍然是一个具有挑战性的问题。在质量保证中调查的一个有希望的轨道是将新问题映射到以前回答的“类似”问题。在本文中，我们提出了一种新的QA方法的基础上识别问题蕴涵（RQE），我们描述了QA系统和资源，我们建立和评估真实的医疗问题。首先，我们使用不同类型的数据集比较了RQE的机器学习和深度学习方法，包括开放和临床领域的文本推理，问题相似性和蕴涵。其次，我们结合IR模型与最佳RQE方法来选择隐含问题并对检索到的答案进行排名。为了研究端到端的QA方法，我们建立了MedQuAD集合，其中包含来自可信医疗来源的47，457个问答对，我们在本文的范围内介绍和分享。在TREC 2017 LiveQA中使用的评估过程之后，我们发现我们的方法超过了医疗任务的最佳结果，比最佳官方分数提高了29.8%。评估结果也支持QA的问题蕴涵的相关性，并强调了IR和RQE相结合的有效性，为未来的QA工作。我们的研究结果还表明，依赖于一组有限的可靠的答案来源可以带来实质性的改善医疗QA。
2019-01-23 cs.AI cs.CL cs.IR
Ensemble approach for natural language question answering problem
University of Science and Technology Cracow（克拉科夫科技大学）
机器理解，根据给定的上下文段落回答问题，是自然语言理解的典型任务。它需要对问题和上下文段落之间存在的复杂依赖关系进行建模。有许多神经网络模型试图解决问答问题。对最佳模型进行了选择、研究和相互比较。所有的模型都是基于神经注意力机制的概念。此外，还对SQUAD数据集进行了研究。提取查询子集，然后分析每个模型如何处理特定的查询组。基于这三个模型的集成模型的创建和测试SQUAD数据集。它优于最好的助记符阅读器模型。
2019-08-28 cs.AI cs.CL cs.LG
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune（浦那陆军技术学院）
多项选择机器阅读理解是一项困难的任务，它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人（或机器）阅读给定的文章、问题对，并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案，或者通过消除最差匹配答案。在这里，我们提出了GenNet模型，一个基于神经网络的模型。在这个模型中，我们首先从文章中生成问题的答案，然后将生成的答案与给定的答案进行匹配，最佳匹配的选项将是我们的答案。对于答案生成，我们使用S-网（Tan等人，2017）在SQuAD上训练的模型，为了评估我们的模型，我们使用了大规模RACE（来自考试的阅读理解数据集）（Lai et al.，2017年）的报告。
2020-03-18 cs.AI cs.CL
Incremental Reading for Question Answering
University of Amsterdam（阿姆斯特丹大学）；Google（谷歌）
任何一个执行目标导向的持续学习的系统，不仅必须增量地学习，而且必须增量地处理和吸收信息。这样的系统还必须了解其目标何时实现。在本文中，我们认为这些问题的背景下，问答。当前最先进的问答模型是对整个段落进行推理，而不是递增。正如我们将要展示的那样，简单的增量阅读方法，比如在模型中限制单向语言模型，性能很差。我们提出了对DocQA [2]模型的扩展，以允许增量读取而不损失准确性。该模型还联合学习提供迄今为止看到的文本的最佳答案，并预测这个迄今为止最好的答案是否足够。
2019-01-15 cs.AI cs.CL
Diverse and Non-redundant Answer Set Extraction on Community QA based on DPPs
Tokyo Institute of Technology（东京工业大学）；Yahoo Japan Corporation（雅虎日本公司）
在基于社区的问答（CQA）平台中，用户需要花费时间从许多答案中获得有用的信息。虽然一种解决方案是答案排名方法，但用户仍然需要仔细阅读排名靠前的答案。本文提出了一个新的任务，选择一个多样化的和非冗余的答案集，而不是排名的答案。我们的方法是基于决定点过程（DPPs），它计算答案的重要性和答案之间的相似性，通过使用BERT。我们建立了一个集中在日本CQA网站的数据集，在这个数据集上的实验表明，所提出的方法优于几个基线方法。
2020-11-18 cs.CL
BESTMVQA: A Benchmark Evaluation System for Medical Visual Question Answering
Xiamen University（厦门大学）；Meetyou AI Lab（美图AI实验室）
针对医学视觉问答领域存在的数据不足、模型评估缺乏统一设置导致可复现性差的问题，研究团队开发了BESTMVQA基准评估系统，可自动构建数据集并统一评估主流最优模型，为技术研发和医疗实践提供支持。
2023-12-13 cs.AI cs.CL
Answer Generation for Retrieval-based Question Answering Systems
University of Chicago（芝加哥大学）；Amazon Alexa（亚马逊Alexa）
基于转换器的模型的最新进展极大地提高了问答（QA）系统提供正确答案的能力;特别是，答案句子选择（AS 2）模型，基于检索的系统的核心组件，已经取得了令人印象深刻的结果。虽然这些模型通常是有效的，但当所有检索到的候选人质量较差时，即使它们包含正确的信息，也无法提供令人满意的答案。在AS 2中，模型被训练为从针对给定问题检索到的一组候选中选择最佳答案句子。在这项工作中，我们建议从一组AS 2顶级候选人生成答案。我们不是选择最佳候选，而是训练一个序列到序列的Transformer模型，以从候选集合中生成答案。我们对三个英语AS 2数据集的测试显示，与最先进的技术相比，准确性提高了32个绝对点。
2021-06-02 cs.CL
When Answers Stray from Questions: Hallucination Detection via Question-Answer Orthogonal Decomposition
Shanghai Jiao Tong University（上海交通大学）
本文提出QAOD框架，通过正交分解回答表示以抑制领域变化，结合双策略实现领域内检测与跨领域泛化，提升检测鲁棒性。
2026-05-14 cs.AI cs.CL cs.LG
Katecheo: A Portable and Modular System for Multi-Topic Question Answering
CV Digital；SIL International（SIL国际组织）；Sunshine Coast, Queensland, Australia（澳大利亚昆士兰州阳光海岸）；Dallas, TX, USA（美国德克萨斯州达拉斯）
我们介绍了一个模块化系统，可以部署在任何Kubernetes集群上，通过REST API进行问答。该系统称为Katecheo，包括三个可配置的模块，共同实现问题识别，将这些问题分类为主题，文档搜索和阅读理解。我们展示了系统使用公开的知识库文章从堆栈交换网站提取。然而，用户可以将系统扩展到任何数量的主题或域，而不需要修改任何模型服务代码或训练他们自己的模型。该系统的所有组件都是开源的，并在许可的Apache 2许可证下可用。
2020-01-31 cs.AI cs.CL cs.IR
Evaluation of medium-large Language Models at zero-shot closed book generative question answering
Hof University of Applied Sciences（霍夫应用科学大学）
本文评估了60亿至1000亿参数的中型语言模型在零样本闭卷生成式问答中的表现，发现最佳模型组合正确率达82.7%，超越ChatGPT，证明优质微调数据比单纯扩大参数规模更重要。
2023-07-03 cs.CL
Dr. Tux: A Question Answering System for Ubuntu users
University of Southern California（南加州大学）
各种各样的论坛和问答（Q&A）网站都可以在网上找到，让Ubuntu用户找到类似于他们的查询结果。然而，搜索结果通常是耗时的，因为它需要用户从大量的问题中找到与他/她的查询相关的特定问题实例。在本文中，我们提出了一个自动化的问答系统Ubuntu用户称为Tux博士，旨在回答用户的查询，从在线数据库中选择最相似的问题。原型是用Python实现的，并使用NLTK和CoreNLP工具进行自然语言处理。原型的数据来自AskUbuntu网站，其中包含约15万个问题。对原型进行人工评估所获得的结果是有希望的，同时也提供了一些有趣的改进机会。
2018-08-25 cs.CL cs.IR
Drilling Down into the Discourse Structure with LLMs for Long Document Question Answering
University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
针对LLM零样本长文档证据检索中上下文限制与计算成本问题，提出利用文档篇章结构创建浓缩表示的方法，在仅处理26%token下保留99.6%性能，并结合self-ask智能体在多跳问答中逼近使用黄金证据的零样本性能。
2023-11-22 cs.AI cs.CL cs.IR
Federated Language Models Under Bandwidth Budgets: Distillation Rates and Conformal Coverage
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院）
本文研究带宽受限节点间分布式语言模型的统计保证，提出联邦探针-对数蒸馏（FPLD）和联邦共形RAG（FC-RAG）两种协议，分别给出训练时的KL一致性率和推理时的无分布边际覆盖界，首次将带宽作为一阶统计参数。
2026-10-14 cs.CL cs.LG stat.ML
RikiNet: Reading Wikipedia Pages for Natural Question Answering
Sichuan University（四川大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft AI Research（微软人工智能研究院）；Microsoft Search Technology Center Asia（微软亚洲搜索技术中心）
阅读长文档来回答开放域问题在自然语言理解中仍然具有挑战性。在本文中，我们介绍了一个新的模型，称为RikiNet，它读取维基百科页面的自然问答。RikiNet包含一个动态段落双注意阅读器和一个多级级联答案预测器。读者通过利用一组互补的注意力机制来动态地表示文档和问题。然后将表示馈送到预测器中，以级联方式获得简短答案的跨度、长答案的段落和答案类型。在自然问题（NQ）数据集上，单个RikiNet在长答案和短答案任务上分别达到74.3 F1和57.9 F1。据我们所知，这是第一个超越单一人类表现的单一模型。此外，集合RikiNet在长回答和短回答任务中获得76.1 F1和61.3 F1，在NQ官方排行榜上取得最佳成绩
2020-04-30 cs.CL
Evaluation Methodology for Large Language Models for Multilingual Document Question and Answer
Microsoft Corporation（微软公司）
本文针对大语言模型的多语言能力展开评估研究，发现将母语的文档语境、问题与答案翻译至高资源语言的方式能取得最优效果。
2024-02-01 cs.AI cs.CL
A Method of Query Graph Reranking for Knowledge Base Question Answering
Soochow University（苏州大学）
针对知识库问答系统中的输入问题，提出了一种新的重排序方法，以更好地选择最优的查询图（知识图谱的一个子图）来检索答案。现有的方法遭受一个严重的问题，有一个显着的差距之间的前1名的性能和前n个结果的oracle得分。为了解决这个问题，我们的方法分为两个步骤：查询图排序和查询图重新排序的选择过程。在第一步中，我们为每个问题提供前n个查询图。然后，我们提出了重新排名的前n个查询图结合答案类型的信息。在两个广泛使用的数据集上的实验结果表明，我们提出的方法在WebQuestions数据集上取得了最好的结果，在ComplexQuestions数据集上取得了第二好的结果。
2022-04-27 cs.CL
When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs
针对大语言模型因果推理中多有效答案下投票失效的问题，提出无需训练的符号验证器CALVER，在CLEAR数据集等场景下显著提升了推理选择准确率。
2026-08-05 cs.AI stat.ML
Majority of the Bests: Improving Best-of-N via Bootstrapping
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Autodesk（Autodesk公司）；Polytechnique Montréal（蒙特利尔理工学院）；Mila - Quebec AI Institute（魁北克人工智能研究所）
本文提出MoB方法，通过Bootstrap估计最佳-N的输出分布并选择其模式，以提高在不完美奖励下的准确率。
2025-11-23 cs.AI cs.CL cs.LG
Knowledge-Enhanced Attentive Learning for Answer Selection in Community Question Answering Systems
City University of Hong Kong（香港城市大学）
在社区问答（CQA）系统中，答案选择任务的目的是为特定问题确定最佳答案，因此通过为新问题推荐合适的答案，在提高服务质量方面发挥着关键作用。CQA答案选择的最新进展集中在通过整合社区信息来提高性能，特别是回答者的专业知识（以前的答案）和权威性（在社交网络中的位置）。然而，现有的方法用于合并这样的信息是有限的：（a）只考虑专业知识或权威，但不是两者;（b）忽略领域知识，以区分以前的答案的主题;和（c）简单地使用权威信息来调整相似性分数，而不是充分利用它在测量问题和答案的片段之间的相似性的过程中。我们提出了知识增强的注意答案选择（Knowledge-enhanced Attentive Answer Selection，KAAS）模型，该模型通过以下方式提高了性能：（a）同时考虑回答者的专业知识和权威性;（b）利用人工标记的标签、标签的分类和投票作为领域知识来推断答案的专业知识;（c）使用社交网络（由跟随关系形成）的矩阵分解来推断回答者的权威性，并将这些信息并入评估片段之间的相似性的过程中。此外，对于垂直社区，我们结合了外部知识图谱，为垂直CQA系统捕获更专业的信息。然后采用注意力机制将问答文本的分析与前面提到的社区信息进行整合。垂直和一般CQA网站的实验表明，所提出的KAAS模型的优越性能。
2019-12-17 cs.AI cs.CL cs.IR
Comparative Analysis of 47 Context-Based Question Answer Models Across 8 Diverse Datasets
School of Chemistry and Molecular Biology, The University of Queensland（化学与分子生物学学院，昆士兰大学）；Computational Biology and Clinical Informatics, Baker Heart and Diabetes Institute（计算生物学与临床信息学，贝克心脏病与糖尿病研究所）；Mechanical Engineering Department, Khalifa University（机械工程系，卡利法大学）
本文比较了47种基于上下文的问题回答模型在8种数据集上的表现，发现ahotrod/electra_large_discriminator_squad2_512在多个数据集上表现最佳。
2025-11-29 cs.AI cs.CL
A Dataset of Open-Domain Question Answering with Multiple-Span Answers
Zhejiang Sci-Tech University（浙江理工大学）
本文提出CLEAN，一个全面的中文多跨度问答数据集，涵盖开放域主题并包含大量描述性回答实例，以填补中文MSQA基准的空白，并提供基线模型展示其特点与挑战。
2024-02-15 cs.AI cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
除了让机器回答问题的传统任务外，问答中的一个主要研究问题是创建有趣的、具有挑战性的问题，这些问题可以帮助系统学习如何回答问题，并揭示哪些系统最擅长回答问题。我们认为，创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛：您编写问题，让代理（人类或机器）回答问题，并宣布获胜者。然而，研究界忽视了数十年来从琐事社区创造充满活力，公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后，我们概述了关键的经验教训-消除歧义，区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
FashionVQA: A Domain-Specific Visual Question Answering System
Target Corporation（塔吉特公司）
人类通过各种感官形式来理解世界，但语言是他们最主要的沟通渠道。机器学习系统需要利用相同的多模态丰富性，以自然语言与人类进行信息交流;这对于专门处理视觉密集信息的系统尤其如此，例如对话、推荐和服装搜索引擎。为此，我们训练视觉问答（VQA）系统回答复杂的自然语言问题的服装在时尚的照片拍摄图像。我们的VQA模型成功训练的关键是使用不同的模板自动创建一个视觉问答数据集，其中包含来自20.7万张图像的项目属性的1.68亿个样本。样本生成采用了一种策略，认为问题的难度，答案对强调具有挑战性的概念。与最近使用多个数据集来预训练视觉问答模型的趋势相反，我们专注于保持数据集固定，同时从头开始训练各种模型，以将改进与模型架构变化隔离开来。我们看到，使用相同的Transformer来编码问题和解码答案，就像在语言模型中一样，实现了最大的准确性，这表明视觉语言模型（VLM）是我们数据集的最佳视觉问答系统。最佳模型的准确性超过了人类专家的水平，即使在回答不限于模板格式的人类生成的问题时也是如此。我们的方法，用于生成一个大规模的多模态领域特定的数据集提供了一个路径，训练能够在自然语言通信的专门模型。这种领域专家模型的训练，例如，我们的时尚VLM模型，不能仅仅依赖于从网络上收集的大规模通用数据集。
2022-08-24 cs.AI cs.CL cs.CV
Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications
BMW Group（宝马集团）
本文通过汽车行业封闭数据集评估RAG和微调在问答系统中的效果，发现RAG在质量和成本效率上优于微调，尤其适用于开源模型。
2026-05-10 cs.AI cs.CL
Ask the Right Questions: Active Question Reformulation with Reinforcement Learning
Google（谷歌）
我们将提问（QA）定义为一个强化学习任务，我们称之为主动问答。我们提出了一个代理，坐在用户和一个黑盒QA系统之间，并学会重新制定的问题，以引出最好的答案。代理用初始问题的潜在的许多自然语言重新表述来探测系统，并聚集返回的证据以产生最佳答案。使用策略梯度对重构系统进行端到端训练以最大化答案质量。我们在SearchQA上进行评估，SearchQA是从Jeopardy！中提取的复杂问题的数据集。代理的性能优于最先进的基本模型，扮演环境和其他基准的角色。我们还分析了语言的代理人已经学会了，而与问答系统进行交互。我们发现，成功的问题重新表述看起来很不同于自然语言的释义。该代理能够发现非平凡的重构策略，类似于经典的信息检索技术，如术语重新加权（tf-idf）和词干。
2018-03-02 cs.AI cs.CL
Learning to answer questions
INESC-ID Lisboa（里斯本INESC-ID）；Instituto Superior Tecnico（高等技术学院）
我们提出了一个开放域的学习，回答问题的基础上成功的过去的互动系统。我们遵循一种基于模式的方法来提取问题，其中将问题与其答案关联的（词汇-句法）模式被自动学习并用于回答未来的问题。结果表明，我们的方法有助于系统的最佳性能时，它是共轭与典型的嵌入式提取策略。此外，它允许系统使用已回答的问题进行学习，并纠正错误或未解决的过去问题。
2013-09-04 cs.CL
Query-Focused Extractive Summarisation for Finding Ideal Answers to Biomedical and COVID-19 Questions
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学对BioASQ协同任务和BioASQ 9 b B阶段的参与。在这些任务中，我们的参与集中在使用以查询为中心的提取摘要，以获得医学问题的理想答案。协同任务是一项关于COVID-19的端到端问答任务，系统需要返回相关文档、片段和给定问题的答案。由于缺乏训练数据，我们使用了一个以查询为中心的总结系统，该系统使用BioASQ 8b训练数据集进行训练，我们试验了检索文档和片段的方法。考虑到我们的系统检索到的文档和片段的质量很差，我们在返回的答案中观察到了相当好的质量。对于BioASQ 9 b任务的B阶段，相关文档和片段已包含在测试数据中。我们的系统将片段分割成候选句子，并在句子分类设置下使用BERT变体。该系统使用问题和候选句子作为输入，并经过训练以预测候选句子作为理想答案的一部分的可能性。运行获得了所有BioASQ 9 b批次的所有参与者的最佳或次佳ROUGE-F1结果。这表明，在分类设置中使用BERT是识别理想答案的非常强的基线。
2021-08-31 cs.CL cs.IR
Evaluating Fine-Tuning Efficiency of Human-Inspired Learning Strategies in Medical Question Answering
University of Oxford（牛津大学）
本研究评估五种人类启发策略在医学问答微调中的效率，发现交错策略平均最佳，但最佳策略因模型数据集组合而异，且LLM定义难度优于人工标签。
2024-11-05 cs.CL
Question rewriting? Assessing its importance for conversational question answering
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在会话式问答中，系统必须正确地解释互连的交互并生成知识性的答案，这可能需要从后台存储库检索相关信息。这个问题的最新方法利用神经语言模型，虽然不同的替代方案可以考虑在模块方面（a）表示用户的问题在上下文中，（b）检索相关的背景信息，（c）生成答案。本文提出了一个专门为面向搜索的对话式人工智能（SCAI）共享任务设计的对话式问答系统，并对其问题重写模块进行了详细分析。特别是，我们考虑了问题重写模块的不同变化，以评估对后续组件的影响，并对最佳系统配置所获得的结果进行了仔细的分析。我们的系统在共享任务中取得了最好的性能，我们的分析强调了会话上下文表示对整个系统性能的重要性。
2022-04-14 cs.CL cs.LG
A Survey on Why-Type Question Answering Systems
National Institute of Technology Kurukshetra（库鲁克谢特拉国家技术学院）
诸如Google、Yahoo和Baidu的搜索引擎根据用户的需要以相关网页集合的形式产生信息。问答系统通过提供一个最相关的答案，减少了对以自然语言询问的查询获得答案所花费的时间。据我们所知，对Why型问题的主要研究始于2000年初，我们对Why型问题的研究可以帮助探索事实发现和分析的新途径。本文介绍了Why型问答系统的研究现状，详细介绍了系统的体系结构、工作流程，并提出了进一步研究的方向。
2019-11-12 cs.CL cs.IR
Argument-Based Comparative Question Answering Evaluation Benchmark
University of Hamburg（汉堡大学）；HSE University（高等经济大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Skoltech（斯科尔科沃科学技术研究院）
针对自动比较式问答评估难题，本文提出含15项标准的论证式评估框架，并通过多模型与人工标注实验发现Llama-3 70B Instruct最适合摘要评估、GPT-4问答表现最佳。
2025-02-20 cs.CL
Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering
University of Washington（华盛顿大学）；Salesforce Research（Salesforce研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
在网络规模上搜索需要多跳推理的问题需要检索多个证据文档，其中一个文档通常与问题几乎没有词汇或语义关系。本文介绍了一种新的基于图的循环检索方法，该方法学习检索维基百科图上的推理路径来回答多跳开放域问题。我们的检索器模型训练一个递归神经网络，该网络通过对先前检索到的文档进行调节来学习顺序检索推理路径中的证据段落。我们的读者模型对推理路径进行排序，并提取出最佳推理路径中包含的答案跨度。在三个开放域QA数据集上的实验结果显示了最先进的结果，展示了我们方法的有效性和鲁棒性。值得注意的是，我们的方法在HotpotQA中实现了显着的改进，比之前的最佳模型高出14个点以上。
2020-02-14 cs.CL
DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion
National University of Singapore（新加坡国立大学）；Tencent（腾讯）
DiffuSpeech通过统一的语音-文本扩散模型，实现语音生成的同时生成内部推理，提升语音问答的准确性和语音质量。
2026-01-30 cs.AI cs.CL cs.LG
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
我们使用文档级的远程监督，将问题和相关文档与答案字符串配对，解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设（假设弱答案字符串标签和可能的答案提及跨度之间的对应关系）。我们表明这些假设相互作用，并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势，并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
SemEval-2016 Task 3: Community Question Answering
Qatar Computing Research Institute, HBKU（HBKU卡塔尔计算研究所）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Living（卡塔尔生活）
本文介绍了SemEval-2016年关于社区问答的任务3，我们以英语和阿拉伯语提供。对于英语，我们有三个子任务：问题-评论相似性（子任务A），问题-问题相似性（B）和问题-外部评论相似性（C）。对于阿拉伯语，我们有另一个子任务：重新排列一个新问题的正确答案（D）。18个团队参与了这项任务，为四个子任务提交了总共95次运行（38次主要运行和57次对比运行）。各种方法和功能被使用的参与系统，以解决不同的子任务，这在本文中进行了总结。最好的系统在子任务A、B、C和D中分别获得了79.19、76.70、55.41和45.83的官方分数（MAP）。这些分数明显好于我们提供的基线。对于子任务A，最好的系统在准确性方面比2015年的获胜者提高了3分。
2019-12-03 cs.CL cs.IR
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology（东京工业大学）；Delft University of Technology（代尔夫特理工大学）
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集，即，来自大量用户的投票。它包含近10K个问题，每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明，问答中的争议检测是必要的和具有挑战性的，争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
Generative Stock Question Answering
Tencent AI Lab（腾讯人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究了股票相关问答（StockQA）问题：自动生成股票相关问题的答案，就像专业的股票分析师根据用户的请求提供股票的行动建议一样。StockQA与以前的QA任务有很大的不同，因为（1）StockQA中的答案是自然语言句子（而不是实体或值），并且由于StockQA的动态性质，几乎不可能从训练数据中以提取的方式获得合理的答案;（2）StockQA需要正确分析QA对中的关键字与股票的数字特征之间的关系。我们建议解决这个问题的内存增强的编码器-解码器架构，并集成不同的数字理解和生成机制，这是一个重要组成部分的StockQA。我们构建了一个包含超过180 K StockQA实例的大规模数据集，并在此基础上对各种技术组合进行了广泛的研究和比较。实验结果表明，一个混合的词-字符模型与单独的字符组件的数字处理，取得了最佳的性能。通过分析结果，我们发现，44.8%的答案产生的最好的模型仍然遭受通用答案的问题，这可以缓解一个简单的混合检索生成模型。
2018-09-20 cs.CL
Multi Document Reading Comprehension
Indian Institute Of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）
阅读理解（RC）是从给定的文章或一组文章中回答问题的任务。在多个段落的情况下，任务是找到问题的最佳答案。最近在自然语言处理（NLP）领域的试验和实验已经证明，机器不仅可以处理文章中的文本并理解其含义以回答文章中的问题，而且还可以在许多数据集上超越人类表现，例如斯坦福的问答数据集（SQuAD）。本文介绍了近几十年来自然语言处理领域对阅读理解的研究及其进展。我们还将研究如何单文档阅读理解任务作为我们的多文档阅读理解系统的构建块。在本文的后半部分，我们将研究最近提出的多文档阅读理解模型-RE 3QA，该模型由阅读器，检索器和基于重新排序的网络组成，以从给定的段落集合中获取最佳答案。
2022-01-05 cs.AI cs.CL
End-to-End Open-Domain Question Answering with BERTserini
University of Waterloo（滑铁卢大学）
我们展示了一个端到端的问答系统，集成了BERT与开源的Anserini信息检索工具包。与当今大多数问答和阅读理解模型相比，这些模型在少量输入文本上运行，我们的系统将IR的最佳实践与基于BERT的阅读器集成在一起，以端到端的方式从维基百科文章的大型语料库中识别答案。我们报告了在标准基准测试集合上的先前结果的大幅改进，表明使用SQuAD微调预训练的BERT足以在识别答案跨度方面实现高准确度。
2019-09-18 cs.CL cs.IR
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Proposing Plausible Answers for Open-ended Visual Question Answering
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
回答开放式问题是任何智能代理的基本能力。最近最有趣的开放式问答挑战之一是视觉问答（VQA），它试图通过回答关于图像的自然语言问题来评估系统的视觉理解。存在许多VQA方法，其中大多数没有表现出对它们产生的候选答案的更深层次的语义理解。我们研究的重要性，生成合理的答案，一个给定的问题，通过引入新的任务“回答建议”：对于一个给定的开放式问题，系统应该生成一个排名列表的候选答案通知的语义问题。我们尝试了各种模型，包括神经生成模型以及语义图匹配模型。我们提供了内在的和外在的评价的任务的答案建议，表明我们最好的模型学习提出合理的答案，具有较高的召回率，并执行竞争力与其他一些解决方案的VQA。
2016-10-24 cs.AI cs.CL cs.CV
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Geospatial-Temporal Sensemaking of Remote Sensing Activity Detections with Multimodal Large Language Model
SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学）；Prime Solutions Group Inc（Prime Solutions Group公司）；Intelligence Advanced Research Projects Activity（智能高级研究计划局）
本文提出SMART-HC-VQA数据集，用于人类活动的时空分析，通过多模态大语言模型训练框架实现遥感活动的检测与推理。
2026-05-11 cs.AI cs.CV eess.IV
A Vietnamese Question Answering System
问答系统的目标是对用户的问题产生准确的答案，而不是像当前搜索引擎所使用的相关文档的列表。在本文中，我们提出了一个基于本体的越南语问答系统，允许用户表达他们的问题在自然语言。据我们所知，这是第一次尝试，使用户能够使用越南自然语言查询本体知识库。我们的系统上的组织本体的实验显示出可喜的成果。
2019-11-26 cs.CL
Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics
University of Pennsylvania（宾夕法尼亚大学）
基于问答的摘要评估指标必须自动确定QA模型的预测是否正确，这一任务称为答案验证。在这项工作中，我们基准测试的词汇答案验证方法已被用于当前基于QA的指标，以及两个更复杂的文本比较方法，BERTScore和LERC。我们发现，LERC优于其他方法在某些设置，而在其他统计上无法区分词汇重叠。然而，我们的实验表明，改进的验证性能并不一定转化为基于QA的整体度量质量：在某些情况下，使用更差的验证方法-或者根本不使用-与使用最佳验证方法具有相当的性能，我们将其归因于数据集的属性。
2022-04-21 cs.CL
ANNA: Enhanced Language Representation for Question Answering
LG AI Research（LG人工智能研究院）
预先训练的语言模型在各种自然语言处理任务中带来了性能的显著提高。大多数现有的模型执行国家的最先进的结果已经显示了他们的方法在数据处理，预训练任务，神经网络建模，或微调的单独的角度。在本文中，我们演示了这些方法如何单独影响性能，以及当这些方法在预训练模型中联合考虑时，语言模型在特定的问答任务上表现最佳。特别是，我们提出了一个扩展的预训练任务，以及一个新的邻居感知机制，该机制更多地关注相邻令牌，以捕获预训练语言建模的丰富上下文。我们最好的模型在SQuAD 1.1上实现了95.7\% F1和90.6\% EM的最新结果，并且在SQuAD 2.0基准测试中优于现有的预训练语言模型，如RoBERTa，ALBERT，ELECTRA和XLNet。
2022-04-04 cs.CL
Extractive Question Answering on Queries in Hindi and Tamil
与英语等语言相比，印地语和泰米尔语等印度语言在自然语言处理（NLP）领域的代表性不足。由于这种代表性不足，印度语言在NLP任务（如搜索算法）上的表现不如英语。这种差异对社会经济地位较低的人影响尤其大，因为他们消费的互联网内容大多以当地语言提供。该项目的目标是构建一个NLP模型，该模型在印地语和泰米尔语的公共数据集上执行提取问答（QA）任务时比现有模型表现更好。摘要QA是一项NLP任务，其中问题的答案是从相应的文本中提取的。为了构建最佳解决方案，我们使用了三种不同的模型。第一个模型是NLP模型RoBERTa的未修改的跨语言版本，称为XLM-RoBERTa，它在100种语言上进行了预训练。第二个模型基于预训练的RoBERTa模型，为问答提供了额外的分类头，但我们使用了自定义的印度语标记器，然后优化了超参数并对印度语数据集进行了微调。第三个模型基于XLM-RoBERTa，但在Indic数据集上进行了额外的微调和训练。我们假设第三个模型将表现最好，因为XLM-RoBERTa模型已经在各种语言上进行了预训练，并且在印度数据集上进行了额外的微调。这一假设被证明是错误的，因为配对的RoBERTa模型表现最好，因为所使用的训练数据最具体的任务，而不是XLM-RoBERTa模型，其中有很多数据不是印地语或泰米尔语。
2022-09-27 cs.CL
Dual Recurrent Attention Units for Visual Question Answering
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
视觉问答（VQA）要求AI模型理解视觉和文本两个领域的数据。当前最先进的模型使用学习的注意力机制从输入域提取相关信息来回答某个问题。因此，强大的注意力机制是强大的VQA模型必不可少的。在本文中，我们提出了一个循环的注意力机制，并显示其优势相比，传统的卷积方法。我们进行了两项消融研究，以评估复发性注意。首先，我们引入了一个具有视觉注意力的基线VQA模型，并在VQA 2.0数据集上测试了卷积注意力和递归注意力之间的性能差异。其次，我们设计了一个架构VQA，它利用双重（文本和视觉）循环注意单元（RAU）。使用这个模型，我们展示了所有可能的递归和卷积双重注意组合的效果。我们的单一模型在VQA 2016挑战赛中的表现优于第一名，据我们所知，它是VQA 1.0数据集上表现第二好的单一模型。此外，我们的模型在VQA 2017挑战赛的获胜者身上有明显的改进。此外，我们实验用我们的RAU替换最先进模型中的注意力机制，并显示出更高的性能。
2019-03-26 cs.AI cs.CL cs.CV
Automatic Question-Answering Using A Deep Similarity Neural Network
New York University（纽约大学）；AT&T Research Labs（AT&T 研究实验室）
自动问答是自然语言处理中的一个经典问题，其目的是设计一个能像人一样自动回答问题的系统。在这项工作中，我们提出了一个基于深度学习的自动问答模型。首先，使用神经概率建模嵌入问题和答案。然后训练一个深度相似度神经网络来求出一对答案和问题的相似度得分。然后，对于每个问题，最佳答案被发现为具有最高相似性得分的答案。我们首先在一个大规模的公共问答数据库上对这个模型进行训练，然后对其进行微调，以将其转移到客户关怀聊天数据上。我们还测试了我们的框架上的公共问答数据库，并取得了很好的性能。
2017-08-05 cs.CL
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Studio Ousia（Ousia工作室）；RIKEN（日本理化学研究所）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了多语言信息访问（MIA）2022共享任务研讨会的结果，评估了16种类型多样的语言的跨语言开放式检索问答（QA）系统。在这项任务中，我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言，和新注释的开放检索QA数据在2个代表性不足的语言：泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1，比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索，并取得了显着的改善，泰米尔语（20.8 F1），而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Mining Duplicate Questions of Stack Overflow
在过去的十年里，社区问答网站（CQA）的使用有了显著的增长，这主要是因为它们能够利用群众的智慧。重复的问题会对这些网站的质量产生严重影响。因此，解决重复问题是提高CQA质量的重要一步。在这方面，我们提出了两个神经网络为基础的架构，重复的问题检测堆栈溢出。我们还建议明确建模的问题中存在的代码，以实现超越最先进的结果。
2022-10-04 cs.CL
ArgHiTZ at ArchEHR-QA 2025: A Two-Step Divide and Conquer Approach to Patient Question Answering for Top Factuality
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-伊萨，巴斯克大学UPV/EHU）
针对 ArchEHR-QA 2025 患者问答任务，研究提出三种无外部知识的方法，其中基于重排序器的两步法表现最优，获事实性指标第一、总榜第8的成绩。
2025-06-15 cs.CL
