Table Question Answering for Low-resourced Indic Languages
University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）
针对低资源语言表格问答研究空白，提出全自动大规模数据生成方法，应用于孟加拉语和印地语，训练的模型性能优于现有最优LLMs，且方法可推广至其他低资源语言。
2024-10-04 cs.CL
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna（印度理工学院帕纳分校）；Microsoft（微软）
本文提出FinVQA基准和FIND框架，针对多语言印度语言金融推理挑战，通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本研究推出首个马拉地语完整问答数据集MahaSQuAD，并提出将SQuAD翻译为低资源语言的通用方法，有效弥合了问答系统中的语言鸿沟。
2024-04-20 cs.CL cs.LG
Multilingual State Space Models for Structured Question Answering in Indic Languages
Santa Clara University（圣克拉拉大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文首次将状态空间模型（SSMs）应用于印度语言问答任务，通过在多语言数据集上评估多种架构并优化框架，显著提升了低资源环境下的问答性能并建立了基础基准。
2025-10-31 cs.AI cs.CL
Question answering using deep learning in low resource Indian language Marathi
Pillai College of Engineering（皮莱工程学院）
本文针对低资源马拉地语问答，比较并微调MuRIL、MahaBERT和IndicBERT等模型，发现MuRIL在阅读理解数据集上表现最佳，EM为0.64、F1为0.74。
2023-09-27 cs.CL
LittiChoQA: Literary Texts in Indic Languages Chosen for Question Answering
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）；Accenture（埃森哲）
LittiChoQA是一个针对印度语言文学文本的大型问答数据集，通过完整上下文微调在性能上表现最佳，同时上下文缩短显著提升了处理效率。
2026-01-06 cs.CL
Extractive Question Answering on Queries in Hindi and Tamil
与英语等语言相比，印地语和泰米尔语等印度语言在自然语言处理（NLP）领域的代表性不足。由于这种代表性不足，印度语言在NLP任务（如搜索算法）上的表现不如英语。这种差异对社会经济地位较低的人影响尤其大，因为他们消费的互联网内容大多以当地语言提供。该项目的目标是构建一个NLP模型，该模型在印地语和泰米尔语的公共数据集上执行提取问答（QA）任务时比现有模型表现更好。摘要QA是一项NLP任务，其中问题的答案是从相应的文本中提取的。为了构建最佳解决方案，我们使用了三种不同的模型。第一个模型是NLP模型RoBERTa的未修改的跨语言版本，称为XLM-RoBERTa，它在100种语言上进行了预训练。第二个模型基于预训练的RoBERTa模型，为问答提供了额外的分类头，但我们使用了自定义的印度语标记器，然后优化了超参数并对印度语数据集进行了微调。第三个模型基于XLM-RoBERTa，但在Indic数据集上进行了额外的微调和训练。我们假设第三个模型将表现最好，因为XLM-RoBERTa模型已经在各种语言上进行了预训练，并且在印度数据集上进行了额外的微调。这一假设被证明是错误的，因为配对的RoBERTa模型表现最好，因为所使用的训练数据最具体的任务，而不是XLM-RoBERTa模型，其中有很多数据不是印地语或泰米尔语。
2022-09-27 cs.CL
QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization
National Taiwan University（台湾大学）
标准的准确性度量表明，现代阅读理解系统在许多问答数据集中取得了很好的性能。然而，这些系统真正理解语言的程度仍然是未知的，现有的系统并不擅长区分分心句子，这些句子看起来相关，但实际上并没有回答问题。为了解决这个问题，我们提出QAInfomax作为一个正规化在阅读理解系统中，通过最大限度地提高互信息之间的段落，一个问题，它的答案。QAInfomax帮助规范模型，而不是简单地学习回答问题的表面相关性。实验表明，我们提出的QAInfomax实现了最先进的性能基准的Adversarial-SQuAD数据集。
2019-08-31 cs.AI cs.CL cs.LG
MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
Apple Inc.（苹果公司）
跨语言建模的进展取决于具有挑战性的、现实的和多样化的评估集。我们引入多语言知识问答（MKQA），一个开放域的问答评估集，包括10k个问答对，在26种不同类型的语言（共260k个问答对）。答案基于精心策划的、独立于语言的数据表示，使结果在不同语言之间具有可比性，并且独立于特定语言的段落。该数据集拥有26种语言，为评估问答提供了迄今为止最广泛的语言。我们基准测试了各种最先进的方法和基线，用于生成和提取问答，在自然问题上进行训练，在zero shot和翻译设置中。结果表明，即使在英语中，该数据集也具有挑战性，尤其是在低资源语言中
2021-08-17 cs.CL
Long-context Non-factoid Question Answering in Indic Languages
Indraprastha Institute of Information Technology, Delhi（德里英迪拉普拉斯提信息技术学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本研究针对印度低资源语言长上下文非事实型问答的挑战，探索多种上下文缩短技术及其组合，实验证明该技术可有效提升问答性能、降低计算开销，同时也指出了现有系统的相关局限性。
2025-06-13 cs.CL
Neural at ArchEHR-QA 2025: Agentic Prompt Optimization for Evidence-Grounded Clinical Question Answering
University of Chicago（芝加哥大学）
本文提出 Neural 系统，通过将临床问答解耦为证据识别与带引用答案合成，并利用 DSPy 的 MIPROv2 自动优化提示和自一致性投票，在 ArchEHR-QA 2025 中以 51.5 分获得第二名，显著超越零样本和少样本提示。
2025-11-06 cs.CL cs.LG
CoQA: A Conversational Question Answering Challenge
Stanford University（斯坦福大学）；Computer Science Department（计算机科学系）
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此，对于帮助收集信息的机器来说，使它们能够回答会话问题至关重要。我们介绍了CoQA，一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案，这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的，答案是自由形式的文本，并在文章中突出显示相应的证据。我们深入分析了CoQA，并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象，例如，共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数，比人类的表现（88.8%）落后23.4分，这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Active Learning and Multi-label Classification for Ellipsis and Coreference Detection in Conversational Question-Answering
Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
在人类会话中，省略和指代是常见的语言现象。虽然这些现象是使人机对话更流畅和自然的一种手段，但只有少数对话语料库包含明确的指示，哪些话轮包含省略和/或共指。在本文中，我们解决的任务，自动检测省略和共指会话问答回答。我们建议使用基于DistilBERT的多标签分类器。多标签分类和主动学习被用来补偿有限的标记数据量。我们表明，这些方法大大提高了分类器的性能，用于检测手动标记的数据集上的这些现象。
2022-07-07 cs.CL
Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）
数字问答是回答需要数字能力的问题的任务。以前的作品介绍了一般的对抗攻击的数字问答，而不是系统地探讨特定的主题的数字能力。在本文中，我们提出了一系列的数值问答系统和数据集进行数值能力诊断。一系列的数值能力突出，并设计相应的数据集扰动。实证结果表明，现有的系统受到这些扰动的严重挑战。例如，在一个示例中，Graph 2 Tree在ASDiv-a上的“Extra”扰动下经历了53.83%的绝对准确度下降，BART在DROP的数值子集上经历了13.80%的准确度下降。作为一种抵消方法，我们还研究了应用扰动作为数据增强来缓解系统缺乏鲁棒数值能力的有效性。通过实验分析和实证研究，证明了具有鲁棒数值能力的数值问答在很大程度上仍然是一个悬而未决的问题。我们讨论了数值问答的未来发展方向，并总结了未来数据集收集和系统设计的指导方针。
2022-11-14 cs.CL
Designing a Minimal Retrieve-and-Read System for Open-Domain Question Answering
KAIST（韩国科学技术院）；NAVER Corp.（NAVER公司）
在开放领域的问答（QA）中，检索和阅读机制具有可解释性和易于添加，删除，或编辑知识相比，封闭的书QA模型的参数化方法的内在好处。然而，由于其文档语料库和索引，它也被称为遭受其巨大的存储空间。在这里，我们讨论了几种正交策略，以大幅减少高达160倍的检索和阅读开放域QA系统的足迹。我们的研究结果表明，即使在高度受限的服务环境（如边缘设备）中，检索和读取也是一个可行的选择，因为我们表明，它可以比具有可比码头级系统大小的纯参数模型实现更好的准确性。
2021-05-23 cs.CL
TutorialVQA: Question Answering Dataset for Tutorial Videos
University of Florida（佛罗里达大学）；Adobe Research（奥多比研究院）
尽管当前关于视频问答的可用数据集的数量很多，但仍然需要涉及多步骤和非事实答案的数据集。此外，依赖视频记录仍然是一个未充分探讨的话题。为了充分解决这个问题，我们提出了一个新的问答任务的教学视频，因为他们的冗长和叙事的性质。虽然以前的视频问答的研究都集中在生成一个简短的文本作为答案，给定的问题和视频剪辑，我们的任务的目的是确定一个跨度的视频片段作为一个答案，其中包含各种粒度的教学细节。这项工作的重点是有关图像编辑程序的截屏教程视频。我们引入了一个数据集TutorialVQA，由大约6,000个手动收集的三元组（视频，问题，答案跨度）组成。我们还提供了实验结果与几个基线算法使用的视频成绩单。结果表明，这项任务是具有挑战性的，并呼吁调查新的算法。
2020-05-30 cs.CL
Clarification Is Not Enough: Post-Clarification Answering Remains the Bottleneck in Multi-Turn QA
Cornell University（康奈尔大学）；Adobe Research（Adobe研究）
本文通过分解多轮问答为澄清策略和澄清后回答两个组件，利用PACIFIC基准实验发现监督微调能快速提升澄清策略，但最终答案准确率仍显著偏低，表明理解并正确解释用户回应是关键瓶颈。
2026-05-24 cs.CL
Domain-specific Question Answering with Hybrid Search
Adobe Inc.（奥多比公司）
本文提出一种结合微调密集检索器与稀疏搜索的混合问答方法，利用多信号加权评分显著提升了企业环境中领域特定问答的准确性与上下文稳健性。
2024-12-21 cs.CL
LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Tufts University（塔夫茨大学）
针对传统知识图谱查询需专业语言知识的局限，提出LinkQ系统，通过LLM辅助将自然语言问题转化为规范查询，支持问题迭代细化与探索分析，经定性研究验证其有效性并获从业者认可。
2025-02-10 cs.AI cs.CL cs.LG
BiRdQA: A Bilingual Dataset for Question Answering on Tricky Riddles
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
谜语是一个有双重或隐含意义的问题或陈述，后面跟着一个意想不到的答案。解谜对机器和人来说都是一项具有挑战性的任务，它考验着机器对形象的、创造性的自然语言的理解能力和运用常识进行推理的能力。我们介绍了BiRdQA，一个包含6614个英语谜语和8751个汉语谜语的双语多项选择问答数据集。对于每个谜语-答案对，我们提供四个干扰项以及来自维基百科的附加信息。干扰项是以最小的偏差按比例自动生成的。现有的单语和多语言QA模型在我们的数据集上表现不佳，这表明机器在解决棘手的谜语方面击败人类还有很长的路要走。该数据集已向社区发布。
2022-03-18 cs.CL
An Empirical Study of Content Understanding in Conversational Question Answering
National Taiwan University（国立台湾大学）
随着上下文无关问答系统的大量研究，会话式问答模型成为自然语言处理领域的一个发展趋势。多亏了最近收集的数据集，包括QuAC和CoQA，在会话式问答方面有了更多的工作，最近的工作在这两个数据集上都取得了有竞争力的性能。然而，据我们所知，会话理解研究的两个重要问题还没有得到很好的研究：1）基准数据集能在多大程度上反映模型的内容理解？2)模型在回答问题时是否很好地利用了对话内容？为了研究这些问题，我们设计了不同的训练设置，测试设置，以及攻击，以验证模型的能力，内容理解QuAC和CoQA。实验结果表明，在基准数据集，QuAC和CoQA，会话理解研究的一些潜在的危险。我们的分析还揭示了模型可以学习什么以及数据集如何使模型产生偏差。通过对该任务的深入研究，相信本研究对会话理解的进一步发展具有一定的借鉴意义。源代码可在https://github.com/MiuLab/CQA-Study上获得。
2019-11-27 cs.CL
JEC-QA: A Legal-Domain Question Answering Dataset
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Powerlaw Intelligent Technology Co., Ltd.（北京幂律智能科技有限责任公司）
我们介绍了JEC-QA，这是法律领域最大的问答数据集，收集自中国国家司法考试。考试是对法律从业人员职业技能的综合评价。大学生必须通过考试才能获得律师或法官的资格。该数据集对现有的问答方法具有挑战性，因为检索相关材料和回答问题都需要逻辑推理能力。由于回答法律问题对多种推理能力的要求很高，最先进的模型在JEC-QA上只能达到约28%的准确率，而熟练的人类和不熟练的人类分别可以达到81%和64%的准确率，这表明人类和机器在这一任务上存在巨大的差距。我们将发布JEC-QA和我们的基线，以帮助提高机器理解模型的推理能力。您可以从http://jecqa.thunlp.org/访问数据集。
2019-11-27 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
Measuring Retrieval Complexity in Question Answering Systems
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Meta AI
本文提出检索复杂度（RC）度量及无监督测量流程，用于识别检索式问答中的困难问题，并在多个基准上验证其与QA性能和专家判断的相关性。
2024-06-05 cs.AI cs.CL
Beyond Semantic Similarity: A Component-Wise Evaluation Framework for Medical Question Answering Systems with Health Equity Implications
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Khulna University of Engineering and Technology（库尔纳工程科技大学）
本文提出VB-Score框架，评估医疗问答模型的四个组件，揭示模型在慢性病等特定群体中的性能差异，指出语义评估不足以确保医疗AI的安全性。
2026-04-21 cs.AI cs.CL cs.HC
SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
提出混合问答流水线SPAGHETTI，利用LLM增强方法整合异构知识源，在Compmix数据集上达到56.5% EM率，人工分析显示其准确率超90%，证明EM已不适合评估现代问答系统。
2024-06-01 cs.CL
Uncertainty-Aware Text-to-Program for Question Answering on Structured Electronic Health Records
KAIST（韩国科学技术院）
电子健康档案的问答（EHR-QA）对医疗保健领域有着重要的影响，目前正在积极研究。以往的结构化EHR-QA研究主要集中在将自然语言查询转换为SQL或SPARQL（NLQ 2 Query）等查询语言，因此问题范围仅限于特定查询语言预先定义的数据类型。为了扩展EHR-QA任务，超越这一限制，以处理多模态医疗数据和解决复杂的推理，在未来，更原始的系统语言是必要的。在本文中，我们设计了基于程序的模型（NLQ 2 Program）的EHR-QA的第一步走向未来的方向。我们通过基于程序的方法以半监督的方式处理MIMICSPARQL*（基于图形的EHR-QA数据集），以克服缺乏黄金程序的问题。如果没有黄金计划，我们提出的模型显示出与以前的最先进模型相当的性能，这是一个NLQ 2 Query模型（0.9%的增益）。此外，对于一个可靠的EHR-QA模型，我们应用不确定性分解方法来衡量输入问题中的歧义。我们的经验证实，数据的不确定性是最表明在输入问题的模糊性。
2022-04-15 cs.AI cs.CL cs.LG
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI（亚马逊云科技人工智能）；Google（谷歌）
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络，该网络经过端到端训练，可以生成答案和问题。简而言之，我们向编码器提供一个段落，并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分，这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明，在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
QuALITY: Question Answering with Long Input Texts, Yes!
New York University（纽约大学）
为了能够构建和测试长文档理解模型，我们引入了QuALITY，这是一个多项选择的QA数据集，其中包含英语上下文段落，平均长度约为5，000个标记，比典型的当前模型可以处理的时间长得多。与之前的文章不同，我们的问题是由阅读整篇文章的贡献者撰写和验证的，而不是依赖于摘要或摘录。此外，只有一半的问题是由在紧张的时间限制下工作的注释者回答的，这表明略读和简单的搜索不足以保持良好的表现。我们的基线模型在这项任务上表现不佳（55.4%），明显落后于人类的表现（93.5%）。
2022-05-11 cs.CL
Question Answering with Deep Neural Networks for Semi-Structured Heterogeneous Genealogical Knowledge Graphs
Bar Ilan University（巴伊兰大学）
本研究提出一种端到端族谱问答方法，通过将族谱数据表示为知识图谱并转换为文本，结合非结构化文本训练基于transformer的模型，降低了复杂性并提高了准确性。
2023-07-30 cs.AI cs.CL cs.IR
Context Filtering with Reward Modeling in Question Answering
KAIST AI（韩国科学技术院人工智能学院）
提出基于奖励建模的上下文过滤方法，去除无关信息并总结关键内容，提升问答效率，在EPT指标上实现6.8倍提升。
2024-12-16 cs.CL
ReasonChainQA: Text-based Complex Question Answering with Explainable Evidence Chains
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
证据推理能力在问答中受到越来越多的关注。近年来，自然语言数据库（NLDB）利用文本证据而不是结构化的知识表示进行复杂的问答，由于文本证据的灵活性和丰富性，这项任务引起了人们的广泛关注。然而，现有的基于文本的复杂问答数据集无法提供显式的推理过程，而这对检索的有效性和推理的可解释性至关重要。因此，我们提出了一个基准\textbf{ReasonChainQA}的解释性和明确的证据链。ReasonChainQA包括两个子任务：答案生成和证据链提取，它还包含了不同深度的多跳问题的多样性，12种推理类型和78种关系。为回答复杂问题提供高质量的文本证据。在有监督和无监督检索上的实验充分说明了ReasonChainQA的重要性。数据集和代码将在接受后公开提供。
2022-10-17 cs.AI cs.CL
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
Cornell University（康奈尔大学）；New York University（纽约大学）；The George Washington University（乔治华盛顿大学）；Amazon Web Services AI（亚马逊网络服务人工智能）
神经抽象摘要模型容易产生与源文档不一致的内容，即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决的问题，评估的忠实性生成的摘要，其源文件。我们首先收集了两个数据集上众多模型输出的忠实度的人类注释。我们发现，目前的模型表现出抽象性和忠实性之间的权衡：与源文档的字重叠较少的输出更有可能是不忠实的。接下来，我们提出了一个自动的问答（QA）为基础的忠实度，FEQA，它利用了最近的进展，阅读理解。给定从摘要生成的问题-答案对，QA模型从文档中提取答案;不匹配的答案表示摘要中的不忠实信息。在基于词重叠、嵌入相似性和学习语言理解模型的度量中，我们基于QA的度量与人类忠实度分数具有显著更高的相关性，特别是在高度抽象的摘要上。
2020-05-07 cs.CL
Do Question Answering Modeling Improvements Hold Across Benchmarks?
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
本文提出“一致性”概念，在32个QA基准和20种建模方法上测量排名一致性，发现人工构建、降采样及程序化生成的基准间一致性较高，证明QA建模改进具有广泛普适性。
2023-05-30 cs.CL
Crake: Causal-Enhanced Table-Filler for Question Answering over Large Scale Knowledge Base
Beijing Academy of Artificial Intelligence（北京人工智能研究院）
语义解析通过组成知识库（KB）查询来解决知识库（KB）问答（KBQA），其通常涉及节点提取（NE）和图组合（GC）以检测和连接查询中的相关节点。尽管NE和GC之间存在很强的因果关系，但以前的工作未能直接在管道中对这种因果关系进行建模，从而阻碍了子任务相关性的学习。此外，在以前的作品中，GC的序列生成过程会导致模糊性和暴露偏差，这进一步损害了准确性。在这项工作中，我们形式化的语义解析分为两个阶段。在第一阶段（图结构生成）中，我们提出了一个cabinet增强的表填充器，以克服序列建模中的问题，并学习内部因果关系。在第二阶段（关系抽取）中，提出了一种有效的波束搜索算法来扩展大规模知识库上的复杂查询。在LC-QuAD 1.0上的实验表明，我们的方法在保持时间和空间效率的同时，大大超过了以前的最先进技术（17%）。代码和模型可在https://github.com/AOZMH/Crake上获得。
2022-07-08 cs.CL
A Semantic-based Method for Unsupervised Commonsense Question Answering
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
无监督的常识问答很有吸引力，因为它不依赖于任何标记的任务数据。在现有的工作中，一个流行的解决方案是使用预先训练的语言模型直接根据问题或上下文对候选选择进行评分。然而，这样的分数从语言模型可以很容易地受到无关的因素，如词频，句子结构等，这些分散注意力的因素，不仅可能会误导模型选择一个错误的答案，但也使其过于敏感的候选答案中的词汇扰动。在本文中，我们提出了一种新的基于SEmantic-based问答方法（SEQA）的无监督常识问答。我们的方法不是直接对每个答案选择进行评分，而是首先用生成模型生成一组看似合理的答案（例如，GPT-2），然后使用这些合理的答案，通过考虑每个合理的答案和每个选择之间的语义相似性来选择正确的选择。我们设计了一个简单的，但健全的形式主义，这个想法，并验证其有效性和鲁棒性与广泛的实验。我们在四个基准数据集上对所提出的方法进行了评估，我们的方法在无监督设置中取得了最好的结果。此外，当受到同义词替换的TextFocal攻击时，SEQA表现出比基线更少的性能下降，从而表明更强的鲁棒性。
2021-05-31 cs.CL
MeDiaQA: A Question Answering Dataset on Medical Dialogues
Institute of Science and Technology, Taikang Insurance Group（泰康保险集团科学技术研究院）
在本文中，我们介绍了MeDiaQA，一个新的问答（QA）数据集，构建在真实的在线医疗对话。它包含22 k个人工标注的选择题，用于患者和医生之间超过11 k个对话，120 k个话语，涵盖150个疾病专业，这些都是从haodf.com和dxy.com收集的。MeDiaQA是第一个对医学对话进行推理的QA数据集，特别是它们的定量内容。该数据集有可能测试跨多轮对话的模型的计算，推理和理解能力，这与现有的数据集相比具有挑战性。为了应对这些挑战，我们设计了MeDia-BERT，它达到了64.3%的准确率，而人类的准确率为93%，这表明仍然有很大的改进空间。
2021-08-18 cs.AI cs.CL
Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）
本研究引入模态重要性分数（MIS）并利用最先进的MLLMs评估视频问答基准中的单模态偏差，发现现有数据集存在模态不平衡且模型难以有效整合多模态信息，为构建模态平衡数据集提供了指导。
2024-12-19 cs.AI cs.CL cs.LG
Knowledge Graphs are all you need: Leveraging KGs in Physics Question Answering
IIIT Delhi（印度德里理工学院）；IIT BHU（印度布尔高等理工学院）；MIDAS Lab（MIDAS实验室）
本研究提出利用大语言模型构建知识图谱指导高中物理问题分解的流水线，实验证明该方法生成的子问题逻辑保真度显著优于传统技术，可优化学习体验，为AI赋能教育内容提质指明方向。
2025-06-11 cs.CL
Better To Ask in English? Evaluating Factual Accuracy of Multilingual LLMs in English and Low-Resource Languages
Pune Institute of Computer Technology（普纳计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs, Pune（L3Cube实验室，普纳）
本研究使用IndicQuest数据集评估GPT-4o等LLM在英语和19种印度语系语言中的事实准确性，发现模型在英语中表现更优且低资源语言更易产生幻觉。
2025-09-14 cs.CL cs.LG
COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering
The University of Queensland（昆士兰大学）；Monash University（蒙纳士大学）；The University of New South Wales（新南威尔士大学）
常识推理指的是对社会状况进行评估并采取相应行动的能力。识别社会背景的隐含原因和影响是使机器能够执行常识推理的驱动能力。社会互动的动态世界需要上下文相关的按需系统来推断这样的潜在信息。然而，在这个领域中的当前方法缺乏在面对看不见的情况时执行常识推理的能力，主要是由于不能识别各种各样的隐式社会关系。在本文中，我们提出了条件式的基于SEQ2SEQ的混合模型（COSMO），它为我们提供了动态和多样化的内容生成能力。我们使用COSMO来生成上下文相关的子句，这些子句形成动态知识图（KG），用于常识推理。为了显示我们的模型的适应性上下文相关的知识生成，我们解决的任务zero-shot常识问答。实证结果表明，与最先进的模型相比，改进高达+5.2%。
2020-11-02 cs.CL
When RAG Fails to Equalize: Geo-bias in Factual Question Answering over Public Companies
Bloomberg（彭博公司）
该研究针对上市公司事实问答场景，构建含约2000家公司的基准，评估六个LLM在四种条件下的表现，发现RAG无法消除地理偏差，更大模型也无法消除结构性影响，挑战了RAG作为通用纠正手段的观点。
2026-08-27 cs.AI cs.CL
Question Rewriting for Conversational Question Answering
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
会话式问答（QA）要求能够在先前会话回合的上下文中正确解释问题。我们将会话式问答任务分解为问题重写和问答子任务。问题重写（QR）子任务是专门设计的，以重新制定模糊的问题，这取决于会话的背景下，到明确的问题，可以正确地解释会话背景之外。我们引入了一个对话式QA架构，该架构在TREC CAST 2019通道检索数据集上设置了最新的技术水平。此外，我们还证明了相同的QR模型在答案广度提取方面提高了QuAC数据集的QA性能，这是通道检索后QA的下一步。我们的评估结果表明，我们提出的QR模型在两个数据集上都达到了接近人类水平的性能，端到端会话QA任务的性能差距主要归因于QA中的错误。
2020-10-23 cs.IR cs.LG
TopiOCQA: Open-domain Conversational Question Answering with Topic Switching
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Montréal（微软蒙特利尔）；ServiceNow Research（ServiceNow研究院）；Facebook CIFAR AI Chair（Facebook-CIFAR人工智能讲席）
在会话式问答场景中，提问者试图通过一系列相互依赖的问题和答案来提取关于主题的信息。随着谈话的进行，他们可能会切换到相关的话题，这是在信息搜索会话中常见的现象。然而，当前用于会话式问答的数据集在两个方面受到限制：1）它们不包含主题转换;以及2）它们假设给出了会话的参考文本，即，该设置不是开放域。我们介绍TopiOCQA（发音为Tapioca），这是一个开放域的会话数据集，在维基百科上具有主题开关。TopiOCQA包含3，920个对话，其中包含信息寻求问题和自由形式的答案。平均而言，我们数据集中的对话跨越13个问答回合，涉及4个主题（文档）。TopiOCQA提出了一个具有挑战性的测试床的模型，在同一会话的多个回合，需要有效的检索，结合使用会话历史构建有效的响应。我们评估了几个基线，通过结合最先进的文档检索方法与神经阅读器模型。我们最好的模型达到了55.8的F1，比人类的表现低了14.2分，这表明我们的数据集很难。我们的数据集和代码可在https://mcgill-nlp.github.io/topiocqa上获得
2022-02-20 cs.CL
CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification
Xingchen AGI Lab,China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（兴晨AGI实验室，中国电信人工智能技术（北京）有限公司）
提出CRAFT统一反事实推理框架，将表格问答和事实验证转化为双向验证过程，通过构建声明及其反事实变体并加权整合证据，显著提升复杂表格推理性能。
2026-06-05 cs.CL
elBERto: Self-supervised Commonsense Learning for Question Answering
Sun Yat-sen University（中山大学）；University of California（加利福尼亚大学）；Duke University（杜克大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
常识性的问答需要对日常情况和上下文中隐含的因果关系进行推理。通常，现有的方法首先检索外部证据，然后使用这些证据执行常识推理。在本文中，我们提出了一个自我监督双向编码器表示学习的常识（elBERto）框架，这是兼容的现成的QA模型架构。该框架包括五个自监督任务，以迫使模型充分利用来自包含丰富常识的上下文的额外训练信号。这些任务包括一个新的对比关系学习任务，以鼓励模型区分逻辑对比的上下文，一个新的拼图任务，要求模型推断长上下文中的逻辑链，以及三个经典的SSL任务，以保持预训练模型的语言编码能力。在代表性的WIQA、CosmosQA和ReClor数据集上，elBERto优于所有其他方法，包括那些利用显式图推理和外部知识检索的方法。此外，elBERto在简单的词汇相似性比较没有帮助的段落外和无效果问题上取得了实质性的改进，这表明它成功地学习了常识，并能够在给定动态上下文时利用它。
2022-10-04 cs.CL
Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions?
National University of Singapore（新加坡国立大学）
多跳问答（QA）需要一个模型来检索和整合来自长文本的不同部分的信息来回答问题。人类通过分而治之的方法来回答这种复杂的问题。在本文中，我们研究了多跳问题的最佳表现模型是否像人类一样理解底层子问题。我们采用神经分解模型来生成多跳复杂问题的子问题，然后提取相应的子答案。我们发现，多个国家的最先进的多跳QA模型未能正确回答大部分的子问题，虽然他们相应的多跳问题是正确的答案。这表明，这些模型设法回答多跳问题使用一些部分的线索，而不是真正理解的推理路径。我们还提出了一个新的模型，显着提高了回答子问题的性能。我们的工作朝着建立一个更可解释的多跳QA系统迈出了一步。
2021-01-27 cs.AI cs.CL
ArgHiTZ at ArchEHR-QA 2025: A Two-Step Divide and Conquer Approach to Patient Question Answering for Top Factuality
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-伊萨，巴斯克大学UPV/EHU）
针对 ArchEHR-QA 2025 患者问答任务，研究提出三种无外部知识的方法，其中基于重排序器的两步法表现最优，获事实性指标第一、总榜第8的成绩。
2025-06-15 cs.CL
How often do Answers Change? Estimating Recency Requirements in Question Answering
University of Innsbruck（因斯布鲁克大学）；MEF University（MEF大学）
本文提出RecencyQA数据集，通过人类评估和实证分析，展示非平稳问题对LLM的挑战随更新频率增加而加剧，为时间推理提供细粒度基准和时效感知问答系统基础。
2026-03-17 cs.CL
A Comparative Evaluation of Visual and Natural Language Question Answering Over Linked Data
ITMO University（ITMO大学）；Vismart Ltd.（Vismart有限公司）
随着关联数据数据集的数量和规模不断增长，使数据对不了解正式查询语言的用户可访问和有用至关重要。实现这一目标的两种方法是知识图谱可视化和自然语言接口。在这里，我们调查具体的问答（QA）在关联数据比较图形视觉方法与现有的自然语言为基础的系统。给定一个QA基准（QALD7），我们评估一个可视化的方法，它是基于迭代地创建图，直到找到答案，对四个QA系统，有自然语言查询作为输入。除了其他好处外，可视化方法提供了更高的性能，但也需要更多的手动输入。结果表明，这些方法可以互补使用，这种组合对QA性能有很大的积极影响，也有利于数据探索等其他功能。
2019-07-19 cs.CL cs.IR
Chain of Condition: Construct, Verify and Solve Conditions for Conditional Question Answering
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）；The Open University of China（国家开放大学）
本文提出条件链提示方法，通过显式构建条件逻辑关系、验证条件满足情况并求解逻辑表达式，在条件问答任务上超越现有提示基线和监督模型，达到新的最优水平。
2024-10-04 cs.CL
Are You Talking to a Machine? Dataset and Methods for Multilingual Image Question Answering
Baidu Research（百度研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们提出了mQA模型，它能够回答有关图像内容的问题。答案可以是一个句子，一个短语或一个单词。我们的模型包含四个组件：用于提取问题表示的长短期记忆（LSTM），用于提取视觉表示的卷积神经网络（CNN），用于将语言上下文存储在答案中的LSTM，以及用于组合前三个组件的信息并生成答案的融合组件。我们构建了一个自由式多语言图像问答（FM-IQA）数据集来训练和评估我们的mQA模型。它包含超过150，000张图片和310，000个自由式中文问答对及其英文翻译。我们的mQA模型在这个数据集上生成的答案的质量由人类法官通过图灵测试进行评估。具体来说，我们将人类提供的答案和我们的模型混合在一起。人类法官需要区分我们的模型和人类。他们还将提供一个分数（即0，1，2，越大越好），表明答案的质量。我们提出了战略，以监测这一评价过程的质量。实验表明，在64.7%的情况下，人类法官无法区分我们的模型和人类。平均得分为1.454（人类为1.918）。这项工作的细节，包括FM-IQA数据集，可以在项目页面上找到：http://idl.baidu.com/FM-IQA.html
2015-11-02 cs.CL cs.CV cs.LG
A Large-Scale Benchmark for Evaluating Large Language Models on Medical Question Answering in Romanian
University of Bucharest（布加勒斯特大学）；Colţea Clinical Hospital（科尔切亚临床医院）；Hospice Hope Bucharest（希望临终关怀布加勒斯特医院）
本文提出首个罗马尼亚语医疗问答基准测试MedQARo，评估了多种LLM在医疗问答任务中的表现，发现微调模型在泛化能力上优于零样本模型。
2026-02-12 cs.AI cs.CL cs.LG
UnSeenTimeQA: Time-Sensitive Question-Answering Beyond LLMs' Memorization
Arizona State University（亚利桑那州立大学）；New Mexico State University（新墨西哥州立大学）；University of Arizona（亚利桑那大学）
本文提出无数据污染的时敏问答基准 UnSeenTimeQA，通过合成事实和三类时敏问题评估 LLMs 的真实时间推理能力，发现其在长距离依赖和并行事件上表现不足。
2025-06-02 cs.CL
