EsBBQ and CaBBQ: The Spanish and Catalan Bias Benchmarks for Question Answering
Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS));HiTZ Center – IXA, University of the Basque Country(HiTZ中心–IXA,巴斯克大学)
本文针对非英语及美国以外社会背景的资源匮乏问题,提出了西班牙语和加泰罗尼亚语问答偏见基准(EsBBQ和CaBBQ),基于BBQ评估10类社会偏见,实验表明模型在模糊场景下易选错且高准确率常伴随对社会偏见的更大依赖。
2025-07-15 cs.CL
Structural analysis of an all-purpose question answering model
University of Geneva(日内瓦大学);Illuin Technology(Illuin科技公司)
注意力是现在普遍存在的预训练语言模型的关键组成部分。通过学习专注于相关的信息,这些基于transformer的架构已经证明能够同时处理多个任务,有时甚至超过单任务。为了更好地理解这种现象,我们对我们引入的新的通用问答模型进行了结构分析。令人惊讶的是,即使在任务之间没有强烈的转移效应的情况下,该模型也保留了单任务性能。通过注意头的重要性评分,我们观察到,注意头专门在一个特定的任务,一些头比其他人更有利于学习在多任务和单任务设置。
2021-04-13 cs.CL cs.LG
IslamicPCQA: A Dataset for Persian Multi-hop Complex Question Answering in Islamic Text Resources
Iran University of Science and Technology(伊朗科技大学);Sharif University of Technology(谢里夫理工大学)
本文提出 IslamicPCQA,首个面向伊斯兰文本的波斯语多跳复杂问答数据集,含 12,282 个问答对及支持事实,可支撑多段落推理研究。
2023-04-23 cs.AI cs.CL
Fact Checking in Community Forums
Sofia University “St. Kliment Ohridski”(圣克莱门特·奥里季斯基索菲亚大学);Qatar Computing Research Institute, Hamad bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Massachusetts Institute of Technology(麻省理工学院)
社区问答(cQA)论坛如今非常流行,因为它们代表了围绕特定主题的社区共享信息的有效手段。不幸的是,这些信息并不总是真实的。因此,在这里,我们探索了cQA背景下的一个新的维度,到目前为止一直被忽视:检查cQA论坛中特定问题答案的准确性。由于这是一个新问题,我们为它创建了一个专门的数据集,并进一步提出了一个新颖的多方面模型,该模型从答案内容(说了什么和如何),作者简介(谁说的),社区论坛的其他部分(在哪里说的)以及外部权威信息来源(外部支持)中捕获信息。评价结果显示平均动脉压值为86.54,比基线高出21个绝对点。
2018-03-08 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology(韩国科学技术院)
许多上下文化的单词表示现在通过复杂的神经网络模型来学习,例如掩蔽神经语言模型(MNLM),其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解(RC)任务中表现出超人的表现,这些任务在给定问题的上下文中提取适当的答案。然而,识别详细的知识培训MNLM是具有挑战性的,由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先,我们使用一个诊断测试,评估是否常识知识是正确的MNLM培训。我们观察到,很大一部分的常识性知识没有适当的培训,在MNLM和MNLM不经常准确地理解关系的语义。此外,我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后,我们发现了一些知识没有得到训练的根本原因。我们进一步建议,利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
KoBLEX: Open Legal Question Answering with Multi-hop Reasoning
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(计算机科学与工程系,POSTECH,韩国);AI Future Lab, KT, Republic of Korea(AI未来实验室,KT,韩国)
本研究提出用于评估开放式多跳法律推理的韩国法律问答基准KoBLEX,同时提出参数化条文引导检索方法ParSeR及法律保真度自动评估指标LF-Eval,实验证明ParSeR性能显著优于现有基线。
2025-09-01 cs.CL
EQuANt (Enhanced Question Answer Network)
University College London(伦敦大学学院)
机器阅读理解(MRC)是自动问答领域以及更广泛地说是自然语言处理领域中的一个重要课题。自SQuAD 1.1和SQuAD 2数据集发布以来,该领域的进展尤为显著,目前最先进的模型在回答适定性问题和检测无法回答的问题方面表现出接近人类的性能。在这项工作中,我们提出了增强型问答网络(EQuANt),MRC模型,扩展了成功的QANet架构的Yu等人。通过在SQuAD 2上训练和评估EQuANt,我们证明了将QANet扩展到无法回答的域确实是可能的。我们实现的结果是接近2倍优于我们选择的基线通过评估SQuAD 2上的原始QANet架构的轻量级版本。此外,我们报告说,在SQuAD 1.1上训练后,EQuANt在SQuAD 1.1上的性能超过了我们在SQuAD 1.1上训练和评估的轻量级QANet架构,证明了多任务学习在MRC上下文中的实用性。
2019-07-03 cs.CL cs.LG stat.ML
Task Preferences across Languages on Community Question Answering Platforms
University of Washington(华盛顿大学);ShareChat
随着Quora、StackExchange和WikiHow等社区问答(CQA)平台的稳步出现,用户现在可以前所未有地访问各种查询和任务的信息。此外,这些跨越地理和语言界限的平台的快速扩散和本地化为研究不同社会语言群体的用户的任务要求和偏好提供了独特的机会。在这项研究中,我们实现了一个实体嵌入模型,该模型在多语言和面向任务的问答对的大型纵向数据集上进行训练,以揭示和量化(i)跨语言社区的各种在线任务的流行和分布,以及(ii)随着时间的推移,这些社区中任务流行度的新兴和衰退趋势。我们的研究结果表明,在平台上的语言社区中,任务偏好和流行趋势存在很大差异。这项研究的结果将有助于问答平台更好地为非英语用户策划和个性化内容,同时也为希望在线瞄准非英语社区的企业提供有价值的见解。
2022-12-18 cs.CL cs.CY cs.HC
Detecting and Repairing Hallucinations in Retrieval-Augmented Generation
Leiden University(莱顿大学)
本研究针对检索增强生成(RAG)的幻觉问题,借助RAGTruth基准数据集,对比三种修复策略的效果,发现策略在依据保留权衡上各有侧重,需依据答案有用性选择。
2026-09-01 cs.AI cs.CL
Attributable Post-Rationalization in RAG Citations: A Controlled Reproduction and an RLVR Comparison
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本研究通过受控复现和RLVR比较,发现RAG系统普遍存在事后合理化导致的不忠实引用,且RLVR训练无法改善引用忠实性,需单独训练和评估。
2026-09-22 cs.CL cs.IR
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind(谷歌DeepMind)
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线,通过成对比较和Bradley-Terry模型排名的相对评估方法,验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
HealthNLP_Retrievers at ArchEHR-QA 2026: Cascaded LLM Pipeline for Grounded Clinical Question Answering
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Jahangirnagar University(贾旺吉拉大学)
本文提出基于Gemini 2.5 Pro的级联管道,通过多阶段模块实现患者问题理解、证据检索与回答生成,提升临床问答的准确性和专业性。
2026-04-29 cs.CL cs.LG
ForecastTKGQuestions: A Benchmark for Temporal Question Answering and Forecasting over Temporal Knowledge Graphs
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);ETH Zürich(苏黎世联邦理工学院)
该研究提出时态知识图谱预测性问答新任务,构建包含三类问题的大规模基准数据集ForecastTKGQuestions,并提出带TKG预测模块的ForecastTKGQA模型,实验证明其在三类问题上均优于现有方法。
2023-07-18 cs.AI cs.CL cs.LG
VisKoP: Visual Knowledge oriented Programming for Interactive Knowledge Base Question Answering
Tsinghua University(清华大学);Beijing Caizhi Technology Co., Ltd.(北京才志科技有限公司)
VisKoP 是一个将人类纳入循环的交互式知识库问答系统,通过将自然语言问题转换为 KoPL 程序并映射为可编辑图形元素,配合高效执行引擎,使用户能通过图形操作和中间结果调试来修正错误查询,从而在百万实体级知识库上高效获得正确答案。
2023-07-06 cs.CL cs.HC
Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering
Macquarie University(麦考瑞大学);The University of Adelaide(阿德莱德大学)
本文提出CONVSR框架,利用结构化中间表示作为对话线索来解析对话式问答中的隐式依赖,在QuAC和CANARD上取得优于标准问题重写模型的F1分数。
2023-04-14 cs.CL cs.IR
Untangling the Mechanisms of Misleading Context in Medical Question Answering
Columbia University(哥伦比亚大学)
该研究针对医学问答中误导性上下文的机制,在MedMisBench基准上测试三类模型,发现断言型误导线索更易干扰模型,仅开放推理轨迹可可靠监测错误决策。
2026-09-15 cs.AI cs.CL cs.LG
NOWJ1@ALQAC 2023: Enhancing Legal Task Performance with Classic Statistical Models and Pre-trained Language Models
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所)
本文提出NOWJ1团队在ALQAC 2023中的方法,通过结合经典统计模型与预训练语言模型,并采用学习排序和子任务拆分策略,有效提升了法律文档检索与问答任务的性能。
2023-09-16 cs.AI cs.CL
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
提出GroundedCache,一种通过四个廉价门控(查询相似性、检索证据重叠、源版本有效性和词汇支持)验证缓存答案安全性的路由方法,显著降低不安全服务率。
2026-05-26 cs.AI cs.CL cs.CR
KIWI: A Dataset of Knowledge-Intensive Writing Instructions for Answering Research Questions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Allen Institute for AI(艾伦人工智能研究所)
本研究构建了科学领域知识密集型写作指令数据集KIWI,通过与3个先进大语言模型的234次交互收集1260个轮次数据,发现现有模型在信息整合、精准修改及指令遵循判断上存在缺陷,该数据集可用于提升模型相关能力。
2024-03-06 cs.CL
Towards Answering Health-related Questions from Medical Videos: Datasets and Approaches
Lister Hill National Center for Biomedical Communications(利斯特希尔国家生物医学交流中心);National Library of Medicine(国家医学图书馆);National Institutes of Health(美国国立卫生研究院);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);New York University(纽约大学)
本文针对医学视频回答健康问题的数据稀缺问题,构建了HealthVidQA-CRF和HealthVidQA-Prompt两个大规模数据集,并提出单模态与多模态方法,验证了数据集和视觉特征对医学视觉答案定位任务的提升作用。
2023-09-21 cs.CL
Automated Question Answer medical model based on Deep Learning Technology
Satbayev University(萨塔巴耶夫大学);Assiut University(艾斯尤特大学);International IT University(国际信息技术大学)
人工智能现在可以为不同的问题提供更多的解决方案,尤其是在医疗领域。其中一个问题是缺乏任何特定医疗/健康相关问题的答案。互联网上充满了论坛,让人们提出一些具体的问题,并为他们得到很好的答案。然而,浏览这些问题,以找到一个类似于你自己的,也找到一个满意的答案是一个困难和耗时的任务。本研究将通过自动化生成这些问题的合格答案的过程并创建一种数字医生来解决这个问题。此外,本研究将使用RNN框架和编码器-解码器训练一个端到端模型,以生成一小部分医疗/健康问题的合理和有用的答案。使用来自各种在线服务(如WebMD,HealthTap,eHealthForums和iCliniq)的数据对所提出的模型进行了训练和评估。
2020-05-21 cs.AI cs.CL cs.LG
Long-Form Answers to Visual Questions from Blind and Low Vision People
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Hong Kong University of Science and Technology(香港科学与技术大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文构建 VizWiz-LF 长格式视觉问答数据集,分析回答句子的功能角色,并通过自动与人工评估揭示模型幻觉问题及弃权能力。
2025-07-25 cs.CL cs.CV
An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering
Southeast University(东南大学);The University of Manchester(曼彻斯特大学);The University of Edinburgh(爱丁堡大学)
大规模预训练语言模型(PLM),如BERT,最近取得了巨大的成功,并成为自然语言处理(NLP)的里程碑。现在,采用PLM作为下游任务的骨干已经成为NLP社区的共识。在最近的知识图谱问答(KGQA)工作中,BERT或其变体已成为KGQA模型中的必要条件。然而,在KGQA中仍然缺乏对不同PLM性能的全面研究和比较。为此,我们总结了两个基本的KGQA框架的基础上的PLM没有额外的神经网络模块,比较九个PLM的准确性和效率方面的性能。此外,我们提出了三个基准的基础上流行的SimpleQuestions基准的规模较大的幼儿园调查PLM的可扩展性。我们仔细分析了所有基于PLM的KGQA基本框架在这些基准测试和其他两个流行的数据集,WebtagsSP和FreebaseQA的结果,发现知识蒸馏技术和知识增强方法的PLM是有前途的KGQA。此外,我们测试了ChatGPT,它在NLP社区中引起了极大的关注,展示了它在zero-shot KGQA中令人印象深刻的功能和局限性。我们已经发布了代码和基准测试,以促进KGQA上PLM的使用。
2023-03-18 cs.CL
TriviaHG: A Dataset for Automatic Hint Generation from Factoid Questions
University of Innsbruck(因斯布鲁克大学);Columbia University(哥伦比亚大学)
本文提出事实类问题自动提示生成框架,构建含160,230条提示的TriviaHG数据集,并设计Convergence与Familiarity自动评估方法,实验验证提示有效且评估结果与人工判断高度相关。
2024-05-10 cs.CL
MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文提出MQuAKE多跳问答基准以评估知识编辑引发的连锁信念更新,并设计基于外部记忆与迭代提示的MeLLo方法,显著提升LLM在多跳问题上的编辑一致性。
2024-09-09 cs.CL
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology(伊斯兰理工大学);University of California, Riverside(加州大学河滨分校)
本文通过UWMP数据集和GPT模型API实验,评估提示方法对GPT在不可解答数学应用题中有效弃权(不执行)的作用,揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature
Stanford University(斯坦福大学);Mayo Clinic(梅奥诊所);Stanford Healthcare(斯坦福医疗中心)
针对医学文献快速增长且缺乏高质量评估数据集的问题,提出了开源检索增强LLM系统Clinfo.ai,并构建了PubMedRS-200数据集与基准任务来评估其及其他OpenQA系统在回答临床问题上的表现。
2023-10-24 cs.AI cs.CL cs.IR
Are Smaller Open-Weight LLMs Closing the Gap to Proprietary Models for Biomedical Question Answering?
Evidence Prime
本文通过BioASQ Task 13B Phase B评估小型开放权重LLMs在生物医学问答中的表现,结合片段检索、上下文学习和集成策略,证明其可与GPT-4o、Claude等专有模型相媲美甚至超越。
2025-09-23 cs.CL cs.IR cs.LG
From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items
Midjourney;Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
本文研究大语言模型编写常识推理评估题目的能力,以COPA基准为风格模板生成题目,并通过自动与人工分析发现,擅长回答COPA问题的模型在自主命题方面表现也更优。
2024-10-18 cs.AI cs.CL
Teaching Machines to Read and Comprehend
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学)
教机器阅读自然语言文档仍然是一个难以实现的挑战。可以测试机器阅读系统回答他们所看到的文档内容所提出的问题的能力,但到目前为止,这种类型的评估还缺少大规模的训练和测试数据集。在这项工作中,我们定义了一个新的方法,解决了这个瓶颈,并提供大规模的监督阅读理解数据。这使我们能够开发一类基于注意力的深度神经网络,这些网络可以学习阅读真实文档,并以最少的语言结构先验知识回答复杂问题。
2015-11-19 cs.AI cs.CL cs.NE
Assessing the Robustness of Visual Question Answering Models
Universiteit van Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
深度神经网络在视觉问答(VQA)任务中发挥着重要作用。直到最近,它们的准确性一直是研究的主要焦点。现在有一种趋势,即通过评估这些模型在VQA模型输入噪声水平增加的情况下的准确性,来评估这些模型对对抗攻击的鲁棒性。在VQA中,攻击可以针对图像和/或所提出的查询问题(称为主问题),但缺乏对VQA这方面的适当分析。在这项工作中,我们提出了一种新的方法,使用语义相关的问题,被称为基本问题,作为噪声来评估VQA模型的鲁棒性。我们假设,随着基本问题与主要问题的相似性降低,噪音水平增加。为了为给定的主要问题生成合理的噪音水平,我们根据基本问题与该主要问题的相似性对基本问题池进行排名。我们把这个排名问题作为一个LASSO优化问题。我们还提出了一个新的鲁棒性度量Rscore和两个大规模的基本问题数据集,以规范VQA模型的鲁棒性分析。实验结果表明,该方法能够有效地分析VQA模型的鲁棒性。为了促进VQA研究,我们将公布我们提出的数据集。
2022-03-03 cs.CL cs.CV
Agent-Based Detection and Resolution of Incompleteness and Ambiguity in Interactions with Large Language Models
BITS Pilani, K K Birla Goa Campus(比特学院,KK Birla Goa校区);PandaByte Innovations Pvt Ltd(PandaByte创新私人有限公司);RMIT University(皇家墨尔本理工学院)
本文提出用零样本 ReAct 智能体作为转换器,在大语言模型问答中自动检测并消解问题的不完整性与歧义,通过分类-消解-回答三动作机制缩短交互、提升答案质量并实现可解释消解。
2025-07-04 cs.AI cs.CL cs.IR