RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);NYU Shanghai(纽约大学上海分校);Center for Data Science, New York University(纽约大学数据科学中心)
RPDR通过数据增强框架提升长尾问答性能,利用回程预测选择易学实例并动态路由查询以优化检索效果。
2026-02-19 cs.CL
Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出一个自动构建知识图谱的梵语问答框架,在摩诃婆罗多、罗摩衍那及阿育吠陀文本上实现实例,能正确回答约50%的事实性问题,并分析了系统不足与改进方向。
2023-10-11 cs.CL
emrQA: A Large Corpus for Question Answering on Electronic Medical Records
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Carle Illinois College of Medicine(伊利诺伊大学卡勒医学院)
我们提出了一种新的方法来生成特定领域的大规模问答(QA)数据集,通过重新利用现有的其他NLP任务的注释。我们展示了这种方法的一个实例,通过利用社区共享的i2b2数据集的各种NLP任务的临床笔记上的现有专家注释,为电子病历生成大规模QA数据集。由此产生的语料库(emrQA)有100万个问题逻辑形式和40万多个问答证据对。我们通过训练问题到逻辑形式和问题到答案映射的基线模型来描述数据集并探索其学习潜力。
2018-09-03 cs.CL
Where is Linked Data in Question Answering over Linked Data?
Liber AI Research(Liber人工智能研究院);University of Leipzig(莱比锡大学);HTWK Leipzig(莱比锡应用技术大学)
我们认为,“知识库问答”和“关联数据上的问答”目前是同一问题的两个实例,尽管一个明确声明要处理关联数据。我们指出,缺乏现有的方法来评估问答的数据集,利用外部链接到云的其余部分或共享共同的模式。为此,我们建议创建新的评估设置,以利用语义Web的优势,实现AI完整的问答。
2020-05-07 cs.CL cs.DB
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
我们提出了一个简单的重构多选择问答(MCQA)任务作为一系列的二元分类。MCQA任务通常通过对所有对标准化的每个(问题,答案)对进行评分,然后从产生最高分数的对中选择答案来执行。对于n个答案选择,这相当于一个n类分类设置,其中只有一个类(正确答案)是正确的。相反,我们表明,将(问题,正确答案)分类为正面实例,将(问题,错误答案)分类为负面实例,在各种模型和数据集中显着更有效。我们在不同的任务--溯因推理,常识问答,科学问答和句子完成中展示了我们提出的方法的有效性。我们的DeBERTa二进制分类模型在这些任务的公共排行榜上达到或接近最高性能。所提出的方法的源代码可在https://github.com/declare-lab/TEAM上获得。
2022-10-29 cs.AI cs.CL cs.LG
Asymptotic Risk Calibration for Selective Question Answering
Zhangjiang University(张江大学);Ibaraki University(茨城大学)
针对LLMs问答的不确定性控制缺陷,提出A-CRC-QA事后校准框架,在两类问答数据集上实现了接受答案可靠性与保留率的良好权衡。
2026-08-13 cs.CL
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València(瓦伦西亚理工大学);University of Houston(休斯顿大学)
在这项工作中,我们描述了由休斯顿大学(UH)计算机科学系和模式识别和人类语言技术(PRHLT)研究中心- Universitat Polit`ecnica de Val` Valle:UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例,同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话,知识图谱生成的BabelNet多语言语义网络,和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比,我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
Biomedical Entity Linking as Multiple Choice Question Answering
Jarvis Research Center, Tencent YouTu Lab(贾维斯研究中心,腾讯优图实验室)
针对生物医学实体链接中细粒度与长尾实体的挑战,提出将该任务转化为多项选择题问答的BioELQA模型,通过显式比较候选实体、拼接相似标注实例提升泛化,在多数据集上超越现有最优基线。
2024-05-17 cs.AI cs.CL cs.LG
M2QA: Multi-domain Multilingual Question Answering
University of Cambridge(剑桥大学);Cohere(科here公司);Technical University of Darmstadt(达姆施塔特工业大学);Google DeepMind(谷歌DeepMind)
本文提出多领域多语言问答基准 M2QA,涵盖德语、土耳其语、中文及三类领域,用于评估模型联合跨语言跨领域迁移能力,并揭示显著性能下降与适应挑战。
2024-07-01 cs.CL
Mitigating Bias for Question Answering Models by Tracking Bias Influence
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon AGI(亚马逊AGI)
本文提出BMBI方法,通过实例间影响检测偏见并进行多任务优化,同时引入新偏见指标,可在保持QA准确率的同时显著降低BBQ全部9类偏见。
2024-06-17 cs.AI cs.CL cs.CY
Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳问答(QA)是一项具有挑战性的任务,因为它需要准确地聚合来自多个上下文段落的信息,并彻底理解底层的推理链。最近在多跳QA方面的工作表明,可以通过首先将问题分解为更简单的单跳问题来提高性能。在本文中,我们从可解释的NLP的角度探索了多跳分解的一个额外效用:通过探测神经QA模型来创建解释。我们假设这样做,用户将能够更好地预测底层QA系统何时给出正确答案。通过人类参与者的研究,我们验证了暴露的分解探针和答案的探针给用户可以提高他们的能力,预测系统性能的问题实例的基础上。我们发现,分解是一种有效的形式探测QA系统,以及一个有前途的方法来解释生成。深入的分析表明,需要改进的分解系统。
2022-11-01 cs.CL
An Explainable Framework for Misinformation Identification via Critical Question Answering
University of Dundee(邓迪大学);Centre for Argument Technology (ARG-tech)(论证技术中心)
针对现有错误信息检测系统不透明、推理核查缺乏可解释方法的问题,本文基于论证模式与关键问题理论提出可解释框架,发布首个结合论证实例与关键问题答案的NLAS-CQ语料库,验证了结合分类与问答、以关键问题提供解释的框架有效性。
2025-03-18 cs.CL
ASTRA-QA: A Benchmark for Abstract Question Answering over Documents
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Data Science Group(数据科学组)
ASTRA-QA是首个针对文档抽象问答的基准,包含869个学术论文和新闻文档问题实例,涵盖五种抽象问题类型和三种检索范围,通过显式标注评估答案覆盖关键点和避免不支持内容。
2026-05-11 cs.CL cs.IR
p2-TQA: A Process-based Preference Learning Framework for Self-Improving Table Question Answering Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Hochschule der Medien(媒体高等学校);University of Augsburg(艾格学院)
针对现有表格问答(TQA)系统未充分利用数据及忽视后训练潜力的问题,提出p2-TQA框架,通过表格特定流水线自动构建偏好数据并进行对比学习优化,大幅提升模型性能且保持高效率。
2025-11-10 cs.CL
Dr. Tux: A Question Answering System for Ubuntu users
University of Southern California(南加州大学)
各种各样的论坛和问答(Q&A)网站都可以在网上找到,让Ubuntu用户找到类似于他们的查询结果。然而,搜索结果通常是耗时的,因为它需要用户从大量的问题中找到与他/她的查询相关的特定问题实例。在本文中,我们提出了一个自动化的问答系统Ubuntu用户称为Tux博士,旨在回答用户的查询,从在线数据库中选择最相似的问题。原型是用Python实现的,并使用NLTK和CoreNLP工具进行自然语言处理。原型的数据来自AskUbuntu网站,其中包含约15万个问题。对原型进行人工评估所获得的结果是有希望的,同时也提供了一些有趣的改进机会。
2018-08-25 cs.CL cs.IR
MHQA: A Diverse, Knowledge Intensive Mental Health Question Answering Challenge for Language Models
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究针对心理健康问答缺乏标准基准的问题,构建了覆盖四大领域、多类题型的MHQA数据集,含专家验证金标数据与伪标注数据,并测试了不同大语言模型的性能。
2025-02-21 cs.CL
Question answering: from partitions to Prolog
我们实现Groenendijk和Stokhof的分区语义的问题在一个简单的问答算法。该算法是健全的,完整的,并基于tableau定理证明。该算法依赖于答案的句法特征:问题的任何答案都等价于仅从问题的实例中构建的公式。我们证明了这一特征,通过翻译的审讯逻辑经典谓词逻辑和克雷格的插值定理。
2002-09-04 cs.AI cs.CL cs.LO
NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance
Department of Computer Science and Engineering University of Dhaka(计算机科学与工程系达卡大学)
NCTB-QA是一个大规模孟加拉语教育问答数据集,通过微调BERT等模型显著提升了问答性能,验证了领域特定微调在低资源环境中的重要性。
2026-03-05 cs.CL
CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering
HKUST(香港科技大学);EPFL(洛桑联邦理工学院)
针对零样本常识问答中CSKB不完整及负例采样质量差的问题,提出概念化增强推理框架CAR,通过将知识三元组抽象为更高层次实例来扩大覆盖范围与答案空间,显著提升了零样本泛化能力并超越GPT3.5等大模型。
2023-10-20 cs.CL
Consistency Training by Synthetic Question Generation for Conversational Question Answering
Sharif University of Technology(谢里夫理工大学);AI Group(人工智能组)
针对对话式问答中无关历史干扰推理的问题,提出模型无关的CoTaH方法,通过合成问题增强历史数据并结合一致性训练提升鲁棒性,引入新基线验证了其在长历史上下文问题上的效果提升。
2024-04-17 cs.CL
(QA)$^2$: Question Answering with Questionable Assumptions
Boston University(波士顿大学);Google(谷歌);New York University(纽约大学);AWS AI Labs(AWS人工智能实验室)
提出(QA)$^2$数据集,用于评估问答系统处理自然查询中虚假或不可验证假设的能力,发现现有模型在此任务上表现不足。
2023-08-29 cs.CL
PubMedQA: A Dataset for Biomedical Research Question Answering
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能)
我们介绍PubMedQA,一种新的生物医学问答(QA)数据集从PubMed摘要收集。PubMedQA的任务是用是/否/可能回答研究问题(例如:术前他汀类药物能减少冠状动脉旁路移植术后的房颤吗?使用相应的摘要。PubMedQA有1 k个专家注释的,61.2k个未标记的和211.3k个人工生成的QA实例。每个PubMedQA实例都由以下内容组成:(1)一个问题,它是现有的研究文章标题或从其中派生出来的,(2)一个上下文,它是相应的摘要而没有结论,(3)一个长答案,它是摘要的结论,大概回答了研究问题,(4)一个是/否/可能的答案,它总结了结论。PubMedQA是第一个QA数据集,需要对生物医学研究文本进行推理,特别是其定量内容,以回答问题。我们表现最好的模型,多阶段微调BioBERT与长答案词袋统计作为额外的监督,达到68.1%的准确率,相比之下,单个人类的准确率为78.0%,大多数基线的准确率为55.2%,留下了很大的改进空间。PubMedQA可在https://pubmedqa.github.io上公开获取。
2019-09-13 cs.CL cs.LG q-bio.QM
Analyzing Language Learned by an Active Question Answering Agent
Google(谷歌公司)
我们分析了通过强化学习训练的代理学习的语言,作为ActiveQA系统的一个组成部分[Buck et al.,2017年]。在ActiveQA中,问答被构建为一个强化学习任务,其中代理位于用户和黑盒问题回答系统之间。代理学习重新制定用户的问题,以得出最佳答案。它使用通过序列到序列问题重构模型生成的问题的许多版本来探测系统,然后聚合返回的证据以找到最佳答案。此过程是\emph{machine-machine}通信的一个实例。问题重构模型必须调整其语言以提高返回的答案的质量,匹配问答系统的语言。我们发现,代理不学习转换,符合语义直觉,但发现通过学习经典的信息检索技术,如tf-idf重新加权和词干。
2018-01-23 cs.AI cs.CL
AmaSQuAD: A Benchmark for Amharic Extractive Question Answering
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出将抽取式问答数据集翻译为低资源语言的框架,构建阿姆哈拉语 AmaSQuAD 数据集,并通过微调 XLM-R 显著提升问答性能。
2025-02-04 cs.CL
Generative Stock Question Answering
Tencent AI Lab(腾讯人工智能实验室);ShanghaiTech University(上海科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
研究了股票相关问答(StockQA)问题:自动生成股票相关问题的答案,就像专业的股票分析师根据用户的请求提供股票的行动建议一样。StockQA与以前的QA任务有很大的不同,因为(1)StockQA中的答案是自然语言句子(而不是实体或值),并且由于StockQA的动态性质,几乎不可能从训练数据中以提取的方式获得合理的答案;(2)StockQA需要正确分析QA对中的关键字与股票的数字特征之间的关系。我们建议解决这个问题的内存增强的编码器-解码器架构,并集成不同的数字理解和生成机制,这是一个重要组成部分的StockQA。我们构建了一个包含超过180 K StockQA实例的大规模数据集,并在此基础上对各种技术组合进行了广泛的研究和比较。实验结果表明,一个混合的词-字符模型与单独的字符组件的数字处理,取得了最佳的性能。通过分析结果,我们发现,44.8%的答案产生的最好的模型仍然遭受通用答案的问题,这可以缓解一个简单的混合检索生成模型。
2018-09-20 cs.CL
ReTraceQA: Evaluating Reasoning Traces of Small Language Models in Commonsense Question Answering
Sapienza NLP Group(萨皮恩扎大学自然语言处理小组);Sapienza University of Rome(罗马萨皮恩扎大学)
ReTraceQA通过引入过程级评估,揭示小语言模型在常识推理中存在大量推理过程错误,但最终答案正确的情况,表明现有评价方法高估了模型能力。
2026-04-20 cs.CL
A Multi-World Approach to Question Answering about Real-World Scenes based on Uncertain Input
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一种方法,自动回答有关图像的问题,汇集了自然语言处理和计算机视觉的最新进展。我们将离散推理与不确定的预测相结合,通过多世界的方法来表示感知世界的不确定性。我们的方法可以处理人类的问题,高度复杂的现实场景和答复的范围内的答案,如计数,对象类,实例和列表。该系统直接从问题-答案对进行训练。我们为这项任务建立了第一个基准,可以被视为视觉图灵测试的现代尝试。
2015-05-05 cs.AI cs.CL cs.CV
Fast Reading Comprehension with ConvNets
Cornell University(康奈尔大学);Google Inc.(谷歌公司)
最先进的深度阅读理解模型由递归神经网络主导。它们的顺序性质自然适合语言,但它也排除了实例内的并行化,并且经常成为将此类模型部署到延迟关键场景的瓶颈。这对于较长的文本来说尤其成问题。在这里,我们提出了一个卷积架构作为这些循环架构的替代方案。使用简单的扩张卷积单元代替经常性的卷积单元,我们在两个问答任务上实现了与最先进技术相当的结果,同时实现了问答的两个数量级的加速。
2017-11-12 cs.CL
Neural Relation Prediction for Simple Question Answering over Knowledge Graph
Amirkabir University of Technology(阿米尔卡比尔理工大学)
知识图谱被广泛地用作提供事实问题的答案的典型资源。在知识图谱上的简单问答中,关系抽取旨在从一组预定义的关系类型中预测事实问题的关系。大多数最近的方法利用神经网络来匹配问题与所有预定义的关系。在本文中,我们提出了一种基于实例的方法来捕捉潜在的关系的问题,并为此目的,我们检测匹配的释义的一个新的问题,共享相同的关系,并选择其对应的关系作为我们的预测。我们的模型的想法根源于这样一个事实,即关系可以用各种形式的问题来表达,而这些形式共享词汇或语义相似的术语和概念。在SimpleQuestions数据集上的实验表明,该模型比现有的关系抽取模型具有更高的准确率。
2020-07-05 cs.CL cs.LG
Hard to Cheat: A Turing Test based on Answering Questions about Images
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
机器在语言和图像理解方面的进步激发了研究界对更开放、更全面的任务的兴趣,并为构建智能机器的旧AI梦想注入了动力。我们讨论了一些突出的挑战,这种整体的任务,并认为“问答图像”作为一个特别有吸引力的例子,这样一个整体的任务。特别是,我们指出,这是一个版本的图灵测试,可能是更强大的过度解释,并将其与接地和生成描述等任务进行对比。最后,我们讨论了衡量该领域进展的工具。
2015-01-15 cs.AI cs.CL cs.CV
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学)
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题,提出无监督长文档问答任务与AttenWalker方法,通过三模块构建长距离依赖答案,在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
Relation Extraction with Instance-Adapted Predicate Descriptions
Division of Biomedical Informatics, Department of Internal Medicine University of Kentucky(生物医学信息学系,内科部,肯塔基大学)
针对关系抽取任务,本文提出双编码器架构,利用真实实体跨度生成实例自适应谓词表示,并联合对比与交叉熵损失微调小型编码器模型,在四个数据集上较SOTA提升F1达1%至2%。
2025-07-25 cs.CL
Unlocking the Potential of Multiple BERT Models for Bangla Question Answering in NCTB Textbooks
Brac University(BRAC大学)
本研究评估了RoBERTa Base、Bangla-BERT和BERT Base在NCTB教科书孟加拉语问答任务中的表现,发现Bangla-BERT在微调超参数后取得最佳F1和EM分数,为教育自动评估系统奠定基础。
2024-12-24 cs.CL
CoSQA: 20,000+ Web Queries for Code Search and Question Answering
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STC Asia(微软亚洲搜索技术中心)
在给定自然语言查询的情况下查找代码对软件开发人员的生产力是有利的。在查询和代码之间实现更好的语义匹配的未来进展需要更丰富的监督训练资源。为了解决这个问题,我们引入了CoSQA数据集。它包括20,604个自然语言查询和代码对的标签,每个标签由至少3个人类注释者注释。我们进一步引入了一种称为Cohesive的对比学习方法来增强查询代码匹配,它可以作为数据增强器来带来更多人工生成的训练实例。我们表明,在CodeXGLUE上使用相同的CodeBERT模型进行评估,CoSQA上的训练将代码问答的准确率提高了5.1%,而结合CoSQA则进一步提高了10.5%。
2021-05-27 cs.CL cs.SE
FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对开放域问答中FiD框架因段落过长导致推理耗时的问题,提出FastFiD方法对编码后段落做句子选择以缩短上下文,在三个常用数据集上实现2.3X-5.7X的推理提速且保持性能。
2024-08-12 cs.CL
CQASUMM: Building References for Community Question Answering Summarization Corpora
Myntra Designs(Myntra设计公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院)
Quora、Stackoverflow等社区问答论坛是丰富的知识资源,经常迎合被主要搜索引擎忽视的主题信息。提交给这些论坛的答案往往是精心制作的,包含垃圾邮件,被诽谤和商业促销所破坏。读者很难通过大量这样的答案来衡量社区的意见。因此,总结成为CQA论坛的优先任务。虽然已经做出了一些努力来总结类事实CQA,但在总结非类事实CQA方面的工作很少。我们认为这是由于缺乏一个相当大的,注释的数据集CQA总结。我们通过过滤440万Yahoo!回答L 6数据集。我们抽样的线程,其中最好的答案可以加倍作为一个参考摘要,并建立从他们百字摘要。我们将其他答案作为候选文档进行总结。我们提供了一个脚本来生成数据集,并介绍了社区问答摘要的新任务。多文档摘要已被广泛研究的新闻文章数据集,特别是在DUC和TAC挑战使用新闻语料库。然而,CQA中的文档具有更高的方差、矛盾的观点和更少的重叠量。我们比较流行的多文档摘要技术,并评估其性能在我们的CQA语料库。我们研究了最先进的技术,并了解了现有的多文档摘要器(MDS)失败的情况。我们发现,大多数MDS工作流程是建立在完全事实的新闻语料库,而我们的语料库有一个公平的份额的意见为基础的实例。因此,我们引入了OpinioSumm,一种新的MDS,其在ROUGE-1评分方面优于最佳基线4.6%。
2018-11-12 cs.CL
CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
知识库(KBs)在实践中往往是不完整和不断变化的。然而,在许多与知识库相结合的问答应用中,知识库的稀疏性常常被忽视。为此,我们提出了一个基于案例的推理方法,CBR-iKB,知识库问答(KBQA)与不完全知识库作为我们的主要焦点。我们的方法集成决策从多个推理链与一种新的非参数推理算法。通过设计,CBR-iKB可以无缝地适应知识库的变化,而无需任何特定于任务的培训或微调。我们的方法在MetaQA上实现了100%的准确性,并在多个基准测试中建立了新的最先进水平。例如,CBR-iKB在不完整KB设置下在WebQSP上实现了70%的准确性,比现有的最先进的方法高出22.3%。
2022-04-18 cs.AI cs.CL cs.IR
AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering
University of Notre Dame(诺丁汉大学);University of Connecticut(康涅狄格大学);IBM Research(IBM研究院)
本文提出AgentRouter框架,将多智能体问答建模为知识图谱引导的路由问题,利用异构图神经网络生成任务感知的路由分布,通过软监督和加权聚合实现协作,实验证明其优于单智能体和集成基线。
2025-10-06 cs.CL
Verifiable by Construction: How Well Do LLMs Substantiate Their Clinical Claims with Verbatim Quotes?
Johns Hopkins University(约翰霍普金斯大学)
本文评估了十二个大型语言模型在临床问答中端到端生成逐字引用并完全证实声明的能力,发现多数模型虽能附加引用,但完全证实率低,揭示了可验证临床QA系统的能力差距。
2026-11-13 cs.CL
A Dataset of Open-Domain Question Answering with Multiple-Span Answers
Zhejiang Sci-Tech University(浙江理工大学)
本文提出CLEAN,一个全面的中文多跨度问答数据集,涵盖开放域主题并包含大量描述性回答实例,以填补中文MSQA基准的空白,并提供基线模型展示其特点与挑战。
2024-02-15 cs.AI cs.CL
Analysis of Wikipedia-based Corpora for Question Answering
Emory University(埃默里大学);Infosys Ltd.(印孚瑟斯有限公司)
本文以维基百科为语料库,对问答中的几个任务进行了全面的分析。四个最近的语料库收集,WikiQA,SelQA,SQuAD,和InfoQA,并首先内在地分析了上下文相似性,问题类型和答案类别。这些语料库,然后分析了三个问答任务,答案检索,选择和触发。还提出了一种基于索引的方法,用于使用整个维基百科创建用于答案检索的银标准数据集。我们的分析显示了这些语料库的独特性,并建议更好地利用它们进行统计问答学习。
2018-02-05 cs.CL
Understanding Errors in LLM-Based Question Answering over Imperfect Tables
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Auckland(奥克兰大学);Jilin University(吉林大学)
本研究通过受控实验揭示,在不完美表格问答中,错误位置影响发现率,且仅提供位置不足以保证准确;GBDI工作流结合多视图发现与验证指导,显著提升问答准确性。
2026-10-07 cs.CL
Training IBM Watson using Automatically Generated Question-Answer Pairs
ECE, Seoul National University(首尔国立大学电气与计算机工程系);IBM Korea(IBM韩国)
IBM Watson是一个认知计算系统,能够以自然语言回答问答。IBM Watson可以理解大型语料库,并比目前可用的任何其他问答系统更有效地回答相关问题。然而,为了释放Watson的全部功能,我们需要用大量精心准备的问题-答案对来训练它的实例。显然,大量手动生成这样的对是非常耗时的,并且大大限制了Watson训练的效率。最近,一个超过3000万个问答对的大规模数据集被报道。在假设使用这样一个自动生成的数据集可以减轻手动问答生成的负担的情况下,我们尝试使用该数据集来训练Watson实例,并检查训练效率和准确性。根据我们的实验,使用这个自动生成的数据集可以有效地训练Watson,补充手动制作的问答对。据作者所知,这项工作是首次尝试使用自动生成的问答对的大规模数据集来训练IBM Watson。我们预计,从我们的实验中获得的见解和经验教训将有助于那些希望通过自动生成的问答对来加快Watson训练的研究人员。
2016-11-12 cs.CL
Answer Candidate Type Selection: Text-to-Text Language Model for Closed Book Question Answering Meets Knowledge Graphs
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Ural Federal University(乌拉尔联邦大学);Artificial Intelligence Research Institute(人工智能研究院);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息系统研究所可信人工智能研究中心)
针对文本到文本语言模型在知识图谱问答中处理不流行实体时质量下降的问题,提出基于Wikidata类型对候选答案进行过滤和重排的方法,提升问答性能。
2023-10-10 cs.AI cs.CL cs.IR
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院)
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放,并且只能有效地应用于小的实例依赖子图。在本文中,我们解决这个问题,表明多跳和更复杂的逻辑推理可以单独完成,而不会失去表达能力。出于这种认识,我们提出了一种多跳推理的方法,该方法与图中的关系类型的数量呈线性关系,通常比边或节点的数量要小得多。这会产生一组候选解决方案,这些解决方案可以被证明是精炼的,以恢复原始问题的解决方案。我们对基于知识的问答的实验表明,我们的方法解决了多跳MetaQA数据集,实现了一个新的国家的最先进的更具挑战性的WebbrowsSP,是数量级的可扩展性比竞争对手的方法,并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering
本研究针对阿拉伯语伊斯兰问答场景,基于微调后的google/gemma-4-12B-it模型构建系统,实现了幻觉检测与可信答案选择的两步任务,在公开数据集上取得了优异性能。
2026-11-11 cs.CL
TOP-Training: Target-Oriented Pretraining for Medical Extractive Question Answering
Pennsylvania State University(宾夕法尼亚州立大学);Indian Institute of Technology (IIT) Bhubaneswar(印度理工学院布巴内斯瓦尔分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对医疗抽取式问答的领域特异性与自回归LLM幻觉问题,提出无需目标领域大量无标注数据的TOP-Training预训练范式,通过实体合成文本预训练提升性能,释放双向LLM潜力。
2024-12-12 cs.CL
AfriEconQA: A Benchmark for Quantitative and Temporal Reasoning over World Bank Economic Reports
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
AfriEconQA是一个基于世界银行报告的非洲经济分析基准数据集,旨在测试信息检索和RAG系统在处理复杂经济查询时的性能。
2026-10-14 cs.CL
EARL: Joint Entity and Relation Linking for Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
许多基于知识图谱的问答系统依赖于实体和关系链接组件,以便将自然语言输入连接到底层知识图谱。传统上,实体链接和关系链接被执行为相关的顺序任务或独立的并行任务。在本文中,我们提出了一个框架,称为EARL,它执行实体链接和关系链接作为一个联合任务。EARL实现了两种不同的解决方案的策略,我们提供了本文的比较分析:第一种策略是形式化的联合实体和关系链接任务的一个实例的广义旅行推销员问题(GTSP)。为了在计算上可行,我们采用近似的GTSP求解器。第二种策略使用机器学习以利用知识图谱中节点之间的连接密度。它依赖于三个基本特征和重新排序步骤来预测实体和关系。我们比较了这些策略,并在一个包含5000个问题的数据集上进行了评估。这两种策略显着优于目前国家的最先进的实体和关系链接的方法。
2018-06-25 cs.AI cs.CL
Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base
Ping An Life Insurance of China(中国平安人寿保险股份有限公司);Fudan University(复旦大学)
针对CCKS2019开放领域基于知识的问答任务,提出了一种结合信息检索和语义解析的方法。这个多模块系统从一个问题中提取主题实体和最相关的关系谓词,并将其转换为一个Sparql查询语句。我们的方法在测试数据上获得了70.45%的F1分数。
2019-10-28 cs.CL
FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain
Avignon University(阿维尼翁大学);Nantes University(南特大学);CHU de Nantes(南特大学中心医院);Zenidoc
本文介绍了首个面向医学领域的法语多选题问答数据集FrenchMedMCQA,包含3,105道真实考试题目,并提出基线模型评估任务难度,发现英语专业模型优于通用法语模型。
2023-04-09 cs.AI cs.CL
Denoising Table-Text Retrieval for Open-Domain Question Answering
POSTECH(浦项科技大学);aiXplain, Inc.(aiXplain公司)
为解决表格-文本开放域问答中假阳性标签和跨表格推理证据检索困难的问题,提出DoTTeR模型,通过去噪训练集和引入表格级排序信息微调列编码器,显著提升了检索召回率与下游QA性能。
2024-03-26 cs.AI cs.CL
Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications
Technische Universität Darmstadt(达姆施塔特工业大学);Nanyang Technological University(南洋理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
阻碍胶囊网络开发具有挑战性的NLP应用的障碍包括大输出空间的可扩展性差和路由过程不可靠。在本文中,我们引入:1)协议分数来评估实例级别路由过程的性能; 2)自适应优化器,以增强路由的可靠性; 3)封装压缩和部分路由,以提高封装网络的可扩展性。我们验证了我们的方法在两个NLP任务,即:多标签文本分类和问答。实验结果表明,我们的方法大大提高了强大的竞争对手在这两个任务。此外,我们在低资源环境中获得了最好的结果,只有很少的训练实例。
2019-06-06 cs.CL
Lattice CNNs for Matching Based Chinese Question Answering
Peking University(北京大学);Lancaster University(兰卡斯特大学);Tencent AI Lab(腾讯人工智能实验室)
短文本匹配往往面临着两个文本之间存在大量的词不匹配和表达差异的挑战,而在汉语等没有自然空间显式分词的语言中,这一问题将进一步加剧。本文提出了一种新的基于格的CNN模型(LCN),它利用词格中固有的多粒度信息,同时保持较强的处理噪声信息的能力,用于中文基于匹配的问答。我们在基于文档的问答和基于知识的问答任务上进行了广泛的实验,实验结果表明,LCN模型可以显著优于最先进的匹配模型和强基线,利用更好的能力,从词格输入中提取丰富但有区别的信息。
2019-02-25 cs.CL