Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
针对视觉问答泛化能力不足的问题,提出两层认知架构的CopVQA模型,通过多通路因果推理与专家模块协作提升性能,在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Improving Data Augmentation for Robust Visual Question Answering with Effective Curriculum Learning
Zhejiang University(浙江大学);HKUST(香港科技大学)
针对视觉问答数据增强后训练集冗余导致训练效率低、性能受损的问题,提出有效课程学习策略ECL,按难度递进训练并动态移除低价值样本,以更少样本提升模型性能,经消融实验验证有效。
2024-01-28 cs.CV
Improving Few-Shot Change Detection Visual Question Answering via Decision-Ambiguity-guided Reinforcement Fine-Tuning
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Department of Mathematics, University of California, San Diego(加州大学圣地亚哥分校数学系);School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院)
DARFT通过决策模糊性引导的强化微调提升CDVQA的判别性和鲁棒性,尤其在少样本场景中表现优异。
2025-12-31 cs.CV
Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment
Zhejiang University(浙江大学)
复杂的知识库问答可以通过将问题转换为预定义的动作序列来实现。然而,在自然语言和动作序列之间存在显著的语义和结构鸿沟,这使得这种转换变得困难。在本文中,我们介绍了一个增强的复杂问答框架,称为ALCQA,它通过问题到动作对齐和问题到问题对齐来缓解这一差距。我们训练一个问题重写模型来对齐问题和每个动作,并利用预训练的语言模型来隐式地对齐问题和KG工件。此外,考虑到类似的问题对应于类似的动作序列,我们检索top-k相似的问答对在推理阶段通过问题到问题对齐,并提出了一种新的奖励引导的动作序列选择策略,从候选动作序列中选择。在CQA和WQSP数据集上进行了实验,结果表明,该方法在CQA数据集上的F1度量提高了9.88%,优于现有方法.我们的源代码可在https://github.com/TTTTTTTTy/ALCQA上获得。
2022-12-26 cs.AI cs.CL
A Simple Loss Function for Improving the Convergence and Accuracy of Visual Question Answering Models
National University of Singapore(新加坡国立大学)
视觉问答作为最近提出的多模态学习任务,受到了深度学习界的广泛关注。最近,重点是开发新的表示融合方法和注意力机制,以实现卓越的性能。另一方面,很少关注模型的损失函数,这可以说是训练深度学习模型的最重要方面之一。流行的做法是使用交叉熵损失函数,该函数惩罚给予词汇表中除特定问题的单个最常见答案之外的所有答案的概率。然而,VQA评估函数将预测的答案与给定问题的所有真实答案进行比较,如果存在匹配,则给出部分点。这导致模型的交叉熵损失与VQA评估函数计算的模型准确度之间的差异。在这项工作中,我们提出了一种新的损失,称为软交叉熵,它考虑了所有的地面真理的答案,从而减少了损失的准确性差异。提出的损失导致VQA模型的训练收敛性得到改善,准确度提高了1.6%。
2017-08-02 cs.CV
TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations
Imperial College London(帝国理工学院)
TabRAG通过结构化表示改进表格文档问答,采用布局分割和视觉语言模型解析,提升表格问答性能。
2026-01-31 cs.AI cs.CL cs.CV
Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Hefei University of Technology(合肥工业大学)
提出推理问题提示方法,通过生成自包含问题激活大语言模型在零样本视觉问答中的潜力,在多个数据集上显著提升性能。
2023-11-15 cs.AI cs.CV
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech(弗吉尼亚理工大学);Northeastern University(东北大学);University of Southern California(南加州大学);Miami University(迈阿密大学);Northern Arizona University(北亚利桑那大学)
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景,旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
为了促进自然语言理解,关键是要使用常识或背景知识。然而,如何在问答系统中有效地使用常识仍然在学术界和工业界的探索中。在本文中,我们提出了一种新的问答方法,通过集成多个知识源,即ConceptNet,维基百科和剑桥词典,以提高性能。更具体地说,我们首先介绍了一种新的基于图的迭代知识检索模块,它迭代地检索概念和实体相关的给定的问题,它的选择从多个知识源。之后,我们使用预先训练的语言模型来编码问题,检索知识和选择,并提出一个答案选择感知的注意力机制来融合前面模块的所有隐藏表示。最后,针对特定任务的线性分类器被用来预测答案。在CommonsenseQA数据集上的实验结果表明,该方法的性能明显优于其他竞争方法,达到了新的水平。此外,进一步的消融研究表明,基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源中检索和合成背景知识方面是有效的。
2020-11-05 cs.AI cs.CL
AutoVQA-G: Self-Improving Agentic Framework for Automated Visual Question Answering and Grounding Annotation
School of Artificial Intelligence(人工智能学院)
本文提出AutoVQA-G框架,通过迭代优化流程提升视觉问答接地标注的准确性,优于现有多模态LLM,为构建高质量数据促进更稳健的视觉语言模型训练提供新方法。
2026-04-19 cs.CV
GeoRisk-RAG: A Hierarchy-Aware Risk Framework for Improving RAG Reliability through Selective Answering
Virginia Tech(弗吉尼亚理工大学);Florida Polytechnic University(佛罗里达理工大学);Kuwait University(科威特大学)
GeoRisk-RAG是一种层级感知框架,通过选择性回答结合有向无环图距离估计地理适用性,在野火QA数据集上将位置相关问题错误置信率降至0.009,提升RAG可靠性,助力地理空间领域安全决策。
2026-08-25 cs.AI cs.CL
SPARC: A Multi-Agent System for Electrical Circuit Question Answering
University of Michigan(密歇根大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
提出SPARC多智能体系统,通过可执行的物理仿真程序进行推理,在电路问答任务上实现83%准确率,较基线提升高达58%。
2026-06-23 cs.AI cs.CV
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals
Renmin University of China(中国人民大学);Singapore Management University(新加坡管理大学)
多跳知识库问答(KBQA)的目的是在知识库(KB)中找到与问题中的实体相距多跳的答案实体。一个主要的挑战是在中间步骤缺乏监督信号。因此,多跳KBQA算法只能接收最终答案的反馈,这使得学习不稳定或无效。为了应对这一挑战,我们提出了一种新的师生多跳KBQA任务的方法。在我们的方法中,学生网络的目标是找到查询的正确答案,而教师网络试图学习中间监督信号,以提高学生网络的推理能力。主要的新颖性在于教师网络的设计,我们利用正向和反向推理来增强中间实体分布的学习。通过考虑双向推理,教师网络可以产生更可靠的中间监督信号,这可以减轻虚假推理的问题。在三个基准数据集上进行的大量实验证明了该方法在KBQA任务上的有效性。复制我们分析的代码可在https://github.com/RichardHGL/WSDM2021_NSM上获得。
2021-04-07 cs.AI cs.CL
Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出干扰感知答案选择(DAS)方法,通过否定指令和分数调整减少不相关文档干扰,提升开放域问答中零样本阅读器的性能,并展现无需训练的强迁移能力。
2023-11-14 cs.AI cs.CL
Inference Scaled GraphRAG: Improving Multi Hop Question Answering on Knowledge Graphs
North Carolina State University(北卡罗来纳州立大学);Oak Ridge National Laboratory(奥本海默国家实验室)
提出Inference-Scaled GraphRAG框架,通过结合深度思维链图遍历的顺序缩放与多数投票的并行缩放进行推理时计算缩放,显著提升了LLM在GRBench基准上的多跳问答性能。
2025-06-24 cs.AI cs.CL
Measuring and Improving Complex-Atomic Answer Consistency in Endoscopic VQA
研究内窥镜VQA中复杂问题答案一致性,引入EndoCA基准,评估11个VLM,发现部分模型复杂答案准确率高但原子答案准确率及复杂-原子答案一致性低,提出ASR机制,能在选定模型上提高配对复杂-原子正确性及已回答案例准确性。
2026-07-21 cs.AI cs.CV
Implications of Deep Circuits in Improving Quality of Quantum Question Answering
Banasthali Vidyapith(班斯塔里·维迪亚皮斯)
本文利用Qiskit中的QSVM和VQC算法对SelQA数据集进行问题分类,研究电路深度的影响,并结合基于规则的QA系统显著提升了问答质量。
2023-05-12 cs.AI cs.CL quant-ph
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering
South China Normal University(华南师范大学)
针对云端LLM零样本提示准确率低的问题,提出Fed-SP-SC和Fed-DP-CoT方法,利用联邦同义问题池结合自洽性与思维链技术,无需模型微调即可显著提升分布式用户查询的回答精度。
2023-06-30 cs.AI
Meta Answering for Machine Reading
Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);New York University(纽约大学);University of Maryland(马里兰大学)
我们研究了一个机器阅读的框架,灵感来自现实世界的信息寻求问题,其中一个Meta问答系统与黑盒环境进行交互。该环境封装了一个基于BERT的竞争机器阅读器,提供问题的候选答案,可能还有一些上下文。为了验证我们的公式的现实性,我们要求人类扮演元回答者的角色。只需在答案周围添加一小段文字,人类就可以超越机器阅读器,提高回忆率。类似地,一个简单的机器元回答器优于环境,提高了Natural Questions数据集的精确度和召回率。该系统依赖于答案评分和条件信息选择的联合训练。
2020-04-30 cs.AI cs.CL
A case study of Generative AI in MSX Sales Copilot: Improving seller productivity with a real-time question-answering system for content recommendation
Microsoft(微软)
本文提出面向微软MSX销售场景的实时问答内容推荐系统,利用LLM嵌入、提示词工程及双编码器加交叉编码器架构,在数秒内从大型销售内容库中精准推荐相关材料,并已集成至生产环境以提升卖家生产力。
2024-01-04 cs.AI cs.IR cs.LG
Assessing the Robustness of Visual Question Answering Models
Universiteit van Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
深度神经网络在视觉问答(VQA)任务中发挥着重要作用。直到最近,它们的准确性一直是研究的主要焦点。现在有一种趋势,即通过评估这些模型在VQA模型输入噪声水平增加的情况下的准确性,来评估这些模型对对抗攻击的鲁棒性。在VQA中,攻击可以针对图像和/或所提出的查询问题(称为主问题),但缺乏对VQA这方面的适当分析。在这项工作中,我们提出了一种新的方法,使用语义相关的问题,被称为基本问题,作为噪声来评估VQA模型的鲁棒性。我们假设,随着基本问题与主要问题的相似性降低,噪音水平增加。为了为给定的主要问题生成合理的噪音水平,我们根据基本问题与该主要问题的相似性对基本问题池进行排名。我们把这个排名问题作为一个LASSO优化问题。我们还提出了一个新的鲁棒性度量Rscore和两个大规模的基本问题数据集,以规范VQA模型的鲁棒性分析。实验结果表明,该方法能够有效地分析VQA模型的鲁棒性。为了促进VQA研究,我们将公布我们提出的数据集。
2022-03-03 cs.CL cs.CV
Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval
Technical University of Munich(慕尼黑工业大学)
针对现有健康问答系统依赖预标注证据、难以应对新问题的局限,研究基于PubMed和检索-阅读流水线,通过优化检索文档数量、时效与引用指标,将宏F1分数最高提升10%,并指出未来研究方向。
2024-04-12 cs.AI cs.CL cs.IR
Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock(阿肯色大学小石城分校)
理解视觉问答对许多人类活动至关重要。然而,它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步,在过去的几年中发生的图像的更新。近年来,关于改进可视问答系统体系结构的研究取得了巨大的增长,这表明了多通道体系结构的重要性。关于视觉问答的好处,Manmadhan等人(2020)的综述论文中提到了几点,本文以其为基础,包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
OLAPH: Improving Factuality in Biomedical Long-form Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
本文提出MedLFQA基准数据集和OLAPH框架,通过多方面自动评估构建合成偏好集,逐步训练LLMs以减少幻觉并包含关键医学陈述,显著提升生物医学长篇问答的事实性。
2024-10-15 cs.AI cs.CL
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University(西北大学)
本文提出Conv-CoA框架,通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数,解决开放域对话问答中的幻觉、推理弱和检索性能差问题,在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
Improving Attributed Long-form Question Answering with Intent Awareness
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
本文提出通过增强模型意图意识来提升长报告生成质量,通过结构化标签方案提取隐含意图,改进零样本生成能力并生成高质量合成数据,实验显示在科学报告生成任务中模型性能平均提升2.9和12.3个百分点。
2026-08-10 cs.AI cs.CL
K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for Question Answering
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Fudan University(复旦大学)
知识增强的预训练语言模型(K-PLM)被证明是有效的许多公共任务在文献中,但很少有成功地应用于实践。为了解决这个问题,我们提出了K-AID,这是一种系统化的方法,包括用于获取领域知识的低成本知识获取过程,用于提高模型性能的有效知识注入模块,以及用于减小模型大小和在资源受限设备上部署K-PLM的知识蒸馏组件(例如,CPU)用于实际应用。重要的是,我们的方法不是像大多数现有的K-PLM那样捕获实体知识,而是捕获关系知识,这有助于更好地改进在问答(QA)中起关键作用的文本级文本分类和文本匹配任务。我们进行了一组实验,五个文本分类任务和三个文本匹配任务,从三个领域,即电子商务,政府,电影和电视,并进行在线A/B测试在电子商务。实验结果表明,该方法能够实现对业务级问答任务的实质性改进,并在工业环境中带来有益的商业价值。
2021-09-22 cs.AI
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia(微软亚洲研究院)
我们建议通过利用更强大的特征提取器来提高VQA,方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征,本文采用了一些检测技术来改进检测器。对于文本特征,我们采用BERT作为语言模型,并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Improving and Diagnosing Knowledge-Based Visual Question Answering via Entity Enhanced Knowledge Injection
University of Texas At Austin(德克萨斯大学奥斯汀分校)
基于知识的视觉问答(KBVQA)是一种需要外部世界知识的双模态任务,以正确回答文本问题和相关图像。最近的单模态文本工作表明,将知识注入到预先训练的语言模型中,特别是实体增强的知识图谱嵌入,可以提高下游以实体为中心的任务的性能。在这项工作中,我们实证研究如何以及是否这样的方法,应用在一个双模态设置,可以提高现有的VQA系统的性能上的KBVQA任务。我们用两个大型的公开可用的VQA数据集进行了实验,(1)KVQA,其中包含大多数罕见的维基百科实体;(2)OKVQA,它不太以实体为中心,更符合常识推理。两者都缺乏明确的实体跨度,我们研究了不同的弱监督和手动方法来获得它们的效果。此外,我们分析了最近提出的双模态和单模态的注意力解释是如何受到这种实体增强表征的影响。我们的研究结果表明,KBVQA任务的性能大幅提高,而不需要额外的昂贵的预训练,我们提供的见解时,实体知识注入有助于提高模型的理解。我们提供代码和增强的数据集以实现可重复性。
2021-12-13 cs.CL cs.CV cs.LG
Improving Opinion-based Question Answering Systems Through Label Error Detection and Overwrite
Meta Platforms, Inc.(Meta平台公司)
针对标注数据标签错误影响模型质量的问题,提出模型无关、计算高效的LEDO框架,基于蒙特卡洛Dropout与不确定性指标实现标签错误检测覆写,在工业观点问答系统的多个核心模型上取得显著性能提升且具备成本效益。
2023-06-13 cs.AI cs.CL cs.LG
UIT-Saviors at MEDVQA-GI 2023: Improving Multimodal Learning with Image Enhancement for Gastrointestinal Visual Question Answering
Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
针对胃肠道视觉问答任务,提出结合图像增强与多模态架构(BERT+视觉模型)的方法,实验证明基于Transformer的模型优于CNN,最佳方法在开发测试集上取得87.25%准确率和91.85% F1-Score。
2023-11-20 cs.CV cs.HC
HORNet: Task-Guided Frame Selection for Video Question Answering with Vision-Language Models
Northeastern University(东北大学)
HORNet通过轻量级策略优化,显著减少视频输入帧数和VLM处理时间,同时提升问答质量与时间推理任务表现。
2026-03-19 cs.CV
Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs
Technical University of Munich(慕尼黑工业大学);TUM University Hospital Rechts der Isar(慕尼黑工业大学 Rechts der Isar 大学医院);German Heart Center Munich(慕尼黑德国心脏中心);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心);German Consortium for Translational Cancer Research(德国转化癌症研究联盟)
通过原子事实核查提升医疗问答的可靠性与可解释性,减少幻觉并提高事实准确性。
2025-12-30 cs.AI cs.CL
Improving Selective Visual Question Answering by Learning from Your Peers
FAIR, Meta AI(Meta人工智能基础研究院);Reality Labs Research, Meta(Meta现实实验室研究院);Sorbonne Université(索邦大学)
针对视觉问答模型难以自主判断答案正确性、弃权决策效果不佳的问题,提出“向同伴学习(LYP)”方法训练多模态选择函数,无需额外标注,在分布内和混合分布场景下均大幅提升了选择性预测的覆盖率。
2023-06-14 cs.CV
A Study on Multimodal and Interactive Explanations for Visual Question Answering
UC San Diego(加利福尼亚大学圣地亚哥分校);SRI International(斯坦福国际研究院)
AI模型的可解释性和可解释性是影响AI安全性的重要因素。虽然各种可解释人工智能(XAI)方法旨在缓解深度网络中缺乏透明度的问题,但这些方法在提高人工智能系统的可用性、信任和理解方面的有效性的证据仍然缺失。我们评估多模态的解释设置的视觉问答(VQA)任务,要求用户预测的响应准确性的VQA代理和没有解释。我们使用科目间和科目内的实验,以探讨解释的有效性,提高用户预测的准确性,信心和可靠性,以及其他因素。结果表明,这些解释有助于提高人类预测的准确性,特别是在VQA系统的答案不准确的试验中。此外,我们还介绍了主动注意,一种通过编辑注意力地图进行干预来评估因果注意力效应的新方法。用户解释评级与人类预测准确性密切相关,并表明这些解释在人机AI协作任务中的有效性。
2020-03-01 cs.AI
From Parse-Execute to Parse-Execute-Refine: Improving Semantic Parser for Complex Question Answering over Knowledge Base
Sun Yat-Sen University(中山大学)
针对复杂知识库问答的多步推理难题,本文提出解析-执行-细化范式,基于KoPL生成逻辑形式并执行得到中间推理步骤,再用该过程细化模型,推出的PER-KBQA在基准数据集上性能优于现有最优基线。
2023-05-05 cs.AI cs.CL cs.LG
Knowledge Graph Question Answering using Graph-Pattern Isomorphism
Paderborn University(帕德博恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Universität Hamburg(汉堡大学);Globo(环球集团)
知识图谱问答(KGQA)系统基于机器学习算法,需要数千个问答对作为训练样本或需要模块微调的自然语言处理管道。在本文中,我们提出了一种新的QA方法,称为TeBaQA。我们的方法学习回答问题的基础上,从SPARQL查询的基本图形模式的图同构。学习基本图形模式是有效的,因为可能的模式数量很少。这种新颖的范例减少了实现最先进性能所需的训练数据量。TeBaQA还通过将QA系统开发任务转换为更小且更容易的数据编译任务来加快域适应过程。在我们的评估中,TeBaQA在QALD-8上实现了最先进的性能,并在QALD-9和LC-QuAD v1上提供了相当的结果。此外,我们对处理聚合和最高级问题的复杂查询以及消融研究进行了细粒度评估,突出了未来的研究挑战。
2022-02-02 cs.AI cs.CL
Consistency-preserving Visual Question Answering in Medical Imaging
University of Bern(伯尔尼大学)
视觉问答(VQA)模型将图像和自然语言问题作为输入,并推断问题的答案。最近,由于潜在的优势,如患者参与和临床医生的第二意见,医学成像中的VQA系统已经受到欢迎。虽然大多数研究工作都集中在改进架构和克服数据相关的限制,但答案一致性一直被忽视,尽管它在建立可信模型方面发挥着关键作用。在这项工作中,我们提出了一种新的损失函数和相应的训练过程,允许包括问题之间的关系到训练过程中。具体而言,我们认为感知和推理问题之间的影响是已知的先验的情况下。为了显示我们的方法的好处,我们评估它的临床相关任务的糖尿病黄斑水肿(DME)分期眼底成像。我们的实验表明,我们的方法优于最先进的基线,不仅通过提高模型的一致性,而且在整体模型的准确性。我们的代码和数据可在https://github.com/sergiotasconmorales/consistency_vqa上获得。
2022-06-27 cs.CV cs.LG
II-MMR: Identifying and Improving Multi-modal Multi-hop Reasoning in Visual Question Answering
The Ohio State University(俄亥俄州立大学);Amazon AGI(亚马逊AGI);University of Minnesota(明尼苏达大学)
本文提出II-MMR方法,通过答案预测引导CoT提示和知识三元组引导提示识别并改进VQA中的多模态多跳推理,在GQA和A-OKVQA基准上验证了其在零样本和微调设置下的有效性。
2024-06-03 cs.CL cs.CV
Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文提出跨文档问答预训练目标并构建 QAmden 模型,通过让模型在主题相关文档间“窥视”来回答问题并恢复原句,从而提升多文档问答、摘要等任务性能,最高提升 7%,并优于零样本 GPT-3.5 和 GPT-4。
2023-05-24 cs.AI cs.CL
Improving Heart-Focused Medical Question Answering in LLMs via Variance-Aware Rubric Rewards with GRPO
School of Electrical and Computer Engineering, University of Oklahoma, Norman, OK, USA(电气与计算机工程学院,俄克拉荷马大学,诺曼,OK,USA);Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory, University of Oklahoma, Norman, OK, USA(创新研究与工程智能神经形态与量子理解实验室,俄克拉荷马大学,诺曼,OK,USA);Khiabani Data Science and Analytics Institute, University of Oklahoma, Norman, OK, USA(Khiabani数据科学与分析研究所,俄克拉荷马大学,诺曼,OK,USA);Data Institute for Societal Challenges (DISC), University of Oklahoma, Norman, OK, USA(社会挑战数据研究所(DISC),俄克拉荷马大学,诺曼,OK,USA);School of Industrial and Systems Engineering, University of Oklahoma, Norman, OK, USA(工业与系统工程学院,俄克拉荷马大学,诺曼,OK,USA);Office of Responsible Artificial Intelligence (ORAI), University of Arizona, Tucson, AZ, USA(负责任人工智能办公室(ORAI),亚利桑那大学,图森,AZ,USA)
提出一种方差感知奖励框架,结合GRPO和RaR-Medicine的评分规则,通过连续分析奖励函数替代离散聚合,提升LLMs在心脏医学问答上的准确率和F1分数。
2026-10-14 cs.AI cs.CL
Search-GRT: Guided Retrieval Training of Search Agents to Optimize for Complex Question Answering
AI Center-Mountain View, Samsung Electronics(三星电子山景城AI中心)
针对LLM搜索的奖励稀疏问题,提出GRT方法,通过真实信息限制检索过程,在多跳问答等任务上实现超40%性能提升并提高训练效率。
2026-08-04 cs.AI
Improving LLM Reliability with RAG in Religious Question-Answering: MufassirQAS
Mugla Sitki Kocman University(穆拉·萨特克·科奇曼大学);Manisa Celal Bayar University(马尼萨·切拉尔·巴亚尔大学);University of Waterloo(滑铁卢大学)
MufassirQAS通过RAG方法提升LLM在宗教问答中的可靠性,提供透明和准确的回应。
2025-12-09 cs.AI cs.CL
A Self-Improving Agent that Grows its Own DSL: Oracle-Free Operator Induction for Exact Question Answering
PayPal AI(PayPal人工智能部门)
该研究提出一种无监督的自改进智能体,通过嵌套循环在DSL中归纳算子,无需奖励、评判模型或真实标签,可扩展精确问答能力,在多领域及跨模型家族均表现出良好效果。
2026-10-16 cs.AI cs.CL
Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering
The University of Auckland(奥克兰大学);National University of Singapore(新加坡国立大学);University of Southern Queensland(南昆士兰大学)
针对现有RAG模型仅适配维基百科知识库、难以应用于专业领域的问题,提出可联合训练检索器与生成器、引入辅助训练信号的RAG-end2end模型,在三个领域数据集上取得显著性能提升并已开源。
2022-10-06 cs.AI cs.CL cs.IR
Vision-Language Pre-training: Basics, Recent Advances, and Future Trends
Microsoft Corporation(微软公司)
本文调查了视觉语言预训练(VLP)方法的多模态智能,在过去的几年中已经开发出来。我们将这些方法分为三类:($i$)用于图像-文本任务的VLP,例如图像描述、图像-文本检索、视觉问答和视觉基础;($ii$)用于核心计算机视觉任务的VLP,例如(开集)图像分类、目标检测和分割;以及($iii$)VLP,用于视频-文本任务,例如视频描述、视频-文本检索和视频问答。对于每一个类别,我们提出了一个国家的最先进的方法的全面审查,并讨论了已经取得的进展和仍然面临的挑战,使用特定的系统和模型作为案例研究。此外,对于每个类别,我们讨论了研究界正在积极探索的高级主题,例如大型基础模型,统一建模,上下文少样本学习,知识,鲁棒性和计算机视觉在野外,仅举几例。
2022-10-17 cs.CL cs.CV
Using NLU in Context for Question Answering: Improving on Facebook's bAbI Tasks
对于人机交互的下一步,人工智能(AI)应该主要使用自然语言进行交互,因为如果它起作用,它将是最快的沟通方式。Facebook的玩具任务(bAbI)提供了一个有用的基准来比较对话式AI的实现。虽然到目前为止已发表的实验都是基于利用机器学习的分布假设,但我们的模型利用了自然语言理解(NLU),并基于角色和引用语法(RRG)和基于大脑的Patom理论进行语言分解。我们的基于语言学的会话AI组合系统具有许多优势:通过bAbI任务测试,无需解析或统计,同时提高可扩展性。我们的模型验证了训练和测试数据,以找到“垃圾”输入和输出(GIGO)。它不是基于规则的,也不使用词性,而是依赖于意义。虽然深度学习很难调试和修复,但我们模型中的每一步都可以像任何非统计计算机程序一样被理解和更改。深度学习缺乏可解释的推理引起了人们对人工智能的反对,部分原因是对未知的恐惧。为了支持人工智能的目标,我们提出了扩展任务,以使用具有时态,方面和语音的人类级别的语句,以及具有连接符的嵌入式子句:并且答案是自然语言生成(NLG)而不是关键字。虽然机器学习允许无效的训练数据产生不正确的测试响应,但我们的系统不能,因为上下文跟踪需要故意中断。我们相信目前没有任何现有的学习系统可以解决这些扩展的自然语言测试。NLP研究人员和语言学家之间似乎存在知识差距,但持续的竞争结果有望缩小这一差距。
2017-09-21 cs.AI cs.CL
Visual Question Answering using Deep Learning: A Survey and Performance Analysis
Indian Institute of Information Technology(印度信息技术学院)
视觉问答(VQA)任务将处理数据的挑战与视觉和语言处理相结合,以回答有关给定图像的基本“常识”问题。给定图像和自然语言中的问题,VQA系统尝试使用图像的视觉元素和从文本问题收集的推断来找到其正确答案。在本次调查中,我们涵盖并讨论了VQA领域最近发布的数据集,这些数据集涉及各种类型的问题格式和机器学习模型的鲁棒性。接下来,我们将讨论新的深度学习模型,这些模型在VQA数据集上显示出有希望的结果。最后,我们给出并讨论了我们在vanilla VQA模型,Stacked Attention Network和VQA Challenge 2017获奖模型上计算的一些结果。我们还提供了详细的分析以及面临的挑战和未来的研究方向。
2020-12-23 cs.AI cs.CL cs.CV
FVQA: Fact-based Visual Question Answering
Northwestern Polytechnical University(西北工业大学);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)在计算机视觉和自然语言处理社区都引起了广泛的关注,尤其是因为它提供了对两个重要信息源之间关系的洞察。目前的数据集和基于它们建立的模型都集中在那些可以通过直接分析问题和图像来回答的问题上。这些不需要外部信息来回答的问题很有趣,但非常有限。例如,它排除了需要常识或基本事实知识来回答的问题。在这里,我们介绍FVQA,一个VQA数据集,它需要并支持更深层次的推理。FVQA仅包含需要外部信息才能回答的问题。因此,我们扩展了传统的视觉问答数据集,其中包含图像问答三元组,通过额外的图像问答支持事实元组。支持事实表示为结构三元组,例如<Cat,CapableOf,ClimbingTrees>。我们在FVQA数据集上评估了几个基线模型,并描述了一个新的模型,该模型能够在支持事实的基础上对图像进行推理。
2017-08-08 cs.CV
Evaluating Search Engines and Large Language Models for Answering Health Questions
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究比较了搜索引擎、大型语言模型及RAG变体在回答150个健康问题上的表现,发现LLMs准确率更高,RAG方法能显著提升较小LLMs的准确率。
2025-03-06 cs.AI cs.IR
Integrating SPARQL and LLMs for Question Answering over Scholarly Data Sources
University of Yaounde I(雅温得第一大学);TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
针对2024 ISWC学术混合链接数据问答挑战赛任务,提出结合SPARQL查询、分治算法与预训练抽取式问答模型的方法,提升学术数据源问答的准确性和效率。
2024-11-28 cs.AI cs.IR