OmniQuery: Contextually Augmenting Captured Multimodal Memory to Enable Personal Question Answering
UCLA(加利福尼亚大学洛杉矶分校);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
针对现有AI工具无法处理复杂关联记忆查询的问题,研究提出OmniQuery系统,通过整合多模态关联记忆的上下文信息增强单条记忆,结合LLM生成带依据的答案,准确率达71.5%,优于传统RAG系统。
2025-02-21 cs.AI cs.HC
Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon.com, Inc.(亚马逊公司)
提出基于实体的传记框架,通过视觉身份链接分组长视频中同一实体的观察,提升跨事件问答性能,在EgoLifeQA上达72.0%准确率。
2026-09-30 cs.AI cs.CL cs.CV
Exploring the Impact of Table-to-Text Methods on Augmenting LLM-based Question Answering with Domain Hybrid Data
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系)
本文构建表到文本增强 LLM 问答框架,并在真实工业混合数据上比较 Markdown、模板、TPLM 与 LLM 四种方法对 DSFT 和 RAG 的效果。
2024-04-09 cs.CL
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information
KU Leuven(鲁汶大学);Pontificia Universidad Católica de Chile(智利天主教大学)
受人类排练与预期机制启发,提出一种记忆模型,通过自监督掩码建模处理共指信息,在流式数据问答任务中显著优于现有记忆网络方法。
2023-05-12 cs.AI cs.CL cs.LG
Empirical Study on Deep Learning Models for Question Answering
IBM Watson(IBM沃森)
在本文中,我们探索深度学习模型与记忆组件或注意力机制的问答任务。我们结合和比较三种模型,神经机器翻译,神经图灵机,和记忆网络的模拟QA数据集。本文是第一篇将神经机器翻译和神经图灵机用于解决QA问题的论文。我们的研究结果表明,注意和记忆的结合有潜力解决某些问答问题。
2015-11-20 cs.AI cs.CL cs.LG
Contextualized Sparse Representations for Real-Time Open-Domain Question Answering
Korea University(高丽大学);University of Washington(华盛顿大学);Clova AI NAVER(Naver Clova AI);Allen Institute for AI(艾伦人工智能研究所)
开放域问答可以被描述为一个短语检索问题,在这个问题中,我们可以期待巨大的可扩展性和速度的好处,但由于现有短语表示模型的限制,往往遭受低准确性。在本文中,我们的目标是提高每个短语嵌入的质量,通过增强它与上下文稀疏表示(Sparc)。与先前的基于词频的稀疏向量(例如,tf-idf)或直接学习(只有几千维),我们利用校正的自我注意力来间接学习n元词汇空间中的稀疏向量。通过增强先前的短语检索模型(Seo等人,2019)与Sparc相比,我们在CuratedTREC和SQuAD-Open方面显示出4%以上的改进。我们的CuratedTREC分数甚至比最知名的检索和读取模型更好,推理速度至少快45倍。
2020-05-01 cs.CL cs.IR
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
知识图谱(KG)是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据,这些任务需要关于真实世界的隐式信息。此外,在实际NLP分配中可能有用的KG的大小是巨大的,并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量,并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存,同时提供了计算优势。我们提出了一个MEKER,一个内存高效的KG嵌入模型,它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
Large-scale Simple Question Answering with Memory Networks
Facebook AI Research(脸书人工智能研究院)
训练大规模问答系统是复杂的,因为训练源通常覆盖可能问题范围的一小部分。本文研究了多任务和迁移学习对简单问答的影响;一个设置,其中所需的推理回答是很容易的,只要一个人可以检索到正确的证据给出一个问题,这可能是困难的大规模条件。为此,我们引入了一个包含10万个问题的新数据集,并将其与现有的基准测试结合使用。我们在记忆网络的框架内进行研究(Weston et al.,2015),因为这种观点使我们最终能够扩展到更复杂的推理,并表明记忆网络可以成功训练以实现出色的性能。
2015-06-05 cs.CL cs.LG
Long-Term Memory Networks for Question Answering
SUNY Buffalo(布法罗纽约州立大学);PARC(帕洛阿尔托研究中心);United Technologies Research Center(联合技术研究中心);Conduent Labs US(美国康杜恩特实验室);LinkedIn(领英)
问答是自然语言处理领域中的一个重要而又困难的任务,因为许多基本的自然语言处理任务都可以转化为一个问答任务。最近已经开发了几种深度神经网络架构,其采用记忆和推理组件来记忆和推理文本信息,并生成问题的答案。然而,许多这样的模型的一个主要缺点是它们只能生成单个单词的答案。此外,它们需要大量的训练数据来生成准确的答案。在本文中,我们介绍了长期记忆网络(LTMN),它结合了外部存储器模块和长短期记忆(LSTM)模块来理解输入数据并生成多词答案。LTMN模型可以使用反向传播进行端到端训练,并且需要最少的监督。我们在两个合成数据集(基于Facebook的bAbI数据集)和真实世界的斯坦福大学问答数据集上测试了我们的模型,并表明它可以实现最先进的性能。
2017-07-06 cs.AI cs.CL
A Brain-inspired Memory Transformation based Differentiable Neural Computer for Reasoning-based Question Answering
受大脑记忆机制启发,提出MT-DNC模型,通过融合工作记忆与长期记忆并实现自主转换,显著提升了基于推理问答的性能、收敛速度与鲁棒性。
2024-12-20 cs.AI cs.CL
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California(南加州大学);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
现有的关于用外部知识(例如,知识图谱)要么难以有效地对多跳关系进行建模,要么对模型的预测原理缺乏透明度。在本文中,我们提出了一种新的知识感知的方法,装备预训练的语言模型(PTLM)与多跳关系推理模块,命名为多跳图关系网络(MHGRN)。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络,以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性,并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
Omne-R1: Learning to Reason with Memory for Multi-hop Question Answering
Tanka Inc.(Tanka公司)
本文提出Omne-R1方法,通过多阶段训练流程(含强化学习和监督微调)结合领域无关知识图谱构建与问答对自动生成,增强无模式知识图谱多跳问答能力,尤其提升3+跳复杂问题性能并实现跨领域泛化。
2025-08-24 cs.AI cs.CL
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
A Memory Efficient Baseline for Open Domain Question Answering
Facebook AI Research(脸书人工智能研究院);ENS, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院)
近年来,基于密集表示的检索系统在开放域问答和相关任务中取得了重要的进展。虽然非常有效,但这种方法也是内存密集型的,因为整个知识源的密集向量需要保存在内存中。在本文中,我们研究如何密集的检索器-读者系统的内存占用可以减少。我们考虑了三种策略来减少索引大小:降维、矢量量化和通道滤波。我们评估我们的方法上的两个问答基准:TriviaQA和NaturalQuestions,表明它是可能的,以获得有竞争力的系统使用不到6 GB的内存。
2020-12-30 cs.CL
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK(英国华威大学计算机科学系)
我们介绍了CHIME,一个跨通道层次记忆网络的问答(QA)通过文本生成。它扩展了XLNet,引入了一个由两个组件组成的辅助记忆模块:收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲,我们展示了所提出的架构在多通道生成QA中的有效性,表现优于最先进的基线,具有更好的语法结构良好的答案,并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher(独立研究者);Boston University(波士顿大学);Binghamton University(伯克利大学)
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
A Road-map Towards Explainable Question Answering A Solution for Information Pollution
University of Dayton(代顿大学);University of Leipzig(莱比锡大学)
网络上信息污染的速度越来越快,需要新的解决方案来解决这个问题。问答(QA)界面是访问Web上信息的简化和用户友好的界面。然而,与其他AI应用程序类似,它们是黑盒,不显示用于增强答案的学习或推理步骤的细节。可解释的问答(XQA)系统可以减轻信息污染的痛苦,其中它提供对底层计算模型的透明性,并且公开使最终用户能够访问和验证信息的来源、有效性、上下文、循环、解释和反馈的接口。这份立场文件阐明了核心概念、期望和挑战,支持以下问题:(i)什么是XQA系统?(ii)为什么需要XQA?(iii)什么时候需要XQA?(iv)如何表达这些解释?(iv)如何评估XQA系统?
2019-07-04 cs.AI cs.CL cs.IR
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind(MetaMind公司)
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络(DMN)就是这样一种架构,它在各种语言任务中获得了很高的准确性。然而,没有显示当在训练期间没有标记支持事实时,该架构是否实现了问答的强结果,或者它是否可以应用于其他模态,如图像。在对DMN进行分析的基础上,我们对其存储和输入模块提出了几点改进。与这些变化一起,我们引入了一个新的图像输入模块,以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术,而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
Explore, Select, Derive, and Recall: Augmenting LLM with Human-like Memory for Mobile Task Automation
School of Computing, KAIST(韩国科学技术院计算机学院);Simon Fraser University(西蒙菲莎大学);Korea University(高丽大学);Fluiz Corp.(弗洛伊兹公司)
本文提出配备类人记忆的移动任务自动化器MobileGPT,通过模拟人类认知过程将任务分解为模块化子任务,实现了高准确率的任务学习与上下文适应,并大幅降低了延迟与成本。
2024-10-16 cs.AI cs.CL cs.HC
PreWoMe: Exploiting Presuppositions as Working Memory for Long Form Question Answering
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);LG AI Research(LG AI研究院)
PreWoMe通过提取问题中的预设作为工作记忆,生成反馈和行动,统一处理长形式问答中的误导性与正常问题,实验验证其有效性。
2023-11-14 cs.AI cs.CL
Encode-Store-Retrieve: Augmenting Human Memory through Language-Encoded Egocentric Perception
University of Cambridge(剑桥大学)
本文提出一种记忆增强智能体,利用大型视觉语言模型将自我中心视频编码为自然语言并存入向量数据库,结合大型语言模型进行自然语言查询,在QA-Ego4D上取得最优成绩并显著提升情景记忆回忆表现。
2024-10-18 cs.AI cs.CV cs.HC
CalVerT: Augmenting Agents with Calibrated Verifier Telemetry Improves Action and Learning in Knowledge-Intensive Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CalVerT方法,通过向智能体状态添加校准的自信心分数和基础验证器分数,减少过度依赖参数知识或冗余检索,提升知识密集型问答的准确性和效率。
2026-06-23 cs.AI cs.CL
Evaluating Long-Term Memory for Long-Context Question Answering
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文评估了增强记忆方法在长上下文问答任务中的效果,发现通过RAG和事件记忆可显著减少令牌使用并保持准确性。
2025-12-06 cs.CL
Memory-Centric Embodied Question Answering
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science and Technology, Beijing Institute of Technology(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University(广东机器感知与智能计算实验室,深圳MSU-BIT大学)
MemoryEQA通过优化记忆存储、更新和检索机制,提升具身问答任务中智能体对环境探索和记忆利用的能力,实验表明其在复杂任务中的性能显著提升。
2025-12-13 cs.AI cs.CL cs.MM
Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
阅读理解的问答(QA)模型已被证明利用非故意的数据集偏见,如问题上下文词汇重叠。这阻碍了QA模型推广到代表性不足的样本,例如词汇重叠度低的问题。问题生成(QG)是一种用于增强QA数据集的方法,如果QG可以正确地消除QA数据集的偏差,则可以解决这种性能下降。然而,我们发现最近的神经QG模型偏向于生成词汇重叠度高的问题,这会放大数据集的偏差。此外,我们的分析表明,这些QG模型的数据增强经常损害词汇重叠低的问题的性能,而提高词汇重叠高的问题。为了解决这个问题,我们使用了同义词重复为基础的方法来增加低词汇重叠的问题。我们证明了所提出的数据增强方法是简单而有效的,以减轻退化问题,只有70k合成的例子。我们的数据可在https://github.com/KazutoshiShinoda/Synonym-Replacement上公开获取。
2021-09-23 cs.AI cs.CL
Adaptive Memory and Reflection Multi-Agent System for Medical Question Answering
School of Computing and Mathematics, Manchester Metropolitan University(曼彻斯特城市大学计算与数学学院);Electrical and Computer Engineering, Technion – Israel Institute of Technology(以色列理工学院电气与计算机工程系);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科学与科技学院)
针对现有医学问答系统缺乏适应性等问题,提出自适应记忆与反思多智能体框架,经MedQA等数据集验证,结合专用记忆等模块可提升性能,助力开发可信医学智能体。
2026-08-20 cs.AI cs.CL cs.MA
Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在知识库上回答自然语言问题时,不同的问题组件和知识库方面扮演着不同的角色。然而,大多数现有的用于知识库问答(KBQA)的基于嵌入的方法忽略了问题和KB之间的微妙的相互关系(例如,实体类型、关系路径和上下文)。在这项工作中,我们建议通过一种新的双向注意记忆网络(BAMnet)直接对问题和知识库之间的双向交互流进行建模。不需要外部资源,只有很少的手工制作的功能,在WebQuestions基准,我们的方法显着优于现有的信息检索为基础的方法,并保持竞争力(手工制作)语义解析为基础的方法。此外,由于我们使用注意力机制,我们的方法提供了更好的解释性相比,其他基线。
2019-05-28 cs.CL
Augmenting LLMs with Knowledge: A survey on hallucination prevention
Delft University of Technology(代尔夫特理工大学)
本文综述利用外部知识库、搜索引擎等非参数化模块和可微访问机制增强 LLM 的方法,以提升知识处理能力并缓解幻觉、无依据回复和可扩展性问题。
2023-09-28 cs.AI cs.CL cs.LG
Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks
University of Edinburgh(爱丁堡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
现有的问答方法从知识库或原始文本中推断答案。虽然知识库(KB)方法擅长回答组合问题,但它们的性能往往受到知识库不完整性的影响。相反,Web文本包含了数百万个KB中不存在的事实,但是以非结构化的形式存在。{ \it Universal schema}可以通过将结构化知识库和非结构化文本对齐到一个公共嵌入空间来支持对它们的联合进行推理。本文将通用模式扩展到自然语言问答系统中,采用\emph{memory networks}处理文本和知识库相结合的大量事实。我们的模型可以在问答对上以端到端的方式进行训练。在\spades填空问答数据集上的评价结果表明,利用通用模式进行问答比单独使用知识库或文本要好。该模型的性能也优于当前最先进的8.5 $F_1$点。\footnote{Code and data available in \url{https://rajarshd.github.io/TextKBQA}}
2017-04-27 cs.CL
PerLTQA: A Personal Long-Term Memory Dataset for Memory Classification, Retrieval, and Synthesis in Question Answering
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出PerLTQA个人长期记忆问答数据集及记忆分类、检索、合成框架,实验证明BERT分类模型优于ChatGLM3和ChatGPT,并强调有效记忆整合对问答任务的重要性。
2024-02-26 cs.AI cs.CL cs.IR
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Dynamic Key-value Memory Enhanced Multi-step Graph Reasoning for Knowledge-based Visual Question Answering
KU Leuven(鲁汶大学)
基于知识的视觉问答(VQA)是一种视觉语言任务,它要求智能体使用给定图像中没有的知识正确回答与图像相关的问题。这不仅是一项比常规VQA更具挑战性的任务,也是建立通用VQA系统的重要一步。大多数现有的基于知识的VQA系统类似地处理知识和图像信息,并且忽略了知识库(KB)包含关于三元组的完整信息的事实,而提取的图像信息可能是不完整的,因为两个对象之间的关系丢失或错误检测。在本文中,我们提出了一种新的模型命名为动态知识记忆增强的多步图推理(DMMGR),它执行显式和隐式推理的键值知识记忆模块和空间感知的图像图,分别。具体地,存储器模块在每个推理步骤学习动态知识表示并生成知识感知问题表示。然后,该表示被用来引导图形注意力算子在空间感知图像图形上。我们的模型在KRVQR和FVQA数据集上实现了新的最先进的精度。我们还进行了烧蚀实验,以证明所提出的模型的每个组件的有效性。
2022-03-06 cs.AI cs.CL cs.CV
Attentive Recurrent Tensor Model for Community Question Answering
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
社区问答问题的一个主要挑战是句子表征之间的词汇和语义差距。最小化这一差距的一些解决方案包括向深度模型引入额外的参数或增强外部手工制作的功能。本文提出了一种新的注意递归张量网络,用于解决社区问答中的词汇和语义鸿沟问题。我们引入了标记级和短语级注意力策略,该策略使用可训练参数将输入序列映射到输出。此外,我们使用张量参数在向量空间中引入问题、答案和外部特征之间的3向交互。我们引入了简化的张量矩阵和L2正则化,从而在训练过程中实现平滑优化。该模型在回答句子选择任务(TrecQA和WikiQA数据集)上实现了最先进的性能,同时在最佳答案选择任务(Yahoo!L4)和回答触发任务(WikiQA)。
2018-01-21 cs.CL
Co-Evolving Graph and Text Memory for Training-Free Multi-Hop Question Answering
University of Oregon(俄勒冈大学)
研究多跳问答中协调关系与文本证据问题,提出基于同步双向图-文本工作记忆的无训练系统Co-E,通过同步周期巩固记忆并注入事实,在多跳问答基准测试中表现出色,优于可比基线且与其他系统有竞争力。
2026-07-28 cs.CL cs.MA
Taming a Retrieval Framework to Read Images in Humanlike Manner for Augmenting Generation of MLLMs
Emory University(埃默里大学);University of Electronic Science and Technology of China(电子科技大学);University of Illinois Chicago(伊利诺伊大学香槟分校);The Hong Kong Polytechnic University(香港理工大学)
提出 HuLiRAG 框架,通过“what-where-reweight”级联和掩码引导微调,将多模态推理分阶段对齐类人处理,提升细粒度视觉问答的定位保真度与事实一致性,减少幻觉。
2025-10-12 cs.AI cs.CV
Learning Answer Generation using Supervision from Automatic Question Answering Evaluators
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);Kensho Technologies, Inc.(肯肖科技公司)
本文提出一种新的GenQA训练范式,利用自动问答评估模型GAVA通过数据增强和损失加权进行知识迁移,在多个数据集上显著提升了回答准确率。
2023-05-24 cs.CL cs.LG
Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering
Adobe Research(Adobe研究院);Monash University(莫纳什大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Waterloo(滑铁卢大学)
深度神经网络的可解释性和可解释性是具有挑战性的,因为它们的规模、复杂性以及解释过程所依赖的令人愉快的概念。特别是,以前的工作集中在通过人类友好的视觉和概念来表示神经网络的内部组件。另一方面,在现实生活中,当人们做出决定时,往往依赖于过去的类似情况和/或关联。因此,可以说,使模型透明的一种有前途的方法是以这样的方式设计它,即模型显式地将当前样本与所看到的样本连接起来,并根据这些样本做出决策。基于这一原则,本文提出了一种可解释的、基于证据的记忆网络架构,它学会总结数据集并提取支持证据来做出决策。我们的模型在两个流行的问答数据集(即TrecQA和WikiQA)上实现了最先进的性能。通过进一步的分析,我们表明,该模型可以可靠地跟踪它在验证步骤中所犯的错误,以找到可能导致这些错误的训练实例。我们相信,这种错误跟踪功能在许多应用程序中提供了显着的好处,提高数据集的质量。
2020-11-05 cs.CL cs.LG
Enhancing Question Answering Precision with Optimized Vector Retrieval and Instructions
Drexel University(德雷塞尔大学)
本文提出一种结合优化向量检索与指令方法的两阶段框架,通过无重叠小分块(100)实现最佳问答精度,超越语义分割方法。
2024-11-01 cs.CL cs.IR cs.LG
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本研究探讨利用LLM生成数据增强问答数据集,以提升模型在自然分布偏移下的鲁棒性,通过两步生成上下文和问答对,实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
Question-Aware Memory Network for Multi-hop Question Answering in Human-Robot Interaction
National University of Defense Technology(国防科技大学);Charles Darwin University(查尔斯·达尔文大学);Waseda University(早稻田大学)
知识图问答是智能人机交互中的一项重要技术,其目的是利用已知的知识图谱自动回答人类自然语言问题。对于复杂度和多样性较高的多关系问题,在推理步骤中,问题的表征对三元组的选择具有不同的优先级。针对现有模型将问题作为一个整体,忽略了问题中的优先级信息的问题,提出了一种面向多跳问答的问题感知记忆网络QA2MN,在推理过程中及时更新对问题的关注度。此外,我们将图的上下文信息加入到知识图谱嵌入模型中,以增加实体和关系的表示能力。我们使用它来初始化QA2MN模型,并在训练过程中对其进行微调。我们在PathQuestion和WorldCup 2014上评估了QA2MN,这是两个复杂多跳问答的代表性数据集。结果表明,QA2MN在两个数据集上都达到了最先进的Hits@1准确率,这验证了我们模型的有效性。
2021-04-27 cs.CL
REM-Net: Recursive Erasure Memory Network for Commonsense Evidence Refinement
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Tencent AI Lab(腾讯AI实验室)
在回答问题时,除了特定的上下文之外,人们还经常利用他们丰富的世界知识。虽然最近的作品检索支持事实/证据从常识知识库提供额外的信息,每个问题,仍然有足够的机会,以提高它的证据质量。这是至关重要的,因为证据的质量是回答常识问题的关键,甚至决定了QA系统性能的上限。在本文中,我们提出了一个递归擦除记忆网络(REM-Net),以应付证据的质量改善。为了解决这个问题,REM-Net配备了一个模块,通过递归删除无法解释问答的低质量证据来细化证据。此外,REM-Net不是从现有的知识库中检索证据,而是利用预先训练的生成模型来生成为问题定制的候选证据。我们在两个常识性的问答数据集WIQA和CosmosQA上进行了实验。结果表明,REM-Net的性能,并表明,细化的证据是可解释的。
2021-03-25 cs.AI cs.CL
Memory as an Attack Surface in LLM Agents: A Study on Multiple-Choice Question Answering
研究LLM代理中外部记忆组件在多项选择题回答中的脆弱性,通过插入误导记忆进行攻击,实验表明简单记忆操纵即可显著影响答案准确性。
2026-06-27 cs.AI cs.ET
GroundSight: Augmenting Vision-Language Models with Grounding Information and De-hallucination
Independent Researcher(独立研究者)
本文提出 GroundSight,通过问题相关目标的边界框定位、裁剪检索及按问题类型去幻觉,提升 VQA 准确率并显著降低幻觉率。
2025-09-30 cs.AI
Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task
Amazon Web Services(亚马逊网络服务)
通过引入幽默和谜语数据增强语言模型,提升其在BRAINTEASER任务中的横向推理能力,提高句子谜题和词语谜题的准确率。
2026-02-23 cs.AI cs.CL cs.IR
LivingRAG: Augmenting Graph RAG with Experience
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
本研究提出具备可复用推理经验的LivingRAG框架,通过在Graph RAG中添加可写入经验存储,提升多跳问答准确率并减少完成令牌使用量。
2026-08-27 cs.AI
HIMM: Human-Inspired Long-Term Memory Modeling for Embodied Exploration and Question Answering
The University of Hong Kong(香港大学);Beijing Institute of Technology(北京理工大学)
本文提出HIMM模型,通过分离事件记忆与语义记忆,提升具身智能在长期观察和有限上下文下的探索与问答能力,实验显示在多个基准测试中表现优异。
2026-03-02 cs.AI cs.RO
K-COMP: Retrieval-Augmented Medical Domain Question Answering With Knowledge-Injected Compressor
POSTECH(POSTECH大学);GSAI;POSTECH CSE(POSTECH计算机科学与工程系)
提出K-COMP(知识注入压缩器),通过在压缩检索文档前自动生成先验知识并将其整合到自回归压缩过程中,解决医学领域检索增强问答中专业知识理解难和文档冗余导致的幻觉问题,从而引导阅读器模型生成准确答案并信任上下文。
2025-05-28 cs.AI cs.CL
MGA-VQA: Secure and Interpretable Graph-Augmented Visual Question Answering with Memory-Guided Protection Against Unauthorized Knowledge Use
Ohio State University(俄亥俄州立大学);Flairsoft(Flairsoft公司)
MGA-VQA通过整合图增强推理和记忆引导机制,实现了更安全且可解释的文档视觉问答系统,提升了准确性和效率。
2025-11-22 cs.AI cs.CV
Before Answering: Evidence Sufficiency under Size-Matched Memory Construction
本研究提出大小匹配的记忆构造方法消除证据不足任务中的标签捷径,并评估MemSafe估计器,在多个多跳问答数据集上显著优于词汇基线,同时揭示构造方式对检测性能的关键影响。
2026-09-29 cs.CL cs.LG
MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Digital China Group(数字中国集团)
提出MemoryCard框架,通过将长视频分割为主题事件单元并生成事件级摘要和代表性视觉时刻,以记忆卡形式增强VLMs的长视频问答能力,在相同视觉令牌预算下准确率提升高达21.8%。
2026-08-31 cs.CL cs.CV
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
S3Mem: Structured Spatiotemporal Scene-Event Memory for Long-Horizon Interactive Question Answering
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);The University of Sydney(悉尼大学);Beihang University(北航)
提出S3MEM框架,通过结构化场景-事件记忆和锚点敏感检索,在长时域交互式问答中实现比通用记忆接口更优的准确率-效率平衡。
2026-06-08 cs.AI cs.CL
Beyond Memorization: The Challenge of Random Memory Access in Language Models
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
本研究探讨语言模型的内存访问机制,发现其顺序访问能力强但随机访问弱,通过背诵和排列技术可提升随机访问能力,并在开放域问答中验证了该改进的有效性。
2024-07-22 cs.AI cs.CL