Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
Deakin University（德肯大学）
提出CADE框架，通过逐点线性编码器直接嵌入每个时间步，避免分词瓶颈，并利用单向监督对比损失对齐时间序列与文本锚点，在Time-MQA基准上提升六项TSQA任务性能。
2026-10-19 cs.AI cs.CL
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；East China Normal University（华东师范大学）
近年来，视觉问答（VQA）任务在人工智能中受到越来越多的关注。现有的VQA方法主要采用视觉注意力机制将输入问题与相应的图像区域相关联，以实现有效的问答。主要研究了基于自由形状区域和基于检测的视觉注意力机制，前者关注自由形状图像区域，后者关注预先指定的检测框区域。我们认为，这两种注意力机制能够提供互补的信息，并应有效地整合，以更好地解决VQA问题。在本文中，我们提出了一种新的深度神经网络VQA，它集成了两种注意力机制。我们提出的框架有效地融合功能，从自由形式的图像区域，检测框，并通过多模态乘法特征嵌入方案的问题表示，共同出席问题相关的自由形式的图像区域和检测框更准确的问答。该方法在两个公开的数据集COCO-QA和VQA上进行了广泛的评估，并优于最先进的方法。源代码可在https://github.com/lupantech/dual-mfa-vqa上获得。
2017-12-12 cs.AI cs.CL cs.CV
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，问答技术在性能上取得了显著的进步，一些问答模型的性能甚至超过了人工。然而，这些模型在真正理解语言方面的能力仍然值得怀疑，并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力，提出了一种基于语义和上下文约束的表示增强（ESC）方法来提高词汇嵌入的鲁棒性。具体来说，我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失，以更好地区分上下文线索的正确答案。实验结果表明，该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings
Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们共同解决社区论坛中问答的两个重要任务：给定一个新问题，（i）找到相关的现有问题，以及（ii）找到这个新问题的相关答案。我们进一步使用辅助任务来补充前两个任务，即，(iii)在问题评论线程中找到关于线程问题的好答案。我们使用深度神经网络（DNN）来学习有意义的特定于任务的嵌入，然后将其纳入多任务设置的条件随机场（CRF）模型，在复杂的图结构上进行联合学习。虽然DNN在训练产生嵌入时单独实现了竞争结果，但CRF利用嵌入和任务之间的依赖关系，在各种评估指标中显着且一致地改善了结果，从而显示了DNN和结构化学习的互补性。
2018-09-24 cs.CL
Question Answering over Knowledge Base using Language Model Embeddings
Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
知识库，表示关于世界的事实，通常以某种形式的包容本体，而不是隐含地嵌入在过程代码中，传统的计算机程序的方式。虽然知识库迅速增长，但从中检索信息是一个挑战。知识库问答是从知识库中抽取大量知识的有效方法之一。与Web搜索不同，知识库上的问答给出了准确和简洁的结果，前提是自然语言问题可以被理解并精确地映射到知识库中的答案。然而，用于知识库问答系统的一些现有的基于嵌入的方法忽略了问题和知识库之间的微妙相关性（例如，实体类型、关系路径和上下文），并且遭受词汇表外问题。在本文中，我们专注于使用预先训练的语言模型的知识库问答任务。首先，我们使用BERT基进行初始实验。我们进一步微调这些嵌入与双向注意力机制从知识库到问的问题，从问的问题到知识库的答案方面。我们的方法是基于一个简单的卷积神经网络架构与多头注意力机制来表示所问的问题在多个方面的动态。我们的实验结果表明，BERT预训练的语言模型嵌入知识库上的问答系统的有效性和优越性比其他知名的嵌入方法。
2020-10-17 cs.CL cs.IR
Using Holographically Compressed Embeddings in Question Answering
Middle Tennessee State University（中田纳西州立大学）
词向量表示是深度学习自然语言处理模型的核心。这些向量的许多形式，称为嵌入，存在，包括word2vec和GloVe。嵌入在大型语料库上进行训练，并在上下文中学习单词的用法，捕获单词之间的语义关系。然而，来自这样的训练的语义处于不同单词（称为单词类型）的级别，并且当例如单词类型可以是名词或动词时可能是模糊的。在问答中，词性和命名实体类型很重要，但在神经模型中编码这些属性会扩大输入的大小。这项研究采用全息压缩预训练的嵌入，代表一个令牌，它的词性，和命名实体类型，在相同的维度，只代表令牌。在修改的问答循环深度学习网络中的实现表明，语义关系得到了保留，并产生了强大的性能。
2020-07-14 cs.CL cs.LG
Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering
本研究针对知识库问答的幻觉问题，提出基于指令微调LLM生成内容对应问题向量库、匹配用户查询直接检索内容的方法，在Wikipedia和Wikidata上实现高精度高效检索，还支持多模态问答。
2025-02-21 cs.AI cs.CL
Creating Causal Embeddings for Question Answering with Minimal Supervision
University of Arizona（亚利桑那大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
问答（QA）的一个常见模型是，一个好的答案是一个密切相关的问题，其中相关性往往是使用通用的词汇模型，如词嵌入确定。我们认为，一个更好的方法是寻找答案，相关的问题，在相关的方式，根据问题的信息需求，这可能是通过特定任务的嵌入确定。以因果关系为用例，我们分三步实现这一见解。首先，我们通过使用一小部分种子模式从自由文本中提取因果对，以经济高效的方式生成因果嵌入。其次，我们训练使用特定于任务的上下文，即，一个原因的背景就是它的结果。最后，我们扩展了一个国家的最先进的重新排序的方法，QA将这些因果嵌入。我们评估因果嵌入模型直接与一个偶然的含义任务，并间接地，在下游因果QA任务使用数据从雅虎！答案我们表明，明确建模的因果关系，提高了这两个任务的性能。在QA任务中，我们的最佳模型实现了37.3%P@1，显著优于强基线7.7%（相对）。
2016-09-26 cs.CL
Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering
University of Chicago（芝加哥大学）；Microsoft Research Cambridge（微软剑桥研究院）
我们提出了基于内容的神经记忆访问的高斯注意模型。利用所提出的注意力模型，神经网络具有额外的自由度来控制其注意力的焦点从激光锐利注意力到广泛注意力。只要我们能够假设潜在空间中的距离反映了某种语义概念，它就适用。我们使用建议的注意力模型作为一个评分函数的知识库嵌入到一个连续的向量空间，然后训练的模型，进行问答的实体在知识库。所提出的注意力模型既可以处理不确定性的传播时，以下一系列的关系，也在一个自然的方式条件的连接。在参加2014年FIFA世界杯的足球运动员的数据集上，我们证明了我们的模型可以很好地处理路径查询和合取查询。
2016-11-30 cs.AI cs.CL cs.LG
Efficient Multi-Hop Question Answering over Knowledge Graphs via LLM Planning and Embedding-Guided Search
Department of Computer Science, Drexel University, Philadelphia, PA, USA（计算机科学系，德雷塞尔大学，费城，宾夕法尼亚州，美国）
本文提出两种混合算法，通过LLM规划和嵌入引导搜索实现高效且可验证的多跳知识图谱问答，提升推理效率与准确性。
2025-11-24 cs.AI cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出嵌入级框架EmbQA，通过无监督对比学习细化查询表示并引入探索性嵌入与熵选择机制，在提升开放域问答准确性的同时显著降低计算开销。
2025-09-20 cs.AI cs.CL cs.CY
Confident RAG: Enhancing the Performance of LLMs for Mathematics Question Answering through Multi-Embedding and Confidence Scoring
Faculty of Education, The University of Hong Kong（香港大学教育学院）；Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系）
Confident RAG通过多嵌入和置信度评分提升LLM在数学问题回答中的性能，实验表明其在准确率上比普通LLMs和RAG分别提升10%和5%。
2025-11-30 cs.AI cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
GETT-QA: Graph Embedding based T2T Transformer for Knowledge Graph Question Answering
Universität Hamburg（汉堡大学）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
在这项工作中，我们提出了一个端到端的知识图谱问答（KGQA）系统命名为GETT-QA。GETT-QA使用T5，一种流行的文本到文本预训练语言模型。该模型以自然语言中的问题作为输入，并生成预期SPARQL查询的更简单形式。在更简单的形式中，模型不直接产生实体和关系ID。相反，它会生成相应的实体和关系标签。在后续步骤中，标签被接地到KG实体和关系ID。为了进一步改进结果，我们指示模型为每个实体生成KG嵌入的截断版本。截断的KG嵌入实现了用于消歧目的的更精细的搜索。我们发现T5能够在不改变损失函数的情况下学习截断的KG嵌入，从而提高了KGQA的性能。因此，我们报告了LC-QuAD 2.0和SimpleObservs-Wikidata数据集在端到端KGQA上的强大结果。
2023-03-28 cs.CL cs.DB cs.IR
SE-KGE: A Location-Aware Knowledge Graph Embedding Model for Geographic Question Answering and Spatial Semantic Lifting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；LinkedIn Corporation（领英公司）；SayMosaic Inc.（SayMosaic公司）
学习知识图谱（KG）嵌入是一种新兴的技术，用于各种下游任务，例如摘要、链接预测、信息检索和问答。然而，大多数现有的KG嵌入模型忽略了空间，因此，在应用于（地理）空间数据和任务时表现不佳。对于那些考虑空间的模型，它们中的大多数主要依赖于距离的概念。这些模型在训练期间遭受更高的计算复杂性，同时仍然丢失超过实体之间的相对距离的信息。在这项工作中，我们提出了一个位置感知KG嵌入模型称为SE-KGE。它直接将地理实体的点坐标或边界框等空间信息编码到KG嵌入空间中。由此产生的模型能够处理不同类型的空间推理。我们还构建了一个地理知识图谱，以及一组地理问答对称为DBGeo的SE-KGE的性能进行评估相比，多个基线。评估结果表明，SE-KGE优于这些基线上的DBGeo数据集的地理逻辑查询回答任务。这证明了我们的空间显式模型的有效性和考虑不同地理实体的规模的重要性。最后，我们介绍了一种新的下游任务，称为空间语义提升，它通过一些关系将研究区域中的任意位置与KG中的实体联系起来。在DBGeo上的评估表明，我们的模型比基线有很大的优势。
2020-04-25 cs.AI cs.CL cs.DB
Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad（海得拉巴国际信息技术学院）
本文介绍了我们的系统为微软人工智能挑战赛印度2018：排名网页问答通道。该系统使用biLSTM网络，在查询和段落表示之间具有协同注意力机制。此外，我们使用自我注意嵌入，以增加词汇覆盖率，允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能，以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩（MRR）。
2019-06-14 cs.CL
SABET-QA: Temporal Knowledge Graph Question Answering
ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；École Polytechnique（巴黎综合理工学院）；QuickSort Research（快排研究院）
针对时序知识图谱问答中现有方法难以处理多步查询的问题，提出SABET-QA框架，通过双向实体-时间评分等机制优化推理，在多个时序问答数据集上的复杂多步查询任务中取得优于强基线的效果。
2026-08-21 cs.AI cs.CL
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas（阿肯色大学）；Google LLC.（谷歌有限责任公司）
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而，表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中，我们提出了一种新的方法来产生多分辨率的词嵌入，表示在多个分辨率的上下文范围的文件。为了研究其性能，我们使用斯坦福问答数据集（SQuAD）和问答搜索和阅读（QUASAR）在一个开放域的问答设置，其中的第一个任务是找到有用的文件来回答给定的问题。为此，我们首先比较了各种文本嵌入方法的检索性能的质量，并给出了广泛的经验比较与各种非增强的基础嵌入的性能，并没有多分辨率表示。我们认为，多分辨率词嵌入始终优于原始的对应物，并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Evaluation of Question Answering Systems: Complexity of judging a natural language
Tampere University（坦佩雷大学）
问答系统是自然语言处理中最重要和发展最快的研究课题之一。因此，一个原因是QA系统允许人类更自然地与机器交互，例如，通过虚拟助理或搜索引擎。在过去的几十年里，许多问答系统已经提出来解决不同的问答任务的要求。此外，已经引入了许多错误分数，例如，基于n-gram匹配、词嵌入或上下文嵌入来测量QA系统的性能。本调查试图提供一个系统的概述的一般框架的QA，QA范式，基准数据集，和评估技术的QA系统的定量评估。后者尤其重要，因为不仅是一个QA系统的建设复杂，而且其评估。因此，我们假设一个原因是人类判断的定量形式化是一个开放的问题。
2022-09-10 cs.AI cs.CL
Skipping Word: A Character-Sequential Representation based Framework for Question Answering
Sogou Inc（搜狗公司）；Key Lab of Intelligent Information Processing of CAS（中国科学院智能信息处理重点实验室）；ICT（中国科学院计算技术研究所）
最近的作品使用基于词的分布式表示的人工神经网络极大地提高了各种自然语言学习任务的性能，特别是问答。虽然，他们也进行了一些随之而来的问题，如语料库的选择嵌入学习，字典变换不同的学习任务，在本文中，我们提出了直接建模的句子通过字符序列，然后利用卷积神经网络集成字符嵌入学习与逐点答案选择训练。与使用词嵌入（WE）策略预训练的深度模型相比，我们基于字符顺序表示（CSR）的方法在不同的基准测试中显示出更简单的过程和更稳定的性能。在两个基准答案选择数据集上的实验表明，与现有方法相比，该方法具有很好的性能。
2016-09-02 cs.CL
Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (CUHK)（香港中文大学）；University College London（伦敦大学学院）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
本文提出Surgical-VQLA系统，通过设计门控视觉-语言嵌入（GVLE）融合异构模态并构建LViT输入，在LViT预测头并行添加检测头并引入GIoU损失，实现了机器人手术中视觉问答的特定区域定位与回答，在自建数据集上验证了其有效性。
2023-05-19 cs.AI cs.CL cs.CV
Sentence Embeddings for Russian NLU
National Research University Higher School of Economics（国立研究型大学高等经济学院）
我们调查的性能句子嵌入模型的几个任务的俄语。在我们的比较中，我们包括多项选择问答，下一句预测和释义识别等任务。我们采用FastText嵌入作为基线，并将其与ELMo和BERT嵌入进行比较。我们进行了两个系列的实验，使用无监督（即，仅基于相似性度量）和用于任务的监督方法。最后，我们提出了多项选择问答和下一句预测在俄罗斯的数据集。
2019-10-29 cs.CL cs.LG
MEG: Medical Knowledge-Augmented Large Language Models for Question Answering
University of Copenhagen（哥本哈根大学）；Sony AI（索尼人工智能）；University of Zaragoza（阿拉维萨大学）
提出MEG方法，通过轻量映射网络将知识图谱嵌入融入大语言模型，以参数高效方式增强医学问答，在四个数据集上平均提升6.7%-9.9%准确率。
2025-04-22 cs.AI cs.CL cs.LG
Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings
Pennsylvania State University（宾夕法尼亚州立大学）；RTX Technology Research Center（RTX技术研究中心）
针对医疗领域预训练成本高的问题，提出基于MLP对齐医疗知识图谱嵌入与预训练语言模型嵌入空间的方法，无需领域预训练即可提升开放域模型在医疗MRC任务上的性能。
2024-12-13 cs.CL
QAEncoder: Towards Aligned Representation Learning in Question Answering Systems
Peking University（北京大学）；Institute for Advanced Algorithms Research（高级算法研究所）；Zhongguancun Academy（中关村学院）
QAEncoder提出一种无需训练的方法，通过在嵌入空间估计潜在查询期望并附加文档指纹，弥合问答系统中查询与文档的差距，实现零额外成本的对齐表示学习。
2025-07-02 cs.CL
FIQ: Fundamental Question Generation with the Integration of Question Embeddings for Video Question Answering
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
本文提出FIQ方法，通过从视频描述中生成基础问答对并融合问题嵌入与视觉特征，增强视频问答模型的场景理解、泛化与推理能力，在SUTD-TrafficQA上达到最先进性能。
2025-07-17 cs.AI cs.CV
Explore-over-Graph: Hybrid Embedding-LLM Reasoning for Knowledge Graph Question Answering under Incompleteness
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对知识图谱不完整导致多跳问答推理路径断裂的问题，提出XoG框架，利用类型级统计和嵌入恢复缺失路径，LLM作语义选择器，在多个基准上优于可比方法并降低33%令牌消耗。
2026-10-06 cs.CL
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
视觉问答（VQA）的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题，并且因此永远不会实现这种能力，因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法，即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议，衡量他们的能力，执行Zero-Shot VQA，并在这样做突出了显着的实际缺陷，目前的方法，其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略，包括基于预训练词嵌入的方法，具有语义嵌入的对象分类器，以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线，并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Biomedical Question Answering via Weighted Neural Network Passage Retrieval
ETH Zurich（苏黎世联邦理工学院）
近年来，可公开获得的生物医学文献的数量一直在快速增长，然而问答系统仍在努力开发这种数据源的全部潜力。在初步处理步骤中，许多问答系统依赖于检索模型来识别相关文档和段落。提出了一种基于神经网络词嵌入的加权余弦距离检索方案。我们的实验基于BioASQ生物医学问答挑战赛的公开数据和任务，并在各种最先进的模型中表现出显着的性能提升。
2018-01-09 cs.AI cs.CL cs.IR
Open Question Answering with Weakly Supervised Embedding Models
Heudiasyc UMR 7253（HEUDIASYC混合研究单位7253）；Université de Technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Google（谷歌）
建造能够回答任何问题的计算机是人工智能的长期目标。通过学习将问题映射到逻辑形式或数据库查询的方法，最近取得了可喜的进展。这种方法可能是有效的，但代价是大量的人工标记数据或定义由从业者定制的词汇和语法。在本文中，我们采取了激进的方法，学习将问题映射到矢量特征表示。通过将答案映射到相同的空间中，可以独立于其模式查询任何知识库，而不需要任何语法或词典。我们的方法是用一种新的优化过程进行训练的，该过程结合了随机梯度下降，然后使用自动和协作生成的资源混合提供的弱监督进行微调。我们的经验表明，我们的模型可以从其嘈杂的监督中捕获有意义的信号，从而使我们的模型比现有的唯一能够在类似的弱标记数据上进行训练的方法--Spectroex有了重大改进。
2014-04-16 cs.CL cs.LG
Answering Questions about Data Visualizations using Efficient Bimodal Fusion
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe 研究院）；Paige；Cornell Tech（康奈尔科技校区）
图表问答（CQA）是一种新提出的可视化问答（VQA）任务，其中算法必须回答有关数据可视化的问题，例如条形图，饼图和线图。CQA需要自然图像VQA算法所缺乏的功能：细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。在没有修改的情况下，最先进的VQA算法在这项任务上表现不佳。在这里，我们提出了一种新的CQA算法称为并行递归图像和语言的融合（PReFIL）。PReFIL首先通过融合问题和图像特征来学习双峰嵌入，然后智能地聚合这些学习的嵌入来回答给定的问题。尽管简单，但PReFIL在FigureQA和DVQA数据集上大大超过了最先进的系统和人类基线。此外，我们证明，PReFIL可以用来重建表，问一系列的问题，一个图表。
2020-07-22 cs.AI cs.CL cs.CV
Sequence-to-Sequence Knowledge Graph Completion and Question Answering
Indian Institute of Science（印度科学学院）；University of Mannheim（曼海姆大学）
知识图谱嵌入模型用低维嵌入向量表示知识图谱的各个实体和关系。这些方法最近已被应用到KG链接预测和不完整KG上的问答（KGQA）。KGE通常为图中的每个实体创建嵌入，这导致具有数百万实体的真实世界图上的大模型大小。对于下游任务，这些原子实体表示通常需要集成到多级管道中，这限制了它们的实用性。我们表明，一个现成的编码器-解码器Transformer模型可以作为一个可扩展的和通用的KGE模型获得最先进的结果KG链接预测和不完整的KG问答。我们通过将KG链接预测作为序列到序列的任务来实现这一点，并将先前KGE方法采用的三重评分方法与自回归解码交换。与传统的KGE模型相比，这种简单但功能强大的方法将模型大小减少了98%，同时保持推理时间易于处理。在对不完整KG的KGQA任务进行微调后，我们的方法在多个大规模数据集上的性能优于基线，而无需进行广泛的超参数调整。
2022-03-19 cs.CL cs.LG
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University（斯坦福大学）
在本文中，我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构，利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构，我们的系统试图提取上下文单词表示在单词和字符的水平，更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止，我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
CAT-ViL: Co-Attention Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心（WEISS））；The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学信兴高等工程研究所）
针对手术学习中专家指导不足及现有手术VQA系统无法定位答案的问题，提出搭载CAT-ViL嵌入的端到端Transformer手术VQLA系统，在公开数据集上性能优于现有最优方法，为手术场景理解和AI辅助手术训练提供新方案。
2023-08-19 cs.AI cs.CV cs.RO
Noise-Aware Visual Representation Learning for Medical Visual Question Answering
Deakin University（德克萨斯大学）
提出一种噪声感知的医学视觉问答框架，通过去噪自编码器学习鲁棒的视觉表示，并利用低秩适配高效微调，在SLAKE和PathVQA基准上提升了抗噪性和性能。
2026-06-04 cs.AI cs.CV
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上，尤其是句法信息和词的名称实体的嵌入，而这对编码的质量至关重要。此外，现有的注意力方法将每个查询词表示为一个向量，或者用单个向量来表示整个查询语句，都不能正确处理查询语句中关键词的权重。在本文中，我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络（MEMEMEN）的机器阅读任务。在编码层，我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练，形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道，以捕捉更多的关键信息。实验结果表明，该模型在Stanford问答数据集（SQuAD）上的测试结果在精度和效率方面都具有竞争力，在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
Selection-based Question Answering of an MOOC
IIT Bombay（印度理工学院孟买分校）
e-Yantra机器人竞赛（eYRC）是由印度理工学院孟买分校主办的一项独特的机器人竞赛，实际上是一个嵌入式系统和机器人MOOC。注册人数每年呈指数级增长，从2012年的4500人增加到2019年的34000多人。在这个为期5个月的比赛中，学生们在严峻的时间压力下学习复杂的技能，并可以在论坛上发表对学习材料的疑问。实时回答问题对项目工作人员来说是一个挑战。在这里，我们在eYRC讨论论坛中展示了深度学习在实时问答方面的优势。我们说明了基于Transformer的上下文嵌入机制的优势，如双向编码器表示从Transformer（BERT）超过词嵌入机制，如Word 2 Vec。我们提出了一个加权的相似性度量作为匹配的措施，发现它比单独的内容或标题标题相似性更可靠。回答问题的自动化使周转响应时间（TART）从最少21分钟降至最少0.3秒。
2019-11-15 cs.AI cs.CL cs.LG
TempoQR: Temporal Question Reasoning over Knowledge Graphs
Amazon Web Services（亚马逊云科技）；Intel（英特尔）
知识图谱问答（KGQA）涉及使用自然语言查询从知识图谱（KG）检索事实。KG是一组由关系链接的实体组成的精选事实。某些事实还包括形成时间KG（TKG）的时间信息。虽然许多自然问题涉及明确或隐含的时间限制，问答（QA）在TKG一直是一个相对未开发的领域。现有的解决方案主要是针对简单的时间问题而设计的，这些问题可以通过单个TKG事实直接回答。本文提出了一个全面的嵌入式框架，回答复杂的问题，在TKG。我们的方法称为时间问题推理（TempoQR）利用TKG嵌入地面的问题，它所指的特定实体和时间范围。它通过采用三个专门的模块来增强问题嵌入的上下文，实体和时间感知信息。第一个计算给定问题的文本表示，第二个将其与问题中涉及的实体的实体嵌入相结合，第三个生成特定于问题的时间嵌入。最后，基于变换的编码器学习将生成的时间信息与用于答案预测的问题表示融合。大量的实验表明，TempoQR在复杂的时间问题上比最先进的方法提高了25- 45个百分点的准确率，并且更好地推广了看不见的问题类型。
2021-12-10 cs.AI cs.CL cs.LG
Single-Pass Document Scanning for Question Answering
Laboratory for Emerging Intelligence（新兴智能实验室）；University of California, San Diego（加州大学圣地亚哥分校）
提出单遍文档扫描方法，线性时间处理长文档，保持全局连贯性，在41个问答基准上优于分块嵌入方法，以低计算成本媲美大模型。
2025-08-07 cs.CL
LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering
LUMS（拉合尔管理科学大学）
本文提出首个源自巴基斯坦宪法的低资源乌尔都语-英语法律问答数据集LEGAL-UQA，通过评估和微调多语言模型验证了其有效性，为巴基斯坦本地法律信息获取奠定基础。
2024-10-16 cs.AI cs.CL cs.LG
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research（高通人工智能研究）
AccurateRAG通过高效流程和本地构建能力，在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
BERTologyNavigator: Advanced Question Answering with BERT-based Semantics
Universität Hamburg（汉堡大学）；Vellore Institute of Technology（韦洛尔理工学院）
提出两阶段系统 BERTologyNavigator，结合关系抽取、BERT CLS 嵌入与启发式规则导航 DBLP 知识图谱，并在 Scholarly QALD 问答任务中取得相应 F1 表现。
2024-01-17 cs.AI cs.CL
Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Emory University（埃默里大学）
我们介绍了一种新的方法来Transformers，学习层次表示在多方对话。首先，三个语言建模任务用于预训练Transformers，令牌和话语级语言建模和话语顺序预测，学习令牌和话语嵌入，以便在对话上下文中更好地理解。然后，在话语预测和标记跨度预测之间的多任务学习被应用于基于跨度的问答（QA）的微调。我们的方法进行了评估，在BASINSQA数据集，并显示出3.8%和1.4%的改进，在两个国家的最先进的Transformer模型，BERT和RoBERTa，分别。
2020-05-23 cs.AI cs.CL cs.LG
Improving Time Sensitivity for Question Answering over Temporal Knowledge Graphs
JD AI Research（京东人工智能研究院）；Alexa AI, Amazon（亚马逊Alexa人工智能部门）
基于时间知识图谱（KG）的问答有效地使用包含在时间KG中的事实来回答自然语言问题（例如，“奥巴马之前的美国总统是谁？”").这些问题通常涉及先前工作未能充分解决的三个与时间相关的挑战：1）问题通常不指定感兴趣的确切时间戳（例如，“Obama”而不是2000年）; 2）时间关系中微妙的词汇差异（例如，“before”vs“after”）; 3）以前的工作所建立的现成的时间KG嵌入忽略了时间戳的时间顺序，这对于回答时间顺序相关的问题至关重要。在本文中，我们提出了一个时间敏感的问答（TSQA）框架来解决这些问题。TSQA具有时间戳估计模块，用于从问题中推断未写入的时间戳。我们还采用了一个时间敏感的KG编码器，将排序信息注入到TSQA所基于的时间KG嵌入中。在减少潜在答案搜索空间的技术的帮助下，TSQA在时间KG上的问答的新基准上显著优于先前的最新技术水平，特别是在需要对时间KG中的事实进行多个推理步骤的复杂问题上实现了32%的（绝对）错误减少。
2022-03-01 cs.CL cs.LG
Exploring Diverse Methods in Visual Question Answering
University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Chongqing University（重庆大学）；Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）
本研究基于平衡数据集，对比了GAN、自编码器和结合MCB的注意力机制在VQA任务中的表现，揭示了各方法的优劣与权衡，为未来研究指明方向。
2024-11-12 cs.AI cs.CL cs.CV
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley（加州大学伯克利分校）
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入（ELMo）[1]和Transformers双向编码器表示（BERT）[2]在开发通用语言模型方面非常成功，可以为大量下游语言任务进行优化。在这项工作中，我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型，并比较它们在斯坦福问答数据集2.0（SQUAD 2.0）提出的问答任务上的表现。此外，我们还微调了预训练的BERT模型参数，以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN，它在不可回答和可回答的问答任务上都有表现，F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
A Graph-based Approach for Multi-Modal Question Answering from Flowcharts in Telecom Documents
Ericsson R&D Bangalore Karnataka India（爱立信研发部班加罗尔卡纳塔克邦印度）
针对技术文档问答中基于文本的RAG无法处理流程图类问题的痛点，提出将VLM生成的流程图图表示整合进文本RAG的端到端方法，在电信专有数据集上验证了其检索性能与成本优势。
2025-07-25 cs.AI cs.CL
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business（雅典经济与商业大学）；Institute for Language and Speech Processing, Research Center ‘Athena’（“雅典娜”研究中心语言与语音处理研究所）；Institute of Informatics and Telecommunications, NCSR ‘Demokritos’（国家科学研究中心“德谟克利特”信息与电信研究所）
我们研究了七种数据增强（da）方法在模拟问答中的效果，主要集中在生物医学领域，在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验，我们用从人工生物医学机器阅读理解数据集获得的训练实例，或通过反向翻译，信息检索，基于word 2 vec嵌入的单词替换，或掩蔽语言建模，问题生成，或用额外的上下文扩展给定的段落。我们表明，DA可以导致非常显着的性能增益，即使使用大型预训练的Transformers，有助于更广泛的讨论，如果/当DA受益于大型预训练模型。最简单的da方法之一，基于word 2 vec的单词替换，性能最好，值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
IRPAPERS: A Visual Document Benchmark for Scientific Retrieval and Question Answering
Weaviate
IRPAPERS基准通过比较图像和文本检索系统，揭示了多模态混合搜索在科学文档检索和问答中的优势。
2026-02-05 cs.AI cs.CL cs.IR
SEE: Sememe Entanglement Encoding for Transformer-bases Models Compression
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Beijing Wenge Technology Co., Ltd（北京文格科技有限公司）
提出SEE算法，利用专家先验知识和低秩近似及量子纠缠思想压缩Transformer模型，在降低参数与计算成本的同时保持稳定性能。
2024-12-15 cs.AI cs.CL cs.LG
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要，但后期融合的性能低于利用早期融合的模型（例如，基于BERT的分类器，在问题-答案对之间具有交叉关注）。我们提出了一种监督数据采掘方法，使用一个准确的早期融合模型，以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型，问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道，以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$（P@N）和平均倒数秩（MRR）的精度上训练的检索模型。
2020-09-29 cs.CL
An Attention Mechanism for Answer Selection Using a Combined Global and Local View
DigitalGenius（数字天才公司）
我们提出了一种新的注意力机制神经为基础的问答，这取决于不同的粒度的输入。以前的工作集中在用简单的注意力机制来增强递归神经网络，这些注意力机制是问题嵌入和答案嵌入之间随时间变化的相似性的函数。我们通过使注意力机制依赖于使用单独的网络获得的答案的全局嵌入来扩展这一点。我们评估我们的系统InsuranceQA，一个大型的问答数据集。我们的模型优于目前最先进的结果保险QA。此外，我们可视化我们的注意力机制关注的文本部分，并探索其在不同参数设置下的性能。
2017-09-20 cs.CL
