Decoupled Context Processing for Context Augmented Language Modeling
Google Research(谷歌研究院)
语言模型可以用上下文检索器来扩充,以合并来自大型外部数据库的知识。通过利用检索到的上下文,神经网络不必在其内部参数中记住大量的世界知识,从而导致更好的参数效率、可解释性和模块性。在本文中,我们研究了一个简单而有效的架构,将外部环境到语言模型的基础上解耦的编码器解码器架构。我们表明,这样一个简单的架构实现竞争力的结果,自回归语言建模和开放域问答任务。我们还分析了所提出的模型进行接地上下文转移的行为。最后,我们讨论了这种检索增强模型的计算含义。
2022-10-11 cs.AI cs.CL cs.IR
Charting the Future: Using Chart Question-Answering for Scalable Evaluation of LLM-Driven Data Visualizations
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出利用视觉问答模型自动评估LLM生成的数据可视化质量,实验表明少样本提示能显著提升图表生成准确性,但LLM生成图表仍不及人工生成图表的精确度。
2024-09-27 cs.CL cs.CV
ASTRID -- An Automated and Scalable TRIaD for the Evaluation of RAG-based Clinical Question Answering Systems
Ufonia Limited(乌菲尼亚有限公司);University of York(约克大学)
本文提出ASTRID三元指标(CR、RA、CF)用于自动化评估基于RAG的临床问答系统,其中新指标CF能更好衡量对话场景下的忠实性,并通过200多个真实患者问题及九种LLMs验证其与人类评估的一致性。
2025-07-18 cs.AI cs.CL
Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of California San Diego(加州大学圣地亚哥分校)
虽然通过简单的事实问答在文本理解方面已经有了实质性的进展,但是对话语的更全面的理解仍然是一个主要的挑战(Dunietz等人,2020年)。有人在阅读文本时批判性地反思文本,会提出好奇心驱动的,通常是开放式的问题,这些问题反映了对内容的深刻理解,需要复杂的推理来回答(Ko等人,2020; Westera等人,2020年)。建立和评估这种类型的话语理解模型的一个关键挑战是缺乏注释数据,特别是因为收集这些问题的答案需要注释者的高认知负荷。本文提出了一种新的范式,使可扩展的数据汇集针对新闻文件的理解,通过话语的镜头看这些问题。由此产生的语料库,DCQA(话语理解的问答),捕捉话语和句子之间的语义联系的形式自由,开放式的问题。在我们对Ko等人(2020)的问题进行注释的评估集上,我们表明DCQA为回答开放式问题提供了有价值的监督。我们还设计了预训练方法,利用现有的问答资源,并使用合成数据,以适应无法回答的问题。
2022-10-17 cs.CL
Learning Fine-Grained Visual Understanding for Video Question Answering via Decoupling Spatial-Temporal Modeling
National Taiwan University(台湾大学);Mobile Drive Technology(Mobile Drive科技公司)
虽然最近的大规模视频语言预训练在视频问答中取得了很大进展,但视频语言模型的空间建模的设计不如图像语言模型的设计细粒度;现有的时间建模实践也遭受模态之间的弱对齐和噪声对齐。为了学习细粒度的视觉理解,我们解耦时空建模,并提出了一个混合管道,解耦时空编码器,集成了图像和视频语言编码器。前者编码的空间语义从较大的,但稀疏采样帧独立于时间,而后者模型的时间动态在较低的空间,但较高的时间分辨率。为了帮助视频-语言模型学习视频QA的时间关系,我们提出了一种新的预训练目标,时间参考建模,它要求模型识别视频序列中事件的时间位置。大量的实验表明,我们的模型优于以前在数量级更大的数据集上预训练的工作。
2022-10-08 cs.CL cs.CV
Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications
Technische Universität Darmstadt(达姆施塔特工业大学);Nanyang Technological University(南洋理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
阻碍胶囊网络开发具有挑战性的NLP应用的障碍包括大输出空间的可扩展性差和路由过程不可靠。在本文中,我们引入:1)协议分数来评估实例级别路由过程的性能; 2)自适应优化器,以增强路由的可靠性; 3)封装压缩和部分路由,以提高封装网络的可扩展性。我们验证了我们的方法在两个NLP任务,即:多标签文本分类和问答。实验结果表明,我们的方法大大提高了强大的竞争对手在这两个任务。此外,我们在低资源环境中获得了最好的结果,只有很少的训练实例。
2019-06-06 cs.CL
OpenTable-R1: A Reinforcement Learning Augmented Tool Agent for Open-Domain Table Question Answering
OpenTable
本文提出OpenTable-R1框架,将BM25+搜索与SQLite执行工具直接嵌入大语言模型,并通过监督冷启动和Async GRPO强化学习微调4B模型,实现开放域表格问答准确率从个位数提升至0.86以上。
2025-07-02 cs.CL
Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service
Apple(苹果公司)
本文提出工业级KGQA综合评估框架Chronos,通过端到端与组件级指标、多数据集扩展及发布前性能评估,解决真实系统评估挑战并支持数据驱动决策。
2025-01-28 cs.CL cs.DB
Towards Probabilistic Question Answering Over Tabular Data
Megagon Labs(梅加贡实验室);Adobe(Adobe公司)
本文针对表格数据问答在不确定性推理上的不足,提出新基准LUCARIO和概率问答框架,通过归纳贝叶斯网络、转化查询并利用LLMs生成答案,实现混合符号-神经推理,显著优于基线。
2026-10-06 cs.CL
Contextually Aware E-Commerce Product Question Answering using RAG
Flipkart US R\&D Center Bellevue Washington USA;Flipkart US R\&D Center
提出一种基于RAG的上下文感知电子商务产品问答框架,整合对话历史、用户画像和产品属性,处理多类型查询并识别信息缺口,引入新评估指标。
2025-08-04 cs.CL
SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval
SOCO Inc(索科公司);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了SPARTA,一种新的神经检索方法,表现出很大的承诺,在性能,泛化和解释性的开放域问答。与许多使用密集向量最近邻搜索的神经排名方法不同,SPARTA学习了一种稀疏表示,可以有效地实现为倒排索引。由此产生的表示使可扩展的神经检索,不需要昂贵的近似向量搜索,并导致更好的性能比其密集的对应。我们在4个开放域问答(OpenQA)任务和11个检索问答(ReQA)任务上验证了我们的方法。SPARTA实现了新的国家的最先进的结果,在各种开放领域的问答任务在英语和中文数据集,包括开放SQuAD,自然问题,CMRC等分析也证实,所提出的方法创建人类可解释的表示,并允许灵活控制性能和效率之间的权衡。
2020-09-28 cs.CL cs.LG
Table Question Answering for Low-resourced Indic Languages
University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
针对低资源语言表格问答研究空白,提出全自动大规模数据生成方法,应用于孟加拉语和印地语,训练的模型性能优于现有最优LLMs,且方法可推广至其他低资源语言。
2024-10-04 cs.CL
Question Answering by Reasoning Across Documents with Graph Convolutional Networks
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
大多数阅读理解的研究都集中在回答基于单个文档甚至单个段落的问题上。我们引入了一个神经模型,它集成和原因依赖于文档内和跨多个文档的信息传播。我们把它看作是一个图上的推理问题。实体的提及是该图的节点,而边编码不同提及之间的关系(例如,文档内和跨文档共同参考)。将图卷积网络(GCN)应用于这些图,并训练其执行多步推理。我们的快速GCN方法是可扩展的和紧凑的,并且它在多文档问答数据集WikiHop(Welbl等人,2018年)。
2022-09-27 cs.CL stat.ML
Large Scale Question Answering using Tourism Data
IBM Research AI(IBM研究AI);Indian Institute of Technology, New Delhi(印度理工学院新德里分校);University of Pennsylvania, Philadelphia(宾夕法尼亚大学费城分校);University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍了新的任务,回答实体寻求推荐问题,使用一个集合的评论,描述候选答案实体。我们收集了一个QA数据集,其中包含47,124个段落大小的真实用户问题,这些问题来自寻求酒店,景点和餐馆推荐的旅行者。每个问题都有数千个候选答案可供选择,每个候选答案都与一组非结构化评论相关联。这个数据集特别具有挑战性,因为用于推理和QA的常用神经架构对于这种规模的任务来说非常昂贵。作为解决方案,我们设计了一个可扩展的集群选择重新排名的方法。它首先为每个实体聚类文本,以识别描述实体的例句。然后,它使用一个可扩展的神经信息检索(IR)模块从大型候选集中选择一组潜在的实体。重新排序器使用更深层次的基于注意力的架构从所选实体中挑选最佳答案。这种策略比纯IR或纯基于注意力的推理方法表现得更好,这两种方法的准确性相对提高了近25%。
2020-04-27 cs.AI cs.CL cs.IR
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
Georgia Institute of Technology(佐治亚理工学院);Peking University(北京大学);Microsoft(微软);Siemens Corporate Technology(西门子企业技术)
最近的研究开放领域的问答已经取得了显着的性能提高使用预训练的语言模型,如BERT。最先进的方法通常遵循“检索和读取”管道,并采用基于BERT的重排序器来过滤检索到的文档,然后将其送入阅读器模块。BERT检索器将问题和每个检索到的文档的串联作为输入。尽管这些方法在QA准确性方面取得了成功,但由于级联,它们几乎无法处理每个具有大量检索文档的传入问题的高吞吐量。为了解决效率问题,我们提出了DC-BERT,一个解耦的上下文编码框架,具有双BERT模型:一个在线的BERT编码的问题只有一次,和离线的BERT预编码的所有文档和缓存他们的编码。在SQuAD Open和Natural Questions Open数据集上,DC-BERT在文档检索上实现了10倍的加速,同时与最先进的开放领域问答方法相比,保留了大部分(约98%)的QA性能。
2020-02-28 cs.CL
Decoupled Box Proposal and Featurization with Ultrafine-Grained Semantic Labels Improve Image Captioning and Visual Question Answering
Google AI(谷歌AI)
目标检测在当前的视觉和语言任务(如图像描述和视觉问答)的解决方案中起着重要作用。然而,像Faster R-CNN这样的流行模型依赖于为边界框及其相应的语义标签注释地面事实的昂贵过程,这使得它不太适合作为迁移学习的原始任务。在本文中,我们研究的效果去耦盒建议和特征化的下游任务。关键的见解是,这使我们能够利用大量的标记注释,这些注释以前无法用于标准目标检测基准。从经验上讲,我们证明了这会导致有效的迁移学习和改进的图像描述和视觉问答模型,如在公开的基准测试中所测量的。
2019-09-04 cs.CL cs.CV
Integrating Neural and Symbolic Components in a Model of Pragmatic Question-Answering
University of Tübingen(图宾根大学);Stanford University(斯坦福大学)
本文提出一个神经-符号框架,将LLM模块整合进概率认知模型以替代人工指定,并通过语用问答案例表明混合模型可达到或超过传统模型性能,同时揭示了LLM在真值条件语义评估上的局限。
2025-06-02 cs.CL
XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出XLQA多语言开放域问答基准,覆盖八种语言并区分区域敏感问题,评估五种多语言LLMs,揭示其区域知识不足及训练数据分布差异对语言能力和区域意识的影响。
2025-08-22 cs.CL
M3TQA: Massively Multilingual Multitask Table Question Answering
CCSE, Beihang University(计算机科学与工程学院,北京航空航天大学);M-A-P(M-A-P研究所);Nanjing University(南京大学)
本文提出M3TQA基准,覆盖97种语言的多任务表格问答,通过LLM翻译流程构建并验证合成数据可显著提升低资源语言的跨语言表格推理性能。
2025-08-22 cs.CL
Trustworthy Medical Question Answering: An Evaluation-Centric Survey
Shandong University(山东大学);University of Western Ontario(西方大学);Dalhousie University(达尔豪斯大学);University of Toronto(多伦多大学)
本文综述了基于LLM的医疗问答系统中事实性、鲁棒性等六个可信度维度的评估方法与基准,分析了检索增强、对抗微调等改进技术,并指出了未来的研究方向。
2025-11-03 cs.CL
YESciEval: Robust LLM-as-a-Judge for Scientific Question Answering
TIB Leibniz Information Centre for Science and Technology(蒂宾根科学与技术信息中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
本文提出开源框架YESciEval,结合细粒度评分标准评估与强化学习,缓解LLM评估者的乐观偏差,并发布多学科科学问答数据集,实现可扩展、零成本的鲁棒评估,支持AI对齐与科学探究。
2025-05-29 cs.AI cs.CL
AssoMem: Scalable Memory QA with Multi-Signal Associative Retrieval
Meta Reality Labs(Meta现实实验室);Worcester Polytechnic Institute(沃斯特理工学院)
针对记忆增强AI助手在相似度密集场景下的召回挑战,提出AssoMem框架,通过构建关联记忆图并结合自适应互信息驱动的多维信号融合策略,在多个基准上显著提升了上下文感知的记忆问答性能。
2025-10-12 cs.CL
N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs
comcast India Engineering Center (CIEC)(comcast印度工程中心)
N2N-GQA通过构建动态证据图提升基于图的表格-文本问答性能,实现零样本多跳问答的高准确率。
2026-01-10 cs.CL
LLM Ensemble for RAG: Role of Context Length in Zero-Shot Question Answering for BioASQ Challenge
University of Technology Sydney (UTS), Australia(悉尼技术大学(UTS))
本研究提出基于多个LLM集成的零样本方法用于生物医学问答,在BioASQ任务上超越单个模型,并揭示上下文长度与性能的关系,证明结合RAG的集成方法可替代领域调优系统。
2025-09-10 cs.CL
HIDE and Seek: Detecting Hallucinations in Language Models via Decoupled Representations
Indian Institute of Technology Delhi, India(印度德里印度理工学院)
本文提出单次通过、无需训练的HIDE方法,通过量化语言模型内部表示与输出的统计解耦来检测幻觉,在多个数据集上优于现有单次方法,并接近多次方法,显著降低计算成本。
2025-06-21 cs.AI cs.CL
APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
University of Science and Technology of China(中国科学技术大学);ByteDance Inc.(字节跳动公司);Chinese Academy of Sciences(中国科学院)
APEx是分层经验利用框架,通过三阶段交替GRPO训练优化Executor、Distiller、Planner模块,经7个基准测试性能超GPT-5.4和最强记忆增强基线,实现自适应深度研究问答。
2026-09-03 cs.AI cs.CL
ORBIT: Scalable and Verifiable Data Generation for Search Agents on a Tight Budget
本文提出ORBIT数据集,通过低成本框架生成20000个需多步推理的查询,用于训练搜索代理,实验表明其在维基百科问答中表现优异。
2026-04-02 cs.AI cs.CL cs.IR
Sequence-to-Sequence Knowledge Graph Completion and Question Answering
Indian Institute of Science(印度科学学院);University of Mannheim(曼海姆大学)
知识图谱嵌入模型用低维嵌入向量表示知识图谱的各个实体和关系。这些方法最近已被应用到KG链接预测和不完整KG上的问答(KGQA)。KGE通常为图中的每个实体创建嵌入,这导致具有数百万实体的真实世界图上的大模型大小。对于下游任务,这些原子实体表示通常需要集成到多级管道中,这限制了它们的实用性。我们表明,一个现成的编码器-解码器Transformer模型可以作为一个可扩展的和通用的KGE模型获得最先进的结果KG链接预测和不完整的KG问答。我们通过将KG链接预测作为序列到序列的任务来实现这一点,并将先前KGE方法采用的三重评分方法与自回归解码交换。与传统的KGE模型相比,这种简单但功能强大的方法将模型大小减少了98%,同时保持推理时间易于处理。在对不完整KG的KGQA任务进行微调后,我们的方法在多个大规模数据集上的性能优于基线,而无需进行广泛的超参数调整。
2022-03-19 cs.CL cs.LG
From National Curricula to Cultural Awareness: Constructing Open-Ended Culture-Specific Question Answering Dataset
KAIST AI Center(韩国国立科学技术院人工智能中心);Samsung Electronics(三星电子);Hankuk University of Foreign Studies(韩国外语大学)
本文提出CuCu框架,利用国家课程构建文化特定的开放性问答数据集KCaQA,以提升语言模型在文化对齐方面的表现。
2026-08-27 cs.AI cs.CL
Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering
School for Computation, Information and Technology(计算、信息与技术学院)
提出无参考粒度度量Granuscore,利用层次嵌入空间结构可靠恢复粒度顺序并解释句子特异性变化,应用于问答基准分析模型行为差异。
2026-08-24 cs.CL cs.HC
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院)
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放,并且只能有效地应用于小的实例依赖子图。在本文中,我们解决这个问题,表明多跳和更复杂的逻辑推理可以单独完成,而不会失去表达能力。出于这种认识,我们提出了一种多跳推理的方法,该方法与图中的关系类型的数量呈线性关系,通常比边或节点的数量要小得多。这会产生一组候选解决方案,这些解决方案可以被证明是精炼的,以恢复原始问题的解决方案。我们对基于知识的问答的实验表明,我们的方法解决了多跳MetaQA数据集,实现了一个新的国家的最先进的更具挑战性的WebbrowsSP,是数量级的可扩展性比竞争对手的方法,并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
VisualSimpleQA: A Benchmark for Decoupled Evaluation of Large Vision-Language Models in Fact-Seeking Question Answering
Zhongguancun Laboratory(中关村实验室);Renmin University of China(中国人民大学);Tencent(腾讯);Tsinghua University(清华大学)
本文提出多模态事实问答基准 VisualSimpleQA,支持视觉与语言模块解耦评估,并构建困难子集,实验表明现有 LVLMs 在事实寻求型 QA 上仍有较大提升空间。
2025-03-09 cs.CL cs.CV
BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model
本研究提出BEST-KAG框架,通过多模态知识图谱建模与大语言模型,解决建筑工程标准问答的现有局限,在相关评估指标上优于主流大语言模型。
2026-08-13 cs.AI cs.CL
A Question Answering Dataset for Temporal-Sensitive Retrieval-Augmented Generation
Laboratory for Big Data and Decision, National University of Defense Technology, Changsha, China(大数据与决策实验室,国防科技大学,长沙,中国);Baidu Inc., Beijing, China(百度公司,北京,中国);Department of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen, China(计算机科学与技术系,哈尔滨工业大学(深圳),深圳,中国)
本文提出ChronoQA,一个基于30余万篇新闻构建的中文时间推理问答基准,覆盖绝对、聚合和相对时间类型及单/多文档场景,用于系统评估和推进时间敏感型RAG系统。
2025-08-17 cs.CL cs.IR
MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度马德拉斯理工学院);L3Cube Labs(L3Cube实验室)
本研究推出首个马拉地语完整问答数据集MahaSQuAD,并提出将SQuAD翻译为低资源语言的通用方法,有效弥合了问答系统中的语言鸿沟。
2024-04-20 cs.CL cs.LG
Evolution of Multimodal Question Answering: From Modality-Adaptive Extraction to Unified Language Representation
Khulna University of Engineering & Technology(库尔纳工程技术大学)
本文比较MAE、Solar和UniMMQA三种多模态问答框架,揭示从模态自适应处理向统一文本中心架构的演进,并证明该转变显著提升EM和F1分数,同时指出信息丢失等挑战。
2026-09-09 cs.CL cs.CV
ASTRA-QA: A Benchmark for Abstract Question Answering over Documents
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Data Science Group(数据科学组)
ASTRA-QA是首个针对文档抽象问答的基准,包含869个学术论文和新闻文档问题实例,涵盖五种抽象问题类型和三种检索范围,通过显式标注评估答案覆盖关键点和避免不支持内容。
2026-05-11 cs.CL cs.IR
ConSens: Assessing context grounding in open-book question answering
Iris.ai BG
提出ConSens指标,通过对比有无上下文时模型响应的困惑度,量化答案对上下文的依赖,高效评估开放书问答中的上下文接地。
2025-04-30 cs.CL cs.LG
Language Model Knowledge Distillation for Efficient Question Answering in Spanish
University of Cambridge(剑桥大学)
本文提出SpanishTinyRoBERTa,通过知识蒸馏压缩西班牙语问答模型,在保持性能的同时显著提升推理速度,适用于资源受限环境。
2024-03-16 cs.CL cs.LG stat.ML
SQuAI: Scientific Question-Answering with Multi-Agent Retrieval-Augmented Generation
TU Dresden(德累斯顿理工大学)
SQuAI是一个多智能体检索增强生成框架,通过分解问题、混合检索和自适应过滤,在230万篇论文上提升科学问答的忠实性和相关性,并发布千级基准。
2025-10-17 cs.CL cs.IR
MATA: Multi-Agent Framework for Reliable and Flexible Table Question Answering
Department of Electrical and Computer Engineering, Seoul National University(首尔国立大学电气与计算机工程系);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔国立大学人工智能跨学科项目)
MATA通过多智能体框架和小语言模型工具,提升表格问答的可靠性与灵活性,实验显示其在不同LLM上均取得最佳准确率和高效推理。
2026-04-21 cs.AI cs.CL
AI, Take the Wheel: What Drives Delegation and Trust in Human-Computer Cooperative Question Answering?
University of Maryland(马里兰大学);University of California(加州大学);MBZUAI
通过问答游戏实验,研究人类在何时以及为何选择委托AI或采纳其建议,发现人类存在对AI正确建议的低依赖(3.9%)和错误建议的过度依赖(1.7%),并受确认偏见影响,建议通过校准置信度、基于证据的解释和信任细化机制来改进人机协作。
2026-05-27 cs.AI cs.CL cs.HC
Synthetic Document Question Answering in Hungarian
SambaNova Systems, Inc.(SambaNova系统公司);University of Washington(华盛顿大学)
针对匈牙利语文档视觉问答数据缺乏问题,提出HuDocVQA等数据集及构建方法,并通过微调使Llama 3.2 11B准确率提升7.2%。
2025-05-29 cs.AI cs.CL cs.CV
Q-NL Verifier: Leveraging Synthetic Data for Robust Knowledge Graph Question Answering
Technical University of Munich(慕尼黑工业大学)
针对高质量查询-自然语言配对稀缺问题,提出利用大语言模型生成合成配对并训练验证器判定语义等价性,有效提升了知识图谱问答系统的翻译准确率与数据质量,并发布了更新版基准。
2025-03-03 cs.CL cs.DB cs.LG
MetaGen Blended RAG: Unlocking Zero-Shot Precision for Specialized Domain Question-Answering
IBM
针对企业专业领域RAG零样本精度低的问题,提出MetaGen Blended RAG,通过元数据生成与混合查询索引增强检索,在PubMedQA上超越现有零样本基准并媲美微调模型。
2025-08-05 cs.AI cs.CL cs.IR
Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models
KAIST(韩国科学技术院);William & Mary(威廉与玛丽学院);Microsoft Research Asia(微软亚洲研究院)
TDBench通过时间数据库技术系统构建TSQA对,引入时间准确性指标,实现大语言模型时间敏感问答的可扩展和全面评估。
2026-03-02 cs.CL
MoEMoE: Question Guided Dense and Scalable Sparse Mixture-of-Expert for Multi-source Multi-modal Answering
Amazon(亚马逊);CMT Systems(CMT系统);International Machine Learning(国际机器学习团队)
本文提出MoEMoE框架,通过问题引导的注意力机制和稀疏专家混合模型,解决多源多模态问答中的答案来源选择与可扩展性问题,并在多个数据集上验证了有效性。
2025-03-08 cs.CL cs.LG
Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets
University of Washington(华盛顿大学)
本文提出Dynamic-KGQA框架,通过从知识图谱动态生成自适应问答数据集,解决静态基准的数据污染与模型记忆问题,支持细粒度控制和可复现评估。
2025-03-06 cs.CL cs.IR cs.LG
AdaDocVQA: Adaptive Framework for Long Document Visual Question Answering in Low-Resource Settings
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Automation, Guangdong University of Technology(广东工业大学自动化学院);School of Information Engineering, Peking University(北京大学信息工程学院)
AdaDocVQA针对低资源长文档VQA,提出混合检索分割、智能数据增强和自适应集成推理三项创新,在日本基准上取得最优结果。
2025-08-19 cs.CL
QA-prompting: Improving Summarization with Large Language Models using Question-Answering
Georgia Institute of Technology(佐治亚理工学院)
本文提出QA-prompting方法,在摘要生成前引入问答中间步骤以缓解长上下文位置偏差,无需微调或流水线,在多个数据集和十个预训练模型上ROUGE分数最高提升29%。
2025-09-21 cs.CL
CLEV: LLM-Based Evaluation Through Lightweight Efficient Voting for Free-Form Question-Answering
Dalhousie University(达尔豪西大学);Alamein International University(阿勒敏国际大学)
针对自由形式问答评估挑战,提出轻量级高效投票共识(CLEV)框架,通过主LLM评判分歧时调用第三LLM,平衡评估可靠性与计算效率,经实验验证其一致性与资源高效性。
2025-11-10 cs.AI cs.CL
MaXM: Towards Multilingual Visual Question Answering
Google Research(谷歌研究院)
本文针对多语言视觉问答资源消耗大的问题,提出基于翻译的数据生成框架,构建了涵盖7种语言的MaXM基准,并开发了轻量有效的方法对现有VQA模型进行基准测试。
2023-10-24 cs.CL cs.CV
Decoupled Reasoning with Implicit Fact Tokens (DRIFT): A Dual-Model Framework for Efficient Long-Context Inference
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Tongji University(同济大学)
DRIFT通过双模型框架解耦知识提取与推理,提升长上下文推理效率和准确性。
2026-02-10 cs.AI cs.CL
On the Temporal Question-Answering Capabilities of Large Language Models Over Anonymized Data
AI Research, JP Morgan Chase(人工智能研究, 花旗集团)
本文研究大型语言模型在匿名数据上的时间推理能力,开发了RATA数据集并比较了多种方法,发现需要集成方法而非单一LLM。
2025-12-02 cs.AI cs.CL