Uncertainty Estimation of Large Language Models in Medical Question Answering
The University of Hong Kong(香港大学);Harvard Medical School(哈佛医学院)
针对医疗问答中LLM易出现幻觉、现有不确定性估计方法效果差的问题,提出无概率的两阶段验证方法,通过验证答案不一致性衡量不确定性,在多数据集和模型规模下取得最优准确性与稳定性。
2024-07-11 cs.AI cs.CL
Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities
Carnegie Mellon University(卡内基梅隆大学)
本研究提出SimToM,一种基于模拟理论视角采择的两阶段提示框架,通过过滤角色已知信息来提升大语言模型的心智理论能力,实验显示显著优于现有方法。
2023-11-16 cs.AI cs.CL
Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
School of Production Engineering and Management, Technical University of Crete(生产工程与管理学院,希腊克里特技术大学);Institute of Computer Science, Foundation for Research and Technology - Hellas(计算机科学研究所,希腊基础研究与技术研究院)
本文评估了大型语言模型在数据集上回答问题的能力,通过两种场景测试其性能,并探讨不同提示策略的影响。
2026-05-11 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen(哥本哈根大学);RIKEN(理化学研究所);Microsoft Semantic Machines(微软语义机器公司)
近年来,除了对NLP中深度学习模型的大量研究外,还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面,问答和阅读理解特别多产,在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述,突出了目前的空白,为未来的工作。我们进一步讨论了当前的分类“技能”,问答/阅读理解系统应该获得,并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语,我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者,也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学)
研究视觉语言模型中问题优先提示的悖论,发现问题前置虽能引导感知但后续答案生成阶段难关注到问题。提出问题回声方法,即在图像两侧重复问题,解决了悖论,在多基准测试中表现出色且无需训练等。
2026-09-04 cs.AI cs.CV cs.LG
On the Temporal Question-Answering Capabilities of Large Language Models Over Anonymized Data
AI Research, JP Morgan Chase(人工智能研究, 花旗集团)
本文研究大型语言模型在匿名数据上的时间推理能力,开发了RATA数据集并比较了多种方法,发现需要集成方法而非单一LLM。
2025-12-02 cs.AI cs.CL
Long Story Short: a Summarize-then-Search Method for Long Video Question Answering
Yonsei University(延世大学)
针对长视频叙事问答,提出Long Story Short框架,先总结情节再检索相关片段,并用CLIPCheck增强视觉匹配,在零样本设定下大幅超越监督模型。
2023-11-02 cs.AI cs.CV
SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有科学论文问答数据集规模小、仅覆盖文本的问题,本文推出首个多模态大规模数据集SPIQA,含27万问题,结合图文内容,评估12个基础模型并提出带检索的CoT策略提升性能。
2025-01-10 cs.AI cs.CL cs.CV
SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding
Fudan University(复旦大学);University of Liverpool(利物浦大学)
针对现有大型视觉语言模型(LVLMs)在古代文献理解中证据支撑不足的问题,本文提出SAGE多智能体框架,通过多阶段证据导向推理实现任务规划、证据获取与验证,在AncientDoc基准上优于基线,搭载Qwen3.5-9B的SAGE性能超更大单体模型。
2026-08-26 cs.AI cs.CL
MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering
Mohammed 6 Polytechnic University(穆莱·马哈茂德六世理工学院)
本文提出MizanQA基准,包含超1700道摩洛哥法律多选题,用于评估大语言模型在低资源阿拉伯语法律问答上的表现,实验显示现有模型存在显著性能差距,需发展文化适配的领域专用模型。
2025-08-22 cs.AI cs.CL cs.IR
Question and Answer Test-Train Overlap in Open-Domain Question Answering Datasets
Facebook AI Research(Facebook 人工智能研究院);University College London(伦敦大学学院)
理想情况下,开放域问答模型应该表现出许多能力,从简单地记忆训练时看到的问题,到用训练期间看到的答案回答新的问题公式,再到用新的答案概括出完全新的问题。然而,单个聚合测试集分数并不能显示模型真正拥有的能力的全貌。在这项工作中,我们进行了详细的研究,测试集的三个流行的开放域基准数据集就这些能力。我们发现60 - 70%的测试时间答案也存在于训练集中的某个地方。我们还发现,30%的测试集问题在相应的训练集中有一个近乎重复的释义。利用这些发现,我们评估了各种流行的开放领域模型,以更深入地了解它们实际上可以推广到什么程度,以及是什么推动了它们的整体性能。我们发现,所有模型在无法从训练集中记忆的问题上的表现都要差得多,重复和非重复数据之间的平均绝对性能差异为63%。最后,我们证明了简单的最近邻模型优于BART闭卷QA模型,进一步强调了训练集记忆在这些基准测试中的作用
2020-08-06 cs.AI cs.CL
Condition-Gated Reasoning for Context-Dependent Biomedical Question Answering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Institutes of Health(美国国立卫生研究院)
本文提出CondMedQA基准和Condition-Gated Reasoning框架,通过构建条件感知知识图谱,提升生物医学问答中条件依赖的推理能力。
2026-06-06 cs.AI cs.CL
CommVQA: Situating Visual Question Answering in Communicative Contexts
Stanford University(斯坦福大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对现有VQA模型脱离语境训练评估的问题,提出含1000张图、8949个问答对的交际语境VQA数据集CommVQA,实验发现当前模型存在幻觉率高等问题,证明上下文信息对提升VQA性能至关重要。
2024-10-03 cs.CL cs.CV
ChatSOS: Vector Database Augmented Generative Question Answering Assistant in Safety Engineering
School of Mechatronic Engineering, Beijing Institute of Technology(北京理工大学机电学院)
针对基础大语言模型在安全工程应用中数据覆盖有限、响应不可靠的问题,本研究构建了基于爆炸事故报告的向量数据库并开发ChatSOS,显著提升了问答的可靠性、准确性等性能,为安全工程专业查询应用奠定基础。
2024-05-08 cs.AI cs.CL
ReasonVQA: A Multi-hop Reasoning Benchmark with Structural Knowledge for Visual Question Answering
Bosch Center for AI(博世人工智能中心);Technical University of Berlin(柏林技术大学);Fraunhofer FOKUS(弗劳恩霍夫研究所)
ReasonVQA是一个结合结构知识的多跳推理问答基准数据集,通过生成复杂问题挑战现有VQA模型,推动领域发展。
2026-02-01 cs.CV
Augmenting Multimodal LLMs with Self-Reflective Tokens for Knowledge-based Visual Question Answering
University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学);University of Pisa(比萨大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
提出ReflectiVA模型,通过引入反思令牌动态决定外部知识需求并评估检索信息相关性,采用两阶段双模型训练,有效提升了多模态LLM在基于知识的视觉问答任务中的性能。
2025-04-02 cs.AI cs.CL cs.CV
Knowledge Graph Question Answering using Graph-Pattern Isomorphism
Paderborn University(帕德博恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Universität Hamburg(汉堡大学);Globo(环球集团)
知识图谱问答(KGQA)系统基于机器学习算法,需要数千个问答对作为训练样本或需要模块微调的自然语言处理管道。在本文中,我们提出了一种新的QA方法,称为TeBaQA。我们的方法学习回答问题的基础上,从SPARQL查询的基本图形模式的图同构。学习基本图形模式是有效的,因为可能的模式数量很少。这种新颖的范例减少了实现最先进性能所需的训练数据量。TeBaQA还通过将QA系统开发任务转换为更小且更容易的数据编译任务来加快域适应过程。在我们的评估中,TeBaQA在QALD-8上实现了最先进的性能,并在QALD-9和LC-QuAD v1上提供了相当的结果。此外,我们对处理聚合和最高级问题的复杂查询以及消融研究进行了细粒度评估,突出了未来的研究挑战。
2022-02-02 cs.AI cs.CL
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Army Research Laboratory(陆军研究实验室);Georgia Institute of Technology(佐治亚理工学院)
视觉和语言的交叉问题是具有挑战性的研究问题和丰富的应用程序集,他们使显着的重要性。然而,我们世界的固有结构和我们语言中的偏见往往是比视觉形式更简单的学习信号,导致模型忽略视觉信息,从而导致对其能力的夸大感。我们建议在视觉问答(VQA)的任务中对抗这些语言先验,并使视觉(VQA中的V)变得重要!具体来说,我们通过收集互补图像来平衡流行的VQA数据集,这样我们平衡数据集中的每个问题不仅与单个图像相关联,而且与导致问题的两个不同答案的一对相似图像相关联。我们的数据集比原始VQA数据集更平衡,并且图像-问题对的数量大约是原始VQA数据集的两倍。我们完整的平衡数据集可在www.visualqa.org上公开获得,作为Visual问答数据集和挑战(VQA v2.0)的第二次迭代的一部分。我们进一步在我们的平衡数据集上对一些最先进的VQA模型进行了基准测试。所有模型在我们的平衡数据集上的表现都要差得多,这表明这些模型确实学会了利用语言先验。这一发现提供了第一个具体的经验证据,似乎是一个定性的意义上的从业者。最后,我们的数据汇集协议,用于识别互补的图像,使我们能够开发一种新的可解释的模型,除了提供一个答案,给定的(图像,问题)对,还提供了一个反例为基础的解释。具体来说,它识别一个与原始图像相似的图像,但它认为对同一个问题有不同的答案。这有助于在用户之间建立对机器的信任。
2017-05-15 cs.AI cs.CL cs.CV
From text to multimodal: a survey of adversarial example generation in question answering systems
Yildiz Technical University(耶尔德兹理工大学);Kadir Has University(卡迪尔·哈斯大学)
本文系统综述文本与多模态问答系统中的对抗样本生成技术,分类梳理扰动、生成模型、防御、数据集与评估指标,并指出未来研究方向。
2024-08-09 cs.AI cs.CL
Context-Length Robustness in Question Answering Models: A Comparative Empirical Study
Upper Hand;Ace Rent a Car
研究通过SQuAD和HotpotQA基准评估问答模型在上下文长度变化下的鲁棒性,发现多跳推理任务比单跨度提取任务更易受上下文稀释影响。
2026-03-16 cs.AI
CLIR-Bench: Benchmarking Multimodal Question Answering over Irregular Clinical Time Series
Shandong University(山东大学);University of Auckland(奥克兰大学)
研究针对临床时间序列稀疏、不规则等问题,引入CLIR-Bench基准,通过四阶段流程构建,含6600个问答实例。实验发现现有通用模型处理稀疏临床证据困难,强调需更强不规则时间序列推理方法。
2026-07-14 cs.AI cs.CL
CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Erik Jonsson School of Engineering and Computer Science, University of Texas at Dallas(埃里克·乔纳森工程与计算机科学学院,德克萨斯大学达拉斯分校);Isoftstone Information Technology (Group) Co.,Ltd.(伊软石信息技术(集团)有限公司);College of Electronic and Information Engineering, Tongji University(电子信息工程学院,同济大学);School of Electronic Information, Central South University(电子信息学院,中南大学)
CompactRAG通过解耦离线语料重组与在线推理,减少多跳问答中的LLM调用和令牌消耗,提升效率。
2026-02-05 cs.AI cs.CL
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick(电子与计算机工程系,利默里克大学)
本研究通过微调BERT模型,针对大学课程材料开发了首个领域特定问答系统,展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
LEGAL-UQA: Testing Constitutional Question-Answering Systems for Urdu Speakers with a Parallel English-Urdu Benchmark
LUMS(拉合尔管理科学大学)
本文提出首个源自巴基斯坦宪法的低资源乌尔都语-英语法律问答数据集LEGAL-UQA,通过评估和微调多语言模型验证了其有效性,为巴基斯坦本地法律信息获取奠定基础。
2026-11-16 cs.AI cs.CL cs.LG
SensorQA: A Question Answering Benchmark for Daily-Life Monitoring
Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出首个面向日常生活监测的长期时间序列传感器数据人工创建问答数据集 SensorQA,包含 5.6K 个查询,并基于此为最先进 AI 模型建立基准,评估其在边缘设备上的性能,揭示了当前模型与最佳 QA 性能和效率之间的差距。
2025-03-03 cs.AI cs.CL
LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
University of Waterloo(滑铁卢大学)
介绍LakeQuest基准测试,用于评估跨数据湖的有基础问答。它跨越三个领域,含9846个QA对及证据指针,能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理,凸显未来智能QA系统需强大发现和跨文件组合机制。
2026-08-13 cs.AI cs.CL
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia(Opscidia公司)
随着科学出版物的爆炸式增长,使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中,我们提出了一个多任务的方法来验证科学问题的基础上,联合推理的事实和证据的研究文章。我们提出了一个智能的组合(1)一个自动的信息摘要和(2)一个布尔问答,它允许生成一个答案的科学问题,从总结后获得的提取。因此,在给定的主题上,我们提出的方法基于论文摘要进行结构化内容建模,以回答科学问题,同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答(EQA),结合三个输出分类模型,对问题进行深入的语义理解,以说明多个响应的聚合。通过我们提出的轻巧快速的架构,我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型(BERT,RoBERTa)超过300万开放获取(OA)的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
MedExQA: Medical Question Answering Benchmark with Multiple Explanations
Institute of Health Informatics, University College London(伦敦大学学院健康信息学研究所)
本文提出医学问答基准MedExQA,通过多专科多重解释评估LLMs医学解释能力,并推出基于Phi-2的模型MedPhi-2,在生成解释上超越基于Llama2-70B的医学模型。
2024-07-03 cs.AI cs.CL
Learning Evidence Highlighting for Frozen LLMs
Stony Brook University(石桥大学);Meta AI
提出HiLight框架,通过强化学习训练轻量级Actor在长上下文中插入高亮标签,使冻结的LLM更关注关键证据,无需证据标签或修改求解器,在序列推荐和长上下文问答中提升性能。
2026-09-29 cs.AI cs.CL
OLAPH: Improving Factuality in Biomedical Long-form Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
本文提出MedLFQA基准数据集和OLAPH框架,通过多方面自动评估构建合成偏好集,逐步训练LLMs以减少幻觉并包含关键医学陈述,显著提升生物医学长篇问答的事实性。
2024-10-15 cs.AI cs.CL
Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院)
针对医学教学视频中时间答案定位任务,提出视觉提示文本跨度定位方法,利用带时间戳字幕和视觉高亮特征,在MedVidQA上以mIOU提升28.36%超越现有方法。
2022-03-29 cs.AI cs.CL cs.CV
Saliency Guided Longitudinal Medical Visual Question Answering
Dept. of Computer Science and Engineering University of California, San Diego(计算机科学与工程系,加州大学圣地亚哥分校);Dept. of Radiology and Biomedical Imaging Yale University(放射学与生物医学成像系,耶鲁大学)
本文提出基于显著性的纵向医学视觉问答模型,通过显著性引导的编码器-解码器结构,在保持空间一致性的同时实现高效的临床变化识别。
2025-12-06 cs.AI cs.CV
A Self Consistency Based Reranking for Narrative Question Answering
提出自一致性重排序框架,通过生成多个候选答案并基于语义一致性选择最终答案,提升叙事问答的鲁棒性和准确性。
2026-06-16 cs.AI cs.CL
Think Twice to See More: Iterative Visual Reasoning in Medical VLMs
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Rutgers University(罗格斯大学)
针对医疗 VLM 单次推理忽略局部视觉线索的问题,提出 ViTAR 框架,通过“思考-行动-再思考-回答”认知链模拟专家迭代推理,结合监督微调与强化学习策略,提升了医疗 AI 的性能与可信度。
2025-10-11 cs.AI cs.CV
Reconstruction as a Bridge for Event-Based Visual Question Answering
Peking University(北京大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
本文提出基于重建的框架,通过FRT和ART方法提升事件驱动视觉问答性能,并引入EvQA基准验证其有效性。
2025-12-12 cs.CV
Few-shot Policy (de)composition in Conversational Question Answering
提出LDPC神经符号框架,利用大型语言模型在少样本下通过逻辑分解检测策略合规,在ShARC基准上无需微调即达竞争性能,并增强可解释性。
2025-01-20 cs.AI cs.CL
EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering
EgoCross提出一个跨领域眼动视频问答基准,评估多模态大语言模型在不同领域中的泛化能力,揭示现有模型在非日常领域任务中的局限性。
2026-03-10 cs.AI cs.CV
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida(佛罗里达大学)
提出RAMQA统一框架,结合学习排序与生成式排列增强技术,用于多模态检索增强问答,在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
Highlighting Case Studies in LLM Literature Review of Interdisciplinary System Science
Australian National University(澳大利亚国立大学);Data61—CSIRO(Data61—联邦科学与工业研究组织);CSIRO(联邦科学与工业研究组织)
本研究通过CSIRO的跨学科系统科学文献综述案例,评估LLM在系统文献综述任务中的表现,开发语义高亮工具辅助审核,验证了transformer嵌入余弦相似度可作为语义相似度的有效衡量指标。
2025-03-16 cs.AI cs.CL
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
M$^3$-VQA引入了多实体问题,要求模型在多个文档间进行顺序和并行多跳推理,揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
TQA-Bench: Evaluating LLMs for Multi-Table Question Answering
Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
提出TQA-Bench基准,通过长上下文多表问答任务评估LLM,揭示其在复杂数据驱动环境中的挑战与机遇。
2026-06-05 cs.AI cs.CL cs.IR
A Survey of the State-of-the-Art in Conversational Question Answering Systems
本综述全面分析对话式问答系统的最新进展,涵盖核心组件、先进机器学习技术、大语言模型及关键数据集,并指出未来研究方向。
2025-09-06 cs.AI cs.CL
Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation
University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Univ of Technology Sydney(悉尼科技大学);Amazon Search(亚马逊搜索)
本文提出 Gotta 框架,通过以提示格式统一 QA 与完形填空任务进行数据增强和联合学习,提升少样本问答的深层语义推理能力,并在基准上验证其优于强基线。
2023-06-07 cs.AI cs.CL
QACP: An Annotated Question Answering Dataset for Assisting Chinese Python Programming Learners
本文针对编程教育智能系统数据稀缺问题,构建了面向中国 Python 学习者的中文问答数据集 QACP,并通过多维度标注与多模型评估揭示通用大语言模型在编程教学辅助中的局限。
2024-02-23 cs.AI cs.CL cs.HC
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
针对视觉问答泛化能力不足的问题,提出两层认知架构的CopVQA模型,通过多通路因果推理与专家模块协作提升性能,在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
Integrating Object Interaction Self-Attention and GAN-Based Debiasing for Visual Question Answering
School of Computer Science, Hubei University(湖北大学计算机学院)
本文提出IOG-VQA模型,结合对象交互自注意力与GAN去偏,有效缓解VQA数据集偏见,在VQA-CP v1和v2上表现优异,代码已开源。
2025-09-25 cs.AI cs.CV
MMTClinic: Multimodal, Multilingual Time Series Question Answering and Reasoning Benchmark for Clinical Domain
Institute of Engineering and Management(工程与管理学院);IIT Patna(巴特那印度理工学院);University of Calcutta(加尔各答大学);Bangabasi Morning College(邦加巴西晨学院)
本文提出面向临床领域的多模态多语言时间序列问答与推理基准MMTClinic,融合多类数据、覆盖五种语言与三项临床任务,评估13种LLMs并揭示其性能差异,为相关医疗AI研究提供宝贵资源。
2026-09-07 cs.AI cs.CL
NeuSym-RAG: Hybrid Neural Symbolic Retrieval with Multiview Structuring for PDF Question Answering
MoE Key Lab of Artificial Intelligence(摩尔电子关键实验室);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(X-LANCE实验室,计算机科学学院,上海交通大学);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);AISpeech Co., Ltd.(AISpeech公司);Suzhou Laboratory(苏州实验室)
提出NeuSym-RAG混合神经符号检索框架,通过多视图分块和模式解析将PDF内容组织进关系数据库与向量库,支持LLM代理迭代收集上下文生成答案,在多个PDF问答数据集上稳定击败基线。
2025-05-31 cs.AI cs.CL
A Two-Stage Multitask Vision-Language Framework for Explainable Crop Disease Visual Question Answering
本文提出了一种轻量且可解释的双阶段多任务视觉-语言框架,用于作物疾病视觉问答,实现了高准确率和良好的可解释性。
2026-03-07 cs.CL cs.CV
WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving
Hanyang University(翰阳大学)
WaymoQA通过多视角输入提升自动驾驶的安全关键推理能力,提供35,000个标注问题-答案对,显著增强大语言模型的推理性能。
2026-09-01 cs.AI cs.CV
Chunk Twice, Embed Once: A Systematic Study of Segmentation and Representation Trade-offs in Chemistry-Aware Retrieval-Augmented Generation
本研究系统评估了化学RAG中分块策略与嵌入模型的权衡,发现嵌入选择影响最大,中大型块配合特定分块策略为实用起点。
2026-09-18 cs.AI cs.IR physics.chem-ph
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
Meta AI;King Abdullah University of Science and Technology (KAUST)(卡布斯大学);Princeton University(普林斯顿大学)
本文提出VideoAuto-R1框架,通过一次推理两次回答策略提升视频理解效率,实现准确率和效率的双重提升。
2026-03-21 cs.CV
Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models
University of Science and Technology of China(中国科学技术大学)
本文提出COFT方法,通过知识图谱提取实体、计算上下文权重并动态选择关键文本,以从粗到细的高亮方式减少检索增强语言模型在长上下文中的知识幻觉,在F1指标上提升超过30%。
2024-10-19 cs.AI cs.CL
On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
大多数在会话问答(CQA)中对会话历史建模的工作都报告了一个通用CQA基准测试的单一主要结果。虽然现有的模型在CQA排行榜上显示出令人印象深刻的结果,但仍不清楚它们是否对设置(有时是更现实的设置),训练数据大小(例如从大到小)和域的变化具有鲁棒性。在这项工作中,我们设计并进行了第一次大规模的鲁棒性研究的历史建模方法CQA。我们发现,高基准分数并不一定转化为强大的鲁棒性,各种方法可以在不同的设置下表现得非常不同。配备从我们的研究的见解,我们设计了一种新的基于统计的历史建模方法,并证明其强大的鲁棒性在各种设置。我们的方法受到现有方法的启发,这些方法突出了文章中的历史答案。然而,我们不是通过修改段落标记嵌入来突出显示,而是直接在段落文本中添加文本提示。我们的方法简单,易于插入到几乎任何模型中,并且非常有效,因此我们建议将其作为未来模型开发人员的起点。我们还希望我们的研究和见解将提高人们对以稳健性为中心的评估的重要性的认识,除了获得高排行榜分数之外,还将带来更好的CQA系统。
2022-12-28 cs.AI cs.CL cs.LG