Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究通过多级错误分析和实体感知对比学习,提升对抗性问答的鲁棒性,实现干净与对抗性数据性能的近似相等。
2026-01-06 cs.AI cs.CL
ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering
Indian Institute of Technology Patna(印度帕纳布理工大学);Manipal University Jaipur(贾伊普尔曼尼帕尔大学);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究学院科利卡塔)
ObfusQAte框架用于评估LLM在模糊事实问答任务中的鲁棒性,通过多级模糊化方法考察LLM在命名实体、干扰项和上下文过载三个维度上的表现。
2026-03-04 cs.AI cs.CL cs.LG
Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs
Institute of Science and Technology(科学技术研究院);Federal University of São Paulo (UNIFESP)(圣保罗联邦大学)
本文比较了PEFT在BERTimbau上的表现,并探索了生成式LLMs在葡萄牙问答任务中的效果,发现PEFT方法在计算成本上更高效,适合可持续发展。
2026-03-22 cs.AI cs.CL cs.LG
On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
大多数在会话问答(CQA)中对会话历史建模的工作都报告了一个通用CQA基准测试的单一主要结果。虽然现有的模型在CQA排行榜上显示出令人印象深刻的结果,但仍不清楚它们是否对设置(有时是更现实的设置),训练数据大小(例如从大到小)和域的变化具有鲁棒性。在这项工作中,我们设计并进行了第一次大规模的鲁棒性研究的历史建模方法CQA。我们发现,高基准分数并不一定转化为强大的鲁棒性,各种方法可以在不同的设置下表现得非常不同。配备从我们的研究的见解,我们设计了一种新的基于统计的历史建模方法,并证明其强大的鲁棒性在各种设置。我们的方法受到现有方法的启发,这些方法突出了文章中的历史答案。然而,我们不是通过修改段落标记嵌入来突出显示,而是直接在段落文本中添加文本提示。我们的方法简单,易于插入到几乎任何模型中,并且非常有效,因此我们建议将其作为未来模型开发人员的起点。我们还希望我们的研究和见解将提高人们对以稳健性为中心的评估的重要性的认识,除了获得高排行榜分数之外,还将带来更好的CQA系统。
2022-12-28 cs.AI cs.CL cs.LG
Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology
Cornell University(康奈尔大学);Denison University(丹尼森大学)
本文针对抽取式问答模型鲁棒性不足的问题,提出一种包含新颖损失函数并挑战数据集中隐含假设的训练方法,在保持域内性能的同时提升域外表现和对抗鲁棒性。
2024-09-29 cs.AI cs.CL
Token Constraint Decoding Improves Robustness on Question Answering for Large Language Models
Department of Computer Science and Information Engineering(计算机科学与信息工程系);National Taiwan University of Science and Technology(台湾科技大学);Bachelor’s Program in Computer Science(计算机科学学士班);University of London(伦敦大学)
针对 LLM 在选择题问答中易受轻微输入扰动影响的问题,提出推理时方法 TCD,通过约束 token 级预测对齐并结合 PE 修复,在多个基准上显著恢复噪声下性能。
2025-06-11 cs.AI cs.CL
Syntax-informed Question Answering with Heterogeneous Graph Transformer
National University of Singapore(新加坡国立大学)
大型神经语言模型正在为问答和其他自然语言和信息处理任务提供最先进的性能。这些模特的训练费用很高。我们建议评估这种预先训练的模型是否可以从添加明确的语言学信息中受益,而不需要从头开始重新训练。我们提出了一种基于语言学的问答方法,该方法扩展并微调了预训练的基于transformer的神经语言模型,该模型具有用异构图Transformer编码的符号知识。我们说明了这种方法,通过添加语法信息的形式依赖和选区图形结构连接令牌和虚拟顶点。一个比较实证的性能评估与BERT作为其基线和斯坦福大学的问答数据集证明了所提出的方法的竞争力。我们认为,在结论和初步实验的进一步结果,该方法是可扩展的进一步语言学信息,包括语义和语用。
2022-05-23 cs.AI cs.CL
LLM Robustness Against Misinformation in Biomedical Question Answering
Institute of Medical Microbiology(医学微生物学研究所);Virology, University Hospital Leipzig(莱比锡大学医院病毒学研究所);University Hospital Leipzig(莱比锡大学医院)
该研究评估了四款大语言模型在生物医学问答中针对错误信息的鲁棒性,测试了不同场景下的准确率及对抗攻击表现,发现RAG可缩小模型效果差距,且鲁棒性排名随评估指标变化。
2024-10-27 cs.AI cs.CL
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
AWS AI Labs(亚马逊人工智能实验室);Google(谷歌);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对RAG-QA跨领域评估不足的问题,构建了包含七个领域26K查询的长文本数据集LFRQA,并提出RAG-QA Arena评估平台,实验显示其与人类判断高度相关且极具挑战性。
2024-10-03 cs.AI cs.CL
Towards Building a Robust Knowledge Intensive Question Answering Model with Large Language Models
Zhejiang Lab(之江实验室);China Mobile, Hangzhou Research and Development Center(中国移动杭州研发中心)
针对检索信息噪声影响大语言模型问答鲁棒性的问题,构建多干扰场景数据集,提出数据增强微调结合对比学习的方法,经GPT-4评估可同时提升模型鲁棒性与信息判别能力。
2024-09-18 cs.AI cs.CL
Exploring the Robustness of Language Models for Tabular Question Answering via Attention Analysis
Rensselaer Polytechnic Institute(拉特盖尔理工学院);Microsoft(微软)
该研究通过注意力分析,探究上下文学习、模型规模等因素对LLMs表格问答鲁棒性的影响,发现指令微调及更大模型可提升鲁棒性,但存在数据污染问题,且注意力分散变化与性能下降相关,为改进表格理解LLMs提供方向。
2025-08-26 cs.AI cs.CL
ProSLM : A Prolog Synergized Language Model for explainable Domain Specific Knowledge Based Question Answering
University of California Santa Cruz(加州大学圣克鲁兹分校)
针对现有神经符号方法未用形式逻辑为大语言模型提供查询上下文、验证输出的问题,提出融合领域知识库、逻辑推理与LLM的ProSLM框架,可实现上下文收集与事实验证,开辟神经符号生成式AI文本验证与用户个性化新方向。
2024-09-17 cs.AI cs.CL
Robust Visual Question Answering: Datasets, Methods, and Future Challenges
Xi’an Jiaotong University(西安交通大学)
本文是首篇关于鲁棒视觉问答的全面综述,从分布内外视角梳理了数据集发展、评估指标,并提出类型学分析现有去偏方法及预训练模型的鲁棒性,最后指出了未来研究的关键方向。
2024-02-18 cs.AI cs.CV
Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models
Faculty of Informatics Masaryk University(马萨里克大学信息学院)
提出一种衡量问答模型对虚假特征依赖程度的方法,评估多种预训练模型和去偏方法在大量已知及新发现预测偏差上的鲁棒性,发现现有去偏方法的OOD性能提升不能归因于减轻偏差依赖,表明偏差在QA数据集间共享。
2024-02-06 cs.AI cs.CL
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology(佐治亚理工学院)
提出FRAMES-VQA基准,整合十个VQA数据集,分类ID与近/远OOD,评估鲁棒微调方法,量化多模态偏移,指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Beyond Accuracy: A Consolidated Tool for Visual Question Answering Benchmarking
University of Stuttgart(斯图加特大学)
在向能够回答任意问题的通用视觉问答(VQA)系统发展的过程中,需要对特定数据集的单一指标排行榜进行评估。为此,我们为研究人员和挑战组织者提出了一个基于浏览器的基准测试工具,该工具具有一个API,可以轻松集成新模型和数据集,以跟上快速变化的VQA环境。我们的工具可以帮助测试模型在多个数据集上的泛化能力,不仅评估准确性,还评估在更现实的真实世界场景中的性能,例如对输入噪声的鲁棒性。此外,我们还包括衡量偏差和不确定性的指标,以进一步解释模型行为。交互式过滤有助于发现有问题的行为,直到数据样本级别。作为概念证明,我们对四种模型进行了案例研究。我们发现,最先进的VQA模型针对特定任务或数据集进行了优化,但甚至无法推广到其他域内测试集,例如它们无法识别图像中的文本。我们的指标允许我们量化哪些图像和问题嵌入为模型提供了最强的鲁棒性。所有代码都是公开的。
2021-10-11 cs.AI cs.CV
Knowledge Base Question Answering: A Semantic Parsing Perspective
The Ohio State University(俄亥俄州立大学);Nanjing University(南京大学)
深度学习的最新进展极大地推动了语义解析的研究。此后,许多下游任务都得到了改进,包括Web API的自然语言接口、文本到SQL的生成等。然而,尽管与这些任务有着密切的联系,但基于知识库的问答(KBQA)的研究进展相对缓慢。我们确定并归因于KBQA的两个独特的挑战,模式级的复杂性和事实级的复杂性。在本调查中,我们将KBQA纳入到更广泛的语义解析文献中,并对现有的KBQA方法如何尝试解决独特的挑战进行了全面的介绍。无论独特的挑战,我们认为,我们仍然可以从语义解析的文献,这已被忽视的现有研究KBQA的启发。基于我们的讨论,我们可以更好地理解当前KBQA研究的瓶颈,并为KBQA跟上语义解析的文献,特别是在预训练语言模型的时代,有前途的方向。
2022-10-24 cs.AI cs.CL
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学);University of Science, Ho Chi Minh City(胡志明市理科大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Zalo Research Center(Zalo研究中心)
针对视觉问答中的可回答性预测,提出VT-Transformer模型,利用Transformer架构融合视觉与文本特征,在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Legal Question-Answering in the Indian Context: Efficacy, Challenges, and Potential of Modern AI Models
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Symbiosis Law School Pune(浦那共生法学院)
本研究比较了现代AI模型在印度法律问答中的效能,以GPT为基准,评估AILQA范式在刑事法律领域的表现,结合实证与专家见解,揭示其潜力与挑战。
2023-10-16 cs.AI cs.CL
EARL: Joint Entity and Relation Linking for Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
许多基于知识图谱的问答系统依赖于实体和关系链接组件,以便将自然语言输入连接到底层知识图谱。传统上,实体链接和关系链接被执行为相关的顺序任务或独立的并行任务。在本文中,我们提出了一个框架,称为EARL,它执行实体链接和关系链接作为一个联合任务。EARL实现了两种不同的解决方案的策略,我们提供了本文的比较分析:第一种策略是形式化的联合实体和关系链接任务的一个实例的广义旅行推销员问题(GTSP)。为了在计算上可行,我们采用近似的GTSP求解器。第二种策略使用机器学习以利用知识图谱中节点之间的连接密度。它依赖于三个基本特征和重新排序步骤来预测实体和关系。我们比较了这些策略,并在一个包含5000个问题的数据集上进行了评估。这两种策略显着优于目前国家的最先进的实体和关系链接的方法。
2018-06-25 cs.AI cs.CL
Location-Aware Pretraining for Medical Difference Visual Question Answering
Department of Electrical and Computer Engineering, Carnegie Mellon University, Kigali, Rwanda(电气与计算机工程系,卡内基梅隆大学,刚果(金)基利齐);University of Melbourne, Melbourne, Australia(墨尔本大学,墨尔本,澳大利亚)
本文提出一种面向位置的预训练框架,结合AREF、GCAP和CAREF任务,提升医学差异VQA中细粒度空间视觉表征能力,实现胸部X光图像中临床相关变化的准确识别与推理。
2026-04-22 cs.AI cs.CV
A Brain-inspired Memory Transformation based Differentiable Neural Computer for Reasoning-based Question Answering
受大脑记忆机制启发,提出MT-DNC模型,通过融合工作记忆与长期记忆并实现自主转换,显著提升了基于推理问答的性能、收敛速度与鲁棒性。
2024-12-20 cs.AI cs.CL
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore(新加坡国立大学)
本文提出COOL,一种用于自然语言处理的展望注意力机制,通过编码局部句法上下文提升变换器模型性能,在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China(电子科技大学)
视觉问答(VQA)是一项具有挑战性的任务,在计算机视觉和自然语言处理领域引起了越来越多的关注。但是,目前的视觉问答存在语言偏向的问题,降低了模型的鲁棒性,对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析,并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时,对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次,本文介绍了主要用于测试的数据集,并报告了各种现有方法的实验结果。最后,我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
ChatSOS: Vector Database Augmented Generative Question Answering Assistant in Safety Engineering
School of Mechatronic Engineering, Beijing Institute of Technology(北京理工大学机电学院)
针对基础大语言模型在安全工程应用中数据覆盖有限、响应不可靠的问题,本研究构建了基于爆炸事故报告的向量数据库并开发ChatSOS,显著提升了问答的可靠性、准确性等性能,为安全工程专业查询应用奠定基础。
2024-05-08 cs.AI cs.CL
LCV2: An Efficient Pretraining-Free Framework for Grounded Visual Question Answering
Xiamen University of Technology(厦门理工学院);Xiamen Key Laboratory of Frontier Electric Power Equipment and Intelligent Control(厦门市前沿电力装备与智能控制重点实验室)
本文提出LCV2,一种用于Grounded视觉问答的免预训练即插即用模块化框架,利用冻结LLM作为现成VQA与VG模型的中间媒介传递信息,在低资源下展现出稳健竞争力。
2024-03-23 cs.AI cs.CV
CLIFT: Analysing Natural Distribution Shift on Question Answering Models in Clinical Domain
Saama AI Research(萨马人工智能研究院)
本文提出临床领域问答任务的新测试平台CLIFT,包含7.5k样本,评估发现深度学习模型在新测试集上因分布偏移性能下降,强调需提升模型鲁棒性并采用相应评估指标。
2023-10-19 cs.AI cs.CL cs.CY
Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study
University of Cambridge(剑桥大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多跳问答是一个复杂的自然语言处理任务,需要多个推理步骤来找到给定问题的正确答案。以前的研究已经探索了使用基于图神经网络的模型来解决这一任务。已经提出了各种架构,包括关系图卷积网络(RGCN)。对于这些许多节点类型和它们之间的关系已经被引入,例如简单的实体同现,建模共引用,或通过中间实体从问题到答案的“推理路径”。然而,关于哪些关系、节点类型、嵌入和架构对这项任务最有益的深入分析仍然缺失。在本文中,我们探索了一些基于RGCN的多跳QA模型,图关系和节点嵌入,并实证探索每个对WikiHop数据集上的多跳QA性能的影响。
2022-10-13 cs.AI cs.CL cs.LG
Generative Visual Question Answering
针对现有VQA模型缺乏时间泛化能力的问题,本文提出基于stable diffusion生成的GenVQA增强数据集,测试7款模型在时间分布偏移下的表现并分析有效架构特征,为提升模型鲁棒性提供数据支撑。
2023-07-18 cs.AI cs.CV
DISCO: Document Intelligence Suite for COmparative Evaluation
Parexel AI Labs(Parexel人工智能实验室)
DISCO通过评估OCR流水线和视觉语言模型在不同文档类型上的表现,揭示了任务和文档特性对性能的影响,为选择文档处理策略提供依据。
2026-03-04 cs.AI cs.CL cs.CV
Multilingual State Space Models for Structured Question Answering in Indic Languages
Santa Clara University(圣克拉拉大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文首次将状态空间模型(SSMs)应用于印度语言问答任务,通过在多语言数据集上评估多种架构并优化框架,显著提升了低资源环境下的问答性能并建立了基础基准。
2025-10-31 cs.AI cs.CL
Robust Training for Conversational Question Answering Models with Reinforced Reformulation Generation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
提出框架REIGN,通过系统生成问题改写、利用深度强化学习筛选有益改写并支持零样本迁移,显著提升了基于知识图谱的对话式问答模型对表层形式变化的鲁棒性。
2024-02-16 cs.AI cs.CL cs.IR
YESciEval: Robust LLM-as-a-Judge for Scientific Question Answering
TIB Leibniz Information Centre for Science and Technology(蒂宾根科学与技术信息中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
本文提出开源框架YESciEval,结合细粒度评分标准评估与强化学习,缓解LLM评估者的乐观偏差,并发布多学科科学问答数据集,实现可扩展、零成本的鲁棒评估,支持AI对齐与科学探究。
2025-05-29 cs.AI cs.CL
Comparative Analysis of Retrieval Systems in the Real World
Writer Inc(Writer公司)
本文比较了多种结合大语言模型的现实世界检索系统,通过RobustQA指标评估其在问题改写下的准确性与效率,为系统选型与开发提供参考。
2024-05-03 cs.AI cs.IR
Noise-Aware Visual Representation Learning for Medical Visual Question Answering
Deakin University(德克萨斯大学)
提出一种噪声感知的医学视觉问答框架,通过去噪自编码器学习鲁棒的视觉表示,并利用低秩适配高效微调,在SLAKE和PathVQA基准上提升了抗噪性和性能。
2026-06-04 cs.AI cs.CV
A Comparative Study on Code Generation with Transformers
Tribhuvan University(特里布文大学);Thapathali Campus(塔帕塔利校区)
针对当前代码生成研究仅聚焦大语言模型、缺乏不同复杂度Transformer架构性能对比的问题,本文提出基于Transformer和NLP方法的C++代码生成模型,并通过比较研究评估不同架构复杂度的Transformer模型处理各类问题的鲁棒性。
2024-12-07 cs.AI cs.CL
MedLM: Exploring Language Models for Medical Question Answering Systems
UC San Diego(加州大学圣地亚哥分校)
本研究聚焦医疗问答场景下大语言模型性能未被充分探索的问题,通过对比通用与医疗专用蒸馏语言模型的表现,评估领域微调的有效性,为医疗领域大语言模型的适配应用提供参考。
2024-03-06 cs.AI cs.CL cs.LG
Writing your own book: A method for going from closed to open book QA to improve robustness and performance of smaller LLMs
Ingka (IKEA)(英格卡(宜家));KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出Tree-Search和Self-contextualizing QA两种方法,通过让LLM自主生成并评估上下文实现开卷问答,显著提升了较小模型的答案质量与鲁棒性。
2023-05-18 cs.AI cs.CL
Exploring Advanced Techniques for Visual Question Answering: A Comprehensive Comparison
Toronto Metropolitan University(多伦多都会大学);Yeates School of Graduate and Postdoctoral Studies(耶茨研究生及博士后学院)
本文分析了视觉问答(VQA)任务的数据集偏差与推理泛化等挑战,详细研究了原始VQA数据集及基线模型,并对ABC-CNN、KICNLE、Masked Vision and Language Modeling、BLIP-2和OFA五种先进模型应对这些挑战的不同方法进行了全面比较。
2025-03-04 cs.AI cs.CV cs.ET
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University(中央大学)
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题,提出无训练框架IterCOMP,经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge
Peking University(北京大学);Tencent Inc.(腾讯公司)
该研究构建RECALL基准,通过问答和文本生成任务评估大语言模型对抗外部反事实知识的鲁棒性,发现现有模型易受干扰且简单干预效果有限。
2023-11-14 cs.AI cs.CL
Large Language Models in Analyzing Crash Narratives -- A Comparative Study of ChatGPT, BARD and GPT-4
Iowa State University(爱荷华州立大学);South Dakota State University(南达科他州立大学)
本研究对比ChatGPT、BARD、GPT-4三款大语言模型在100份事故叙述的信息提取任务中的表现,发现简单问题相似度高、复杂问题差异大,建议采用多模型提取信息并谨慎获取关键安全数据。
2023-08-25 cs.AI cs.CL cs.IR
Coordinated Robustness Evaluation Framework for Vision-Language Models
Hewlett Packard Enterprise (Hewlett Packard Labs)(惠普企业公司(惠普实验室))
本文提出协同对抗攻击框架,通过通用代理模型生成图像与文本联合扰动,以评估视觉-语言模型的跨模态鲁棒性,并在 VQA 等任务上验证其优于现有攻击。
2025-06-05 cs.AI cs.CL cs.CV
ExplanationLP: Abductive Reasoning for Explainable Science Question Answering
University of Manchester(曼彻斯特大学);Department of Computer Science(计算机科学系)
我们提出了一种新的方法来回答和解释多项选择科学问题的推理接地和抽象推理链。本文将问答问题归结为一个溯因推理问题,为每个选择构建合理的解释,然后选择具有最佳解释的候选者作为最终答案。我们的系统,elementation LP,elementary解释,通过构建一个加权图的相关事实为每个候选答案,并提取满足一定的结构和语义约束的事实。为了提取解释,我们采用了线性规划形式主义,旨在选择最佳的子图。图的加权函数由一组参数组成,我们可以微调这些参数以优化答案选择性能。我们在WorldTree和ARC-Challenge语料库上进行实验,以实证证明以下结论:(1)接地抽象推理链提供语义控制,以执行可解释的溯因推理(2)通过在类似设置中优于当代可解释和基于变换器的方法,以较少数量的参数进行学习的效率和鲁棒性(3)通过在一般科学问题集上优于SOTA可解释方法来实现普遍性。
2020-10-25 cs.AI cs.CL cs.IR
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University(阳明大学)
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性,并引入外部知识缓解方法提升模型鲁棒性,在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition
Amazon AI(亚马逊人工智能);Facebook AI(脸书人工智能);National Taiwan University(台湾大学)
最近,预训练语言模型的基于提示的学习已经成功地在Few-Shot命名实体识别(NER)中通过利用提示作为任务指导来提高标签效率。然而,以前的基于小波变换的Few-Shot NER方法存在计算复杂性高、zero-shot能力差、需要人工提示工程或缺乏提示鲁棒性等局限性。在这项工作中,我们提出了一个新的基于学习的NER方法与问答(QA),称为QaNER解决这些缺点。我们的方法包括:1)一个改进的策略,将NER问题转化为QA公式; 2)NER提示QA模型的生成; 3)在几个注释NER示例上使用QA模型进行基于正则化的调优; 4)通过提示QA模型实现zero-shot NER。与以前的方法相比,QaNER的推理速度更快,对即时质量不敏感,对超参数具有鲁棒性,并且表现出更好的低资源性能和zero-shot能力。
2022-03-04 cs.AI cs.CL cs.LG
Visual Question Answering using Deep Learning: A Survey and Performance Analysis
Indian Institute of Information Technology(印度信息技术学院)
视觉问答(VQA)任务将处理数据的挑战与视觉和语言处理相结合,以回答有关给定图像的基本“常识”问题。给定图像和自然语言中的问题,VQA系统尝试使用图像的视觉元素和从文本问题收集的推断来找到其正确答案。在本次调查中,我们涵盖并讨论了VQA领域最近发布的数据集,这些数据集涉及各种类型的问题格式和机器学习模型的鲁棒性。接下来,我们将讨论新的深度学习模型,这些模型在VQA数据集上显示出有希望的结果。最后,我们给出并讨论了我们在vanilla VQA模型,Stacked Attention Network和VQA Challenge 2017获奖模型上计算的一些结果。我们还提供了详细的分析以及面临的挑战和未来的研究方向。
2020-12-23 cs.AI cs.CL cs.CV
A Comparative Study of Adversarial Robustness in CNN and CNN-ANFIS Architectures
College of Engineering and Applied Science, University of Cincinnati(工程与应用科学学院,辛辛那提大学)
本文比较了CNN与CNN-ANFIS架构在对抗鲁棒性上的表现,发现ANFIS增强在特定架构中提升鲁棒性,但并非普遍有效。
2026-02-02 cs.AI cs.CV
Comparative Study Of Data Mining Query Languages
LARODEC Laboratory – Institut Supérieur de Gestion de Tunis(突尼斯高等管理学院LARODEC实验室)
自归纳数据库问题提出以来,人们提出了几种数据采掘语言,证实了通过归纳查询应答可以支持KDD过程。本文综述了现有的DM语言。我们提出了DM语言的重要原语,并根据原语的满意度对我们的语言进行分类。此外,我们介绍了语言的语法,并尝试将每一个应用到一个数据库样本,以测试一组KDD操作。这项研究使我们能够突出语言的能力和限制,这对未来的工作和观点非常有用。
2017-01-27 cs.AI cs.DB
Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study
Helmut Schmidt University(赫尔穆特·施密特大学)
本研究针对深度学习模型在信息物理系统(CPS)中应用的鲁棒性不足问题,以模拟三容水箱系统为新基准,测试了多种DL架构对扰动、分布外样本及数据增强的响应,发现特定架构与训练技术表现更优,为现实CPS的可靠DL模型开发提供参考。
2023-06-13 cs.AI cs.LG
Comparative Analysis of Liquid Neural Networks and LSTM for Sequential Pattern Recognition: Robustness, Efficiency, and Clinical Utility
National Electronics and Computer Technology Center (NECTEC)(国家电子与计算机技术中心);Language Understanding Lab.(语言理解实验室)
本文通过对比液态神经网络(LNN)与LSTM在四种序列数据上的性能,发现LNN在参数效率和鲁棒性方面更优,尤其适用于数据稀疏的临床环境。
2026-05-26 cs.AI cs.CV cs.LG
Robustness of Reinforcement Learning-Based Traffic Signal Control under Incidents: A Comparative Study
本研究提出开源仿真框架T-REX,构建鲁棒性度量体系,对比评估多种前沿RL-TSC方法在事故场景下的性能,发现分层协调方法鲁棒性更优但收敛慢、复杂度高,为RL-TSC的鲁棒性研究提供了标准化基准平台。
2025-06-16 cs.AI cs.LG
Generalizable Neuro-symbolic Systems for Commonsense Question Answering
Bosch Research(博世研究院);Carnegie Mellon University(卡内基梅隆大学);Information Sciences Institute, Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院信息科学研究所);Michigan State University(密歇根州立大学)
本章说明了如何合适的语言理解的神经符号模型可以使域的概括性和鲁棒性的下游任务。讨论了集成神经语言模型和知识图谱的不同方法。这种组合是最合适的情况下的特点,包括定量评价和定性错误分析的各种常识问答基准数据集。
2022-01-17 cs.AI cs.CL