Adversarial TableQA: Attention Supervision for Question Answering on Tables
Yonsei University（延世大学）；University of Edinburgh（爱丁堡大学）；NCSOFT（NCSoft公司）
由于社区在构建有用数据集方面的努力，回答给定文本段落的问题的任务在模型性能上取得了很大的发展。最近，有人怀疑这种快速进步是否建立在真正理解语言的基础上。在表问答（TableQA）任务中没有提出相同的问题，我们的任务是回答给定表的查询。我们表明，现有的努力，使用“答案”的评价和监督TableQA，表现出恶化的性能在对抗性设置的扰动，不影响答案。这种洞察力自然会促使开发更精确地理解问题和表格的新模型。为了实现这个目标，我们提出了Neural Operator（NeOp），这是一个具有注意力监督的多层顺序网络，用于回答给定表格的查询。NeOp使用多个选择性递归单元（SelRU）来进一步帮助模型答案的可解释性。实验表明，使用操作数信息来训练模型显著提高了TableQA模型的性能和可解释性。NeOp的性能远远优于以前的所有型号。
2018-10-19 cs.CL
Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering
近年来，在具有挑战性的多跳QA任务方面取得了令人印象深刻的进展。然而，这些QA模型可能会失败时，面对一些干扰的输入文本和他们的可解释性进行多跳推理仍然不确定。以往的对抗攻击通常对整个问句进行编辑，这对于测试基于实体的多跳推理能力效果有限。提出了一种基于多跳推理链的对抗攻击方法。我们制定的多跳推理链从查询实体的答案实体在构造的图，这使我们能够对齐的问题，每个推理跳，从而攻击任何一跳。我们将问题分类为不同的推理类型，并对抗性地修改与所选推理跳相对应的问题的一部分，以生成分散注意力的句子。我们在HotpotQA数据集上的三个QA模型上测试了我们的对抗方案。实验结果表明，基于推理链的多跳推理模型攻击方法在回答和支持事实预测上都有明显的性能下降，验证了该方法对多跳推理模型攻击的有效性及其脆弱性.我们的对抗性重新训练进一步提高了这些模型的性能和鲁棒性。
2021-12-17 cs.CL
Programming Language Agnostic Mining of Code and Language Pairs with Sequence Labeling Based Question Answering
University of California, Berkeley（加州大学伯克利分校）；Tencent Cloud（腾讯云）；Tsinghua University（清华大学）
挖掘对齐的自然语言和程序设计语言对是理解自然语言-程序设计语言对的一个关键任务。现有的方法应用专门的手工制作的功能或单独训练的模型，为每个PL。然而，它们通常遭受跨多个PL的低可转移性，特别是对于具有较少注释数据的利基PL。幸运的是，Stack Overflow回答帖子本质上是一系列文本和代码块，其全局文本上下文可以提供PL不可知的补充信息。在本文中，我们提出了一个基于序列标记的问答（SLQA）方法，以PL不可知的方式挖掘NL-PL对。特别是，我们建议应用BIO标记方案而不是传统的二进制方案来挖掘通常由多个帖子块组成的代码解决方案。在现有的单PL单块基准测试和人工标记的跨PL多块基准测试上的实验证明了SLQA的有效性和可移植性。我们进一步提出了一个并行的NL-PL语料库命名为Lang 2Code自动挖掘SLQA，其中包含约1.4M对6 PL。在统计分析和下游评估下，我们证明Lang 2Code是进一步NL-PL研究的大规模高质量数据资源。
2022-03-21 cs.CL cs.PL
FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering
University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）
广泛使用的基于事实的视觉问答（FVQA）数据集包含视觉上接地的问题，这些问题需要使用常识知识图谱进行信息检索来回答。已经观察到，原始数据集是高度不平衡的，并且集中在其相关联的知识图谱的一小部分上。我们引入了FVQA 2.0，其中包含测试问题的对抗变体，以解决这种不平衡。我们表明，与原始FVQA训练集训练的系统可能容易受到对抗性样本，我们展示了一个增强方案，以减少这种脆弱性，没有人的注释。
2023-03-19 cs.CL cs.CV
Prompting-based Synthetic Data Generation for Few-Shot Question Answering
University of Stuttgart（斯图加特大学）；IBM Research Zurich（IBM苏黎世研究院）
针对少样本问答数据标注成本高、领域适配性差的问题，提出利用Prompting框架基于大语言模型生成合成数据，验证其任务无关知识可超越预训练/微调范式，在多数据集少样本问答上性能优于现有最优方法。
2024-05-15 cs.CL
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
尽管最近取得了进展，但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集，其中人类注释者试图编写欺骗模型在环的示例，可以提高模型的鲁棒性，但这个过程是昂贵的，这限制了收集数据的规模。在这项工作中，我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道，选择源段落，识别候选答案，生成问题，然后最终过滤或重新标记它们以提高质量。使用这种方法，我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据，我们将AdversarialQA数据集的最新技术水平提高了3.7F1，并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估，以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性：crowdworker平均只能欺骗我们的模型8.8%的时间，而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
From text to multimodal: a survey of adversarial example generation in question answering systems
Yildiz Technical University（耶尔德兹理工大学）；Kadir Has University（卡迪尔·哈斯大学）
本文系统综述文本与多模态问答系统中的对抗样本生成技术，分类梳理扰动、生成模型、防御、数据集与评估指标，并指出未来研究方向。
2024-08-09 cs.AI cs.CL
Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究通过多级错误分析和实体感知对比学习，提升对抗性问答的鲁棒性，实现干净与对抗性数据性能的近似相等。
2026-01-06 cs.AI cs.CL
longhorns at DADC 2022: How many linguists does it take to fool a Question Answering model? A systematic approach to adversarial attacks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
开发对抗性挑战NLP系统的方法是提高模型性能和可解释性的一个有前途的途径。在这里，我们描述了团队“longhorns”在第一次动态对抗数据汇集研讨会（DADC）任务1上的方法，该研讨会要求团队在提取问答任务上手动欺骗模型。我们的团队以62%的模型出错率获得第一名。我们提倡一种系统的，语言上知情的方法来制定对抗性问题，我们描述了我们的试点实验的结果，以及我们的正式提交。
2022-06-29 cs.AI cs.CL cs.HC
On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
在对抗性数据汇集（ADC）中，人类劳动力与模型进行实时的交互，试图产生导致错误预测的示例。研究人员希望，在这些更具挑战性的数据集上训练的模型将更少地依赖于表面模式，从而不那么脆弱。然而，尽管ADC具有直观的吸引力，但在对抗性数据集上进行训练何时会产生更强大的模型仍不清楚。在本文中，我们进行了一项大规模的对照研究，重点是问答，随机分配工人组成的问题（i）对抗（在循环中的模型）;或（ii）在标准的方式（没有模型）。在各种模型和数据集中，我们发现在对抗数据上训练的模型通常在其他对抗数据集上表现更好，但在不同的域外评估集上表现更差。最后，我们对对抗性（与标准）数据进行了定性分析，确定了关键差异，并为未来的研究提供了指导。
2021-06-02 cs.AI cs.CL cs.LG
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，问答技术在性能上取得了显著的进步，一些问答模型的性能甚至超过了人工。然而，这些模型在真正理解语言方面的能力仍然值得怀疑，并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力，提出了一种基于语义和上下文约束的表示增强（ESC）方法来提高词汇嵌入的鲁棒性。具体来说，我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失，以更好地区分上下文线索的正确答案。实验结果表明，该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Never Lost in the Middle: Mastering Long-Context Question Answering with Position-Agnostic Decompositional Training
International Digital Economy Academy（国际数字经济学院）
针对大语言模型长上下文问答的“迷失在中间”问题，提出注意力强化多文档问答任务的位置无关分解训练方法，显著提升多基准测试性能，发布Ziya-Reader模型助力相关研究。
2024-08-13 cs.AI cs.CL
Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）
本文提出QA-Attack词级对抗策略，利用定制注意力机制和删除排序策略替换同义词，在保持语法完整性的同时成功欺骗问答模型，并在多项指标上超越现有对抗技术。
2024-11-12 cs.AI cs.CL cs.LG
Technical report on Conversational Question Answering
ZhuiYi Technology（追一科技）
会话问答是一项具有挑战性的任务，因为它需要了解会话历史。在这个项目中，我们提出了一个新的系统RoBERTa + AT +KD，它涉及理性标记多任务，对抗训练，知识蒸馏和语言后处理策略。在没有数据增强的情况下，我们的单一模型在CoQA测试集上达到90.4（F1），比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications（利斯特·希尔国家生物医学交流中心）；U.S. National Library of Medicine（美国国家医学图书馆）
在本文中，我们提出了OSCAR（基于本体的语义组合增强正则化），一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响，通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域（医疗保健）知识的问答任务的微调性能，与没有OSCAR的预训练BERT相比，准确率提高了33：3%，18：6%和4%，并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Efficient and Robust Question Answering from Minimal Context over Documents
Seoul National University（首尔国立大学）；Salesforce Research（Salesforce研究院）
用于基于文档的问答（QA）的神经模型已经取得了显着的性能改进。虽然有效，但这些模型不能扩展到大型语料库，因为它们对文档和问题之间的交互进行了复杂的建模。此外，最近的研究表明，这种模型对对抗性输入很敏感。在本文中，我们研究了回答问题所需的最小上下文，并发现现有数据集中的大多数问题都可以用一小部分句子来回答。受此观察的启发，我们提出了一个简单的句子选择器来选择最小的句子集来输入QA模型。我们的整个系统实现了训练（最多15倍）和推理时间（最多13倍）的显著减少，准确性与SQuAD，NewsQA，TriviaQA和SQuAD-Open的最新技术相当或更好。此外，我们的实验结果和分析表明，我们的方法是更强大的对抗性输入。
2018-05-21 cs.CL
Contextual Breach: Assessing the Robustness of Transformer-based QA Models
Rochester Institute of Technology（罗切斯特技术研究所）；Islamic University of Technology（伊斯兰技术大学）
针对上下文问答模型易受对抗性扰动的问题，本文构建含七种不同类型、五个强度水平对抗性噪声的SQuAD数据集，用标准化鲁棒性指标评估基于Transformer的问答模型，揭示其鲁棒性漏洞及真实场景下的性能见解。
2025-11-14 cs.CL
Secret-Keeping in Question Answering
University of Maryland（马里兰大学）
现有的问题回答研究集中在无法回答的问题，总是提供一个答案时，系统可以\dots，但如何的情况下，系统{ \bf不应该}回答一个问题。这可能是为了保护敏感用户或敏感信息。许多模型在敌对用户的询问下暴露敏感信息。我们试图确定是否有可能教一个问答系统保持一个特定的事实秘密。我们设计并实现了一个概念验证架构，并通过我们的评估确定，虽然可能，但未来的研究有许多方向，以减少系统偏执（误报），信息泄漏（漏报），并将工作的实施扩展到更复杂的问题，在信息聚合的情况下保持保密性。
2023-03-16 cs.CL
A novel interface for adversarial trivia question-writing
Montgomery Blair High School（蒙哥马利布莱尔高中）；University of Maryland（马里兰大学）
本文提出一种面向Quiz Bowl的对抗性问答题目编写界面，结合机器学习工具辅助人类出题，为QANTA项目收集训练数据并验证了对抗性数据收集的可行性。
2024-03-12 cs.CL cs.HC
Asymptotic Risk Calibration for Selective Question Answering
Zhangjiang University（张江大学）；Ibaraki University（茨城大学）
针对LLMs问答的不确定性控制缺陷，提出A-CRC-QA事后校准框架，在两类问答数据集上实现了接受答案可靠性与保留率的良好权衡。
2026-08-13 cs.CL
SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
Nanyang Technological University（南洋理工大学）；NYU Shanghai（上海纽约大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Center for Data Science, New York University（纽约大学数据科学中心）
本文提出 SynTQA 协同式表格问答方法，通过答案选择集成 Text-to-SQL 与端到端问答模型，实验表明可显著提升表格问答性能。
2024-09-29 cs.CL
TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack
The University of Sydney（悉尼大学）；University of Washington（华盛顿大学）；University of Liverpool（利物浦大学）；University of Maryland（马里兰大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；JD Explore Academy（京东探索研究院）
我们提出了Twin Answer Sentences Attack（TASA），这是一种针对问答（QA）模型的对抗攻击方法，可以在保持黄金答案的同时产生流畅和语法对抗上下文。尽管在一般的对抗攻击方面取得了显著的进展，但很少有研究专门针对QA模型的漏洞和攻击。在这项工作中，我们首先探讨了现有模型中的偏见，发现它们主要依赖于问题和上下文之间的关键字匹配，而忽略了答案预测的相关上下文关系。基于上述两个偏差，TASA从两个方面攻击目标模型：（1）用一个受干扰的答案句子降低模型对黄金答案的信心;（2）用一个分散注意力的答案句子误导模型走向错误的答案。TASA配备了设计的束搜索和过滤方法，可以生成比现有的文本攻击方法更有效的攻击，同时保持上下文的质量，在五个QA数据集和人类评估的广泛实验。
2022-10-27 cs.AI cs.CL
SRQA: Synthetic Reader for Factoid Question Answering
Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong（香港城市大学）
问答系统可以用深度神经网络回答来自各个领域和形式的问题，但在面对多个证据时仍然缺乏有效的途径。我们引入了一个新的模型称为SRQA，这意味着合成阅读器的模拟问答。该模型从模型结构、优化目标和训练方法三个方面对多文档场景下的问答系统进行了改进，分别对应多层注意（MA）、交叉证据（CE）和对抗训练（AT）。首先，我们提出了一个多层注意力网络，以获得更好的代表性的证据。多层注意力机制在每一层内进行问题与段落之间的交互，使得每一层证据的表征都考虑到问题的需求。其次，我们设计了一个交叉证据策略，在更多的证据中选择答案跨度。改进了优化目标，将所有答案在多个证据中的位置作为训练目标，使模型能够在多个证据之间进行推理。第三，在我们的模型中，除了词嵌入之外，还对高级变量进行了对抗性训练。还提出了一种新的归一化方法对抗扰动，使我们可以共同添加扰动到几个目标变量。作为一种有效的正则化方法，对抗训练增强了模型处理噪声数据的能力。结合这三种策略，我们提高了模型的上下文表示和定位能力，可以从多个证据中综合提取答案跨度。我们在WebQA数据集上进行了SRQA，实验表明，我们的模型优于最先进的模型（我们的模型的最佳模糊分数高达78.56%，提高了约2%）。
2020-09-02 cs.CL cs.LG
Task-Agnostic Detector for Insertion-Based Backdoor Attacks
Stony Brook University（石溪大学）；SRI International（SRI国际）；Morgan Stanley（摩根士丹利）
针对现有文本后门检测方法任务特异性强、难以应对问答和命名实体识别等任务的问题，提出任务无关的检测方法TABDet，利用最终层logits结合高效池化技术实现统一表示，并联合学习多样任务特定模型，检测效能优于传统方法。
2024-03-25 cs.CL cs.CR
Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology
Cornell University（康奈尔大学）；Denison University（丹尼森大学）
本文针对抽取式问答模型鲁棒性不足的问题，提出一种包含新颖损失函数并挑战数据集中隐含假设的训练方法，在保持域内性能的同时提升域外表现和对抗鲁棒性。
2024-09-29 cs.AI cs.CL
XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation
Microsoft Research（微软研究院）
虽然深度和大型的预训练模型是各种自然语言处理任务的最新技术，但它们的巨大规模对资源受限环境中的实际使用提出了重大挑战。最近的工作在知识蒸馏提出任务不可知的以及特定于任务的方法来压缩这些模型，与特定于任务的往往会产生更高的压缩率。在这项工作中，我们开发了一个新的任务不可知的蒸馏框架XtremeDistilTransformers，利用特定于任务的方法来学习一个小型的通用模型，可以应用于任意任务和语言的优势。为此，我们研究了几个源任务的可移植性，增强资源和模型架构的蒸馏。我们评估了我们的模型在多个任务上的性能，包括通用语言理解评估（GLUE）基准，SQuAD问答数据集和包含41种语言的大规模多语言NER数据集。我们发布了三个与任务无关的检查点，分别为13MM，22MM和33MM参数，在多个任务中获得SOTA性能。
2021-06-12 cs.AI cs.CL cs.LG
Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research, Montréal（微软蒙特利尔研究院）；Google AI, Mountain View（谷歌山景城人工智能部门）
本文介绍了一种新的开放域问答框架，其中检索者和读者迭代地相互交互。该框架对机器阅读模型的架构是不可知的，只需要访问阅读器的标记级隐藏表示。检索器使用快速最近邻搜索来扩展到包含数百万段落的语料库。门控递归单元在每一步以读者的状态为条件更新查询，并且检索器使用重构后的查询来对段落进行重新排序。我们进行分析，并表明，迭代交互有助于检索信息段落从语料库。最后，我们表明，我们的多步推理框架带来了一致的改善时，应用到两个广泛使用的阅读器架构DrQA和Bioburden在各种大型开放域数据集-TriviaQA未过滤，QuasarT，SearchQA，SQuAD开放。
2019-05-14 cs.CL cs.LG
Uncertainty-aware Language Modeling for Selective Question Answering
Themis AI Inc（泰米斯人工智能公司）
提出一种自动、与模型和数据无关的LLM转换方法，使模型能在每次预测时估计不确定性，并在选择性问答任务中通过弃权（不执行）机制显著提升准确率。
2023-11-26 cs.CL cs.LG
Enhancing the QA Model through a Multi-domain Debiasing Framework
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出多领域去偏框架，通过知识蒸馏和领域扩展技术，有效缓解问答模型中的偏见问题，提升其在对抗性环境下的性能和可靠性。
2026-01-01 cs.AI cs.CL
ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search
Beihang University（北京航空航天大学）；Sino-French Engineer School, Beihang University（北京航空航天大学中法工程师学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
本文提出大规模社区编程问答数据集ProCQA，并设计模态无关对比预训练方法改进文本与代码表示对齐，在多项代码检索基准上显著超越以往模型。
2024-03-25 cs.CL cs.IR cs.SE
Adversarial Examples for Evaluating Reading Comprehension Systems
Stanford University（斯坦福大学）
标准的准确性指标表明，阅读理解系统正在取得快速进展，但这些系统真正理解语言的程度仍不清楚。为了奖励具有真正语言理解能力的系统，我们提出了一种针对斯坦福问答数据集（SQuAD）的对抗性评估方案。我们的方法测试系统是否可以回答有关包含对立插入句子的段落的问题，这些句子是自动生成的，以分散计算机系统的注意力，而不会改变正确答案或误导人类。在这种对抗性设置中，16个已发布模型的准确度从平均$75\%$ F1分数下降到$36\%$ ;当允许对手添加不符合语法的单词序列时，4个模型的平均准确度进一步下降到$7\%$。我们希望我们的见解将推动开发更精确地理解语言的新模型。
2017-07-23 cs.CL cs.LG
PQuAD: A Persian Question Answering Dataset
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工学院））
我们提出了波斯语问答数据集（PQuAD），波斯语维基百科文章的众包阅读理解数据集。它包括80，000个问题及其答案，其中25%的问题无法回答。我们检查数据集的各种属性，以显示其作为MRC基准的多样性和难度水平。通过发布此数据集，我们的目标是简化对波斯语阅读理解的研究和波斯语问答系统的开发。我们在不同的最先进的预训练上下文化语言模型上的实验显示了74.8%的精确匹配（EM）和87.6%的F1分数，可以用作进一步研究波斯语QA的基线结果。
2022-02-13 cs.CL cs.IR cs.LG
QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization
National Taiwan University（台湾大学）
标准的准确性度量表明，现代阅读理解系统在许多问答数据集中取得了很好的性能。然而，这些系统真正理解语言的程度仍然是未知的，现有的系统并不擅长区分分心句子，这些句子看起来相关，但实际上并没有回答问题。为了解决这个问题，我们提出QAInfomax作为一个正规化在阅读理解系统中，通过最大限度地提高互信息之间的段落，一个问题，它的答案。QAInfomax帮助规范模型，而不是简单地学习回答问题的表面相关性。实验表明，我们提出的QAInfomax实现了最先进的性能基准的Adversarial-SQuAD数据集。
2019-08-31 cs.AI cs.CL cs.LG
Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
词义消歧是英语翻译中常见的翻译错误之一。我们认为，一些不正确的消歧选择是由于模型过度依赖训练数据中的数据集工件，特别是表面的单词共现，而不是对源文本的更深入理解。我们介绍了一种基于统计数据属性的预测消歧错误的方法，证明了它在多个领域和模型类型中的有效性。此外，我们开发了一个简单的对抗攻击策略，最小限度地干扰句子，以引起消歧错误，以进一步探讨翻译模型的鲁棒性。我们的研究结果表明，消歧鲁棒性在不同领域之间存在很大差异，并且在相同数据上训练的不同模型容易受到不同的攻击。
2020-11-03 cs.CL
Cats Confuse Reasoning LLM: Query Agnostic Adversarial Triggers for Reasoning Models
Collinear AI；ServiceNow；Stanford University（斯坦福大学）
本文提出CatAttack攻击流程，通过在代理模型上生成查询无关的对抗性触发器并迁移到DeepSeek R1等推理模型，使错误答案概率提升超300%，揭示了先进推理模型的安全脆弱性。
2025-07-21 cs.CL
Human-Adversarial Visual Question Answering
Facebook AI Research（脸书人工智能研究院）；Tecnológico de Monterrey（蒙特雷理工学院）
最常用的可视化问答数据集（VQA v2）的性能开始接近人类的准确性。然而，在与最先进的VQA模型交互时，很明显问题远未得到解决。为了对VQA模型进行压力测试，我们将其与人类对抗性示例进行基准测试。人类受试者与最先进的VQA模型进行交互，并针对数据集中的每个图像，尝试找到模型预测答案不正确的问题。我们发现，广泛的国家的最先进的模型在这些例子进行评估时表现不佳。我们对收集到的对抗性例子进行了广泛的分析，并为未来的研究方向提供了指导。我们希望这个对抗性VQA（AdVQA）基准测试可以帮助推动该领域的进步，并推动最新技术的发展。
2021-06-04 cs.CL cs.CV
Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages
University of Southern California（南加州大学）；University of California Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
跨语言迁移学习已经成为解决低资源语言注释资源不足问题的重要武器。跨语言传输的基本技术之一是学习\emph{language-agnostic}表示，其形式为词嵌入或上下文编码。在这项工作中，我们建议利用辅助语言中未注释的句子来帮助学习与语言无关的表示。具体来说，我们探索了学习上下文编码器的对抗性训练，这些编码器产生跨语言的不变表示，以促进跨语言迁移。我们进行跨语言依存句法分析，我们训练依赖分析器上的源语言和转移到广泛的目标语言的实验。在28种目标语言上的实验表明，对抗性训练显著提高了几种不同设置下的整体迁移性能。我们进行了仔细的分析，以评估对抗训练产生的语言不可知论表示。
2019-09-20 cs.CL
CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系）；Suzanne Dworak-Peck School of Social Work, University of Southern California（南加州大学苏兹安·德沃拉克-佩克社会工作学院）；Department of Psychiatry and the Behavioral Sciences, University of Southern California（南加州大学精神病学与行为科学系）；Annenberg School for Communication, University of Southern California（南加州大学安纳伯格通信学院）
CounselBench通过100名心理健康专家评估GPT-4、LLaMA 3等模型在真实求助场景中的表现，揭示其在临床敏感性和安全风险方面的不足，并通过对抗性数据集深入分析模型失败模式。
2026-05-14 cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart（斯图加特大学）；Google AI（谷歌人工智能）
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而，目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此，我们在两个任务上进行了不同类型的对抗训练：依存句法分析和句子压缩。我们表明，与传统训练的基线相比，对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University（阳明大学）
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性，并引入外部知识缓解方法提升模型鲁棒性，在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
Adversarial Regularization for Visual Question Answering: Strengths, Shortcomings, and Side Effects
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
视觉问答（VQA）模型已经被证明过度依赖于VQA数据集中的语言偏见，在不考虑视觉上下文的情况下“盲目”回答问题。对抗正则化（AdvReg）旨在通过一个对抗子网络来解决这个问题，该子网络鼓励主模型学习问题的无偏差表示。在这项工作中，我们研究了AdvReg的优点和缺点，目的是更好地理解它如何影响VQA模型中的推理。尽管在VQA-CP上实现了新的最先进技术，但我们发现AdvReg会产生一些不期望的副作用，包括不稳定的梯度和域内示例的性能急剧下降。我们证明，在训练过程中逐步引入正则化有助于缓解，但不能完全解决这些问题。通过错误分析，我们观察到AdvReg提高了对二进制问题的泛化能力，但削弱了具有异构答案分布的问题的性能。定性地，我们还发现正则化模型倾向于过度依赖视觉特征，而忽略了问题中重要的语言线索。我们的研究结果表明，AdvReg需要进一步完善，才能被认为是一个可行的偏差缓解技术VQA。
2019-06-20 cs.CL cs.CV cs.LG
An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Chicago（芝加哥大学）
现有的自然语言推理（NLI）去偏工作主要针对一个或几个已知的偏置，而不一定使模型更鲁棒。在本文中，我们专注于模型无关的去偏策略，并探讨如何（或是否可能）使NLI模型对多种不同的对抗攻击具有鲁棒性，同时保持甚至加强模型的泛化能力。我们首先对流行的神经NLI模型进行基准测试，包括在各种对抗数据集上进行预训练的模型。然后，我们试图通过修改混合专家模型（MoE）集成方法，以打击不同的已知偏见，并表明它是不平凡的，以减轻多个NLI偏见在同一时间，模型级集成方法优于MoE集成方法。我们还进行了数据增强，包括文本交换，单词替换和释义，并证明了其在打击各种（虽然不是所有）对抗攻击的效率在同一时间。最后，我们研究了几种方法来合并异构训练数据（1.35 M）和执行模型集成，这是直接的，但有效地加强NLI模型。
2020-10-17 cs.AI cs.CL
Learning not to Discriminate: Task Agnostic Learning for Improving Monolingual and Code-switched Speech Recognition
Microsoft Research India（微软印度研究院）；Microsoft Corporation（微软公司）
由于各种原因，包括缺乏代码转换训练数据，识别代码转换语音对于自动语音识别（ASR）是具有挑战性的。最近，我们发现，单语ASR系统微调的代码切换数据恶化的单语语音识别，这是不可取的，因为部署在多语言场景中的ASR系统应识别单语和代码切换语音具有高精度的性能。我们的实验表明，这种性能损失可以通过使用某些策略进行微调和正则化来减轻，从而改善单语和代码切换ASR。在这项工作中，我们提出了进一步的改进，我们以前的工作，通过使用领域对抗学习训练任务不可知模型。我们评估了一个对抗性神经网络的分类精度，并表明它可以学习与任务无关的共享层参数。我们训练端到端ASR系统，从使用单语和代码交换数据以及对抗性会话的池化模型开始。我们提出的技术导致减少字错误率（WER）在单语和代码切换测试集在三种语言对。
2020-06-09 cs.CL cs.SD eess.AS
CODAH: An Adversarially Authored Question-Answer Dataset for Common Sense
Northwestern University（西北大学）
常识推理是一种关键的人工智能能力，但很难构建具有挑战性的测试常识的数据集。最近的神经问答系统，基于大型的预先训练的语言模型，已经达到了接近人类水平的表现常识知识的基准。这些系统不具备人类水平的常识，但能够利用数据集的局限性来实现人类水平的分数。我们介绍CODAH数据集，这是一个用于测试常识的逆向构建的评估数据集。CODAH形成了对最近提出的SWAG数据集的一个具有挑战性的扩展，该数据集使用描述视频中观察到的情况的重复完成问题来测试常识知识。为了产生更困难的数据集，我们引入了一种新的问题获取程序，其中工作人员针对最先进的神经问答系统的弱点编写问题。如果模型在微调之前和之后都没有正确回答，工作人员会得到奖励（在交叉验证中）。我们通过这个过程创建了2.8k个问题，并在我们的数据集上评估了多个最先进的问答系统的性能。我们观察到人类表现（95.3%）与BERT-Large模型的最佳基线准确度（67.5%）之间存在显著差距。
2019-07-26 cs.CL cs.LG
Cyberbullying Classifiers are Sensitive to Model-Agnostic Perturbations
Tilburg University（蒂尔堡大学）；University of Antwerp（安特卫普大学）；Explosion（Explosion公司）
有限数量的研究调查了模型不可知的对抗行为在有毒物质分类中的作用。由于毒性分类器主要依赖于词汇线索，（故意）创造性和不断发展的语言使用可能会损害当前语料库和最先进模型的实用性，当它们被部署用于内容审核时。可用的训练数据越少，模型可能变得越脆弱。据我们所知，这项研究是第一个调查对抗行为和增强对网络欺凌检测的影响。我们证明，模型无关的词汇替换显着损害分类器的性能。此外，当这些扰动样本用于增强时，我们表明模型在整体任务性能略有权衡的情况下对字级扰动具有鲁棒性。在先前的毒性工作中提出的增强证明是不太有效的。我们的研究结果强调了在小语料库的在线危害领域进行此类评估的必要性。扰动数据、模型和代码可在https://github.com/cmry/augtox上复制
2022-01-17 cs.CL cs.CY cs.SI
Universal Adversarial Triggers for Attacking and Analyzing NLP
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Maryland（马里兰大学）；University of California, Irvine（加州大学欧文分校）
对抗性示例突出了模型的脆弱性，对于评估和解释非常有用。我们定义了通用对抗触发器：输入不可知的令牌序列，当与数据集的任何输入连接时，触发模型产生特定的预测。我们提出了一种梯度引导的令牌搜索，找到短的触发序列（例如，一个词用于分类，四个词用于语言建模），其成功地触发了目标预测。例如，触发器导致SNLI蕴涵准确率从89.94%下降到0.55%，SQuAD中72%的“为什么”问题被回答为“杀死美国人”，GPT-2语言模型即使在非种族背景下也会喷出种族主义输出。此外，尽管触发器使用白盒访问特定模型进行了优化，但它们会转移到我们考虑的所有任务的其他模型。最后，由于触发器与输入无关，因此它们提供了对全局模型行为的分析。例如，他们证实SNLI模型利用了数据集偏见，并有助于诊断阅读理解模型所学习的知识。
2021-01-03 cs.CL cs.LG
Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution
City University of Hong Kong（香港城市大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Wuhan University（武汉大学）；Beihang University（北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出EvoSafety框架，通过外部结构实现持续安全改进，采用对抗技能库和轻量防御模型，在单一训练中实现攻击探测与防御提升，实验显示其在Guard模式下防御成功率高达99.61%。
2026-05-13 cs.CL cs.CR
LLM-Agnostic Semantic Representation Attack
JC STEM Lab of Machine Learning and Computer Vision（机器学习与计算机视觉的JC STEM实验室）；Hong Kong Jockey Club Charities Trust（香港赛马会慈善信托基金）；Global STEM Professorship Scheme of the Hong Kong Special Administrative Region (SAR)（香港特别行政区（SAR）的全球STEM教授计划）；National Natural Science Foundation of China（中国国家自然科学基金委员会）；Northwestern Polytechnical University（西北工业大学）；The Hong Kong Polytechnic University（香港理工大学）；School of Electronics and Information（电子与信息学院）；Department of Electrical and Electronic Engineering（电气与电子工程系）；Hong Kong Institute of AI for Science（香港人工智能科学研究院）；City University of Hong Kong（香港城市大学）
本文提出语义表示攻击(SRA)，通过重新定义对抗目标从精确文本到恶意语义，解决传统方法的收敛性、提示自然性和跨模型泛化问题，实现99.71%的攻击成功率。
2026-05-09 cs.AI cs.CL
Bias Mitigation in Audio-Enabled LLMs through Adversarial Training and Distillation Methods
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；University of Hamburg（汉堡大学）
本研究针对音频赋能大语言模型的性别偏见问题，提出对抗训练与蒸馏方法，在三种模型上实现了满意的性别去学习效果及部分满意的蒸馏效果。
2026-10-16 cs.CL cs.SD
On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
针对现有对抗检测方法依赖训练数据引发的隐私与泛化问题，提出利用无需原始数据的通用对抗扰动（UAPs）构建数据无关的对抗检测框架，在文本分类任务中取得竞争力的检测性能且推理耗时相当。
2023-06-27 cs.CL cs.LG
LPF: A Language-Prior Feedback Objective Function for De-biased Visual Question Answering
Sun Yat-sen University（中山大学）
现有的视觉问答（VQA）系统往往过于依赖语言偏见，因此无法从视觉线索进行推理。为了解决这个问题，我们提出了一种新的前置反馈（LPF）目标函数，重新平衡每个答案的损失值在总VQA损失的比例。LPF首先使用仅问题分支计算调制因子以确定语言偏差。然后，LPF在训练过程中为每个训练样本分配自适应权重。通过这种重新加权机制，LPF确保总VQA损耗可以重新整形为更平衡的形式。通过这种方式，需要某些视觉信息来预测的样本将在训练期间被有效地使用。我们的方法易于实现，与模型无关，并且端到端可训练。我们进行了大量的实验，结果表明，LPF（1）带来了显着的改善，各种VQA模型，（2）实现有竞争力的性能偏置敏感的VQA-CP v2基准。
2021-06-23 cs.CL cs.CV
Large-Scale Adversarial Training for Vision-and-Language Representation Learning
Microsoft Dynamics 365 AI Research（微软 Dynamics 365 人工智能研究）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了VILLA，这是第一个已知的针对视觉和语言（V+L）表示学习的大规模对抗训练。VILLA由两个训练阶段组成：（i）任务不可知的对抗性预训练;其次是（ii）特定任务的对抗性微调。我们建议在每个模态的嵌入空间中进行对抗训练，而不是在图像像素和文本标记上添加对抗扰动。为了实现大规模训练，我们采用了“自由”对抗训练策略，并将其与基于KL发散的正则化相结合，以提高嵌入空间的不变性。我们将VILLA应用于当前性能最好的V+L模型，并在广泛的任务上实现了最新的技术水平，包括视觉问答，视觉常识推理，图像-文本检索，引用表达式理解，视觉蕴涵和NLVR 2。
2020-10-22 cs.CL cs.CV cs.LG
Learning to Repair Software Vulnerabilities with Generative Adversarial Networks
Draper（德雷珀实验室）；Boston University（波士顿大学）；Lightmatter（光物质公司）
出于自动修复软件漏洞的问题，我们提出了一个对抗性的学习方法，从一个离散的源域映射到另一个目标域，而不需要成对的标记的例子或源和目标域是双射。我们证明了所提出的对抗性学习方法是修复软件漏洞的有效技术，其性能接近需要标记对的seq2seq方法。所提出的生成对抗网络方法是应用不可知的，因为它可以应用于类似于代码修复的其他问题，例如语法校正或情感翻译。
2018-10-28 cs.CL cs.LG cs.NE
