Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models
North Carolina State University(北卡罗来纳州立大学);New York University(纽约大学);NEC-Labs(NEC实验室)
本文提出一种训练后自适应知识保留剪枝策略,通过复现稠密模型的嵌入与特征空间并校正累积误差,在BERT和多个数据集上实现了准确率、稀疏性、鲁棒性与剪枝成本的更优平衡。
2024-01-11 cs.AI cs.CL
From Confidence to Collapse in LLM Factual Robustness
Technical University of Munich(慕尼黑技术大学)
本研究提出了一种通过分析令牌分布熵和温度缩放敏感性来评估大语言模型事实鲁棒性的新方法,并通过实验验证了其有效性。
2025-11-20 cs.AI cs.CL
On the Robustness of Knowledge Editing for Detoxification
Hubei Provincial Key Laboratory of Artificial Intelligence(人工智能与智能学习湖北省重点实验室);Research Center for Network Media, School of Computer Science, Central China Normal University, Wuhan, China(网络媒体研究中心,计算机科学学院,中央民族大学,武汉,中国)
本文提出了一种评估基于知识编辑的去毒化方法鲁棒性的框架,发现其效果受模型、目标和语言的限制。
2026-02-11 cs.CL
A Comprehensive Evaluation of LLM Unlearning Robustness under Multi-Turn Interaction
本文研究多轮交互环境下LLM去学习的稳定性,发现静态评估可能高估实际效果,强调需确保交互场景下的稳定遗忘。
2026-03-15 cs.AI cs.CL
ComparisonQA: Evaluating Factuality Robustness of LLMs Through Knowledge Frequency Control and Uncertainty
Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
提出ComparisonQA基准,通过高频与低频实体配对控制问题难度,结合正确性与不确定性两轮评估,揭示LLMs对低频知识鲁棒性差,并自动筛选出困难子集ComparisonQA-Hard。
2025-05-25 cs.CL
SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
本文提出 SegSub 框架,通过图像扰动系统评估视觉-语言模型在知识冲突下的幻觉脆弱性,并通过微调提升冲突检测能力。
2025-05-09 cs.AI cs.CL cs.CV
J&H: Evaluating the Robustness of Large Language Models Under Knowledge-Injection Attacks in Legal Domain
School of Law, Tsinghua University(清华大学法学院);University of Waterloo(滑铁卢大学)
该研究提出法律领域知识注入攻击评估框架J&H,通过攻击推理逻辑各环节测试大语言模型鲁棒性,发现现有模型易受误导,同时提出并对比了多种提升知识鲁棒性的方法。
2025-03-24 cs.CL
Knowledge-Augmented Reasoning for EUAIA Compliance and Adversarial Robustness of LLMs
fortiss Research Institute of the Free State of Bavaria(巴伐利亚自由州fortiss研究所);IBM Research Europe(IBM欧洲研究院)
本文提出一种功能架构,通过引入基于知识增强的推理层,桥接文献推荐的检测层与法律要求的报告层,解决 LLM 在 EUAIA 合规性与对抗鲁棒性上的重复建设问题,为在欧盟部署兼具合规与鲁棒的可信赖 LLM 指明新方向。
2024-10-04 cs.AI cs.CL cs.CY
Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出动态遗忘攻击(DUA)评估LLM遗忘脆弱性,并设计潜在对抗遗忘(LAU)框架,通过最小-最大优化增强遗忘鲁棒性,显著提升遗忘效果且几乎不影响模型能力。
2024-08-20 cs.AI cs.CL cs.CR
Incorporating Geo-Diverse Knowledge into Prompting for Increased Geographical Robustness in Object Recognition
Intelligent Systems Program(智能系统项目);Department of Computer Science, University of Pittsburgh(匹兹堡大学计算机科学系)
本文提出将地理多样性知识融入提示,并设计地理知识正则化,使在源地理上训练的软提示能泛化到未见目标地理,从而提升CLIP目标识别的地理鲁棒性。
2024-03-29 cs.AI cs.CV cs.LG
Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models
Tecent AI Lab(腾讯人工智能实验室)
本文提出Chain-of-Noting方法,通过为检索文档生成顺序阅读笔记来评估相关性并整合信息,从而提升检索增强语言模型在噪声文档和未知场景下的鲁棒性,实验显示其在多个开放域问答基准上显著优于标准RALMs。
2024-10-03 cs.AI cs.CL
Same Semantics, Different Outcome: On the Modality Robustness of Multimodal LLMs under Knowledge Conflict
Hanyang University(汉阳大学)
该研究针对13个多模态大语言模型,发现其在知识冲突下存在模态鲁棒性不足的问题,图像形式的矛盾证据更易被接受,多模态RAG性能会受影响,监督微调可一定程度缓解该问题。
2026-09-02 cs.CL
DKE-Research at SemEval-2024 Task 2: Incorporating Data Augmentation with Generative Models and Biomedical Knowledge to Enhance Inference Robustness
Xi’an Jiaotong Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);University of Surrey(萨里大学);Duke Kunshan University(昆山杜克大学)
针对临床试验生物医学自然语言推理中预训练模型偏差问题,提出结合语义扰动、领域词汇替换、数值推理任务的多任务数据增强方法,搭配DeBERTa架构,在NLI4CT 2024基准取得显著提升,消融验证各模块有效性,最终在32支队伍中获忠实度第12、一致性第8。
2024-04-14 cs.CL
Assessing biomedical knowledge robustness in large language models by query-efficient sampling attacks
UC San Francisco(加州大学旧金山分校);UC Berkeley(加州大学伯克利分校)
针对高风险领域LLMs知识鲁棒性问题,提出基于幂缩放距离加权采样的嵌入空间攻击,通过类型一致实体替换生成对抗实体,在低查询预算下评估生物医学知识鲁棒性,揭示两类对抗实体特征及对解释的操纵性,补充模型可信度评估。
2024-11-28 cs.CL cs.CR stat.AP
ProSLM : A Prolog Synergized Language Model for explainable Domain Specific Knowledge Based Question Answering
University of California Santa Cruz(加州大学圣克鲁兹分校)
针对现有神经符号方法未用形式逻辑为大语言模型提供查询上下文、验证输出的问题,提出融合领域知识库、逻辑推理与LLM的ProSLM框架,可实现上下文收集与事实验证,开辟神经符号生成式AI文本验证与用户个性化新方向。
2024-09-17 cs.AI cs.CL
Towards Building a Robust Knowledge Intensive Question Answering Model with Large Language Models
Zhejiang Lab(之江实验室);China Mobile, Hangzhou Research and Development Center(中国移动杭州研发中心)
针对检索信息噪声影响大语言模型问答鲁棒性的问题,构建多干扰场景数据集,提出数据增强微调结合对比学习的方法,经GPT-4评估可同时提升模型鲁棒性与信息判别能力。
2024-09-18 cs.AI cs.CL
How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness
PayPal
本文探讨LoRA秩配置在保留知识和领域鲁棒性方面的权衡,通过多任务评估展示LoRA在推理任务中的竞争力。
2025-12-17 cs.AI cs.CL cs.LG
RoSearch: Search for Robust Student Architectures When Distilling Pre-trained Language Models
Beihang University(北京航空航天大学)
预训练的语言模型在NLP任务中表现出色。已经提出了各种知识蒸馏方法来减少预先训练的语言模型的繁重计算和存储需求。然而,从我们的观察,通过知识蒸馏获得的学生模型遭受对抗攻击,这限制了它们在安全敏感场景中的使用。为了克服这些安全问题,提出了一种综合框架RoSearch,用于在进行知识蒸馏时搜索具有更好对抗鲁棒性的学生模型。建立了一个基于有向无环图的搜索空间,并采用进化搜索策略指导搜索过程。每个搜索到的体系结构都是通过预训练的语言模型上的知识蒸馏来训练的,然后在鲁棒性、准确性和效率感知度量(如环境适应性)下进行评估。实验结果表明,RoSearch在不同的数据集上,学生模型的鲁棒性从7%~18%提高到45.8%~47.8%,其权重压缩比与现有的蒸馏方法相当(相对于教师模型BERT_BASE提高了4.6 $\times$ ~6.5 $\times$),准确率下降较小。此外,我们总结了学生架构和鲁棒性之间的关系,通过搜索模型的统计。
2021-06-07 cs.AI cs.CL cs.LG
Know Or Not: a library for evaluating out-of-knowledge base robustness
GovTech Singapore(新加坡政府科技局);National University of Singapore(国立新加坡大学)
本文提出并实现开源库knowornot,用于在RAG设置下无需人工标注即可系统评估LLM的知识库外鲁棒性,并通过PolicyBench基准验证其有效性。
2025-07-21 cs.AI cs.IR
Context-Robust Knowledge Editing for Language Models
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology(全州科学技术院电子工程与计算机科学学院)
针对前文上下文削弱知识编辑效果的问题,提出CHED基准评估上下文鲁棒性,并设计CoRE方法通过最小化隐藏状态方差提升编辑成功率,同时保留模型整体能力。
2025-05-31 cs.AI cs.CL
Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases
Nanjing University(南京大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
本研究通过实验揭示语言模型在知识库问答中因训练与推理数据分布不一致而表现脆弱,即使使用数据增强技术仍性能不佳,呼吁关注数据收集与学习范式。
2024-02-09 cs.AI cs.CL
A Study into Investigating Temporal Robustness of LLMs
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Innsbruck(因斯布鲁克大学)
针对大语言模型时间理解能力不足的问题,设计8项时间敏感性鲁棒测试检验6款主流LLMs的零样本时间鲁棒性,发现其对时间改写和粒度变化敏感,并基于研究结果将时间问答性能最高提升55%。
2025-03-21 cs.CL cs.IR
On the Robustness of Editing Large Language Models
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3(上海市Web3可信数据流通与治理重点实验室)
本文通过三个研究问题实证评估LLM模型编辑在现实场景、提示改写及不同知识特征下的鲁棒性,发现改写提示会显著降低编辑效果,且流行知识更难编辑。
2024-10-25 cs.CL
Robust Knowledge Extraction from Large Language Models using Social Choice Theory
Cardiff University(卡迪夫大学);Bosch Center for AI(博世人工智能中心);Univ. of Stuttgart(斯图加特大学);Univ. of Oslo(奥斯陆大学);Univ. of Southampton(南安普顿大学)
针对大型语言模型在高风险领域问答中缺乏稳健性的问题,本文提出重复使用排序查询并结合社会选择理论中的部分博达选择函数进行聚合,以提升查询结果的稳健性,并在医学和故障诊断场景中进行了实证评估。
2024-02-08 cs.AI cs.CL
Hybrid-DMKG: A Hybrid Reasoning Framework over Dynamic Multimodal Knowledge Graphs for Multimodal Multihop QA with Knowledge Editing
Hybrid-DMKG通过动态多模态知识图谱实现多跳问答中的准确推理,提升对知识更新的鲁棒性。
2025-11-30 cs.AI
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia(微软亚洲研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学);Beihang University(北京航空航天大学)
关于预训练语言模型压缩的最新研究(例如,BERT)通常使用保留的准确度作为评估的度量。在本文中,我们提出了两个新的度量标准,标签忠诚度和概率忠诚度,衡量压缩模型(即,学生)模仿原始模型(即,教师)。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试,测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术,我们提供了一种实用的策略,以实现更好的准确性,忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
Persuasion Dynamics in LLMs: Investigating Robustness and Adaptability in Knowledge and Safety with DuET-PD
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Institute for Infocomm Research (I2R), A*STAR, Singapore(信息通信研究院)
针对LLMs在说服对话中易受误导且难接受纠正的问题,提出DuET-PD框架评估并引入整体DPO训练,显著提升模型鲁棒性与适应性。
2025-09-09 cs.CL cs.CY
Large Language Models with Controllable Working Memory
Google Research(谷歌研究院);Deepmind(深度思维)
大语言模型(LLM)以其出色的理解和生成能力,为自然语言处理(NLP)带来了一系列突破。值得注意的是,让这些模型进一步与众不同的是,它们在预训练期间内化了大量的世界知识。虽然许多下游应用程序为模型提供了一个信息上下文,以帮助其执行底层任务,但模型的世界知识如何与上下文中呈现的事实信息相互作用仍在探索中。作为一种理想的行为,LLM应该优先考虑上下文,只要它包含与模型记忆的知识相冲突的任务相关信息。这使得模型预测能够基于上下文,然后可以用于更新或纠正特定的模型预测,而无需频繁的重新训练。相比之下,当上下文与任务无关时,模型应该忽略它并依赖于其内部知识。在本文中,我们进行了第一次联合研究的上述两个属性,即可控性和鲁棒性,在LLM的上下文中。我们证明了最先进的T5和PaLM(预训练和微调)可能表现出较差的可控性和鲁棒性,并且不会随着模型大小的增加而扩展。作为解决方案,我们提出了一种新方法--知识感知微调(KAFT)--通过将反事实和不相关的上下文纳入标准监督数据集来增强可控性和鲁棒性。我们的全面评估展示了KAFT在模型架构和尺寸上的实用性。
2022-11-09 cs.AI cs.CL cs.LG
Contrastive Knowledge Transfer and Robust Optimization for Secure Alignment of Large Language Models
Northwestern University(西北大学);Syracuse University(雪城大学);Trine University(特里恩大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合对比蒸馏与噪声鲁棒训练的微调方法,通过冻结骨干模型迁移教师模型知识边界并引入鲁棒优化约束,显著提升了大型语言模型在安全对齐和抗干扰方面的性能。
2025-10-31 cs.CL
Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer
University of Maryland, College Park(马里兰大学帕克分校)
针对知识蒸馏中学生模型在分布外场景性能下降的问题,提出不变性加权蒸馏(IWD),通过预测不变性动态加权样本,降低虚假相关性影响,在多个基准上显著提升OOD鲁棒性。
2026-09-22 cs.AI cs.CL cs.LG
MedMKEB: A Comprehensive Knowledge Editing Benchmark for Medical Multimodal Large Language Models
针对医学多模态大语言模型知识更新缺乏基准的问题,提出MedMKEB综合基准,评估编辑的可靠性、泛化性等,实验揭示现有方法局限,推动专用策略发展。
2025-08-07 cs.AI
Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment
Huazhong Agricultural University(华中农业大学);RMIT University(皇家墨尔本理工大学);Jilin University(吉林大学)
本文提出条件前门提示框架CFD-Prompting,通过构建反事实外部知识实现查询与答案间因果效应的无偏估计,在更弱假设下缓解大语言模型内部偏差,显著提升知识密集型任务的准确性与鲁棒性。
2025-08-23 cs.CL
Robust and Scalable Model Editing for Large Language Models
Tsinghua University(清华大学);Tencent Machine Learning Platform(腾讯机器学习平台);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究发现指令微调LLMs可通过提示方法受上下文知识控制并对不相关上下文鲁棒,据此提出EREN方法,通过上下文编辑提升模型编辑的可扩展性与鲁棒性,在新构建的高难度数据集上大幅超越现有方法。
2024-03-26 cs.CL cs.LG
Enhancing knowledge tracing robustness for new question cold start in Intelligent Tutoring Systems
PICKT模型通过构建知识图谱关系,有效解决个性化学习中的冷启动问题,提升知识追踪的实用性与稳定性。
2026-09-17 cs.AI cs.CL cs.CY
Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
University of Potsdam(波茨坦大学)
本研究探讨极低资源下多语言神经机器翻译的跨语言知识迁移,通过顺序迁移学习提升性能,并利用 TX-Ray 分析剪枝对鲁棒性与泛化的影响。
2024-12-18 cs.AI cs.CL
Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出新基准unlearning评估LLM遗忘的鲁棒性,实验发现现有遗忘方法易受多跳推理路径和恢复攻击影响,还探究了遗忘质量、鲁棒性与模型效用的权衡。
2026-08-06 cs.AI cs.CL
MissDiag: Diagnostic Evaluation of Incomplete-Knowledge Robustness in KGQA and KG-RAG
本文提出MissDiag框架,通过结构化缺失干预分解鲁棒性变化来源,发现不完全知识鲁棒性是类型化劣化现象,为KGQA与KG-RAG系统评估提供可解释基础。
2026-08-20 cs.CL
Chinese grammatical error correction based on knowledge distillation
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);Institute of Artificial Intelligence(人工智能研究院)
针对现有中文语法纠错模型对攻击测试集鲁棒性差、模型参数偏大的问题,采用知识蒸馏的方法压缩模型参数,提高模型的抗攻击能力。在数据方面,将扰动集成到标准评估数据集中,构建攻击测试集,利用攻击测试集对模型鲁棒性进行评估。实验结果表明,提取的小模型在减少模型参数个数的情况下,能够保证性能,提高训练速度,在攻击测试集上达到最优效果,鲁棒性显著提高。代码可在https://github.com/Richard88888/KD-CGEC上获得。
2022-08-31 cs.AI cs.CL
How to Select One Among All? An Extensive Empirical Study Towards the Robustness of Knowledge Distillation in Natural Language Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·谢里登计算机科学学院);Department of Statistics and Actuarial Science, University of Waterloo(滑铁卢大学统计与精算科学系)
知识蒸馏(KD)是一种模型压缩算法,它有助于将大型神经网络的知识转移到较小的网络中。尽管KD在广泛的自然语言处理(NLP)应用中表现出了希望,但人们对一种KD算法与另一种KD算法的比较以及这些方法是否可以相互补充知之甚少。在这项工作中,我们评估了各种KD算法的域内,域外和对抗性测试。我们提出了一个框架来评估多个KD算法的对抗鲁棒性。此外,我们引入了一个新的KD算法,组合KD,它利用了两个有前途的方法(更好的训练方案和更有效的数据增强)。我们广泛的实验结果表明,与竞争方法相比,Combined-KD在GLUE基准测试、领域泛化和对抗鲁棒性方面取得了最先进的结果。
2021-09-20 cs.CL
Adversarial Robustness of Representation Learning for Knowledge Graphs
知识图谱将关于世界的事实知识表示为概念之间的关系,并且对于企业应用中的智能决策至关重要。通过将概念和关系编码为低维特征向量表示,从知识图谱中的现有事实推断新知识。对于这个任务,最有效的表示,称为知识图谱嵌入(KGE),通过神经网络架构学习。由于其令人印象深刻的预测性能,它们越来越多地用于医疗保健,金融和教育等高影响力领域。然而,黑箱KGE模型在高风险领域的使用具有对抗性吗?本文认为,国家的最先进的KGE模型是容易受到数据投毒攻击,也就是说,他们的预测性能可以通过系统地精心制作的扰动训练知识图谱下降。为了支持这一论点,提出了两种新的数据投毒攻击,在训练时进行输入删除或添加,以破坏学习模型在推理时的性能。这些对抗攻击的目标是使用KGE模型预测知识图谱中缺失的事实,评估表明,简单的攻击与计算昂贵的攻击相比具有竞争力或优于计算昂贵的攻击。论文的贡献不仅突出和提供了一个机会,以修复KGE模型的安全漏洞,但也有助于了解黑箱预测行为的KGE模型。
2022-09-30 cs.AI cs.CL cs.LG
Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
尽管深度神经网络(DNN)在自然语言处理(NLP)等许多领域取得了巨大的成功,但它们也被证明容易受到恶意生成的对抗性示例的攻击。这种固有的漏洞已经威胁到各种现实世界部署的基于DNN的应用程序。为了增强模型的鲁棒性,在英语NLP领域提出了几种对策,并取得了令人满意的效果。然而,由于中文独特的语言属性,将现有的防御扩展到中文领域并非易事。因此,我们提出了AdvGraph,这是一种新的防御方法,通过将对抗性知识纳入输入的语义表示来增强基于中文的NLP模型的鲁棒性。在两个真实世界任务上的广泛实验表明,与以前的工作相比,AdvGraph表现出更好的性能:(i)有效-即使在自适应攻击设置下,它也显着增强了模型的鲁棒性,而不会对合法输入的模型性能产生负面影响;(ii)通用-其关键组件,即,隐含对抗知识的表示是任务不可知的,可以在任何基于中文的NLP模型中重用,而无需重新训练;(iii)高效-它是具有次线性计算复杂性的轻量级防御,可以保证实际场景中所需的效率。
2021-02-23 cs.CL
Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis
本文基于知识图谱改进RAG系统,通过比较分析评估其在噪声、信息整合、负样本拒绝和反事实鲁棒性方面的性能提升。
2026-03-09 cs.CL
Factual Knowledge in Language Models: Robustness and Anomalies under Simple Temporal Context Variations
本研究通过TimeStress数据集评估18个语言模型在时间上下文变化下的事实知识鲁棒性,发现最佳模型仅对11%事实能完美区分,揭示其在时间表征上的显著局限。
2025-06-23 cs.CL cs.LG
Robustness of Explanation Methods for NLP Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
解释方法已经成为一个重要的工具,突出负责神经网络的预测功能。越来越多的证据表明,许多解释方法是相当不可靠的,容易受到恶意操纵。在本文中,我们特别旨在了解的鲁棒性的解释方法的文本模态的背景下。我们提供了初步的见解和结果设计一个成功的对抗攻击对文本的解释。据我们所知,这是第一次尝试评估解释方法的对抗鲁棒性。我们的实验表明,解释方法可以很大程度上干扰高达86%的测试样本与输入句子及其语义的小变化。
2022-06-24 cs.AI cs.CL
Robust Biomedical Publication Type and Study Design Classification with Knowledge-Guided Perturbations
School of Information Sciences(信息科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Department of Psychiatry(精神病学系);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出基于受控语义扰动的评估框架,通过实体遮蔽和领域对抗训练提升生物医学出版物类型分类的鲁棒性,发现通过抑制非任务定义特征可缓解鲁棒性与领域准确性之间的权衡。
2026-06-05 cs.CL
Bag of Lies: Robustness in Continuous Pre-training BERT
University of Antwerp(安特卫普大学);CLiPS
该研究以 COVID-19 为案例,通过错误信息和乱序输入等对抗实验评估持续预训练 BERT,并发布包含 LitCovid 原文及 AI 虚假对应文本的新数据集。
2024-06-14 cs.CL
Investigating Robustness and Interpretability of Link Prediction via Adversarial Modifications
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法,主要集中在提高准确性和忽视其他方面,如鲁棒性和可解释性。在本文中,我们提出了对链接预测模型的对抗性修改:识别要添加到知识图谱中或从中删除的事实,该知识图谱在模型重新训练后改变了对目标事实的预测。使用图的这些单个修改,我们确定了预测链接的最有影响力的事实,并评估了模型对添加假事实的敏感性。我们引入了一种有效的方法来估计这种修改的效果,通过近似的变化时,知识图谱的嵌入变化。为了避免对所有可能的事实进行组合搜索,我们训练一个网络来解码嵌入到其相应的图组件,允许使用基于梯度的优化来识别对抗性修改。我们使用这些技术来评估链接预测模型的鲁棒性(通过测量对其他事实的敏感性),通过对预测最负责任的事实来研究可解释性(通过识别最有影响力的邻居),并检测知识库中的错误事实。
2019-05-02 cs.CL cs.LG stat.ML
Grounding Description-Driven Dialogue State Trackers with Knowledge-Seeking Turns
University of Cambridge(剑桥大学);Apple(苹果公司)
针对模式引导对话状态跟踪器易受模式写作风格影响的问题,本文提出在微调和推理提示中加入对话语料库中的知识寻求轮次,从而在 SGD 和 SGD-X 上显著提升鲁棒性。
2023-09-23 cs.CL
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon(亚马逊Alexa AI)
神经网络模型在自然语言推理(NLI)任务上已经非常成功地实现了高精度。然而,正如最近的文献所证明的那样,当在一些简单的对抗性示例上进行测试时,大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中,我们提出了将外部知识的注意力机制使用一个简单的转换,使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型:一种是Transformer编码器,另一种是可分解模型,并表明我们的方法可以显着提高其鲁棒性。此外,当与BERT预训练相结合时,我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
Parenting: Optimizing Knowledge Selection of Retrieval-Augmented Language Models with Parameter Decoupling and Tailored Tuning
针对检索增强语言模型内外知识整合缺乏有效控制的问题,提出Parenting框架,通过结合前向和反向传播信号的关键参数挖掘方法定位参数子空间,并采用类型定制微调策略,实现模型遵循性与鲁棒性的均衡增强。
2025-06-30 cs.CL cs.IR
The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models
本文提出DDFT协议,用于评估语言模型在语义压缩和对抗性伪造下的认知鲁棒性,发现鲁棒性与传统设计无关,且错误检测能力是关键瓶颈。
2026-04-03 cs.AI cs.CL cs.LG
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna(维也纳医科大学)
近年来,基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用,并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上,但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中,我们提出了一个开源的评估管道,基准神经嵌入的准确性的情况下,知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施,使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of British Columbia(不列颠哥伦比亚大学)
本文针对阿拉伯语ASR的方言多样性和高计算成本问题,通过知识蒸馏训练高效学生模型,并构建五方言评估数据集,实验表明蒸馏模型以45.0% WER超越更大规模的SoTA和教师模型。
2024-06-06 cs.CL cs.SD eess.AS
Do Students Debias Like Teachers? On the Distillability of Bias Mitigation Methods
University of Massachussetts Lowell(马萨诸塞大学洛厄尔分校);University of Virginia(弗吉尼亚大学)
知识蒸馏(KD)是模型压缩和模型间知识传递的有效方法。然而,它对模型的鲁棒性的影响,对虚假的相关性,降低性能的分布外的数据仍然有待探讨。本研究探讨了知识蒸馏对教师模型到学生模型在自然语言推理(NLI)和图像分类任务上的“消除偏见”能力的可转移性的影响。通过大量的实验,我们说明了几个关键的发现:(i)总体上,模型的去偏能力在KD后被破坏;(ii)训练去偏模型并不能从注入教师知识中受益;(iii)尽管模型的整体鲁棒性在蒸馏后可能保持稳定,但不同类型的偏差可能会发生显着变化;以及(iv)我们确定了导致KD后不同行为的内部注意模式和回路。鉴于上述发现,我们提出了三个有效的解决方案,以提高去偏方法的可扩展性:开发高质量的数据进行增强,实现迭代知识蒸馏,并初始化学生模型与教师模型获得的权重。据我们所知,这是第一次在规模上研究KD的去偏作用及其肾内机制。我们的研究结果提供了对KD如何工作以及如何设计更好的去偏方法的理解。
2025-10-30 cs.AI cs.CL cs.CV