Robustness and Transferability of Universal Attacks on Compressed Models
Imperial College London(伦敦帝国学院);DataSpartan
修剪和量化等神经网络压缩方法对于在边缘设备上有效部署深度神经网络(DNN)非常有效。然而,DNN仍然容易受到对抗性示例的影响,这些示例是专门设计用来欺骗这些模型的不显眼的输入。特别地,通用对抗扰动(Universal Adversarial Perturbations,UAP)是一类强大的对抗攻击,其创建可以在大的输入集合上概括的对抗扰动。在这项工作中,我们分析了各种压缩技术对UAP攻击的影响,包括不同形式的修剪和量化。我们测试了压缩模型对白盒和传输攻击的鲁棒性,并将其与CIFAR-10和SVHN数据集上的未压缩模型进行了比较。我们的评估揭示了修剪方法之间的明显差异,包括软过滤和训练后修剪。我们观察到,修剪和完整模型之间的UAP传输攻击是有限的,这表明这些模型的系统漏洞是不同的。这一发现具有实际意义,因为使用不同的压缩技术可以削弱黑盒传输攻击的有效性。我们表明,在某些情况下,量化可以产生梯度掩蔽,给人一种虚假的安全感。最后,我们的研究结果表明,压缩模型对UAP攻击的鲁棒性的结论是依赖于应用程序的,在我们的实验中使用的两个数据集中观察到不同的现象。
2020-12-10 cs.AI cs.CR cs.LG
Hyper-parameter Tuning for Adversarially Robust Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究对抗训练模型的超参数调优,通过大规模实验揭示两阶段独立调参的显著收益,并提出结合廉价对抗训练与taKG的多保真度优化方法,将调优效率提升至2.1倍。
2024-06-13 cs.LG
Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
Yale University(耶鲁大学);Information Sciences Institute, University of Southern California(南加州大学信息科学学院)
针对预训练医学 VLM 受上游对抗噪声影响的问题,本文通过多模态对抗攻击构建噪声数据集并分析噪声强度效应,提出轻量级 RAN 微调框架以防御攻击并纠正噪声影响。
2025-01-07 cs.CV cs.LG
Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning
Texas A&M University(得克萨斯农工大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
来自自我监督的预训练模型通常用于更快或更好地微调下游任务。然而,从预训练中获得鲁棒性尚未探索。我们将对抗训练引入自我监督,首次提供通用的鲁棒预训练模型。我们发现,这些鲁棒的预训练模型可以通过两种方式使后续的微调受益:i)提高最终模型的鲁棒性; ii)如果进行对抗性微调,则可以节省计算成本。我们进行了广泛的实验,以证明与传统的端到端对抗训练基线相比,所提出的框架实现了较大的性能裕度(例如,在CIFAR-10数据集上,鲁棒准确率为3.83%,标准准确率为1.3%)。此外,我们发现不同的自我监督预训练模型具有不同的对抗性脆弱性。它激励我们集成几个预训练任务,这可以进一步提高鲁棒性。我们的集成策略有助于进一步提高3.59%的鲁棒准确度,同时保持CIFAR-10略高的标准准确度。我们的代码可在https://github.com/TAMU-VITA/Adv-SS-Pretraining上获得。
2020-03-28 cs.CV cs.LG
One-Index Vector Quantization Based Adversarial Attack on Image Classification
Henan Normal University(河南师范大学);Durham University(杜伦大学)
本文提出一种基于矢量量化域的单索引对抗攻击方法,通过差分进化仅修改一个压缩索引即可使Resnet、NIN和VGG16等模型对CIFAR-10及Fashion MNIST图像产生高置信度错误分类。
2024-09-02 cs.CR cs.CV cs.LG
Compressed models are NOT miniature versions of large models
Indian Institute of Technology Guwahati(印度古瓦哈蒂理工学院)
本文质疑压缩模型是大型模型微型版本的普遍假设,通过比较预测误差、数据表示、数据分布和对抗攻击脆弱性四个特征,发现压缩模型与大型模型及彼此间均存在显著差异,并指出其替代带来的副作用。
2024-07-18 cs.IR cs.LG
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness?
Nanyang Technological University(南洋理工大学);Sea AI Lab(Sea AI 实验室)
预训练语言模型的微调在许多NLP领域取得了巨大成功。然而,它在对抗性的例子面前非常脆弱,例如,仅使用同义词的词替换攻击可以容易地欺骗基于BERT的情感分析模型。在本文中,我们证明了对抗性训练,流行的防御技术,并不直接适合传统的微调场景,因为它严重遭受灾难性遗忘:未能保留已被预训练模型捕获的通用和强大的语言特征。有鉴于此,我们提出了鲁棒信息微调(RIFT),一种新的对抗微调方法从信息理论的角度。特别是,RIFT鼓励目标模型在整个微调过程中保留从预训练模型中学习到的特征,而传统模型仅使用预训练的权重进行初始化。实验结果表明,RIFT在两个流行的NLP任务:情感分析和自然语言推理上始终优于最先进的技术,在各种预训练的语言模型的不同攻击下。
2021-12-22 cs.CL cs.LG
Early Approaches to Adversarial Fine-Tuning for Prompt Injection Defense: A 2022 Study of GPT-3 and Contemporary Models
本文记录了2022年针对LLM提示注入和目标劫持攻击的早期研究,提出并评估了Adversarial Fine-Tuning防御技术,发现其能将小型GPT-3变体的攻击成功率降至接近零,为现代提示注入防御研究奠定了基础。
2025-09-15 cs.CR cs.LG
Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所);Microsoft Research(微软研究院);City University of Hong Kong(香港城市大学)
本文提出鲁棒性关键微调(RiFT),通过模块鲁棒关键性度量识别非鲁棒关键模块并微调,再与对抗训练权重插值,在不牺牲对抗鲁棒性的前提下提升模型泛化能力约1.5%。
2023-08-01 cs.CV cs.LG
Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs
Department of Computer Science, Iowa State University, United States(爱荷华州立大学计算机科学系);Meta, United States(Meta)
本文研究低秩因子化对大语言模型信任性的影响,发现其在隐私保护上有所保留,但会削弱对话中个人身份信息的保护,同时增强对抗鲁棒性,但伦理和公平性有所下降。
2026-04-30 cs.AI cs.LG
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong(香港城市大学);Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
近年来,预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时,对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力,本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明,由于鲁棒预训练模型已经学习了鲁棒特征提取器,因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法,发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此,我们提出了一种新的基于神经网络的方法,Two-WIng NormliSation(TIOR)微调框架,其由两个神经网络组成,其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外,由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破,TSTK在不损害训练稳定性的情况下提高了有效学习率,从而更快地逃离次优初始化并减轻鲁棒过拟合。最后,TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
Lorica: A Synergistic Fine-Tuning Framework for Advancing Personalized Adversarial Robustness
School of Cyber Science and Technology, Sun Yat-sen University(中山大学信息科学与技术学院);School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络安全工程学院)
Lorica提出一种协同微调框架,通过两阶段过程实现个性化对抗鲁棒性提升,显著提高通信效率和模型准确率。
2026-02-15 cs.CR cs.LG
R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning
University of Science and Technology of China(中国科学技术大学);NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对视觉语言模型在推理阶段易受对抗攻击且现有防御依赖标注训练数据的问题,本文提出R-TPT方法,通过重构熵目标并引入基于可靠性的加权集成策略,在无需标注数据的情况下提升对抗鲁棒性。
2025-08-27 cs.CR cs.CV cs.LG
Adversarial Robustness against Multiple and Single $l_p$-Threat Models via Quick Fine-Tuning of Robust Classifiers
University of Tübingen(图宾根大学)
对抗性鲁棒模型的一个主要缺点,特别是对于像ImageNet这样的大规模数据集,是与标准模型相比非常长的训练时间。此外,模型不仅应该对一个$l_p$威胁模型具有鲁棒性,而且最好对所有威胁模型都具有鲁棒性。基于$l_p$ -球的几何性质,提出了一种基于多范数鲁棒性的极限范数对抗训练算法(E-AT)。E-AT的成本比其他对抗性训练方法低三倍,以实现多范数鲁棒性。使用E-AT,我们证明了对于ImageNet,单个epoch和CIFAR-10,三个epoch足以将任何$l_p$鲁棒模型转换为多范数鲁棒模型。通过这种方式,我们获得了ImageNet的第一个多范数鲁棒模型,并将多范数鲁棒性的最新技术提升到CIFAR-10上的$51\%$以上。最后,我们研究了通过微调不同个体$l_p$ -威胁模型之间的对抗鲁棒性的一般转移,并在CIFAR-10和ImageNet上改进了以前的SOTA $l_1$ -鲁棒性。大量的实验表明,我们的计划跨数据集和架构,包括视觉Transformer。
2022-08-07 cs.CR cs.CV cs.LG
Robustness to distribution shifts of compressed networks for edge devices
McGill University(麦吉尔大学)
本文研究边缘设备压缩网络在域偏移和对抗扰动下的鲁棒性,发现压缩会降低鲁棒性,且大网络更易受损,知识蒸馏优于剪枝,而训练后量化在鲁棒性上表现最佳。
2024-01-22 cs.AI cs.CV cs.LG
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题,本文提出AFD,通过特征解耦器分离并消除对抗样本的特定潜在特征,同时对齐干净特征,在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
Out-of-distribution materials property prediction using adversarial learning based fine-tuning
University of South Carolina(南卡罗来纳大学)
针对材料属性预测模型在分布外样本上泛化能力不足的问题,提出CAL算法及基于对抗学习的定向微调方法,有效提升了小样本下的预测效果,为分布外材料属性预测提供了新方向。
2024-08-17 cond-mat.mtrl-sci cs.LG
Fight Back Against Jailbreaking via Prompt Adversarial Tuning
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
针对大语言模型易受越狱攻击、现有防御多依赖微调或启发式设计的问题,提出提示对抗性调优方法PAT,通过训练用户提示的防护前缀实现防御,可将高级攻击成功率降至近0%且开销极低。
2024-10-31 cs.AI cs.CL cs.CR
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Biologically inspired protection of deep networks from adversarial attacks
Stanford University(斯坦福大学)
受神经电路中非线性树突计算的生物物理原理的启发,我们开发了一种训练深度神经网络的方案,使其对对抗性攻击具有鲁棒性。我们的方案生成了高度非线性、饱和的神经网络,这些网络在MNIST上基于梯度的对抗性示例上实现了最先进的性能,尽管在训练过程中从未接触过对抗性选择的示例。此外,这些网络对生成对抗性示例的目标迭代方案(包括二阶方法)表现出前所未有的鲁棒性。我们进一步确定这些网络如何实现其鲁棒性的原则,借鉴信息几何的方法。我们发现这些网络逐渐创建高度平坦和压缩的内部表示,这些表示对很少的输入维度敏感,同时仍然解决任务。此外,他们采用高度峰度的权重分布,也发现在大脑中,我们演示了如何峰度可以保护甚至线性分类器免受对抗性攻击。
2017-03-27 cs.LG q-bio.NC stat.ML
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research(IBM研究院);IBM Research Ireland(IBM爱尔兰研究院);IBM Research India(IBM印度研究院)
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中,我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析,说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明,出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂,因此没有有效的一刀切的参数设置存在。然后,我们证明,我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现,我们提出了一种实用的方法,该方法利用超参数优化技术来调整对抗训练,以最大限度地提高鲁棒性,同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
ADAPT to Robustify Prompt Tuning Vision Transformers
Northeastern University(东北大学)
本文提出ADAPT框架,在提示微调范式下进行自适应对抗训练,仅微调约1%参数即可达到与全模型微调SOTA方法相当的约40%鲁棒准确率,解决了现有防御方法在提示微调中遭受梯度混淆和自适应攻击的问题。
2025-02-07 cs.AI cs.CV cs.LG
Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
Computer Science and Mathematics Division(计算机科学与数学 division);Geospatial Science and Human Security Division(地理科学与人类安全 division)
本文提出动态低秩训练与谱正则化方法,在实现94%以上压缩的同时保持或提升对抗鲁棒性,且支持秩自适应。
2025-09-23 cs.LG cs.NA math.NA
AutoLoRa: A Parameter-Free Automated Robust Fine-Tuning Framework
National University of Singapore(新加坡国立大学);University of Auckland(奥克兰大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所高级智能项目中心)
针对现有鲁棒微调中梯度方向发散、对超参数敏感的问题,提出基于LoRa分支解耦的AutoLoRa框架,搭配自动学习率与损失标度启发式策略,无需调参即可将预训练特征提取器转为下游任务的对抗鲁棒模型,取得SOTA结果。
2023-10-03 cs.CR cs.LG
RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training
KAIST(韩国科学技术院);Meta AI;HKUST(香港科技大学);USTC(中国科学技术大学);Virginia Tech(弗吉尼亚理工大学)
本文提出 RoAST 微调方法,通过在对抗扰动输入上训练并按参数重要性选择性更新,统一提升语言模型的多视角鲁棒性。
2023-12-07 cs.CL cs.LG
Enhancing Adversarial Attacks via Parameter Adaptive Adversarial Attack
The University of Technology Sydney(悉尼科技大学);Suzhou Yierqi(苏州伊尔其)
针对现有对抗攻击忽略模型内在参数、扰动可进一步优化的问题,将对抗过程拆分为方向监督与优化阶段,提出参数自适应的P3A方法,通过微调模型参数提升攻击效果,经实验验证有效。
2024-08-14 cs.CR cs.LG
Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency
Duke University(杜克大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出 CLAT 方法,通过动态识别并微调鲁棒性关键层、冻结其余参数,在减少约 95% 可训练参数的同时,有效缓解对抗过拟合并提升模型对抗鲁棒性。
2024-12-23 cs.CV cs.LG
Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);EPFL(洛桑联邦理工学院)
针对大型视觉-语言模型易受视觉对抗攻击的问题,提出无监督对抗微调方案以获得鲁棒的CLIP视觉编码器,无需重训下游模型即可全面防御图像篡改隐蔽攻击。
2024-06-05 cs.AI cs.CV cs.LG
A Simple Dynamic Learning Rate Tuning Algorithm For Automated Training of DNNs
IBM Research-India(IBM印度研究院);Georgia Institute of Technology(佐治亚理工学院);IBM Research-USA(IBM美国研究院)
在图像数据集上训练神经网络通常需要大量的实验来找到最佳的学习率机制。特别是,对于对抗训练或训练新合成模型的情况,人们事先不知道最佳学习率方案。我们提出了一种用于确定学习率轨迹的自动算法,该算法适用于自然和对抗训练的数据集和模型,而不需要任何数据集/模型特定的调整。它是一种独立的、无参数的、自适应的方法,没有计算开销。我们从理论上讨论了算法的收敛性。我们经验验证我们的算法广泛。我们的研究结果表明,我们提出的方法\emph{consistently}实现了顶级的准确性相比,SOTA基线在文献中的自然以及对抗训练。
2019-10-25 cs.CV cs.LG stat.ML
A Statistical Method for Attack-Agnostic Adversarial Attack Detection with Compressive Sensing Comparison
School of Electrical, Computer, and Biomedical Engineering Southern Illinois University Carbondale IL, USA(电气、计算机与生物医学工程学院 布鲁克林伊利诺伊大学卡本达莱分校)
针对现有对抗攻击检测方法难应对未知攻击、精度不足的问题,提出基于压缩与未压缩神经网络对行为对比的统计检测方法,部署前建基线,实现多攻击类型近乎完美的检测且误报率低。
2025-10-03 cs.CR cs.CV cs.LG
Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学);Microsoft Cloud and AI(微软云与人工智能);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过从大规模数据集上的预训练模型进行知识转移进行微调是一种广泛传播的方法,可以有效地在小规模数据集上构建模型。在这项工作中,我们证明了最近通过重新训练最后一个线性层为迁移学习设计的对抗攻击可以成功地欺骗通过端到端微调进行迁移学习训练的模型。这引起了许多工业应用的安全问题。相比之下,使用随机初始化训练而没有传输的模型对此类攻击更具鲁棒性,尽管这些模型通常表现出低得多的准确性。为此,我们提出了噪声特征提取,这是一种新的迁移学习方法,可以从随机初始化训练网络,同时实现与微调竞争的干净数据性能。代码可在https://github.com/cmu-enyac/Renofeation获得。
2021-04-28 cs.CR cs.CV cs.LG
LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders
Stanford University(斯坦福大学);Aktus AI;University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Apple(苹果公司)
LORE通过约束优化方法提升视觉编码器的对抗鲁棒性,同时保持清洁数据性能,有效平衡鲁棒性与准确性。
2025-11-29 cs.AI cs.CV cs.LG
Task-Aware Compressed Sensing with Generative Adversarial Networks
University of Maryland, College Park(马里兰大学帕克分校);University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所)
近年来,神经网络方法已被广泛用于机器学习任务,并应用于计算机视觉。最近,基于神经网络的无监督生成模型已经成功地应用于通过低维潜在空间对数据分布进行建模。在本文中,我们使用生成对抗网络(GANs)在压缩感知问题中施加结构,取代通常的稀疏性约束。我们建议以任务感知的方式训练GANs,特别是用于重建任务。我们还表明,它是可能的训练我们的模型,而不使用任何(或太多)非压缩数据。最后,我们证明了GAN的潜在空间携带有判别信息,并且可以进一步正则化以生成用于一般推理任务的输入特征。我们证明了我们的方法对各种重建和分类问题的有效性。
2018-02-05 cs.LG stat.ML
T2CI-GAN: Text to Compressed Image generation using Generative Adversarial Network
IIIT Allahabad(阿拉哈巴德印度信息技术学院);Vignan University(维甘大学)
近年来,为视觉数据生成文本描述的问题得到了研究的关注。与此相反,从文本描述生成视觉数据的问题仍然非常具有挑战性,因为它需要结合自然语言处理(NLP)和计算机视觉技术。现有的方法利用生成对抗网络(GANs),并从文本描述中生成未压缩的图像。然而,在实践中,大多数视觉数据是以压缩表示的方式处理和传输的。因此,所提出的工作尝试使用深度卷积GANs(DCGANs)以压缩表示形式直接生成视觉数据,以实现存储和计算效率。我们提出了GAN模型,用于从文本生成压缩图像。第一个模型直接用JPEG压缩的DCT图像(压缩域)训练,以从文本描述生成压缩图像。第二个模型使用RGB图像(像素域)进行训练,以从文本描述生成JPEG压缩DCT表示。在开源基准数据集Oxford-102 Flower图像上使用RGB和JPEG压缩版本对所提出的模型进行了测试,并在JPEG压缩域中实现了最先进的性能。该代码将在接受论文后在GitHub上公开发布。
2022-10-01 cs.AI cs.CV cs.LG
Document Image Binarization in JPEG Compressed Domain using Dual Discriminator Generative Adversarial Networks
IIIT Allahabad(印度阿拉哈巴德信息技术学院);Vignan University(维格南大学)
图像二值化技术被广泛用于增强噪声和/或退化图像,以满足不同的文档图像分析(DIA)应用,如单词识别,文档检索和OCR。大多数现有技术集中于将像素图像馈送到卷积神经网络中以完成文档二值化,这在处理需要在没有完全解压缩的情况下处理的压缩图像时可能不会产生有效的结果。因此,本文提出了利用双鉴别器生成对抗网络(DD-GANs)直接对JPEG压缩文档图像流进行二值化的思想。在这里,两个网络-全局和局部工作在不同的图像比率上,并使用焦点损失作为发生器损失。所提出的模型已经用不同版本的DIBCO数据集进行了彻底的测试,这些数据集具有诸如孔、擦除或污迹墨水、灰尘和错位纤维等挑战。该模型在时间和空间复杂度方面都具有很强的鲁棒性和高效性,在JPEG压缩域中也具有最先进的性能。
2022-09-13 cs.AI cs.CV cs.LG
Compressed Sensing with Adversarial Sparse Noise via L1 Regression
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了一个简单而有效的算法解决问题的\emph{sparse robust linear regression}。在这个问题中,人们希望从被稀疏噪声破坏的线性测量来估计稀疏向量$w^* \in \mathbb{R}^n$,该稀疏噪声可以任意地改变测量响应$y$的逆向选择的$η$分数,以及向响应引入有界范数噪声。对于高斯测量,我们表明,一个简单的算法基于L1回归可以成功地估计$w^*$的任何$η< η_0 \approx 0.239$,这个阈值是紧的算法。该算法所需的测量数量是$O(k \log \frac{n}{k})$,用于$k$ -稀疏估计,其在没有任何稀疏噪声的情况下所需数量的常数因子内。在这三个属性中,我们展示了-估计稀疏和密集$w^*$的能力;对离群值的大常数分数的容忍度;以及对抗性而不是分布性的容忍度(例如,高斯)密集噪声-据我们所知,以前没有一个结果达到两个以上。
2019-01-06 cs.DS cs.LG
Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification
Wayne State University(韦恩州立大学)
由于移动设备的计算能力不断提高以及计算机视觉(CV)、自然语言处理(NLP)和物联网(IoT)中的应用数量不断增加,设备上深度神经网络(DNN)最近获得了更多的关注。不幸的是,为CV任务设计的现有高效卷积神经网络(CNN)架构并不直接适用于NLP任务,而小型递归神经网络(RNN)架构主要是为物联网应用设计的。在NLP应用中,尽管模型压缩在设备上文本分类中取得了初步成功,但至少有三个主要挑战尚未解决:对抗鲁棒性,可解释性和个性化。在这里,我们试图通过设计一个新的训练计划,模型压缩和对抗性的鲁棒性,包括可解释的特征映射目标,知识蒸馏目标,和对抗性的鲁棒性目标的优化来解决这些挑战。通过微调使用设备上的私有训练数据来个性化所得到的压缩模型。我们进行了大量的实验,将我们的方法与紧凑的RNN(例如,FastGRNN)和压缩RNN(例如,PRADO)架构在自然和对抗性NLP测试设置。
2021-01-20 cs.LG
Localized adversarial artifacts for compressed sensing MRI
ETH Zürich(苏黎世联邦理工学院);University of Genoa(热那亚大学)
本文针对压缩感知MRI,提出在频域构造对抗扰动以诱发TV重建中的严重局部伪影,并证明该现象是ℓ¹/TV最小化等可保证精确恢复方法所固有的,而DNN重建对此类攻击更具鲁棒性。
2024-01-11 cs.CV cs.LG eess.IV
Self-Generative Adversarial Fine-Tuning for Large Language Models
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Beijing Institute of Mathematical Sciences and Applications(北京数学科学研究院)
本文提出SGALM,通过生成对抗游戏实现大语言模型的对齐微调,无需外部奖励模型,达到最先进的性能。
2026-02-01 cs.LG
Adversarial generalization of unfolding (model-based) networks
LAMSADE, Paris Dauphine - PSL Research University(巴黎Dauphine-PSL研究大学LAMSADE)
本文首次对展开网络在对抗攻击下的泛化能力进行理论分析,并通过实验验证了其对抗鲁棒性的提升方法。
2026-02-06 cs.LG
Adversarial Robust Low Rank Matrix Estimation: Compressed Sensing and Matrix Completion
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);Center for Advanced Integrated Intelligence Research, RIKEN(理化学研究所先进综合智能研究中心)
本文提出基于Huber损失与核范数惩罚的统一方法,解决对抗污染下的低秩矩阵估计,获得比以往更尖锐的误差界。
2024-05-24 cs.LG math.ST stat.ML
Few-Shot Adversarial Low-Rank Fine-Tuning of Vision-Language Models
本文提出AdvCLIP-LoRA,首个在少样本场景下增强LoRA微调CLIP模型对抗鲁棒性的方法,通过极小极大优化低秩适配器与扰动,在八个数据集上实现最先进的鲁棒性能。
2025-09-26 cs.LG
Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院)
本文提出在预训练语言模型隐藏层间插入随机自编码器生成多视图压缩表示,以缓解低资源微调中的过拟合问题,并在推理时移除自编码器,从而在不增加推理开销的情况下提升多种低资源NLP任务性能。
2023-05-26 cs.AI cs.CL cs.LG
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University(湾大大学);Fuzhou University(福州大学)
该研究针对拟阵约束下的对抗博弈子模极大化问题,提出基于平衡分数交换的多项式时间算法,实现次线性regret,是该方向首个此类算法。
2026-08-26 cs.LG
Efficient Fine-Tuning of Compressed Language Models with Learners
McGill University(麦吉尔大学)
微调基于BERT的模型在内存、计算和时间方面是资源密集型的。虽然许多现有的工作旨在通过压缩技术来提高推理效率,例如,修剪,这些工作没有明确地解决训练下游任务的计算挑战。我们引入了学习者模块和启动,新的微调方法,利用预训练的语言模型的过度参数化,以获得收敛速度和资源利用率的好处。学习器模块通过微调参数子集来有效地进行训练,以及2)通过确保快速收敛和高度量分数来有效地进行训练。我们在DistilBERT上的结果表明,学习者的表现与基线相当或超过基线。学习者训练的参数比GLUE上最先进的方法少7倍。在CoLA上,学习者微调速度快20%,资源利用率显著降低。
2022-08-03 cs.CL cs.LG
Hierarchical Perception Adversarial Learning Framework for Compressed Sensing MRI
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);Royal Brompton Hospital(皇家布朗普顿医院);Imperial College London(伦敦帝国理工学院)
长的采集时间限制了磁共振成像(MRI)的可访问性,因为它会导致患者不适和运动伪影。尽管已经提出了几种MRI技术来减少采集时间,但是磁共振成像(CS-MRI)中的压缩感知使得能够在不损害SNR和分辨率的情况下快速采集。然而,现有的CS-MRI方法遭受混叠伪影的挑战。这一挑战导致了类似噪声的纹理和丢失的细节,从而导致不令人满意的重建性能。为了应对这一挑战,我们提出了一个分层感知对抗学习框架(HP-ALF)。HP-ALF可以通过图像级感知和块级感知两种层次机制来感知图像信息。前者可以减少整个图像的视觉感知差异,从而实现混叠伪影的去除。后者可以减少图像区域中的这种差异,从而恢复精细的细节。具体地说,HP-ALF通过利用多级视角判别实现了层次化机制。这种区分可以从两个角度(整体和区域)为对抗性学习提供信息。它还利用全局和局部一致性训练来在训练期间向生成器提供结构信息。此外,HP-ALF包含一个上下文感知学习块,可以有效地利用各个图像之间的切片信息,以获得更好的重建性能。在三个数据集上的实验验证了HP-ALF的有效性及其相对于比较方法的优势。
2023-01-27 cs.CV cs.LG eess.IV
Robust Graph Fine-Tuning with Adversarial Graph Prompting
School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学);State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology(光电信息采集与防护技术国家重点实验室)
本文提出对抗图提示(AGP)方法,通过整合对抗学习提升图神经网络在对抗噪声下的鲁棒性,并在多个基准任务上验证了其有效性。
2026-01-01 cs.LG
TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks
School of Computer Science and Engineering(计算机科学与工程学院);Center for Intelligent Networking and Communications(智能网络与通信中心);School of Computer Science(计算机科学学院);Beijing University of Posts and Telecommunications(北京邮电大学)
针对无线设备资源受限下大模型微调难题,提出TSFLora框架,通过注意力引导的令牌选择、合并、低比特量化及LoRA适配器,在分割联邦训练中压缩中间令牌序列,显著降低通信开销和内存占用,同时保持精度。
2026-05-17 cs.DC cs.LG
Deep Generative Adversarial Networks for Compressed Sensing Automates MRI
Stanford University(斯坦福大学)
磁共振图像(MRI)重建是需要时间和资源密集型计算的严重不适定的线性逆任务,其可以在实时成像中实质上权衡{\it精度}和{ \it速度}。此外,最先进的压缩感测(CS)分析无法识别图像{ \it诊断质量}。为了应对这些挑战,我们提出了一种新的CS框架,该框架渗透了生成对抗网络(GAN)的优点,以训练来自历史患者的诊断质量MR图像的(低维)流形。利用最小二乘(LS)GANs和逐像素$\ell_1$成本的混合,具有跳过连接的深度残差网络被训练为生成器,该生成器通过投影到流形上来学习去除{ \it混叠}伪影。LSGAN学习纹理细节,而$\ell_1$控制高频噪声。然后基于诊断质量图像联合训练多层卷积神经网络以区分投影质量。测试阶段在发电机网络上执行前馈传播,这需要非常低的计算开销。对儿科患者的大型对比增强MR数据集进行了广泛的评价。特别是,基于放射科专家评级的图像证实了GANCS检索相对于传统CS和像素方案具有详细纹理的高对比度图像。此外,它提供了几毫秒内的重建,比最先进的CS-MRI方案快两个数量级。
2017-05-31 cs.CV cs.LG stat.ML
Domain Adversarial Fine-Tuning as an Effective Regularizer
National Technical University of Athens(雅典国立技术大学);University of Sheffield(谢菲尔德大学);LMU Munich(慕尼黑大学);Athens University of Economics and Business(雅典经济与商业大学)
在自然语言处理(NLP)中,最近已经证明,被转移到下游任务的预训练的语言模型(LM)可以实现最先进的结果。然而,标准的微调可能会降低预训练期间捕获的通用域表示。为了解决这个问题,我们引入了一种新的正则化技术,AFTER;域对抗性微调作为有效的正则化器。具体来说,我们用对抗性目标补充了微调过程中使用的特定于任务的损失。这个额外的损失项与对抗分类器有关,其目的是区分域内和域外文本表示。域内是指手头任务的标记数据集,而域外是指来自不同域的未标记数据。直观地说,对抗分类器充当正则化器,防止模型过度拟合特定于任务的域。对各种自然语言理解任务的实证结果表明,与标准微调相比,AFTER可以提高性能。
2020-10-05 cs.LG stat.ML
AutoEncoder-Compressed Parallel Split Learning for Pre-trained Model Fine-Tuning
Eindhoven University of Technology(埃因霍温理工大学)
针对资源受限边缘设备上大规模基础模型分布式微调的局限,提出AE-PSL框架,利用轻量级自动编码器压缩中间激活值和梯度,并引入两阶段对齐机制,提升通信效率与模型兼容性。
2026-07-21 cs.DC cs.LG
Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients
The Hong Kong Polytechnic University(香港理工大学);OceanBase, Ant Group(蚂蚁集团OceanBase);School of Management, Xi’an Jiaotong University(西安交通大学管理学院);School of Mathematics and Statistics, Xidian University(西安电子科技大学数学与统计学院);School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, China University of Geosciences(中国地质大学计算机学院)
针对基础模型联邦学习的资源不对称问题,提出FedSLM框架,通过SVD分解等技术实现异构压缩客户端的联邦微调,实验显示其在多基准上优于现有基线且客户端内存需求更低。
2026-08-03 cs.AI cs.LG
ALMOST: Adversarial Learning to Mitigate Oracle-less ML Attacks via Synthesis Tuning
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校);University of Calgary(卡尔加里大学)
无Oracle机器学习(ML)攻击已经破坏了各种逻辑锁定方案。定期合成,这是专门为面积功率延迟优化,产生网表的关键门的地方容易受到学习。因此,我们呼吁安全意识的逻辑合成。我们提出了ALMOST,这是一个对抗性学习的框架,通过合成调整来减轻无预言机器学习攻击。ALMOST使用基于模拟退火的合成配方生成器,采用经过对抗训练的模型,可以预测各种配方和密钥门位置上最先进的攻击准确性。在ISCAS基准测试上的实验证实,对于几乎合成的电路,攻击的准确率下降到50%左右,而不会破坏设计优化。
2023-03-06 cs.CR cs.LG