Can Large Language Models Change User Preference Adversarially?
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
预训练的大语言模型(LLM)在主流应用中变得越来越强大和普遍,例如作为个人助理、对话模型等。随着这些模型变得精通于推断用户偏好并提供量身定制的帮助,人们越来越关注这些模型影响、修改和在极端情况下操纵用户偏好的能力。这些模型在对抗性环境中缺乏可解释性的问题在很大程度上仍未解决。本文试图从注意力探测、红队测试和白盒分析的角度研究用户偏好中的对抗行为。具体而言,它提供了现有文献的鸟瞰图,为ChatGPT和GODEL等对话模型提供了红队测试样本,并在后者中探索了非对抗性和对抗性设置的注意力机制。
2023-01-05 cs.CL cs.LG
Cultural Value Alignment in Large Language Models: A Prompt-based Analysis of Schwartz Values in Gemini, ChatGPT, and DeepSeek
University of Basel(巴塞尔大学);University of Zurich(苏黎世大学)
本研究通过施瓦茨价值观问卷分析Gemini、ChatGPT和DeepSeek的文化价值对齐,发现DeepSeek弱化自我增强价值观,体现集体主义倾向,并提出多视角推理等对齐方法。
2025-05-21 cs.CL
Towards a Robust Detection of Language Model Generated Text: Is ChatGPT that Easy to Detect?
Inria(法国国家信息与自动化研究所)
本研究提出法语文本ChatGPT检测器的开发评估方法,通过英译法数据集训练分类器,发现检测器域内有效且有一定抗攻击能力,但域外存在漏洞,提醒推广结果需谨慎,并开源了相关资源。
2023-06-09 cs.CL
Experimental evidence of progressive ChatGPT models self-convergence
研究通过文本相似性度量评估不同ChatGPT模型生成文本多样性,发现近期版本在显式提示下生成文本多样性下降,可能由于训练数据中合成数据量增加导致模型自我收敛。
2026-03-16 cs.AI cs.CL
Reasoning before Responding: Integrating Commonsense-based Causality Explanation for Empathetic Response Generation
Kyoto University(京都大学)
提出基于常识的因果解释方法,兼顾用户与系统双视角,结合上下文学习增强ChatGPT推理,并整合至T5模型,在自动与人工评估中优于现有方法。
2023-09-05 cs.AI cs.CL
What is the Best Way for ChatGPT to Translate Poetry?
University of Macau(澳门大学)
本文研究 ChatGPT 在英汉诗歌翻译中的最佳使用方式,提出解释辅助诗歌机器翻译(EAPMT)方法,利用单语诗歌解释指导翻译,并通过专业诗人评估和 GPT-4 验证其优于传统 ChatGPT 翻译及现有在线系统。
2024-06-05 cs.AI cs.CL
Not-in-Perspective: Towards Shielding Google's Perspective API Against Adversarial Negation Attacks
Department of Computer Science(计算机科学系);Kennesaw State University(肯尼斯州立大学);School of Cybersecurity and Privacy(网络安全与隐私学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于形式推理的方法,用于防护谷歌Perspective API对抗性否定攻击,提升毒性检测的准确性和有效性。
2026-02-10 cs.AI cs.CL
EmoXpt: Analyzing Emotional Variances in Human Comments and LLM-Generated Responses
SUNY Polytechnic Institute(纽约州立大学理工学院);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本研究提出EmoXpt情感分析框架,分析人类关于生成式AI的推文及ChatGPT的对应回复,发现大语言模型生成的回复比人类回复更高效、连贯且情绪更积极。
2026-10-14 cs.AI cs.CL cs.HC
An Adversarial Perspective on Machine Unlearning for AI Safety
ETH Zurich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
本文从对抗视角证明现有越狱方法经谨慎应用可攻破机器遗忘,并提出自适应方法恢复被RMU等遗忘方法移除的危险能力,从而质疑遗忘方法相比安全训练的鲁棒性优势。
2025-05-31 cs.AI cs.CL cs.CR
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布,并由此解释鲁棒过拟合现象,提出自动校准标签的方法,在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill(统计与运筹学系,北卡罗来纳大学教堂山分校);Department of Mathematics, Purdue University(数学系,普渡大学)
本文提出TART方法,通过利用数据流形几何提升清洁数据准确性,同时保持对抗鲁棒性。
2026-04-16 cs.AI cs.CR cs.LG
Towards a Novel Perspective on Adversarial Examples Driven by Frequency
University of Electronic Science and Technology of China(电子科技大学);The School of Information and Software Engineering(信息与软件工程学院)
本文利用小波包分解分析对抗扰动的频域特征,发现显著扰动位于低频段的高频成分,并据此提出组合频段的黑盒攻击,平均成功率达99%。
2024-04-16 cs.AI cs.LG
Constructing Semantics-Aware Adversarial Examples with a Probabilistic Perspective
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
本文提出一种概率视角下的语义感知对抗样本生成方法,在保持图像整体语义的同时进行大规模像素修改,从而在难以被人类察觉的情况下更有效地绕过对抗防御机制。
2024-11-24 cs.CR cs.LG stat.ML
"Only ChatGPT gets me": An Empirical Analysis of GPT versus other Large Language Models for Emotion Detection in Text
LIRMM UM5506 - CNRS, Université de Montpellier(蒙彼利埃大学、法国国家科学研究中心联合LIRMM UM5506实验室)
本文实证比较了 GPT 与其他大型语言模型在 GoEmotions 数据集上的文本情绪检测能力,发现 GPT 表现突出,为提升人机交互中的情感理解提供了依据。
2025-03-05 cs.AI cs.CL
Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective
Shanghai Jiao Tong University(上海交通大学)
虽然快速对抗训练提供了一种构建鲁棒网络的有效方法,但它可能会遇到一个严重的问题,称为灾难性过拟合(CO),其中多步鲁棒准确性突然崩溃为零。在本文中,我们首次将单步对抗示例解耦为数据信息和自信息,这揭示了一个有趣的现象,称为“自拟合”。自适应,即,当网络发生自拟合时,网络出现明显的“通道分化”现象,即一些用于识别自信息的卷积通道占优势,而另一些用于识别数据信息的卷积通道被抑制。这样,网络只能识别具有足够自信息的图像,而失去了对其他类型数据的泛化能力。基于自拟合,我们对现有方法提供了新的见解,以减轻CO并将CO扩展到多步对抗训练。我们的研究结果揭示了对抗训练中的自我学习机制,并为抑制不同类型的信息以减轻CO开辟了新的视角。
2023-03-24 cs.AI cs.CV cs.LG
READ: Improving Relation Extraction from an ADversarial Perspective
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对关系抽取模型过度依赖实体、泛化能力不足的问题,提出结合序列/token级扰动、独立扰动词表和上下文干净token概率保留的对抗训练方法READ,提升了准确率、鲁棒性及低资源表现。
2024-04-02 cs.AI cs.CL
Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT
Tsinghua University(清华大学);Shanghai University of Finance and Economics(上海财经大学)
该研究通过覆盖195国、多种温度与提示类型的4,680段中英话语,系统评估 ChatGPT 的国籍偏见,发现其总体正面但仍反映现实偏见且具有语言文化差异。
2024-05-11 cs.CL
Lion: Adversarial Distillation of Proprietary Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
提出对抗性蒸馏框架,通过教师模型识别并生成困难指令,以三阶段对抗循环提升学生模型能力,仅用70k数据训练出Lion-13B,在零样本推理基准上超越SOTA模型。
2023-10-14 cs.CL
When and Why Adversarial Training Improves PINNs: A Neural Tangent Kernel Perspective
School of Mathematics and Statistics, Beijing Institute of Technology, China(北京理工大学数学与统计学院,中国);School of Professional Education and Executive Development The Hong Kong Polytechnic University, China(香港理工大学专业教育学院及管理发展学院,中国);Department of Computer Science & UCL AI Centre, University College London, UK(伦敦大学学院计算机科学系及UCL人工智能中心,英国)
本文从神经 tangent 核角度分析对抗训练提升PINNs的机制,提出理论框架并设计高效算法,实验证明能显著改善PINNs训练病理,提升模型精度。
2026-10-15 cs.AI cs.LG
Concept-based Adversarial Attack: a Probabilistic Perspective
University of Warwick(沃里克大学);University of Manchester(曼彻斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Edinburgh(爱丁堡大学);University of Aalto(阿alto大学)
本文提出一种基于概念的对抗攻击方法,通过概率视角生成多样化的对抗示例,保持原始概念以误导分类器,提升攻击效率。
2026-02-26 cs.AI cs.CV
Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams
Queen’s University(女王大学);Virginia Tech(弗吉尼亚理工大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
本研究通过模拟CFA考试评估ChatGPT和GPT-4的金融推理能力,涵盖零样本、思维链和少样本场景,分析其性能与局限,并探讨提升LLMs在金融领域适用性的策略。
2023-10-12 cs.AI cs.CL q-fin.GN
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab(Criteo人工智能实验室);Amazon(亚马逊);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了神经网络(NN)拓扑结构对对抗鲁棒性的影响。具体来说,我们研究了当输入遍历NN的所有层时产生的图,并表明这些图对于干净的和对抗性的输入是不同的。我们发现,来自干净输入的图形更集中在高速公路边缘,而来自对手的图形则更分散,利用了优化不足的边缘。通过在各种数据集和架构上的实验,我们证明了这些优化不足的边缘是对抗性脆弱性的来源,它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Language-Dependent Political Bias in AI: A Study of ChatGPT and Gemini
Ostim Technical University(奥斯特姆技术大学);Ankara University(安卡拉大学)
本研究通过14种语言测试ChatGPT和Gemini的政治倾向,发现两者均存在自由主义和左翼偏见且随查询语言变化,其中Gemini倾向更明显,并据此提出AI应承认并管理而非否认政治倾向的伦理建议。
2025-04-08 cs.AI cs.CL cs.ET
Do LLMs produce texts with "human-like" lexical diversity?
Northern Arizona University(北亚利桑那大学);Brigham Young University – Hawaii(杨百翰大学夏威夷分校)
本研究发现,ChatGPT模型生成的文本在词汇多样性上与人类写作存在显著差异,新模型的文本比旧模型更不具有人类般的多样性。
2025-11-21 cs.CL
Understanding Robustness in Teacher-Student Setting: A New Perspective
Tsinghua University(清华大学);Columbia University(哥伦比亚大学);Facebook AI Research(Facebook人工智能研究)
对抗性示例已经成为机器学习模型的一个普遍属性,其中有界对抗性扰动可能会误导模型做出任意错误的预测。这样的示例提供了一种评估机器学习模型的鲁棒性的方法,以及用于理解模型训练过程的代理。广泛的研究试图解释对抗性示例的存在,并提供提高模型鲁棒性的方法(例如对抗性训练)。虽然它们主要关注在具有预定义标签的数据集上训练的模型,但我们利用教师-学生框架并假设教师模型或Oracle为给定实例提供标签。我们在低秩输入数据的情况下扩展了Tian(2019),并表明学生专业化(训练的学生神经元与同一层的某些教师神经元高度相关)仍然发生在输入子空间内,但教师和学生节点可能在数据子空间外差异很大,我们推测这会导致对抗性示例。大量的实验表明,学生专业化与不同场景下的模型鲁棒性密切相关,包括通过标准训练,对抗训练,置信度校准对抗训练以及使用鲁棒特征数据集进行训练的学生。我们的研究可以为未来关于对抗性示例的探索以及通过有原则的数据增强来增强模型的鲁棒性提供启示。
2021-03-01 cs.AI cs.LG
Boosting Barely Robust Learners: A New Perspective on Adversarial Robustness
Toyota Technological Institute at Chicago(芝加哥丰田工学院);University of Waterloo(滑铁卢大学)
我们提出了一个预言机有效的算法,以提高几乎没有强大的学习者的对抗鲁棒性。几乎没有鲁棒性的学习算法只在数据分布的一小部分$β\ll 1$上学习对抗鲁棒的预测器。我们提出的概念,几乎没有强大的学习需要鲁棒性相对于一个“更大的”扰动集,我们表明这是必要的强鲁棒学习,弱松弛是不够的强鲁棒学习。我们的研究结果揭示了两个看似无关的问题之间的定性和定量等价性:强鲁棒学习和勉强鲁棒学习。
2022-02-11 cs.LG stat.ML
Comparative Analysis of Drug-GPT and ChatGPT LLMs for Healthcare Insights: Evaluating Accuracy and Relevance in Patient and HCP Contexts
本研究在医疗问答场景下比较了 Drug-GPT 3、Drug-GPT 4 和 ChatGPT,发现基于患者和 HCP 社交媒体精选数据集的 Drug-GPT 模型比特通用 ChatGPT 提供更具针对性和深度的见解。
2023-07-24 cs.AI cs.CL
GPT as ghostwriter at the White House
University of Neuchatel(纳沙泰尔大学)
本研究通过对比 ChatGPT 3.5 生成的国情咨文与里根至奥巴马时期的真实总统国情咨文,分析其写作风格,发现其过度使用“we”、名词和逗号,动词较少,句子更长,语气中立且含积极情感表达,风格与真实演讲有显著差异。
2024-11-27 cs.AI cs.CL cs.CY
Understanding Robust Overfitting from the Feature Generalization Perspective
The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学)
本文从特征泛化视角研究鲁棒过拟合,发现对抗扰动会降低自然数据特征的泛化能力,并提出通过调整攻击强度和数据增强来缓解过拟合并提升对抗鲁棒性。
2024-07-29 cs.LG
Domain Adversarial Training: A Game Perspective
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
领域自适应的主要工作集中在使用领域对抗训练来学习不变表示。在本文中,我们从博弈论的角度来解释这种方法。将领域对抗训练中的最优解定义为局部纳什均衡,我们证明了领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证,通常会阻碍传输性能。我们的分析使我们用高阶ODE求解器(即,Runge-Kutta),我们得到渐近收敛保证。这一系列优化器明显更稳定,并允许更积极的学习率,从而在用作标准优化器的直接替代品时获得更高的性能增益。我们的实验表明,结合最先进的领域对抗方法,我们在不到一半的训练迭代中实现了高达3.5%的改进。我们的优化器很容易实现,没有额外的参数,并且可以插入任何领域对抗框架。
2022-02-10 cs.CV cs.GT cs.LG
BERT Lost Patience Won't Be Robust to Adversarial Slowdown
Oregon State University(俄勒冈州立大学)
本文提出WAFFLE攻击,系统评估多出口语言模型对对抗性减速的鲁棒性,发现机制越复杂越脆弱,对抗训练无效但ChatGPT输入净化有效,呼吁开发高效鲁棒的多出口模型。
2023-10-31 cs.CL cs.CR cs.LG
A Frequency Perspective of Adversarial Robustness
University of Maryland(马里兰大学);Facebook AI Research(Facebook人工智能研究院)
对抗性示例对深度学习系统提出了独特的挑战。尽管最近在攻击和防御方面都取得了进展,但社区中仍然缺乏关于对抗性示例的真实性质和潜在属性的清晰度和共识。深入了解这些示例可以为开发更有效的攻击和防御提供新的见解。在对抗性示例是高频噪声这一常见误解的驱动下,我们提出了一种基于频率的对抗性示例理解,并得到了理论和实证研究结果的支持。我们的分析表明,对抗性示例既不在高频分量中,也不在低频分量中,而是简单地依赖于数据集。特别是,我们强调了在CIFAR-10和ImageNet衍生数据集上训练的模型之间的明显差异。利用这个框架,我们分析了训练具有频率约束的鲁棒模型的许多有趣的特性,并提出了一个基于频率的解释常见的准确性与鲁棒性的权衡。
2021-10-26 cs.CV cs.LG
KGPA: Robustness Evaluation for Large Language Models via Cross-Domain Knowledge Graphs
Waseda University(早稻田大学);Southeast University(东南大学);Wuhan University(武汉大学)
本文提出KGPA框架,利用跨领域知识图谱生成对抗性提示,系统评估大语言模型的鲁棒性,并揭示了ChatGPT系列模型鲁棒性排序及专业领域对鲁棒性的影响。
2024-06-16 cs.AI cs.CL
Lower Difficulty and Better Robustness: A Bregman Divergence Perspective for Adversarial Training
Xidian University(西安电子科技大学)
本文通过Bregman散度视角研究对抗训练,发现TRADES比PGD-AT更易优化且高熵模型鲁棒性更好,据此提出FAIT和MER方法以降低10步PGD对手下的优化难度并提升鲁棒性。
2024-01-05 cs.LG
Toward Few-step Adversarial Training from a Frequency Perspective
Intel Labs(英特尔实验室)
我们从频域的角度研究对抗样本生成方法,并将标准的$l_{\infty}$投影梯度下降(PGD)扩展到频域。由此产生的方法,我们称之为光谱投影梯度下降(SPGD),具有更好的成功率相比,PGD在该方法的早期步骤。当攻击步骤数量保持不变时,使用SPGD的对抗训练模型与PGD相比实现了更高的对抗准确性。因此,使用SPGD可以在使用具有较少步骤的对抗生成时减少对抗训练的开销。然而,我们也证明了SPGD是等价的PGD通常用于$l_{\infty}$威胁模型的一个变体。该PGD变体省略了通常应用于梯度的符号函数。因此,可以在不显式地变换到频域的情况下执行SPGD。最后,我们可视化SPGD产生的扰动,发现它们使用高频和低频分量,这表明去除高频分量或低频分量都不是有效的防御。
2020-10-13 cs.LG stat.ML
Adversarial Training from Mean Field Perspective
The University of Tokyo(东京大学);Chiba University(千叶大学)
本研究从平均场视角出发,提出新理论框架,在无数据分布假设下分析随机深度网络的对抗训练,推导对抗损失上界,证明无捷径网络难训练、对抗训练降容量且宽度可缓解等结论。
2025-05-20 cs.CV cs.LG stat.ML
Perturbation Analysis of Learning Algorithms: A Unifying Perspective on Generation of Adversarial Examples
RWTH Aachen University(亚琛工业大学)
尽管深度神经网络在各种学习问题中取得了巨大的成功,但已经观察到,向这些架构的输入添加有意设计的对抗性扰动会导致在预测中具有高置信度的错误分类。在这项工作中,我们提出了一个一般框架的基础上扰动分析的学习算法,其中包括凸规划,并能够恢复许多当前的对抗攻击的特殊情况。该框架可以用来提出新的攻击学习算法的分类和回归任务下的各种新的约束条件下,在许多情况下,封闭形式的解决方案。特别是,我们得到新的攻击分类算法,以实现可比的性能显着的现有攻击。然后,该框架被用来生成对抗扰动的回归任务,其中包括单像素和单子集攻击。通过将该方法应用于自动编码和图像着色任务,表明对抗性扰动也可以有效地扰动回归任务的输出。
2018-12-15 cs.AI cs.IT cs.LG
RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training
KAIST(韩国科学技术院);Meta AI;HKUST(香港科技大学);USTC(中国科学技术大学);Virginia Tech(弗吉尼亚理工大学)
本文提出 RoAST 微调方法,通过在对抗扰动输入上训练并按参数重要性选择性更新,统一提升语言模型的多视角鲁棒性。
2023-12-07 cs.CL cs.LG
Adversarial Attacks and Defenses: An Interpretation Perspective
Texas A&M University(得克萨斯农工大学);Arizona State University(亚利桑那州立大学)
尽管最近在广泛的应用中取得了进展,但机器学习模型,特别是深度神经网络,已被证明容易受到对抗攻击的攻击。攻击者在输入中添加精心制作的扰动,这些扰动几乎是人类无法察觉的,但可能导致模型做出错误的预测。保护模型免受对抗性输入的技术称为对抗性防御方法。尽管已经提出了许多方法来研究不同场景下的对抗攻击和防御,但如何真正理解模型脆弱性仍然是一个有趣而关键的挑战。受“知己知彼,百战不殆”这句谚语的启发,我们可以在解释机器学习模型以打开黑匣子之后解决上述挑战。模型解释或可解释的机器学习的目标是为模型的工作机制提取人类可理解的术语。最近,一些方法开始将解释纳入对抗攻击和防御的探索中。同时,我们也观察到许多现有的对抗攻击和防御方法,虽然没有明确声明,但可以从解释的角度来理解。在本文中,我们回顾了最近的工作对抗攻击和防御,特别是从机器学习解释的角度。我们将解释分为两种类型,特征级解释和模型级解释。对于每种类型的解释,我们详细说明了它如何用于对抗攻击和防御。然后,我们简要说明解释和对手之间的其他相关性。最后,我们讨论了挑战和未来的方向,沿着解决对手的问题与解释。
2020-10-07 cs.CV cs.LG stat.ML
Chatbot-supported Thesis Writing: An Autoethnographic Report
Bauhaus-Universität Weimar(魏玛包豪斯大学);Hochschule Weserbergland(韦瑟贝格应用科学大学)
本文通过自我民族志方法记录并分析利用ChatGPT撰写学士论文的过程,发现其在头脑风暴、结构组织和文本修改方面有益,但仍需学习者持续验证与投入,从而论证论文写作仍是有效的学习与考核形式。
2023-10-14 cs.CL cs.CY cs.HC
Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective
Michigan State University(密歇根州立大学);Sun Yat-sen University(中山大学)
提高卷积神经网络的对抗鲁棒性的努力主要集中在开发更有效的对抗训练方法上。相比之下,很少有人关注分析架构元素(如拓扑,深度和宽度)对对抗鲁棒性的作用。本文试图弥合这一差距,并提出了一个整体的研究架构设计对抗鲁棒性的影响。我们专注于残差网络,并考虑块级的架构设计,即,拓扑、内核大小、激活和归一化,以及在网络缩放级别,即,网络中每个块的深度和宽度。在这两种情况下,我们首先通过系统的烧蚀实验获得见解。然后,我们设计了一个强大的残差块,称为RobustResBlock,和一个复合缩放规则,称为RobustScaling,以分配深度和宽度在所需的FLOP计数。最后,我们将RobustResBlock和RobustScaling结合起来,并提出了一个对抗鲁棒性残差网络组合RobustResNets,涵盖广泛的模型容量。在多个数据集和对抗攻击的实验验证表明,RobustResNets始终优于标准WRN和其他现有的健壮架构,在没有额外数据的情况下实现了61.1%的最先进的AutoAttack健壮准确率,在500K外部数据的情况下达到了63.7%,同时$2\times$在参数方面更加紧凑。代码可在\url{ https://github.com/zhichao-lu/robust-residual-network}上获得
2022-12-21 cs.AI cs.CR cs.CV
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
批量归一化(BN)由于改进了收敛性而被广泛用于现代深度神经网络(DNN)中。观察到BN提高了模型的准确性,同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响,特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说,准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征(RF)或非鲁棒特征(NRF)。我们的工作提出了实证证据,支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变,我们提出了一个框架,用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解,例如DNN首先主要学习RF,然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong(香港城市大学)
深度神经网络(DNN)的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性,及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的,增加有效权范数将使损失趋近于零,其梯度为零,而有效裕度没有充分地最大化。在典型的DNN上,我们证明了,如果没有适当的正则化,标准训练不会学习大的有效裕度,并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN,我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明,所提出的有效边缘正则化(EMR)学习了大的有效边缘,并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上,我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线,并有了实质性的改进。此外,当与几种强大的对抗性防御方法(MART和MAIL)相结合时,我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective
Michigan State University(密歇根州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Purdue University(普渡大学);Amazon(亚马逊)
本文针对预训练模型的对抗鲁棒性可被下游任务继承的现象提供理论解释,揭示两层神经网络中特征纯化的关键作用,证明对抗训练能纯化隐藏节点,使下游任务经干净训练就具备对抗鲁棒性,结论适用于监督预训练和对比学习。
2024-01-26 cs.LG stat.ML
Improving robustness of language models from a geometry-aware perspective
Guangzhou University(广州大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang University of Technology(浙江工业大学)
最近的研究发现,在对抗训练中去除范数有界投影和增加搜索步骤可以显着提高鲁棒性。然而,我们观察到,太多的搜索步骤可能会损害准确性。我们的目标是使用更少的步骤有效地获得强大的鲁棒性。通过一个玩具实验,我们发现,扰动干净的数据的决策边界,但不跨越它不会降低测试精度。受此启发,我们提出了友好对抗数据增强(FADA)来生成友好对抗数据。在FADA的基础上,我们提出了几何感知对抗训练(GAT)来对友好的对抗数据进行对抗训练,这样我们就可以节省大量的搜索步骤。在两个广泛使用的数据集和三个预先训练好的语言模型上的综合实验表明,GAT可以通过更少的步骤获得更强的鲁棒性。此外,我们提供了广泛的实证结果和深入的分析鲁棒性,以促进未来的研究。
2022-04-28 cs.CL
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
人们对对抗攻击的兴趣日益高涨,这源于人类视觉与深度神经网络(DNN)之间的不一致,即人类难以察觉的扰动欺骗了DNN。此外,可以生成通常称为通用对抗扰动(UAP)的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象,其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析,并揭示了(a)频率是影响其性能的关键因素,基于所提出的用于量化频率分布的熵度量;(b)他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析,以深入了解模型的泛化和鲁棒性。此外,我们还提出了两种新的通用扰动变体:(1)通用秘密对抗扰动(USAP),同时实现攻击和隐藏;(2)高通UAP(HP-UAP),人眼不太可见。
2021-02-12 cs.CV cs.LG
A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness
University of Maine(缅因大学);Pacific Northwest National Lab(太平洋西北国家实验室)
本文提出半鲁棒性概念及理论框架,证明鲁棒子网络在足够层间依赖下可保证全网络鲁棒性,并通过多架构、多数据集和多攻击实验验证了该机制。
2023-07-07 cs.LG
Adversarial Machine Learning: Bayesian Perspectives
ICMAT-CSIC;CUNEF Universidad(库内夫大学);Komorebi AI Technologies(Komorebi人工智能技术公司);Harvard Medical School(哈佛医学院)
本文指出AML中基于博弈论的共同知识假设不现实,提出用贝叶斯方法显式建模对手信念与利益的不确定性,以放宽假设并获得更稳健的推断,并在监督学习中加以说明。
2024-02-22 cs.AI cs.LG stat.CO
Does ChatGPT Have a Poetic Style?
University of Washington(华盛顿大学)
本研究通过让GPT-3.5和GPT-4生成多形式多主题的英文诗歌并与人类诗歌对比,发现其虽能生成符合表层形式要求的诗歌,但存在明显同质化风格倾向,约束性强于人类诗歌。
2024-10-30 cs.CL
The Uncanny Valley: Exploring Adversarial Robustness from a Flatness Perspective
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Ruhr University Bochum(波鸿鲁尔大学);Institute for AI in medicine (IKIM)(医学人工智能研究所);University Hospital Essen(埃森大学医院);Monash University(莫纳什大学)
本文从平坦性视角研究对抗鲁棒性,发现对抗攻击会使损失曲面先变尖锐再进入标签翻转的平坦“恐怖谷”,并理论证明鲁棒性需平坦性与低全局Lipschitz常数共同保证。
2025-03-10 cs.LG
Towards robust sensing for Autonomous Vehicles: An adversarial perspective
Centre for Intelligent Sensing, Queen Mary University of London(伦敦玛丽女王大学智能感知中心);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
自动驾驶汽车依赖于准确和强大的传感器观测,在各种条件下进行安全关键决策。这种系统的基本构建块是处理超声、雷达、GPS、激光雷达和相机信号的传感器和分类器~ \cite{Khan2018}。最重要的是,由此产生的决策对扰动具有鲁棒性,这些扰动可以采取不同类型的干扰和数据转换的形式,甚至可以是对抗性扰动(AP)。对抗性扰动是有目的地改变环境或感官测量,目的是攻击和击败自治系统。为了在快速发展的自动驾驶领域构建和部署更安全的系统,有必要仔细评估其传感系统的脆弱性。为此,我们调查了在对抗环境中的新兴领域的传感:在回顾了对自治系统的传感模式的对抗攻击后,我们讨论了对策并提出了未来的研究方向。
2020-07-14 cs.CR cs.LG eess.SP
On the Hardness of Robustness Transfer: A Perspective from Rademacher Complexity over Symmetric Difference Hypothesis Space
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学);Sony AI(索尼人工智能研究院)
最近的研究表明,在$\ell_\infty$攻击下的对抗鲁棒学习比标准的领域自适应更难推广到不同的领域。如何在不同领域之间传递鲁棒性是领域自适应研究的一个关键问题。为了研究对抗性鲁棒领域自适应(或鲁棒性转移)背后的根本困难,我们提出分析控制跨领域泛化的关键复杂性度量:{ \em对称差异假设空间} $\mathcal{H} Δ\mathcal{H}$上的对抗性Rademacher复杂性。对于线性模型,我们表明,这种复杂性的对抗版本总是大于非对抗版本,这揭示了对抗鲁棒领域自适应的内在硬度。我们还建立了这个复杂性措施的上限。然后,我们将它们扩展到ReLU神经网络类,通过在二进制分类设置中上界对抗Rademacher复杂度。最后,尽管鲁棒领域自适应被证明是困难的,我们确实发现鲁棒学习和标准领域自适应之间的正相关关系。我们解释\emph{how adversarial training helps domain adaptation in terms of standard risk}。我们相信,我们的研究结果启动了对抗鲁棒领域自适应的泛化理论研究,并可能揭示分布式对抗鲁棒学习的异构来源,例如,联邦学习场景。
2023-02-23 cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University(比勒费尔德大学)
近年来,机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度,但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具,并在最近的对抗鲁棒性出版物中使用。在这项工作中,我们使用最近提出的鲁棒性曲线表明,逐点测量未能捕获重要的全局属性,这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法,并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外,我们的特点规模作为一种方式来区分小的和大的扰动,并将其与数据集的固有属性,表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验,其中包括一个Python模块,用于计算任意数据集和分类器的鲁棒性曲线,支持许多框架,包括TensorFlow,PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Understanding and Improvement of Adversarial Training for Network Embedding from an Optimization Perspective
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Beijing Normal University(北京师范大学)
网络嵌入的目的是学习一个函数,将节点映射到欧几里得空间,有助于网络上的多个学习分析任务。然而,真实世界网络背后的噪声信息和过拟合问题都会对嵌入向量的质量产生负面影响。为了解决这些问题,研究人员利用对抗训练网络嵌入(AdvTNE)并实现最先进的性能。与主流方法对网络结构或数据特征进行扰动不同,AdvTNE直接对模型参数进行扰动,这为理解其背后的机制提供了新的机会。在本文中,我们解释AdvTNE理论从优化的角度。考虑到网络的幂律特性和优化目标,分析了其优良性能的原因。根据上述分析,我们提出了一种新的激活,以提高性能的AdvTNE。我们在四个真实网络上进行了大量的实验,以验证我们的方法在节点分类和链接预测的有效性。结果表明,我们的方法是优于国家的最先进的基线方法。
2021-12-15 cs.LG