Adversarial Training with Generated Data in High-Dimensional Regression: An Asymptotic Study
Michigan State University(密歇根州立大学)
本文理论分析了两阶段对抗训练在高维线性回归中的渐近行为,发现适当L2正则化下其性能优于无岭训练,并提出了针对性的捷径交叉验证公式。
2023-06-21 cs.LG stat.ML
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO(联邦科学与工业研究组织数据61研究院);Monash University(莫纳什大学)
本文研究分布式预测器的对抗鲁棒性,提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验,并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Detecting Adversarial Examples in Learning-Enabled Cyber-Physical Systems using Variational Autoencoder for Regression
Vanderbilt University(范德堡大学)
学习使能组件(LEC)被广泛应用于信息物理系统(CPS),因为它们可以处理环境的不确定性和可变性,并提高自主性水平。然而,已经表明,诸如深度神经网络(DNN)之类的LEC并不健壮,并且对抗性示例可能导致模型做出错误的预测。本文考虑了在CPS中用于回归的LEC中有效检测对抗性示例的问题。所提出的方法是基于归纳共形预测,并使用基于变分自编码器的回归模型。该架构允许考虑输入和神经网络预测两者,以检测对抗性的,更一般地,分布外的示例。我们使用在自动驾驶汽车的开源模拟器中实现的高级紧急制动系统来演示该方法,其中DNN用于估计到障碍物的距离。仿真结果表明,该方法可以有效地检测敌对的例子,具有很短的检测延迟。
2020-03-21 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University(密歇根州立大学)
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响,提出清洁和对抗Rademacher复杂性的理论框架,证明位置编码扩大了泛化差距,并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题,提出带校正的对抗训练方案,证明其能达到上确界范数意义下的最优速率,并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Adversarial Weighting for Domain Adaptation in Regression
Michelin(米其林);EDF R&D(法国电力集团研发部)
我们提出了一种新的基于实例的方法来处理回归任务的背景下,监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设,即目标域上的任务可以有效地学习,在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异,根据一个特定的任务和一类假设。为了解决这个问题,我们开发了一种对抗网络算法,它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
用户生成的流数据(如社交媒体)中存在数据损坏,这激发了一个新的基本问题,即当特征不能一次完全访问时,学习可靠的回归系数。到目前为止,几个重要的挑战仍然无法同时处理:1)当只有部分特征可访问时,损坏的数据估计; 2)当数据包含对抗性损坏时,在线特征选择;以及3)扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择(\textit{RoOFS}),同时解决所有上述挑战。具体地说,该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比,最优解。在合成数据集和真实数据集上的大量实验表明,该方法在恢复特征选择和回归系数方面均优于现有方法,具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
Columbia University(哥伦比亚大学);University of Copenhagen(哥本哈根大学);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文从统计模型推导联邦回归中梯度异质性的动力学界限,并证明在对抗客户端比例小于1/2时,任何$(f,\kappa)$-鲁棒聚合器经样本预热后仍能收敛。
2026-09-23 cs.LG stat.ML
The Noise Premium in Adversarial Training for Kernel Regression
City University of Hong Kong(香港城市大学);Georgia Institute of Technology(佐治亚理工学院)
该研究从RKHS视角结合核积分算子分析对抗训练,推导泛化误差界并发现其统计精度损失源于鲁棒性与噪声的相互作用,提出两阶段去噪方法提升泛化速率。
2026-08-14 cs.LG stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories(NTT安全平台实验室);NTT Software Innovation Center(NTT软件创新中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对抗性训练正在被积极研究,以针对对抗性示例学习鲁棒模型。最近的一项研究发现,对抗训练的模型在对抗示例上的泛化性能会退化,因为它们的权重损失景观(即权重损失变化)是尖锐的。不幸的是,实验表明对抗性训练可以改善减肥效果,但这种现象尚未在理论上得到澄清。为此,本文从理论上对这一现象进行了分析。作为第一步,本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明,减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的,这在对抗训练中使用。我们从理论上和实验上证实,在线性逻辑斯谛回归模型中,随着对抗训练噪声的增加,体重减轻的情况变得更加尖锐。此外,我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
A Theoretical Study of The Effects of Adversarial Attacks on Sparse Regression
Purdue University(普渡大学)
本文分析了$\ell_1$正则化线性回归的挑战性的情况下,只有不利损坏的数据进行训练。我们使用原始-对偶见证范式来提供可证明的性能保证,以支持估计的回归参数向量与实际参数相匹配。我们的理论分析显示了一个反直觉的结果,即对手可以通过破坏不相关的特征来影响样本的复杂性,即,对应于回归参数向量的零系数的那些,其因此不影响因变量。由于任何对抗性的鲁棒算法都有其局限性,我们的理论分析确定了学习算法和对手可以相互支配的制度。它有助于我们分析这些基本限制,并解决关键的科学问题,即哪些参数(如互不相干性,协方差矩阵的最大和最小特征值,以及对抗扰动的预算)在LASSO算法成功概率的高低中起作用。此外,导出的样本复杂度是对数相对于回归参数向量的大小,我们的理论主张是通过实证分析合成和现实世界的数据集验证。
2022-12-22 cs.CR cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University(清华大学求真学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学auer数学科学中心)
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性,推导了Sobolev空间中的对抗回归最小最大最优速率,并证明了通过梯度流早停训练的NTK网络可达到该最优速率,但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
A Fundamental Accuracy--Robustness Trade-off in Regression and Classification
Sohail Bahmani(索海尔·巴哈米)
研究分类与回归中准确性与对抗鲁棒性的基本权衡,推导出在多项式岭函数下的具体表现,并提出以类似Poincaré常数的量表示的对抗鲁棒性必要条件。
2025-06-28 cs.LG stat.ML
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式,证明缺乏适当正则化时二者比标准核回归更易过拟合,而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Learning Universal Adversarial Perturbations with Generative Models
University College London(伦敦大学学院)
众所周知,神经网络容易受到对抗性示例的影响,这些示例是故意扰动的输入,以保持与源输入在视觉上相似,但会导致错误分类。最近的研究表明,给定一个数据集和分类器,存在所谓的通用对抗扰动,即当应用于任何输入时都会导致错误分类的单一扰动。在这项工作中,我们引入了通用对抗网络,这是一种生成网络,当它生成的输出被添加到数据集中的干净样本时,它能够欺骗目标分类器。我们表明,这种技术改进了已知的通用对抗攻击。
2018-01-05 cs.CR cs.LG stat.ML
Adversarial Regression with Doubly Non-negative Weighting Matrices
RIKEN AIP(理化学研究所先进智能项目中心);Akron University(阿克伦大学);Kyoto University(京都大学);Stanford University(斯坦福大学);VinAI Research(越南人工智能研究院)
许多涉及预测输出响应的机器学习任务可以通过训练加权回归模型来解决。不幸的是,这种类型的模型的预测能力可能会严重恶化下低样本量或协变量扰动。对训练样本进行重新加权是一种有效的缓解策略。在本文中,我们提出了一个新的和连贯的计划,核加权回归重新参数化的样本权重使用一个双非负矩阵。当加权矩阵被限制在一个不确定性集使用的对数行列式的分歧或Bures-瓦瑟斯坦距离,我们表明,逆向加权估计可以有效地解决使用一阶方法。数值实验表明,我们的重新加权策略在许多数据集上提供了有希望的结果。
2021-09-30 cs.LG math.OC stat.ML
Surprises in adversarially-trained linear regression
Uppsala University(乌普萨拉大学)
最先进的机器学习模型可能容易受到逆向构造的非常小的输入扰动的影响。对抗性训练是一种有效的方法来抵御这些例子。它被公式化为一个最小-最大问题,当训练数据被最坏情况的攻击破坏时,搜索最佳解决方案。对于线性回归问题,对抗训练可以被公式化为凸问题。我们使用这种重新表述来做出两个技术贡献:首先,我们将训练问题表述为鲁棒回归的一个实例,以揭示其与参数收缩方法的联系,特别是$\ell_\infty$ -对抗训练产生稀疏解。其次,我们研究了过参数化机制下的对抗训练,即当参数比数据多时。我们证明了具有小干扰的对抗训练给出了插值训练数据的最小范数的解决方案。岭回归和lasso方法在正则化参数为零的情况下逼近插值解。相比之下,对于对抗训练,过渡到插值机制是突然的,并且对于非零值的干扰。并用数值例子证明并说明了这一结果。
2022-10-20 cs.CR cs.LG eess.SP
Fairness-aware Regression Robust to Adversarial Attacks
University of California, Davis(加州大学戴维斯分校)
在本文中,我们朝着回答如何设计对对抗攻击具有鲁棒性的公平机器学习算法的问题迈出了第一步。使用极大极小框架,我们的目标是设计一个对抗性鲁棒的公平回归模型,该模型在攻击者能够向数据集添加精心设计的对抗性数据点或对数据集执行一级攻击的情况下实现最佳性能。通过求解提出的非光滑非凸-非凹Minimax问题,得到了最优敌手和鲁棒公平性回归模型。对于合成数据和真实世界数据集,数值结果表明,与其他公平机器学习模型相比,本文提出的对抗鲁棒公平模型在中毒数据集上具有更好的预测精度和基于组的公平性度量.
2022-11-04 cs.CR cs.LG
Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet
对深度神经网络(DNN)的对抗攻击已经发现了好几年。然而,现有的对抗攻击只有在受害者DNN的信息是已知的或可以通过结构相似性或大量查询来估计时才有高的成功率。在本文中,我们提出了攻击注意力(AoA),这是DNN通常共享的语义属性。当用注意损失代替传统的交叉熵损失时,AoA的可传递性显著增加。由于AoA只改变了损失函数,它可以很容易地与其他可移植性增强技术相结合,然后实现SOTA性能。我们应用AoA从ImageNet验证集生成50000个对抗样本,以击败许多神经网络,因此将数据集命名为DamageNet。在DamageNet上测试了13个经过良好训练的DNN,所有DNN的出错率都超过85%。即使有防御或对抗训练,大多数模型在DamageNet上仍然保持超过70%的出错率。DamageNet是第一个通用的对抗数据集。它可以免费下载,并作为鲁棒性测试和对抗训练的基准。
2020-10-21 cs.LG stat.ML
Universalization of any adversarial attack using very few test examples
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Chennai Mathematical Institute(金奈数学研究所);Microsoft Research(微软研究院)
众所周知,深度学习模型不仅容易受到输入依赖的对抗攻击的攻击,而且容易受到输入不可知或通用的对抗攻击的攻击。Dezfooli等人的\cite{Dezfooli17,Dezfooli17anal}通过查看大量的训练数据点和它们附近的决策边界的几何形状,在给定模型上构建通用对抗攻击。随后的工作\cite{Khrulkov18}通过只查看给定模型的测试示例和中间层来构造通用攻击。在本文中,我们提出了一个简单的通用化技术,采取任何依赖于输入的对抗攻击和构造一个通用的攻击,只看很少的对抗测试的例子。我们不需要给定模型的细节,并且具有可忽略不计的计算开销用于通用化。我们从理论上证明了我们的普遍化技术的频谱特性共同的许多输入依赖的对抗扰动,例如,梯度,快速梯度符号方法(FGSM)和DeepFool。利用矩阵浓度不等式和谱扰动界,我们证明了在小测试样本上依赖于输入的对抗方向的顶奇异向量给出了一种有效而简单的通用对抗攻击.对于在ImageNet上训练的VGG16和VGG19模型,我们使用64张图像的测试样本对Gradient、FGSM和DeepFool扰动进行了简单的通用化,对于合理的扰动规范,其欺骗率与最先进的通用攻击\cite{Dezfooli17,Khrulkov18}相当。代码可在https://github.com/ksandeshk/svd-uap获得。
2022-10-28 cs.CV cs.LG stat.ML
Distributionally robust linear regression through the lens of adversarial training
Uppsala University(乌普萨拉大学);Science for Life Laboratory(生命科学实验室)
本文研究Wasserstein DRO线性回归,统一平方根Lasso与对抗线性回归,证明其误差界、枢轴性质及解等价性,并验证高效求解。
2026-10-01 cs.LG math.OC stat.ML
Universal Adversarial Perturbation for Text Classification
University of Maryland(马里兰大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
给定一个最先进的深度神经网络文本分类器,我们证明了一个通用的和非常小的扰动向量(在嵌入空间中)的存在,导致自然文本被错误分类的概率很高。与可以找到单个固定大小的对抗性扰动的图像不同,文本具有可变长度,因此我们将“通用性”定义为“令牌不可知”,其中单个扰动应用于每个令牌,从而在序列级别上产生灵活大小的不同扰动。我们提出了一种计算普遍对抗性扰动的算法,并表明最先进的深度神经网络非常容易受到这些扰动的影响,尽管它们保留了大部分令牌的邻近区域。我们还展示了如何使用这些对抗性扰动来生成对抗性文本样本。令人惊讶的普遍存在的“令牌不可知”对抗扰动可能揭示了文本分类器的重要属性。
2019-10-10 cs.CL cs.LG stat.ML
Precise Tradeoffs in Adversarial Training for Linear Regression
University of Southern California(南加利福尼亚大学);University of Pennsylvania(宾夕法尼亚大学)
尽管有突破性的性能,但现代学习模型在输入中非常容易受到小的对抗性扰动的影响。虽然最近的各种各样的\emph{adversarial training}方法在提高对扰动输入的鲁棒性(鲁棒精度)方面是有效的,但是通常这种益处伴随着对良性输入的精度(标准精度)的降低,从而导致通常竞争的目标之间的折衷。更复杂的是,最近的经验证据表明,各种其他因素(训练数据的大小和质量,模型大小等)以某种令人惊讶的方式影响着这种权衡。在本文中,我们提供了一个精确和全面的理解对抗训练在具有高斯特征的线性回归背景下的作用。特别是,我们的特点之间的根本权衡的准确性,可实现的任何算法,无论计算能力或大小的训练数据。此外,我们精确地描述了标准/鲁棒精度以及在高维区域中通过当代最小-最大对抗训练方法实现的相应权衡,其中数据点的数量和模型的参数彼此成比例地增长。我们的对抗训练算法理论还有助于严格研究各种因素(训练数据的大小和质量,模型过度参数化等)如何影响训练算法。影响这两个竞争精度之间的权衡。
2020-02-24 cs.LG math.OC stat.ML
Adversarial Regression with Multiple Learners
Vanderbilt University(范德堡大学);Amherst College(阿默斯特学院)
尽管机器学习技术在实践中取得了相当大的成功,但许多研究表明,许多方法容易受到攻击。此类攻击的一个重要类别涉及攻击者在测试时更改功能以导致错误的预测。以前对这个问题的研究让一个学习者与一个对手对抗。然而,在许多情况下,对手的决定是针对一个学习者的集合,而不是专门针对每个独立的。我们研究了多个学习者的对抗线性回归问题。我们近似产生的游戏,表现出上界的学习损失函数,并表明,产生的游戏有一个独特的对称均衡。我们提出了一个算法来计算这个平衡,并通过大量的实验表明,平衡模型是显着更强大的比传统的正则化线性回归。
2018-06-06 cs.AI cs.LG cs.MA
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
在当今的大数据时代,当考虑到数据集爆炸性增长的对抗性腐败时,鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声,但在应用于大型数据集时会遇到一些挑战,包括1)一次处理整个数据集的计算不可行性,2)存在异构分布的损坏,以及3)当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法,这两种方法可以同时解决所有上述挑战。具体地说,分布式算法通过启发式硬阈值优化每个数据块的回归系数,并将所有估计值组合在分布式鲁棒合并中。此外,提出了一个在线版本的分布式算法,以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明,我们的方法在有效性上优于现有方法,具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
Adversarial Robustness of Nonparametric Regression
University of Minnesota(明尼苏达大学)
本文研究非参数回归在输入数据被对抗性破坏时的鲁棒性,证明光滑样条估计器在适当正则化下能容忍o(n)个样本被破坏,且其可容忍破坏数达到最优。
2025-10-24 cs.LG
Non-Asymptotic Bounds for Adversarial Excess Risk under Misspecified Models
The Chinese University of Hong Kong(香港中文大学);Wuhan University(武汉大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出在误设定模型下评估对抗性估计器性能的通用方法,建立对抗性超额风险的非渐近上界,并应用于分类与回归,改进二次损失情形下的界。
2023-09-02 cs.LG stat.ML
The Geometry of Over-parameterized Regression and Adversarial Perturbations
Boston University(波士顿大学)
经典回归有一个简单的几何描述,将训练标签投影到设计矩阵的列空间上。然而,对于过度参数化的模型-其中拟合参数的数量足够大,可以完美地拟合训练数据-这种情况变得没有信息。在这里,我们提出了一个替代的几何解释回归,适用于下和过参数化模型。与发生在训练标签空间中的经典图片不同,我们的新图片驻留在输入特征空间中。这种新的基于特征的视角在偏差和方差的背景下提供了对双下降现象的自然几何解释,解释了为什么即使在没有标签噪声的情况下也会发生双下降现象。此外,我们表明,对抗性扰动-小扰动的输入功能,导致标签值的大变化-是一个通用的偏置模型的功能,从底层的几何形状。我们证明了这些想法,通过分析三个最小模型的过参数化的线性最小二乘回归:没有基函数(输入功能等于模型功能)和线性或非线性基函数(两层神经网络与线性或非线性激活函数,分别)。
2021-04-23 cond-mat.dis-nn cs.LG stat.ML
Robust regression with covariate filtering: Heavy tails and adversarial contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
我们研究了线性回归的问题,其中协变量和响应都是潜在的(i)重尾和(ii)逆向污染。已经提出了几种计算效率高的估计量的协变量是次高斯和未污染的较简单的设置,但是,这些估计量可能会失败时,协变量是重尾或包含离群值。在这项工作中,我们将展示如何修改的Huber回归,最小二乘修剪,最小绝对偏差估计,以获得同时计算和统计效率较强的污染模型的估计。我们的方法是相当简单的,包括应用滤波算法的协变量,然后应用经典的鲁棒回归估计的其余数据。我们发现,在这种情况下,Huber回归估计达到接近最优的差错率,而最小修剪平方和最小绝对偏差估计可以实现后处理步骤后,以达到接近最优的错误。
2021-05-17 cs.LG math.ST stat.ML
Generalizing semi-supervised generative adversarial networks to regression using feature contrasting
The City College, The City University of New York(纽约城市大学城市学院);The Graduate Center, The City University of New York(纽约城市大学研究生中心);Borough of Manhattan Community College, The City University of New York(纽约城市大学曼哈顿社区学院)
在这项工作中,我们将半监督生成对抗网络(GANs)从分类问题推广到回归问题。在过去的几年中,使用半监督训练来改进神经网络的训练的重要性已经被证明用于分类问题。我们提出了一种新的损失函数,称为特征对比,从而在一个机器人,它可以区分假的和真实的数据特征统计的基础上。这种方法避免了替代方法的潜在偏差和局限性。将半监督GANs推广到回归问题的机制,使其可以用于无数应用,并为更深入地了解GANs的功能提供了一条途径。我们首先在一个玩具数据集上展示了半监督回归GANs的功能,这使得我们可以详细了解它们在各种情况下的操作方式。该玩具数据集为半监督回归GAN提供了理论基础。然后,我们将半监督回归GANs应用于许多现实世界的计算机视觉应用:年龄估计,驾驶转向角预测和来自单个图像的人群计数。我们对大幅减少注释数据可以达到的准确性进行了广泛的测试。通过理论示例和现实场景的结合,我们展示了半监督GANs如何推广到回归问题。
2019-09-03 cs.CV cs.LG stat.ML
Regularization properties of adversarially-trained linear regression
Uppsala University(乌普萨拉大学);PSL Research University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所)
本研究分析线性回归中对抗训练的正则化性质,发现其在不同参数化条件下分别等价于最小范数插值、岭回归或Lasso,且ℓ∞-对抗训练的半径选择与噪声方差无关。
2023-10-16 cs.CR cs.LG math.OC
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Meta Adversarial Training against Universal Patches
Bosch Center for Artificial Intelligence(博世人工智能中心)
最近展示的物理世界对抗攻击暴露了感知系统中的漏洞,这些漏洞对自动驾驶等安全关键应用构成了严重风险。这些攻击在物理世界中放置对抗性工件,间接导致向模型的输入添加通用补丁,可以在各种上下文中欺骗它。对抗性训练是对抗图像依赖性对抗攻击的最有效的防御方法。然而,将对抗训练定制为通用补丁在计算上是昂贵的,因为最佳通用补丁取决于在训练期间改变的模型权重。我们提出了Meta对抗训练(MAT),一种对抗训练与元学习的新组合,它通过元学习通用补丁和模型训练克服了这一挑战。MAT需要很少的额外计算,同时不断适应当前模型的补丁的大集合。MAT大大提高了对图像分类和交通灯检测的通用补丁攻击的鲁棒性。
2021-06-22 cs.AI cs.CV cs.LG
AReS and MaRS - Adversarial and MMD-Minimizing Regression for SDEs
University of Oxford(牛津大学);ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
随机微分方程是许多学科中一个重要的建模类。因此,存在许多依赖于各种离散化和数值积分方案的方法。在本文中,我们提出了一种新的,概率模型估计的漂移和扩散噪声观测的基础随机系统。使用最先进的对抗和矩匹配推理技术,我们避免了经典方法的离散化方案。这导致了随机初始猜测的参数精度和鲁棒性的显着改善。在四个已建立的基准系统,我们比较我们的算法的性能,最先进的解决方案的基础上扩展卡尔曼滤波和高斯过程。
2019-05-28 cs.LG math.DS stat.ML
Playing the Game of Universal Adversarial Perturbations
DeepMind(深度思维);Google Brain(谷歌大脑)
我们研究了学习分类器对普遍对抗扰动的鲁棒性问题。虽然之前的工作通过鲁棒优化,对抗训练或输入转换来解决这个问题,但我们将其称为两人零和游戏。在这个新的公式中,两个玩家同时玩同一个游戏,其中一个玩家选择一个分类器,使分类损失最小化,而另一个玩家创建一个对抗性扰动,当应用于训练集中的每个样本时,增加相同的损失。通过观察,执行分类(分别创建对抗样本)是对其他玩家的最佳反应,我们提出了一种新的扩展博弈论算法,即虚构的游戏,训练鲁棒分类器的域。最后,我们经验性地展示了我们的方法在两种防御场景中的鲁棒性和多功能性,其中在几个图像分类数据集-CIFAR 10,CIFAR 100和ImageNet上执行通用攻击。
2018-09-25 cs.CV cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology(加州理工学院);NVIDIA Corporation(英伟达公司)
针对函数空间回归受限于高斯过程先验的问题,提出通用函数回归概念,开发神经算子流(OpFlow)实现非高斯函数空间先验学习,提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
On Universalized Adversarial and Invariant Perturbations
Chennai Mathematical Institute(金奈数学研究所);Microsoft Research(微软研究院)
卷积神经网络或标准CNN(StdCNN)是平移等变模型,当在用足够的翻译增强的数据上训练时,该模型实现了翻译不变性。最近关于给定变换组的等变模型的工作(例如,旋转)导致了群等变卷积神经网络(GCNN)。在用足够的旋转增强的数据上训练的GCNN实现了旋转不变性。作者arXiv:2002.11318最近的工作研究了对对抗攻击的不变性和鲁棒性之间的权衡。在另一个相关的工作arXiv:2005.08632中,给定任何模型和任何满足特定谱特性的输入依赖攻击,作者提出了一种称为SVD-Universal的通用化技术,通过查看很少的测试示例来产生通用对抗扰动。在本文中,我们研究了SVD通用对GCNN的有效性,因为它们通过更高程度的训练增强获得旋转不变性。我们根据经验观察到,随着GCNN通过使用更大的旋转进行训练来获得旋转不变性,SVD-Universal的欺骗率变得更好。为了理解这一现象,我们引入了通用不变方向,并研究了它们与SVD-Universal产生的通用对抗方向的关系。
2020-06-08 cs.CV cs.LG stat.ML
White-Box Target Attack for EEG-Based BCI Regression Problems
Huazhong University of Science and Technology(华中科技大学);University of California San Diego(加州大学圣地亚哥分校)
机器学习在许多应用中取得了巨大的成功,包括基于脑电图(EEG)的脑机接口(BCI)。不幸的是,许多机器学习模型容易受到对抗性示例的影响,这些示例是通过向原始输入添加故意设计的扰动来制作的。针对分类问题提出了许多对抗性攻击方法,但很少有人考虑针对回归问题的目标对抗攻击。本文提出了两个这样的方法。更具体地说,我们考虑针对回归问题的白盒目标攻击,其中我们知道关于要攻击的回归模型的所有信息,并且希望设计小的扰动来将回归输出改变预定量。两个BCI回归问题的实验验证了这两种方法的有效性。此外,从这两种方法生成的对抗性示例也是可转移的,这意味着我们可以使用从一个已知回归模型生成的对抗性示例来攻击一个未知回归模型,即,进行黑盒攻击据我们所知,这是第一个基于EEG的BCI回归问题的对抗攻击的研究,这需要更多的关注BCI系统的安全性。
2019-11-07 cs.AI cs.CR cs.LG
Overparameterized Linear Regression under Adversarial Attacks
Uppsala University(乌普萨拉大学)
我们研究了面对对抗性攻击时线性回归的误差。在这个框架中,对手改变回归模型的输入,以最大化预测误差。我们提供的边界上的预测误差的存在下的对手作为一个函数的参数规范和错误的情况下,这样的对手。我们展示了这些界限如何使研究对抗性错误成为可能,使用非对抗性设置的分析。所得结果揭示了过参数化线性模型对抗攻击的鲁棒性。添加特性可能是额外健壮性的来源,也可能是脆弱性的来源。一方面,我们使用渐近结果来说明如何双下降曲线可以获得对抗性错误。另一方面,我们推导出当添加更多特征时对抗性误差可以增长到无穷大的条件,而与此同时,测试误差趋于零。我们表明,这种行为是由这样一个事实,即规范的参数向量的增长与功能的数量。它还建立了$\ell_\infty$和$\ell_2$ -对抗性攻击可能会表现出根本不同,由于如何$\ell_1$和$\ell_2$ -规范的随机投影集中。我们还展示了我们的重新表述如何将对抗训练作为凸优化问题来解决。然后利用这一事实来建立对抗训练和参数收缩方法之间的相似性,并研究训练如何影响估计模型的鲁棒性。
2023-01-27 cs.CR cs.LG eess.SP
Countering adversarial evasion in regression analysis
School of Mathematical Sciences University of Southampton(数学科学学院 英国南安普顿大学)
本文提出了一种适用于回归场景的悲观双层优化方法,以应对对抗逃逸问题,无需假设对手解的凸性或唯一性。
2025-11-29 cs.LG
Adversarial learning for nonparametric regression: Minimax rate and adaptive estimation
Yau Mathematical Sciences Center, Tsinghua University(清华大学应用数学科学中心)
本文在非参数回归框架下研究未来X攻击的对抗学习统计最优性,建立了对抗L_q风险下的极小极大收敛速率,提出达到该速率的分段局部多项式估计量,并构造了在广泛非参数与对抗类上近乎最优的数据驱动自适应估计量。
2025-06-02 cs.LG math.ST stat.ME
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
分类器,如深度神经网络,已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性,但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中,我们证明了对抗性训练在防止通用扰动方面更有效,其中相同的扰动需要在许多输入上欺骗分类器。此外,我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡,并提出了一种对抗性训练的扩展,可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果,以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见,并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Generative Adversarial Regression (GAR): Learning Conditional Risk Scenarios
Telfer School of Management University of Ottawa(奥克塔维亚大学塔弗尔管理学院)
GAR通过生成器学习条件风险场景,结合最小最大框架提升鲁棒性,实验显示其在风险保留和稳定性方面优于传统方法。
2026-03-09 cs.LG math.OC q-fin.PM
On damage of interpolation to adversarial robustness in regression
本文研究了插值估计器在非参数回归中的对抗鲁棒性,发现插值可能导致估计器在对抗攻击下性能下降。
2026-01-22 cs.LG math.ST stat.ML
A Method for Computing Class-wise Universal Adversarial Perturbations
Adobe Inc.(奥多比公司)
我们提出了一种算法,用于计算深度神经网络的类特定的通用对抗性扰动。这样的扰动可以在特定类别的大部分图像中引起误分类。与使用迭代优化来计算通用扰动的先前方法不同,所提出的方法采用作为神经网络的权重的线性函数的扰动,因此可以更快地计算。该方法不需要任何训练数据,也没有超参数。该攻击在ImageNet上最先进的深度神经网络上获得了34%到51%的欺骗率,并在模型之间传输。我们还研究了标准和对抗训练模型学习的决策边界的特征,以了解通用的对抗扰动。
2019-12-01 cs.CR cs.CV cs.LG
Compressed Sensing with Adversarial Sparse Noise via L1 Regression
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了一个简单而有效的算法解决问题的\emph{sparse robust linear regression}。在这个问题中,人们希望从被稀疏噪声破坏的线性测量来估计稀疏向量$w^* \in \mathbb{R}^n$,该稀疏噪声可以任意地改变测量响应$y$的逆向选择的$η$分数,以及向响应引入有界范数噪声。对于高斯测量,我们表明,一个简单的算法基于L1回归可以成功地估计$w^*$的任何$η< η_0 \approx 0.239$,这个阈值是紧的算法。该算法所需的测量数量是$O(k \log \frac{n}{k})$,用于$k$ -稀疏估计,其在没有任何稀疏噪声的情况下所需数量的常数因子内。在这三个属性中,我们展示了-估计稀疏和密集$w^*$的能力;对离群值的大常数分数的容忍度;以及对抗性而不是分布性的容忍度(例如,高斯)密集噪声-据我们所知,以前没有一个结果达到两个以上。
2019-01-06 cs.DS cs.LG
A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Tata Institute of Fundamental Research(塔塔基础研究院)
本文提出了一种通过回归将约束上下文老虎机问题简化为无约束问题的方法,适用于对抗性上下文设置,并提供了改进的保证和透明的分析。
2026-02-04 cs.LG
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology(哈尔滨工业大学)
深度神经网络最近被发现是脆弱的。一种设计良好的输入,称为对抗性样本,可以导致网络做出错误的预测。根据不同的场景、目标和能力,攻击的难度也不同,例如,有针对性攻击比无针对性攻击难,通用攻击比非通用攻击难,可转移攻击比不可转移攻击难。问题是:是否存在一种攻击可以满足所有这些要求?本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射,将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中,并且具有很强的可移植性。我们的代码发布在:xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
Democratic Training Against Universal Adversarial Perturbations
Singapore Management University(新加坡管理大学)
针对深度神经网络易受通用对抗扰动(UAP)攻击的问题,本研究提出“民主训练”方法,通过基于熵的模型增强抑制UAP影响,在多模型、多数据集和多攻击方法上验证了其降低攻击成功率、提升鲁棒性并保留干净样本准确率的效果。
2025-02-08 cs.LG
Universal adversarial examples in speech command classification
Faculty of Informatics(信息学院);University of the Basque Country(巴斯克大学)
对抗性示例是故意扰动的输入,目的是迫使机器学习模型产生错误的预测,而这些变化不容易被人类检测到。虽然这个主题已经在图像领域得到了深入的研究,但音频领域的分类任务却很少受到关注。在本文中,我们解决语音命令分类的普遍扰动的存在。我们提供的证据表明,通用的攻击可以产生语音命令分类任务,这是能够概括在不同的模型在很大程度上。此外,提出了一种新的分析框架,用于评估不同普遍性水平下的普遍扰动,表明产生有效扰动的可行性随着普遍性水平的增加而降低。最后,我们提出了一个更详细和严格的框架来衡量的扰动引入的失真量,表明传统的方法是不现实的音频为基础的问题。
2021-02-13 cs.LG eess.AS stat.ML
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research(塔塔咨询服务研究院)
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中,这些攻击的危害可能会大得多,攻击者不仅试图欺骗深度学习模型,还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的,并且需要向样本添加难以察觉的噪音。相比之下,通用对抗攻击计算一种特殊的不可感知的噪声,可以将其添加到给定数据集的任何样本中,从而迫使深度学习模型预测错误的类。据我们所知,这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中,我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明,基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明,通用对抗攻击具有良好的泛化性能,因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明,使用快速梯度符号法(FGSM),一个单步的攻击,对抗训练的模型能够抵御FGSM以及基本迭代法(BIM),一种流行的迭代攻击。
2021-01-13 cs.LG
Universal Adversarial Training with Class-Wise Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
尽管卷积神经网络(CNN)在广泛的应用中取得了压倒性的成功,但人们普遍认为它容易受到对抗性样本的影响。这种有趣的现象导致了对抗攻击和防御技术之间的竞争。到目前为止,对抗性训练是防御对抗攻击最广泛使用的方法。它还被扩展到防御普遍对抗性扰动(UAP)。SOTA通用对抗训练(UAT)方法为小批量中的所有训练样本优化了单个扰动。在这项工作中,我们发现,一个UAP不攻击所有类平等。受此观察的启发,我们将其确定为具有不平衡鲁棒性的模型的来源。为此,我们建议在对抗训练期间利用类明智的UAP来改进SOTA UAT。在多个基准数据集上,我们的类UAT在干净的准确性和对抗通用攻击的对抗性鲁棒性方面都具有优异的性能。
2021-04-07 cs.CV cs.LG
Adversarial Transfer of Pose Estimation Regression
Naver Labs Europe(Naver Labs欧洲)
我们解决视觉定位中的摄像机姿态估计问题。当前用于姿态估计的基于回归的方法是按场景训练和评估的。它们取决于训练数据集的坐标系,并且在场景和数据集中表现出较低的泛化能力。我们确定了数据集转移的一个重要障碍,泛化和考虑迁移学习作为一种替代方式,更好地重用姿态估计模型。我们修改领域自适应技术的分类,并将其扩展到相机姿态估计,这是一个多元回归的任务。我们开发了一个深度自适应网络来学习场景不变的图像表示,并使用对抗学习来生成这种表示用于模型传输。我们丰富的网络与自监督学习,并使用自适应性理论来验证存在的场景不变表示的图像在两个给定的场景。我们在两个公共数据集Cambridge Landmarks和7Scene上评估了我们的网络,证明了它在几个基线上的优越性,并与最先进的方法进行了比较。
2020-11-23 cs.CV cs.LG