Wasserstein Distance-Weighted Adversarial Network for Cross-Domain Credit Risk Assessment
New York University(纽约大学);Brown University(布朗大学);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Irvine(加州大学欧文分校)
本文提出WD-WADA框架,利用Wasserstein距离对齐源域和目标域,并通过加权策略处理数据不平衡,以缓解冷启动问题并提升跨域信用风险评估的准确性与稳定性。
2024-09-27 cs.LG
ACReL: Adversarial Conditional value-at-risk Reinforcement Learning
Institut Intelligence et Données (IID)(智能与数据研究所(IID));Université Laval(拉瓦尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Université de Montréal(蒙特利尔大学)
在经典的强化学习(RL)设置中,人们的目标是找到一个最大化其预期收益的策略。这一目标可能不适用于医疗保健或自动驾驶等安全关键领域,因为随机策略和环境变化导致的固有不确定性可能导致灾难性故障。这可以通过使用条件风险价值(CVaR)目标来解决,以在学习的政策中灌输风险规避。在本文中,我们提出了对抗Cvar强化学习(ACReL),一种新的对抗元算法,以优化强化学习中的CVaR目标。ACReL是基于一个最大-最小之间的政策播放器和一个学习的对手,扰动政策播放器的状态转换给定一个有限的预算。我们证明,更接近的球员是游戏的均衡点,更接近的学习政策是CVaR最优的风险容忍度明确相关的对手的预算。我们提供了一个基于梯度的训练过程,通过将其制定为Stackelberg游戏来解决所提出的游戏,从而能够使用深度RL架构和训练算法。实证实验表明,ACReL匹配CVaR RL最先进的基线检索CVaR最优政策,同时也受益于理论保证。
2022-05-17 cs.LG
Adversarial Surrogate Risk Bounds for Binary Classification
针对二分类中对抗训练的一致性结果未给出收敛速率的问题,本文提出了量化对抗分类风险收敛速率的替代风险界。
2025-10-07 cs.LG math.ST stat.ML
Adversarial Risk via Optimal Transport and Optimal Couplings
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代机器学习算法在对抗性操作的数据上表现不佳。对抗风险量化了分类器在对抗环境中的错误;对抗分类器最小化了对抗风险。在本文中,我们从最优传输的角度分析了对抗风险和对抗分类器。我们证明了具有0-1损失的二进制分类的最优对抗风险由两个类的概率分布之间的最优运输成本决定。我们开发最佳的运输计划(概率耦合)的单变量分布,如正常的,均匀的,和三角分布。我们还在这些设置中获得了最佳对抗分类器。我们的分析导致了对抗风险的算法独立的基本限制,我们为几个真实世界的数据集计算。在凸性和光滑性假设下,我们将结果推广到一般的损失函数。
2020-12-23 cs.IT cs.LG math.IT
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich(慕尼黑工业大学);University of Maryland, College Park(马里兰大学帕克分校)
对抗性训练被证明是一种有效的防御对抗性示例的方法,是少数几种能够抵御强大攻击的防御方法之一。然而,传统的防御机制假设根据底层数据分布对示例进行统一攻击,这显然是不现实的,因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化,抵御非均匀攻击,实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重,并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明,我们的模型在非均匀攻击下显着提高了最先进的对抗精度,而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
Université Paris Dauphine PSL Research University(巴黎多芬纳大学PSL研究大学);Sorbonne Université LPSM, UMR 8001(索邦大学LPSM, UMR 8001)
本文证明两层网络中对抗风险无法等价于任何简单正则化风险,并通过实验表明深层架构中同样存在这种不可简化性。
2026-06-23 cs.LG
Adversarially Robust Estimate and Risk Analysis in Linear Regression
Purdue University(普渡大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
对抗鲁棒学习旨在设计对输入变量的小对抗扰动具有鲁棒性的算法。除了现有的对抗性样本预测性能的研究,我们的目标是了解对抗性鲁棒估计的统计特性,并在线性回归模型的设置中分析对抗性风险。通过发现统计极小极大收敛速度的对抗稳健估计,我们强调了纳入模型信息的重要性,例如,sparsity稀疏,in adversarially对立robust鲁棒learning学习.此外,我们揭示了对抗和标准估计的显式连接,并提出了一个简单的两阶段对抗学习框架,该框架有助于利用模型结构信息来提高对抗鲁棒性。在理论上,证明了对抗稳健估计的相合性,并给出了对抗稳健估计的Bahadur表示,以便于统计推断。无论是低维或稀疏的情况下,建议的估计收敛在一个尖锐的速度。此外,我们的理论证实了对抗鲁棒学习中的两个现象:对抗鲁棒性损害泛化,未标记数据有助于提高泛化。最后,我们进行了数值模拟来验证我们的理论。
2020-12-18 cs.LG stat.ML
A Modified Drake Equation for Assessing Adversarial Risk to Machine Learning Models
Auburn University(奥本大学);PeopleTec, Inc(PeopleTec公司)
机器学习模型在部署到生产中时存在对抗攻击的风险。使用经验性措施量化影响因素和不确定性可帮助行业评估下载和部署通用模型类型的风险。这项工作建议修改传统的德雷克方程的形式主义,以估计潜在的成功的对抗攻击的部署模型的数量。德雷克方程是著名的用于参数化的不确定性,它已被用于许多研究领域以外的初衷,以估计无线电能力的外星文明的数量。虽然以前的工作已经概述了在公共模型架构中发现漏洞的方法,但所提出的等式旨在为评估和估计对抗攻击的潜在风险因素提供半定量基准。
2021-07-07 cs.CR cs.LG
Improved Adversarial Robustness by Reducing Open Space Risk via Tent Activations
Verisk AI, Verisk Analytics(Verisk分析公司Verisk人工智能部门);UCCS(科罗拉多大学科罗拉多斯普林斯分校)
对抗性示例包含人类观察者无法察觉的小扰动,但即使是性能最好的深度学习模型也会改变其行为,并产生不正确的输出。自发现以来,对抗性示例在机器学习中引起了极大的关注:研究人员试图揭示它们存在的原因,并提高机器学习模型对对抗性扰动的鲁棒性。最先进的防御是通过投影梯度下降(PGD)进行计算昂贵且非常耗时的对抗训练。我们假设对抗攻击利用经典单调激活函数的开放空间风险。本文介绍了具有有界开放空间风险的帐篷激活函数,并表明帐篷使深度学习模型对对抗攻击更具鲁棒性。我们在MNIST数据集上证明,使用帐篷的分类器对六种白盒对抗攻击的平均准确率为91.8%,比现有技术高出15个百分点以上。在CIFAR-10数据集上,我们的方法将对六种白盒对抗攻击的平均准确率从通过PGD进行对抗训练的41.8%提高到73.5%。
2019-08-07 cs.CV cs.LG
Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search
University of Science and Technology of China(中国科学技术大学)
尽管取得了巨大的成功,但深度神经网络(DNN)很容易受到对抗性样本的影响。如何准确评估DNN的对抗鲁棒性对于其在现实世界中的应用部署至关重要。稳健性的一个理想指标是对抗风险。不幸的是,由于它涉及最大化0-1损失,计算真正的风险在技术上是棘手的。最常见的解决方案是通过用一个替代损失来代替0-1损失来计算近似风险。已经使用了一些函数,例如交叉熵(CE)损失和对数比差(DLR)损失。然而,这些函数都是手动设计的,可能不太适合对抗鲁棒性评估。在本文中,我们利用AutoML来缩小真实风险和近似风险之间的误差(差距)。我们的主要贡献如下。首先,AutoLoss-AR,第一个方法来搜索代理损失的对抗性风险,一个精心设计的搜索空间,提出。在10个对抗训练模型上的实验结果证明了该方法的有效性:使用最佳发现损失评估的风险比使用手工基线评估的风险高0.2%至1.6%。其次,提取出5个具有清晰可读公式的替代损失,并在7个看不见的对抗训练模型上进行测试。这些损失超过基线0.8%至2.4%,表明它们可以单独用作某种新知识。此外,这些损失的更好的性能的可能原因进行了探讨。
2022-04-09 cs.AI cs.LG
Risk-Aware Algorithms for Adversarial Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
在这项工作中,我们考虑了对抗性的上下文土匪与风险约束。在每一轮中,大自然都准备了一个上下文,每个手臂的成本,以及每个手臂的风险。学习者利用上下文来拉动手臂,然后接收与被拉动的手臂相关联的相应成本和风险。除了最小化累积成本之外,学习者还需要满足长期风险约束--所有被拉手臂的累积风险的平均值不应大于预先设定的风险。定义阈值。为了解决这个问题,我们首先研究了全信息设置,在每一轮中,学习者都会收到一个对抗性凸损失和一个凸约束。我们开发了一个Meta算法,利用在线镜像下降的充分信息设置,并将其扩展到上下文的强盗与风险约束设置使用专家的意见。我们的算法可以实现接近最优的遗憾方面的总成本最小化,同时成功地保持了次线性增长的累积风险约束违反。
2016-10-17 cs.LG stat.ML
Revisiting Adversarial Risk
Carnegie Mellon University(卡内基梅隆大学)
对抗扰动的最新研究表明,在标准测试精度和对抗精度之间存在固有的权衡。具体来说,他们表明,没有分类器可以同时对对抗性扰动具有鲁棒性,并实现高标准的测试精度。然而,这与标准概念相反,在图像分类等任务中,人类是具有低错误率的鲁棒分类器。在这项工作中,我们表明,这种混乱背后的主要原因是在文献中使用的对抗扰动的不精确定义。为了解决这个问题,我们对对抗扰动的现有定义提出了一个轻微但重要的修改。基于修改后的定义,我们表明,对抗和标准精度之间没有权衡;存在鲁棒的分类器,并实现高标准精度。我们进一步研究了对抗风险的新定义的几个性质及其与现有定义的关系。
2019-03-23 cs.LG stat.ML
Adversarial Risk and the Dangers of Evaluating Against Weak Attacks
DeepMind(深度思维)
本文研究了最近提出的防御对抗性示例和评估对抗性鲁棒性的方法。我们激励“对抗性风险”作为实现对最坏情况输入具有鲁棒性的模型的目标。然后,我们将常用的攻击和评估指标定义为真实对抗风险的易处理替代目标。这表明模型可能会优化这个替代品,而不是真正的对抗风险。我们将这个概念形式化为“对对手的模糊性”,并开发工具和算法来识别模糊模型和设计透明模型。我们证明了这是一个重要的问题,在实践中重新利用梯度自由优化技术到对抗攻击,我们用它来降低最近提出的几个防御的准确性接近零。我们希望我们的配方和结果将帮助研究人员开发更强大的防御。
2018-06-12 cs.CR cs.LG stat.ML
Are You A Risk Taker? Adversarial Learning of Asymmetric Cross-Domain Alignment for Risk Tolerance Prediction
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机学院);Raiz Invest Limited(Raiz Invest有限公司(公司))
目前的调查分析和风险容忍度建模研究大多缺乏专业知识和特定领域的模型。鉴于生成对抗学习在跨域信息中的有效性,针对域规模不等式问题,设计了一个非对称跨域生成对抗网络(ADGAN). ADGAN利用信息充足域提供额外的信息,通过域对齐来改进信息不足域上的表示学习。我们提供两个数据源的数据分析和用户模型:消费者消费信息和调查信息。我们进一步在具有视图嵌入结构的真实数据集上测试ADGAN,并显示ADGAN可以比最先进的技术更好地处理类不平衡和不合格的数据空间,证明了利用不对称域信息的有效性。
2020-04-18 cs.LG stat.ML
Multi-view Generative Adversarial Networks
Sorbonne Universités, UPMC Univ Paris 06(索邦大学,巴黎第六大学(UPMC))
多视图数据学习是一个具有很强实际应用价值的挑战性问题。大多数相关的研究集中在分类的角度来看,并假设所有的意见是在任何时候都可用。我们认为这个框架在两个方向的扩展。首先,基于BiGAN模型,多视图BiGAN(MV-BiGAN)能够从多视图输入执行密度估计。其次,它可以处理丢失的视图,并能够在提供额外视图时更新其预测。我们说明了这些属性的一组实验在不同的数据集。
2019-04-17 cs.LG
Adversarial classification: An adversarial risk analysis approach
Institute of Mathematical Sciences (ICMAT-CSIC)(数学科学研究所(ICMAT-CSIC));CNR-IMATI(意大利国家研究委员会-IMATI研究所(CNR-IMATI));UAM(马德里康普顿斯大学(UAM))
安全设置中的分类问题通常被认为是一个或多个对手试图欺骗分类器以获得利益的对抗。这种对抗性分类问题的大多数方法都集中在具有强大的基本常识假设的博弈论思想上,这在安全领域实际上是不现实的。我们提供了一个替代框架,这样的问题的基础上对抗性风险分析,我们说明了几个例子。计算和实施问题进行了讨论。
2019-09-24 cs.GT cs.LG stat.ML
Existence and Minimax Theorems for Adversarial Surrogate Risks in Binary Classification
Courant Institute New York University(纽约大学Courant学院);Courant Institute and Center for Data Science New York University(纽约大学Courant学院和数据科学中心)
本文针对二分类中的对抗替代风险,证明了其存在性、正则性与极小极大定理,解释了经验观察并提出了算法开发新方向,同时将已知的对抗分类风险定理推广至替代风险。
2023-12-10 cs.LG math.ST stat.TH
Adversarial Consistency-Guided Representation Learning for Multi-view Clustering
Fujian Normal University(福建师范大学);McGill University(麦吉尔大学)
提出ACGRL框架,通过梯度反转判别器降低视图可识别性,冻结不变参考表示以分离视图特定信息,并在四个基准数据集上验证了优于现有方法的聚类性能。
2026-09-29 cs.LG
Protecting from Malware Obfuscation Attacks through Adversarial Risk Analysis
Institute of Mathematical Sciences, ICMAT-CSIC(数学科学研究所(ICMAT-CSIC))
恶意软件是一个主要的全球风险,每年影响数百万用户。检测系统中的标准算法在处理通过混淆工具传递的恶意软件时执行不足。我们详细说明了这项研究的开源变形软件,利用混合框架,以获得相关功能的二进制文件。然后,我们提供了一个改进的替代解决方案的基础上,对抗性风险分析,我们说明描述一个例子。
2019-11-09 cs.CR cs.LG stat.ML
Risk-Sensitive Generative Adversarial Imitation Learning
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);DeepMind(深度思维)
我们研究风险敏感的模仿学习,代理的目标是执行至少以及专家的风险概况。我们首先制定我们的风险敏感的模仿学习设置。我们考虑生成对抗方法的模仿学习(GAIL),并推导出我们的配方,我们称之为风险敏感GAIL(RS-GAIL)的优化问题。然后,我们推导出两个不同版本的RS-GAIL优化问题,旨在匹配的代理和专家w.r.t.的风险配置文件。Jensen-Shannon(JS)发散度和Wasserstein距离,并基于这些优化问题开发风险敏感的生成对抗模仿学习算法。我们评估了我们的算法的性能,并将其与GAIL和风险规避模仿学习(RAIL)算法在两个MuJoCo和两个OpenAI经典控制任务中进行了比较。
2018-12-24 cs.AI cs.LG stat.ML
Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
University of Houston(休斯顿大学)
本文针对风险敏感强化学习,在对抗状态扰动下通过凸优化和phi散度松弛推导认证下界,实验表明风险厌恶训练提升下界,但过度风险厌恶会降低性能。
2026-09-11 cs.LG math.OC
Selecting Models based on the Risk of Damage Caused by Adversarial Attacks
neurocat(neurocat公司)
监管、法律责任和社会问题对人工智能在安全和安全关键型应用中的采用提出了挑战。其中一个关键问题是,对手可以通过操纵模型预测而不被发现来造成伤害。因此,监管要求对对手造成损害的风险进行评估。然而,没有方法将这种高层次的需求转化为量化损害风险的可操作指标。在这篇文章中,我们提出了一种方法来建模和统计估计的损害概率所产生的对抗攻击。我们表明,我们提出的估计是统计一致和无偏的。在实验中,我们证明了我们的方法的估计结果有一个明确的和可操作的解释,并优于传统的指标。然后,我们将展示运营商如何使用估计结果来可靠地选择风险最低的模型。
2023-01-28 cs.AI cs.LG
DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
Fudan University(复旦大学);Tencent PCG(腾讯平台与内容事业群)
本文提出DSRM方法,通过扰动输入数据的概率分布而非嵌入来估计对抗损失,仅需干净数据即可进行对抗训练,在减少70%时间消耗的同时显著提升了BERT对文本对抗攻击的鲁棒性。
2023-06-27 cs.CL cs.LG
On Data Augmentation and Adversarial Risk: An Empirical Analysis
Johannes Kepler University(约翰内斯·开普勒大学);Software Competence Center Hagenberg GmbH(哈根贝格软件能力中心有限公司)
数据增强技术已成为深度学习的标准实践,因为它已被证明可以大大提高模型的泛化能力。这些技术依赖于不同的想法,例如保持不变的变换(例如,专家定义的增强),统计分析(例如,Mixup)和学习数据分布(例如,GANs)。然而,在对抗性环境中,仍然不清楚在什么条件下这种数据增强方法降低甚至恶化了错误分类的风险。因此,在本文中,我们分析了不同的数据增强技术对对抗风险的影响,通过三个措施:(a)众所周知的风险下的对抗攻击,(b)一个新的措施的预测变化的压力的基础上拉普拉斯算子,(c)的影响,训练样本预测。我们的实证分析的结果反驳的假设,即数据增强引起的分类性能的改善总是伴随着对抗攻击下的风险的改善。此外,我们的研究结果表明,增广数据比非增广数据有更大的影响,对所产生的模型。总之,我们的研究结果表明,通用数据增强,不考虑到数据和任务的特点,必须谨慎应用。
2020-07-06 cs.LG stat.ML
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出一种双编码器元对抗多视图表示学习框架,通过最大化同一数据不同增强视图间的差异与一致性,学习跨领域和任务的可迁移对抗鲁棒表示,在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
The Many Faces of Adversarial Risk
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
对抗风险量化了分类器在对抗扰动数据上的性能。文献中出现了许多对抗性风险的定义,这些定义在数学上并不严格,在细节上也有细微的差别。在本文中,我们重新审视这些定义,使他们严格,并严格审查他们的异同。我们的技术工具来自最优运输,稳健的统计,功能分析和博弈论。我们的贡献包括:将Strassen定理推广到非平衡最优传输环境,并应用于具有不等先验的对抗分类;证明了对抗鲁棒性与基于$\infty$ -Wasserstein不确定集的鲁棒假设检验之间的等价性;证明了在对抗者和算法之间的二人博弈中存在纯Nash均衡;以及通过属于$\infty$ -Wasserstein不确定性集合的一对分布之间的最小贝叶斯误差来表征对抗风险。我们的研究结果推广和深化了最近发现的最佳运输和对抗鲁棒性之间的联系,并揭示了Choquet容量和博弈论的新联系。
2022-01-22 cs.IT cs.LG math.IT
Adversarial Risk Bounds for Neural Networks through Sparsity based Compression
Institute for Theoretical Information Technology(理论信息技术研究所);RWTH Aachen University(亚琛工业大学)
神经网络已经被证明容易受到其输入的微小对抗性扰动的影响,特别是对于在$\ell_\infty$攻击下的高维数据。为了解决这个问题,已经采用了对抗训练等技术来获得在训练集上鲁棒的模型。然而,此类模型对对抗性扰动的鲁棒性可能无法推广到看不见的数据。为了研究鲁棒性如何推广,最近的工作假设输入具有有界$\ell_2$ -范数,以便在没有显式维度依赖的情况下约束$\ell_\infty$攻击的对抗风险。在这项工作中,我们专注于$\ell_\infty$攻击$\ell_\infty$有界的输入和证明基于边缘的界限。具体来说,我们使用基于压缩的方法,该方法依赖于有效压缩可调参数集,而不会扭曲对抗风险。为了实现这一点,我们将有效稀疏性和有效联合稀疏性的概念应用于神经网络的权重矩阵。这导致边界不显式依赖于输入维度,也不依赖于类的数量。我们的研究结果表明,具有近似稀疏权矩阵的神经网络不仅具有增强的鲁棒性,而且具有更好的泛化能力。
2019-06-03 cs.LG stat.ML
An Optimal Control View of Adversarial Machine Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我描述了对抗性机器学习的最优控制视图,其中动态系统是机器学习者,输入是对抗性动作,控制成本由对手的目标定义,以造成伤害并难以检测。这种观点涵盖了许多类型的对抗性机器学习,包括测试项攻击、训练数据中毒和对抗性奖励塑造。该观点鼓励对抗性机器学习研究人员利用控制理论和强化学习的进步。
2018-11-11 cs.LG stat.ML
Can Perturbations Help Reduce Investment Risks? Risk-Aware Stock Recommendation via Split Variational Adversarial Training
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Data Science Research Center, Duke Kunshan University(昆山杜克大学数据科学研究中心);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院)
针对现有股票推荐方法风险控制不足的问题,提出基于分裂变分对抗训练的风险感知推荐方法,通过变分扰动生成器建模风险因素增强模型风险感知,在真实数据集上风险调整后收益优于最优基线30%以上。
2024-01-26 cs.IR cs.LG q-fin.RM
The Consistency of Adversarial Training for Binary Classification
本文研究了二分类中对抗训练的统计一致性问题,刻画了基于上确界的替代风险在勒贝格测度绝对连续分布下的一致性,并给出了对抗替代风险与分类风险的定量界限及 $\cH$-一致性意义。
2023-05-17 cs.LG math.ST stat.TH
Adversarial Feature Learning of Online Monitoring Data for Operational Risk Assessment in Distribution Networks
Shanghai Jiaotong University(上海交通大学);Tennessee Technological University(田纳西理工大学);North China Electric Power University(华北电力大学)
随着配电网在线监测系统的部署,通过它们收集的大量数据包含了丰富的网络运行状态信息。通过利用这些数据,本文提出了一种基于双向生成对抗网络(BiGANs)的无监督方法,用于配电网的操作风险评估。该方法包括两个阶段:(1)对抗性特征学习。从在线监测数据中提取最具代表性的特征,并计算特征的统计指数$\mathcal{N}_ϕ$,在此期间,我们对真实数据不做任何假设或简化。(2)业务风险评估。将标准化$\mathcal{N}_ϕ$的总体均值的置信水平$1-α$与分为紧急、高风险、预防和正常的操作风险水平相结合,计算每个数据点的p值,并与$\fracα{2}$进行比较,以确定风险水平。该方法能够发现真实数据的潜在结构,并提供更准确的评估结果。合成数据来说明所提出的方法中涉及的参数的选择。实际在线监测数据的案例研究验证了该方法在风险评估中的有效性和优势。
2019-07-21 cs.LG stat.ML
Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability
Université de Sousse(苏塞大学);Ecole Nationale d’Ingénieurs de Sousse(苏塞国家工程学院);Université polytechnique Hauts-de-France(上法兰西理工大学);IEMN-DOAE
虽然机器学习应用程序由于在解决复杂问题方面表现出的效率而成为主流,但它们存在固有的对抗攻击漏洞。对抗攻击包括对输入的附加噪声,其可以欺骗检测器。最近,成功的现实世界可打印对抗补丁被证明对最先进的神经网络有效。在从基于数字噪声的攻击到现实世界物理攻击的转变中,影响目标检测的无数因素也将影响对抗补丁。在这些因素中,视角是最有影响力的因素之一,但尚未得到充分的研究。在本文中,我们研究了视角对对抗补丁有效性的影响。为了这个目的,我们提出了第一种方法,认为多视图的背景下,通过结合现有的对抗补丁与透视几何变换,以模拟视角变化的影响。我们的方法已在两个数据集上进行了评估:第一个数据集,其中包含了最真实世界的多视图上下文的约束,和第二个数据集,经验隔离的视角的影响。实验表明,视角显着影响对抗补丁的性能,在某些情况下,补丁失去了大部分的有效性。我们相信,这些结果激励考虑到在未来的对抗攻击的视角的影响,并开辟了新的机会,对抗性防御。
2021-10-10 cs.CR cs.LG
Generative Adversarial Regression (GAR): Learning Conditional Risk Scenarios
Telfer School of Management University of Ottawa(奥克塔维亚大学塔弗尔管理学院)
GAR通过生成器学习条件风险场景,结合最小最大框架提升鲁棒性,实验显示其在风险保留和稳定性方面优于传统方法。
2026-03-09 cs.LG math.OC q-fin.PM
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而,一个已知的问题是,政策过度适应培训环境,可能无法避免罕见的灾难性事件,如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练,但这种方法只能防止常见情况。最近,鲁棒对抗强化学习(RARL)被开发出来,它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是,只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此,代理不考虑灾难性事件的概率(即,那些诱导异常大的负奖励),除非通过它们对预期目标的影响。在本文中,我们介绍了风险规避鲁棒对抗强化学习(RARARL),使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明,一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手,和经验大大减少崩溃相比,没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
A law of adversarial risk, interpolation, and label noise
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
在监督学习中,已经证明数据中的标签噪声可以插值,而不会影响测试准确性。我们表明,插值标签噪声诱导对抗脆弱性,并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设,我们的结果几乎是紧的。然后,我们研究这个问题的不同组成部分如何影响这个结果,包括分布的属性。我们还讨论了非均匀的标签噪声分布,并证明了一个新的定理,表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后,我们提供了理论和经验证据,均匀的标签噪声比典型的现实世界的标签噪声更有害。最后,我们将展示如何感应偏置放大标签噪声的影响,并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Adversarial Fair Multi-View Clustering
School of Software, Dalian University of Technology(大连理工大学软件学院)
针对多视图聚类忽视公平性的问题,提出对抗性公平多视图聚类框架,通过对抗训练移除敏感信息并理论保证公平性,实验证明公平性与聚类性能俱佳。
2025-08-06 cs.LG
The Adversarial Consistency of Surrogate Risks for Binary Classification
Courant Institute(Courant 院);New York University(纽约大学)
本文刻画了鲁棒二分类中替代损失函数的对抗一致性条件,证明对抗一致类远小于标准设置,并给出ρ-间隔损失的定量一致性结果。
2023-12-23 cs.LG math.ST stat.TH
Theoretical Analysis of Adversarial Learning: A Minimax Approach
The University of Sydney(悉尼大学)
在这里,我们提出了一个一般的理论方法来分析存在对手的风险范围。具体来说,我们试图将对抗学习问题纳入极大极小框架。我们首先表明,原来的对抗学习问题可以减少到一个极大极小统计学习问题,通过引入分布之间的传输映射。然后,我们证明了一个新的风险界的覆盖数在弱版本的Lipschitz条件下的极大极小问题。我们的方法可以应用于多类分类问题和常用的损失函数,如铰链和坡道损失。作为一些说明性的例子,我们推导出SVM、深度神经网络和PCA的对抗风险边界,我们的边界有两个数据依赖项,可以优化以实现对抗鲁棒性。
2019-01-24 cs.LG stat.ML
Risk Management with Feature-Enriched Generative Adversarial Networks (FE-GAN)
University College London(伦敦大学学院)
本文研究FE-GAN在金融风险管理中的应用,通过纳入前期数据衍生的额外输入序列增强GAN架构,评估WGAN和Tail-GAN,结果显示其显著提升VaR和ES估计性能,Tail-GAN在ES估计中更优。
2024-11-23 cs.LG q-fin.RM stat.ML
Adversarial Attacks for Multi-view Deep Models
East China Normal University(华东师范大学);Tongji University(同济大学)
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法,因此受到越来越多的关注。然而,据我们所知,目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略:两阶段攻击(TSA)和端到端攻击(ETEA)。在目标多视图模型所基于的单视图模型已知的假设下,我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型,从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上,进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击,提出了三种有效的多视图攻击方法。最后,基于对抗性攻击在不同模型间具有较好的泛化性,以多视图卷积神经网络的对抗攻击为例,验证了所提出的多视图攻击方法的有效性。大量的实验结果表明,我们的多视图攻击策略能够攻击多视图深度模型,我们还发现,多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning
信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域,但由此产生的大规模用户私人信息收集重新激发了隐私辩论,考虑到每年由未经授权的黑客造成的数十起数据泄露事件,以及(可能更多)授权方的信息误用/滥用。为了解决这些关键问题,本文提出了一个基于对抗学习的隐私保护信用风险建模框架(PCAL)。PCAL旨在通过(迭代)权衡隐私风险损失和面向实用性的损失,掩盖原始数据集内的私人信息,同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面,将PCAL与现成的选项进行比较。实验结果表明,PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法,为信用风险分析中隐私保护的机器学习提供了坚实的基础。
2020-10-06 cs.CR cs.CV cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University(西北大学);Peking University(北京大学)
众所周知,深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性,其中对抗训练方法是最有效的。然而,这些方法大多独立地处理训练样本,并且需要大量的样本来训练鲁棒网络,而忽略了这些样本之间的潜在结构信息。在这项工作中,我们提出了一种新的局部结构保持(LSP)正则化,其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式,可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据,无论是否有对抗训练,与基线和一些最先进的方法相比,我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能,从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
MedAttacker: Exploring Black-Box Adversarial Attacks on Risk Prediction Models in Healthcare
The Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学);Amplitude(Amplitude公司)
深度神经网络(DNN)已被广泛用于健康风险预测,以提供医疗诊断和治疗。为了评估其鲁棒性,现有的研究进行对抗攻击在白/灰盒设置模型参数是可访问的。然而,更现实的黑盒对抗攻击被忽略了,即使大多数真实世界模型都是用私有数据训练的,并作为云上的黑盒服务发布。为了填补这一空白,我们提出了第一个黑盒对抗攻击方法对健康风险预测模型命名MedAttacker调查他们的脆弱性。MedAttacker通过两个步骤来解决EHR数据带来的挑战:分层位置选择,在强化学习(RL)框架中选择被攻击的位置;替代选择,使用基于分数的原则识别替代。特别地,通过考虑EHR内部的时间上下文,利用每次访问的贡献得分和每个代码的显著性得分来优化其RL位置选择策略,该策略可以很好地与由得分变化决定的确定性替代选择过程相结合。在实验中,MedAttacker始终达到最高的平均成功率,甚至在某些情况下,当在多个真实世界数据集的黑盒设置中攻击三个高级健康风险预测模型时,其性能甚至超过了最近的白盒EHR对抗攻击技术。此外,基于实验结果,我们还讨论了电子病历的防御对抗攻击。
2021-12-11 cs.AI cs.CR cs.LG
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA(数学,Courant研究所,纽约,美国)
本文研究对抗学习中的凸替代损失一致性,发现其等价于对抗贝叶斯分类器的唯一性,为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
On the Adversarial Risk of Test Time Adaptation: An Investigation into Realistic Test-Time Data Poisoning
South China University of Technology(华南理工大学);Southwest Jiaotong University(西南交通大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究测试时自适应(TTA)在现实假设下的对抗风险,提出无需良性样本的投毒攻击方法,并发现TTA方法比预期更鲁棒,同时分析防御策略以增强其鲁棒性。
2025-02-28 cs.CV cs.LG
Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究建立后门风险与对抗风险的关联,提出共享对抗性遗忘(SAU)方法,通过生成并遗忘共享对抗样本缓解后门效应,在多基准数据集和架构上实现了最优后门防御性能。
2023-07-20 cs.CR cs.LG
Adversarial Driving Behavior Generation Incorporating Human Risk Cognition for Autonomous Vehicle Evaluation
本文提出一种结合累积前景理论与强化学习的框架,生成背景车辆对抗行为以评估自动驾驶车辆,并在硬件在环平台上验证其有效性。
2023-10-14 cs.AI cs.GT cs.LG
Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense
University of Adelaide(阿德莱德大学)
本文针对贝叶斯神经网络对抗训练中的模式坍缩问题,提出防止模式坍缩并引入信息增益目标以约束对抗风险,在CIFAR-10和STL-10上实现最高20%的鲁棒性提升。
2023-12-01 cs.CR cs.CV cs.LG
FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats
Ben-Gurion University of the Negev(贝内杰尔大学)
针对传统风险评估框架无法应对AML威胁独特挑战、现有AML评估忽视现实因素且局限于特定领域的问题,提出首个全面自动化框架FRAME,通过量化三个关键维度、集成可行性评分与LLM定制等,在六个现实应用中验证了高准确性,助力组织优先处理AML风险。
2025-08-24 cs.CR cs.LG
Statistically Robust Neural Network Classification
University of Oxford(牛津大学);Twitter Cortex(推特Cortex)
尽管它们取得了许多成功,但在许多情况下,对抗性风险度量并不能提供适当的鲁棒性度量。例如,测试时的扰动可能会发生在概率的方式,而不是由一个明确的对手,而穷人的训练-测试概括的对抗性指标可以限制其使用简单的问题。出于这一动机,我们开发了一个概率鲁棒风险框架,统计鲁棒风险(SRR),它考虑逐点腐败分布,而不是最坏情况下的对手。与自然风险和对抗性风险相比,SRR提供了一种独特的、互补的稳健性能衡量标准。我们表明,SRR承认的估计和训练计划,这是简单和有效的自然风险:这些只是需要噪声的输入,但有一个原则性的推导究竟如何以及为什么要这样做。此外,我们从理论和实验上证明,与对抗性风险相比,它可以提供更好的泛化性能,从而能够应用于高维数据集。
2021-08-01 cs.LG stat.ML
You Don't Need Robust Machine Learning to Manage Adversarial Attack Risks
该综述梳理对抗机器学习攻击的相关文献,评估其对普通实体的真实风险,指出多数威胁无需采用高成本的鲁棒ML方案,同时给出了需使用鲁棒模型的场景建议。
2023-06-16 cs.LG stat.ML
Legal Risks of Adversarial Machine Learning Research
Microsoft(微软);University of Toronto(多伦多大学);Harvard Kennedy School(哈佛肯尼迪学院);Harvard Law School(哈佛法学院)
对抗性机器学习正在蓬勃发展,机器学习研究人员越来越多地将目标对准商业机器学习系统,例如Facebook、特斯拉、微软、IBM、谷歌中使用的机器学习系统,以展示漏洞。在这篇论文中,我们提出了这样一个问题:“当对抗性机器学习研究人员攻击机器学习系统时,他们潜在的法律风险是什么?“研究或测试任何操作系统的安全性都可能违反《计算机诈骗和滥用法案》(CFAA),这是美国联邦法律中规定黑客行为责任的主要法规。我们声称对抗性ML研究可能没有什么不同。我们的分析表明,由于CFAA的解释方式存在分歧,对抗性ML攻击的各个方面,例如模型反演,成员推断,模型窃取,重新编程ML系统和中毒攻击,可能会在某些司法管辖区受到制裁,而不会在其他司法管辖区受到惩罚。最后,我们分析预测美国最高法院如何解决CFAA在范布伦诉美国案中的申请中存在的一些不一致之处,该上诉预计将于2021年做出裁决。我们认为,法院可能会采用CFAA的狭义结构,从长远来看,这实际上会带来更好的对抗性ML安全结果。
2020-06-29 cs.CR cs.CY cs.LG
RAGIC: Risk-Aware Generative Adversarial Model for Stock Interval Construction
New Jersey Institute of Technology(新泽西理工学院)
针对股票预测忽视风险的问题,提出基于GAN的模型RAGIC,通过结合风险与时间模块生成风险敏感的价格区间,在95%覆盖率下保持窄区间,有效提升了预测的准确性与信息量。
2024-02-16 cs.LG q-fin.ST
Generalization Bounds for Adversarial Contrastive Learning
Wuhan University(武汉大学)
众所周知,深度网络对对抗攻击很脆弱,对抗性训练是用于训练鲁棒模型的最流行方法之一。为了利用未标记的数据,最近的工作已经将对抗训练应用于对比学习(对抗对比学习; ACL),并获得了有希望的鲁棒性能。然而,ACL的理论还没有得到很好的理解。为了填补这一空白,我们利用Rademacher复杂性来分析ACL的泛化性能,特别关注$\ell_p$攻击下的线性模型和多层神经网络($p \ge 1$)。我们的理论表明,下游任务的平均对抗风险可以由上游任务的对抗无监督风险的上界。实验结果验证了我们的理论。
2023-02-21 cs.LG stat.ML