Conditional Adversarial Domain Adaptation
School of Software, Tsinghua University, China(清华大学软件学院,中国);Tsinghua University, China(清华大学,中国);University of California, Berkeley, Berkeley, USA(美国加州大学伯克利分校,伯克利)
对抗学习已经被嵌入到深度网络中,以学习用于领域自适应的解纠缠和可转移的表示。现有的对抗性领域自适应方法可能无法有效地对齐分类问题中固有的多模态分布的不同域。在本文中,我们提出了有条件的对抗性领域自适应,一个原则性的框架,条件的对抗性适应模型的判别信息中传达的分类器预测。条件域对抗网络(CDAN)设计了两种新的条件策略:多线性条件,捕获特征表示和分类器预测之间的互协方差,以提高区分度,熵条件,控制分类器预测的不确定性,以保证可转移性。通过理论保证和几行代码,该方法在五个数据集上超过了最先进的结果。
2018-12-29 cs.LG
Boosting Adversarial Robustness using Feature Level Stochastic Smoothing
Indian Institute of Science(印度科学学院)
针对现有深度神经网络对抗防御鲁棒准确率不足、缺乏预测置信度的问题,提出特征级随机平滑分类方法,可通过拒识低置信样本或直接提升鲁棒性,结合对抗检测可兼得二者优势。
2023-06-10 cs.LG
Ensuring Calibration Robustness in Split Conformal Prediction Under Adversarial Attacks
Michigan State University(密歇根州立大学)
本文研究了在对抗攻击下分割置信预测的鲁棒性,提出通过校准时间攻击强度控制覆盖度,并通过对抗训练提升预测集的紧致性与信息量。
2025-12-22 cs.LG stat.ML
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NVIDIA(英伟达);California Institute of Technology(加州理工学院);Stanford University(斯坦福大学)
轨迹预测对于自动驾驶汽车(AV)规划正确和安全的驾驶行为至关重要。虽然许多先前的工作旨在实现更高的预测精度,但很少有人研究其方法的对抗鲁棒性。为了弥补这一差距,我们建议研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架,该框架利用精心设计的可微动态模型来生成逼真的对抗轨迹。从经验上讲,我们对最先进的预测模型的对抗鲁棒性进行了基准测试,并表明我们的攻击将一般指标和规划感知指标的预测误差增加了50%和37%以上。我们还表明,我们的攻击可以导致AV驾驶道路或碰撞到其他车辆的模拟。最后,我们演示了如何使用对抗训练方案来减轻对抗攻击。
2022-09-19 cs.AI cs.CR cs.LG
Realistic Adversarial Attacks for Robustness Evaluation of Trajectory Prediction Models via Future State Perturbation
Department of Cognitive Robotics, TU Delft(认知机器人学系,代尔夫特理工大学);Delft Center for Systems and Control, TU Delft(代尔夫特系统与控制中心,代尔夫特理工大学)
本文提出一种同时扰动过去与未来状态的现实对抗攻击方法,结合动力学约束与战术行为保持,并引入新度量,在先进预测模型上验证其能显著增加预测误差和碰撞率,揭示模型关键漏洞,推动更严格的轨迹预测鲁棒性评估。
2025-05-09 cs.HC cs.LG
The Adversarial Security Mitigations of mmWave Beamforming Prediction Models using Defensive Distillation and Adversarial Retraining
Old Dominion University(欧道明大学);University of Stavanger(斯塔万格大学);Norwegian University of Science and Technology(挪威科技大学);eKare Inc.(eKare公司)
波束成形预测的安全方案的设计对于下一代无线网络(5G、6G及以后)至关重要。然而,关于在这些网络中使用深度学习算法来保护波束成形预测没有共识。本文提出了在6G无线网络中使用深度神经网络(DNN)进行波束成形预测的深度学习中的安全漏洞,该深度学习将波束成形预测视为多输出回归问题。研究表明,初始DNN模型对训练数据的对抗样本扰动敏感,容易受到快速梯度符号法(FGSM)、基本迭代法(BIM)、投影梯度下降法(PGD)和动量迭代法(MIM)等对抗攻击的攻击.该研究还提供了两种缓解方法,如对抗训练和防御蒸馏,用于针对毫米波(mmWave)波束成形预测中使用的基于人工智能(AI)的模型的对抗攻击。此外,所提出的方案可以用于由于训练数据中的对抗性示例而导致数据损坏的情况。实验结果表明,所提出的方法可以有效地保护DNN模型免受下一代无线网络中的对抗攻击。
2022-02-16 cs.AI cs.CR cs.LG
Trajectory Prediction using Generative Adversarial Network in Multi-Class Scenarios
预测交通智能体的运动轨迹是自动驾驶的一项重要任务。大多数以前的工作轨迹预测只考虑一类道路代理。我们使用一个序列到序列模型来预测未来的路径从观察到的路径,我们将类信息到模型中连接提取的标签表示与传统的位置输入。我们使用LSTM和Transformer编码器进行实验,并使用Social GAN中引入的生成对抗网络来学习流量代理的多模态行为。我们训练我们的模型在斯坦福无人机数据集,其中包括6类道路代理和评估的影响,不同的模型组件的预测性能在多类场景。
2021-10-18 cs.AI cs.LG
Adversarial Machine Learning Security Problems for 6G: mmWave Beam Prediction Use-Case
Norwegian University of Science and Technology(挪威科技大学);Simula Research Lab.(西穆拉研究实验室)
6G是下一代通信系统。近年来,机器学习算法在健康、交通和自动驾驶汽车等各个领域得到了广泛应用。预测算法将用于6G问题。随着深度学习技术的快速发展,在应用算法时考虑安全性问题变得至关重要。虽然机器学习为6G提供了显著的优势,但AI模型的安全性却被忽视了。由于它在现实世界中有许多应用,安全性是算法的重要组成部分。本文提出了一种对抗攻击的缓解方法,该方法针对所提出的用于具有对抗性学习的毫米波(mmWave)波束预测的6G机器学习模型。针对机器学习模型的对抗攻击背后的主要思想是通过操纵用于毫米波波束预测用例的6G应用的训练深度学习模型来产生错误的结果。我们还介绍了对抗性学习缓解方法在毫米波波束预测应用中的6G安全性能,以及快速梯度符号方法攻击。防御模型和非防御模型的均方误差非常接近。
2021-03-12 cs.AI cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications(北京邮电大学)
深度神经网络(DNN)对对抗攻击的微小扰动很敏感,这会导致错误的预测。近年来,已经开发了各种方法来克服对抗攻击,包括对抗防御和不确定性推理(UI)。在本文中,我们提出了一个多头不确定性推理(MH-UI)框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构(即,分类器)以从DNN中的不同深度获得预测,并为UI引入浅层信息。利用不同深度的独立水头,假设归一化预测服从同一Dirichlet分布,并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明,在不同的设置下,所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations
Duke University(杜克大学);Illinois Institute of Technology(伊利诺伊理工学院)
Top-k预测被用于许多现实世界的应用中,例如机器学习即服务、推荐系统和web搜索。$\ell_0$ -范数对抗扰动描述了任意修改输入的某些特征的攻击,使得分类器对扰动的输入做出不正确的预测。$\ell_0$ -范数对抗扰动易于解释,并且可以在物理世界中实现。因此,证明顶$k$预测对$\ell_0$范数对抗扰动的鲁棒性是重要的.然而,现有的研究要么集中于证明前$1$预测的$\ell_0$ -范数稳健性,要么集中于证明前$k$预测的$\ell_2$ -范数稳健性.在这项工作中,我们的目标是弥合差距。我们的方法是基于随机平滑,建立一个可证明的强大的分类器从任意分类器通过随机化的输入。我们的主要理论贡献是一个几乎紧密的$\ell_0$规范认证的鲁棒性保证顶级$k$预测。我们在CIFAR 10和ImageNet上对我们的方法进行了实证评估。例如,我们的方法可以构建一个分类器,当攻击者可以任意干扰测试图像的5个像素时,该分类器在ImageNet上达到了69.2%的认证前3名准确率。
2022-06-03 cs.CR cs.LG
FragmGAN: Generative Adversarial Nets for Fragmentary Data Imputation and Prediction
East China Normal University(华东师范大学)
现代科学研究和应用中经常会遇到“碎片数据”,这给估算和预测带来了很大的挑战。通过利用响应模式的结构,我们提出了一个统一的和灵活的框架,基于生成对抗网(GAN),同时处理碎片数据填补和标签预测。与大多数其他基于生成模型的插补方法不同,这些方法要么没有理论保证,要么只考虑随机缺失(MCAR),所提出的FragmGAN具有理论保证,可以用随机缺失(MAR)数据进行插补,而不需要提示机制。FragmGAN同时使用生成器和预测器训练预测器。在大量的实验中,这种联动机制显示出显着的优势,预测性能。
2022-03-09 cs.AI cs.LG
Consistent Valid Physically-Realizable Adversarial Attack against Crowd-flow Prediction Models
Information Technology University (ITU)(信息技术大学);Qatar Mobility Innovations Center (QMIC)(卡塔尔移动创新中心);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学);Qatar University(卡塔尔大学)
本文针对深度人群流预测模型的对抗脆弱性,提出CaV-detect检测方法,并进一步设计物理可实现的CVPR攻击,在一致性与有效性约束下显著提升攻击效果。
2023-03-05 cs.CR cs.LG
Playing to Learn Better: Repeated Games for Adversarial Learning with Multiple Classifiers
U. S. Naval Research Laboratory(美国海军研究实验室)
我们考虑在对抗性学习环境中通过称为学习者的机器学习算法进行预测的问题。学习器的任务是正确地预测作为查询传递给它的数据的类别。然而,除了包含干净数据的查询外,学习者还可能收到来自对手的恶意或敌对查询。对手的目标是通过发送导致学习者错误的类预测的对抗查询来逃避学习者的预测机制,而学习者的目标是在不降低干净查询的预测质量的情况下减少这些对抗查询的不正确预测。我们提出了一种基于博弈论的技术,称为重复贝叶斯序贯博弈,学习者反复与对手的模型进行交互,使用自我游戏来确定对抗性查询与干净查询的分布。然后,它从一组预先训练的分类器中策略性地选择一个分类器,该分类器平衡了查询的正确预测的可能性以及降低使用分类器的成本。我们已经使用基于深度神经网络的分类器使用干净和对抗性文本数据评估了我们提出的技术,并表明学习者可以选择与查询类型(干净或对抗性)相称的适当分类器,同时仍然知道使用分类器的成本。
2020-02-10 cs.LG stat.ML
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University(乔治梅森大学)
神经网络以其良好的准确性和可行性,在新型智能应用和系统中得到了广泛的应用。然而,随着对抗攻击的出现,基于神经网络的系统性能变得非常脆弱:图像分类结果可以被对抗样本任意误导,这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题,我们实施了一系列的调查对抗攻击在这项工作中:我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布,提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上,提出了一种新的对抗性显著性预测方法,并提出了一种快速对抗性示例生成框架ASP,该框架显著提高了攻击效率,降低了计算开销。实验结果表明,与已有方法相比,ASP的对抗性示例生成速度最多提高了12倍,扰动率降低了2倍,在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率,ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Joint Air Quality and Weather Prediction Based on Multi-Adversarial Spatiotemporal Networks
Baidu Research(百度研究院);Baidu Inc(百度公司);Rutgers University(罗格斯大学)
准确、及时的空气质量和天气预报对城市治理和民生至关重要。尽管人们已经在空气质量或天气预报方面做了很多努力,但大多数都只是简单地将彼此作为特征输入,忽略了两个预测任务之间的内在联系。一方面,一个任务的准确预测可以帮助提高另一个任务的性能。另一方面,地理空间分布的空气质量和天气监测站提供了城市范围的时空依赖性建模的额外提示。受上述两个见解的启发,在本文中,我们提出了多对抗时空递归图神经网络(MasterGNN)的联合空气质量和天气预报。具体来说,我们首先提出了一个异构的递归图神经网络来模拟空气质量和天气监测站之间的时空自相关。然后,我们开发了一个多对抗图学习框架来对抗时空建模引入的观测噪声传播。此外,我们提出了一个自适应的训练策略,制定多对抗学习作为一个多任务的学习问题。最后,在两个真实数据集上进行的广泛实验表明,与七个基线相比,MasterGNN在空气质量和天气预测任务上都取得了最佳性能。
2021-01-05 cs.AI cs.LG
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University(卡内基梅隆大学);Conversant LLC(Conversant有限责任公司);California Institute of Technology(加州理工学院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布,该预测分布针对(近似)匹配训练数据统计的最坏情况条件标签分布(对抗分布)鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的,但该框架的对偶公式是一个凸优化问题,可以重新转换为具有指定凸代理损失的风险最小化模型,我们称之为对抗代理损失。我们表明,对抗性代理损失填补了现有的空白,代理损失建设一般多类分类问题,同时更好地与原始多类损失对齐,保证Fisher一致性,使一种方式,通过内核技巧,将丰富的特征空间,并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Adversarial Robustness of Probabilistic Network Embedding for Link Prediction
Ghent University(根特大学)
在当今的网络社会中,许多现实世界的问题可以形式化为预测网络中的链接,例如Facebook的友谊建议,电子商务推荐,以及引文网络中的科学合作预测。链接预测问题越来越多地通过网络嵌入方法来解决,这是由于它们具有最先进的性能。然而,与更简单的基线相比,这些方法缺乏透明度,因此它们对对抗攻击的鲁棒性可能是一个值得关注的问题:对网络的一个或几个小的对抗性修改是否会对链接预测产生很大影响使用网络嵌入模型时的性能?先前的研究已经研究了网络嵌入模型的对抗鲁棒性,重点是节点和图级别的分类。另一方面,对于链路预测下游任务的鲁棒性研究较少,本文通过研究链接预测的条件网络嵌入(CNE)模型的对抗鲁棒性来填补这一空白。更具体地说,给定CNE和一个网络,我们测量模型的链接预测对网络的小对抗扰动的敏感性,即节点对的链接状态的变化。因此,我们的方法可以识别网络中最容易受到这种扰动的链接和非链接,供分析师进一步调查。我们分析了最敏感和最不敏感的扰动的特征,并根据经验证实,我们的方法不仅成功地识别出最脆弱的链接和非链接,而且由于有效的近似,它可以以一种有效的方式进行识别。
2021-07-05 cs.LG cs.SI
Robust Planning for Autonomous Driving via Mixed Adversarial Diffusion Predictions
Samueli School of Engineering, Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系桑德利学校)
本研究提出一种自动驾驶鲁棒规划方法,通过混合扩散模型生成的正常与对抗行为预测,以期望成本评分规划,兼顾对抗鲁棒性与正常场景保守性,在多种交通场景中验证了有效性。
2025-05-18 cs.AI cs.LG cs.RO
Semi-supervised Semantics-guided Adversarial Training for Trajectory Prediction
Northwestern University(西北大学);University of California, Irvine(加州大学欧文分校)
预测周围物体的轨迹是自动驾驶汽车和许多其他自动驾驶系统的关键任务。最近的工作表明,对轨迹预测的对抗攻击,其中小的精心制作的扰动被引入到历史轨迹,可能会显着误导未来轨迹的预测,并诱导不安全的规划。然而,很少有工作已经解决了提高鲁棒性的这一重要的安全关键task.In本文中,我们提出了一种新的对抗训练方法的轨迹预测。与典型的图像任务对抗训练相比,我们的工作面临着更多随机输入的挑战,这些输入具有丰富的上下文和缺乏类标签。为了解决这些挑战,我们提出了一种基于半监督对抗自动编码器的方法,该方法利用领域知识对解纠缠的语义特征进行建模,并为对抗训练提供额外的潜在标签。不同类型攻击的大量实验表明,我们的半监督语义引导的对抗训练(SSAT)方法可以有效地减轻高达73%的对抗攻击的影响,并优于其他流行的防御方法。此外,实验表明,我们的方法可以显着提高系统的鲁棒性泛化看不见的攻击模式。我们相信,这种语义指导的架构和鲁棒泛化的进步是开发鲁棒预测模型和实现安全决策的重要一步。
2023-03-21 cs.CV cs.LG cs.RO
Thompson Sampling for Adversarial Bit Prediction
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了汤普森采样算法在对抗设置,特别是对抗比特预测。我们描述的位序列的最小和最大的预期遗憾。在具有$k < \frac{T}{2}$ 0的长度为$T$的序列中,最大遗憾的序列由交替的0和1以及随后的1组成,并且最小遗憾的序列由1以及随后的0组成。我们也限制了这些序列的遗憾,最坏情况序列有遗憾$O(\sqrt{T})$,最好情况序列有遗憾$O(1)$。我们将我们的结果扩展到假阳性和假阴性错误具有不同权重的模型。我们刻画了最大期望遗憾序列的特征,并推导出它们的遗憾界。我们还发现,有序列与$O(1)$遗憾。
2019-12-28 cs.LG stat.ML
Predictive Business Process Monitoring via Generative Adversarial Nets: The Case of Next Event Prediction
The University of Melbourne(墨尔本大学)
预测过程监控旨在预测正在进行的过程案例的未来特征,例如案例结果或剩余时间戳。最近,已经提出了几种基于深度学习的预测过程监控方法,例如长短期记忆或卷积神经网络,以解决下一个事件预测的问题。然而,由于训练数据不足或次优网络配置和架构,这些方法不能很好地概括手头的问题。本文提出了一种新的对抗训练框架来解决这一缺点,基于生成对抗网络(GANs)对顺序时态数据领域的适应。训练的工作原理是在两个玩家的游戏中让一个神经网络与另一个神经网络对抗(因此具有对抗性),这导致预测与地面事实无法区分。我们正式表明,所提出的方法的最坏情况下的准确性至少等于在非对抗性设置中实现的准确性。从实验评估中可以看出,尽管使用了简单的网络架构和朴素的特征编码,但该方法在预测的准确性和早期性方面系统地优于所有基线。此外,该方法更鲁棒,因为其准确性不受案例长度波动的影响。
2020-04-01 cs.LG stat.ML
Achieving Fairness through Adversarial Learning: an Application to Recidivism Prediction
Stanford University(斯坦福大学)
累犯预测分数在美国各地被用来确定对数十万囚犯的判刑和监督。一个这样的累犯预测分数的生成器是Northpointe的替代制裁的惩教罪犯管理分析(COMPAS)分数,在加利福尼亚州和佛罗里达州等州使用,根据某些公平措施,过去的研究表明对黑人囚犯有偏见。为了抵消这种种族偏见,我们提出了一个对抗训练的神经网络,预测累犯和训练,以消除种族偏见。当将我们的模型结果与COMPAS进行比较时,我们获得了预测准确性,并更接近实现三个公平性指标中的两个:奇偶性和赔率相等。我们的模型可以推广到任何预测和人口统计。这项研究为在高风险的现实世界应用(如累犯预测)中进行科学复制和简化提供了一个例子。
2018-06-30 cs.LG stat.ML
SA-Attack: Speed-adaptive stealthy adversarial attack on trajectory prediction
College of Electronics and Information Engineering, Tongji University(同济大学电子与信息工程学院)
提出SA-Attack,一种速度自适应隐蔽对抗攻击方法,通过搜索敏感区域并利用车辆跟随和未来轨迹信息生成平滑对抗轨迹,在nuScenes和Apolloscape数据集上验证了攻击性能、适应性和隐蔽性。
2024-04-19 cs.CV cs.LG
Adversarial Resilience in Sequential Prediction via Abstention
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);Technion(以色列理工学院);Google Research, Israel(谷歌研究院(以色列));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出介于随机与完全对抗之间的序列预测模型,允许对干净标签对抗样本无成本弃权,并给出依赖 VC 维而非 Littlestone 维的学习器及不确定性度量。
2024-01-25 cs.DS cs.LG stat.ML
Adversarial Debiasing for Unbiased Parameter Recovery
Paris School of Economics(巴黎经济学院)
针对机器学习预测作为代理变量时导致回归系数估计偏差的问题,本文提出偏差检测测试与对抗性去偏算法,通过模拟和非洲森林覆盖实证实验验证其可恢复真实系数,适用于预测为回归因变量的场景。
2025-02-17 cs.LG stat.ML
A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Predictions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司);University at Buffalo(布法罗大学);Michigan State University(密歇根州立大学)
越来越多的投资者和机器学习模型依赖于社交媒体(例如,Twitter和Reddit)收集实时信息和情绪,以预测股价走势。虽然基于文本的模型容易受到对抗攻击的攻击,但股票预测模型是否也有类似的脆弱性还有待研究。在本文中,我们使用各种对抗攻击配置来欺骗三种股票预测受害者模型。我们通过解决具有语义和预算约束的组合优化问题来解决对抗生成的任务。我们的研究结果表明,所提出的攻击方法可以实现一致的成功率,并在交易模拟中造成重大的金钱损失,通过简单地连接一个扰动,但语义相似的鸣叫。
2022-07-12 cs.CR cs.LG q-fin.ST
Adversarial Diffusion Attacks on Graph-based Traffic Prediction Models
College of Civil Engineering and Architecture, Zhejiang University(浙江大学建筑工程学院);Department of Civil and Environmental Engineering, Princeton University(普林斯顿大学土木与环境工程系);School of Engineering, Monash University(莫纳什大学工程学院);Department of Civil and Environmental Engineering, The Hong Kong Polytechnic University(香港理工大学土木与环境工程系)
实时交通预测模型在智能移动系统中发挥着关键作用,并已广泛应用于路径引导、新兴移动服务和先进的交通管理系统。随着海量交通数据的可用性,基于神经网络的深度学习方法,特别是图卷积网络(GCN),在挖掘时空信息、实现高预测精度方面表现出了突出的性能。最近的研究揭示了GCN在对抗攻击下的脆弱性,而缺乏研究来了解基于GCN的流量预测模型的脆弱性问题。鉴于此,本文提出了一个新的任务--扩散攻击,研究基于GCN的流量预测模型的鲁棒性。扩散攻击的目的是选择和攻击一小部分节点,以降低整个预测模型的性能。为了进行扩散攻击,提出了一种新的攻击算法,该算法包括两个主要部分:1)用同时扰动随机近似(SPSA)逼近黑箱预测模型的梯度; 2)采用背包贪心算法选择攻击节点。在两个城市使用三种基于GCN的交通预测模型:St-Gcn、T-Gcn和A3 t-Gcn来检验所提出的算法。该算法在各种场景下的对抗攻击任务中表现出较高的效率,并且在DropOut、DropNode和DropEdge等丢弃正则化下仍能生成对抗样本。研究结果有助于提高基于GCN的交通预测模型的鲁棒性,更好地保护智能移动系统。我们的代码可在www.example.com上获得
2021-04-19 cs.AI cs.LG
Generalized multiscale feature extraction for remaining useful life prediction of bearings with generative adversarial networks
KIST Europe(韩国科学技术研究院欧洲分院);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Korea Institute of Science and Technology Europe Forschungsgesellschaft mbH(韩国科学技术研究院欧洲研究有限公司)
轴承是工业机械中的关键部件,其故障可能导致不必要的停机时间和经济损失。因此,有必要预测轴承的剩余使用寿命(RUL)。传统的数据驱动的RUL预测方法需要专家领域知识来进行手动特征提取,并且可能遭受训练数据和测试数据之间的数据分布差异。在这项研究中,我们提出了一种新的广义多尺度特征提取方法与生成对抗网络。对抗训练从不同的方位学习训练数据的分布,并被引入健康阶段划分和RUL预测。为了从一维振动信号中捕获序列特征,我们采用了一种U-Net架构,该架构可以重构特征,以便在对抗网络的生成器中使用多尺度层来处理它们。为了验证所提出的方法,在两个旋转机械数据集上进行了综合实验,以预测RUL。实验结果表明,该特征提取方法能够有效地预测规则语言,优于传统的基于深度神经网络的规则语言预测方法。实现代码可在https://github.com/opensuh/GMFE上获得。
2021-09-26 cs.CV cs.LG
Learning Discriminators as Energy Networks in Adversarial Learning
University of Technology Sydney(悉尼科技大学);University of Iowa(爱荷华大学)
我们提出了一个通过对抗学习进行结构化预测的新框架。现有的对抗学习方法涉及两个独立的网络,即,结构化预测模型和判别模型。判别模型所捕获的信息是对结构化预测模型的补充,但目前很少有研究利用这些信息在推理阶段改进结构化预测模型。在这项工作中,我们建议通过有效地将判别模型集成到预测中来改进结构化预测模型的预测。判别模型被视为基于能量的模型。与对抗性学习类似,区分性模型被训练来估计衡量预测输出质量的分数,而结构化预测模型被训练来预测具有最大能量分数的对比输出。通过这种方式,梯度消失问题得到了改善,因此我们能够通过遵循判别模型的上升梯度方向来进行推理,以改进结构化预测模型。所提出的方法能够处理一系列任务,例如,多标签分类和图像分割。这两个任务的实验结果验证了我们的学习方法的有效性。
2018-10-02 cs.CR cs.CV cs.LG
A Deep Adversarial Model for Suffix and Remaining Time Prediction of Event Sequences
The University of Melbourne(墨尔本大学)
事件后缀和剩余时间预测是顺序到顺序的学习任务。它们在经济、数字健康、业务流程管理和IT基础设施监控等不同领域有着广泛的应用。带时间戳的事件序列包含至少带有两个属性的有序事件:事件的标签和时间戳。后缀和剩余时间预测分别是关于获得事件标签的最有可能的延续和序列完成之前的剩余时间。最近用于这种预测的基于深度学习的工作由于闭环训练(即,下一事件以先前事件的基本事实为条件)和开环推理(即,下一事件以先前预测的事件为条件)。在这项工作中,我们提出了一个编码器-解码器架构,用于开环训练,以提高事件序列的后缀和剩余时间预测。为了捕捉事件的联合时间动态,我们利用对抗学习技术的力量来提高预测性能。我们在实验中考虑了四个现实生活中的数据集和三个基线。结果表明,与最先进的后缀和事件序列的剩余时间预测相比,改进了四倍,特别是在业务流程执行领域。我们还表明,在相同的实验设置下,对抗训练所获得的改进优于标准训练。
2021-02-15 cs.AI cs.LG
Out-of-distribution materials property prediction using adversarial learning based fine-tuning
University of South Carolina(南卡罗来纳大学)
针对材料属性预测模型在分布外样本上泛化能力不足的问题,提出CAL算法及基于对抗学习的定向微调方法,有效提升了小样本下的预测效果,为分布外材料属性预测提供了新方向。
2024-08-17 cond-mat.mtrl-sci cs.LG
Spear and Shield: Adversarial Attacks and Defense Methods for Model-Based Link Prediction on Continuous-Time Dynamic Graphs
KAIST(韩国科学技术院)
本文提出针对连续时间动态图链路预测的对抗攻击方法T-SPEAR和防御方法T-SHIELD,通过边扰动注入与边过滤及时序平滑增强鲁棒性,实验证明攻击有效且可迁移,防御性能最高提升11.2%。
2024-02-23 cs.LG cs.SI
Robust Trajectory Prediction against Adversarial Attacks
University of Michigan(密歇根大学);NVIDIA(英伟达);California Institute of Technology(加州理工学院);ASU(亚利桑那州立大学);Stanford University(斯坦福大学)
使用深度神经网络(DNN)的轨迹预测是自动驾驶(AD)系统的重要组成部分。但这些方法容易受到对抗攻击,导致碰撞等严重后果。在这项工作中,我们确定了两个关键因素来保护轨迹预测模型免受对抗攻击,包括(1)设计有效的对抗训练方法和(2)添加特定于域的数据增强,以减轻干净数据的性能下降。我们证明,与使用干净数据训练的模型相比,我们的方法能够在对抗性数据上将性能提高46%,并且在干净数据上仅降低3%的性能。此外,与现有的鲁棒方法相比,我们的方法可以在对抗性示例上提高21%的性能,在干净数据上提高9%。我们的强大的模型进行评估与规划师研究其下游的影响。我们证明,我们的模型可以显着降低严重事故率(例如,碰撞和越野驾驶)。
2022-07-29 cs.AI cs.CR cs.CV
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH(POSTECH大学);GSAI(GSAI研究院)
本文提出一种基于对抗性带的在线 conformal 预测方法,在部分反馈下保证长期覆盖性,通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University(杜克大学)
众所周知,分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动,已经推导出各种经过认证的鲁棒性结果。然而,现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中,顶级$k$预测更相关。在这项工作中,我们的目标是获得认证的鲁棒性顶部$k$预测。特别是,我们认证的鲁棒性是基于随机平滑,它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑,因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时,我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现,推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如,当对抗扰动的$\ell_2$范数小于0.5(=127/255)时,我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取:\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation
Radboud University(拉德堡德大学);TNO(荷兰应用科学研究组织);Open University(开放大学)
我们考虑无监督域自适应:给定源域的标记示例和相关目标域的未标记示例,目标是推断目标示例的标签。在来自预训练的深度神经网络的特征可跨相关域转移的假设下,域自适应简化为在类别预测不确定性水平上对齐源域和目标域。我们通过引入一种基于对抗学习的方法来解决这个问题,该方法迫使目标域上的标签不确定性预测与源域上的标签不确定性预测无法区分。使用预先训练的深度神经网络来生成具有跨相关域的高可转移性的深度特征。我们在大量公开的预训练深度神经网络上对所提出的方法进行了广泛的实验分析。我们在图像分类领域自适应任务上的实验结果表明,类预测不确定性与从预训练的深度神经网络中提取的特征对齐,为领域自适应提供了一种高效、鲁棒和有效的方法。
2019-01-04 cs.LG stat.ML
Adversarial Structured Prediction for Multivariate Measures
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
许多预测的结构化对象(例如,序列、匹配、树)使用F分数、比对错误率(AER)或其它多变量性能测量来评估。由于使用训练数据归纳地优化这些测量通常在计算上是困难的,因此采用替代损失的经验风险最小化,例如,(结构化)支持向量机的铰链损失。这些近似值通常会在学习者的目标和期望的应用性能之间引入不匹配,从而导致不一致。我们采取了不同的方法:在优化精确的F分数或AER的同时,对训练数据进行逆向近似。在此公式下的结构化预测是通过解决寻求最佳性能的预测器和寻求最差性能的对手之间的零和游戏而产生的,同时需要(近似)匹配训练数据的某些结构化属性。我们探索这种方法的字对齐(AER评价)和命名实体识别(F-评分评价)与线性链约束。
2017-12-21 cs.LG stat.ML
Enhancing Stock Movement Prediction with Adversarial Training
National University of Singapore(新加坡国立大学);Tsinghua Unversity(清华大学);University of Science and Technology of China(中国科学技术大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的股票走势预测机器学习解决方案,旨在预测股票价格在不久的将来是上涨还是下跌。关键的新颖之处在于,我们建议使用对抗训练来提高神经网络预测模型的泛化能力。这里对抗训练的合理性在于,股票预测的输入特征通常基于股票价格,而股票价格本质上是一个随机变量,本质上随着时间的推移而不断变化。因此,使用基于静态价格的特征(例如接近价格)的正常训练很容易过拟合数据,不足以获得可靠的模型。为了解决这个问题,我们建议增加扰动来模拟价格变量的随机性,并训练模型在小而故意的扰动下工作良好。在两个真实的股票数据上的实验表明,该方法比现有的解决方案平均w.r.t.有3.11%的相对改进。准确性,验证了对抗训练对股票预测任务的有用性。
2019-06-01 cs.CE cs.LG q-fin.TR
Precision-Varying Prediction (PVP): Robustifying ASR systems against adversarial attacks
Faculty of Computer Science, Ruhr University Bochum, Germany(计算机科学系,博尔塔伦鲁尔大学)
本文提出PVP方法,通过在推理过程中随机采样精度来提高ASR系统对对抗攻击的鲁棒性,并利用不同精度的输出进行对抗示例检测。
2026-07-21 cs.CR cs.LG eess.AS
Encoder-Decoder Generative Adversarial Nets for Suffix Generation and Remaining Time Prediction of Business Process Models
The University of Melbourne(墨尔本大学)
本文提出了一种基于生成对抗网络(GANs)的编码器-解码器架构,该架构以端到端的方式生成活动序列及其时间戳。GANs可以很好地处理图像等可区分的数据。然而,后缀是一系列分类项。为此,我们使用Gumbel-Softmax分布来获得可微连续近似。训练的工作原理是在两个玩家的游戏中让一个神经网络对抗另一个(因此具有“对抗”性质),这导致生成接近地面事实的后缀。从实验评估中可以看出,该方法在预测后缀和相应剩余时间的准确性方面优于基线,尽管使用了朴素的特征编码,并且仅基于控制流和事件完成时间的工程特征。
2020-10-19 cs.LG stat.ML
Learning Adversarially Fair and Transferable Representations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们提倡表示学习作为减轻下游不公平预测结果的关键。出于一个场景的动机,学习的表示被第三方使用未知的目标,我们提出并探索对抗性表示学习作为一种自然的方法,确保这些方公平行事。我们将群体公平性(人口统计学上的平等、均等化的几率和平等的机会)与不同的对抗性目标联系起来。通过最坏情况下的理论保证和实验验证,我们表明,这个目标的选择是至关重要的公平预测。此外,我们提出了第一个深入的公平迁移学习的实验演示,并实证表明,我们学到的表示承认公平的预测新的任务,同时保持效用,公平表示学习的一个基本目标。
2018-10-22 cs.LG stat.ML
Improving Calibration through the Relationship with Adversarial Robustness
Google Research(谷歌研究院)
神经网络缺乏对抗鲁棒性,即,它们容易受到对抗性示例的影响,这些示例通过对输入的小扰动导致不正确的预测。此外,当模型给出错误的预测时,信任就会受到破坏,即,预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中,我们研究了对抗鲁棒性和校准之间的联系,并发现模型对小扰动敏感(容易受到攻击)的输入更有可能具有校准不良的预测。基于这一见解,我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此,我们提出了基于对抗鲁棒性的自适应标签平滑(AR-AdaLS),它将对抗鲁棒性和校准的相关性集成到训练中,根据对手攻击的容易程度自适应地软化标签。我们发现,我们的方法,考虑到分布数据的对抗性鲁棒性,导致更好的校准模型,即使在分布变化。此外,AR-AdaLS还可以应用于集合模型,以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
Are You A Risk Taker? Adversarial Learning of Asymmetric Cross-Domain Alignment for Risk Tolerance Prediction
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机学院);Raiz Invest Limited(Raiz Invest有限公司(公司))
目前的调查分析和风险容忍度建模研究大多缺乏专业知识和特定领域的模型。鉴于生成对抗学习在跨域信息中的有效性,针对域规模不等式问题,设计了一个非对称跨域生成对抗网络(ADGAN). ADGAN利用信息充足域提供额外的信息,通过域对齐来改进信息不足域上的表示学习。我们提供两个数据源的数据分析和用户模型:消费者消费信息和调查信息。我们进一步在具有视图嵌入结构的真实数据集上测试ADGAN,并显示ADGAN可以比最先进的技术更好地处理类不平衡和不合格的数据空间,证明了利用不对称域信息的有效性。
2020-04-18 cs.LG stat.ML
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology(华中科技大学);Huawei(华为);Harbin Institute of Technology(哈尔滨工业大学)
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本,这使得它很难被部署到现实世界的应用中。为此,我们考虑一种很少研究但更严格的设置,即硬标签攻击,其中攻击者只能访问预测标签。特别地,我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察,我们提出了一种新的对抗攻击,称为文本硬标签攻击者(TextHacker)。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后,TextHacker采用了一种混合局部搜索算法,从攻击历史中估计单词的重要性,以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明,TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
SigGAN : Adversarial Model for Learning Signed Relationships in Networks
Indian Institute of Technology Patna(印度理工学院巴特那分校);National Institute of Technology Durgapur(国立杜尔加布尔理工学院)
图中的符号链接预测是一个重要的问题,在许多领域都有应用。这是一个二元分类问题,预测一对节点之间的边是正的还是负的。现有的用于无符号网络中的链接预测的方法由于其固有的差异而不能直接应用于有符号链接预测。此外,附加的结构约束,如,有符号的网络的结构平衡属性,必须考虑有符号的链接预测。最近的有符号链接预测方法使用生成模型或判别模型来生成节点表示。受最近基于生成对抗网络(GAN)的模型的成功的启发,我们提出了一种基于生成对抗网络(GAN)的签名网络模型,SigGAN。它考虑了符号网络的要求,如,从负边的信息的集成,正负边的数量和结构平衡理论的高度不平衡。在几个真实数据集上与最先进的技术进行性能比较,验证了SigGAN的有效性。
2022-01-17 cs.LG cs.SI
PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis
Rochester Institute of Technology(罗切斯特理工学院);Toyota Motor North America(丰田北美汽车公司);University of Florida(佛罗里达大学)
针对深度神经网络易受对抗攻击的问题,提出PASA方法,利用模型预测与特征归因对噪声敏感的特性,通过计算两种测试统计量并设定阈值,实现攻击无关的无监督对抗样本检测,在多种数据集上优于现有方法。
2024-04-12 cs.AI cs.CR cs.LG
Stabilizing Adversarial Nets With Prediction Methods
University of Maryland, College Park(马里兰大学 College Park 分校)
本文提出一种改进的随机梯度下降方法,通过稳定对抗网络的训练过程,使其更可靠地收敛到鞍点,提高训练稳定性与效率。
2018-02-08 cs.CV cs.LG cs.NA
MedAttacker: Exploring Black-Box Adversarial Attacks on Risk Prediction Models in Healthcare
The Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学);Amplitude(Amplitude公司)
深度神经网络(DNN)已被广泛用于健康风险预测,以提供医疗诊断和治疗。为了评估其鲁棒性,现有的研究进行对抗攻击在白/灰盒设置模型参数是可访问的。然而,更现实的黑盒对抗攻击被忽略了,即使大多数真实世界模型都是用私有数据训练的,并作为云上的黑盒服务发布。为了填补这一空白,我们提出了第一个黑盒对抗攻击方法对健康风险预测模型命名MedAttacker调查他们的脆弱性。MedAttacker通过两个步骤来解决EHR数据带来的挑战:分层位置选择,在强化学习(RL)框架中选择被攻击的位置;替代选择,使用基于分数的原则识别替代。特别地,通过考虑EHR内部的时间上下文,利用每次访问的贡献得分和每个代码的显著性得分来优化其RL位置选择策略,该策略可以很好地与由得分变化决定的确定性替代选择过程相结合。在实验中,MedAttacker始终达到最高的平均成功率,甚至在某些情况下,当在多个真实世界数据集的黑盒设置中攻击三个高级健康风险预测模型时,其性能甚至超过了最近的白盒EHR对抗攻击技术。此外,基于实验结果,我们还讨论了电子病历的防御对抗攻击。
2021-12-11 cs.AI cs.CR cs.LG
An Adversarial Approach for Explaining the Predictions of Deep Neural Networks
Modzy(Modzy公司)
机器学习模型已经成功地应用于广泛的应用,包括计算机视觉、自然语言处理和语音识别。然而,这些模型的成功实现通常依赖于深度神经网络(DNN),由于其不可理解的复杂性和复杂的内部机制,DNN被视为不透明的黑箱系统。在这项工作中,我们提出了一种新的算法,用于解释使用对抗机器学习的DNN的预测。我们的方法识别输入特征与基于DNN上的对抗攻击的行为的预测的相对重要性。我们的算法具有快速,一致,易于实现和解释的优点。我们提出了详细的分析,演示了给定DNN和任务的对抗攻击的行为如何在任何输入测试数据点上保持一致,证明了我们方法的通用性。我们的分析使我们能够产生一致和有效的解释。我们通过使用各种DNN,任务和数据集进行实验来说明我们方法的有效性。最后,我们将我们的工作与当前文献中的其他知名技术进行比较。
2020-09-28 cs.AI cs.LG stat.ML
Enhancing Adversarial Robustness with Conformal Prediction: A Framework for Guaranteed Model Reliability
Huaiyin Institute of Technology, Huai'an, China(淮阴职业技术学院);Chengdu Research Institute, City University of Hong Kong, Chengdu, China(香港城市大学成都研究院);Saarland University, Saarbrücken, Germany(萨尔兰大学);Alpha Benito Research, Los Angeles, USA(Alpha Benito研究公司);City University of Hong Kong, Hong Kong, China(香港城市大学)
本文提出 OPSA 攻击及融合该攻击的 OPSA-AT conformal 对抗训练框架,在增大预测不确定性的同时提升模型对多种对抗攻击的鲁棒性与可靠性。
2025-06-09 cs.AI cs.LG stat.ML
Game-Theoretic Defenses for Robust Conformal Prediction Against Adversarial Attacks in Medical Imaging
City University of Hong Kong(香港城市大学);Huaiyin Institute of Technology(淮阴工学院);Alpha Benito Research(阿尔法贝尼托研究所)
本文提出结合保形预测与博弈论防御的新框架,通过专门防御模型和零和博弈策略,有效应对医学影像中已知与未知对抗攻击,在保持高覆盖率的同时最小化预测集,提升模型鲁棒性。
2025-03-04 cs.CR cs.LG eess.IV
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Investigating Robustness and Interpretability of Link Prediction via Adversarial Modifications
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法,主要集中在提高准确性和忽视其他方面,如鲁棒性和可解释性。在本文中,我们提出了对链接预测模型的对抗性修改:识别要添加到知识图谱中或从中删除的事实,该知识图谱在模型重新训练后改变了对目标事实的预测。使用图的这些单个修改,我们确定了预测链接的最有影响力的事实,并评估了模型对添加假事实的敏感性。我们引入了一种有效的方法来估计这种修改的效果,通过近似的变化时,知识图谱的嵌入变化。为了避免对所有可能的事实进行组合搜索,我们训练一个网络来解码嵌入到其相应的图组件,允许使用基于梯度的优化来识别对抗性修改。我们使用这些技术来评估链接预测模型的鲁棒性(通过测量对其他事实的敏感性),通过对预测最负责任的事实来研究可解释性(通过识别最有影响力的邻居),并检测知识库中的错误事实。
2019-05-02 cs.CL cs.LG stat.ML
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University(亚利桑那州立大学)
为了使NLP系统具有选择性预测能力,已经提出了几种特定于任务的方法。然而,哪些方法在任务中效果最好,或者即使它们始终优于最简单的基线“MaxProb”,仍有待探索。为此,我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内(IID),域外(OOD)和对抗(ADV)设置下的全面实验,我们表明,尽管利用了额外的资源(保留的数据/计算),但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外,他们的表现并不能很好地体现在各项任务中。例如,Monte-Carlo Dropout在重复检测数据集上优于所有其他方法,但在NLI数据集上表现不佳,特别是在OOD设置中。因此,我们建议,未来的选择性预测方法应跨任务和设置进行评估,以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG