AdIoTack: Quantifying and Refining Resilience of Decision Tree Ensemble Inference Models against Adversarial Volumetric Attacks on IoT Networks
UNSW Sydney(悉尼新南威尔士大学)
基于机器学习的技术在网络智能方面取得了成功。然而,他们越来越多地成为复杂的数据驱动的对抗攻击的目标,导致错误预测,削弱了他们检测网络设备上威胁的能力。在本文中,我们介绍了AdIoTack,这是一个系统,它突出了决策树对对抗攻击的脆弱性,帮助网络安全团队量化和改进其用于监控物联网网络的训练模型的弹性。为了评估最坏情况下的模型,AdIoTack执行白盒对抗学习,以发起决策树集成模型无法标记的成功体积攻击。我们的第一个贡献是开发一个白盒算法,需要一个训练有素的决策树集成模型和配置文件的一个受害者类的基于网络的攻击作为输入。然后,它会自动生成配方,在缩进的攻击数据包之上指定某些数据包(开销小于15%),这些数据包一起可以绕过推理模型而不被注意到。我们确保生成的攻击实例可在IP网络上启动,并有效地产生体积影响。我们的第二个贡献开发了一种方法来主动监控连接设备的网络行为,代表受害者物联网设备注入对抗性流量(在可行的情况下),并成功发起预期的攻击。我们的第三个贡献是对AdIoTack进行原型设计,并在一个由经过训练的推理模型监控的少数真实物联网设备组成的测试平台上验证其有效性。我们演示了该模型如何检测物联网设备上的所有非对抗性体积攻击,同时错过许多对抗性攻击。第四个贡献开发了系统的方法,用于将补丁应用于训练的决策树集成模型,提高其对对抗性体积攻击的弹性。
2022-03-18 cs.CR cs.LG
RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation
Northwestern University(西北大学);Presentation High School(普雷森特高中);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出RICE方案,通过解释方法识别关键状态并构造混合初始状态分布,突破深度强化学习训练瓶颈,并在多个环境和应用中验证其显著提升智能体性能。
2024-06-06 cs.AI cs.CR cs.LG
Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers
Joint Graduate School of Mathematics for Innovation(联合创新数学研究生院);Kyushu University(九州大学);Faculty of Information Science and Electrical Engineering(信息科学与电气工程学院);Université Savoie Mont Blanc(萨瓦大学)
本研究通过引入干净教师扩展信息瓶颈蒸馏框架,在CIFAR-10/100数据集上提升了干净样本分类准确率,保持对抗样本准确率,与现有双教师蒸馏方法竞争力相当。
2026-07-31 cs.LG
Toward Enhanced Robustness in Unsupervised Graph Representation Learning: A Graph Information Bottleneck Perspective
Xi’an Jiaotong University(西安交通大学);University of Virginia(弗吉尼亚大学);Ant Financial Services Group(蚂蚁金融服务集团)
针对无标签场景下GNN易受对抗攻击的问题,提出基于信息瓶颈的RGIB方法,通过仅特征扰动的对抗训练和子图级互信息估计学习鲁棒表示,并给出下游对抗风险下界。
2023-06-08 cs.LG
Where is the Bottleneck of Adversarial Learning with Unlabeled Data?
RIKEN(理化学研究所)
深度神经网络(DNN)由于对抗性样本而非常脆弱。为了增强DNN的鲁棒性,提出了对抗训练,这需要大规模但标记良好的数据。然而,对大规模数据进行良好的注释是相当昂贵的。为了弥补这一不足,一些开创性的工作正在利用大规模的未标记数据。在本文中,我们观察到,开创性的工作并没有表现良好,因为在未标记的数据上的伪标签的质量是相当差的,特别是当未标记的数据的量是显着大于标记的数据。我们认为伪标签的质量是使用未标记数据进行对抗学习的瓶颈。为了解决这个瓶颈,我们利用深度协同训练,它训练两个深度网络,并通过利用对等体的对抗性示例来鼓励两个网络分歧。基于深度协同训练,我们提出了用于对抗性学习的鲁棒协同训练(RCT)。我们在CIFAR-10和SVHN数据集上进行了全面的实验。实证结果表明,我们的RCT可以显着优于基线(例如,鲁棒自训练(Robust Self-Training,简称RSE))在标准测试精度和鲁棒测试精度w.r.t.不同的数据集,不同的网络结构,以及不同类型的对抗训练。
2019-11-20 cs.LG stat.ML
Improving Integrated Gradient-based Transferable Adversarial Examples by Refining the Integration Path
Xi’an Jiaotong University(西安交通大学);Information Engineering University(信息工程大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Zhejiang Lab(之江实验室)
本文针对基于积分梯度的对抗攻击迁移性不足问题,提出通过细化积分路径的多重性、单调性和多样性构建 MuMoDIG 攻击,在 CNN 和 ViT 模型上显著超越现有方法。
2024-12-25 cs.CR cs.CV cs.LG
Towards a General Time Series Anomaly Detector with Adaptive Bottlenecks and Dual Adversarial Decoders
East China Normal University(华东师范大学);Aalborg University(奥尔堡大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对时间序列异常检测模型泛化能力差的问题,提出在多领域数据上预训练的通用检测器DADA,通过自适应瓶颈和双重对抗解码器灵活选择信息瓶颈并增强正常与异常序列的区分,在九个数据集上实现优异的零样本检测性能。
2025-03-03 cs.LG
Adversarial Information Bottleneck
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
信息瓶颈(IB)原理已经被用来解释深度学习的信息压缩和预测方面,这是平衡的权衡超参数。如何优化IB原则以提高鲁棒性和通过权衡超参数来计算压缩效果是两个具有挑战性的问题。先前的方法试图通过将随机噪声引入到学习表示中来优化IB原理,并且在讨厌的信息压缩和语义信息抽取中实现了最先进的性能。然而,它们在抵抗对抗性扰动方面的表现却远不如人意。为此,我们提出了一种对抗性信息瓶颈(AIB)方法,该方法没有任何关于表示的底层分布的明确假设,可以通过求解Min-Max优化问题来有效地优化。在合成和真实世界数据集上的数值实验表明,与几种竞争性IB方法相比,它在学习更多不变表示和减轻对抗性扰动方面是有效的。此外,我们还对比分析了各种IB方法的对抗鲁棒性,发现在IB曲线拐点处具有超参数$β$的IB模型在压缩和预测之间取得了最佳的折衷,对各种攻击具有最好的鲁棒性.
2021-03-03 cs.LG stat.ML
Causal Information Bottleneck Boosts Adversarial Robustness of Deep Neural Network
Tongji University(同济大学);SmartMore. Co. Ltd.(思谋科技有限公司)
信息瓶颈(IB)方法是深度学习中对抗对抗攻击的一种可行的防御方案。然而,该方法存在虚假相关性,限制了其对抗鲁棒性的进一步提高。在本文中,我们将因果推理到IB框架,以减轻这样的问题。具体来说,我们通过工具变量将IB方法获得的特征分为稳健特征(内容信息)和非稳健特征(风格信息)来估计因果效应。利用这种框架,可以减轻非鲁棒特征的影响,以增强对抗鲁棒性。最后对该方法的有效性进行了分析。在MNIST、FashionMNIST和CIFAR-10上的大量实验表明,该方法对多个对抗攻击具有相当的鲁棒性。我们的代码将被释放。
2022-10-25 cs.AI cs.CR cs.LG
Enhancing Adversarial Transferability via Information Bottleneck Constraints
Harbin Institute of Technology(哈尔滨工业大学);Tshinghua University(清华大学)
本文基于信息瓶颈理论提出 IBTA 框架,通过减少对抗扰动对原始数据的依赖并利用不变特征,结合互信息下界 MILB 和 MINE 估计器,有效增强了黑盒对抗攻击的迁移性。
2024-06-08 cs.AI cs.LG
InfoAT: Improving Adversarial Training Using the Information Bottleneck Principle
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
对抗性训练(AT)在防御对抗性示例方面表现出出色的高性能。最近的研究表明,在AT过程中,样本对模型最终的鲁棒性并不同等重要,即容易被攻击的所谓硬样本比鲁棒样本对最终的鲁棒性有更大的影响。因此,保证硬样本的鲁棒性是提高模型最终鲁棒性的关键。然而,定义有效的搜索算法来搜索硬例子仍然很困难。在这篇文章中,受信息瓶颈(IB)原理的启发,我们发现,一个例子与高互信息的输入及其相关的潜在表示更有可能被攻击。基于这一观察,我们提出了一种新颖有效的对抗训练方法(InfoAT)。InfoAT被鼓励寻找具有高互信息的示例,并有效地利用它们来提高模型的最终鲁棒性。实验结果表明,InfoAT在不同的数据集和模型之间实现了最好的鲁棒性与几个国家的最先进的方法相比。
2022-06-23 cs.CV cs.LG
Adversarial Robustness of Bottleneck Injected Deep Neural Networks for Task-Oriented Communication
TU Wien(维也纳工业大学)
本文研究面向任务通信中采用信息瓶颈目标的DNN对抗鲁棒性,分析瓶颈深度、任务复杂度等的影响,指出生成式模型引入新漏洞,为下一代通信系统安全提供参考。
2024-12-13 cs.DC cs.LG cs.NI
IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness
Radboud University(拉德堡德大学);Leiden University(莱顿大学)
本文提出 IB-RAR 方法,利用信息瓶颈构建正则化器并过滤中间表示中与标签互信息低的特征,在对抗训练和无防御训练下均显著提升模型对抗鲁棒性。
2023-05-31 cs.AI cs.CV cs.LG
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要,因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性,并评估了潜在的防御。我们观察到,CNN架构中包含的瓶颈注意力模块(BAM)可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中,BAM增强的架构在推理过程中表现出更强的鲁棒性。最后,我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
University of California, Berkeley(加州大学伯克利分校)
对抗性学习方法已经被提出用于广泛的应用,但是对抗性模型的训练可能是非常不稳定的。有效地平衡发生器和插值器的性能至关重要,因为实现非常高精度的插值器将产生相对无信息的梯度。在这项工作中,我们提出了一个简单的和一般的技术来约束信息流的信息瓶颈的手段在crosslink。通过对观测值和模型的内部表示之间的互信息施加约束,我们可以有效地调节模型的精度并保持有用的和信息丰富的梯度。我们证明了我们提出的变分学习瓶颈(VDB)在对抗学习算法的三个不同的应用领域带来了显着的改进。我们的初步评估研究的适用性的VDB动态连续控制技能,如运行的模仿学习。我们表明,我们的方法可以直接从\emph{raw}视频演示中学习这些技能,大大优于以前的对抗性模仿学习方法。VDB还可以与对抗性逆强化学习相结合,以学习可以在新设置中转移和重新优化的简约奖励函数。最后,我们证明了VDB可以更有效地训练GANs来生成图像,改进了一些先前的稳定方法。
2020-08-25 cs.LG stat.ML
Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation
School of Computer Science & Technology, HUST(华中科技大学计算机科学与技术学院);CAI, UTS(悉尼科技大学人工智能中心)
在无监督的领域自适应问题中,通过对抗学习在潜在特征空间中对齐两个领域的策略在图像分类中取得了很大的进展,但在潜在表示过于复杂的语义分割任务中通常失败。在这项工作中,我们为对抗网络配备了“重要性感知信息瓶颈(SIB)”,以解决上述问题。新的网络结构称为SIBAN,在对抗适应之前实现了重要性感知的特征纯化,这简化了特征对齐并稳定了对抗训练过程。在两个领域自适应任务中,即,GTA5 -> Cityscapes和SYNTHIA -> Cityscapes,我们验证了所提出的方法可以产生领先的结果相比,其他特征空间的替代品。此外,SIBAN甚至可以匹配最先进的输出空间方法的分割精度,而后者通常被认为是更好的选择域自适应分割任务。
2019-04-01 cs.AI cs.CV cs.LG
Graph Information Bottleneck
Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
图结构数据的表示学习具有挑战性,因为图结构和节点特征都携带重要信息。图神经网络(GNNs)提供了一种表达方式来融合来自网络结构和节点特征的信息。然而,GNN容易受到对抗攻击。在这里,我们介绍了图信息瓶颈(GIB),一个信息理论的原则,最佳平衡的表达性和鲁棒性的学习表示的图结构数据。GIB继承了一般的信息瓶颈(Information Bottleneck,IB),通过最大化表示与目标之间的互信息,同时约束表示与输入数据之间的互信息,来学习给定任务的最小充分表示。与一般的IB不同,GIB不仅正则化了特征信息,而且正则化了结构信息。我们设计了两个采样算法的结构正则化和实例化的GIB原则与两个新的模型:GIB-Cat和GIB-Bern,并通过评估的弹性对抗攻击的好处。我们表明,我们提出的模型比最先进的图防御模型更强大。基于GIB的模型在经验上实现了高达31%的改进,其中包括图结构和节点特征的对抗性扰动。
2020-10-24 cs.LG stat.ML
Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);Ministry of Education Key Laboratory for Intelligent Networks and Network Security, Xi’an Jiaotong University(西安交通大学智能网络与网络安全教育部重点实验室);School of Artificial Intelligence, Xi'an Jiaotong University(西安交通大学人工智能学院)
本文提出CGRL方法,通过自适应掩码图结构、引入信息瓶颈去除对比视图中的冗余信息,并利用对抗视图重构增强鲁棒性,从而在节点分类任务中显著超越现有最先进算法。
2024-08-01 cs.AI cs.LG
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology(蔚山科学技术院)
信息瓶颈(IB)是率失真理论的推广,它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究,但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中,我们提出了信息多瓶颈(IMBs)作为IB的扩展到多个瓶颈,它有一个直接的应用程序来训练神经网络,考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明,多重最优的IMB是不能同时实现的随机编码器。因此,我们提出了一个简单的妥协计划IMB,这反过来又推广了最大似然估计(MLE)的背景下,随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
Multi-view Information Bottleneck Without Variational Approximation
Xi'an Jiaotong University(西安交通大学);UiT - The Arctic University of Norway(挪威北极大学)
通过“智能地”融合不同视图之间的互补信息,多视图学习能够提高分类任务的性能。在这项工作中,我们将信息瓶颈原理扩展到有监督的多视图学习场景,并使用最近提出的基于矩阵的R{é}nyi的$α$ -阶熵泛函直接优化所得目标,而无需变分近似或对抗训练。在合成和真实世界的数据集的实证结果表明,我们的方法享有改善的鲁棒性噪声和冗余信息在每个视图中,特别是在有限的训练样本。代码位于~ \url{https://github.com/archy666/MEIB}。
2022-04-22 cs.LG
Schematize: An Agentic System for Generating and Refining Information-Extraction Schemas for Legal Research
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
Schematize 是一个开源多智能体系统,通过澄清对话、迭代生成、数据驱动优化和后期编辑,将法律研究问题转化为验证过的抽取模式,在多数测试配置中表现最佳。
2026-09-22 cs.CL cs.LG
Structure-Aware Hierarchical Graph Pooling using Information Bottleneck
Independent University Bangladesh(孟加拉独立大学)
图池是图神经网络(GNN)在图分类和回归任务中的重要组成部分。对于这些任务,已经提出了不同的池化策略,以通过下采样和总结图中节点的特征来生成图级表示。然而,大多数现有的池化方法无法有效地捕获可区分的结构信息。此外,他们容易受到对抗攻击。在这项工作中,我们提出了一种新的池化方法命名为{HIBPool},我们利用信息瓶颈(IB)的原则,最佳地平衡了模型的表达性和鲁棒性,以学习输入数据的表示。此外,我们引入了一种新的结构感知的判别池读出({DiP-Readout})功能,以捕获图中的信息局部子图结构。最后,我们的实验结果表明,我们的模型显着优于其他国家的最先进的方法在几个图分类基准和更有弹性的特征扰动攻击比现有的池化方法。
2021-04-27 cs.LG
Deep Variational Information Bottleneck
Google Research(谷歌研究院)
我们提出了一个变分近似的Tishby等人(1999)的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型,并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”,或深度VIB。我们发现,在泛化性能和对对抗攻击的鲁棒性方面,用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
Debiasing Graph Representation Learning based on Information Bottleneck
South China University of Technology(华南理工大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
本文提出基于变分图自编码器和条件公平瓶颈的GRAFair框架,在不依赖对抗训练的情况下稳定地学习兼顾任务效用与公平性的图表示,并在多个真实数据集上验证了其公平性、效用、鲁棒性和稳定性。
2024-09-02 cs.CY cs.LG
Tighter Bounds on the Information Bottleneck with Application to Deep Learning
Reichman University(赖希曼大学);Tel-Aviv University(特拉维夫大学)
本文提出了一种新的更紧的信息瓶颈变分界,提升了以往受IB启发的DNN性能,并显著增强了分类器DNN的对抗鲁棒性。
2024-02-12 cs.AI cs.IT cs.LG
Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);LG AI Research(LG人工智能研究院)
在训练数据有限的实际场景中,数据中的许多预测信号可能来自数据采集中的一些偏差(即,不太可推广),从而不能防止模型在这种(所谓的)“捷径”信号上自适应:这使得模型在各种分布偏移中是脆弱的。为了绕过这种故障模式,我们考虑了一个对抗性的威胁模型下的互信息约束,以涵盖更广泛的一类扰动训练。这促使我们扩展标准的信息瓶颈,以额外建模的滋扰信息。我们提出了一种基于自动编码器的训练来实现这一目标,以及实际的编码器设计来促进所提出的关于卷积和基于变换器的架构的混合判别生成训练。我们的实验结果表明,该计划提高了鲁棒性的学习表示(显着不使用任何特定领域的知识),相对于多个具有挑战性的可靠性措施。例如,我们的模型可以在AUROC中的$78.4\% \rightarrow 87.2\%$的新颖性检测中推进最新的具有挑战性的ARMTS基准,同时享受改进的腐败,背景和(认证)对抗鲁棒性。代码可在https://github.com/jh-jeong/nuisance_ib上获得。
2023-03-24 cs.CV cs.LG
Learning Robust Variational Information Bottleneck with Reference
Aalborg University(奥尔堡大学);University of Glasgow(格拉斯哥大学);University of Liverpool(利物浦大学)
我们提出了一种新的方法来训练变信息瓶颈(VIB),提高其鲁棒性对抗扰动。与传统的分类方法中硬标签的使用不同,我们在训练阶段使用软标签来细化分类信息,软标签是从预训练的参考神经网络中获得的,可以反映原始类别标签的可能性。我们还放宽了高斯后验假设在VIB实现通过使用互信息神经估计。使用MNIST和CIFAR-10数据集进行了大量的实验,结果表明,我们提出的方法显着优于基准模型。
2021-04-29 cs.LG stat.ML
Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration
Seoul National University(首尔大学)
我们提出了一种新的信息瓶颈(IB)的方法命名为丢弃瓶颈,离散下降的功能是无关的目标变量。Drop-Bottleneck不仅具有简单易行的压缩目标,而且还提供了输入变量的确定性压缩表示,这对于需要一致表示的推理任务非常有用。此外,它可以联合学习一个特征提取器,并考虑每个特征维度与目标任务的相关性来选择特征,这是大多数基于神经网络的IB方法无法实现的。针对强化学习任务,提出了一种基于降瓶颈的探索方法。在VizDoom中的大量噪声和奖励稀疏迷宫导航任务中(Kempka等人,2016)和DMLab(Beattie等人,2016年),我们的勘探方法达到了最先进的性能。作为一个新的IB框架,我们证明了下降瓶颈优于变分信息瓶颈(VIB)(Alemi等人,2017)在多个方面,包括对抗鲁棒性和降维。
2021-03-23 cs.AI cs.LG
Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
University of Virginia(弗吉尼亚大学)
尽管深度神经网络(DNN)在许多任务中取得了巨大的成功,但它们经常被\emph{adversarial examples}所愚弄,这些\emph{adversarial examples}是通过向自然示例添加小但有目的的扭曲而生成的。以前防御对抗性示例的研究主要集中在改进DNN模型上,但要么成功有限,要么需要昂贵的计算。我们提出了一种新的策略,\emph{feature squeezing},可用于通过检测对抗性示例来强化DNN模型。特征压缩通过将对应于原始空间中的许多不同特征向量的样本合并到单个样本中来减少对手可用的搜索空间。通过比较DNN模型对原始输入的预测与对压缩输入的预测,特征压缩以高精度和低误报检测对抗性示例。本文探讨了两种特征压缩方法:降低每个像素的颜色位深和空间平滑。这些简单的策略是廉价的,并补充其他防御,并可以结合在一个联合检测框架,以实现对最先进的攻击的高检测率。
2017-12-05 cs.CR cs.CV cs.LG
Dynamic Graph Information Bottleneck
Beihang University(北京航空航天大学);Guangxi Normal University(广西师范大学)
本文提出DGIB框架,基于信息瓶颈原则的MSC条件引导动态图结构与特征信息流,从而在链接预测中提升对抗攻击下的鲁棒表示能力。
2024-04-06 cs.AI cs.LG
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida(佛罗里达大学);NEC Laboratories Europe(NEC欧洲实验室)
引入基于矩阵的Renyi的$α$ -序熵泛函,利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈(DIB),因为它避免了变分推理和分布假设。我们发现,在泛化性能和对对抗攻击的鲁棒性方面,用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
ASSS: A Differentiable Adversarial Framework for Task-Aware Data Reduction
ASSS通过可微对抗框架将数据减少转化为学习选择器与任务网络之间的博弈,实现高效的数据减少,保留98.9%性能并仅使用30%数据,优于随机采样等方法。
2026-04-05 cs.LG
Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness
Rutgers University(罗格斯大学);Google Research(谷歌研究院);University of Delaware(特拉华大学)
对抗性数据增强已经显示出训练鲁棒的深度神经网络以应对不可预见的数据变化或损坏的前景。然而,很难定义反演算法来生成有效的虚拟目标分布,其中包含与源分布大不相同的“硬”对抗性扰动。在本文中,我们提出了一种新的和有效的正则化项对抗数据增强。我们从理论上推导出它的信息瓶颈原则,这导致在最大熵公式。直观地说,这个正则化项鼓励扰动底层源分布,以扩大当前模型的预测不确定性,因此生成的“硬”对抗性扰动可以提高模型在训练期间的鲁棒性。三个标准基准的实验结果表明,我们的方法始终优于现有的最先进的统计显着的利润率。
2020-12-18 cs.CV cs.LG
PowerGAN: Synthesizing Appliance Power Signatures Using Generative Adversarial Networks
Simon Fraser University(西蒙弗雷泽大学)
非侵入式负载监控(NILM)允许用户和能源供应商仅使用建筑物的智能电表来深入了解家用电器的用电情况。NILM的大多数当前技术都是使用大量标记的电器功率数据进行训练的。这些数据的收集是具有挑战性的,使得数据成为创建通用化NILM解决方案的主要瓶颈。为了帮助减轻数据限制,我们提出了第一个真正的合成家电功率签名生成器。我们的解决方案PowerGAN是基于有条件的、逐步增长的1-D Wasserstein生成对抗网络(GAN)。使用PowerGAN,我们能够合成真正随机和真实的电器功率数据签名。我们使用传统的GAN评估方法(如Inception评分),以定性和数值的方式评估PowerGAN生成的样本。
2020-07-20 cs.LG eess.SP
Disentangled Information Bottleneck
Shanghai Jiao Tong University(上海交通大学)
信息瓶颈(IB)方法是用于从源随机变量提取与预测目标随机变量相关的信息的技术,其通常通过优化平衡压缩项和预测项的IB拉格朗日来实现。然而,IB拉格朗日函数很难优化,并且需要多次尝试调整拉格朗日乘子的值。此外,我们表明,预测性能严格降低,因为压缩变得更强,在优化IB拉格朗日。在本文中,我们实现了IB方法的监督解开的角度。具体来说,我们引入了解纠缠信息瓶颈(DisenIB),它在最大限度地压缩源而不损失目标预测性能(最大压缩)上是一致的。理论和实验结果表明,该方法在最大压缩率上具有一致性,在泛化能力、对抗攻击鲁棒性、分布外检测和监督解缠等方面表现良好.
2020-12-22 cs.IT cs.LG math.IT
Guess First to Enable Better Compression and Adversarial Robustness
University of Virginia(弗吉尼亚大学);State University of New York at Buffalo(纽约州立大学布法罗分校);University of Electronic Science and Technology of China(电子科技大学)
机器学习模型通常容易受到对抗性示例的影响,这与人类的鲁棒性形成对比。在本文中,我们试图利用人类识别的机制之一,并提出了一个生物启发的分类框架,其中模型推理是以标签假设为条件。我们为这个框架提供了一类训练目标和一个信息瓶颈正则化器,它利用了标签信息可以在推理过程中被丢弃的优点。该框架能够更好地压缩输入和潜在表示之间的互信息,而不损失学习能力,以易于处理的推理复杂度为代价。更好的压缩和标签信息的消除进一步带来了更好的对抗鲁棒性,而不会损失自然的准确性,这在实验中得到了证明。
2020-01-10 cs.LG stat.ML
Multi-Task Variational Information Bottleneck
Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);University of Glasgow(格拉斯哥大学);Tongji University(同济大学);Southeast University(东南大学);RMIT University(皇家墨尔本理工大学);Université de Lorraine(洛林大学)
多任务学习是机器学习和人工智能的重要研究课题。它在计算机视觉、信号处理和语音识别中的应用是无处不在的。虽然这个问题已经引起了相当大的关注,最近,现有的模型的性能和鲁棒性不同的任务没有得到很好的平衡。本文提出了一种基于变分信息瓶颈(VIB)体系结构的MTL模型,该模型可以为下游任务提供更有效的输入特征潜在表示。在对抗攻击下对三个公开数据集的大量观察表明,该模型在预测精度方面与现有算法具有竞争力。实验结果表明,结合VIB和任务相关的不确定性是一个非常有效的方法来提取有效的信息,从输入功能,以完成多个任务。
2021-03-01 cs.LG stat.ML
XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision
ENS Paris(巴黎高等师范学院)
研究旨在实现解缠表示学习。核心方法是引入弱监督VAE框架XFactors,基于解缠信息瓶颈视角,通过对比监督和KL正则化进行分解。主要贡献是在多数据集取得领先解缠分数,实现因子对齐与可控交换,且方法随潜在容量正确扩展。
2026-11-13 cs.AI cs.LG
Adversarial Defense Framework for Graph Neural Network
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NEC Laboratories America(美国NEC实验室)
图神经网络作为一种强大的图数据表示学习模型,受到了各学科的广泛关注。然而,最近的研究表明,GNN容易受到对抗攻击。如何使GNN更健壮?GNN中的关键漏洞是什么?如何解决GNN的漏洞并防御对抗攻击?在本文中,我们提出了DefNet,这是一个有效的GNN对抗防御框架。特别是,我们首先研究了GNN每一层中的潜在漏洞,并提出了相应的策略,包括双阶段聚合和瓶颈感知器。然后,为了应对训练数据的稀缺性,我们提出了一种对抗性对比学习方法,通过利用高级图表示以条件GAN方式训练GNN。在三个公共数据集上的大量实验证明了DefNet在提高流行的GNN变体(如图卷积网络和GraphSAGE)在各种类型的对抗攻击下的鲁棒性方面的有效性。
2019-05-10 cs.CR cs.LG stat.ML
Linguistic Bias Mitigation for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck
Laboratoire Informatique d’Avignon, Avignon Universite(阿维尼翁大学计算机科学实验室);EURECOM
针对欺骗检测中因语言偏差导致的跨域泛化差问题,提出基于教师-学生对抗学习的语言不变框架,结合梯度反转和变分信息瓶颈,在9个数据集上实现EER相对降低36.2%。
2026-07-01 cs.CL cs.LG
A Grid Based Adversarial Clustering Algorithm
Purdue University(普渡大学)
本文针对网络安全中标注数据稀缺且存在主动对抗的问题,提出一种基于网格和博弈论的对抗性聚类算法,用于识别正常核心区域、构建防御墙并发现攻击子簇与异常离群点。
2024-11-21 cs.LG stat.ML
The Conditional Entropy Bottleneck
Google Research(谷歌研究院)
针对机器学习鲁棒泛化失效问题,提出最小必要信息准则与条件熵瓶颈目标函数,实验验证其可改善对抗样本脆弱性、分布外检测差等鲁棒泛化问题。
2020-02-13 cs.LG stat.ML
Gated Information Bottleneck for Generalization in Sequential Environments
NEC Laboratories Europe(欧洲 NEC 实验室);UiT - The Arctic University of Norway(挪威北极大学);Xi’an Jiaotong University(西安交通大学);University of Florida(佛罗里达大学)
当底层数据分布与训练集中的数据分布不同时,深度神经网络对看不见的环境的泛化能力较差。通过从训练数据中学习最小充分表示,信息瓶颈(IB)方法已经证明了其在不同AI应用中提高泛化能力的有效性。在这项工作中,我们提出了一种新的神经网络为基础的IB方法,称为门控信息瓶颈(GIB),动态下降虚假的相关性,并逐步选择最相关的任务在不同的环境中的功能,通过可训练的软掩模(对原始功能)。GIB具有简单易行的目标,没有任何变分近似或分布假设。我们经验证明了GIB优于其他流行的基于神经网络的IB方法在对抗鲁棒性和分布外(OOD)检测。同时,我们还建立了IB理论和不变因果表示学习之间的联系,并观察到GIB表现出吸引人的性能时,不同的环境顺序到达,一个更实际的情况下,不变风险最小化(REMONTARY)失败。GIB代码可在https://github.com/falesiani/GIB上获得
2021-10-12 cs.LG stat.ML
Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility
University of Geneva(日内瓦大学);Harvard University(哈佛大学);Imperial College London(帝国理工学院)
瓶颈问题是近年来在机器学习和信息论领域受到越来越多关注的一类重要的优化问题。它们被广泛应用于生成模型、公平机器学习算法、隐私保护机制的设计,并作为信息论性能界出现在各种多用户通信问题中。在这项工作中,我们提出了一个一般的优化问题,称为复杂性泄漏效用瓶颈(CLUB)模型,它(i)提供了一个统一的理论框架,概括了大多数最先进的文献中的信息理论隐私模型,(ii)建立了一个新的解释流行的生成和歧视模型,(iii)构建了新的见解生成压缩模型,以及(iv)可以用于公平生成模型。我们首先制定的CLUB模型作为一个复杂性约束的隐私效用优化问题。然后,我们将其与密切相关的瓶颈问题,即信息瓶颈(IB),隐私漏斗(PF),确定性IB(DIB),条件熵瓶颈(CEB)和条件PF(CPF)联系起来。我们表明,俱乐部模型概括了所有这些问题,以及大多数其他信息理论的隐私模型。然后,我们构建了深变分CLUB(DVCLUB)模型,采用神经网络参数化相关的信息量的变分近似。在这些信息量的基础上,我们提出了监督和无监督DVCLUB模型的统一目标。在无监督设置中利用DVCLUB模型,然后将其与最先进的生成模型连接起来,例如变分自动编码器(VAE),生成对抗网络(GANs)以及Wasserstein GAN(WGAN),Wasserstein自动编码器(WAE)和对抗自动编码器(AAE)模型通过最优传输(OT)问题。然后,我…
2022-07-11 cs.CR cs.IT cs.LG
AKD : Adversarial Knowledge Distillation For Large Language Models Alignment on Coding tasks
Laboratoire de Recherche de l'EPITA (LRE)(EPITA研究实验室);Department of XXX, University of YYY(YYY大学XXX系);School of ZZZ, Institute of WWW(WWW研究所ZZZ学院)
针对 Code-LLM 扩展收益递减与高质量数据稀缺问题,本文提出 AKD,利用对抗生成的合成数据将大模型能力蒸馏到小模型,以提升代码生成的鲁棒性、安全性和参数效率。
2025-05-05 cs.AI cs.LG cs.SE
Anchoring Adversarial Trajectories to Data Manifolds: A Bilevel Transfer Optimization Framework
The University of Hong Kong(香港大学);The Hong Kong Polytechnic University(香港理工大学)
针对对抗迁移中轨迹偏离数据流形的问题,提出MABT框架,通过流形锚定与双层优化提升10个基线攻击者在28种配置下的迁移性。
2026-10-01 cs.CR cs.CV cs.LG
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University(西北大学)
人工智能,特别是深度神经网络缺乏可解释性,仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射(Grad-CAM)之类的流行技术提供了图像中显著特征的粗略映射,这很少能讲述卷积神经网络(CNN)学习的全部内容。使用COVID-19胸部X射线,我们提出了一种方法,用于解释CNN通过利用生成对抗网络(GANs)学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN,我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡,这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks
University of Melbourne(墨尔本大学);DST Group(DST集团)
提出Semantic Gambit攻击,利用大语言模型实时提供预测上下文,突破因果限制,使实时ASR系统词错误率提升至35.6%,较当前最优方法提高三倍。
2026-09-29 cs.AI cs.CR cs.LG
Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness
National University of Defense Technology(国防科技大学)
众所周知,深度神经网络(DNN)在许多领域都取得了显著的成功。然而,当在模型输入上添加不可感知的幅度扰动时,模型性能可能会迅速下降。为了解决这个问题,最近提出了一种随机技术,称为随机神经网络(SNN)。具体来说,SNN将随机性注入模型中,以抵御不可见的攻击并提高对抗性鲁棒性。然而,现有的SNNs的研究主要集中在注入固定或可学习的噪声模型的权重/激活。在本文中,我们发现,现有的SNNs的性能在很大程度上是由特征表示能力。令人惊讶的是,简单地最大化特征分布的每个维度的方差会导致比所有以前的方法都有相当大的提升,我们将其命名为最大化特征分布方差随机神经网络(MFDV-SNN)。对已知的白盒和黑盒攻击的实验表明,MFDV-SNN比现有方法有显著的改进,是一种简单而有效的提高模型鲁棒性的方法。
2022-01-01 cs.CR cs.CV cs.LG
Adversarial Vulnerability Transcends Computational Paradigms: Feature Engineering Provides No Defense Against Neural Adversarial Transfer
1 Department of Information \& Computer Science, KFUPM, Dhahran, Saudi Arabia;2 Department of Computer Engineering, KFUPM, Dhahran, Saudi Arabia;3 Interdisciplinary Research Center for Finance
研究发现经典机器学习模型对神经网络生成的对抗性示例同样脆弱,且FGSM攻击在经典模型中表现优于PGD,揭示对抗性漏洞是图像分类系统的根本属性。
2026-01-29 cs.AI cs.CV cs.LG
A Generalized Information Bottleneck Theory of Deep Learning
Department of Computer Science, University College London(计算机科学系,伦敦大学学院);Centre for Artificial Intelligence, University College London(人工智能中心,伦敦大学学院);University of Bologna(博洛尼亚大学)
本文提出广义信息瓶颈理论,通过协同性视角改进传统信息瓶颈理论,提升深度学习模型的泛化能力和对抗鲁棒性。
2026-01-30 cs.IT cs.LG math.IT
A Unified Framework of Graph Information Bottleneck for Robustness and Membership Privacy
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊)
针对图神经网络易受对抗攻击、训练数据易遭成员推理泄露且现有方法难以同时兼顾鲁棒性与隐私的问题,提出融合邻居瓶颈与伪标签优化的图信息瓶颈框架,实现鲁棒预测与成员隐私保护的双重目标。
2023-06-14 cs.AI cs.CR cs.LG
DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation
Sorbonne Université(索邦大学)
由于其成员的多样性,深度合奏比单一网络表现得更好。最近的方法使预测规则化以增加多样性;然而,它们也大大降低了个体成员的表现。在本文中,我们认为,深度集成的学习策略需要解决集成多样性和个体准确性之间的权衡。受信息论的启发,并利用条件互信息神经估计的最新进展,我们引入了一种新的训练标准DICE:它通过减少特征之间的虚假相关性来增加多样性。其主要思想是从成对成员中提取的特征应该只共享对目标类预测有用的信息,而不是有条件冗余。因此,除了信息瓶颈的分类损失外,我们还可以防止特征之间的条件预测。我们设法减少同时发生的错误,同时保护类信息。我们在CIFAR-10/100上获得了最先进的精度结果:例如,使用DICE训练的5个网络的集合与独立训练的7个网络的集合相匹配。我们进一步分析了校准,不确定性估计,分布外检测和在线共蒸馏的后果。
2021-01-14 cs.CV cs.IT cs.LG
Diversity inducing Information Bottleneck in Model Ensembles
University of Toronto(多伦多大学);Google Brain(谷歌大脑)
尽管深度学习模型在许多视觉任务上已经达到了最先进的性能,但高维多模态数据的泛化和可靠的预测不确定性估计仍然是活跃的研究领域。包括贝叶斯神经网络(BNN)的贝叶斯方法不能很好地扩展到现代计算机视觉任务,因为它们很难训练,并且在移位下具有较差的泛化能力。这就需要有效的合奏,可以推广和可靠的不确定性估计。在本文中,我们的目标是通过鼓励多样性预测生成有效的神经网络集成的问题。我们显式地优化了多样性诱导对抗性损失的学习随机潜变量,从而获得多样性的输出预测建模多模态数据所必需的。我们在基准数据集上评估了我们的方法:MNIST,CIFAR100,TinyImageNet和MIT Places 2,并与最具竞争力的基线相比,在数据分布和分布外检测的变化下,分类准确性显着提高。代码将在此URL https://github.com/rvl-lab-utoronto/dibs中发布
2020-12-08 cs.AI cs.CV cs.LG