Improving Fairness in Graph Neural Networks via Counterfactual Debiasing
Tianjin University(天津大学)
针对图神经网络(GNNs)因图结构和消息传递机制加剧的预测偏差问题,提出Fair-ICD方法:通过反事实数据增强创建多样化邻域学习无偏表示,结合对抗性判别器减少偏差,实验证明其在保持预测性能的同时显著提升公平性指标。
2025-08-20 cs.LG
Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning
Northeastern University(东北大学);University of California, Berkeley(加州大学伯克利分校)
针对网络规模扩大带来的信息传播慢、通信故障和对抗攻击挑战,提出分层鲁棒push-sum算法与基于KL散度对偶平均的非贝叶斯学习算法,实现丢包容错与拜占庭弹性,并具备可证明收敛性。
2023-07-27 cs.DC cs.LG cs.NI
Hard Adversarial Example Mining for Improving Robust Fairness
Xi’an Jiaotong University(西安交通大学);Wuhan University(武汉大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对对抗训练模型因对抗置信度过拟合导致的鲁棒不公平问题,提出自适应困难对抗样本挖掘框架HAM,通过步长识别困难样本并引入提前丢弃机制,在提升鲁棒公平性的同时降低计算成本。
2023-08-03 cs.AI cs.CY cs.LG
TabFairGAN: Fair Tabular Data Generation with Generative Adversarial Networks
University of Central Florida(中佛罗里达大学)
随着人们对自动决策的日益依赖,算法公平性的问题变得越来越重要。在本文中,我们提出了一个生成对抗网络的表格数据生成。该模型包括两个培训阶段。在第一阶段,训练模型以准确地生成与参考数据集相似的合成数据。在第二阶段中,我们修改价值函数以添加公平性约束,并继续训练网络以生成既准确又公平的数据。我们测试我们的结果在这两种情况下的无约束,约束公平的数据生成。在无约束的情况下,即当模型仅在第一阶段进行训练并且仅旨在生成遵循真实数据的相同联合概率分布的准确数据时,结果表明该模型击败了文献中提出的最先进的GANs来生成合成表格数据。此外,在约束的情况下,在第一阶段的训练是其次是第二阶段,我们训练网络和测试它的公平性文献中研究的四个数据集,并比较我们的结果与另一个国家的最先进的预处理方法,并提出了有前途的结果,它实现。与其他利用GANs进行公平数据生成的研究相比,我们的模型仅使用一个评论家,并且通过实现Wasserstein GAN来避免原始GAN模型的主要问题,例如模式丢弃和不收敛,从而更加稳定。
2021-09-02 cs.AI cs.LG
A Non-Adversarial Approach to Idempotent Generative Modelling
KTH Royal Institute of Technology(皇家理工学院);Uppsala University(乌普萨拉大学)
针对IGNs因对抗性目标导致的模式崩溃与训练不稳定问题,提出NAIGNs,通过结合重构与IMLE的非对抗性生成目标,提升了数据恢复与生成能力,并隐式学习数据流形距离场。
2025-11-04 cs.LG
Dropout-GAN: Learning from a Dynamic Ensemble of Discriminators
Hasso Plattner Institute(哈索·普拉特纳研究所);Alibaba Group(阿里巴巴集团)
我们建议在生成式多对抗网络中加入对抗性丢弃,通过在每个批次结束时以一定的概率忽略或丢弃框架中每个节点的反馈。我们的方法迫使单一的发电机不限制其输出,以满足一个单一的干扰,但相反,以满足一个动态的合奏鉴别。我们表明,这导致了一个更广义的生成器,促进了生成样本的多样性,并避免了生成对抗网络(GANs)通常遇到的模式坍塌问题。我们进一步提供证据表明,名为Dropout-GAN的拟议框架可以促进时代内和跨时代的样本多样性,消除模式坍塌并稳定训练。
2020-01-20 cs.LG stat.ML
CoDeGAN: Contrastive Disentanglement for Generative Adversarial Network
School of Information and Communication Engineering, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院)
针对GAN无监督解耦中的模式崩溃问题,提出CoDeGAN,通过将解耦约束从图像域放宽至特征域并集成自监督预训练,提升了训练稳定性与解耦能力,在多个基准上优于现有方法。
2024-05-31 cs.AI cs.CV cs.LG
Disconnected Manifold Learning for Generative Adversarial Networks
Rutgers University(罗格斯大学);Verisk Analytics(Verisk分析公司)
自然图像可能位于不相交流形的并集上,而不是一个全局连接的流形上,这可能会给常见的生成对抗网络(GANs)的训练带来一些困难。在这项工作中,我们首先证明了单生成器GANs无法正确地对不连通流形上支持的分布进行建模,并研究了样本质量、模式丢弃和局部收敛如何受到影响。接下来,我们将展示如何使用一组生成器来解决这个问题,为这种多生成器GANs的成功提供新的见解。最后,我们解释了所造成的严重问题,考虑一个固定的先验以上的发电机的集合,并提出了一种新的方法来学习的先验和推断所需的发电机数量没有任何监督。我们提出的修改可以应用于任何其他GAN模型之上,以实现对不连通流形上支持的分布的学习。我们进行了几个实验来说明GANs的上述缺点,其在实践中的后果,以及我们提出的修改在缓解这些问题方面的有效性。
2019-01-10 cs.CV cs.LG stat.ML
An empirical study on evaluation metrics of generative adversarial networks
Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校)
评估生成对抗网络(GANs)具有内在的挑战性。在本文中,我们回顾了几个代表性的基于样本的评估指标的GANs,并解决如何评估的评估指标的问题。我们从指标产生有意义的分数的一些必要条件开始,例如区分真实样本和生成的样本、识别模式丢弃和模式崩溃以及检测过拟合。通过一系列精心设计的实验,我们全面研究了现有的基于样本的指标,并确定了它们在实际环境中的优势和局限性。基于这些结果,我们观察到,内核的最大均值离散(MMD)和1-最近邻(1-NN)的两个样本的测试似乎满足大多数理想的属性,只要样本之间的距离计算在一个合适的特征空间。我们的实验还揭示了几种流行的GAN模型行为的有趣特性,例如它们是否在记忆训练样本,以及它们距离学习目标分布有多远。
2018-08-17 cs.CV cs.LG stat.ML
The Bures Metric for Generative Adversarial Networks
KU Leuven(鲁汶大学);Univ. Lille, CNRS, Centrale Lille UMR 9189 CRIStAL(里尔大学,国家科学研究中心,中央里尔大学 UMR 9189 CRIStAL)
生成对抗网络(GANs)是产生高质量样本的高性能生成方法。然而,在某些情况下,GANs的训练可能导致模式坍塌或模式丢弃,即生成模型不能从整个概率分布中采样。为了解决这个问题,我们使用最后一层的特征映射来研究真实和虚假数据的分布。在训练过程中,我们建议通过使用特征空间中协方差矩阵之间的Bures距离来匹配真实批次多样性和假批次多样性。Bures距离的计算可以方便地在特征空间或核空间中分别根据协方差和核矩阵进行。我们观察到,多样性匹配大大减少了模式坍塌,并对样品质量有积极的影响。在实践方面,提出了一个非常简单的训练过程,不需要额外的超参数调整,并在几个数据集上进行了评估。
2021-04-27 cs.LG eess.IV stat.ML
Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
近年来,图神经网络(GNNs)在推荐方面取得了显著的成功.为了减少数据稀疏性的影响,图对比学习(GCL)被用于基于GNN的CF方法,以提高性能。大多数GCL方法包括数据增强和对比损失(例如,InfoNCE)。GCL方法通过手工制作的图增强来构建对比对,并最大化同一节点的不同视图与其他节点的视图之间的一致性,这被称为InfoMax原则。然而,不适当的数据增强会阻碍GCL的性能。InfoMin原则,即良好的视图集共享最少的信息,并为设计更好的数据增强提供指导。在本文中,我们首先提出了一种新的数据增强(即,边缘操作包括边缘增加和边缘减少)。在此基础上,提出了一个基于信息最小化原理的对比学习框架--可学习的数据增强对比学习(LDA-GCL)。我们的方法包括数据增强学习和图对比学习,分别遵循InfoMin和InfoMax原则。在实现中,我们的方法优化了对抗损失函数,以学习数据增强和用户和项目的有效表示。在四个公共基准数据集上的实验证明了LDA-GCL的有效性。
2023-02-05 cs.IR cs.LG cs.SI
Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);United States Military Academy(美国军事学院)
本文系统比较了CNN、LSTM和随机森林三种分类器在对抗攻击下的鲁棒性,发现随机森林基线准确率虽高但极易被攻破,而CNN表现最稳健。
2026-06-11 cs.CR cs.LG
A Robust Hierarchical Graph Convolutional Network Model for Collaborative Filtering
Kyushu University(九州大学)
图卷积网络(GCN)已经取得了巨大的成功,并已应用于包括推荐系统在内的各个领域。然而,GCN仍然遭受许多问题,如训练困难,过度平滑,容易受到对抗攻击,等区别于目前的GCN为基础的方法,简单地采用GCN推荐,在本文中,我们致力于建立一个强大的GCN模型的协同过滤。首先,我们认为,递归地将消息从不同的顺序邻居混合不同的节点消息不可避免地,这增加了训练的难度;相反,我们选择单独聚合不同的顺序邻居消息与一个简单的GCN模型已被证明是有效的,然后我们积累在一起,在一个分层的方式,而不引入额外的模型参数。其次,我们提出了一种解决方案,以减轻过度平滑随机丢弃邻居消息在每一层,这也很好地防止过拟合,提高了鲁棒性。在三个真实数据集上的大量实验证明了该模型的有效性和鲁棒性。
2020-04-30 cs.IR cs.LG
A Closer Look at Evaluating the Bit-Flip Attack Against Deep Neural Networks
CEA Tech(法国原子能和替代能源委员会技术研究院);Mines Saint-Etienne(圣埃蒂安矿业学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
深度神经网络模型被大规模部署在各种硬件平台上。这导致出现新的攻击向量,显著扩展了标准攻击面,对抗性机器学习社区对此进行了广泛研究。第一种攻击旨在通过针对存储在内存中的模型参数(权重)来大幅降低模型的性能,这就是位翻转攻击(BFA)。在这项工作中,我们指出了与博鳌亚洲论坛有关的几个评估挑战。首先,在标准威胁模型中缺乏对手的预算是有问题的,特别是在处理物理攻击时。此外,由于BFA提出了关键的可变性,我们讨论了一些训练参数的影响和模型架构的重要性。这项工作首次展示了BFA对全连接架构的影响,与卷积神经网络相比,全连接架构呈现不同的行为。这些结果强调了定义强大和合理的评估方法的重要性,以正确评估基于参数的攻击的危险,以及衡量防御提供的鲁棒性的真实水平。
2022-09-30 cs.CR cs.LG
Host-Pathongen Co-evolution Inspired Algorithm Enables Robust GAN Training
Ecole Polytechnique Federale of Lausanne(洛桑联邦理工学院)
生成对抗网络(GANs)是一对相互训练的人工神经网络。生成器的输出与真实世界的输入混合到网络中,两个网络都被训练,直到达到平衡,此时网络无法区分生成的输入和真实的输入。自引入以来,GANs已经允许生成令人印象深刻的现实生活中的电影,图像和文本的模仿,其虚假性几乎不会被人类注意到。尽管它们的性能令人印象深刻,但直到今天,训练GANs仍然是一门艺术,而不是一个可靠的过程,这在很大程度上是由于训练过程的稳定性。发生器容易受到模式丢弃和收敛到随机模式的影响,这必须通过计算上昂贵的多次重启来减轻。奇怪的是,GANs与生物学中病原体及其宿主免疫系统的共同进化有着不可思议的相似之处。在生物学背景下,大多数潜在的病原体确实从来没有成功过,并被热的免疫系统拒之门外。然而,有些是有效的,足以提出一个严重的条件和复发感染的风险。在这里,我们探索这种相似性,为GANs训练提出一种更强大的算法。我们的经验表明,增加的稳定性和更好的能力,以产生高质量的图像,同时使用更少的计算能力。
2020-06-09 cs.LG cs.NE q-bio.PE