Fair Text Classification via Transferable Representations
Université Jean Monnet Saint-Etienne, CNRS, Institut d’Optique Graduate School, Laboratoire Hubert Curien UMR 5516（法国圣艾蒂安让·莫内大学，法国国家科学研究中心，光学研究生学院，Hubert Curien实验室UMR 5516）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL（里尔大学，法国国家信息与自动化技术研究所，法国国家科学研究中心，里尔中央大学，UMR 9189 - CRIStAL）；LTCI, Télécom Paris Institut Polytechnique de Paris, France（LTCI，巴黎电信理工学院，法国）
本文提出通过可转移表示方法实现公平文本分类，利用Wasserstein依赖度量和域适应技术，消除对敏感属性的依赖，提升分类器的公平性。
2025-12-05 cs.CL cs.LG
From Discrete to Continuous: Deep Fair Clustering With Transferable Representations
School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）
针对现有深度公平聚类无法处理连续敏感属性且忽略表示迁移潜力的问题，提出一种基于信息瓶颈的灵活方法，在表示层面施加公平性约束，能同时处理离散与连续敏感属性，并首次实现向下游任务的可迁移性，实验证明其优于现有最先进方法。
2024-03-24 cs.CV cs.CY cs.LG
Calibre: Towards Fair and Accurate Personalized Federated Learning with Self-Supervised Learning
University of Toronto（多伦多大学）
针对异构数据下自监督联邦学习表示模糊、个性化准确率低的问题，提出Calibre框架，通过客户端特定原型损失和原型引导聚合校准表示，在非i.i.d.设置中同时实现高准确率与公平性。
2024-12-28 cs.AI cs.DC cs.LG
To be Robust or to be Fair: Towards Fairness in Adversarial Training
Michigan State University（密歇根州立大学）
对抗性训练算法已被证明是可靠的，以提高机器学习模型对对抗性样本的鲁棒性。然而，我们发现对抗性训练算法往往会在不同数据组之间引入严重的准确性和鲁棒性差异。例如，在CIFAR-10上PGD逆向训练的ResNet 18模型在类“汽车”上具有93%的干净准确度和67%的PGD 1-infty-8鲁棒准确度，但在类“猫”上仅具有65%和17%。这种现象发生在平衡的数据集中，并且在仅使用干净样本的自然训练模型中不存在。在这项工作中，我们从经验和理论上证明了这种现象可以在一般对抗训练算法下发生，这些算法可以最大限度地减少DNN模型的鲁棒性错误。受这些发现的启发，我们提出了一个公平鲁棒学习（FRL）框架，以减轻在进行对抗性防御时的不公平问题。实验结果验证了FRL的有效性。
2021-05-18 cs.LG stat.ML
Achieving Fairness through Adversarial Learning: an Application to Recidivism Prediction
Stanford University（斯坦福大学）
累犯预测分数在美国各地被用来确定对数十万囚犯的判刑和监督。一个这样的累犯预测分数的生成器是Northpointe的替代制裁的惩教罪犯管理分析（COMPAS）分数，在加利福尼亚州和佛罗里达州等州使用，根据某些公平措施，过去的研究表明对黑人囚犯有偏见。为了抵消这种种族偏见，我们提出了一个对抗训练的神经网络，预测累犯和训练，以消除种族偏见。当将我们的模型结果与COMPAS进行比较时，我们获得了预测准确性，并更接近实现三个公平性指标中的两个：奇偶性和赔率相等。我们的模型可以推广到任何预测和人口统计。这项研究为在高风险的现实世界应用（如累犯预测）中进行科学复制和简化提供了一个例子。
2018-06-30 cs.LG stat.ML
Defense-guided Transferable Adversarial Attacks
虽然深度神经网络可以出色地执行具有挑战性的任务，但它们容易受到对抗性示例的影响，这些示例通过对干净的输入施加人类无法感知的扰动来误导分类器。在无查询的黑盒场景下，对抗性示例很难转换到未知模型，已经提出了几种可转换性较低的方法。为了解决这个问题，我们设计了一个最大最小框架的启发输入转换，这是有益的对抗攻击和防御。在最小化过程中，我们利用输入的仿射变换来降低损失值作为防御;在最大化过程中，我们利用动量迭代算法来增加损失值作为攻击。为了进一步促进可转移性，我们用最大-最小理论确定转换值。在Imagenet上进行的大量实验表明，我们的防御引导可转移攻击在可转移性上实现了令人印象深刻的提高。实验表明，我们的对抗攻击的ASR平均达到58.38%，在正常训练的模型上比最先进的方法高出12.1%，在对抗训练的模型上高出11.13%。此外，我们还提供了关于提高可转移性的解释性见解，我们的方法有望成为评估深度模型鲁棒性的基准。
2020-11-04 cs.CV cs.LG
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种双编码器元对抗多视图表示学习框架，通过最大化同一数据不同增强视图间的差异与一致性，学习跨领域和任务的可迁移对抗鲁棒表示，在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
Null-sampling for Interpretable and Fair Representations
University of Sussex（萨塞克斯大学）
我们建议在数据域中学习不变表示，以实现算法公平性的可解释性。不变性意味着高水平的选择性，相关的相关性w.r.t.类别标签注释，以及对与受保护特征（诸如种族或性别）的不相关相关性的鲁棒性。我们引入了一个非平凡的设置，其中训练集表现出很强的偏见，使类标签注释是不相关的，虚假的相关性无法区分。为了解决这个问题，我们引入了一个逆向训练的模型与零采样过程中产生不变的表示在数据域。为了能够解开纠缠，使用部分标记的代表集。通过将表示放置到数据域中，模型所做的更改可以很容易地被人工审计员检查。我们展示了我们的方法在图像和表格数据集上的有效性：彩色MNIST，CelebA和成人数据集。
2020-08-12 cs.LG stat.ML
Improved Adversarial Learning for Fair Classification
出于对机器学习算法可能在分类模型中引入显著偏差的担忧，开发公平分类器已成为机器学习研究中的重要问题。对此的一个重要范例是提供用于逆向学习公平分类器的算法（Zhang et al.，2018; Madras等人，2018年）。我们将对抗学习问题表示为多目标优化问题，并使用具有修改的梯度更新步骤的梯度下降-上升算法找到公平模型，受到Zhang等人方法的启发，2018.我们提供了理论上的见解和保证，形式化的启发式的论点之前提出了对采取这样的方法。我们在成人数据集和合成数据集上经验性地测试我们的方法，并与最先进的算法进行比较（Celis等人，2018年; Zhang等人，2018; Zafar等人，2017年）。结果表明，我们的模型和算法具有可比或更好的准确性比其他算法，同时执行更好的公平性，使用统计率或错误发现率。
2019-01-29 cs.CY cs.LG stat.ML
Careful What You Wish For: on the Extraction of Adversarially Trained Models
Polytechnique Montréal（蒙特利尔综合理工学院）
最近对机器学习（ML）模型的攻击，例如使用对抗性示例的规避攻击和通过提取攻击窃取模型，造成了一些安全和隐私威胁。先前的工作提出使用对抗性训练来保护模型免受对抗性示例的攻击，这些示例可以逃避模型的分类并降低其性能。然而，这种保护技术会影响模型的决策边界及其预测概率，从而可能增加模型的隐私风险。实际上，恶意用户仅使用对模型的预测输出的查询访问就可以提取模型的预测输出并获得高精度和高保真度的代理模型。为了获得更大的提取，这些攻击利用了受害者模型的预测概率。事实上，以前所有关于提取攻击的工作都没有考虑到出于安全目的的培训过程的变化。在本文中，我们提出了一个框架来评估对视觉数据集进行对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行这种评价的。通过广泛的实证研究，我们证明了对抗训练的模型比自然训练环境下获得的模型更容易受到提取攻击。他们可以实现高达$\times1.2$更高的准确性和协议的分数低于$\times0.75$的查询。我们还发现，对抗性鲁棒性能力是通过提取攻击转移的，即，从鲁棒模型中提取的深度神经网络（DNN）与从自然训练（即标准）模型中提取的DNN相比，显示出对对抗性示例的增强的准确性。
2022-07-21 cs.CR cs.LG
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL（洛桑联邦理工学院）
针对表格类别数据对抗鲁棒性的两大挑战，提出基于双层交替最小化的通用鲁棒嵌入方法，可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器，在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG
Relating Adversarially Robust Generalization to Flat Minima
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Tübingen（图宾根大学）
对抗性训练（AT）已经成为获得对抗性样本鲁棒模型的事实标准。然而，AT表现出严重的鲁棒过拟合：对抗样本上的交叉熵损失，即所谓的鲁棒损失，在训练样本上不断减少，而在测试样本上最终增加。在实践中，这导致了较差的鲁棒泛化，即，对抗鲁棒性不能很好地推广到新的示例。在本文中，我们研究了鲁棒泛化和鲁棒损失景观在权空间中的平坦性之间的关系，即，当扰动权重时，鲁棒损失是否显著变化。为此，我们提出了平均和最坏情况下的指标来衡量平坦的鲁棒损失景观和良好的鲁棒泛化和平坦度之间的相关性。例如，在整个训练过程中，平坦度在过拟合期间显著降低，使得早期停止有效地在鲁棒损失景观中找到平坦的最小值。类似地，实现更高对抗鲁棒性的AT变体也对应于更平坦的最小值。这适用于许多流行的选择，例如，AT-AWP、TRADES、MART、AT，具有自我监督或额外的未标记示例，以及简单的正则化技术，例如，自动增强、权重衰减或标签噪声。为了在这些方法之间进行公平比较，我们的平坦度测量是专门设计为尺度不变的，我们进行了大量的实验来验证我们的发现。
2021-10-06 cs.CV cs.LG stat.ML
Learning Controllable Fair Representations
Computer Science Department, Stanford University（斯坦福大学计算机科学系（注：根据机构粒度要求，此处提取到大学级别，即“斯坦福大学”；但原文明确给出“Computer Science Department”，按要求提取到大学/学院级别即可，此处保留“斯坦福大学计算机科学系”更准确，因该系是斯坦福大学的下属机构，属于大学级别）}]} 修正：根据要求，机构粒度提取到大学/学院/公司/研究院级别即可，不要细拆到系。因此正确应为：{）；Stanford University（斯坦福大学）
学习可转移的数据表示，并且对于某些受保护的属性是公平的，这对于减少不公平的决策，同时保持数据的效用至关重要。我们提出了一个信息理论动机的目标，学习最大限度地表达表示公平的约束。我们证明了一系列现有的方法优化近似拉格朗日对偶我们的目标。与这些现有的方法相比，我们的目标允许用户通过指定不公平的限制来控制表示的公平性。利用对偶性，我们引入了一种方法，优化模型参数以及表达公平性的权衡。经验证据表明，我们提出的方法可以平衡多种公平概念之间的权衡，并以较低的计算成本实现更高的表现力。
2020-03-14 cs.AI cs.LG stat.ML
Learning Fair and Interpretable Representations via Linear Orthogonalization
University of Southern California（南加州大学）
为了减少人类的错误和偏见，许多高风险的决策已经交给了机器算法。然而，最近的研究表明，这并不能消除歧视，而且可能使有害的陈规定型观念永久化。虽然已经开发了算法来提高公平性，但它们通常至少面临三个缺点之一：它们不可解释，与无偏等价物相比，它们的预测质量迅速恶化，并且它们不容易在模型之间转移。为了解决这些缺点，我们提出了一种几何方法，删除数据和任何数量的受保护变量之间的相关性。此外，我们可以通过一个可调参数来控制去偏置的强度，以解决预测质量和公平性之间的权衡。所得到的特征是可解释的，并且可以与许多流行的模型一起使用，例如线性回归、随机森林和多层感知器。结果发现，与各种基准数据集上的几种最先进的公平AI算法相比，所得到的预测更加准确和公平。我们的工作表明，去偏置数据是一个简单而有效的解决方案，以提高公平性。
2019-12-17 cs.CY cs.LG stat.ML
Closing the Gender Wage Gap: Adversarial Fairness in Job Recommendation
Radboud University（拉德堡德大学）；DPG Media Online Services（DPG媒体在线服务公司）
这项工作的目标是通过根据求职者的简历提供公正的工作建议，帮助缩小已经存在的性别工资差距。我们采用了一个生成对抗网络来消除1200万职位空缺文本和90万份简历的word2vec表示中的性别偏见。我们的研究结果表明，从招聘文本创建的表示包含算法偏见，这种偏差的结果在现实世界的后果推荐系统。在不控制偏见的情况下，在我们的数据中，女性被推荐的工作薪水要低得多。通过公平的陈述，这种工资差距消失了，这意味着我们的无偏见的工作建议减少了工资歧视。我们的结论是，对抗性去偏置的词表示可以增加现实世界的系统的公平性，因此可能是创建公平意识的推荐系统的解决方案的一部分。
2022-09-20 cs.IR cs.LG
Trade-offs between membership privacy & adversarially robust learning
University College London（伦敦大学学院）
从历史上看，机器学习方法在设计时并没有考虑到安全性。反过来，这又产生了对抗性的例子，仔细扰动输入样本，旨在误导检测在测试时，已被应用于攻击垃圾邮件和恶意软件分类，最近攻击图像分类。因此，大量的研究致力于设计对对抗性示例鲁棒的机器学习方法。不幸的是，除了鲁棒性之外，安全和安全的机器学习模型还必须满足其他要求，例如公平性和隐私性。Song et al.（2019）最近的研究表明，经验表明，健壮和私有机器学习模型之间存在权衡。设计为对对抗性示例具有鲁棒性的模型通常比标准（非鲁棒）模型在训练数据上更大程度地过拟合。如果数据集包含隐私信息，那么通过观察模型的输出来分离训练和测试数据的任何统计测试都可能代表隐私泄露，如果模型在训练数据上过拟合，这些统计测试就会变得更容易。在这项工作中，我们确定设置标准模型将过拟合到更大程度上相比，强大的模型，并在以前的作品中，根据经验观察，设置相反的行为发生。因此，不一定必须牺牲隐私来实现鲁棒性。过度拟合的程度自然取决于可用于训练的数据量。我们继续描述训练集大小如何影响通过在简单的高斯数据任务上训练鲁棒模型所暴露的隐私风险，并根据经验表明我们的研究结果适用于图像分类基准数据集，如CIFAR-10和CIFAR-100。
2022-01-08 cs.CR cs.LG stat.ML
Subverting Fair Image Search with Generative Adversarial Perturbations
Northeastern University（东北大学）；Google Research（谷歌研究院）
在这项工作中，我们将探讨交叉的公平性和鲁棒性的排名的背景下：当一个排名模型已被校准，以实现某种定义的公平性，是可能的外部对手，使排名模型的行为不公平，而无需访问模型或训练数据？为了研究这个问题，我们提出了一个案例研究，我们开发，然后攻击一个国家的最先进的，公平意识的图像搜索引擎使用的图像已被恶意修改使用生成对抗扰动（GAP）模型。这些扰动试图导致公平重新排名算法不公平地提升包含来自对手选择的子群体的人的图像的排名。我们提出了大量的实验结果表明，我们的攻击可以成功地赋予显着的不公平的优势，相对于公平排名的基线搜索结果的人从大多数类。我们证明了我们的攻击在许多变量上都是稳健的，它们对搜索结果的相关性几乎没有影响，并且在严格的威胁模型下成功。我们的研究结果强调了在野外部署公平机器学习算法的危险，当（1）实现公平所需的数据可能被恶意操纵，以及（2）模型本身对攻击不鲁棒。
2022-05-06 cs.CY cs.LG
Fake it till you make it: Learning transferable representations from synthetic ImageNet clones
NAVER LABS Europe（NAVER欧洲实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最近的图像生成模型，如稳定扩散已经展示了令人印象深刻的能力，从一个简单的文本提示开始生成相当逼真的图像。这样的模型是否会使真实图像变得过时，无法用于训练图像预测模型？在本文中，我们通过调查在训练ImageNet分类模型时对真实图像的需求来回答这个挑衅性问题的一部分。仅提供用于构建数据集的类名，我们探索了Stable Diffusion生成ImageNet合成克隆的能力，并测量了这些克隆对于从头开始训练分类模型的有用性。我们表明，通过最小和类不可知的提示工程，ImageNet克隆能够缩小合成图像生成的模型与使用真实图像训练的模型之间的大部分差距，对于我们在本研究中考虑的几个标准分类基准。更重要的是，我们证明了在合成图像上训练的模型具有很强的泛化特性，并且与在真实数据上训练的模型表现相当。项目页面：https://europe.naverlabs.com/imagenet-sd/
2023-03-28 cs.CV cs.LG
Revisiting Transferable Adversarial Images: Systemization, Evaluation, and New Insights
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星舰学院）
本文系统化评估了23种迁移攻击对11种防御的效果，指出现有评估在迁移性和隐蔽性上的不足，并得出早期攻击DI表现优异、白盒防御DiffPure易受黑盒攻击等挑战共识的新见解。
2025-09-16 cs.CR cs.CV cs.LG
A Transferable Learned Temporal Prior for Transmission Reconstruction and Decision-Relevant Uncertainty in Real Outbreak Labels
National Institute of Textile Engineering and Research (NITER)（国家纺织工程与研究学院）
提出一种跨疾病家族训练的logistic回归时序先验，无需重新拟合即可应用于新疫情传播重建，在ANDV基准上显著优于基线，并揭示传播标签不确定性影响干预优先级。
2026-09-18 cs.LG q-bio.QM
Why Does Little Robustness Help? A Further Step Towards Understanding Adversarial Transferability
School of Cyber Science and Engineering, Huazhong University of Science and Technology（电子科学与工程学院，华中科技大学）；School of Software Engineering, Huazhong University of Science and Technology（软件工程学院，华中科技大学）；School of Information and Communication Technology, Griffith University（信息与通信技术学院，格里菲斯大学）；School of Computer Science and Technology, Huazhong University of Science and Technology（计算机科学与技术学院，华中科技大学）
本文探讨了对抗转移性中的模型平滑性和梯度相似性权衡，提出通过优化两者提升转移性，验证了输入梯度正则化与SAM的结合效果。
2025-12-16 cs.CR cs.CV cs.LG
